用于動態地校正頭戴視頻系統中的視差的系統和方法

專利名稱：用于動態地校正頭戴視頻系統中的視差的系統和方法
技術領域：
本發明總體上涉及用于視差校正的系統。更具體地說，本發明涉及用于動態地校正直接放置在用戶眼前的頭戴式顯示器(HMD) 中的視差的系統和方法。
背景技術：
戴在頭上的視覺輔助裝置通常直接位于接收輔助的眼睛前面。 由于這些系統從直接觀看光學路徑遷移到了數字攝像機輔助，因而 其系統配置要求將頭戴式顯示器(HMD)直接放在用戶接收輔助的 眼睛的前面，其眼睛間隙為一英寸。對HMD的這一放置妨礙了同 時在接收輔助的眼睛的前面直接放置攝像機光圈(aperture)。必須 將攝像機光圈移到HMD的前面或移到HMD的一側。例如，如果將數字攝像機放在接受輔助的眼睛的光軸旁邊 100mm處，那么將在數字攝像機的光圈和數字攝像機的圖像顯示之 間建立位移，顯示器通常以接受輔助的眼睛的光軸為中心放置。這 一位移在通過攝像機觀看的物體的視在位置與在物體空間(或實空 間)中看到的物體的實際位置之間導致了不一致。將覺知到的空間 和物空間中的這一偏差稱為視差(parallax)。圖1提供了視差的例子。如圖所示，用戶通過頭戴視頻裝置觀 察環境IO。用戶看到了處于近距離的工具12，并嘗試拿起該工具。 由于視差的作用，工具12的覺知位置(perceived position)是不正 確的。通過虛線工具14表示物空間內工具12的真實位置。在用戶通過頭戴視頻裝置觀看物體的情況下，視差降低了視頻 系統的有用性。人的心理一視覺系統無意中習慣于通過其自然的入 口光圈，即人眼的瞳孔來感知世界。手動任務中固有的手一眼協調 就是以這一與生俱來的特性為基礎的。普通的人體移動任務，例如，
走路和跑步依賴于這一下意識過程。通過對準來消除某些固定距離 處的視差的固定系統在所有的其他距離處都將失去對準狀態。在通 過對準視頻系統來消除遠距離處的物體的視差，但是用戶試圖對近 距離處的另一物體，例如，處于用戶的手臂所及的范圍內的圖1所示的工具12進行定位時，這一問題尤其明顯。如下文中的說明，本發明將通過提供一種系統來解決所述視差 問題，所述系統用于對視頻圖像進行動態重新調準(realigning),從 而使圖像在所有距離處均與現實世界相吻合。發明內容為了滿足這一需要和其他需要并考慮其目的，本發明提供了一 種視差受到動態校準的系統，其包括用于對物體成像并提供視頻數 據的頭戴視頻源。包括用于使頭戴視頻源提供的顯視數據發生電子 方式偏移(electronically offsetting),以形成偏移顯視數據的控制器。 顯示裝置接收偏移顯視數據，并向用戶的眼睛顯示偏移顯視數據。 將所述顯示裝置配置為直接放置在用戶的眼前作為視覺輔助，將頭 戴視頻源配置為放在用戶眼睛的旁邊。偏移視頻數據校正由于顯示 裝置和頭戴視頻源之間的位移而導致的視差。顯示裝置包括由相應的像素行和像素列構成的X、 Y陣列，偏 移視頻數據包括若干像素列沿X、 Y陣列的X方向的偏移。或者， 偏移視頻數據可以包括若干像素行沿X、 Y陣列的Y方向的偏移。 所述偏移視頻數據還可以包括若干像素列沿X、 Y陣列的X方向的 偏移以及若干像素行沿X、 Y陣列的Y方向的另一偏移。在幾何上，用戶眼睛的光軸向被視頻源成像的物體延伸距離D， 視頻源的光圈的光軸沿與用戶眼睛的光軸平行的方向延伸。所述向 旁邊的位移為Frankfort平面內用戶眼睛的光軸與視頻源的光圈的光 軸之間的水平位移距離d。偏移顯視數據以水平位移距離d和到物體 的距離D為基礎。此外，形成如下水平偏移角9d:<formula>formula see original document page 9</formula>其中，d是用戶眼睛的光軸和視頻源的光圈的光軸之間的水平位 移距離。所述顯示裝置包括由相應的像素行和像素列構成的X、 Y陣列， 所述偏移顯視數據包括下述水平偏移<formula>formula see original document page 9</formula>其中，offsete。lumns是以列為單位的水平偏移量，FOVkz是視頻 源的水平視場，弁Columns是顯示裝置的總列數。 此外，還形成垂直偏移角(|)D，其中<formula>formula see original document page 9</formula>其中，d'是用戶眼睛的光軸和視頻源的光圈的光軸之間的垂直位 移距離。偏移視頻數據包括下述垂直偏移<formula>formula see original document page 9</formula>其中，0ffsetr。ws是以行為單位的垂直偏移量，FOVven是視頻源的垂直視場，弁Rows是顯示裝置內的總行數。所述動態地校正視差的系統包括設置在所述視頻源和顯示裝置 之間的、用于將來自所述視頻源的視頻數據轉化為數字視頻數據的 顯示電子模塊。將所述顯示電子模塊配置為從所述控制器接收偏移 命令并將所述數字視頻數據修改為偏移視頻數據。可以將所述顯示 電子模塊和所述控制器集成在單個單元內。將聚焦位置編碼器連接至所述控制器，以確定到由所述視頻源成像的物體的距離D，其中， 采用距離D校正視差。所述顯示裝置可以是頭盔安裝式顯示器(helmet mounted
display, HMD),或者是頭戴式夜視眼鏡的一部分。本發明另一實施例包括一種為頭戴式攝像機(head borne camera)系統動態地校正視差的方法，所述頭戴式攝像機系統具有 視頻源和顯示裝置，其中，將所述顯示裝置配置為直接位于用戶眼 前作為視覺輔助，將所述視頻源設置為存在朝向用戶眼睛旁邊的位 移。所述方法包括的步驟有(a)通過所述視頻源對物體成像以提供 視頻數據；(b)確定到物體的聚焦距離(focus distance); (c)基于在 步驟(b)中確定的所述聚焦距離以及所述用戶眼睛和所述視頻源的 光圈之間的位移距離使所述視頻數據發生偏移以形成偏移視頻數 據；以及(d)通過所述顯示裝置顯示所述偏移視頻數據。應當理解，上述的一般性說明和下文的詳細說明均為示范性的， 而不是對本發明構成限制。


通過結合附圖閱讀下面的詳細說明本發明將得到最佳理解。附 圖包括圖1示出了通過攝像機成像的物體與觀察者在物空間內看到的同一物體之間的視差偏移的幾何圖；圖2是根據本發明實施例的用于動態校正頭戴視頻系統中的視 差的系統的方框圖；圖3A是用戶看到的由攝像機成像的物體的頂視圖，其中，圖像 的顯示從攝像機的光圈產生了等于水平位移距離的位移；圖3B是用戶看到的由攝像機成像的物體的側視圖，其中，圖像 的顯示從攝像機的光圈產生了等于垂直位移距離的位移；圖4是根據本發明的實施例的、作為感興趣的物體的觀察距離 的函數的需要在顯示器上偏移的列數的圖表；以及圖5是根據本發明的實施例的、作為感興趣的物體的觀察距離 的函數的需要在顯示器上偏移的列數的圖表，其中，在攝像機的成 像角內引入了偏置角(biasangle)。
具體實施方式
如下文所述，本發明將動態地重新對準視頻圖像，從而使圖像 在所有的距離處均與現實世界吻合。為了實現這一目的，本發明確 定到感興趣物體的距離，從而基于所確定的距離完成動態對準。在 一個實施例中，本發明采用攝像機聚焦機構的絕對位置(或者手動 聚焦旋鈕的角取向)確定到用戶感興趣的物體的距離，之后向用戶 顯示器上顯示的圖像施加適當的視差校正量。通過這種方式，感興 趣的物體的視在位置被正確地感知為在物空間內的實際位置處。在本發明的一個實施例中，在諸如LCD或LED顯示器的數字 顯示裝置上向用戶提供視頻。這些顯示器由像素行和像素列的陣列 構成。通過控制向顯示器發送的視頻數據的定時，本發明在將所述 圖像顯示給用戶時在所述圖像內引入偏移(offset)。通過在顯示空 間內偏移圖像，本發明消除了物體的視在位置和其在物空間內的實 際位置之間的差異。在顯示器上偏移圖像的結果是沿圖像偏移方向丟失了像素行和 /或列。顯示器的相對邊緣上的像素行和/或列顯示任意強度值，因為 (假設攝像機與顯示器之間具有一對一的像素分辨率關系)這些像 素不再處于攝像機的視場內，因此不提供圖像數據。因而，偏移圖 像導致了用戶的有效視場(field-of-view)的縮小，因為有用的圖像尺 寸縮小了。但是，可以通過將攝像機瞄準角(pointing angle)設置為 在比遠場近得多的距離處實現會聚，而將這一負面影響最小化。接下來參考圖2，示出了動態校準頭戴視頻系統中的視差的系 統，總地以附圖標記20表示。系統20包括向顯示電子模塊24提供 視頻數據的視頻源23，顯示電子模塊24形成用于在顯示裝置25上 觀看的數字像素數據。在系統20中還包括由附圖標記21表示的聚 焦位置(focus position)編碼器，其用于向微控制器22提供聚焦位 置數據。如圖所示，聚焦位置編碼器21對設置在視頻源23上的聚 焦旋鈕26的取向編碼。微控制器22將從位置編碼器21接收的聚焦 位置數據轉化為X、 Y偏移控制信號，在下文中將對其予以說明。 向顯示電子模塊24提供X、 Y偏移控制信號，顯示電子模塊24則
提供用于在顯示裝置25上觀看的偏移視頻數據。應當認識到，視頻源23可以是任何攝像裝置，其被配置為放在 用戶眼睛的光軸的側面。在圖2所示的實施例中，視頻源23包括手 動聚焦旋鈕26，其允許用戶調整攝像機的透鏡，使之聚焦在感興趣 的物體上。顯示裝置25可以是任何顯示器，其被配置為圍繞用戶眼 睛的光軸放置。所述顯示裝置提供由從視頻源23接收的視頻數據表 示的圖像的偏移像素圖像。在顯示裝置25上顯示的像素的X、 Y陣 列和由視頻源23提供的視頻數據可以具有一對一的對應關系，或者 可以具有任何其他關系，例如，由分辨率降低的顯示器與高分辨率 攝像機之間構成的對應關系。作為另一實施例，可以通過電動機(未示出)控制聚焦旋鈕26， 從而實現視頻源23的變焦透鏡操作。在這一實施例中，聚焦位置編 碼器21可以包括變焦透鏡鏡筒，以確定到感興趣的物體的焦距。可 以包括焦距探測電路，以探測并輸出變焦透鏡鏡筒的焦距。作為另 一實施例，視頻源23可以包括測距儀，例如紅外測距儀，其可以將 紅外光束聚焦到目標上，并接收從目標反射的紅外光束。聚焦位置 編碼器21內包括的位置敏感裝置可以探測反射光束的位移，并提供 所述目標的距離或位置的編碼信號。所述微控制器可以是具有由存儲在介質內的軟件程序提供的處 理器執行能力的任何類型的控制器或者由集成電路提供的硬布線 (hardwired)程序。接下來將描述微控制器22計算X、 Y偏移控制信號的方式。參考圖3A和圖3B，其示出了從用戶眼睛32偏移了位移距離 (displacement distance)的攝像機23。圖3A和圖3B相互類似，只 是在圖3A中，攝像機23朝向用戶眼睛32的水平右側水平位移距離 d，在圖3B中，攝像機23朝向用戶眼睛的垂直側(或高或低)垂直 位移距離d'。所述水平位移距離和/或垂直位移距離通常處于100毫 米左右。攝像機23具有由附圖標記37表示的光軸，用戶眼睛具有 由附圖標記35表示的光軸。如圖所示，兩光軸相互平行。用戶在觀看物體31時通過顯示裝置25得到輔助。如圖3A所示， 攝像機23以水平偏移角9d対物體31成像。但是，在圖3B中，攝 像機23以垂直偏移角小d對物體31成像。在兩幅圖中，將物體31 顯示為顯示裝置25上的像素圖像，以供用戶觀看。可以調整的聚焦 距離是用戶眼睛和感興趣的物體31之間的距離D。在下文中將采用圖3A對通過微控制器22計算X偏移控制信號 的方法舉例說明。在這一例子中，X偏移的單位為水平像素，其可 以等價于視頻顯示器25上的像素列。出于這一實例的目的，假設水 平位移距離d為103mm;攝像機23的視場(FOV)為沿水平軸40 度(HFOV);顯示裝置25的水平分辨率為1280像素；攝像機23 的光軸平行于未受輔助的眼睛32的光軸；攝像機的光圈處于觀察者 的Frankfort平面上，其與未經輔助的眼睛處于一條直線上；感興趣 的物體31處于聚焦距離D處。通過下述方程(1)給出了水平偏移角0D:<formula>formula see original document page 13</formula> (方程l)通過下述方程(2)給出了校正系數"Ch。rz"(對于40度的FOV 和1280像素的水平顯示分辨率)，其單位為列每度<formula>formula see original document page 13</formula>這里，#Columns是數字顯示器內列的總數或1280列(在這一 例子中)。通過下述方程3給出了顯示裝置上的圖像偏移或者以列為 單位的偏移量，其中，90是攝像機的視線36與攝像機光軸37之間 的水平偏移角。<formula>formula see original document page 13</formula> (方程3 )在下文中，通過類似的方式，采用圖3B對通過微控制器22計 算Y偏移控制信號的方法舉例說明。在這一例子中，Y偏移的單位
為垂直像素，其可以等價于視頻顯示器25上的像素行。出于這一實 例的目的，假設垂直位移距離d'為103mm;攝像機23的視場(FOV) 為沿垂直軸30度(WOV);顯示裝置25的垂直分辨率為1024像素; 攝像機23的光軸平行于未受輔助的眼睛32的光軸；攝像機的光圈 與未經輔助的眼睛處于一條垂直線上；感興趣的物體31處于聚焦距 離D處。通過下述方程(4)給出垂直偏移角小D0D=tairV/D (方程4)通過下述方程5給出校正系數Cvert (針對30度的垂直FOV和 1024像素的垂直顯示分辨率)，其單位為行每度，=1024/30 (方禾呈5) =34行/度這里，存Rows是數字顯示器中的總行數或者1024行(在這一例 子中)。通過下述方程6給出了顯示裝置上的圖像偏移或者以行為單 位的偏移量，其中，小D是攝像機的視線36與攝像機光軸37之間的 垂直偏移角。o,鵬=Cvert * 0D (方程6 )接下來參考圖4，示出了&olumns的偏移相對于觀察者(用戶 眼睛)和所觀察的物體(感興趣的物體)之間的距離的關系的圖表。 更具體地說，圖4繪制出了補償由觀察者和攝像機之間的103mm的 水平位移導致的視差所需的以列數表示的水平圖像偏移。對于位于 接受輔助的眼睛的右側的攝像機而言，顯示器中的視差校正圖像偏圖4所示的圖表是針對具有40度的匹配(matched) HFOV的 攝像機/HMD系統的。可以看出，隨著觀察者對越來越近的距離聚
焦，消除視差所需的圖像偏移量非線性增大。在2英尺的聚焦距離 處，SXGA高分辨率顯示器的可視面積的25%將被移出視野，由此 使有效顯示HFOV降低了大約25%。為了避免近聚焦距離處的 HFOV的損失，可以使攝像機的光軸朝左偏置，由此降低水平偏移 角0D。可以針對針ows的偏移與觀察者(用戶眼睛)和所觀察的物體(感 興趣的物體)之間的距離之間的關系繪制與圖4所示的圖表類似的 圖表。最后，圖5示出了憑借與針對圖4所做的相同的假設得到的 Columns的水平圖像偏移，但是這里引入了 4.8度的偏置角。在這 一攝像機視角下，在4英尺處將消除視差所需的顯示偏移降低為零。 在2英尺處，所需的偏移為152列或者12%的HFOV,可以將其與 圖4中的24。/。的HFOV相比較。在超過4英尺的距離處，顯示偏移 變為負值，其表明必須使視頻圖像朝向顯示器的相反邊緣或末端偏 移。因而，這一攝像機視角引入了具有相反符號的視差。對于10英 尺的聚焦距離而言，補償視差所需的水平顯示偏移為-93列或7.2% 的HFOV。在40英尺的距離處，水平顯示偏移為139列或11%的 HFOV。包括頭戴夜視眼鏡和頭戴現實間介裝置(reality mediator device)的任何頭戴攝像機系統均可以采用上述實施例。盡管己經參考具體實施例對本發明進行了圖示和文字描述，但 是其意圖并非在于將本發明限制為所給出的細節。相反，在權利要 求的等同要件的范圍內，并且在不背離本發明的情況下可以在細節 上做出各種改變。
權利要求
1、一種動態地校正視差的系統，包括用于對物體成像并提供視頻數據的頭戴視頻源，用于使所述頭戴視頻源提供的所述視頻數據發生電子形式偏移，以形成偏移視頻數據的控制器，以及用于接收所述偏移視頻數據并向用戶的眼睛顯示所述偏移視頻數據的顯示裝置，其中，將所述顯示裝置配置為直接放置在所述用戶的眼前作為視覺輔助，并將所述頭戴視頻源配置為存在向所述用戶的眼睛的旁邊的位移，并且所述偏移視頻數據校正由于所述顯示裝置和頭戴視頻源之間的位移而導致的視差。
2、 根據權利要求1所述的動態地校正視差的系統，其中所述顯示裝置包括相應的像素行和像素列的X、 Y陣列，并且 所述偏移視頻數據包括沿所述X、 Y陣列的X方向的若干像素 列的偏移。
3、 根據權利要求1所述的動態地校正視差的系統，其中 所述顯示裝置包括相應的像素行和像素列的X、 Y陣列，并且 所述偏移視頻數據包括沿所述X、 Y陣列的Y方向的若干像素行的偏移。
4、 根據權利要求1所述的動態地校正視差的系統，其中 所述顯示裝置包括相應的像素行和像素列的X、 Y陣列，并且 所述偏移視頻數據包括沿所述X、 Y方向的X方向的若干像素列的偏移和沿所述X、 Y陣列的Y方向的若干像素行的另一偏移。
5、 根據權利要求1所述的動態地校正視差的系統，其中 所述用戶眼睛的光軸向由所述視頻源成像的物體延伸距離D， 所述視頻源的光圈的光軸沿與所述用戶眼睛的光軸平行的方向 延伸，所述向旁邊的位移為Frankfort平面內所述用戶眼睛的光軸與所 述視頻源的光圈的光軸之間的水平位移距離d，并且所述偏移視頻數據以所述水平位移距離d和所述到物體的距離 D為基礎。
6、 根據權利要求5所述的動態地校正視差的系統，其中，如下 形成水平偏移角0 D:其中，d是所述用戶眼睛的光軸和所述視頻源的光圈的光軸之間 的水平位移距離，并且所述顯示裝置包括相應的像素行和像素列的X、 Y陣列，并且所述偏移視頻數據包括下述水平偏移其中，offsetc。,u,是以列為單位的水平偏移量， FOVh。ra是所述視頻源的水平視場，并且 #Columns是所述顯示裝置中的總列數。
7、 根據權利要求5所述的動態地校正視差的系統，其中 如下形成垂直偏移角e D: <formula>formula see original document page 3</formula>其中，d'是所述用戶眼睛的光軸和所述視頻源的光圈的光軸之間 的垂直位移距離；并且所述顯示裝置包括相應的像素行和像素列的X、 Y陣列，并且 所述偏移視頻數據包括下述垂直偏移其中，offset眼s是以行為單位的垂直偏移量， FOV^是所述視頻源的垂直視場，并且 #ROWS是所述顯示裝置內的總行數。
8、 根據權利要求1所述的動態地校正視差的系統，包括 設置在所述視頻源和所述顯示裝置之間的、用于將來自所述視頻源的所述視頻數據轉化為數字視頻數據的顯示電子模塊，其中，將所述顯示電子模塊配置為從所述控制器接收偏移命令 并將所述數字視頻數據修改為所述偏移視頻數據。
9、 根據權利要求8所述的動態地校正視差的系統，其中 將所述顯示電子模塊和所述控制器集成在單個單元內。
10、 根據權利要求1所述的動態地校正視差的系統，包括 連接至所述控制器的、用于確定到由所述視頻源成像的物體的距離D的聚焦位置編碼器，其中，采用所述距離D校正所述視差。
11、 根據權利要求1所述的動態地校正視差的系統，其中 所述顯示裝置為頭盔安裝式顯示器(HMD)。
12、 根據權利要求1所述的動態地校正視差的系統，其中 所述顯示裝置和所述視頻源為頭戴式夜視眼鏡的一部分。
13、 一種在具有視頻源和顯示裝置的頭戴式攝像機系統中動態 地校正視差的方法，在所述頭戴式攝像機系統中，將所述顯示裝置 配置為直接位于用戶眼前作為視覺輔助，將所述視頻源設置為存在朝向用戶眼睛旁邊的位移，所述方法包括下述步驟(a) 通過所述視頻源對物體成像以提供視頻數據；(b) 確定到物體的聚焦距離；(c) 基于在步驟(b)中確定的所述聚焦距離以及所述用戶眼睛 和所述視頻源的光圈之間的位移距離使所述視頻數據發生偏移以形 成偏移視頻數據；以及(d) 通過所述顯示裝置顯示所述偏移視頻數據； 其中，使所述視頻數據偏移校正所述視差。
14、根據權利要求13所述的方法，其中，采用所述視頻數據形 成相應像素行和像素列的X、 Y陣列，并且步驟(c)包括使所述視頻數據沿所述X、 Y陣列的X方向移動 若干像素列，以形成所述偏移視頻數據。
15、根據權利要求13所述的方法，其中，采用所述視頻數據形 成相應像素行和像素列的X、 Y陣列，并且步驟(c)包括使所述視頻數據沿所述X、 Y陣列的Y方向移動 若干像素行，以形成所述偏移視頻數據。
16、根據權利要求13所述的方法，其中，采用所述視頻數據形 成相應像素行和像素列的X、 Y陣列，并且步驟(c)包括使所述視頻數據沿所述X、 Y陣列的X方向移動 若干像素列，并使所述視頻數據沿所述X、 Y陣列的Y方向移動若 干像素行，以形成所述偏移視頻數據。
17、根據權利要求13所述的方法，其中 步驟(a)包括提供模擬視頻數據，并且 步驟(C)包括在使所述視頻數據偏移之前將所述模擬視頻數據 轉換為數字視頻數據。
18、 根據權利要求13所述的方法，其中將所述視頻源配置為存在朝向所述用戶眼睛的右側的位移，并且所述步驟(c)包括使所述物體的圖像朝向所述顯示裝置的右側 偏移。
19、 根據權利要求18^f述的方法，其包括以下步驟-使所述視頻源的光圈朝向所述用戶眼睛的光軸偏置，從而使在步驟(c)中產生的偏移量降至最低。
20、 根據權利要求13所述的方法，其中步驟(b)包括對設置在所述視頻源上的聚焦旋鈕的角取向進行 編碼，以確定到所述物體的所述聚焦距離。
全文摘要
一種動態地校正視差的系統，其包括用于對物體成像并提供視頻數據的頭戴式視頻源。采用控制器使所述頭戴式視頻源提供的視頻數據發生電子形式偏移，以形成偏移視頻數據。采用顯示裝置接收偏移顯視數據，并向用戶的眼睛顯示偏移顯視數據。將所述顯示裝置配置為直接放置在用戶的眼前作為視覺輔助，將頭戴視頻源配置為放在用戶眼睛的旁邊。所述偏移視頻數據校正了由于所述顯示裝置和頭戴式視頻源之間的水平和/或垂直位移而導致的視差。顯示裝置包括由相應的像素行和像素列構成的X、Y陣列，所述偏移視頻數據包括沿所述X、Y陣列的X方向的若干像素列的偏移，和/或另一沿所述X、Y陣列的Y方向的若干像素行的偏移。
文檔編號H04N7/18GK101163236SQ20071018093
公開日2008年4月16日 申請日期2007年10月9日 優先權日2006年10月10日
發明者B·R·多比, T·K·特魯多 申請人:Itt制造企業公司