專利名稱：光標處理方法、裝置及系統的制作方法
技術領域：
本發明涉及圖像處理技術，尤其涉及對三維場景中的光標進行處理的方 法、裝置及系統。
背景技術：
立體視圖或稱3D視圖是指由用戶的左右眼獨立獲取圖像而得到的具有場 景深度感的視圖。現有基于立體視圖的三維場景呈現技術主要基于人的雙目 視差原理，即由于兩只眼晴位置的不同，因而可以分別獲得同一場景但略有 差異的兩幅圖像，通過相隔一定間距的兩臺照相裝置獲取同一場景但略有差 異的兩幅圖像，分別顯示給人的左眼和右眼，從而使觀看者獲得具有縱深感 和層次感的場景景象，形成一種身臨其境的效果，帶來更好的用戶體驗。
現有技術缺陷在于現有計算機用戶圖形界面是基于平面二維光標進 行操作的，用戶通過鼠標在平面二維的平面上移動光標即可選定用戶圖形 界面上的某一界面元素。但在三維立體顯示場景中，由于平面二維光標僅 能在平面二維平面內移動，因此不能滿足三維立體顯示場景中對有著不同 深度的立體界面元素的操作要求。
例如，如圖1所示為一個三維立體顯示場景的示意圖。其中，A窗口、 B窗口、 C窗口分別處于三維立體顯示場景中的不同深度層次，當用戶需要 對A窗口上的界面元素進行操作時，需要控制光標顯示在A窗口所在的深 度層次，如圖中A位置；當用戶需要對C窗口上的界面元素操作時就需要 控制光標顯示在C窗口所在的深度層次，如圖中C位置上。但現有的平面 二維光標無法實現這樣的操作。現有的3D鼠標的概念，是指能夠同時輸出3種或多種位移信息的鼠標。 這類設備中用于位移檢測和輸出方式有很多，除通過鼠標球或光電等方式產 生上下、左右等位移信息外，還可利用滾輪、搖桿、按鍵、微機電系統(以下 簡稱MEMS)裝置等技術產生第三維或更多的位移信息。但這種3D鼠標仍然 是工作在平面二維場景中的，只是解決了位移信息的產生和輸入的問題，而 并沒有解決在三維立體顯示場景中顯示在不同深度層次的問題。
發明內容
本發明實施例要解決的問題是在三維立體顯示場景中將鼠標等控制操 作設備的指示光標根據深度位移信息的變化實時顯示在三維立體場景中的不 同深度層次中。
為了解決上述問題，本發明的一個實施例提供了一種光標處理方法， 其中包括
產生三個維度的位移信息，所述三個維度包括平面兩個維度及深度維度；
根據所述位移信息實時調整所述光標對應兩眼視圖的視差；
將視差調整后的光標對應的兩眼視圖輸出到三維顯示設備。
為了解決上述問題，本發明的另 一 個實施例提供了 一種光標處理系統，
其中包括光標產生裝置和光標調整裝置，其中
所述光標產生裝置用于產生三個維度的位移信息，所述三個維度包括平
面兩個維度及深度維度；
所述光標調整裝置用于根據光標產生裝置產生的所述位移信息實時調整
所述光標對應兩眼視圖的視差，并將視差調整后的光標對應的兩眼視圖輸出
到三維顯示設備。
為了解決上述問題，本發明的又一個實施例提供了一種光標處理裝置， 其中包括光標產生單元和光標調整單元，其中
所述光標產生單元用于產生三個維度的位移信息，所述三個維度包括平面兩個維度及深度維度；
所述光標調整單元用于根據光標產生單元產生的所述位移信息實時調整 所述光標對應兩目艮視圖的視差，并將視差調整后的光標對應的兩眼視圖輸出 到三維顯示設備。
通過本發明實施例，使三維立體顯示場景中的光標能夠根據深度維度的 位移信息進行相應變化，從而實時顯示在三維立體場景中的不同深度層次中； 方便了用戶在三維立體顯示場景中的操作，使三維立體顯示場景具有更強的 真實感。
下面通過附圖和實施例，對本發明實施例的技術方案做進一步的詳細描述。
圖1為現有三維立體顯示場景的舉例示意圖2A為本發明方法實施例1所述光標處理方法的流程圖2B為本發明方法實施例1所述步驟102的具體流程圖2C為本發明方法實施例1所述雙目攝像機的拍攝原理示意圖2D為本發明方法實施例1所述基于閾值的迭代算法的流程圖3A為本發明方法實施例2所述立體圖像對獲取方法的流程圖3B為本發明方法實施例2所述由照相裝置拍攝目標場景的示意圖3C為本發明方法實施例2所述重新設置最大視差的流程圖4A為本發明方法實施例3所述立體圖像對獲取方法的流程圖4B為本發明方法實施例3所述3D場景建^t的示意圖5為本發明系統實施例所述光標處理系統的結構示意圖6為本發明裝置實施例所述光標處理裝置的結構示意圖。
具體實施方式
方法實施例1
本發明實施例提供了一種三維場景中的光標處理方法，如圖2A所示包
括
步驟IOI,光標產生裝置根據其位移產生三個維度的位移信息，所述三個 維度包括平面兩個維度及深度維度。
其中，光標產生裝置是指如鼠標等用于控制光標的裝置。具體地，平面 兩個維度的位移信息可以通過控制光標產生裝置的上下左右移動獲得，而深 度維度的位移信息可以通過安裝在光標產生裝置上的深度控制單元產生。其 中的深度控制單元是用于在深度方向上控制光標移動的單元，例如可以為滾 輪、按鍵或MEMS裝置。
步驟l 02, ^f艮據所述位移信息實時調整所述光標對應兩眼—見圖的;f見差。
具體在本發明實施例中，所述光標采用的是平面二維圖像，因此需要將 平面二維圖像轉換成具有視差的三維立體圖像，具體轉換過程如圖2B所示包 括
步驟102A，生成所述平面二維圖像的深度圖。具體地，可以先分割獲取 所述平面二維圖像的前景圖和背景圖；再根據所述三維場景中的參考基準深 度，為所述前景圖和背景圖分別設置不同的深度信息。
其中，深度信息的設置可以采用雙目攝像機的原理進行。如圖2C所示， 相距B的焦距為f兩臺攝像機對場景中深度為Z的目標點M進行拍攝，則 目標點M在左右攝像機的成像分別為rih和mr,則根據圖像匹配獲得成像點 iih和mr，視差為d的情況下，可根據如下關系式得到目標點的深度信息。
^(附,，》0 =》一、=垂(^-^) = *
x,和;c,分別表示成像m,和nu在x軸上的坐標；Z,和Z,表示雙目攝像機 的兩個鏡頭在x軸上的坐標。
其中，參考基準深度是指場景中深度Z^的位置所表示的深度；前景圖是指整個光標圖片，如箭頭圖案等；背景圖是指處于參考基準深度的顯示背景， 如設為顯示屏幕所在的平面的背景等。對于一個普通的平面二維圖像，其前 景圖和背景圖可以釆用采用基于閾值的迭代算法分割獲得。具體的迭代算法 如圖2D所示，主要包括如下步驟
1) 求得平面二維圖像的最大灰度值和最小灰度值，分別記為ZMAX和Z,， 令初始閾值T產(ZMAX+ZMIN) /2;
2) 才艮據閾值TK將圖象分割為前景和背景，分別求出兩者的平均灰度值
Zo和Zb'，
3) 求出新閱值TV產(Z。+ZB)/2;
4) 若T產Tw，則所得值即為閾值，結束迭代過程；否則轉2),進行迭 代計算。
通過上述迭代算法所得到的閾值分割的圖像效果良好。基于迭代的閾值 能區分出平面二維圖像的前景圖和背景圖的主要區域所在，但在平面二維圖 像的細微處還沒有很好的區分度。為了得到更加準確的平面二維圖像的前景 圖和背景圖，可以采用現有的 一種基于圖論的圖像分割算法。
步驟102B,根據所述深度維度的位移信息調整所述深度圖的視差。具 體為調整所述深度圖中的前景圖和背景圖的視差。
立體圖像中的目標深度用于使用戶獲得三維顯示場景下的深度感和層 次感，深度設置的精度要求相比目標重構和目標識別所要求的精度低。因 此可以采用粗粒度的深度設置場景的前景圖和背景圖的深度，為前景圖設 置較小的深度，而為背景圖設置較大的深度。深度的設置以在重構時可以 保證立體圖像顯示時觀看者可以顯著感受到場景中的前景圖和背景圖的關 系為準。
步驟10 3 ，將視差調整后的光標所對應的兩眼視圖輸出到三維場景顯示設 備中。
有視差的立體圖像在顯示時被分別顯示給觀看者的左眼和右眼，觀看者通過左右眼有差異的圖像感受到圖像內容的深度信息，從而使用戶獲得 光標的深度感。
通過本發明實施例所述方法，實現了在三維立體顯示場景中使采用平面 二維圖像的光標能夠根據深度維度的位移信息進行相應變化，從而實時顯示 在三維立體場景中的不同深度層次中。方便了用戶在三維立體顯示場景中的 操作，使三維立體顯示場景具有更強的真實感。
方法實施例2
本發明實施例提供了另一種三維場景中的光標處理方法，該方法與方法 實施例1的不同之處在于，在所述步驟102中，根據所述位移信息實時調 整所述光標對應兩眼視圖的視差時，方法實施例l所述光標采用的是平面 二維圖像，而本發明實施例所述光標采用的是已經具有視差的立體圖像， 因此，可以直接根據在步驟101中得到的所述深度維度的位移信息對立體 圖像的視差進行調整。
以下詳細介紹作為光標的立體圖像的獲取方法，如圖3A所示包括
步驟201，從第一位置拍攝得到第一圖像。
其中，如圖3B所示，照相裝置的焦距為f,對距離為Z的M點進行拍攝。利 用照相裝置先在某一位置拍4聶目標場景得到M的第一圖<象。
步驟202,移動到第二位置后拍攝得到M的第二圖像，從而獲得目標場景 的兩幅有視差的圖像，即立體圖像對，第一圖像和第二圖像的視差為d。具 體地，照相裝置移動的距離可以為人眼雙目間距的距離B。 步驟203，對所述立體圖像對進行圖像掃描線對齊處理。 由于拍攝拍攝得到的第 一 圖像和第二圖像這一對圖像在移動照相裝置 時的間距、角度和垂直方向的位置無法精確控制，因此需要以其中一幅圖 像為準，對另一幅圖像進行掃描線對齊處理。
由于人的雙眼水平位置高度相同，因此所觀看的場景內容在雙眼上成像 時不存在垂直方向的差異。而在移動照相裝置的移動過程中，可能會存在垂直方向的不一致的問題。通過圖像掃描線對齊處理可以實現左右立體圖^(象對
場景內容的垂直方向對齊。具體可以采用以下方式
在立體圖像對的場景重疊區，分別在第一圖像和第二圖像中創建兩個或 多個搜索欄；將圖像的各搜索欄根據顏色分量分解成多個灰度子圖像；采用 匹配算法對每個子圖像搜索欄中的每個點進行匹配并計算垂直偏移量，利用 這些垂直偏移量外推到整個圖像從而調整對齊兩幅圖像。
步驟204，對完成圖像掃描線對齊處理后的立體圖像對重新設置最大 視差。
重新設置立體圖像的最大視差是因為在移動照相裝置到另一角度拍攝的 移動過程中，由于移動的間距可能過小，使得兩幅圖像的視差較小，導致立 體圖顯示時立體感不強；或者由于移動的間距過大，導致視差過大，容易引 起觀看疲勞。重新設置最大視差如圖3C所示，過程如下
首先對掃描線對齊后的兩幅圖像進行立體匹配，獲得第 一圖像對應的視 差圖；統計視差圖中的最大視差值；將預設的最佳視差值除以得到的最大視 差值，從而得到視差的縮放系數；利用該縮放系數對視差圖中每一點的視差 進行縮放調整；利用縮放后的視差和第一圖像重構第二圖像，從而完成重新 設置最大視差，使觀看者在觀看立體圖像顯示時，可以獲得更加舒適的立體 觀看效果。
步驟205,將所述第一圖像和第二圖像形成為立體圖，用作所述光標。 通過本發明實施例所述方法，采用雙照相裝置進行左右拍攝的方式獲得 的立體圖像作為三維立體顯示場景中的光標，并使光標能夠根據深度維度的 位移信息進行相應變化，從而實時顯示在三維立體場景中的不同深度層次中。 方便了用戶在三維立體顯示場景中的操作，使三維立體顯示場景具有更強的 真實感。
方法實施例3
發明實施例提供了另 一 種三維場景中的光標處理方法，該方法與方法實施例2類似，都采用立體圖像作為光標，因此，可以直接根據在步驟101 中得到的所述深度維度的位移信息對立體圖像的視差進行調整。但本發明 實施例中作為光標的立體圖像的獲取方法與方法實施例2不同。
以下詳細介紹本發明實施例中作為光標的立體圖像的獲取方法，如圖 4A所示包括
步驟301，對三維場景中使用的光標進行3D場景建模。 如圖4B所示，顯示了一個采用雙照相裝置的場景投影模型。其中A、 B為場景中的兩個點，A和A分別為互相平行的左右照相裝置的光心。A 和^之間的距離為c;照相裝置到成像平面的距離為D。 4和^分別為點 A對于左右照相裝置在投影平面上的投影點；A和^分別為點B對于左右 照相裝置在投影平面上的投影點。假設照相裝置位于A和^連線的中點 上，則根據簡單的幾何關系可以得到空間中某 一 點(x，少，z)在投影平面上的
D — z
對于左右照相裝置，可以將X軸的坐標進行相應的偏移，從而得到空
間中某一點Oc,;;,z)在左右照相裝置視點上的投影分別為
<formula>formula see original document page 12</formula>
其中，(^，vj表示空間中某一點在左照相裝置視點上的投影坐標；("k，、)表 示空間中某 一 點在右照相裝置視點上的投影坐標。根據上述計算得到的投 影關系，最終可以得到空間中某一物體在投影平面上的立體圖像對。
從圖4B中可以看出，視差為正時， 一個物體看上去位于投影平面的后 方；視差為零時，左右照相裝置在投影平面上的成像點的坐標正好重合； 視差為負時，則一個物體看上去位于投影平面的前方。
投影坐標("，v)為"步驟302，在得到光標模型后對光標模型進行渲染。 具體地，可以采用如OpenGL或DirectX 3D等軟件進行渲染。由于在 真實世界中人是通過雙眼觀察物體的，因此在泫染時需設置左右兩個視點 得到左右眼的渲染圖像。在具體實現時，用戶可以采用圖形應用程序接口 Application Programming Interface,簡稱API )提供的視點變換和投 影變換功能來設置左右照相裝置的位置和觀察范圍。例如對于OpenGL軟 件，可以使用gluLookAt方法設置觀察視點，即設置照相裝置的位置；并 使用glFrustum方法計算透視投影變換。
通過本發明實施例所述方法，釆用3D建模方法獲得的立體圖像作為三維 立體顯示場景中的光標，并使光標能夠根據深度維度的位移信息進行相應變 化，從而實時顯示在三維立體場景中的不同深度層次中。方^l了用戶在三維 立體顯示場景中的操作，使三維立體顯示場景具有更強的真實感。 系統實施例
本發明實施例提供了一種光標處理系統，如圖5所示包括光標產生 裝置10和光標調整裝置20。其工作原理如下
光標產生裝置10可以為普通的鼠標等用于控制光標的裝置。用戶移動光 標產生裝置10時，光標產生裝置10中的深度控制單元11在深度方向上控制光 標移動。其中深度控制單元ll可以為滾輪、按4建或MEMS裝置等。
光標產生裝置10中的位移信息產生單元12根據所述深度控制單元11 控制光標在深度方向上移動的結果，以及所述光標產生裝置10的位移產生 三個維度的位移信息，所述三個維度包括平面兩個維度及深度維度。其中， 深度維度的位移信息可以根據深度控制單元11對光標在深度方向上進行 控制的信息得到。
光標調整裝置2 0中的光標視差調整單元21根據由光標產生裝置10得到的 所述位移信息，實時調整所述光標對應兩眼視圖的視差，具體的調整過程可 參見方法實施例l、 2和3所述，此處不再贅述。
完成視差調整后，光標調整裝置20中的光標輸出單元22將視差調整后的光標所對應的兩目艮視圖輸出到三維場景顯示設備中。
通過本發明實施例所述系統，實現了使光標能夠根據深度維度的位移信息
進行相應變化，從而實時顯示在三維立體場景中的不同深度層次中；方便了 用戶在三維立體顯示場景中的操作，使三維立體顯示場景具有更強的真實感。
本發明實施例還提供了一種光標處理裝置，如圖6所示包括光標產 生單元4Q和光標調整單元50。其工作原理如下
光標產生單元40可以為普通的鼠標等用于控制光標的單元。用戶移動光 標產生單元40時，光標產生單元40中的深度控制模塊41在深度方向上控制光 標移動。
光標產生單元40中的位移信息產生模塊42根據所述深度控制模塊41 控制光標在深度方向上移動的結果，以及所述光標產生單元40的位移產生 三個維度的位移信息，所述三個維度包括平面兩個維度及深度維度。其中， 深度維度的位移信息可以根據深度控制模塊41對光標在深度方向上進行 控制的信息得到。
光標調整單元5 0中的光標視差調整模塊5 l根據由光標產生單元4 O得到的 所述位移信息，實時調整所述光標對應兩眼視圖的視差，具體的調整過程可 參見方法實施例l、 2和3所述，此處不再贅述。
完成視差調整后，光標調整單元50中的光標輸出模塊52將視差調整后的 光標所對應的兩眼一見圖輸出到三維場景顯示設備中。
通過本發明實施例所述裝置，實現了使光標能夠根據深度維度的位移信 息進行相應變化，從而實時顯示在三維立體場景中的不同深度層次中；方便 了用戶在三維立體顯示場景中的操作，使三維立體顯示場景具有更強的真實 感。最后應說明的是以上實施例僅用以說明本發明的技術方案，而非對其 限制；盡管參照前述實施例對本發明進行了詳細的說明，本領域的普通技術 人員應當理解其依然可以對前述各實施例所記載的技術方案進行修改，或 者對其中部分技術特征進行等同替換；而這些修改或者替換，并不使相應技
術方案的本質脫離本發明各實施例技術方案的精神和范圍。
權利要求
1、一種光標處理方法，其特征在于包括產生三個維度的位移信息，所述三個維度包括平面兩個維度及深度維度；根據所述位移信息實時調整所述光標對應兩眼視圖的視差；將視差調整后的光標對應的兩眼視圖輸出到三維顯示設備。
2、 根據權利要求l所述的光標處理方法，其特征在于根據所述位移信 息實時調整所述光標對應兩眼視圖的視差包括選取平面二維圖像作為所述光標； 生成所述平面二維圖像的深度圖； 根據所述深度維度的位移信息調整所述深度圖的視差。
3、 根據權利要求2所述的光標處理方法，其特征在于生成所述平面二 維圖像的深度圖包括獲取所述平面二維圖像的前景圖和背景圖；根據三維場景中的參考基準深度，為所述前景圖和背景圖分別設置不同 的深度信息。
4、 根據權利要求3所述的光標處理方法，其特征在于獲取所述平面二 維圖像的前景圖和背景圖包括采用基于閾值的迭代算法分割獲取所述平 面二維圖像的前景圖和背景圖。
5、 根據權利要求l所述的光標處理方法，其特征在于根據所述位移信 息實時調整所述光標對應兩眼視圖的視差包括獲取立體圖像對，并將所述立體圖像對作為所述光標； 根據所述深度維度的位移信息調整所述立體圖像對的視差。
6、 根據權利要求5所述的光標處理方法，其特征在于所述獲取立體圖 像對包括從第 一位置拍攝得到第 一 圖像； 移動后從第二位置拍攝得到第二圖像；將所述第 一 圖像和第二圖像形成為所述立體圖像對。
7、 根據權利要求6所述的光標處理方法，其特征在于還包括對所述 立體圖像對進行圖像掃描線對齊處理。
8、 根據權利要求7所述的光標處理方法，其特征在于進行所述圖像掃 描線對齊處理之后還包括對所述立體圖像對重新設置最大視差。
9、 根據權利要求5所述的光標處理方法，其特征在于所述獲取立體 圖像對包括對三維場景中的光標進行3D場景建模得到光標模型； 對所述光標模型進行渲染得到兩眼的立體渲染圖像。
10、 一種光標處理系統，其特征在于包括光標產生裝置和光標調整裝 置，其中所述光標產生裝置用于產生三個維度的位移信息，所述三個維度包括平 面兩個維度及深度維度；所述光標調整裝置用于根據光標產生裝置產生的所述位移信息實時調整 所述光標對應兩眼視圖的視差，并將視差調整后的光標對應的兩眼視圖輸出 到三維顯示設備。
11、 根據權利要求10所述的光標處理系統，其特征在于所述光標產 生裝置包括深度控制單元，用于在深度方向上控制光標移動；位移信息產生單元，用于根據所述深度控制單元控制光標在深度方向 上移動的結果，以及所述光標產生裝置的位移，產生三個維度的位移信息， 所述三個維度包括平面兩個維度及深度維度。
12、 根據權利要求11所述的光標處理系統，其特征在于所述深度控制 單元包括滾輪、按鍵或微機電系統裝置。
13、 根據權利要求11所述的光標處理系統，其特征在于所述光標調 整裝置包括光標視差調整單元，用于根據光標產生裝置得到的所述位移信息，實時調整所述光標對應兩眼視圖的視差；光標輸出單元，用于將視差調整后的光標所對應的兩眼視圖輸出到三維 場景顯示設備中。
14、 一種光標處理裝置，其特征在于包括光標產生單元和光標調整單 元，其中所述光標產生單元用于產生三個維度的位移信息，所述三個維度包括平 面兩個維度及深度維度；所述光標調整單元用于根據光標產生單元產生的所述位移信息實時調整 所述光標對應兩眼視圖的視差，并將視差調整后的光標對應的兩眼視圖輸出 到三維顯示設備。
15、 根據權利要求14所述的光標處理系統，其特征在于所述光標產 生單元包括深度控制模塊，用于在深度方向上控制光標移動；位移信息產生模塊，用于根據所述深度控制模塊控制光標在深度方向 上移動的結果，以及所述光標產生模塊的位移，產生三個維度的位移信息， 所述三個維度包括平面兩個維度及深度維度。
16、 根據權利要求15所述的光標處理系統，其特征在于所述光標調 整單元包括光標視差調整模塊，用于根據光標產生模塊得到的所述位移信息，實時 調整所述光標對應兩眼視圖的視差；光標輸出模塊，用于將視差調整后的光標所對應的兩眼視圖輸出到三維場景顯示設備中。
全文摘要
本發明涉及一種光標處理方法、裝置及系統，其中方法包括光標產生裝置根據其位移產生三個維度的位移信息，所述三個維度包括平面兩個維度及深度維度；根據所述位移信息實時調整所述光標對應兩眼視圖的視差；將視差調整后的光標所對應的兩眼視圖輸出到三維場景顯示設備中。系統包括光標產生裝置和光標調整裝置。通過本發明，使三維立體顯示場景中的光標能夠根據深度維度的位移信息進行相應變化，從而實時顯示在三維立體場景中的不同深度層次中；方便了用戶在三維立體顯示場景中的操作，使三維立體顯示場景具有更強的真實感。
文檔編號G06F3/048GK101587386SQ200810100670
公開日2009年11月25日 申請日期2008年5月21日 優先權日2008年5月21日
發明者樹貴明 申請人:深圳華為通信技術有限公司