專利名稱：一種3d虛擬投影及虛擬觸摸的用戶交互界面及實現方法
技術領域：
本發明涉及顯示設備，尤其涉及一種在顯示設備中實現3D虛擬投影及虛擬觸摸的用戶交互界面及實現方法。
背景技術：
目前，已經有出現在虛擬屏幕上實現觸摸的操作，但還沒有在3D虛擬顯示的用戶交互界面上實現虛擬觸摸操作。例如，專利號為200910197205. 2，專利名稱為“一種可視可操作無實體的觸摸屏系統”中，公開了一種可視可操作無實體的觸摸屏系統，該系統由一臺計算機，兩個網絡攝像頭，一個頭戴式顯示器，以及一個標定參照物組成，該參照物標定了一個虛擬觸摸屏。用戶可以通過頭戴式顯示器觀察含有虛擬觸摸屏的現實世界。并且可以直接用手操作沒有實體的觸摸屏。本發明采用兩個攝像頭進行實時的圖像采集。計算機系統根據攝像頭輸入的圖像。在標定參照物的配合下進行空間定標與指尖位置動作識別，并且合成相應的圖像。頭戴式顯示器把含有虛擬觸摸屏的圖像輸出給用戶。用戶通過頭戴式顯示器直接觀察到虛擬觸摸屏的反饋。該專利中，雖然實現了在虛擬屏幕上進行觸摸的操作，但未實現在3D虛擬顯示的用戶交互界面上實現虛擬觸摸工作。
發明內容
為了克服現有技術的不足，本發明的目的在于提供一種給用戶帶來全新的交互體驗的3D虛擬投影及虛擬觸摸的用戶交互界面及實現方法。本發明的技術方案為一種3D虛擬投影及虛擬觸摸的用戶交互界面，其包括以下部件
深度探測器用于探測用戶頭部及手部與3D顯示設備的距離信息； 雙眼圖像視差計算模塊根據接收的距離信息計算出將用戶交互界面通過3D顯示虛擬投影到距用戶頭部臂長范圍的雙眼圖像視差；
雙眼圖像處理模塊將左右眼顯示的圖像處理達到雙眼圖像視差計算模塊計算的雙眼圖像視差，再將處理后的圖像發送給3D顯示設備；
3D顯示設備把雙眼圖像處理模塊進行處理過的雙眼視差圖像以3D顯示，使用戶交互界面以3D虛擬投影的方式顯示在用戶頭部臂長范圍內；
手勢識別模塊使用攝像頭攝取用戶手部運動軌跡，并結合深度探測器得到的用戶手部與3D顯示設備的距離信息，識別手勢； 攝像頭攝取用戶手部的運動軌跡；
虛擬觸摸控制器接收手勢識別模塊的信息，并做出相應反應； 其中，所述深度探測器的輸出端與雙眼圖像視差計算模塊的輸入端連接，雙眼圖像視差計算模塊的輸出端與雙眼圖像處理模塊的輸入端連接；雙眼圖像處理模塊的輸出端與 3D顯示設備連接；手勢識別模塊的輸入端分別與深度探測器和攝像頭連接，手勢識別模塊的輸出端與虛擬觸摸控制器連接。所述3D顯示設備為電視機、電腦、一體機或手機等手持顯示設備。本發明中，3D虛擬投影及虛擬觸摸的用戶交互界面的實現方法包括以下步驟
1)、深度探測器探測得到用戶頭部和手部與3D顯示設備距離信息，并將探測的距離信息發送給雙眼圖像視差計算模塊；
2)、雙眼圖像視差計算模塊根據接收的距離信息計算出將用戶交互界面通過3D顯示虛擬投影到用戶頭部臂長范圍的雙眼圖像視差，并將雙眼圖像視差信息發送給雙眼圖像處理模塊；
3)、雙眼圖像處理模塊根據接收的雙眼圖像視差信息，將左右眼顯示的圖像處理達到雙眼視差模塊計算的雙眼圖像視差，再將處理后的圖像發送給3D顯示設備；
4)、3D顯示模塊接收雙眼圖像處理模塊發送的處理好的3D圖像，以3D方式顯示并將圖像虛擬投影在用戶臂長范圍；
5)、手勢識別模塊根據深度探測器和攝像頭識別到用戶手勢及手指移動軌跡，并將接收的信息發送給虛擬觸摸控制器，虛擬觸摸控制器根據用戶手勢及移動軌跡做出相應的反應。本發明所述步驟5中，當用戶做出手勢動作時，深度探測器探測用戶手指到3D顯示設備的距離，并將獲取的距離信息發送給手勢識別模塊；攝像頭攝取用戶手勢動作的圖像，也將獲取的信息發送給手勢識別模塊，手勢識別模塊接收兩者的信息后，與3D虛擬顯示的用戶交互界面的位置做比對，判斷用戶是否觸摸到3D虛擬顯示的用戶交互界面，并將判斷結果發送給虛擬觸摸控制器，若有觸摸到，則虛擬觸摸控制器做出反應，在用戶手指觸摸到的3D虛擬顯示的用戶交互界面上產生諸如水波紋或高亮等變化；若沒觸摸到，虛擬觸摸控制器則不反應；
當用戶手指在3D虛擬顯示的用戶交互界面上移動時，攝像頭攝取手指移動軌跡，并將獲取的信息發送給手勢識別模塊，手勢識別模塊判別用戶的手勢，并將判斷結構發送給虛擬觸摸控制器，虛擬觸摸控制器收到信息后，做出相應反應。采用本發明的技術方案，綜合利用深度探測技術，3D顯示技術以及手勢識別技術， 創造出一種全新的3D虛擬觸摸交互方式，克服目前觸摸不能離開屏幕，而手勢不能與交互的對象距離較遠的問題；用戶不僅可以實現在虛擬屏幕上進行觸摸操作，還可實現3D虛擬投影。本發明不僅可以實現增加一種帶反饋的，虛擬投影、虛擬觸摸的3D用戶界面，而且帶給用戶使用方便和全新的交互體驗。
下面結合附圖和具體實施方式
對本發明作進一步詳細的說明 圖1是發明的結構示意圖2是本發明的流程圖。
具體實施例方式下面結合具體實施方式
對本發明作進一步詳細的說明
如圖1或圖2所示，本發明的技術方案為一種3D虛擬投影及虛擬觸摸的用戶交互界面，其包括以下部件
深度探測器1 用于探測用戶頭部及手部與3D顯示設備4的距離信息； 雙眼圖像視差計算模塊2 根據接收的距離信息計算出將用戶交互界面通過3D顯示虛擬投影到距用戶頭部臂長范圍的雙眼圖像視差；
雙眼圖像處理模塊3 將左右眼顯示的圖像處理達到雙眼圖像視差計算模塊2計算的雙眼圖像視差，再將處理后的圖像發送給3D顯示設備4 ；
3D顯示設備4 把雙眼圖像處理模塊3進行處理過的雙眼視差圖像以3D顯示，使用戶交互界面以3D虛擬投影的方式顯示在用戶頭部臂長范圍內；
手勢識別模塊5 使用攝像頭攝取用戶手部運動軌跡，并結合深度探測器得到的用戶手部與3D顯示設備的距離信息，識別手勢； 攝像頭6 攝取用戶手部的運動軌跡；
虛擬觸摸控制器7 接收手勢識別模塊的信息，并做出相應反應； 其中，所述深度探測器1的輸出端與雙眼圖像視差計算模塊2的輸入端連接，雙眼圖像視差計算模塊2的輸出端與雙眼圖像處理模塊3的輸入端連接；雙眼圖像處理模塊3的輸出端與3D顯示設備4連接；手勢識別模塊5的輸入端分別與深度探測器1和攝像頭6連接，手勢識別模塊5的輸出端與虛擬觸摸控制器7連接。所述3D顯示設備4為電視機、電腦、一體機或手機等手持顯示設備。本發明中，3D虛擬投影及虛擬觸摸的用戶交互界面的實現方法包括以下步驟
1)、深度探測器1探測得到用戶頭部和手部與3D顯示設備4距離信息，并將探測的距離信息發送給雙眼圖像視差計算模塊2 ；
2)、雙眼圖像視差計算模塊2根據接收的距離信息計算出將用戶交互界面通過3D顯示虛擬投影到用戶頭部臂長范圍的雙眼圖像視差，并將雙眼圖像視差信息發送給雙眼圖像處理模塊3 ；
3)、雙眼圖像處理模塊3根據接收的雙眼圖像視差信息，將左右眼顯示的圖像處理達到雙眼視差模塊計算2的雙眼圖像視差，再將處理后的圖像發送給3D顯示設備4 ；
4)、3D顯示模塊4接收雙眼圖像處理模塊3發送的處理好的3D圖像，以3D方式顯示并將圖像虛擬投影在用戶臂長范圍；
5)、手勢識別模塊5根據深度探測器1和攝像頭6識別到用戶手勢及手指移動軌跡，并將接收的信息發送給虛擬觸摸控制器7，虛擬觸摸控制器7根據用戶手勢及移動軌跡做出相應的反應。本發明所述步驟5中，當用戶做出手勢動作時，深度探測器1探測用戶手指到3D 顯示設備4的距離，并將獲取的距離信息發送給手勢識別模塊5 ；攝像頭6攝取用戶手勢動作的圖像，也將獲取的信息發送給手勢識別模塊5，手勢識別模塊5接收兩者的信息后，與 3D虛擬顯示的用戶交互界面的位置做比對，判斷用戶是否觸摸到3D虛擬顯示的用戶交互界面，并將判斷結果發送給虛擬觸摸控制器7，若有觸摸到，則虛擬觸摸控制器7做出反應， 在用戶手指觸摸到的3D虛擬顯示的用戶交互界面上產生諸如水波紋或高亮等變化；若沒觸摸到，虛擬觸摸控制器7則不反應；
當用戶手指在3D虛擬顯示的用戶交互界面上移動時，攝像頭6攝取手指移動軌跡，并將獲取的信息發送給手勢識別模塊5，手勢識別模塊5判別用戶的手勢，并將判斷結構發送給虛擬觸摸控制器7，虛擬觸摸控制器7收到信息后，做出相應反應。例如若用戶觸摸到的是按鍵，虛擬觸摸控制器7則響應這個按鍵功能；若觸摸到的是縮放按鍵，則虛擬觸摸控制器7響應屏幕縮放功能。若手勢識別模塊5檢測到觸摸有手的位移，則虛擬觸摸控制器7 根據預先設定的手勢定義做出相應反應。 采用本發明的技術方案，綜合利用深度探測技術，3D顯示技術以及手勢識別技術， 創造出一種全新的3D虛擬觸摸交互方式，克服目前觸摸不能離開屏幕，而手勢不能與交互的對象距離較遠的問題，給用戶提供一種帶反饋的，虛擬投影、虛擬觸摸的3D用戶界面，而且帶給用戶使用方便和全新的交互體驗。
權利要求
1.一種3D虛擬投影及虛擬觸摸的用戶交互界面，其特征在于其包括以下部件深度探測器用于探測用戶頭部和手部與3D顯示設備的距離信息；雙眼圖像視差計算模塊根據接收的距離信息計算出將用戶交互界面通過3D顯示虛擬投影到距用戶頭部臂長范圍內的雙眼圖像視差；雙眼圖像處理模塊將左右眼顯示的圖像進行處理達到雙眼圖像視差計算模塊計算的雙眼圖像視差，再將處理后的圖像發送給3D顯示設備；3D顯示設備把雙眼圖像處理模塊處理過的雙眼視差圖像以3D顯示，使用戶交互界面以3D虛擬投影的方式顯示在用戶頭部臂長范圍內；手勢識別模塊使用攝像頭攝取用戶手部運動軌跡，并結合深度探測器得到的用戶手部與3D顯示設備的距離信息，識別手勢；攝像頭攝取用戶手部的運動軌跡；虛擬觸摸控制器接收手勢識別模塊的信息，并做出相應反應；其中，所述深度探測器的輸出端與雙眼圖像視差計算模塊的輸入端連接，雙眼圖像視差計算模塊的輸出端與雙眼圖像處理模塊的輸入端連接；雙眼圖像處理模塊的輸出端與 3D顯示設備連接；手勢識別模塊的輸入端分別與深度探測器和攝像頭連接，手勢識別模塊的輸出端與虛擬觸摸控制器連接。
2.根據權利要求1所述的3D虛擬投影及虛擬觸摸的用戶交互界面，其特征在于所述 3D顯示設備為電視機、電腦、一體機、手機或手持顯示設備。
3.—種3D虛擬投影及虛擬觸摸的用戶交互界面的實現方法，其特征在于所述實現方法包括以下步驟1)深度探測器探測得到用戶頭部和手部與3D顯示設備距離信息，并將探測的距離信息發送給雙眼圖像視差計算模塊；2)雙眼圖像視差計算模塊根據接收的距離信息計算出將用戶交互界面通過3D顯示虛擬投影到用戶頭部臂長范圍的雙眼圖像視差，并將雙眼圖像視差信息發送給雙眼圖像處理模塊；3)雙眼圖像處理模塊根據接收的雙眼圖像視差信息，將左右眼顯示的圖像處理達到雙眼視差模塊計算的雙眼圖像視差，再將處理后的圖像發送給3D顯示設備；4)3D顯示模塊接收雙眼圖像處理模塊發送的處理好的3D圖像，以3D方式顯示并將圖像虛擬投影在用戶臂長范圍；5)手勢識別模塊根據深度探測器和攝像頭識別到用戶手勢及手指移動軌跡，并將接收的信息發送給虛擬觸摸控制器，虛擬觸摸控制器根據用戶手勢及移動軌跡做出相應的反應。
4.根據權利要求3所述的3D虛擬投影及虛擬觸摸的用戶交互界面的實現方法，其特征在于所述步驟5中，當用戶做出手勢動作時，深度探測器探測用戶手指到3D顯示設備的距離，并將獲取的距離信息發送給手勢識別模塊；攝像頭攝取用戶手勢動作的圖像，也將獲取的信息發送給手勢識別模塊，手勢識別模塊接收兩者的信息后，與3D虛擬顯示的用戶交互界面的位置做比對，判斷用戶是否觸摸到3D虛擬顯示的用戶交互界面，并將判斷結果發送給虛擬觸摸控制器，若有觸摸到，則虛擬觸摸控制器做出反應，在用戶手指觸摸到的3D 虛擬顯示的用戶交互界面上產生水波紋或高亮變化；若沒觸摸到，虛擬觸摸控制器則不反應；當用戶手指在3D虛擬顯示的用戶交互界面上移動時，攝像頭攝取手指移動軌跡，并將獲取的信息發送給手勢識別模塊，手勢識別模塊判別用戶的手勢，并將判斷結果發送給虛擬觸摸控制器，虛擬觸摸控制器收到信息后，做出相應反應。
全文摘要
本發明公開一種3D虛擬投影及虛擬觸摸的用戶交互界面及實現方法，包括深度探測器、雙眼圖像視差計算模塊、雙眼圖像處理模塊、3D顯示設備、手勢識別模塊、攝像頭和虛擬觸摸控制器。深度探測器探測得到用戶頭部和手部與3D顯示設備距離信息；雙眼圖像視差計算模塊根據距離信息計算雙眼圖像視差，雙眼圖像處理模塊根據雙眼圖像視差信息處理圖像，再將處理后的圖像發送給3D顯示設備虛擬投影在用戶臂長范圍；手勢識別模塊根據深度探測器和攝像頭識別到用戶手指移動軌跡，虛擬觸摸控制器根據用戶手勢及移動軌跡做出相應的反應。本發明不僅可以實現增加一種帶反饋的，虛擬投影、虛擬觸摸的3D用戶界面，而且帶給用戶使用方便和全新的交互體驗。
文檔編號G06F3/01GK102508546SQ20111033654
公開日2012年6月20日 申請日期2011年10月31日 優先權日2011年10月31日
發明者陳陽 申請人:冠捷顯示科技(廈門)有限公司