一種3d車載終端人機交互系統及交互方法
【專利摘要】本發明公開了一種3D車載終端人機交互系統，其特征在于，包括：3D車載終端；虛擬界面生成及控制模塊；3D圖像傳感器；實時膚色模型模塊；手勢幾何模型模塊；跟蹤模型模塊；識別模塊。以上模塊結合虛擬界面信息，得出用戶操控意圖并發出相應控制命令。一種3D車載終端人機交互方法包括以下步驟：(1)所述3D圖像傳感器置于用戶前方；(2)所述3D圖像傳感器置于3D車載終端頂部位置；(3)通過虛擬界面的建立、三維手勢模型數據庫的建立、用戶手勢的識別實現系統的交互。
【專利說明】
一種3D車載終端人機交互系統及交互方法
技術領域
[0001]本發明涉及車載信息服務領域，具體涉及一種3D車載終端人機交互系統及交互方法。
【背景技術】
[0002]隨著國內汽車的發展、汽車功能的增加，迫切需要提供更加豐富的業務。由于車載終端的誕生，使得車載終端業務比普通終端更具影響力和市場潛力，車載終端也將成為未來新興的傳播媒體，以及成為車載終端傳播的新渠道，既可以充分利用內容資源，也擴大了用戶范圍，并且能夠實現廣播網絡的移動化。
[0003]手勢交互是理想的人機交互方式之一，而手勢識別技術是手勢交互的重要技術手段。手勢識別技術一般包括膚色分割、手勢區域提取、手勢特征提取、手勢特征分類這四部分。在傳統的手勢識別技術中這幾個技術模塊實現各有差異，但總體存在改進空間。
[0004]傳統手勢識別技術一般采用將RGB顏色轉換到Ycbcr或HSV顏色空間，然后通過限定閾值得到膚色分割模塊。這樣的膚色分割處理方法通常會因為環境光照的影響，效果變的不穩定。而且不能處理好環境中類膚色區域的干擾，對使用環境要求比較高。
[0005]在手勢特征分類這部分，傳統手勢識別方法中一般著重于單張圖像的靜態手勢識另IJ，忽視了視頻數據的連續性，沒能充分利用數據以進一步提高識別的可靠性。
[0006]考慮到上述問題，本發明的目的在于提供一種3D車載終端人機交互系統及交互方法，通過將3D車載終端與手勢識別技術相結合，引入具有獲取物體3維信息的3D圖像傳感器，改變傳統人機交互方式，提高人機交互時的互動性，用簡單易識別的手勢完成對車載終端的各種復雜功能的操控。
【發明內容】
[0007]為了達到上述目的，本發明采用如下技術方案:
[0008]一種3D車載終端人機交互系統，其特征在于，包括:3D車載終端;虛擬界面生成及控制模塊，用于控制3D車載終端投影虛擬界面;3D圖像傳感器，用于獲取物體深度或三維視覺信息;實時膚色模型模塊:用于從圖像中提取膚色塊;手勢幾何模型模塊:用于從膚色圖像中提取手勢特征，定義靜態手勢指令;跟蹤模型模塊:用于對手勢圖像做跟蹤;識別模塊:用于手勢指令識別。
[0009]在所述實時膚色模型模塊中包括:初始膚色獲取模塊:利用嚴格膚色閾值限制和動態幀差來獲取初始膚色數據塊;膚色模型計算模塊:利用已有的膚色數據庫計算基于亮度索引的多高斯膚色模型，并且在手勢識別過程中根據當前所獲得膚色圖像實時更新模型參數;膚色判斷模塊:根據計算好的膚色模型，對像素點進行膚色判斷，當概率大于設定閾值時給予膚色判斷，以上模塊結合虛擬界面信息，得出用戶操控意圖并發出相應控制命令。
[0010]所述3D圖像傳感器置于用戶前方；
[0011]所述3D圖像傳感器置于3D車載終端頂部位置；
[0012]一種3D車載終端人機交互方法，其特征在于，通過以下步驟實現交互:
[0013]3D車載終端開機后，3D圖像傳感器首先獲取用戶位置信息，將其傳送給虛擬界面生成及控制模塊;該模塊根據用戶位置信息計算虛擬界面成像最佳位置及角度，控制3D車載終端在用戶面前投影出虛擬界面；
[0014]三維手勢模型數據庫由一組記錄組成，每條記錄包括手勢識別序列和三維手勢模型序列；
[0015]當虛擬界面在用戶前面成像后，用戶對虛擬界面進行操作，3D圖像傳感器不斷捕捉用戶的手指位置和移動信息，并將捕獲的信息反饋給用戶手勢識別模塊和三維手勢模型數據庫；用戶手勢識別模塊對3D圖像傳感器獲取的用戶手勢信息進行分析、處理和識別；
[0016]通過手勢識別，3D圖像傳感器得到用戶正在執行的動作信息，并通過對用戶正在執行的動作信息與虛擬界面、以及三維手勢模型數據庫內容的結合，分析得到用戶想要進行的操作意圖，并對虛擬界面生成及控制模塊或3D車載終端發出控制命令，從而執行相應的操作。
[0017]本發明通過3D圖像傳感器獲取用戶的位置與距離，利用3D車載終端能夠在指定角度及距離呈現虛擬畫面的能力，在之前獲取的用戶位置處由虛擬界面生成及控制模塊控制3D車載終端呈現的虛擬界面，以虛擬界面為依托，用戶通過簡單易識別的手勢或動作與智能車載終端進行互動。
【主權項】
1.一種3D車載終端人機交互系統，其特征在于，包括:3D車載終端；虛擬界面生成及控制模塊，用于控制3D車載終端投影虛擬界面;3D圖像傳感器，用于獲取物體深度或三維視覺信息;實時膚色模型模塊:用于從圖像中提取膚色塊;手勢幾何模型模塊:用于從膚色圖像中提取手勢特征，定義靜態手勢指令;跟蹤模型模塊:用于對手勢圖像做跟蹤;識別模塊:用于手勢指令識別;在所述實時膚色模型模塊中包括:初始膚色獲取模塊:利用嚴格膚色閾值限制和動態幀差來獲取初始膚色數據塊;膚色模型計算模塊:利用已有的膚色數據庫計算基于亮度索引的多高斯膚色模型，并且在手勢識別過程中根據當前所獲得膚色圖像實時更新模型參數;膚色判斷模塊:根據計算好的膚色模型，對像素點進行膚色判斷，當概率大于設定閾值時給予膚色判斷，以上模塊結合虛擬界面信息，得出用戶操控意圖并發出相應控制命令。2.根據權利要求1所述的一種3D車載終端人機交互系統，其特征在于，所述3D圖像傳感器置于用戶前方。3.根據權利要求1所述的一種3D車載終端人機交互系統，其特征在于，所述3D圖像傳感器置于3D車載終端頂部位置。4.一種3D車載終端人機交互方法，其特征在于，通過以下步驟實現交互: 3D車載終端開機后，3D圖像傳感器首先獲取用戶位置信息，將其傳送給虛擬界面生成及控制模塊;該模塊根據用戶位置信息計算虛擬界面成像最佳位置及角度，控制3D車載終端在用戶面前投影出虛擬界面； 三維手勢模型數據庫由一組記錄組成，每條記錄包括手勢識別序列和三維手勢模型序列； 當虛擬界面在用戶前面成像后，用戶對虛擬界面進行操作，3D圖像傳感器不斷捕捉用戶的手指位置和移動信息，并將捕獲的信息反饋給用戶手勢識別模塊和三維手勢模型數據庫；用戶手勢識別模塊對3D圖像傳感器獲取的用戶手勢信息進行分析、處理和識別； 通過手勢識別，3D圖像傳感器得到用戶正在執行的動作信息，并通過對用戶正在執行的動作信息與虛擬界面、以及三維手勢模型數據庫內容的結合，分析得到用戶想要進行的操作意圖，并對虛擬界面生成及控制模塊或3D車載終端發出控制命令，從而執行相應的操作。
【文檔編號】G06F3/01GK106020433SQ201510893360
【公開日】2016年10月12日
【申請日】2015年12月9日
【發明人】張樹坤
【申請人】展視網（北京）科技有限公司