一種結合人臉和手勢控制的人機交互方法及裝置制造方法
【專利摘要】本發明涉及一種結合人臉和手勢控制的人機交互方法及裝置，該方法用于與人機交互裝置進行交互，人機交互裝置獲取人手區域信息和人臉區域信息，根據人手區域和人臉區域分別計算并設置開啟人機交互的人手中心點和人臉中心點，通過人手中心點和人臉中心點的運動軌跡，分別判斷是靜態變化手勢或動態變化手勢、靜態人臉動作或動態人臉動作。人機交互裝置識別并獲得與動作對應的控制指令，控制指令用于控制終端設備完成相應的操作。該人機交互方法在傳統的人機交互方法的基礎上進行了改進，解決了傳統人機交互方法中存在的問題；相比于傳統的人機交互方法，該方法步驟設計更為合理有效，作用明顯，效果顯著，具有很高的實用價值。
【專利說明】一種結合人臉和手勢控制的人機交互方法及裝置
【技術領域】
[0001]本發明涉及一種結合人臉和手勢控制的人機交互方法及裝置，屬于人工智能與圖像處理【技術領域】。
【背景技術】
[0002]隨著科技的發展，各種智能設備的應用越來越廣泛。人與智能設備之間的人機交互也越來越多，人機交互方式有接觸式和非接觸式兩種,接觸式的人機交互方式較為成熟和完善，而非接觸式的人機交互操作方式則處于研究起步階段。近年來，非接觸式的人機交互方式一直是人機交互方式中研究的熱點和難點問題，研究好非接觸式的人機交互方式具有很高使用價值，尤其是應用到一些特殊要求的場合下則意義更為重大。
[0003]人臉與人體的其他生物特征一樣與生俱來，它具有唯一性和不易復制的良好特性。人臉作為一種三維物體，受光照變化、姿態、表情和其他因素的共同影響。人臉識別是近年來模式識別、圖像處理、機器視覺、神經網絡以及認知科學等領域研究的熱點課題之一。
[0004]手勢是一種直觀的、自然地交互方式，表達方式快捷，表達意義豐富，是人類相互交流信息的重要工具。手勢識別是按照某種規則識別出手勢表達的內容，具有很強的一致性和擴展性。在應用方面，手勢識別系統可以實現聾啞人與正常人交流，也可以在應用軟件中直接操作軟件或虛擬對象。從手的結構來看，手勢包含手指和手掌；從手在三維空間的移動來分，可以在水平，垂直，深度三個方向移動。不同數量的手指結合不同方向的移動再加上手掌的變化可以組合成不同的手勢，可以實現控制，移動等不同的運用。近年來，如何將人臉和手勢結合起來達到更好的人與人或人機交互，是研究的熱點和難點問題。
【發明內容】
[0005]為解決上述問題，本發明提供一種結合人臉和手勢控制的人機交互方法，該方法能夠更為精準得獲取手勢控制信息，且該方法豐富了人機交互的多樣性，實現更為有效的人機交互操作。
[0006]本發明還提供一種用于實現上述結合人臉和手勢控制的人機交互方法的裝置。
[0007]術語說明:
[0008]1、深度信息，是指深度圖像具有的物體三維特征信息，深度圖像不同與通常所處理的二維圖像，深度圖像中的像素代表了一個相對的深度信息，因此每個像素都包含了三維坐標系下各個坐標值的信息，深度圖像數據反映了景物表面的三維信息。
[0009]2、圖像形態學處理，是指將數字形態學作為工具從圖像中提取對于表達和描繪區域形狀有用處的圖像分量，比如邊界、骨架以及凸殼，還包括用于預處理或后處理的形態學過濾、細化和修剪等。
[0010]本發明的技術方案如下:
[0011]一種結合人臉和手勢控制的人機交互方法，該方法包括:通過人體的動作集實現與人機交互裝置的操作，所述動作集包括單純人手動作、單純人臉動作及人手與人臉結合的動作；
[0012]人機交互裝置分別獲取人臉區域信息和人手區域信息，其中，所述人手區域位于人體與所述人機交互裝置之間；所述人手動作為人手區域內的人手動作，所述人臉動作為人臉區域內的人臉動作；
[0013]所述人機交互裝置根據人手區域信息計算并設置開啟人機交互動作的人手中心點，所述人手中心點作為人手區域在三維空間運動的參考基點，通過判斷人手中心點在三維空間內的運動軌跡，來確定人手動作為靜態變化手勢或動態變化手勢；所述人機交互裝置根據人臉區域信息計算并設置開啟人機交互動作的人臉中心點，所述人臉中心點作為人臉區域在三維空間運動的參考基點，通過判斷人臉中心點在三維空間內的運動軌跡，來確定人臉動作為靜態臉部動作或動態臉部動作；
[0014]所述人機交互裝置識別并獲得與動作集里的動作相對應的控制指令，所述控制指令用于控制終端設備完成相應操作。
[0015]優選的，所述人機交互裝置獲取人手區域信息的過程包括:
[0016]首先，所述人機交互裝置根據獲取的人臉區域信息計算并得到人體的膚色特征，再根據人手深度信息和膚色特征獲取人手區域信息，最后根據優化算法并結合圖像形態學處理，對人手區域信息進行優化處理。
[0017]進一步優選的,所述優化算法為Blob labeling算法。
[0018]優選的，所述人手中心點設置為手掌的最大內切圓圓心或整個手的最小外接圓圓心；所述人臉中心點設置為人臉最小外接圓圓心或最大內切圓圓心。
[0019]優選的，所述人手中心點在三維空間內的運動軌跡，是通過判斷人手中心點在三維坐標系內的位移與閾值的大小關系，確定人手動作是靜態變化手勢還是動態變化手勢:人手中心點在三維空間內對應一個三維坐標，通過判斷該人手中心點運動軌跡在三維坐標系內X軸Y軸Z軸的組合位移向量，若該組合位移向量的值小于預先設定的閾值，則人手動作為靜態變化手勢，若該組合位移向量的值大于預先設定的閾值，則人手動作為動態變化手勢。
[0020]進一步優選的，所述靜態變化手勢包括識別手指伸縮個數的結合確定的手勢、以手的輪廓與外接圓面積比參數確定的手勢、以手的有效凸缺陷加有效凸缺陷特征角的個數確定的手勢、以本征圖像的一維特征向量確定的手勢；所述動態變化手勢包括單純人手中心點的位移確定的動態變化手勢、人手中心點的位移結合手勢變化確定的動態變化手勢。此設計的好處在于，動態變化手勢除了包括單純人手中心點上下、左右、前后的位移變化帶來的手勢控制，還包括結合人手中心點的位置變化和手指或手掌的姿態變化帶來的手勢控制，減少了手勢識別時間，增加了人機交互過程中人機交互裝置操作的多樣性。
[0021]優選的，所述人臉中心點在三維空間內的運動軌跡，是通過判斷人臉中心點在三維坐標系內的位移與閾值的大小關系，確定人臉動作是靜態臉部動作還是動態臉部動作:人臉中心點在三維空間內對應一個三維坐標，通過判斷該人臉中心點運動軌跡在三維坐標系內X軸Y軸Z軸的組合位移向量，若該組合位移向量的值小于預先設定的閾值，則人臉動作為靜態臉部動作，若該組合位移向量的值大于預先設定的閾值，則人臉動作為動態臉部動作。
[0022]進一步優選的,所述靜態臉部動作包括人臉五官變化的動作,所述動態臉部動作包括人腦袋位置變化引起的動作。
[0023]優選的，所述人機交互方法還包括人機交互裝置定時獲取并更新膚色特征的過程。此設計的目的在于，在進行人機交互的過程中，人機交互裝置的光照變化難免對膚色產生影響，通過設置定時提取圖像裝置，定時更新膚色特征，以便人機交互裝置能夠準確檢測到人手區域的手勢動作。
[0024]一種用于實現結合人臉和手勢控制的人機交互方法的裝置，包括依次連接的圖像獲取模塊、動作處理模塊、功能實現模塊和終端設備；所述圖像獲取模塊分別獲取人臉區域信息和人手區域信息后，由動作處理模塊根據人臉區域信息和人手區域信息計算并設置開啟人機交互動作的人臉中心點和人手中心點，動作處理模塊通過人臉中心點和人手中心點的運動軌跡結合手勢和臉部動作判斷來識別人體的動作集后傳輸給功能實現模塊，功能實現模塊加載有與該動作信息相對應的控制指令，該控制指令進行終端設備的操作。
[0025]優選的，該裝置還包括定時提取模塊，所述定時提取模塊用以對圖像獲取模塊獲取的人臉區域信息定時獲取并更新膚色特征。
[0026]本發明的有益效果在于:
[0027]1.本人機交互方法改變了傳統單純獲取手勢圖像進行終端設備操作的方式，通過將人臉信息與人手信息結合起來，相應地豐富了人機交互裝置的控制指令，實現了控制終端設備操作的多樣性。
[0028]2.本人機交互方法改變了傳統單純獲取手勢圖像進行終端設備操作的方式，通過在人機交互過程中加入人臉信息這一因素，使人機交互裝置通過獲取膚色特征能夠進行更為精確地定位人手區域，在精確的人手區域內進行的手勢動作能夠使人機交互裝置進行更為有效的終端設備操作，解決了傳統人機交互過程中手勢識別度不高而帶來的誤操作、反復操作等問題。
[0029]3.本人機交互方法區別于傳統人機交互裝置對手勢動作不進行區分識別的單一做法，在人機交互裝置進行動作識別前，先對手勢動作和人臉動作進行劃分識別為靜態變化手勢還是動態變化手勢，靜態臉部動作還是動態臉部動作，提高了手勢動作和人臉動作識別的有效性；同時，靜態變化手勢或動態變化手勢，靜態臉部動作或動態臉部動作能夠更容易分類定義不同手勢、人臉下的操作動作，提高了人機交互裝置的實用性和控制性。
[0030]4.本人機交互方法通過增加定時獲取并更新膚色特征的設計，其目的是為了減少圖像獲取設備光照對膚色的影響，進而獲得更為準確的人手區域，對手勢動作的識別會更為準確無誤。
[0031]5.本人機交互方法在傳統人機交互方法的基礎上進行了改進，解決了傳統人機交互方法中存在的問題；相比于傳統的人機交互方法，該方法步驟設計更為合理有效，其作用更為明顯，效果更為顯著，具有更高的實用價值。
【專利附圖】
【附圖說明】
[0032]圖1為人機交互過程中人機交互裝置的結構示意圖；
[0033]圖2為人機交互過程中人機交互裝置各部分的結構框圖；
[0034]圖3為人機交互過程中交互方法的流程示意圖。
【具體實施方式】
[0035]下面通過實施例并結合附圖對本發明做進一步說明，但不限于此。
[0036]實施例1:
[0037]一種結合人臉和手勢控制的人機交互方法，所述方法包括:
[0038]首先根據人機交互裝置獲取的圖像鎖定人臉區域，這一過程可根據生理學知識，比如人臉的長寬比范圍(0.9，2.0)結合Adaboost算法，來獲取較為可靠的人臉區域，然后根據獲取的人臉區域得到膚色特征，此過程由圖像獲取裝置后期處理來獲得膚色特征，
[0039]其次，在實際操作過程中，人手區域位于人體與人機交互裝置之間；根據人手深度信息結合膚色特征來獲取人手區域信息，接著根據Blob labeling優化算法并結合圖像形態學處理的操作，進行去噪處理，進一步得到更為精確的人手區域信息。
[0040]人機交互裝置根據人手區域信息計算并設置開啟人機交互動作的人手中心點，該人手中心點為手掌的最大內切圓圓心，以此人手中心點作為人手區域在三維空間運動的參考基點；人機交互裝置根據人臉區域信息計算并設置開啟人機交互動作的人臉中心點，將人臉中心點選為人臉最小外接圓的圓心；
[0041 ] 判斷人手中心點在三維空間內的運動軌跡，通過判斷人手中心點在三維坐標內位移與人機交互裝置預先設定的閾值M的大小關系，具體過程是:該人手中心點在三維空間內對應一個三維坐標，通過判斷該人手中心點運動軌跡在三維坐標系內X軸Y軸Z軸的組合位移向量，若該組合位移向量的值小于預先設定的閾值M，則人手動作為靜態變化手勢，若該組合位移向量的值大于預先設定的閾值M，則人手動作為動態變化手勢。
[0042]靜態變化手勢包括以手指伸縮個數的結合確定的手勢，如伸出三個手指；或以手的輪廓與外接圓面積比參數確定的手勢，如握拳；或以手的有效凸缺陷加有效凸缺陷特征角的個數確定的手勢；或以本征圖像的一維特征向量確定的手勢；動態變化手勢包括人手中心點的位移確定的動態變化手勢，如人手左右移動或前后移動或上下移動；人手中心點的位移結合手勢變化確定的動態變化手勢，如人手左右移動的同時又伸出三根手指或人手前后移動的同時握拳。
[0043]動態變化手勢除了包括單純人手中心點上下、左右、前后的位移變化帶來的手勢控制，還包括結合人手中心點的位置變化和手指或手掌的姿態變化帶來的手勢控制，增加了人機交互過程中人機交互裝置操作的多樣性。
[0044]人臉中心點在三維空間內的運動軌跡，是通過判斷人臉中心點在三維坐標系內的位移與人機交互裝置預先設定的閾值N的大小關系，確定人臉動作是靜態臉部動作還是動態臉部動作。具體過程是:人臉中心點在三維空間內對應一個三維坐標，通過判斷該人臉中心點運動軌跡在三維坐標系內X軸Y軸Z軸的組合位移向量，若該組合位移向量的值小于預先設定的閾值N，則人臉動作為靜態臉部動作，如單純人臉五官的變化，例如眨眼或張嘴或皺眉；若該組合位移向量的值大于預先設定的閾值N，則人臉動作為動態臉部動作，人腦袋位置變化引起的動作，如抬頭、低頭、伸頭、轉臉等。
[0045]最終，人機交互裝置識別并獲得與動作集里的動作相對應的控制指令，控制指令用于控制終端的終端設備完成相應的操作，如抓取、拿放、開關、啟動、暫停等動作。人機交互裝置將相應指令預先存儲于數據庫中，當人展現某一動作時，人機交互裝置識別并從數據庫中調取與該動作相對應的控制指令，該控制指令控制終端設備實現特定的操作動作。
[0046]實施例2:
[0047]一種結合人臉和手勢控制的人機交互方法，其方法步驟如實施例1所述，其不同之處在于，根據整個人手的最小外接圓圓心，以此圓心為人機交互手勢的人手中心點；將人臉中心點選為人臉最大內切圓的圓心。
[0048]實施例3:
[0049]一種結合人臉和手勢控制的人機交互方法，其方法步驟如實施例1所述，其不同之處在于，該人機交互方法還包括人機交互裝置定時獲取并更新膚色特征的過程。在進行人機交互的過程中，人機交互裝置的光照變化難免對膚色產生影響，通過設置定時提取圖像裝置，定時更新膚色特征，以便人機交互裝置能夠準確檢測到人手區域的手勢動作。
[0050]實施例4:
[0051]一種用于結合人臉和手勢控制的人機交互方法的裝置，包括依次連接的圖像獲取模塊、動作處理模塊、功能實現模塊和終端設備；所述圖像獲取模塊分別獲取人臉區域信息和人手區域信息后，由動作處理模塊根據人臉區域信息和人手區域信息計算并設置開啟人機交互動作的人臉中心點和人手中心點，動作處理模塊通過人臉中心點和人手中心點的運動軌跡結合手勢和臉部動作判斷來識別人體的動作集后傳輸給功能實現模塊，功能實現模塊加載有與該動作信息相對應的控制指令，該控制指令進行終端設備的操作。
[0052]該裝置還包括定時提取模塊，所述定時提取模塊用以對圖像獲取模塊獲取的人臉區域信息定時獲取并更新膚色特征。通過定時更新膚色特征，以便人機交互裝置能夠準確檢測到人手區域的手勢動作。
【權利要求】
1.一種結合人臉和手勢控制的人機交互方法，該方法包括:通過人體的動作集實現與人機交互裝置的操作，所述動作集包括單純人手動作、單純人臉動作及人手與人臉結合的動作； 人機交互裝置分別獲取人臉區域信息和人手區域信息，其中，所述人手區域位于人體與所述人機交互裝置之間；所述人手動作為人手區域內的人手動作，所述人臉動作為人臉區域內的人臉動作； 所述人機交互裝置根據人手區域信息計算并設置開啟人機交互動作的人手中心點，所述人手中心點作為人手區域在三維空間運動的參考基點，通過判斷人手中心點在三維空間內的運動軌跡，來確定人手動作為靜態變化手勢或動態變化手勢；所述人機交互裝置根據人臉區域信息計算并設置開啟人機交互動作的人臉中心點，所述人臉中心點作為人臉區域在三維空間運動的參考基點，通過判斷人臉中心點在三維空間內的運動軌跡，來確定人臉動作為靜態臉部動作或動態臉部動作； 所述人機交互裝置識別并獲得與動作集里的動作相對應的控制指令，所述控制指令用于控制終端設備完成相應操作。
2.如權利要求1所述的結合人臉和手勢控制的人機交互方法，其特征在于，所述人機交互裝置獲取人手區域信息的過程包括: 首先，所述人機交互裝置根據獲取的人臉區域信息計算并得到人體的膚色特征，再根據人手深度信息和膚色特征獲取人手區域信息，最后根據優化算法并結合圖像形態學處理，對人手區域信息進行優化處理。
3.如權利要求2所述的結合人臉和手勢控制的人機交互方法，其特征在于，所述優化算法為Blob labeling算法。
4.如權利要求1所述的結合人臉和手勢控制的人機交互方法，其特征在于，所述人手中心點設置為手掌的最大內切圓圓心或整個手的最小外接圓圓心；所述人臉中心點設置為人臉最小外接圓圓心或最大內切圓圓心。
5.如權利要求1所述的結合人臉和手勢控制的人機交互方法，其特征在于，所述人手中心點在三維空間內的運動軌跡，是通過判斷人手中心點在三維坐標系內的位移與閾值的大小關系，確定人手動作是靜態變化手勢還是動態變化手勢:人手中心點在三維空間內對應一個三維坐標，通過判斷該人手中心點運動軌跡在三維坐標系內X軸Y軸Z軸的組合位移向量，若該組合位移向量的值小于預先設定的閾值，則人手動作為靜態變化手勢，若該組合位移向量的值大于預先設定的閾值，則人手動作為動態變化手勢。
6.如權利要求5所述的結合人臉和手勢控制的人機交互方法，其特征在于，所述靜態變化手勢包括識別手指伸縮個數的結合確定的手勢、以手的輪廓與外接圓面積比參數確定的手勢、以手的有效凸缺陷加有效凸缺陷特征角的個數確定的手勢、以本征圖像的一維特征向量確定的手勢；所述動態變化手勢包括單純人手中心點的位移確定的動態變化手勢、人手中心點的位移結合手勢變化確定的動態變化手勢。
7.如權利要求1所述的結合人臉和手勢控制的人機交互方法，其特征在于，所述人臉中心點在三維空間內的運動軌跡，是通過判斷人臉中心點在三維坐標系內的位移與閾值的大小關系，確定人臉動作是靜態臉部動作還是動態臉部動作:人臉中心點在三維空間內對應一個三維坐標，通過判斷該人臉中心點運動軌跡在三維坐標系內X軸Y軸Z軸的組合位移向量，若該組合位移向量的值小于預先設定的閾值，則人臉動作為靜態臉部動作，若該組合位移向量的值大于預先設定的閾值，則人臉動作為動態臉部動作。
8.如權利要求7所述的結合人臉和手勢控制的人機交互方法，其特征在于，所述靜態臉部動作包括人臉五官變化的動作，所述動態臉部動作包括人腦袋位置變化引起的動作；所述人機交互方法還包括人機交互裝置定時獲取并更新膚色特征的過程。
9.一種用于實現權利要求1至8任一項所述的結合人臉和手勢控制的人機交互方法的裝置，其特征在于，包括依次連接的圖像獲取模塊、動作處理模塊、功能實現模塊和終端設備；所述圖像獲取模塊分別獲取人臉區域信息和人手區域信息后，由動作處理模塊根據人臉區域信息和人手區域信息計算并設置開啟人機交互動作的人臉中心點和人手中心點，動作處理模塊通過人臉中心點和人手中心點的運動軌跡結合手勢和臉部動作判斷來識別人體的動作集后傳輸給功能實現模塊，功能實現模塊加載有與該動作信息相對應的控制指令，該控制指令進行終端設備的操作。
10.如權利要求9所述的用于實現權利要求1至8任一項所述的結合人臉和手勢控制的人機交互方法的裝置，其特征在于，該裝置還包括定時提取模塊，所述定時提取模塊用以對圖像獲取模塊獲取的人臉區域信息定時獲取并更新膚色特征。
【文檔編號】G06F3/01GK104407694SQ201410597018
【公開日】2015年3月11日 申請日期:2014年10月29日 優先權日:2014年10月29日
【發明者】張海霞, 尚蕾, 劉治, 孫彬, 金蕾 申請人:山東大學