一種基于移動終端的非接觸式交互方法
【專利說明】
[0001]技術領域:
本發明涉及人機交互技術領域，具體涉及一種基于移動終端的非接觸式交互方法。
[0002]【背景技術】:
現行的移動終端的人機交互方式，主要是通過鍵盤與觸摸屏。移動終端的面積與體積有限，無論是鍵盤還是觸摸屏交互，都有所不便，容易出現誤操作。
[0003]新型的人機交互方式有基于傳感器的體感交互、基于動作圖像識別的交互、基于肌肉計算的交互等。以上的各種交互方式能夠彌補以前存在的不足，但在應用于移動終端上時，也有其各自的新問題與缺點。
[0004]基于傳感器的體感人機交互方式，利用加速度傳感器、重力傳感器、陀螺儀等裝置，感知其運動進行交互。重力傳感器目前已經用于手機等終端內，但只能感知到手機本身的運動，而不是使用者的運動，應用范圍很有限；如要感知使用者的運動，需要額外配置容納傳感器的遙控器，這在移動終端交互中是很不自然的，一定程度上破壞了移動終端的便攜性。
[0005]基于動作圖像識別的交互方式，利用特殊的可以采集景深信息的攝像頭，拍攝使用者的動作，通過對圖像的處理，重構出使用者的運動信息進行交互。該交互方式的缺點是景深攝像頭比較昂貴，而且景深攝像頭不能采集太近的距離，用于移動終端的交互不方便。
[0006]基于肌肉計算的交互方式，通過采集人體肌肉的肌電信號來判斷人體的動作，從而進行交互。這種交互方式目前還不太成熟，設備不便攜帶。
[0007]因此，基于移動終端，需要一種新型的交互方法。
[0008]專利申請CN201110043418.7公開了一種移動終端的人機交互方法，使用移動終端內部的傳感器與電動機，利用終端的主動旋轉發出信號，被動旋轉接受信號。該發明的主要局限是所能表達的信息種類十分有限。
[0009]專利申請CN201210056083.7公開了一種移動終端的非接觸式控制裝置與方法。該方法采集終端前方的視頻圖像并提取人手輪廓，但只能根據人手的運動方向發出命令，精細度不高。
[0010]專利申請CN201210520849.2公開了一種移動電子設備手勢控制交互方法，該發明的創新在于動態調整感知動作的頻率，節約移動終端的功耗。該發明使用的是加速度傳感器，感應終端的運動。
[0011]
【發明內容】
:
本發明的目的是提供一種基于移動終端的非接觸式交互方法，它通過對人手的圖像采集實現交互功能，并且實現對手勢運動的跟蹤，具有不局限于移動終端屏幕、靈活性強、支持多種手勢的特點。
[0012]為了解決【背景技術】所存在的問題，本發明是采用如下技術方案:它的交互方法包括以下步驟:
(一)、利用移動終端自帶的第一圖像采集設備，采集包含人手的圖像；
(二 )、對采集的圖像進行分析，劃分人手所在的感興趣區域； (三)、對人手所在區域進行進一步分類，劃分出人手關鍵部位；
(四)、利用人手生理約束，對劃分的部位進行補充與修正；
(五)、建立人手各個部分的運動軌跡，將運動軌跡與應用領域所設置的手勢進行對比，進行交互模式判別，并發出對應控制命令。
[0013]所述的一種基于移動終端的非接觸式交互方法還可包括:第二圖像采集設備與第一圖像采集設備參數相同，并列放置，同步采集包含人手的圖像；對采集的圖像進行匹配與深度恢復，得到參考深度圖像。
[0014]所述的劃分人手所在的感興趣區域包括:
(i )、將采集的圖像轉換到HSV彩色空間；
(? )、利用人膚色特征，初步劃分人手區域；
(iii)、對劃分結果進行去噪，去除小區域噪聲影響。
[0015]所述的劃分人體部位包括以下步驟:
(I )、預先收集人工標注的人手彩色圖像，并進行位置預校正；
(II )、對人手各個部位的每個像素，提取8個方向的梯度值以及不同步長下的差分值，作為候選特征；
(III)、使用隨機決策樹分類器模型、交叉驗證法以及ID4.5訓練算法，離線訓練人手關鍵部位的分類器；
(IV )、在移動終端應用該分類器，對人手關鍵部位進行分類。
[0016]所述的對劃分部位進行補充與修正包括以下步驟:
①、在分類步驟的結果中，標出像素過少以及缺失的部位；
②、在前面一定時間內的圖像中，查找對應部位位置；
③、如果查找到足夠的位置信息，使用軌跡擬合，得到本幀初步預測的缺失部位信息；
④、根據人手指指節剛體約束，除拇指外四指的共面約束，手指關節的彎曲角度約束，優先級從高到低，對上一步預測的部位信息做修正；如沒有足夠的預測信息，根據這些約束推斷缺失部位的位置。
[0017]所述的劃分人體部位包括以下步驟:
(1)、預先收集人工標注的人手的彩色圖像與深度圖像組合，并進行位置預校正；
(2)、對人手各個部位的每個像素，在圖像組中分別提取8個方向的梯度值以及不同步長下的差分值，作為候選特征；
(3)、使用隨機決策樹分類器模型、交叉驗證法以及ID4.5訓練算法，離線訓練人手關鍵部位的分類器。
[0018](4)、在移動終端應用該分類器，對人手關鍵部位進行分類。
[0019]本發明具有如下有益效果:通過對人手的圖像采集實現交互功能，并且實現對手勢運動的跟蹤，具有不局限于移動終端屏幕、靈活性強、支持多種手勢的特點。
[0020]【附圖說明】:
圖1為本【具體實施方式】中的互交方法的流程圖；
圖2為本【具體實施方式】中的另一種互交方法的流程圖。
[0021]【具體實施方式】:
參看圖1-圖2，本【具體實施方式】采用如下技術方案:它的交互方法包括以下步驟: (一)、利用移動終端自帶的第一圖像采集設備，采集包含人手的圖像；
(二)、對采集的圖像進行分析，劃分人手所在的感興趣區域；
(三)、對人手所在區域進行進一步分類，劃分出人手關鍵部位；
(四)、利用人手生理約束，對劃分的部位進行補充與修正；
(五)、建立人手各個部分的運動軌跡，將運動軌跡與應用領域所設置的手勢進行對比，進行交互模式判別，并發出對應控制命令。
[0022]所述的一種基于移動終端的非接觸式交互方法還可包括:第二圖像采集設備與第一圖像采集設備參數相同，并列放置，同步采集包含人手的圖像；對采集的圖像進行匹配與深度恢復，得到參