一種任意手形的手勢跟蹤方法
【專利摘要】本發明公開了一種任意手形的手勢跟蹤方法，該方法包括如下步驟：（1）初始化背景模型；（2）初始化手的位置區域；（3）根據手的位置區域得到目標區域的統計直方圖；（4）根據統計直方圖對當前時刻讀入的圖像做直方圖反向投影，得到膚色概率圖；（5）將當前幀分別與前一幀、背景模型做差，得到差分圖像；（6）根據差分圖像將各像素點標記為不同類型，得到前景概率圖；（7）由前景概率圖與膚色概率圖得到運動膚色概率圖；（8）對運動膚色概率圖進行聚類，定位人手的精確位置；（9）根據跟蹤結果對背景模型進行更新。本發明中的方法能簡單有效地進行人手跟蹤，對使用者的手形要求不高，且運算復雜度底，更富有人性化。
【專利說明】一種任意手形的手勢跟蹤方法
【技術領域】
[0001]本發明涉及手勢跟蹤【技術領域】，具體涉及一種任意手形的人手跟蹤方法。
【背景技術】
[0002]手勢跟蹤是計算機視覺領域的重要部分，隨著智能家居概念的提出，手勢交互技術正逐步成為一種重要的人機交互手段。研究人員通過賦予計算機理解人手動作的理解能力，使得計算機通過采集人手圖像序列，對圖像序列處理，獲取對人手動作的識別，并且在交互系統中得到智能響應。
[0003]在手勢跟蹤過程中存在手的非剛性形變、環境變化、背景干擾以及類膚色干擾等問題。目前國內外在手勢跟蹤這個研究領域也取得了豐富的成果，針對任意手形跟蹤，現有的較為廣泛使用的跟蹤方法主要分為:(I)結合Camshift、卡爾曼濾波的人手跟蹤算法；
(2)基于壓縮感知技術的手勢跟蹤方法；(3)基于特征提取和粒子濾波的人手跟蹤方法。第一種方法對手形的變化要求不高，但是跟蹤精度不高，且容易受得背景類膚色干擾；后兩種方法在固定手形的前提下跟蹤效果良好，精度高，可應付一定的形變，但相對而言人手的形狀和運動方法受到約束。這些都使得用戶在做手勢交互中時無法得到最自然的交互體驗，在交互過程中，用戶所處的復雜背景影響交互效果，對手形變化和運動的要求又會給用戶帶來疲勞感。針對這些問題，本發明提出了一種任意手形的手勢跟蹤算法。采用多種顏色空間相結合的自適應膚色分割，建立背景模型，利用當前幀幀差與背景差的結合得到分割完整的手，并且實時更新背景模型，準確地找到運動的手勢目標，排除干擾。實驗結果證明，該算法魯棒性強，實時性高，抗干擾能力強。
【發明內容】
[0004]本發明提供一種任意手形的手勢跟蹤方法，基于自適應多顏色空間多通道分割和幀差與背景建模相結合的方法，在空間中對任意的自由手形進行跟蹤，在跟蹤過程當中，手形可以任意形變，算法能對其進行準確定位跟蹤，實現自然的手勢交互，具體技術方案如下。
[0005]一種任意手形的手勢跟蹤方法，該方法包括如下步驟:
(1)攝像頭實時采集用戶操作范圍以內的視頻圖像，將攝像頭啟動后的第一幀作為初始化的背景模型；
(2)根據已訓練好的檢測五指張開的手掌分類器檢測到人手的結果，初始化手的位置區域，并計算出人手的面積大小；
(3)根據初始化手的位置區域得到自適應目標區域的顏色統計直方圖；
(4)根據顏色統計直方圖對當前時刻攝像頭讀入的圖像做顏色直方圖反向投影，得到膚色概率圖；
(5)將當前幀圖像分別與前一幀圖像、背景模型圖像做差，得到兩幅差分圖像；
(6)根據兩幅差分圖像的灰度圖上每個像素點的灰度值大小，將對應的像素點標記為相應類型，所述類型包括前景、背景、空洞或重影，并得到前景概率圖；
(7)由前景概率圖與膚色概率圖中得到運動膚色概率圖；
(8)對運動膚色概率圖進行聚類，定位人手中心的精確位置，并結合人手的面積大小，得到最終的跟蹤結果；根據跟蹤結果將整幅圖像的像素點所屬的目標類型進一步細分，標記目標類型，所述目標類型包括:目標、前景、背景、空洞或重影，跟蹤結果所在的區域以外的部分設定為背景；
(9)根據跟蹤結果和像素標記類型對背景模型進行更新；
(10)若跟蹤未結束，則回到步驟(4)。
[0006]在其中一個實施例中，所述的顏色統計直方圖和顏色直方圖反向投影，所使用的顏色空間是HSV和YCrCb，所使用的顏色通道是H、S、Cr，得到三個顏色通道的反向投影圖分別為Sh、Ss、Scr，對三個反射投影圖進行加權，Wh、Ws、Wcr是對應三個顏色通道H、S、Cr的權值，再求和，利用公式S=Wh*Sh+Ws* Ss +Wcr* Scr得到膚色概率圖S。
[0007]在其中一個實施例中，所述根據兩幅差分圖像的結果得到像素標志和前景概率圖包括如下步驟:計算采集到的當前幀圖像與前一幀圖像的幀間差分圖像D ;計算采集到的當前幀圖像與背景模型圖像的差分圖像IB。
[0008]在其中一個實施例中，所述的設定閾值Thl，Th2，每個位置像素點對應兩幅圖像上的值分別與兩個閾值Thl和Th2的比較，標志每個像素點所屬類型；根據每個像素點所屬的類型對前景圖不同的概率值化1^2、？3、？4)。
[0009]在其中一個實施例中，所述的根據D (x，y)和IB(x，y)與兩個閾值Thl和Th2的比較，標志每個像素點所屬類型，分別為:前景、空洞、重影、背景。
[0010]在其中一個實施例中，所述的由前景概率圖Pb與膚色概率圖Ps，利用公式P=Pb *Ps得到概率圖P，對運動膚色概率圖進行分割閾值和歸一化處理后得到運動膚色概率圖P。
[0011]在其中一個實施例中，所述跟蹤結果和像素標記類型對背景模型進行更新，即根據每個像素點所屬標記類型進行自適應背景更新，每種標記類型(目標、前景、空洞、重影、背景)的更新率不同。結合前一幀背景模型和當前幀灰度圖與對應的更新率，利用如下式子對背景模板進行實時更新，背景更新公式:
= B^1 (i,j)xw + It (i, j) X (1- w)。
[0012]本發明與現有技術相比，具有如下優點和技術效果:
(I)本發明實現了在普通單目2D攝像頭下，任意可變化手形的人手跟蹤；(2)采用自適應多顏色空間多通道分割，提高膚色分割的精確度；(3)采用幀差與背景建模相結合的方法，提高前景分割的完整度；(4)算法簡單高效，實時性高，運算復雜度低。
【專利附圖】
【附圖說明】
[0013]圖1為任意手形跟蹤方法整體流程。
【具體實施方式】
[0014]以下結合附圖對本發明的具體實施做進一步的說明。
[0015]請參閱圖1，實施例提供的一種任意手形的手勢跟蹤方法，包括以下步驟:
步驟SlOl:攝像頭實時采集視頻圖像，初始化背景模型。具體的，該步驟采集視頻第一幀作為初始化的背景圖像B。。
[0016]步驟S102:根據手掌分類器檢測的人手結果，初始化手的位置區域，并計算出人手的面積大小R，在本實施例中，利用人手檢測分類器在圖像中搜索人手位置，為了降低誤檢概率，設置連續檢測到人手的閾值個數THn，只有當連續N幀(NXffln)在圖像上同一敏感區域內檢測到人手，人手的初始化才有效，該人手獲取控制權。
[0017]步驟S103:由初始化的手的位置區域中將得該區域塊的顏色空間由RGB分別轉為HSV顏色空間和YCrCb顏色空間，選取H、S、Cr通道進行直方圖統計，分別得到對應的自適應目標區域的統計直方圖HistH、HistS和HistCr。
[0018]步驟S104:根據步驟中的統計直方圖HistH、HistS和HistCr，得到當前輸入圖像在三個顏色通道的反向投影圖，分別為Sh、Ss、Scr，對三個反射投影圖分別進行加權Wh、Ws、Wcr后，求和得，公式S=Wh*Sh+Ws* Ss +Wcr* Scr得到膚色概率圖S。
[0019]步驟S105:根據兩幅差分圖像的結果得到像素標志和前景概率圖，具體的，根據公式:計算采集到的當前幀圖像與前一幀圖像的幀間差分圖像D，根據公式:計算采集到的當前幀圖像與背景模型圖像的差分圖像IB。
[0020]步驟S106:設定閾值Thl，Th2，每個位置像素點對應兩幅圖像上的值分別為D (X，y)和IB (X，y),根據D (x, y)和B (x, y)與兩個閾值Thl和Th2做如下比較:
前景:D(x，y) >= Thl &&IB (x, y) > Th2 ；
空洞:D(x，y) < Thl &&IB (x, y) >= Th2 ；
重影:D(x，y) >= Thl &&IB (x, y) < Th2 ；
背景:D(x，y) < Thl &&IB (x, y) < Th2 ；
根據每個像素點所屬的類型對前景圖不同的概率值(pl、p2、p3、p4)標志每個像素點所屬類型。
[0021]步驟S107:由前景概率圖與膚色概率圖得到運動膚色概率圖，具體方法:定義前景概率圖Pb，膚色概率圖Ps，根據公式:P=Pb * Ps計算運動膚色概率圖上每個像素點(x，y)對應的概率值大小，然后設置閾值ΤΗρ，對運動膚色概率圖上所有的點，滿足P(x, yXTHp的情況，都設置P(x，y)=0。最后將運動膚色概率圖P上的每個像素點的概率值做歸一化處理，使所有概率值被歸一化為(Tl之間。
[0022]步驟S108:由前景概率圖與膚色分割圖得到運動膚色概率圖P=Pb * Ps，對運動膚色概率圖進行多次迭代聚類，定位人手中心的精確位置，并結合人手的面積大小，得到最終的跟蹤結果。根據跟蹤結果(將整幅圖像的像素點所屬的目標類型進一步細分，標記目標類型，所述目標類型包括:目標、前景、背景、空洞或重影，跟蹤結果所在的區域以外的部分設定為背景。
[0023]步驟S109:根據跟蹤結果和像素標記類型對背景模型進行更新，即根據每個像素點所屬標記類型進行自適應背景更新，每種標記類型的更新率不同。根據實際應用情況，目標、前景、空洞、重影、背景的更新率設置如下:
【權利要求】
1.一種任意手形的手勢跟蹤方法，其特征在于，該方法包括如下步驟: (1)攝像頭實時采集用戶操作范圍以內的視頻圖像，將攝像頭啟動后的第一幀作為初始化的背景模型； (2)根據已訓練好的檢測五指張開的手掌分類器檢測到人手的結果，初始化手的位置區域，并計算出人手的面積大小； (3)根據初始化手的位置區域得到自適應目標區域的顏色統計直方圖； (4)根據顏色統計直方圖對當前時刻攝像頭讀入的圖像做顏色直方圖反向投影，得到膚色概率圖； (5)將當前幀圖像分別與前一幀圖像、背景模型圖像做差，得到兩幅差分圖像； (6)根據兩幅差分圖像的灰度圖上每個像素點的灰度值大小，將對應的像素點標記為相應類型，所述類型包括前景、背景、空洞或重影，并得到前景概率圖； (7)由前景概率圖與膚色概率圖中得到運動膚色概率圖； (8)對運動膚色概率圖進行聚類，定位人手中心的精確位置，并結合人手的面積大小，得到最終的跟蹤結果；根據跟蹤結果將整幅圖像的像素點所屬的目標類型進一步細分，標記目標類型，所述目標類型包括:目標、前景、背景、空洞或重影，跟蹤結果所在的區域以外的部分設定為背景； (9)根據跟蹤結果和像素標記類型對背景模型進行更新； (10)若跟蹤未結束，則回到步驟(4)。
2.根據權利要求1所述的一種任意手形的手勢跟蹤方法，其特征在于，步驟(3)所述顏色統計直方圖所使用的顏色空間是HSV和YCrCb，所使用的顏色通道是H、S、Cr ;步驟(4)中三個顏色通道的顏色直方圖反向投影圖分別為Sh、Ss、Scr，對三個反向投影圖分別進行加權，再求和，得到膚色概率圖S，S=Wh*Sh+Ws* Ss +Wcr* Scr，其中Wh、Ws、Wcr是對應三個顏色通道H、S、Cr的權值。
3.根據權利要求1所述的一種任意手形的手勢跟蹤方法，其特征在于，步驟(5)所述的兩幅差分圖像通過如下步驟獲得: A:計算采集到的當前幀圖像灰度圖與前一幀圖像灰度圖的幀間差分圖像； B:計算采集到的當前幀圖像灰度圖與背景模型的差分圖像； 步驟(6)中標記像素類型和得到前景概率圖的過程包括: A:設定閾值Thl，Th2，每個位置像素點對應兩幅圖像上的值分別為D (X，y)和IB (x, y)，根據D(x，y)、IB (x, y)分別與兩個閾值Thl、Th2的比較，標記每個像素點所屬類型； B:根據每個像素點所屬的類型對像素點賦予不同的概率值，前景、背景、空洞和重影類型的像素點對應的概率值分別為p1、p2、p3、p4，得到前景概率圖。
4.根據權利要求3所述的一種任意手形的手勢跟蹤方法，其特征在于根據D(x，y)、IB (x, y)分別與兩個閾值Thl、Th2的比較，標記每個像素點所屬類型，具體判斷依據:
前景:D(x，y) >= Thl &&IB (x, y) > Th2 ；
空洞:D(x，y) < Thl &&IB (x, y) >= Th2 ；
重影:D(x，y) >= Thl &&IB (x, y) < Th2 ；
背景:D(x，y) < Thl &&IB(x, y) < Th2。
5.根據權利要求1所述的一種任意手形的手勢跟蹤方法，其特征在于，所述步驟(7)由前景概率圖與膚色概率圖中得到運動膚色概率圖的過程包括如下步驟: A:定義前景概率圖Pb，膚色概率圖Ps ； B:運動膚色概率圖P上每個像素點(x，y)對應的概率值大小為P=Pb * Ps; C:設置閾值ΤΗρ，對運動膚色概率圖上所有的像素點，當P(x，y)〈THp的情況，都設置P(x，y)=0 ； D:將運動膚色概率圖P上的每個像素點的概率值做歸一化處理，使所有概率值被歸一化為0~1之間。
6.根據權利要求1所述的一種任意手形的手勢跟蹤方法，其特征在于，所述步驟(9)根據跟蹤結果和像素標記類型對背景模型進行更新，即根據每個像素點所屬標記類型進行自適應背景更新，每種標記類型的更新率不同， A:根據實際應用情況，目標、前景、空洞、重影、背景更新率設置如下:
背景 其中分別代表前景、空洞、重影、背景對應像素點的更新率大小，并且滿足； B:根據像素點所屬類型，對背景模型自適應調整像素的更新權重；結合前一幀背景模型和當前幀灰度圖與對應的更新率，利用如下式子對背景模板進行實時更新:St(hj) = HJ)xw + /fU)X(1-W)。
【文檔編號】G06T7/20GK104167006SQ201410328149
【公開日】2014年11月26日 申請日期:2014年7月10日 優先權日:2014年7月10日
【發明者】徐向民, 羅雅愉 申請人:華南理工大學