專利名稱：一種人機交互中多色標塊檢測方法
技術領域：
本發明涉及計算機視覺領域，尤其是一種基于視頻的人機交互系統中的基于色標 塊的交互手段。
背景技術：
人機交互主要研究人、計算機以及彼此相互影響的有關技術。從計算機誕 生到現在，人機交互的方式經歷了以下的變化最初并沒有真正的交互模式一一數據通過 開關或穿孔卡輸入到計算機中，然后過一段時間后又通過穿孔卡輸出結果；直到六十年代， 才開始有了命令行界面的交互方式，最初采用電傳打字機終端，后來用電子鍵盤和文本監 視器；到七十年代和八十年代，圖形用戶界面以及和它關聯的桌面開始被采用；現在研究 的也是下一代的主導人機界面一一感知界面是以自然交互為基礎的，所謂自然交互，就是 他能夠滿足沉浸式環境中的不同風格，譬如3D界面，觸摸式界面，有感覺計算和多重模式 界面等。在感知界面領域，計算機視覺的主要任務是檢測和識別對于交流有意義的視覺信 息，也就是說觀察用戶并報告他們的位置、表情、手勢以及姿態等。這里用特定的色標塊作 為人機交互的手段，通過色標塊的檢測和跟蹤得到它們的位置信息進行交互，本專利就是 基于這樣的一個人機交互系統所發明的一種色標塊的檢測方法。目標檢測是計算機視覺領域中的一個重要領域，其主要工作就是從動態場景的視 頻序列圖像中檢測出感興趣的運動目標。傳統的顏色目標檢測應用最多的是顏色閾值向量 的方法，該方法沒有去除光照條件和背景的干擾導致的顏色像素值發生的偏移情況。
發明內容
為了改善人機交互方式并克服傳統顏色閾值向量的色標塊檢測方法，本發明提供 一種能適應復雜光照條件和背景條件、滿足實時性要求、具備良好的魯棒性的色標指示塊 檢測方法。本發明解決其技術問題所采用的技術方案是
一種人機交互中的多色標塊檢測方法，在手上佩戴色標指示塊，所述方法包括如下步
驟
(1)每一次人機交互發生時，采集色標指示塊所在區域的圖像，利用幀間的相似性確定 背景幀；
(2)根據當前幀和背景幀的差分對圖像進行分割，分離出背景區域中的前景區域，所述 前景區域為運動區域；
(3)在Lab顏色空間中，采用凸包算法把運動區域提取出來，并根據凸包中有序點進行 均勻采樣，根據采樣結果再加上色標指示塊本身的特征確定種子點；
采用基于最小錯誤率的貝葉斯決策作為生長準則進行生長，定位得到色標指示塊目標 位置。進一步，所述步驟(2)中，將差分后的圖像采用最大類間方差法得到前景圖像，所述前景圖像進行二值化處理，并通過圖像腐蝕運算去噪。再進一步，所述步驟(1)中，色標指示塊進入攝像范圍時攝像頭處于靜止狀態，通 過幀間標志區域的匹配確定本次的背景幀。更進一步，所述步驟(3)中，利用紅藍黃綠四種顏色在Lab顏色空間中的特性通 道a對紅綠敏感，通道b對黃藍敏感，在通道a中對紅藍指示塊處理，在通道b中對黃綠指 示塊處理；并對指示塊的不同顏色閾值賦予不同的概率權值；
結合色標指示塊在運動區域中的特征和概率權值計算采樣點能成為種子點的概率，選 取概率最大的采樣點為種子點。所述步驟(3)中，將二值化圖像進行sobel邊緣檢測，采用Graham掃描法，通過設 置一個關于候選點的堆棧S來解決凸包問題。Graham掃描法是從已知的所有點中先找出一個最右下的點，這點肯定是在凸包上 的，然后以這點為起點，將所有點根據與這點的斜率排序，然后依次遍歷所有點，如果新加 入的點是在原方向上向右拐的，就把前一個點去掉(注意是前一個點，而且這一部是循環執 行的)。當遍歷完所有點后，還在棧中的點就是凸包上的點了，而且依次出棧可以得到從起 點開始順時針旋轉的所有凸包上的點。所述步驟(3)中，均勻采樣的過程如下先確定凸包點中橫坐標最大和最小的兩 點，根據這兩點把凸包分成上下兩部分，位于這兩點直線上方的點屬于上半部分，下方的點 屬于下半部分，在上半部分和下半部分的點所形成的軌跡中都從橫坐標最小的點開始，每 間隔橫坐標10個像素點取點作為采樣直線的起點和終點進行采樣，一直到橫坐標最大的 點為止停止采樣。本發明的技術構思為為了更快更準確地進行人機交互，可以通過在手上戴上色 標指示塊的方法幫助計算機處理。本發明所涉及的色標指示塊的檢測方法可以應用于基于 視頻的人機交互接口或系統。本發明的有益效果主要表現在該方法克服了復雜背景和光照條件的影響，能夠 實時地精確地定位出色標指示塊，具有良好的魯棒性。
圖1是原始圖像的示意圖。圖2是差分處理后圖像示意圖。圖3是二值化處理后圖像示意圖。圖4是閉運算處理后圖像示意圖。圖5是邊緣化處理后圖像示意圖。圖6是凸包處理后圖像示意圖。圖7是采樣處理后的圖像示意圖。圖8是識別結果的示意圖。
具體實施例方式下面結合附圖對本發明作進一步描述。參照圖1 圖8，一種人機交互中的多色標塊檢測方法，在手上佩戴色標指示塊，所述色標指示塊的顏色采用Lab顏色空間表示，所述手勢識別方法包括如下步驟
(1)每一次人機交互發生時，采集色標指示塊所在區域的圖像，利用幀間的相似性確定 背景幀；
(2)根據當前幀和背景幀的差分對圖像進行分割，分離出背景區域中的前景區域，所述 前景區域為運動區域；
(3)在Lab顏色空間中，采用凸包算法把運動區域提取出來，并根據凸包中有序點進行 均勻采樣，根據采樣結果再加上色標指示塊本身的特征確定種子點；
采用基于最小錯誤率的貝葉斯決策作為生長準則進行生長，定位得到色標指示塊目標 位置。所述步驟(2)中，將差分后的圖像采用最大類間方差法得到前景圖像，所述前景圖 像進行二值化處理，并通過圖像腐蝕運算去噪。所述步驟(1)中，色標指示塊進入攝像范圍時攝像頭處于靜止狀態，通過幀間標志 區域的匹配確定本次的背景幀。所述步驟(3)中，利用紅藍黃綠四種顏色在Lab顏色空間中的特性通道a對紅綠 敏感，通道b對黃藍敏感，在通道a中對紅藍指示塊處理，在通道b中對黃綠指示塊處理；并 對指示塊的不同顏色閾值賦予不同的概率權值；
結合色標指示塊在運動區域中的特征和概率權值計算采樣點能成為種子點的概率，選 取概率最大的采樣點為種子點。本實施例的具體處理過程為
在人機交互系統中，獲得的彩色圖像是用RGB顏色空間表示的，然而在圖像處理時， RGB并不合適，因為它對所有色彩都用等長像素點的R、G、B三色加以合成，他們之間相互關 聯，不利于處理。為了更好地更快速地處理，我們把RGB空間轉化為Lab空間，其中L表示 心理明度，a、b為心理色度，反映到坐標系統中，+a表示紅色，-a表示綠色，+b表示黃色，_b 表示藍色，顏色的明度由L的百分數來表示，其取值從(Γ100。a通道對紅綠兩種顏色特別 敏感，b通道對黃藍兩種顏色特別敏感，色標指示塊的顏色是根據這個來選取的。利用差分法確定運動區域，必須先得到背景圖像，由于人機交互場景不定， 每次應用都不一樣，所以一開始就認為確定背景圖像肯定不可能。在人機交互中，只要一開 始檢測到色標指示塊，后續的識別和跟蹤就可以根據本次得到的結果來進行，所以檢測只 發生在最初的時候，在每一次應用時色標指示塊移入攝像范圍，攝像頭會有一個相對靜止 的狀態(輕微晃動)，只要我們檢測到這個狀態就可以認為這幀可能成為背景圖像。在取得了背景圖像后就可以應用差分法檢測出運動區域，再用圖像腐蝕去 除噪聲點。在得到運動區域后，由于色標指示塊是一整塊一整塊的，所以用區域生長是最好 的方法，但是區域生長中種子和生長準則的確定是關于這個方法成敗的決定因素。我們采 用在凸包中采樣，并結合權值概率和色標塊本身在運動區域中的特征來計算種子，這樣得 到的種子比較少而且基本覆蓋所需要的種子。用基于最小錯誤率的貝葉斯決策作為生長準 則，可以精確地進行劃分是否是色標塊點，使結果更精確。運動區域檢測過程如下
1)背景圖像確定為了檢測一開始的攝像頭的狀態，在圖像中選取三個 10x10區域，然后在間隔5幀做一次像素差值，并設定閾值，若差值大于t則認為這個像素點發生了變化。若一塊區域中的點的85%沒發生變化就認為這一區域沒變，這樣如果三塊 都沒變則認為攝像頭處于靜止狀態。設定 表示第k幀圖像在(U)點的通道L 中的值
權利要求
1.一種人機交互中多色標塊檢測方法，其特征在于在手上佩戴色標指示塊，所述色 標指示塊的顏色采用Lab顏色空間表示，所述方法包括如下步驟(1)每一次人機交互發生時，采集色標指示塊所在區域的圖像，利用幀間的相似性確定 背景幀；(2)根據當前幀和背景幀的差分對圖像進行分割，分離出背景區域中的前景區域，所述 前景區域為運動區域；(3)在Lab顏色空間中，采用凸包算法把運動區域提取出來，并根據凸包中有序點進行 均勻采樣，根據采樣結果再加上色標指示塊本身的特征確定種子點；采用基于最小錯誤率的貝葉斯決策作為生長準則進行生長，定位得到色標指示塊。
2.如權利要求1所述的人機交互中多色標塊檢測方法，其特征在于所述步驟(2)中， 將差分后的圖像采用最大類間方差法得到前景圖像，所述前景圖像進行二值化處理，并通 過圖像腐蝕運算去噪。
3.如權利要求1或2所述的人機交互中多色標塊檢測方法，其特征在于所述步驟(1) 中，色標指示塊進入攝像范圍時攝像頭處于靜止狀態，通過幀間標志區域的匹配確定本次 的背景幀。
4.如權利要求1或2所述的人機交互中多色標塊檢測方法，其特征在于所述步驟(3) 中，利用紅藍黃綠四種顏色在Lab顏色空間中的特性通道a對紅綠敏感，通道b對黃藍敏 感，在通道a中對紅藍指示塊處理，在通道b中對黃綠指示塊處理；并對指示塊的不同顏色 閾值賦予不同的概率權值；結合色標指示塊在運動區域中的特征和概率權值計算采樣點能成為種子點的概率，選 取概率最大的采樣點為種子點。
5.如權利要求2所述的人機交互中多色標塊檢測方法，其特征在于所述步驟(3)中， 將二值化圖像進行sobel邊緣檢測，采用Graham掃描法，即從已知的所有點中先找出一個 最右下的點，然后以這點為起點，將所有點根據與這點的斜率排序，然后依次遍歷所有點， 如果新加入的點是在原方向上向右拐的，就把前一個點去掉；當遍歷完所有點后，還在棧中 的點就是凸包上的點，依次出棧得到從起點開始順時針旋轉的所有凸包上的點。
6.如權利要求5所述的所述的人機交互中多色標塊檢測方法，其特征在于所述步驟 (3)中，均勻采樣的過程如下先確定凸包點中橫坐標最大和最小的兩點，根據這兩點把凸包分成上下兩部分，位于 這兩點直線上方的點屬于上半部分，下方的點屬于下半部分，在上半部分和下半部分的點 所形成的軌跡中都從橫坐標最小的點開始，每間隔橫坐標10個像素點取點作為采樣直線 的起點和終點進行采樣，一直到橫坐標最大的點為止停止采樣。
全文摘要
一種人機交互中多色標塊檢測方法，在手上佩戴色標指示塊，包括如下步驟(1)每一次人機交互發生時，采集色標指示塊所在區域的圖像，利用幀間的相似性確定背景幀；(2)根據當前幀和背景幀的差分對圖像進行分割，分離出背景區域中的前景區域，前景區域為運動區域；(3)在Lab顏色空間中，采用凸包算法把運動區域提取出來，并根據凸包中有序點進行均勻采樣，根據采樣結果再加上色標指示塊本身的特征確定種子點；采用基于最小錯誤率的貝葉斯決策作為生長準則進行生長，定位得到色標指示塊。本發明能適應復雜光照條件和背景條件、滿足實時性要求、具備良好的魯棒性。
文檔編號G06T7/20GK102103752SQ20101056122
公開日2011年6月22日 申請日期2010年11月26日 優先權日2010年11月26日
發明者方路平, 曹平, 魏淵潔 申請人:浙江工業大學