專利名稱：基于深度信息的剛體部件方向檢測方法和裝置的制作方法
技術領域：
本發明涉及一種剛體部件方向檢測方法和裝置，更具體地，涉及一種基于深度信息的剛體部件方向檢測方法和裝置。
背景技術：
剛體部件方向確定是計算機視覺的基本問題，并可廣泛用于許多領域，諸如人機互動、手勢識別以及用于游戲、電影和體育科學的現實角色動畫。由于其理論和商業價值，在計算機視覺和模式識別領域中剛體部件檢測吸引了更多的關注，尤其是用于非剛性 (non-rigid)對象定位或姿態估計。使用人類手臂檢測作為例子，提出了大量方法并可根據不同的圖像特征將所述方法大體分為四種類型基于區域的方法、基于色彩的方法、基于邊緣的方法和基于深度信息的方法。基于區域的方法是在某些約束下通過產生幾個分割的區域來恢復手臂。例如，首先使用規格化分割(normalized cuts)分割彩色圖像，并假設一般手臂由單個分割的區域構成，并通過分析每個分割的區域來尋找手臂檢測。通常，這種方法在忽略圖像分割問題的困難的同時，假設每個部分可以從靜止圖像被完美地分割。然而，由于雜亂的背景、各種衣著以及不同的亮度，通常難以獲得好的分割，并且彩色圖像分割通常是耗時的。基于色彩的方法假設手臂的皮膚暴露，通過使用檢測的皮膚區域來估計用于前臂的候選，因此當處理雜亂的背景以及沒有暴露皮膚的其它衣著時，該方法的性能較差。此外，甚至在暴露手臂皮膚的情況下，當在衣著或背景中存在與皮膚相似的色彩時，也難以準確地檢測皮膚區域。基于邊緣的方法可以通過尋找手臂的邊界來檢測手臂。例如，基于一對平行線段提取軀干。然而，基于邊緣的方法對于線段是敏感的，尤其在復雜的背景和衣著或自遮擋姿態中。與彩色圖像分割類似，完美的圖像邊緣提取本身也是一個難題。與上述方法不同，基于深度信息的方法使用由深度TOF相機(Time-of-Flight Camera)捕捉的深度圖像來確定部件。首先將對象從背景分割，隨后基于空間信息和深度信息將前景像素集合為子集合，并最終使用所述子集合和拓撲結構確定部件。然而，這種方法主要對沒有自遮擋以及非重疊環境的簡單姿態有效。因此，需要一種能夠應對適應各種環境、對象和亮度的具有更好魯棒性的剛體部件方向檢測方法。
發明內容
技術方案本發明仍然聚焦于用于非剛性對象定位或姿態估計的剛體部件方向檢測。為了增強魯棒性和計算效率，提供了使用深度信息的新穎方案。提供了一種基于深度信息提取圖像特征的方法，包括對由深度相機捕捉的輸入圖像的預定像素計算突出度特征；通過計算的突出度特征獲得輸入圖像的突出度特征圖像；尋找突出度特征圖像上的具有顯著突出度特征的種子；以及通過種子的生長來產生突出區域。通過使用如下公式計算突出度特征-.Ph = fH、,其中，隊表示深度值小于深度閾值的內區域中的像素的比率，Nc表示深度值大于深度閾值的外區域中的像素的比率， 深度閾值是內區域中像素的最小深度與特定變化范圍的和，內區域是以當前像素為中心的預定大小的區域，外區域是由以當前像素為中心的大于所述內區域的另一預定大小的區域減去內區域所得到的環狀區域。產生突出區域的步驟還可包括丟棄孤立的像素和小的突出區域。內區域和外區域的大小以及內區域與外區域的比率是可調節的，并且內區域和外區域可具有多種形狀。所述獲得輸入圖像的突出度特征圖像的步驟可包括將輸入圖像的所述預定像素的突出度特征量化為O 255的灰度值；通過輸入圖像的所述預定像素的灰度值獲得輸入圖像的突出度特征圖像，其中，通過使用如下公式進行所述量化
權利要求
1.一種基于深度信息提取圖像特征的方法，包括對由深度相機捕捉的輸入圖像的預定像素計算突出度特征； 通過計算的突出度特征獲得輸入圖像的突出度特征圖像； 尋找突出度特征圖像上的具有顯著突出度特征的種子；以及通過種子的生長來產生突出區域。
2.如權利要求1所述的方法，其中，通過使用如下公式計算突出度特征Ph = eV(Nc+N"其中，Nk表示深度值小于深度閾值的內區域中的像素的比率，Nc表示深度值大于深度閾值的外區域中的像素的比率，深度閾值是內區域中像素的最小深度與特定變化范圍的和，內區域是以當前像素為中心的預定大小的區域，外區域是由以當前像素為中心的大于所述內區域的另一預定大小的區域減去內區域所得到的環狀區域。
3.如權利要求1所述的方法，其中，產生突出區域的步驟還包括丟棄孤立的像素和小的突出區域。
4.如權利要求2所述的方法，其中，內區域和外區域的大小以及內區域與外區域的比率是可調節的，并且內區域和外區域具有多種形狀。
5.如權利要求1 4之一所述的方法，所述獲得輸入圖像的突出度特征圖像的步驟包括將輸入圖像的所述預定像素的突出度特征量化為0 255的灰度值； 通過輸入圖像的所述預定像素的灰度值獲得輸入圖像的突出度特征圖像， 其中，通過使用如下公式進行所述量化Ph= 255χ( H ) ‘1P -P一max nun _其中，Pmin、P_分別是輸入圖像中所述預定像素的最小、最大的突出度特征，[]是取整符號。
6.一種基于深度信息的剛體部件方向檢測方法，包括對由深度相機捕捉的輸入圖像的預定像素計算突出度特征； 通過計算的突出度特征獲得輸入圖像的突出度特征圖像； 尋找突出度特征圖像上的具有顯著突出度特征的種子； 通過種子的生長來產生突出區域；以及基于產生的突出區域進行剛體部件方向檢測并獲得剛體部件方向。
7.如權利要求6所述的方法，其中，通過使用如下公式計算突出度特征 P = -''(Nc+Nr)其中，Nk表示深度值小于深度閾值的內區域中的像素的比率，Nc表示深度值大于深度閾值的外區域中的像素的比率，深度閾值是內區域中像素的最小深度與特定變化范圍的和，內區域是以當前像素為中心的預定大小的區域，外區域是由以當前像素為中心的大于所述內區域的另一預定大小的區域減去內區域所得到的環狀區域。
8.如權利要求6所述的方法，其中，產生突出區域的步驟還包括丟棄孤立的像素和小的突出區域。
9.如權利要求7所述的方法，其中，內區域和外區域的大小以及內區域與外區域的比率是可調節的，并且內區域和外區域具有多種形狀。
10.如權利要求6所述的方法，其中，所述獲得輸入圖像的突出度特征圖像的步驟包括將輸入圖像的所述預定像素的突出度特征量化為0 255的灰度值； 通過輸入圖像的所述預定像素的灰度值獲得輸入圖像的突出度特征圖像， 其中，通過使用如下公式進行所述量化
11.如權利要求6 10之一所述的方法，所述進行剛體部件方向檢測并獲得部件方向的步驟包括對突出區域提取骨架；以及連接相鄰的較小的突出區域的骨架以產生提供剛體部件方向的直線段， 其中，所述較小的突出區域的骨架的長度小于預定值。
12.如權利要求6 10之一所述的方法，所述進行剛體部件方向檢測并獲得部件方向的步驟包括對突出區域提取骨架；以及將具有主要方向的突出區域的骨架作為提供剛體部件方向的直線段。
13.如權利要求6 10之一所述的方法，所述進行剛體部件方向檢測并獲得剛體部件方向的步驟包括對突出區域提取骨架；以及將突出區域的彎曲的骨架分割為提供剛體部件方向的多條直線段，并將所述多條直線段作為剛體部件方向候選。
14.如權利要求13所述的方法，如果獲得多個剛體部件方向候選，則計算每個剛體部件方向候選作為所述剛體部件方向的置信度，并選取置信度最大的剛體部件方向候選作為部件方向，其中，對于第i剛體部件方向候選，使用如下公式計算置信度ω-^ylrlY1Y β ]\ Z lo )其中，Ii是第i剛體部件方向候選的長度，Itl是預定的基礎剛體部件長度或根據訓練數據學習的基礎剛體部件長度，i是對第i剛體部件方向候選作出貢獻的突出區域內的像素的平均突出度特征，α和β是預定的權重系數。
15.一種基于深度信息的剛體部件方向檢測裝置，包括突出度特征計算單元，對由深度相機捕捉的輸入圖像的預定像素計算突出度特征； 突出度特征圖像獲得單元，通過計算的突出度特征獲得輸入圖像的突出度特征圖像； 種子尋找單元，尋找突出度特征圖像上的具有顯著突出度特征的種子；突出區域產生單元，通過種子的生長來產生突出區域；以及剛體部件方向獲得單元，基于產生的突出區域進行剛體部件方向檢測并獲得剛體部件方向。
16.如權利要求15所述的剛體部件方向檢測裝置，其中，突出度特征計算單元通過使用如下公式計算突出度特征
17.如權利要求15所述的剛體部件方向檢測裝置，其中，突出區域產生單元還丟棄孤立的像素和小的突出區域。
18.如權利要求16所述的剛體部件方向檢測裝置，其中，內區域和外區域的大小以及內區域與外區域的比率是可調節的，并且內區域和外區域具有多種形狀。
19.如權利要求15所述的剛體部件方向檢測裝置，突出度特征圖像獲得單元進一步執行以下步驟將輸入圖像的所述預定像素的突出度特征量化為0 255的灰度值；通過輸入圖像的所述預定像素的灰度值獲得輸入圖像的突出度特征圖像，其中，通過使用如下公式進行所述量化P1
20.如權利要求15 19之一所述的剛體部件方向檢測裝置，剛體部件方向獲得單元進一步執行以下步驟對突出區域提取骨架；以及連接相鄰的較小的突出區域的骨架以產生提供剛體部件方向的直線段，其中，所述較小的突出區域的骨架的長度小于預定值。
21.如權利要求15 19之一所述的剛體部件方向檢測裝置，剛體部件方向獲得單元進一步執行以下步驟對突出區域提取骨架；以及將具有主要方向的突出區域的骨架作為提供剛體部件方向的直線段。
22.如權利要求15 19之一所述的剛體部件方向檢測裝置，剛體部件方向獲得單元進一步執行以下步驟對突出區域提取骨架；以及將突出區域的彎曲的骨架分割為提供剛體部件方向的多條直線段，并將所述多條直線段作為剛體部件方向候選。
23.如權利要求22所述的剛體部件方向檢測裝置，還包括置信度計算單元，如果獲得多個剛體部件方向候選，則計算每個剛體部件方向候選作為所述剛體部件方向的置信度，并選取置信度最大的剛體部件方向候選作為剛體部件方向，其中，對于第i剛體部件方向候選，使用如下公式計算置信度
24. 一種人機交互系統，包括深度相機，對人體進行拍攝以得到圖像，并將所述圖像輸出；如權利要求15所述的基于深度信息的剛體部件方向檢測裝置，使用輸入圖像檢測人體四肢的方向；頭部檢測裝置，使用輸入圖像檢測人體頭部； 軀干檢測裝置，使用輸入圖像檢測軀干；以及姿態獲得裝置，根據檢測的人體四肢的方向、頭部和軀干來得到人體姿態。
全文摘要
提供了一種基于深度信息的剛體部件方向檢測方法和裝置，所述方法包括對由深度相機捕捉的輸入圖像的預定像素計算突出度特征；通過計算的突出度特征獲得輸入圖像的突出度特征圖像；尋找突出度特征圖像上的具有顯著突出度特征的種子；通過種子的生長來產生突出區域；以及基于產生的突出區域進行剛體部件方向檢測并獲得剛體部件方向。
文檔編號G06K9/00GK102402687SQ20101028151
公開日2012年4月4日 申請日期2010年9月13日 優先權日2010年9月13日
發明者林華書, 楚汝峰, 胡芝蘭, 陳茂林 申請人:三星電子株式會社, 北京三星通信技術研究有限公司