追蹤裝置的制作方法

專利名稱：追蹤裝置的制作方法
技術領域：
本發明涉及一種有效技術，其適用于追蹤圖像內的人物的臉的裝置和方法。
背景技術：
近年來，實現從靜止圖像或運動圖像中檢測/追蹤人物的處理(以下，稱為[人物追蹤處理])的技術正在受到關注。在這樣的技術中，一般把人的臉用作為檢測/追蹤的對象。因為臉兼有眾人共通的特征和每個人各不相同的特征。即，通過把臉作為對象，可以利用眾人共通的特征來檢測出臉，可以利用每個人各不相同的特征來識別個人。
現有的一般的人物追蹤處理以下這樣執行。首先，利用眾人共通的臉的特征，從圖像中檢測出人的臉，指定臉的區域。接著，從所檢測出的臉中選擇追蹤對象。對于該選擇，不僅有通過執行個人辨識處理而對于各張臉自動進行的情況，也有通過人的目視進行的情況。選擇了追蹤對象后，在前次的處理中檢測出臉的位置的周圍(以下，稱為[次檢測區域])，執行人臉檢測。然后，對于所檢測出的臉執行個人辨識處理，由此實現追蹤。而且，也提出了即使在辨識處理失敗的情況下，基于語音方向識別或膚色識別等的識別結果，進行人物的位置推定，繼續追蹤的技術(參照專利文獻1)。
但是，在以臉作為檢測/追蹤對象，從運動圖像等中追蹤人物的現有技術中存在以下這樣的問題。第一，臉被障礙物的陰影遮擋時，或臉朝向側面或后面時等，存在執行追蹤變得困難的問題。例如假設即使執行語音方向識別，在被攝物體不發聲的情況下或在噪音環境下，存在得不到有效結果的問題。第二，因為個人的辨識處理需要很長的處理時間，存在不適合于需要反復執行的運動圖像中的人物追蹤處理的問題。
因此，為了提高魯棒性并且實現處理的高速化，提出了通過將人的衣服的顏色作為追蹤的對象，實現人物的追蹤的技術。作為這樣的技術的具體例，提出了將測距用框內的被攝物體中面積最大的顏色作為衣服的顏色，進行追蹤的技術(參照專利文獻2)。一般的，衣服的顏色大多不隨朝向變化而固定，因此通過這樣對衣服的顏色進行追蹤，能夠提高魯棒性。并且，通過把顏色作為追蹤的對象，處理變得容易，因此能夠實現高速化。
日本特開2004-283959號公報[專利文獻2]日本特開平06-22195號公報但是，在上述這樣的技術中也存在問題點。例如，當在測距用框內存在面積比應當作為被攝物體的人的衣服更大的其它顏色區域的情況下，會錯誤地檢測追蹤對象，將錯誤的被攝物體作為追蹤的對象。并且，在追蹤對象的周圍存在具有與追蹤對象相同的顏色的多個被攝物體的情況下，有追蹤錯誤的被攝物體的可能性。
對于這樣的問題，也可以考慮通過預先對衣服進行學習處理，防止誤檢測/誤追蹤。但是，通常，衣服是每天變化的，因此不能說執行基于學習的檢測/追蹤是有效的。

發明內容
因此本發明的目的是提供能夠提高運動圖像中的人物追蹤處理的魯棒性的裝置和方法。換言之，本發明的目的是提供即使在運動圖像中產生了無法檢測追蹤對象的臉的情況下，也能夠繼續進行被攝物體的追蹤的裝置和方法。
為了解決上述問題，本發明采用以下這樣的結構。本發明是追蹤運動圖像中的人臉的位置的追蹤裝置，包括人臉檢測單元、存儲單元以及推定單元。人臉檢測單元從圖像中檢測人臉。存儲單元存儲周圍信息，該周圍信息是從與人臉檢測單元所檢測出的人臉的位置相關聯、由與人臉的位置之間的相對位置關系所確定的區域中獲取的。推定單元，其不是通過人臉檢測單元檢測人臉，而是基于之前檢測出的人臉的位置，求出多個當前人臉位置候選，取得與這些位置候選分別對應的多個周圍信息，基于取得了和與之前檢測出的人臉位置相關聯的周圍信息最類似的周圍信息的位置候選，確定當前的人臉的位置。所謂之前檢測出的人臉，可以是在前一圖像中所檢測出的人臉，也可以是在之前的多張圖像中所檢測出的人臉。
在這樣構成的追蹤裝置中，在推定當前的人臉的位置時，可以不從圖像中檢測人臉而進行推定。因此，即使例如追蹤對象的臉被物體的陰影遮擋的情況，或人臉朝向后方的情況這樣，很難進行人臉的檢測的情況下，也不會追丟追蹤對象的臉，而能夠繼續追蹤。
本發明也可以構成為，還具有基于之前檢測出的人臉的位置，獲取人臉的運動信息的運動信息獲取單元。該情況下，推定單元也可以構成為基于之前檢測出的人臉的位置和運動信息，求得位置候選。
此外，本發明的存儲單元可以構成為還關聯地存儲特征量。此時人臉檢測單元可以構成為，基于檢測出的人臉的特征量和之前檢測出的人臉的特征量，判斷檢測出的人臉與該之前檢測出的人臉是否相同。并且此時推定單元也可以構成為，確定在存儲單元中存儲了特征量的人臉之未由人臉檢測單元檢測出的人臉的位置。
這樣構成的情況下，僅對未由人臉檢測單元檢測出人臉的追蹤對象執行推定單元的處理。通過推定單元所得到的人臉的位置大多比通過人臉檢測單元所得到的人臉的位置精度低。因此，通過這樣構成，可以更加高精度地檢測/推定人臉的位置。
本發明的推定單元也可以構成為將取得了和與之前檢測出的人臉位置相關聯的周圍信息最類似的周圍信息的位置候選作為當前的人臉的位置。或者，推定單元也可以構成為，從取得了和與之前檢測出的人臉位置相關聯的周圍信息最類似的周圍信息的位置候選及其周圍，檢測出最象人臉的區域，將該檢測出的區域作為當前的人臉位置。
人臉的位置與獲取周圍信息的區域的相對位置關系可以設定為使人臉的位置與區域的相對速度成為最小。
可以構成為周圍信息獲取區域的范圍相應于人臉的朝向而變化。
根據本發明，即使在運動圖像中發生無法檢測出追蹤對象的臉的情況下，也可以繼續被攝物體的追蹤。


圖1是表示追蹤裝置的功能模塊例的圖。
圖2是表示對象信息的具體例的圖。
圖3是表示周圍信息的具體例的圖。
圖4是表示追蹤裝置的動作例的流程圖。
圖5是表示追蹤裝置的動作例的流程圖。
圖6是表示考慮了人臉的傾斜的周圍信息獲取區域的設定例的圖。
圖7是表示考慮了與人臉之間的相對速度的周圍信息獲取區域的設定例的圖。
圖8是表示考慮了人臉的朝向的周圍信息獲取區域的設定例的圖。
符號說明1追蹤裝置；2圖像輸入部；3圖像存儲部；4對象信息存儲部；5控制部；51人臉檢測部；52周圍信息收集部；53運動檢測部；54位置推定部；6位置輸出部；7關聯信息存儲部具體實施方式
以下說明的追蹤裝置構成為把人作為追蹤對象，特別是通過檢測人的臉來實現追蹤。但是，這樣的追蹤裝置只不過是一個具體例。即，追蹤對象沒有必要限定為人，并且在追蹤人的時候也沒有必要把檢測對象限定為人臉。
首先，對追蹤裝置1的結構例進行說明。追蹤裝置1在硬件上具有經總線連接的CPU(中央運算處理裝置)、主存儲裝置(RAM)以及輔助存儲裝置等。輔助存儲裝置采用非易失性存儲裝置構成。這里言及的非易失性存儲裝置是指，所謂ROM(Read-Only Memory，只讀存儲器包括EPROM(Erasable Programmable Read-Only Memory，可擦可編程只讀存儲器)、EEPROM(Electrically Erasable Programmable Read-Only Memory，電可擦可編程只讀存儲器)、掩模ROM(mask ROM)等)、FRAM(FerroelectricRAM，鐵電隨機存取存儲器)和硬盤等。
圖1是表示追蹤裝置1的功能模塊例的圖。追蹤裝置1通過把輔助存儲裝置中存儲的各種程序(OS、應用程序等)加載到主存儲裝置中、由CPU執行，作為包括圖像輸入部2、運動圖像存儲部3、對象信息存儲部4、控制部5、位置輸出部6以及關聯信息存儲部7等的裝置來工作。控制部5通過CPU執行程序來實現。并且，控制部5也可以作為專用的芯片來構成。接著，對追蹤裝置1包括的各功能部進行說明。
<圖像輸入部>
圖像輸入部2作為用于向追蹤裝置1輸入運動圖像數據的界面工作。通過圖像輸入部2，向追蹤裝置1輸入運動圖像數據。可以采用任何用于向追蹤裝置1輸入運動圖像數據的現有技術來構成圖像輸入部2。
<運動圖像存儲部>
運動圖像存儲部3采用存儲裝置構成。對于運動圖像存儲部3中所采用的存儲裝置，可以采用易失性存儲裝置或非易失性存儲裝置等的任何具體技術。這里言及的易失性存儲裝置是指，所謂RAM(Random AccessMemory，隨機存取存儲器DRAM(Dynamic RAM，動態隨機存取存儲器)、SDRAM(Synchronous DRAM，同步DRAM)、DDR SDRAM(Double Data RateSDRAM，雙數據速率SDRAM)等)。
運動圖像存儲部3存儲經圖像輸入部2輸入的運動圖像的數據。通過控制部5讀出在運動圖像存儲部3中存儲的運動圖像的數據。運動圖像存儲部3至少在控制部5的處理結束之前，保持作為該處理的對象的運動圖像數據。
<對象信息存儲部>
對象信息存儲部4采用存儲裝置構成。對象信息存儲部4中所采用的存儲裝置與運動圖像存儲部3一樣，可以采用任何具體技術。對象信息存儲部4存儲關于各個追蹤對象的對象信息。圖2是表示對象信息的具體例的圖。對象信息存儲部4構成為，對于各個追蹤對象，關聯地存儲例如ID、位置信息、運動信息、特征量、周圍信息以及檢測失敗標志。之后與控制部5一起說明位置信息、運動信息、特征量、周圍信息以及檢測失敗標志的詳細情況和具體例。以下，對各項目進行簡單說明。
ID是表示追蹤對象的標識符。位置信息是通過控制部5獲取的信息，是表示追蹤對象在圖像內的位置的信息。運動信息是通過控制部5獲取的信息，是表示追蹤對象在圖像內的移動的信息。特征量是控制部5辨識追蹤對象的臉時所使用的信息。周圍信息是追蹤對象的臉附近的區域中的特征信息。檢測失敗標志是表示在本次的人臉檢測處理中是否檢測出追蹤對象的臉的信息。出現了檢測失敗標志時，表示通過人臉檢測處理未能成功進行位置檢測，對于這樣的追蹤對象，通過與人臉檢測處理不同的處理(具體為位置推定部54的位置推定處理)來進行追蹤處理。
<控制部>
控制部5通過CPU等執行程序來實現。控制部5包括人臉檢測部51、周圍信息收集部52、運動檢測部53以及位置推定部54。以下，對各個功能部進行說明。
<<人臉檢測部>>
人臉檢測部51從運動圖像存儲部3讀出圖像數據，從該圖像中檢測出人的臉，確定表示所檢測出的人臉的位置和大小等的人臉信息。人臉檢測部51可以構成為，例如通過采用了與人臉整體的輪廓相對應的基準模板的模板匹配，來檢測人臉。此外，人臉檢測部51也可以構成為，通過基于人臉的構成要素(眼、鼻、耳等)的模板匹配來檢測人臉。此外，人臉檢測部51也可以構成為，通過色度鍵(chroma key)處理檢測出頭部等的頂點，根據該頂點檢測出人臉。此外，人臉檢測部51也可以構成為，檢測與皮膚顏色相近的區域，檢測出該區域作為人臉。此外，人臉檢測部51也可以構成為，使用神經網絡(neural network)進行基于訓練信號的學習，檢測出象是人臉的區域作為人臉。此外，人臉檢測部51的人臉檢測處理也可以通過現有的其它任何技術來實現。
并且，人臉檢測部51從檢測出的人臉中取得特征量。作為特征量，人臉檢測部51取得包括所檢測出的人臉在內的特定區域內的亮度分布和顏色直方圖等。把取得的特征量存儲在對象信息存儲部4中。
并且，對于所檢測出的各人臉的追蹤對象，人臉檢測部51判斷其是否為已經存儲在對象信息存儲部4中的追蹤對象。人臉檢測部51例如從圖像中取得如上所述的特征量，通過與存儲在對象信息存儲部4中的特征量進行比較來進行判斷。可以通過作為類似度取得亮度分布的歸一化相關度、顏色直方圖的直方圖相交(histogram intersection)等來進行該比較。即，判斷是否類似，判斷為類似時，即可判斷為同一人物。此時，人臉檢測部51也可以構成為僅采用與具有與檢測出的人臉的位置接近的位置信息的對象信息相關聯的特征量來進行比較。而且，人臉檢測部51設置對象信息存儲部4中存儲的追蹤對象中、在本次的檢測處理中未檢測出的追蹤對象的檢測失敗標志。
<<周圍信息收集部>>
周圍信息收集部52基于通過人臉檢測部51檢測出的人臉的位置，或通過位置推定部54推定的人臉的位置，取得周圍信息。圖3是表示周圍信息的具體例的圖。以下，利用圖3對周圍信息收集部52的處理的具體例進行說明。
首先，周圍信息收集部52基于人臉檢測部51在本次的檢測處理中檢測出的人臉的位置(相當于圖3的檢測位置)，或通過位置推定部54推定的人臉的位置，確定周圍信息取得區域。周圍信息取得區域的位置由與人臉的位置之間的相對關系確定。同樣，周圍信息取得區域的大小由與人臉的大小之間的相對關系確定。關聯信息存儲部7存儲確定人臉和周圍信息取得區域之間的相對關系的參數。周圍信息收集部52參照存儲在關聯信息存儲部7中的參數，將在檢測位置的周圍存在的預定區域確定為周圍信息取得區域。具體的，周圍信息收集部52也可以按照如下這樣確定周圍信息取得區域。
首先，設檢測位置的中心為P＝(X，Y)，表示人臉的區域的矩形(表示檢測位置的矩形)的一邊長度為D，則表示周圍信息取得區域的長方形的中心R、寬度W、高度H可以如式1那樣表達。在式1的例子中，人臉的區域用正方形表示。由此，用于表示人臉的區域所需的信息量變少，能夠實現處理的高速化。但是，人臉的區域的表現方法并不限于正方形。可以使用長方形或多邊形來更加準確地表現人臉的位置以及大小。如果人臉的位置和大小更加準確，則能夠更加準確地確定周圍信息取得區域的位置以及大小。
長方形中心坐標R＝(X，Y+αD)長方形寬度W＝βD…(式1)長方形高度H＝γDα、β、γ為常數，是在關聯信息存儲部7中存儲的參數。預先確定參數α、β、γ，使得周圍信息取得區域配置在人物的身體部分。例如，可以測定各種人的臉與身體之間的相對距離或相對尺寸，求其平均值，來確定參數α、β、γ。
然后，周圍信息收集部52在周圍信息取得區域中，取得面積最大顏色、顏色直方圖、陰影、紋理信息等作為周圍信息。
接著，說明周圍信息收集部52取得周圍信息時的具體的處理。
采用面積最大顏色作為周圍信息時，周圍信息收集部52進行以下的處理。例如，對RGB空間的各軸進行Q分割(Q為大于等于1的整數)，在周圍信息取得區域內對各自區域中的像素數進行計數。這也稱為顏色直方圖。各區域i的像素數可以如式2這樣表示。此時，周圍信息取得區域的像素數可以如式3這樣表示。另外，面積最大顏色為，由式2、3中Mi(準確地說，是上部有波浪線的Mi)的值為最大的i所表示的區域的顏色。
M~i(i=1···N),N=Q3]]>…(式2)ΣiM~i]]>…(式3)采用顏色直方圖作為周圍信息時，如式4所示這樣，作成將各直方圖的要素的值除以由式3表示的像素數而得到的歸一化直方圖。
Mi=M~iΣjM~j]]>…(式4)采用陰影作為周圍信息時，例如通過拉普拉斯濾波器，從周圍信息取得區域的圖像(亮度值)中求得邊緣信息。把這樣取得的周圍信息與各追蹤對象關聯起來存儲到對象信息存儲部4中。
<<運動檢測部>>
運動檢測部53基于人臉檢測部51的檢測結果，對于各追蹤對象的臉計算圖像內的移動量，生成運動信息。此外，運動檢測部53對于未能通過人臉檢測部51檢測出的追蹤對象的臉，也基于通過位置推定部54所推定的位置生成運動信息。把通過運動檢測部53生成的運動信息存儲在對象信息存儲部4中。
運動檢測部53例如通過以下這樣的處理生成運動信息。設輸入圖像上的前一幀中的人臉檢測坐標(矩形的中心坐標)為P1＝(X1，Y1)，當前幀中的人臉檢測坐標為P2＝(X2，Y2)，則運動信息V＝(Vx，Vy)如式5這樣表示。其中，前一幀與當前幀之間的時間表示為T。
V＝(P2-P1)/T…(式5)<<位置推定部>>
位置推定部54推定出現了檢測失敗標志的追蹤對象的當前位置。位置推定部54基于作為前一次的檢測結果而存儲在對象信息存儲部4中的位置信息，以及通過運動檢測部53生成的運動信息，推定當前人臉的大致位置P’＝(X’，Y’)。這樣的推定例如可以采用式6來進行。
P’＝P2+VT …(式6)接著，通過對該表示大致位置的X’，Y’加上適當的隨機數組(x，y)，生成多個推定位置(位置候選)E1＝(Xe1，Ye1)、E2＝(Xe2，Ye2)、…、EN＝(XeN，YeN)。其中，N表示所生成的隨機數的組數。位置推定部54請求周圍信息取得部52取得多個的各個推定位置處的周圍信息。位置推定部54對根據各推定位置所得到的周圍信息和存儲在對象信息存儲部4中的周圍信息進行比較。然后，位置推定部54將得到與對象信息存儲部4中存儲的周圍信息最類似的周圍信息的推定位置En推定為當前的人臉位置。位置推定部54也可以構成為，在根據任何一個推定位置、都不能得到與對象信息存儲部4中存儲的周圍信息類似的周圍信息的情況下，對于該追蹤對象不推定當前位置。
可以通過計算兩個周圍信息的類似度，判斷周圍信息是否類似。類似度例如按照以下這樣計算。采用面積最大顏色作為周圍信息時，例如可以采用RGB空間中的歐幾里得距離。
此外，采用顏色直方圖作為周圍信息時，可以使用直方圖相交。設進行比較的兩個直方圖分別為H、M時，直方圖相交表示為式7。該值SHM取從0至1的值，完全相同的直方圖的情況下該值為1。
SHM=Σi=1Nmin(Hi,Mi)]]>(式7)此外，采用陰影作為周圍信息時，可以采用邊緣圖像之間的歸一化相關度。兩個圖像X，Y的歸一化相關度可以通過式8來計算。
R=Σi=1NΣk=1M(X[k,l]-X‾)(Y[k,l]-Y‾)Σk=1M(X[k,l]-X‾)2Σi=1N(Y[k,l]-Y‾)2]]>…(式8)<位置輸出部>
位置輸出部6向追蹤裝置1的外部輸出由控制部5的人臉檢測部51所檢測出的人臉的位置，或者由位置推定部54所推定的人臉的位置。
圖4、5是表示追蹤裝置1的動作例的流程圖。首先，控制部5從圖像中檢測人臉(S01)。接著，從檢測出的人臉中選擇追蹤對象的臉(S02)，判斷對象信息存儲部4中是否存儲了關于該追蹤對象的對象信息(S03)。在沒有對象信息的情況下(S03-否)，判斷是否向對象信息存儲部4中新追加關于該追蹤對象的對象信息(S04)。該判斷基于是否有必要存儲該追蹤對象作為對象信息，例如根據檢測出的人臉的大小等來進行判斷。判斷為要追加對象信息的情況下(S04-是)，將關于該新的追蹤對象的對象信息存儲在對象信息存儲部4中(S05)。此外，在S03的處理中，存在相應的對象信息的情況下(S03-是)，對該對象信息進行更新(S05)。對象信息的更新是指重新取得位置信息、運動信息、特征量和周圍信息，并存儲在對象信息存儲部4中的處理。
S05的處理之后，或在S04的處理中判斷為不追加的情況下(S04-否)，判斷作為處理對象的追蹤對象的臉是否為通過人臉檢測部51所檢測出的最后的人臉。不是最后的情況下(S06-否)，選擇未處理的人臉(S02)，對于該人臉執行S03～S05的處理。另一方面，是最后的情況下(S06-是)，人臉檢測部51設立對象信息存儲部4中所存儲的對象信息中、未被更新的對象信息的檢測失敗標志(S07)。
接著，位置推定部54選擇具有檢測失敗標志的對象信息(S08)，基于該對象信息中的位置信息和運動信息，得到多個推定位置(S09)。位置推定部54對于多個推定位置分別取得周圍信息(S10)，基于其結果取得位置推定結果(S11)。然后，基于所推定的位置，更新對象信息存儲部4的位置信息、運動信息和周圍信息(S12)。此時，對于特征量，因為沒有檢測出人臉，即無法取得用于檢測人臉的特征量，所以不進行更新。
接著，對于具有檢測失敗標志的所有對象信息，判斷S08～S12的處理是否結束，未結束的情況下，根據未處理的對象信息進行S08～S12的處理(S13-否)。另一方面，對于所有的對象信息S08～S12的處理已經結束的情況下，結束本次的追蹤處理，如果需要則重復S01以后的處理。
追蹤裝置1通過檢測出圖像內追蹤對象的臉來進行追蹤。把各追蹤對象的當前位置作為位置信息存儲在對象信息存儲部4中，通過位置輸出部6向外部輸出。在追蹤裝置1中，在追蹤對象的臉被物體的陰影遮擋，或人臉朝向后方的情況那樣，人臉的檢測困難的情況下，不進行人臉的檢測，而通過位置推定部54進行推定處理，從而繼續追蹤。因此，即使是在發生了上述這樣人臉的檢測困難的情況時，追蹤裝置1也不會跟丟追蹤對象，使繼續追蹤成為可能。
具體而言，首先通過基于過去的追蹤歷史所得到的運動信息，推定無法檢測人臉的追蹤對象的當前大致位置，基于該位置確定多個推定位置。然后，將得到與對象信息存儲部4中存儲的周圍信息最類似的周圍信息的推定位置最終推定為追蹤對象的當前位置。在周圍信息取得區域設定在人臉的位置的正下方時，該周圍信息一般表示關于該追蹤對象的人的衣服的信息。該情況下，在未能檢測出人臉時，通過進行基于周圍信息的位置推定，基于追蹤對象的衣服顏色或形狀等進行位置推定。
這樣的追蹤裝置1，例如通過搭載到攝像機中，能夠追蹤預定的人，并能夠進行對于該人對焦這樣的控制。除了對焦控制，還可以例如設定白平衡的控制基準，可以控制攝像機的朝向，使得將該人收在畫面內等。

在限制追蹤對象的數目的情況下，還可以從人臉檢測部51所檢測出的多張人臉中選擇應作為追蹤對象的臉。例如，人臉檢測部51可以構成為，對檢測出的人臉的大小按照從大至小的順序選擇作為追蹤對象，在滿足規定的數目時將選擇的人臉確定作為追蹤對象。此外，也可以構成為僅將最大的人臉確定作為追蹤對象。此外，也可以將所有具有規定大小以上的人臉均作為追蹤對象。此外，在人臉檢測部51構成為可以進行辨識處理的情況下，人臉檢測部51也可以通過辨識處理，僅選擇已經預先登記的特定的追蹤對象。
周圍信息取得區域的位置的計算中優選考慮人臉的傾斜度。例如，如圖6所示，表示人臉區域的矩形相對于攝像機坐標系(圖像坐標系)傾斜角度θ的情況下，周圍信息取得區域的中心坐標R可以如式9這樣計算。由此，即使人的姿勢傾斜，也可以從身體部分取得正確的周圍信息。
R＝(X+αDsinθ，Y+αDcosθ)…(式9)人臉區域與周圍信息取得區域的相對關系隨著作為追蹤對象的人物的條件、或攝像機的設置條件等變化。例如，兒童和成年人的臉和身體的相對尺寸不同，成年人和老人的臉和身體的相對位置不同。此外，攝像機設置在與人臉高度相同的情況、攝像機設置在比人臉高的位置的情況下，即使是同一個人，人臉和身體的相對位置等也會出現不同。于是，優選不將確定人臉區域和周圍信息取得區域的相對關系的參數(上述實施方式中為α、β、γ)設為固定值，而是可以相應于人物的條件或攝像機的設置條件而變更。由此，可以取得更加正確的周圍信息。
并且，優選追蹤裝置通過對圖像進行分析，自動地確定最優的參數。圖7的例子中，首先，追蹤裝置在人臉區域F的周圍設定多個候選區域A、B，通過分析多幀的圖像，調查人臉區域F與各個候選區域A、B之間的相對速度。然后，把與人臉區域F之間的相對速度最小的候選區域A設定為周圍信息取得區域。由此，不會在與追蹤對象的臉沒有關系的區域(例如，背景部分或其他人的身體)中設定周圍信息取得區域，可以取得正確的周圍信息。
并且，周圍信息取得區域的范圍(位置以及大小)的計算中，優選考慮人臉的朝向。因為人臉和身體的相對位置以及相對尺寸相應于人臉和身體的朝向而變化。圖8的例中，如人臉朝向正面時W＝2×D、人臉朝向斜側方則W＝1.5×D、人臉朝向橫向則W＝1.25×D這樣，對應人臉的朝向對參數β的值進行修正，從而改變周圍信息取得區域的寬度。此外，圖8的例中，周圍信息取得區域的中心坐標(x坐標)也根據人臉的朝向而改變。如果這樣根據人臉的朝向改變周圍信息取得區域的范圍，可以取得更加正確的周圍信息。此外，圖8的例中，僅改變了周圍信息取得區域的寬度和位置，但也可以改變高度或形狀(縱橫比等)。
在上述實施方式中，成功檢測出人臉的情況下，一定更新周圍信息(參照圖4的S05)。但是，追蹤中的人如果和其他的人擦肩而過，或者進入物體的陰影中，則正確的周圍信息取得區域(身體等)可能暫時離開攝像機的視場。這樣的情況下如果用錯誤的周圍信息(其他人的身體的顏色等)來進行更新，有可能對之后的人臉位置推定帶來妨礙。于是，在之前的圖像與當前圖像有很大不同的情況下，最好省略更新所取得的周圍信息。由此可以提高追蹤處理的可靠性。
在上述實施方式中，位置推定部54將得到與之前的周圍信息最類似的周圍信息的位置候選視為當前的人臉位置。但是，周圍信息取得區域與人臉的相對位置并不總是相同，因此也有可能在所推定的人臉位置與真正的人臉位置之間存在誤差。例如，如果人臉偏斜或人臉朝向正面以外的方向，則容易發生這樣的誤差。因此，位置推定部54也可以是，在確定了得到與存儲在對象信息存儲部4中的之前的周圍信息最類似的周圍信息的位置候選之后，進一步從該位置候選和其周邊檢測出最象人臉的區域，將該檢測出的區域作為當前的人臉的位置。通過在這樣限定的范圍中進行人臉的再次搜索，可以更加正確地推定當前的人臉位置。并且，關于人臉的再次搜索處理，可以利用與人臉檢測部51的人臉檢測處理相同的方法。
也可以將利用了粒子濾波器(particle filter)的追蹤方法、利用了均值漂移(mean shift)的追蹤方法以及其它的現有的追蹤方法與本發明組合。
權利要求
1.一種追蹤裝置，其追蹤運動圖像中的人臉的位置，具有從圖像中檢測人臉的人臉檢測單元；存儲單元，其存儲周圍信息，該周圍信息是從與所述人臉檢測單元所檢測出的人臉的位置相關聯、由與所述人臉的位置之間的相對位置關系確定的區域中取得的；以及推定單元，其取代由所述人臉檢測單元進行的人臉檢測，基于之前檢測出的人臉的位置，求出多個當前人臉位置候選，取得與該位置候選分別對應的多個周圍信息，基于取得和與所述之前檢測出的人臉位置相關聯的周圍信息最類似的周圍信息的位置候選，確定當前的人臉位置。
2.根據權利要求1所述的追蹤裝置，其中還包括運動信息取得單元，其基于所述之前檢測出的人臉的位置，取得人臉的運動信息，所述推定單元基于所述之前檢測出的人臉的位置以及所述運動信息求出位置候選。
3.根據權利要求1或2所述的追蹤裝置，其中所述存儲單元還關聯地存儲特征量；所述人臉檢測單元基于檢測出的人臉的特征量和所述之前檢測出的人臉的特征量，判斷檢測出的人臉與所述之前檢測出的人臉是否相同；所述推定單元推定所述之前檢測出的人臉之中、未由所述人臉檢測單元檢測出的人臉的位置。
4.根據權利要求1～3中的任一項所述的追蹤裝置，其中所述推定單元將取得和與所述之前檢測出的人臉位置相關聯的周圍信息最類似的周圍信息的位置候選作為當前的人臉位置。
5.根據權利要求1～3中的任一項所述的追蹤裝置，其中所述推定單元從取得和與所述之前檢測出的人臉位置相關聯的周圍信息最類似的周圍信息的位置候選及其周邊，檢測出最象人臉的區域，將該檢測出的區域作為當前的人臉位置。
6.根據權利要求1～5中的任一項所述的追蹤裝置，其中所述人臉位置與取得所述周圍信息的區域之間的相對位置關系被設定為使得所述人臉位置與所述區域之間的相對速度成為最小。
7.根據權利要求1～6中的任一項所述的追蹤裝置，其中取得所述周圍信息的區域的范圍相應于所述人臉的朝向而變化。
8.一種追蹤方法，追蹤運動圖像中的人臉的位置，包括以下步驟從圖像中檢測人臉的步驟；存儲周圍信息的步驟，該周圍信息是從與檢測出的人臉的位置相關聯、由與所述人臉的位置之間的相對位置關系確定的區域中取得的；基于之前檢測出的人臉的位置，求出多個當前人臉位置候選的步驟；取得與該位置候選分別對應的多個周圍信息的步驟；以及取代所述檢測人臉的步驟，基于取得和與所述之前檢測出的人臉位置相關聯的周圍信息最類似的周圍信息的位置候選，確定當前的人臉位置的步驟。
全文摘要
追蹤裝置。本發明的課題是提供一種即使在運動圖像中發生了無法檢測追蹤對象的臉的情況時，也可以繼續進行被攝物體的追蹤的裝置和方法。作為解決手段，基于過去檢測出的人臉的位置，推定當前的人臉的大致位置，取得與該大致位置對應的多個周圍信息，基于取得與過去所取得的周圍信息最類似的周圍信息的位置，推定當前的人臉位置。
文檔編號H04N5/232GK1892702SQ20061009577
公開日2007年1月10日 申請日期2006年7月4日 優先權日2005年7月5日
發明者木下航一, 筑地修一郎, 松岡美希, 山下隆義 申請人:歐姆龍株式會社