專利名稱：膚色檢測系統及方法
技術領域：
本發明關于一種膚色檢測系統及方法，特別是涉及一種魯棒性在線膚色檢測系統及方法。
背景技術：
目前，常見的膚色檢測方法一般有如下幾種I、固定閾值法由于膚色的聚集性強，在顏色空間中的分布相對集中，用數學表達式明確規定膚色范圍是一種簡單的膚色建模方法。通常可以采用YCbCr顏色空間，當像素的顏色落入Cr E [133,173]和Cb e [77，127]限定的矩形區域，就認為是屬于膚色像素。2、參數化方法具有一個明確的函數形式，能夠通過訓練數據來獲得相應的參數， 訓練和分類速度較慢，例如利用單高斯模型或者混合高斯模型對膚色進行建模。3、非參數化方法通過訓練集中的膚色出現頻率直接估計每種顏色的膚色概率，構造膚色概率圖，為離散化的每一個格子賦予一個概率值，例如查找表和貝葉斯方法。然而，上述傳統的膚色檢測方法普遍存在如下問題1)受背景干擾嚴重。在理想情況下算法性能較好，但當存在光照條件的改變、運動模糊以及復雜背景時，現有方法誤差較大，還必須通過后續的圖像處理方法改善，例如腐蝕膨脹、或者條件約束，當為復雜背景或者背景為其它類膚色的物體，比如木頭、沙灘、頭發等將會被誤判為膚色；2)現有的膚色檢測算法多為離線學習算法，即通過大量視頻作為樣本，學習出膚色分類器。將該膚色分類器作為通用分類器，適用于任何一個測試視頻，不同內容的視頻采用相同的分類標準。然而不同視頻由于光照、運動以及人種等等的不同，采用通用的分類標準，難以達到令人滿意的精度。
發明內容
為克服上述現有膚色檢測方法普遍存在的泛化性能低、難以適應復雜背景的不足，本發明之目的在于提供一種膚色檢測系統及方法，以達到魯棒性強、檢測精度高的目的。為達上述及其它目的，本發明提出一種膚色檢測系統，用于對視頻進行膚色檢測，至少包括膚色粗查找模組，利用該視頻自身的若干幀作為樣本，對樣本視頻的第一幀圖形進行顏色空間的轉換，并通過收集樣本圖片訓練出膚色查找表，對該第一幀圖像，利用該膚色查找表進行膚色的粗檢測，獲得初始膚色樣本；以及膚色精檢測模組，對該初始膚色樣本進行EM聚類，建立初始高斯分布模型，再利用該初始高斯模型對該樣本視頻的第二幀視頻進行膚色分類，得到新的膚色樣本，對新的膚色樣本進行EM聚類，從而更新初始高斯分布模型，以此類推，直至該樣本視頻的所有幀。進一步地，該膚色粗查找模組包括空間轉換模組，用于將該樣本視頻的第一幀圖像從RGB空間轉化為HSV空間；
膚色查找表建立模組，收集樣本圖片，并手工標注圖片中膚色區域，在HSV空間下，首先去除V分量，再利用貝葉斯方法訓練出二維查找表；以及粗檢測模組，對該第一幀圖像，在檢測過程中利用膚色查找表直接查找相應參數，實現膚色的粗檢測。進一步地，該樣本圖片為利用互聯網、視頻、圖片庫資源收集獲得的1027幅樣本圖片。進一步地，該膚色精檢測模組包括初始高斯膚色模型建立模組，利用該膚色粗檢測模組粗檢測后的初始膚色樣本進 行EM聚類，建立初始高斯分布模型；膚色檢測模組，利用該初始高斯膚色模型對該樣本視頻的下一幀圖像進行膚色檢測，得到新的膚色區域；模型更新模組，以該膚色區域為更新的膚色樣本，再去進行EM聚類，更新高斯膚色模型，以此類推，直至樣本視頻的所有幀。進一步地，該系統利用視頻自身前50幀作為樣本視頻。進一步地，該EM聚類第一步是E步驟，即計算期望，利用對隱藏變量的現有估計值，計算其最大似然估計值；第二步是M步驟，最大化在E步驟上求得的最大似然值來計算參數的值，M步驟上找到的參數估計值被用于下一個E步驟計算中，這個過程不斷交替進行，直到收斂為止。為達到上述及其他目的，本發明還提供一種膚色檢測方法，用于對視頻進行膚色檢測，包括如下步驟步驟一，利用視頻自身的若干幀作為樣本視頻，對樣本視頻的第一幀圖像進行顏色空間的轉換；步驟二，通過收集樣本圖片訓練出膚色查找表；步驟三，對該第一幀圖像，利用膚色查找表進行膚色粗檢測，獲得初始膚色樣本；步驟四，對粗檢測后的初始膚色樣本進行EM聚類，建立初始高斯分布模型；步驟五，利用初始高斯模型對該樣本視頻的第二幀視頻進行膚色分類，得到新的膚色樣本；以及步驟六，對新的膚色樣本進行EM聚類，從而更新初始高斯分布模型，以此類推，直至該樣本視頻的所有幀。進一步地，于步驟一中，將樣本視頻的第一幀圖像從RGB空間轉化為HSV空間。進一步地，于步驟二中，t通過收集樣本圖片，并手工標注圖片中膚色區域，在HSV空間下，首先去除V分量，再利用貝葉斯方法訓練出二維查找表。進一步地，該EM聚類第一步是E步驟，即計算期望，利用對隱藏變量的現有估計值，計算其最大似然估計值；第二步是M步驟，最大化在E步驟上求得的最大似然值來計算參數的值，M步驟上找到的參數估計值被用于下一個E步驟計算中，這個過程不斷交替進行，直到收斂為止。與現有技術相比，本發明一種膚色檢測系統及方法采用在線膚色分類，對不同的視頻，以自身的視頻幀為學習樣本，學習出自身的膚色分類器，克服了視頻受光照、人種以及復雜背景的影響，同時本發明采用增量式的EM聚類，樣本不斷更新，修正膚色高斯模型，提聞了檢測速度。
圖I為本發明一種膚色檢測系統的系統架構圖；圖2為本發明一種膚色檢測方法的步驟流程圖；圖3為本發明一種膚色檢測方法之較佳實施例的步驟流程圖。
具體實施例方式以下通過特定的具體實例并結合
本發明的實施方式，本領域技術人員可由本說明書所揭示的內容輕易地了解本發明的其它優點與功效。本發明亦可通過其它不同的具體實例加以施行或應用，本說明書中的各項細節亦可基于不同觀點與應用，在不背離 本發明的精神下進行各種修飾與變更。圖I為本發明一種膚色檢測系統的系統架構圖。如圖I所示，本發明一種膚色檢測系統，至少包括膚色粗查找模組10及膚色精檢測模組11。其中膚色粗查找模組10利用視頻自身若干幀作為樣本，對樣本視頻的第一幀圖像進行顏色空間的轉換，并通過收集樣本圖片訓練出膚色查找表，對樣本視頻的第一幀圖像，利用膚色查找表進行膚色的粗檢測。具體來說，膚色粗查找模組10包括空間轉換模組101、膚色查找表建立模組102以及粗檢測模組103，空間轉換模組101用于將樣本視頻的第一幀圖像從RGB空間轉化為HSV空間，由于原始RGB空間未能將亮度與色度分開，R、G、B三者具有較強的關聯性，當亮度改變時會對三個分量都產生影響，因此不適合在該空間下進行膚色檢測，為了達到良好的檢測效果，本發明采用HSV空間，因此空間轉換模組101會將RGB空間轉化為HSV空間，由于RGB空間轉化為HSV空間為現有技術，在此則不予贅述。膚色查找表建立模組102通過收集樣本圖片，并手工標注圖片中膚色區域，在HSV空間下，首先去除V分量，再利用貝葉斯方法訓練出二維查找表，在本發明較佳實施例中，膚色查找表建立模組102利用互聯網、視頻、圖片庫等資源收集樣本圖片1027幅。粗檢測模組103對樣本視頻的第一幀圖像，在運動區域，在檢測過程中利用膚色查找表直接查找相應參數，實現膚色的粗檢測，在本發明中，膚色查找表是一種非參數的膚色檢測方法，通過增加存儲空間來減少計算時間，在檢測過程中直接查找相應參數，無需重復計算，這樣可以提高檢測速度。膚色精檢測模組11對膚色粗檢測模組11粗檢測后的初始膚色樣本進行EM聚類，建立初始高斯分布模型，再利用初始高斯模型對第二幀視頻進行膚色分類，得到新的膚色樣本，對新的膚色樣本進行EM聚類，從而更新初始高斯分布模型，以此類推，直至樣本視頻的所有幀，在本發明較佳實施例中，利用視頻自身的前50幀作為樣本。具體來說，膚色精檢測模組11進一步包括初始高斯膚色模型建立模組110、膚色檢測模組111以及模型更新模組112，初始高斯膚色模型建立模組110利用膚色粗檢測模組11粗檢測后的初始膚色樣本進行EM聚類，建立初始高斯分布模型。假設膚色粗查找后的區域集合包含兩類高斯分布，即膚色分布以及非膚色分布，然后通過最大似然估計，確定各個分布的參數。假設觀測樣本X = {xk}, k e [1，N],由包含m = 2個有限混合分布模型構成
P(斗) = [::]# 噸)CDPi (X I Θ J為概率密度，Ji .是混合分布模型中第i個分布的先驗概率，并且滿足
Σ:廠 I。Φ = {> i，μ i，Σ J為第i個分布的參數集合；其中μ i表示均值，Σ i表示協方
差矩陣。第一步是計算期望(E步驟)，利用對隱藏變量的現有估計值，計算其最大似然估計值；第二步是最大化(M步驟)，最大化在E步驟上求得的最大似然值來計算參數的值。M步驟上找到的參數估計值被用于下一個E步驟計算中，這個過程不斷交替進行，直到收斂為止。具體過程如下 I)隨機初始化待估參數Φ (°) = { τι i； μ i； Σ J , i = I. . . mo其中協方差矩陣為單位矩陣，先驗概率π i = Ι/m ;均值μ i隨機初始化。2)重復E步驟以及M步驟。E步驟在觀察樣本和當前解給定的條件下，計算完全數據的對數似然函數期望值。
π,Ρ^χjtut,^ )Eij = . -(2)每一個樣本以不同概率屬于各個高斯分布，概率值由參數計算得到。Eu表示第j個樣本屬于第i類分布的概率。M步驟重新估計分布參數，以使得數據的似然性最大，給出未知變量的期望估計。U] = ；； ]( 3 )Σ=———--⑷
U
Y'v E疋=^LJL(5)
1 N ... = arg max Eij (6)不斷迭代E步驟以及M步驟，通過公式(3) (5)重復計算參數，直到參數收斂為止。此時求得的參數Θ*確定了各個成分的分布。膚色檢測模組111利用初始高斯膚色模型對下一幀圖像進行膚色檢測，得到新的膚色區域。模型更新模組112則以該膚色區域為更新的膚色樣本，再去進行EM聚類，更新高斯膚色模型，以此類推，直至樣本視頻的所有幀。圖2為本發明一種膚色檢測方法的步驟流程圖。如圖2所示，本發明一種膚色檢測方法，包括如下步驟步驟201，利用視頻自身若干幀作為樣本視頻，對樣本視頻的第一幀圖像進行顏色空間的轉換，在本發明較佳實施例中，將樣本視頻的第一幀圖像從RGB空間轉化為HSV空間；步驟202，通過收集樣本圖片訓練出膚色查找表，在本發明較佳實施例中，通過收集樣本圖片，并手工標注圖片中膚色區域，在HSV空間下，首先去除V分量，再利用貝葉斯方法訓練出二維查找表；步驟203，對樣本視頻的第一幀圖像，利用膚色查找表進行膚色粗檢測，獲得初始膚色樣本；步驟204，對粗檢測后的初始膚色樣本進行EM聚類，建立初始高斯分布模型；
步驟205，利用初始高斯模型對第二幀視頻進行膚色分類，得到新的膚色樣本；步驟206，對新的膚色樣本進行EM聚類，從而更新初始高斯分布模型，以此類推，直至樣本視頻的所有幀。圖3為本發明一種膚色檢測方法之較佳實施例的步驟流程圖，以下將配合圖3對本發明之膚色檢測方法進一步說明。步驟1，初始化，i = 1，采集第一幀圖像在內存。將RGB轉換為HSV空間，利用查找表，進行膚色粗檢測，得到粗檢膚色區域(即初始膚色樣本)。步驟2，對粗檢膚色區域進行EM聚類，得到高斯膚色模型。步驟3，i = i+1 ;判斷i是否滿足i < 50 ;若滿足轉至步驟4 ;否則轉至步驟5。步驟4，利用現有高斯膚色模型對第i幀進行膚色檢測，得到膚色區域，即膚色樣本。轉至步驟2。步驟5，結束，得到最終膚色模型。一個實用的膚色檢測系統必須能夠處理由于成像條件變化引起的膚色變化。不同的視頻由于拍攝條件、拍攝內容等的不同，如果采用通用的膚色分類器，分類效果很難滿足各個視頻的要求。本發明針對不同的視頻，利用視頻自身前50幀作為樣本，在線學習出該視頻的膚色分類器，從而滿足精度要求。傳統的EM算法，需要收集所有的樣本后再進行聚類，這樣由于前50幀的樣本數量大，會使得在第50幀時，學習時間長，用戶會感覺到明顯的停頓等待。因此本發明使用增量式的EM聚類。首先利用查找表方法對第一幀進行膚色檢測，得到初始的膚色樣本，對該樣本進行EM聚類，建立初始高斯分布模型；再利用初始高斯模型對第二幀視頻進行膚色分類，得到新的膚色樣本，對新的膚色樣本進行EM聚類，從而更新初始高斯分布模型。以此類推，直至第50幀。這樣既滿足了實時性要求，又達到了精度要求。綜上所述，本發明一種膚色檢測系統及方法采用在線膚色分類，對不同的視頻，以自身的視頻幀為學習樣本，學習出自身的膚色分類器，克服了視頻受光照、人種以及復雜背景的影響，同時本發明采用增量式的EM聚類，樣本不斷更新，修正膚色高斯模型，提高了檢測速度。與現有技術相比，本發明具有如下優點(I)克服了傳統膚色檢測算法魯棒性差的問題，對復雜背景以及類膚色背景有較好的分類性。(2)識別速度快、能夠滿足實時要求。(3)不同的視頻內容采用不同的膚色分類標準，精度高，具有很好的推廣應用價值。上述實施例僅例示性說明本發明的原理及其功效，而非用于限制本發明。任何本領域技術人員均可在不違背本發明的精神及范疇下，對上述實施例進行修飾與改變。因此，本發明的權利保護范 圍，應如權利要求書所列。
權利要求
1.一種膚色檢測系統，用于對視頻進行膚色檢測，至少包括 膚色粗查找模組，利用該視頻自身的若干幀作為樣本，對樣本視頻的第一幀圖形進行顏色空間的轉換，并通過收集樣本圖片訓練出膚色查找表，對該第一幀圖像，利用該膚色查找表進行膚色的粗檢測，獲得初始膚色樣本；以及 膚色精檢測模組，對該初始膚色樣本進行EM聚類，建立初始高斯分布模型，再利用該初始高斯模型對該樣本視頻的第二幀視頻進行膚色分類，得到新的膚色樣本，對新的膚色樣本進行EM聚類，從而更新初始高斯分布模型，以此類推，直至該樣本視頻的所有幀。
2.如權利要求I所述的膚色檢測系統，其特征在于，該膚色粗查找模組包括 空間轉換模組，用于將該樣本視頻的第一幀圖像從RGB空間轉化為HSV空間； 膚色查找表建立模組，收集樣本圖片，并手工標注圖片中膚色區域，在HSV空間下，首 先去除V分量，再利用貝葉斯方法訓練出二維查找表；以及 粗檢測模組，對該第一幀圖像，在檢測過程中利用膚色查找表直接查找相應參數，實現膚色的粗檢測。
3.如權利要求2所述的膚色檢測系統，其特征在于該樣本圖片為利用互聯網、視頻、圖片庫資源收集獲得的1027幅樣本圖片。
4.如權利要求2所述的膚色檢測系統，其特征在于，該膚色精檢測模組包括 初始高斯膚色模型建立模組，利用該膚色粗檢測模組粗檢測后的初始膚色樣本進行EM聚類，建立初始高斯分布模型； 膚色檢測模組，利用該初始高斯膚色模型對該樣本視頻的下一幀圖像進行膚色檢測，得到新的膚色區域； 模型更新模組，以該膚色區域為更新的膚色樣本，再去進行EM聚類，更新高斯膚色模型，以此類推，直至樣本視頻的所有幀。
5.如權利要求4所述的膚色檢測系統，其特征在于該系統利用視頻自身前50幀作為樣本視頻。
6.如權利要求4所述的膚色檢測系統，其特征在于該EM聚類第一步是E步驟，即計算期望，利用對隱藏變量的現有估計值，計算其最大似然估計值；第二步是M步驟，最大化在E步驟上求得的最大似然值來計算參數的值，M步驟上找到的參數估計值被用于下一個E步驟計算中，這個過程不斷交替進行，直到收斂為止。
7.一種膚色檢測方法，用于對視頻進行膚色檢測，包括如下步驟 步驟一，利用視頻自身的若干幀作為樣本視頻，對樣本視頻的第一幀圖像進行顏色空間的轉換； 步驟二，通過收集樣本圖片訓練出膚色查找表； 步驟三，對該第一幀圖像，利用膚色查找表進行膚色粗檢測，獲得初始膚色樣本； 步驟四，對粗檢測后的初始膚色樣本進行EM聚類，建立初始高斯分布模型； 步驟五，利用初始高斯模型對該樣本視頻的第二幀視頻進行膚色分類，得到新的膚色樣本；以及 步驟六，對新的膚色樣本進行EM聚類，從而更新初始高斯分布模型，以此類推，直至該樣本視頻的所有幀。
8.如權利要求7所述的一種膚色檢測方法，其特征在于于步驟一中，將樣本視頻的第一幀圖像從RGB空間轉化為HSV空間。
9.如權利要求8所述的一種膚色檢測方法，其特征在于于步驟二中，t通過收集樣本圖片，并手工標注圖片中膚色區域，在HSV空間下，首先去除V分量，再利用貝葉斯方法訓練出二維查找表。
10.如權利要求8所述的一種膚色檢測方法，其特征在于該EM聚類第一步是E步驟，即計算期望，利用對隱藏變量的現有估計值，計算其最大似然估計值；第二步是M步驟，最大化在E步驟上求得的最大似然值來計算參數的值，M步驟上找到的參數估計值被用于下一個E步驟計算中，這個過程不斷交替進行，直到收斂為止。
全文摘要
本發明公開了一種膚色檢測系統及方法，該方法包括如下步驟利用視頻自身的若干幀作為樣本視頻，對樣本視頻的第一幀圖像進行顏色空間的轉換；通過收集樣本圖片訓練出膚色查找表；對該第一幀圖像，利用膚色查找表進行膚色粗檢測；對粗檢測后的初始膚色樣本進行EM聚類，建立初始高斯分布模型；利用初始高斯模型對該樣本視頻的第二幀視頻進行膚色分類，得到新的膚色樣本；以及對新的膚色樣本進行EM聚類，從而更新初始高斯分布模型，以此類推，直至該樣本視頻的所有幀，本發明可以達到魯棒性強、檢測精度高的目的。
文檔編號G06K9/00GK102968623SQ201210524658
公開日2013年3月13日 申請日期2012年12月7日 優先權日2012年12月7日
發明者趙瑩 申請人:上海電機學院