一種跟蹤人臉的預處理方法及基于視頻的智慧健康監視系統的制作方法
【專利摘要】本發明公開了一種跟蹤人臉的預處理方法及應用，該方法包括步驟：(1)、通過色彩平衡處理將攝像頭采集到的圖像恢復至日常光照色溫(5500K)下的色彩；(2)、將色彩平衡后的整幅圖像進行噪聲濾波，該噪聲濾波采用中值濾波處理；(3)、利用膚色分割，將圖像中屬于人體皮膚色彩的部分從背景中分割出來；(4)、進一步約束處理滿足人臉正常形態比例的區域才送入下一步人臉檢測，否則就過濾掉；(5)、對通過步驟(4)操作后余下的每一塊膚色區域進行AdaBoost檢測。通過該預處理方法能夠有效縮小AdaBoost算法的檢測范圍，提高檢測速度。
【專利說明】
一種跟蹤人臉的預處理方法及基于視頻的智慧健康監視系統
技術領域
[0001]本發明涉及人臉智能識別領域。
【背景技術】
[0002] 對人臉檢測的研究最初可以追溯到20世紀70年代，早期的研究主要致力于模板匹 配、子空間方法，變形模板匹配等。近期人臉檢測的研究主要集中在基于數據驅動的學習方 法，如統計模型方法，神經網絡學習方法，統計知識理論和支持向量機方法，基于馬爾可夫 隨機域的方法，以及基于膚色的人臉檢測。目前在實際中應用的人臉檢測方法多為基于 Adab ο 〇 s t學習算法的方法。
[0003] 而現有技術中，為了提取面部信息，首先利用AdaBoost算法從整幅畫面中提取出 人臉，但對全幅畫面進行人臉檢測時，原始AdaBoost算法會因檢測范圍過大使得檢測速度 過慢，導致檢測過程缺乏實時性等問題。
【發明內容】
[0004] 發明目的：提供一種能夠縮小AdaBoost算法的檢測范圍，提尚檢測速度的跟蹤人 臉的預處理方法，該跟蹤人臉的預處理方法能夠在進行AdaBoost檢測前將檢測范圍有效縮 小。
[0005] 技術方案:為達到上述目的，本發明可采用如下技術方案：
[0006] -種跟蹤人臉的預處理方法，包括以下步驟：
[0007] (1)、通過色彩平衡處理將攝像頭采集到的圖像恢復至值為5500K的日常光照色溫 下的色彩；
[0008] 其中，步驟(1)中包括：
[0009] (1.1)、原始圖像為RGB格式，首先將圖片從RGB空間轉換為YCrCb空間，并將YCrCb 格式下的圖像進行分層，即分為Y通道、Cr通道、Cb通道三層，然后選取圖片中滿足Y- I Cb I -1 Cr I > Φ的像素點為參考白點，其中，Φ為閾值；
[0010] 對于白點區，根據灰度世界理論有R = G = B則Cb = Cr = 0，Yh為參考白點區域的亮
，~表示參考白點區的白點個數，Y (i )表示第i個白點像 素的Y分量值
[0011] (1.2)、根據得到的Yh，對圖像中每個像素點計算得到RGB各通道的增益，其中Rh， Gh，Bh為圖像在R、G、B三個通道中各自的平均值：
[0015] (1.3)、圖像各像素值的調整如下：
[0019] (2)、將色彩平衡后的整幅圖像進行噪聲濾波，該噪聲濾波采用中值濾波處理；
[0020] (3)、利用膚色分割，將圖像中人體皮膚色彩的部分從背景中分割出來；
[0021] (4)、將步驟(3)中滿足膚色的像素點置為255,不滿足的點置為0而將一幅圖像依 據膚色變為二值圖像;對該二值圖進行數字圖像處理中的形態學處理，采用開+閉操作雙重 模式，將膚色區域中的狹小細縫進行填補，再將非膚色區域中的噪聲亮點進行濾除，最后對 剩余的連通域進行一系列條件約束，滿足人臉正常形態比例的區域才送入下一步人臉檢 測，否則就過濾掉；
[0022] (5)、對通過步驟(4)操作后余下的每一塊膚色區域進行AdaBoost檢測。
[0023] 有益效果：
[0024] 首先通過步驟3的膚色分割對圖像中的人臉區域進行粗檢測，該步驟便可以將非 人臉區域大面積排除，然后通過步驟4的形態學濾波與連通域約束，排除掉更多不屬于人臉 的區域，如此兩步操作剩下的區域變可以將檢測區域基本定位到圖像中人臉所在的部分。
[0025] 本發明還公開一種基于視頻的智慧健康監視系統。
[0026]該基于視頻的智慧健康監視系統使用了上述跟蹤人臉的預處理方法，同時，還包 括使攝像頭跟蹤人臉的方法，包括：
[0027] (a)、在獲得人臉框后，根據人臉框在視頻畫面中的位置，形成控制參數，進而自動 調整云臺左右旋轉與鏡頭縮放等操作;待操作完畢后，重新對下一幀圖像中人臉進行檢測， 保證攝像頭角度調整后人臉依舊處于視頻畫面位置；
[0028] (b)、對于已經處于視頻圖像中心的人臉框進行Camshift跟蹤，依據每一幀圖像的 跟蹤結果，即對顯示的人臉窗口進行判斷，如果人臉窗口不在視頻圖像的中心位置，則重復 步驟(a)的操作;如果已經調整到位，則持續對視頻圖像進行跟蹤。
[0029]有益效果:該基于視頻的智慧健康監視系統即作為上述跟蹤人臉的預處理方法的 一個具體應用。在進行跟蹤人臉的預處理后，再使攝像頭跟蹤人臉。由于在跟蹤人臉的預處 理方法中能夠顯著的提高檢測速度，故有利于使攝像頭實時的追蹤人臉。
【具體實施方式】
[0030]本發明中使用的技術術語：
[0031 ] AdaBoost算法:2001年Viola Johns在Boosting算法基礎上提出一個實時人臉檢 測算法；
[0032] Camshift:是在Meanshif t基礎上增加了自適應窗口大小的跟蹤算法，簡單并且實 時性較高；
[0033] PCA:由信號的Fourier變換提取局部信息，引入了時間局部化的窗函數，現在窗口 Fourier變換即稱為稱為Gabor變換;通過Gabor變換提取到人臉的特征信息，再通過PCA算 法降維，得到Gabor變換中的主成分，然后可以通過不同的分類器或者機器學習方法進行表 情提取
[0034]角點檢測：即將圖像中的二維圖像亮度變化劇烈的點或圖像邊緣曲線上曲率極大 值的點檢測出來，然后通過一些角點匹配算法如sift, harris, surf等進行角點間的匹配。 [0035]本發明公開一種跟蹤人臉的預處理方法，包括以下步驟：
[0036] (1)、通過色彩平衡處理將攝像頭采集到的圖像盡可能統一恢復至日常光照色溫 (5500K左右)下的色彩，從而確保人體膚色能準確重現，為后續提取人臉部分的膚色圖像奠 定基礎；
[0037]其中，步驟(1)中包括：
[0038] (1.1)、原始圖像為RGB格式，首先將圖片從RGB空間轉換為YCrCb空間，并將YCrCb 格式下的圖像進行分層，即分為Y通道、Cr通道、Cb通道三層，然后選取圖片中滿足Y- | Cb | -1 Cr | > Φ的像素點為參考白點，其中，Φ為閾值；
[0039] 對于白點區，根據灰度世界理論有R = G = B則Cb = Cr = 0，Yh為參考白點區域的亮 度平均值
.，N表示參考白點區的白點個數，Y(i)表示第i個白點像 素的Y分量值
[0040] (1.2)、根據得到的Yh，對圖像中每個像素點計算得到RGB各通道的增益，其中Rh， Gh，Bh為圖像在R、G、B三個通道中各自的平均值：
[0044] (1.3)、圖像各像素值的調整如下：
[0048] (2)、將色彩平衡后的整幅圖像進行噪聲濾波，該噪聲濾波采用中值濾波處理;避 免噪聲對后續提取膚色時的不必要干擾。
[0049] (3)、進入膚色提取模塊。利用膚色分割，將圖像中可能是人體皮膚色彩的部分從 背景中分割出來。由于人臉屬于皮膚區域，一般情況下特別是在室內時面部無遮擋，人臉檢 測時，對膚色區域進行檢測即可初步實現對人臉部分的分離，并不需要對整幅圖像進行判 斷，這樣一來可大大降低檢測的時間，也可以增強檢測的準確度。
[0050] 在該步驟中，相對于YCrCb空間來講，Lab色彩空間沒有被廣泛使用，并且色彩的顯 示方式與YCrCb截然不同，本發明利用大量統計可以得出膚色在Lab空間每個通道中的分布 情況，再導出某個簡單的閾值關系f (L，a，b)，HSV模型建立起一種配比關系g(H，S，V)，最后 采用兩種融合
[0051] h(x，y) =f(L，a，b) Π g(H，S，V)
[0052] 通過這種關系模型對像素點進行判斷
[0053] Stepl:在HSV模型下作一些變化，將經典的HS分布模型轉換為H-SV模型，發現其也
[0054] 其中，k是混合階數：
Σ^(1Χ d階矩陣。其中的參數采用EM(Expectation-Maximitation)算法獲得。
[0055] 通過一系列計算，滿足本系統條件的簡化模型為：
[0056] 0·005〈H〈0·14，0·2〈SV〈0·55，V>0·4
[0057] 5七6口2:給出以1^，&，13) = {1 = 68.9492，& = 12.6222，匕=11.7947}
[0058] Step3:滿足11(^7)=€〇^，&，13)門8(!1，5，￥)即為最終的膚色點區域，對整個圖像按 此模板計算后得到最終的膚色二值圖片，滿足膚色的像素值被置為255(亮），不滿足的則為 0〇
[0059] (4)、將步驟(3)中滿足膚色的像素點置為255,不滿足的點置為0而將一幅圖像依 據膚色變為二值圖像;對該二值圖進行數字圖像處理中的形態學處理，采用開+閉操作雙重 模式，將膚色區域中的狹小細縫進行填補，再將非膚色區域中的噪聲亮點進行濾除，最后對 剩余的連通域進行一系列條件約束，滿足人臉正常形態比例的區域才送入下一步人臉檢 測，否則就過濾掉。
[0060] (5)、對通過步驟(4)操作后余下的每一塊膚色區域進行AdaBoost檢測；一幅圖像 中可能會存在很多人臉候選窗口被送入AdaBoost檢測，并且每一個人臉候選窗口中也可能 會檢測出多個人臉，在一幅圖像所有的待檢測區都檢測完成后，根據系統要求，只保留面積 最大，效果最好的一個人臉進行跟蹤。這個效果包括對人臉形態比例、色彩區域等多個要 求。
[0061] 而上述的跟蹤人臉的預處理方法，可以應用到健康監視系統，在本發明中也公開 了這樣的一個應用。即一種基于視頻的智慧健康監視系統，在采用了上述的跟蹤人臉的預 處理方法的基礎上，還包括使攝像頭跟蹤人臉的方法，包括：
[0062] (a)、在獲得人臉框后，根據人臉框在視頻畫面中的位置，形成控制參數，進而自動 調整云臺左右旋轉與鏡頭縮放等操作;待操作完畢后，重新對下一幀圖像中人臉進行檢測， 保證攝像頭角度調整后人臉依舊處于視頻中心位置；
[0063] (b)、對于已經處于視頻圖像中心的人臉框進行Camshift跟蹤，依據每一幀圖像的 跟蹤結果，即對顯示的人臉窗口進行判斷，如果人臉窗口不在視頻圖像的中心位置，則重復 Stepl的操作；如果已經調整到位，則持續對視頻圖像進行跟蹤。在該步驟（b)中，采用 Camshif t跟蹤的過程中，在CamShif t迭代時，對當前跟蹤窗口進行HSV空間轉換，然后依據Η 通道的反向投影圖進行不斷地循環迭代;在計算反向投影圖時，首先對Η通道進行一次直方 圖計算，對滿足!1通道:0-180,3通道 :81^11-100，￥通道:0-100的區域進行處理；
[0064] 其中，S通道中，將Smin(i+1) = Smin(i)*area(i_l)/area(i)，將Smin與每次迭代 的窗口大小進行關聯，area( i-1)表示上一次迭代的窗口面積，area( i)表示本次迭代后的 窗口面積，Smin(i)表示本次計算直方圖時的Smin，Smin( i+Ι)表示下一次迭代時的Smin大 小;Η通道也采用與該S通道中同樣的方式動態調整，即將Hmin(i+1) =Hmin(i)*area(i-l)/ area( i)，將Hmin與每次迭代的窗口大小進行關聯，area( i-1)表示上一次迭代的窗口面積， area(i)表示本次迭代后的窗口面積，Hmin(i)表示本次計算直方圖時的Hmin，Hmin(i+l)表 示下一次迭代時的Hmin大小。
[0065] 在該步驟(b)中，還包括跳變校驗的算法優化，包括：
[0066] 限制每一次Camshift跟蹤得到的新窗口的長寬比的閾值；
[0067] 限制初始窗口與新窗口之間的長和寬比的閾值。
[0068] 其中，優選的，限制每一次Camshift跟蹤得到的新窗口的長寬比為[0.78,1.1];初 始窗口與新窗口之間的長和寬比分別為[0.77,1.3]，[0.77,1.3]。這兩個比例都是根據本 系統給出的結果，不同的系統可以根據當時的情況自行更改。經過兩個條件約束后的窗口， 既滿足人臉與鏡頭保持距離不變情況下的跟蹤，也能保證人臉在靠近或者遠離鏡頭情況下 的跟蹤。
[0069]人臉定位完成后，給紅外溫度探測系統發出操作信號，這時安裝在攝像頭機身上 的紅外測溫器的測溫區域會自動對準人臉面部三角區，開始采集記錄面部區域的溫度，在 視頻采集期間，相應的溫度信息作為人體的生理參數之一被采集并上傳；
[0070] 在定位完成并持續跟蹤的情況下，對連續采集的人臉圖像進行微表情分析，通過 表情識別，給出相應的表情信息，并作為人體的一種健康信息上傳。
[0071] 體溫與人臉表情信息將與人體的其他生理信息一起輸入到后續的系統中進行處 理，從而實現對該用戶人體健康狀況的評估。
[0072] 在采集信息的過程中，表情信息的提取已經是一種熱門的研究，但更多的是利用 Gabor小波+PCA或者角點檢測等方式進行;于是提出一種新的方案:人在進行視頻拍攝過程 中可能會故意做出一些不符合當前生理狀態的表情，比如身體疼痛狀態下，故意面露笑容 來拍攝等。利用微表情分析，將采集后的視頻圖像進行分析，根據面部表情的一些特征計算 出實際應有的生理狀態，將機器學習等方法引入心理測評的功能來實現這一方案，并在分 析后給出一定的綜合評價。
[0073] 另外，本發明的具體實現方法和途徑很多，以上所述僅是本發明的優選實施方式。 應當指出，對于本技術領域的普通技術人員來說，在不脫離本發明原理的前提下，還可以做 出若干改進和潤飾，這些改進和潤飾也應視為本發明的保護范圍。本實施例中未明確的各 組成部分均可用現有技術加以實現。
【主權項】
1. 一種跟蹤人臉的預處理方法，其特征在于，包括以下步驟： (1) 、通過色彩平衡處理將攝像頭采集到的圖像恢復至值為5500K的日常光照色溫下的 色彩； 其中，步驟(1)中包括： (1.1) 、原始圖像為RGB格式，首先將圖片從RGB空間轉換為YCrCb空間，并將YCrCb格式 下的圖像進行分層，即分為Y通道、Cr通道、Cb通道三層，然后選取圖片中滿足Y-|Cb|-|Cr > Φ的像素點為參考白點，其中，Φ為閥值；對于白點區，根據灰度世界理論有R = G = B則Cb = Cr = 0，Yh為參考白點區域的亮度平 均值，即 _示參考白點區的白點個數，Y (i)表示第i個白點像素的Y 分量值； (1.2) 、根據得到的￥11，對圖像中每個像素點計算得到10各通道的增益，其中此心具為 圖像在R、G、B三個通道中各自的平均值：(1.3 )、圖像各像素值的調整如下：(2) 、將色彩平衡后的整幅圖像進行噪聲濾波，該噪聲濾波采用中值濾波處理； (3) 、利用膚色分割，將圖像中人體皮膚色彩的部分從背景中分割出來； (4) 、將步驟(3)中滿足膚色的像素點置為255,不滿足的點置為0而將一幅圖像依據膚 色變為二值圖像;對該二值圖進行數字圖像處理中的形態學處理，采用開+閉操作雙重模 式，將膚色區域中的狹小細縫進行填補，再將非膚色區域中的噪聲亮點進行濾除，最后對剩 余的連通域進行一系列條件約束，滿足人臉正常形態比例的區域才送入下一步人臉檢測， 否則就過濾掉； (5) 、對通過步驟(4)操作后余下的每一塊膚色區域進行AdaBoost檢測。2. 根據權利要求1所述的跟蹤人臉的預處理方法，其特征在于:步驟(3)中，得出膚色在 Lab空間每個通道中的分布情況，再導出的閾值關系f(L，a，b)，HSV模型建立起一種配比關 系g(H，S，V)，最后采用兩種融合 h(x，y)=f(L，a，b)flg(H，S，V) 通過這種關系模型對像素點進行判斷;并設置簡化模型為： 0.005〈H〈0.14,0.2〈S ν〈0·55，ν>0·4; 給出 f(L，a，b) = {L = 68.9492，a=12.6222，b=11.7947}; 滿足11(^7)=€仏，&，13)門8(!1，5，￥)即為最終的膚色點區域，對整個圖像按此模板計算 后得到最終的膚色二值圖片，滿足膚色的像素值被置為255,不滿足的則為0。3. -種使用如權利要求1或2所述跟蹤人臉的預處理方法的基于視頻的智慧健康監視 系統，其特征在于： 還包括使攝像頭跟蹤人臉的方法，包括： (a) 、在獲得人臉框后，根據人臉框在視頻畫面中的位置，形成控制參數，進而自動調整 云臺左右旋轉與鏡頭縮放等操作;待操作完畢后，重新對下一幀圖像中人臉進行檢測，保證 攝像頭角度調整后人臉依舊處于視頻畫面中心位置； (b) 、對于已經處于視頻圖像中心的人臉框進行Camshift跟蹤，依據每一幀圖像的跟蹤 結果，即對顯示的人臉窗口進行判斷，如果人臉窗口不在視頻圖像的中心位置，則重復步驟 (a)的操作;如果已經調整到位，則持續對視頻圖像進行跟蹤。4. 根據權利要求3所述的智慧健康監視系統，其特征在于:步驟(b)中，采用Camshift跟 蹤的過程中，在CamShift迭代時，對當前跟蹤窗□進行HSV空間轉換，然后依據Η通道的反向 投影圖進行不斷地循環迭代;在計算反向投影圖時，首先對Η通道進行一次直方圖計算，對 滿足Η通道:0-180，S通道:smin-100，V通道:0-100的像素區域進行處理； 其中，3通道中，將5111；[11(1 + 1)=3111；[11(；〇*3代3(；[-1)/^63(；〇，將3111；[11與每次迭代的窗 口大小進行關聯，area(i-l)表示上一次迭代的窗口面積，area(i)表示本次迭代后的窗口 面積，Smin(i)表示本次計算直方圖時的5111；[11，51]1；[11(1+1)表示下一次迭代時的51]1；[11大小 ;!1 通道也采用與該S通道中同樣的方式動態調整，即將Hmin(i+1) =Hmin(i)*area(i_l)/area (i)，將Hmin與每次迭代的窗口大小進行關聯，area( i-1)表示上一次迭代的窗口面積，area (i)表示本次迭代后的窗口面積，Hmin(i)表示本次計算直方圖時的Hmin，Hmin(i+l)表示下 一次迭代時的Hmin大小。5. 根據權利要求3所述的智慧健康監視系統，其特征在于： 步驟(b)中，還包括跳變校驗的算法優化，包括： 限制每一次Camshift跟蹤得到的新窗口的長寬比的閾值； 限制初始窗口與新窗口之間的長和寬比的閾值。6. 根據權利要求5所述的智慧健康監視系統，其特征在于:限制每一次Camshift跟蹤得 到的新窗口的長寬比為[0.78，1.1 ];初始窗口與新窗口之間的長和寬比分別為[0.77， 1·3]，[0·77，1·3]。7. 根據權利要求3至6中任一項所述的智慧健康監視系統，其特征在于： 人臉定位完成后，給紅外溫度探測系統發出操作信號，這時安裝在攝像頭機身上的紅 外測溫器的測溫區域會自動對準人臉面部三角區，開始采集記錄面部區域的溫度，在視頻 采集期間，相應的溫度信息作為人體的生理參數之一被采集并上傳； 在定位完成并持續跟蹤的情況下，對連續采集的人臉圖像進行表情分析，通過表情識 另IJ，給出相應的表情信息，并作為人體的一種健康信息上傳； 體溫與人臉表情信息將與人體的其他生理信息一起輸入到后續的系統中進行處理，從 而實現對該用戶人體健康狀況的評估。
【文檔編號】G06T7/00GK105868735SQ201610259509
【公開日】2016年8月17日
【申請日】2016年4月25日
【發明人】季曉勇, 禹珍, 張軒, 張迎, 馮正偉, 夏煦菁
【申請人】南京大學