一種篩選視頻中單個行人目標的最佳易識別幀的方法
【專利摘要】本發明公開了一種篩選視頻中單個行人最佳易識別幀的方法，所述方法首先進行彩色背景建模并使用背景差法來提取視頻中的前景目標，然后對前景目標進行模糊度檢測、行人檢測、人臉檢測以及眼睛和嘴巴位置檢測。接著計算每一幀視頻中前景目標的易識度。最后根據該行人在整個視頻中每一幀里的易識別度篩選出該行人在整個視頻中的最佳易識別幀。本發明利用視頻中目標的易識別度和行人識別效率之間的關系，可以應用于視頻監控中的行人目標識別等相關領域，指導不同應用領域對采集到的行人目標視頻段進行關鍵幀的提取，從而提升后續目標識別的效率。
【專利說明】
一種篩選視頻中單個行人目標的最佳易識別幀的方法
技術領域
[0001] 本發明屬于圖像處理技術領域，特別涉及一種篩選視頻中單個行人的易識別幀的 方法。
【背景技術】
[0002] 目標識別是視頻監控領域的三大核心難題之一。然而在實際的監控應用中，我們 往往是先存儲了特定行人目標的一段視頻。而由于在后續的行人目標識別中，我們往往只 需要該行人目標關鍵的若干幀圖片即可，這時候就需要我們事先從視頻中對行人目標的容 易識別的幀進行篩選，篩選出那些對后續的識別最有利的圖片。
[0003] 如何從視頻中篩選出行人目標最易于后續識別的圖片在理論研究與實際應用都 具備重要的研究意義。在應用層面上，從視頻中篩選出易于識別的行人目標幀對后續識別 成功率有巨大影響。由于行人目標在視頻中可能會有各種不同角度，不同距離以及不同完 整度與不同清晰度的呈現，而所有這些因素都會對后續識別產生重大影響。在進入目標識 別之前先篩選出那些易于識別的幀，這樣就能夠避免浪費用于有效目標識別的計算資源； 在技術層面上，為了篩選出視頻中行人目標的那些易于識別的幀，要涉及圖像質量評價、人 臉檢測、行人檢測等領域的內容，它們代表了計算機視覺領域的前沿研究方向；同時，由于 圖像質量評價、人臉檢測與行人檢測等的研究具有相當的難度，相應的研究具有重要的學 術意義。
[0004] 對視頻中行人圖片的易識別度評價是一種復雜的心理活動，有許多因素影響到對 圖片易識別度的判斷。同一張圖片在不同的人看來，可能有著不同的易識別度。建立一種有 效的篩選模型系，利用客觀的質量評價指標近似模擬人類的主觀感受，可以指導不同應用 領域實現對行人目標易識別幀的篩選，極大地優化后續的特征提取以及目標識別過程。
【發明內容】
[0005] 本發明的目的在于提取視頻中行人目標的易識別幀，指導目標特征提取與目標識 別對視頻中目標圖片的合理選擇，提出一種提取視頻中行人目標的易識別幀的方法。
[0006] 為了解決上述技術問題，本發明的技術方案是，
[0007] -種篩選視頻中單個行人最佳易識別幀的方法，包括步驟如下：
[0008] 步驟A，建立彩色背景模型并使用背景差法提取視頻中的前景目標Ig:
[0009] 根據待處理視頻的首幀建立每一個位置X處像素點的R、G、B三通道背景模型M(x); 從第二幀視頻開始，利用背景模型M(x)檢測每幀視頻中的前景像素點；獲取前景像素點的 二值圖Ib，使用輪廓檢測法尋找二值圖lb中的連通區域，提取前景目標1 8;根據檢測到的前 景像素點更新背景模型M(x);其具體步驟如下：
[0010] 步驟A-1，根據待處理視頻首幀建立R、G、B的三通道背景模型，其中每個位置X處的 背景模型是由對該位置以及其8領域進行N次隨機取樣得到的N個樣本值組成的集合；
[0011] 步驟A-2,從視頻第二幀開始，檢測每一幀中的前景像素點，若當前幀位置X處的像 素值在R、G、B某一個通道上與它的背景模型中的至少2個像素點的差值大于閾值Radius，則 該像素點為前景像素點，否則為背景像素點；
[0012]步驟A-3,將前景像素點位置的灰度值設置為0,而背景像素點位置的灰度值設置 為255,對由此形成的二值圖像Ib使用輪廓檢測法，檢測其中的連通區域，并且將面積S滿足 Min_AERA〈S〈Max_AERA和斜率SLOP符合SL0P_min〈SL0P〈SL0P_max的連通區域確定為前景目 標I g;其中阻11_厶￡1^、]\&?_厶￡1^、511^_111111和511^_11^1都是預先設定的值；
[0013]步驟A-4,對于被判定為背景點的位置x處的像素，以1/N的概率去更新其背景模型 M(x)的N個樣本值中的一個，同時也以1/N的概率去更新其8領域中的某個領域位置y處的背 景模型M(y)的N個樣本值中的一個；
[0014]步驟B，獲取前景目標"的模糊度：
[0015]對前景目標18進行灰度化處理獲取其灰度圖，使用sobel算子檢測該灰度圖的邊 緣像素，并對每個邊緣像素計算該邊緣像素的模糊度，最后計算所有邊緣像素的模糊度的 平均值，作為前景目標Ig的模糊度Frame_ambiguity;
[0016] 步驟C，檢測人臉區域：
[0017] 利用Vi〇la-Jones人臉檢測模型，對前景目標Ig進行人臉檢測，獲取人臉區域；
[0018] 步驟D，計算人臉傾側角：
[0019]利用Viola-Jones人臉檢測模型，檢測前景目標18中是否存在左右兩只眼睛和嘴 巴，并根據眼睛于嘴巴之間的相對位置關系，計算出人臉傾側角Angle_〇f_faCe;
[0020] 步驟D-1，眼睛與嘴巴位置檢測。在步驟C中已經檢測到存在人臉的情況下，對人臉 區域再次利用Viola-Jones人臉檢測框架，檢測人臉區域內的眼睛和嘴巴的位置。而對于步 驟C中沒有檢測到人臉的情況，則針對整個前景圖片，使用Viola-Jones人臉檢測框架檢測 眼睛和嘴巴。
[0021] 步驟D-2,傾側角計算。如果兩只眼睛和嘴巴的位置都檢測到的情況下，根據其位 置特征，判斷人臉傾側角度。具體的判斷方法為:假設左、右眼的中心點位置分別為￡ 1與已1， 而嘴巴區域的中心點位置為M，則對于三角形EiErM，首先求出從M往:作垂線，得到的垂 足P。則人臉傾側角為：
[0023]如果左右眼睛及嘴巴三者中只有兩者或者只有其中一者被檢測到的話，則傾側角 直接判定為90度;對于三者都沒有檢測到的情況，傾側角判定為180度。
[0024]步驟E，行人檢測：
[0025] 使用Dalai提出的H0G+SVM行人檢測方法，對前景目標Ig提取H0G特征，并使用SVM 分類方法，確定前景目標Ig是否為行人；
[0026]步驟F，計算前景目標Ig的易識別度：
[0027] 根據前景目標18的模糊度、人臉大小、人臉傾側角以及行人檢測結果計算前景目 標Ig的易識別度;并根據每一幀中前景目標I g的易識別度，找出單個行人目標在視頻中的最 佳易識別幀;所述前景目標Ig的易識別度，其計算過程如下：
[0028] 步驟F-1，根據前景目標Ig的模糊度，計算其前景清晰度得分clarity_score;根據 人臉面積，計算人臉大小得分face_score;根據人臉傾側角，計算人臉傾側角得分angle_ score;根據行人檢測，計算行人完整度得分body_score;具體的計算方法為：
[0029] 前景清晰度得分為:c lari ty_score = l_Frame_ambiguity/20;
[0030] 人臉大小得分為： f Face AREA/face standard, kl! '"MFcil'c A REAii'ixcc standard < 1
[0031] face score. 一 _ - \ 1 ，其它
[0032] 其中，#face_standard表示標準人臉的大小，為常數；
[0033] 人臉傾側角得分為:angle_score = l_Angle_of_face/180; ，、郵-，、， 「1,如果檢測到行人
[0034] 行人芫整度得分為：body _st;ore =. ; 具匕
[0035 ]步驟F-2，計算前景目標Ig的易識別度I den t i f i ab i 1 i ty并找出最佳易識別幀：
[0036] Ideniifiability~ riclarin'jiCQvc+CJcux\_scorc+d3angie_scote+d Aboiiy_$com S c|=i , A為，&和04均為權重參數，且滿足A +1 +3, +4 = 1;最終，將視頻中易識別度最高的一 幀選為最佳易識別幀。
[0037] 有益效果:本發明公開了 一種篩選視頻中單個行人最佳易識別幀的方法。所述方 法首先進行彩色背景建模并使用背景差法來提取視頻中的前景目標，然后對前景目標進行 模糊度檢測、行人檢測、人臉檢測以及眼睛和嘴巴位置檢測。接著計算每一幀視頻中前景目 標的易識度。最后根據該行人在整個視頻中每一幀里的易識別度篩選出該行人在整個視頻 中的最佳易識別幀。本發明利用視頻中目標的易識別度和行人識別效率之間的關系，可以 應用于視頻監控中的行人目標識別等相關領域，指導不同應用領域對采集到的行人目標視 頻段進行關鍵幀的提取，從而提升后續目標識別的效率。
【附圖說明】
[0038]圖1:本發明中對視頻中的每一幀進行處理的流程圖。
【具體實施方式】
[0039]下面結合附圖，進一步具體說明本發明的一種篩選視頻中行人目標的最佳易識別 幀的方法。
[0040] 本發明方法的整體流程如圖1所示。一種篩選視頻中行人目標的最佳易識別幀的 方法，其詳細步驟如下：
[0041] 步驟A，建立色彩背景模型并使用背景差法提取方法進行前景目標Ig:
[0042]步驟A-1，利用待處理視頻的首幀進行背景模型。對于每個位置X的像素點，對其R、 G、B三通道分別用一組N個背景樣本值進行建模，N通常設置為20。即：
[0043] X位置處的背景模型M(X) = {Mr(X)，Mg(X)，Mb(X) }，而
[0044] Mr(X) = {Vir,V2r, . . . ,ViR, . . .Vnr}
[0045] Mg(X) = {Vig,V2g, . . . ,ViG, . . .Vng}
[0046] Mb(X) = {Vib,V2b, . . . ,ViB, . . .Vnb}
[0047] 其中，ViR, Vic，ViB分別表示從位置X及X的8領域共9個位置隨機采樣到的N個像素點 中第i個像素點的R、G、B通道的像素值；
[0048]步驟A-2，前景像素點的檢測。對于視頻幀中每一個位置X的像素值Vx= {VxR，VxC， VxB}，將其分別與該位置的背景模型{Mr⑴，MC⑴，Mb(X)}中的N個像素點進行比較。若在這N 個像素點中有超過2個像素點與位置X的像素值在R、G、B任何一個通道上的差值大于閾值 Radius，則判定該點為前景像素點，否則，該點判定為背景像素點。這里Radius通常設置為 10。同時，為了防止某個靜止區域被誤判為運動區域，如果某個像素點連續1〇〇幀被判定為 前景點，則將其重新判定為背景點；
[0049]步驟A-3,前景目標確定。將前景像素點位置的灰度值設置為0,而背景像素點位置 的灰度值設置為255,對由此形成的二值圖像Ib，檢測其中的輪廓與連通區域。因為我們主 要是為了檢測行人目標，所以對于能夠恰好框中該連通區域的矩形來說，若其面積與長寬 比能夠分別滿足：
[0050] Min_AERA〈S〈Max_AERA和SL0P_min〈SL0P〈SL0P_max [0051]則將該連通域確定為前景目標Ig;
[0052] 其中Min_AERA和Max_AERA分別表示前景目標的最小面積和最大面積，SL0P_min和 SL0P_max則分別表示前景目標的最小寬高比和最小寬高比，這四個值都可以根據具體的監 控場景進行靈活設置；
[0053] 步驟A-4,背景模型的更新。若某位置的像素點是背景點，則以1/N的概率，去更新 該位置的N個背景模型樣本值中的其中一個，并且，也以1/N的概率，去更新該位置8領域中 某一位置y處的背景模型M(y)的N個樣本值中的一個。
[0054]步驟B，獲取前景目標"的模糊度：
[0055]對步驟A中獲取的前景目標Ig，首先將其進行灰度化處理獲取灰度圖，然后使用 sobel算子檢測該灰度圖中的邊緣像素。對每個邊緣像素，統計其水平方向上左右各10個像 素中與它本身的像素值的差小于某一閾值Q的像素個數，并以此作為該邊緣像素的模糊度。 最后統計所有邊緣像素的模糊度的平均值作為圖像的總體的模糊度Frame_ambiguity。 [0056] 步驟C，人臉檢測：
[0057]利用Viola-Jones人臉檢測模型，對前景目標Ig進行人臉檢測，獲取人臉區域。如 果檢測到人臉，則提取出人臉區域，并計算人臉區域面積，記為Face_AREA;如果沒檢測到人 臉，則Face_AREA = 0。
[0058]步驟D，人臉傾側角的判定：
[0059]步驟D-1，眼睛與嘴巴位置檢測。在步驟C中已經檢測到存在人臉的情況下，對人臉 區域再次利用Viola-Jones人臉檢測框架，檢測人臉區域內的眼睛和嘴巴的位置。而對于步 驟C中沒有檢測到人臉的情況，則針對整個前景圖片，使用Viola-Jones人臉檢測框架檢測 眼睛和嘴巴。
[0060]步驟D-2,傾側角計算。如果兩只眼睛和嘴巴的位置都檢測到的情況下，根據其位 置特征，判斷人臉傾側角度。具體的判斷方法為:假設左、右眼的中心點位置分別為￡1與已1， 而嘴巴區域的中心點位置為M，則對于三角形EiErM，首先求出從M往:^作垂線，得到的垂 足P。則人臉傾側角為：
[0062]如果左右眼睛及嘴巴三者中只有兩者或者只有其中一者被檢測到的話，則傾側角 直接判定為90度;對于三者都沒有檢測到的情況，傾側角判定為180度。
[0063] 步驟E，行人檢測：
[0064] 使用Dalai的H0G+SVM行人檢測框架，對前景目標Ig進行行人檢測，確定前景目標 是否是相對完整的行人。
[0065]步驟F，計算前景目標Ig的易識別度：
[0066] 步驟F-1，分別根據前景目標18的模糊度計算其清晰度得分;根據人臉面積計算人 臉大小得分;根據人臉傾側角計算人臉傾側角得分;根據行人檢測結果計算行人完整度得 分。具體的計算公式為：
[0067] 前景清晰度得分為：c lari ty_score = l_Frame_ambiguity/20;
[0068]人臉大小得分為： I Fat e ,4/?￡.4/face standard, \\'Face AREAi\\cQ Standard <1 [0069] face _^corc~ l - - - -
[ 1 , else
[0070] 其中，#faCe_Standard表示標準人臉的大小，實際可設為一個常數；
[0071 ]人臉角度得分為：angle_score = l_Angle_of_face/180; fl if檢測到行人
[0072] 全身完整度得分為:body_scon:= ^
[0， eise
[0073] 步驟F-2,計算出前景目標Ig的易識別度1(161^1:^313；[1;^7并找出最佳易識別幀： Idcntifiability ~ (?t '^ciarity scorc+c. ^ face scorc+c. angle score+body score 其中， 屯和％為權重參數，可根據實際應用場景靈活分配，且需要滿足&+4+4+&=li 最終，將視頻中易識別度最的一幀選為最佳易識別幀D
[0074]需要補充說明的一點是，本發明作為一個篩選視頻中行人最佳易識別幀的方法， 可以用不同的人臉檢測算法以及行人檢測算法來替換本發明描述的實施方式的對應項。
【主權項】
1. 一種篩選視頻中單個行人最佳易識別幀的方法，其特征在于，包括步驟如下： 步驟A，建立彩色背景模型并使用背景差法提取視頻中的前景目標Ig: 根據待處理視頻的首幀建立R、G、B三通道背景模型M(x);從第二幀視頻開始，利用背景 模型M(X)檢測每幀視頻中的前景像素點；獲取前景像素點的二值圖Ib，使用輪廓檢測法尋 找二值圖I b中的連通區域，提取前景目標Ig;根據檢測到的前景像素點更新背景模型M(x); 其具體步驟如下： 步驟A-I，根據待處理視頻首幀建立R、G、B的三通道背景模型，其中每個位置X處的背景 模型是由對該位置以及其8領域進行N次隨機取樣得到的N個樣本值組成的集合； 步驟A-2，從視頻第二幀開始，檢測每一幀中的前景像素點，若當前幀位置X處的像素值 在R、G、B某一個通道上與它的背景模型中的至少2個像素點的差值大于閾值Radius，則該像 素點為前景像素點，否則為背景像素點； 步驟A-3,將前景像素點位置的灰度值設置為0,而背景像素點位置的灰度值設置為 255,對由此形成的二值圖像Ib使用輪廓檢測法，檢測其中的連通區域，并且將面積S滿足 Min_AERA〈S〈Max_AERA和斜率SLOP符合SLOP_min〈SLOP〈SLOP_max的連通區域確定為前景區 域 Ig;其中Min_AERA、Max_AERA、SLOP_min和SLOP_max都是預先設定的值； 步驟A-4，對于被判定為背景點的像素，以1/N的概率去更新其背景模型M(X)的N個樣本 值中的一個，同時也以1/N的概率去更新其8領域的某個位置y處的背景模型M(y)的N個樣本 值中的一個； 步驟B，獲取前景目標18的模糊度： 對前景目標18進行灰度化處理獲取其灰度圖，使用sobel算子檢測該灰度圖的邊緣像 素，并對每個邊緣像素計算該邊緣像素的模糊度，最后計算所有邊緣像素的模糊度的平均 值，作為前景目標的模糊度Frame_ambiguity; 步驟C，檢測人臉區域： 利用Viola-Jones人臉檢測模型，對前景目標Ig進行人臉檢測，獲取人臉區域； 步驟D，計算人臉傾側角： 利用Viola-Jones人臉檢測模型，檢測前景目標Ig中是否存在左右兩只眼睛和嘴巴，并 根據眼睛于嘴巴之間的相對位置關系，計算出人臉傾側角Angle_〇f_faCe; 步驟E，行人檢測： 使用Dalal提出的H0G+SVM行人檢測方法，對前景目標Ig提取HOG特征，并使用SVM分類方 法，確定前景目標Ig是否為行人； 步驟F，計算前景目標Ig的易識別度： 根據前景目標模糊度、人臉大小、人臉傾側角以及行人檢測結果計算前景目標Ig的易識 別度;并根據每一幀的前景目標的易識別度，找出單個行人目標在視頻中的最佳易識別幀； 所述前景目標Ig的易識別度，其計算過程如下： 步驟F-I，根據前景目標Ig的模糊度，計算其前景清晰度得分clarity_score;根據人臉 面積，計算人臉大小得分face_score;根據人臉傾側角，計算人臉傾側角得分angle_score; 根據是否檢測到行人，計算行人完整度得分body_score;具體的計算方法為： 前景清晰度得分為:clarity_score = l_Frame_ambiguity/20; 人臉大小得分為：其中，#face_standard表示標準人臉的大小，為常數； 人臉傾側角得分為：angle_score = l_Angle_of_f ace/180; 一 z , , , il,如果檢測到行人 行人芫整度得分為:b〇dy__se〇re = j ^ ; 步驟F-2,計算前景目標Ig的易識別度Identif iability并篩選出最佳易識別幀： Identifiability - * ciarity _scom+B2 * face jicom+ S3 * fe _seore+04 *body_seore 其中，H33和色均為權重參數，且滿足_+& +S3 +54 = I;.最終，將視頻中易識別度 最尚的一幀選為最佳易識別幀。2.據權利要求1所述的一種篩選視頻中單個行人目標最佳易識別幀的方法，其特征在 于，步驟D中，所述人臉傾側角的計算方法，其過程如下： 步驟D-I，利用Viola-Jones人臉檢測模型，分別使用針對眼睛與非眼睛而訓練的 Adaboost級聯分類器，以及針對嘴巴與非嘴巴而訓練的Adaboost級聯分類器，檢測前景圖 片中左右兩只眼睛位置EjPE r以及嘴巴的位置M; 步驟D-2,根據D-I中的檢測結果及左右眼睛與嘴巴之間的相對位置關系計算人臉的傾 側角度，如果兩只眼睛和嘴巴都檢測到，對于三角形E1ErM,首先求出從M往:作垂線，得到 的垂足P;則人臉傾側角為，而如果左右眼睛及嘴巴三者中只有兩者或者只有其中一者被檢測到的話，則傾側角直 接判定為90度;對于三者都沒有檢測到的情況，傾側角判定為180度。
【文檔編號】G06K9/00GK105893963SQ201610197232
【公開日】2016年8月24日
【申請日】2016年3月31日
【發明人】李曉飛, 梁何
【申請人】南京郵電大學