基于人臉檢測與識別技術的人員計數方法及系統和裝置制造方法
【專利摘要】一種基于人臉檢測與識別技術的人員計數方法及系統和裝置，對幀視頻中的N個人臉圖像分割出來并加工成人臉數據，存為一個新人臉數據列表；然后與歷史人臉數據列表進行逐行比對，看相似度>閾值？若相似度小于閾值，則將該新人臉數據添加到所述歷史人臉數據列表，并且人員總數加1；然后再繼續比對下一行直至新人臉數據列表比對完成。然后清除歷史人臉數據列表中超過有效時限Tc的人臉數據，再繼續處理下一個視頻幀直到全部視頻處理完畢。本發明以低成本，方便快捷的部署方式，實現高精度的人員計數，而且不影響人員的通行速度，尤其適合人流量特大的場合，如商場、火車站、機場出入口等等。
【專利說明】基于人臉檢測與識別技術的人員計數方法及系統和裝置
【技術領域】
[0001]本發明屬于人臉識別【技術領域】，尤其涉及一種基于人臉檢測與識別技術的人員計數方法及系統和裝置。
【背景技術】
[0002]目前用來實現人員計數的方法有很多，有利用紅外，壓電技術的，需要安裝特定的感應裝置，如紅外收發器，壓電感應器等，系統部署較為不便，成本較高，感應裝置容易損壞，維護困難，且精度也不高；也有在關卡處安裝門禁設備，刷卡或按鍵方可通過，這類方案計數精度很高，但是實現成本非常高，且限制了人員的通行速度。
[0003]另外一方面，人臉檢測技術已經相當成熟，目前對側向人臉都能夠有效的檢出。同時，人臉識別技術在多年的發展后也趨于成熟，在人臉庫較小的情況下能夠達到95%以上的正確識別率。
[0004]目前有一種利用人臉檢測實現人員計數的方法，但是在對視頻進行人臉檢測時，一段時間內，同一人可能被檢測到幾十上百次，造成計數不準確；還有的人員計數方法是單純靠加大取幀的間隔，如3秒中取一幀進行人臉檢測，則有可能丟失瞬間出現在鏡頭中的人。均不能達到很好的效果。
[0005]所以如果有一種新技術能夠以人臉檢測技術為基礎，結合人臉識別技術，通過較低的成本，方便快捷的部署方式，實現高精度的人員計數，當是業界所需要的。
【發明內容】
[0006]本發明的目的是克服上述現有技術的缺陷，提供一種基于人臉檢測與識別技術的人員計數方法及系統和裝置。
[0007]實現本發明目的的技術方案是:
[0008]一種基于人臉檢測與識別的人員計數方法，包括以下步驟:
[0009]步驟1、記錄歷史人臉數據列表長度L行；
[0010]步驟2、接收一幀包含有N個人的人臉圖像的視頻；
[0011]步驟3、對該幀視頻進行人臉檢測并且形成新人臉數據列表，該新人臉數據列表包含N行數據，每一行數據對應著一個人臉的數據；
[0012]步驟4、從所述新人臉數據列表中取出其中一行人臉數據；
[0013]步驟5、將這行人臉數據與所述歷史人臉數據列表中的前L行人臉數據逐一進行比對，每一次比對輸出一個相似度數值，判斷相似度〉閾值？ 一旦有一次比對的相似度大于閾值，則認定該新人臉數據已經儲存在所述歷史人臉數據列表中，該新人臉的比對結束，轉到步驟7 ;否則如果L次比對的相似度值均小于閾值則轉到步驟6 ；
[0014]步驟6、將該新人臉數據添加到所述歷史人臉數據列表，并且人員總數加1，然后轉到步驟7 ；
[0015]步驟7、所述新人臉數據列表是否比對完成？是的話轉到步驟8，否則轉到步驟4 ;[0016]步驟8、清除所述歷史人臉數據列表中超過有效時限Tc的人臉數據，然后回到步驟I進入下一循環處理下一個視頻幀。
[0017]其中歷史人臉數據列表長度L的值在每個循環之后都會更新，公式是:L新值=L舊值+新人臉-超過有效時限Tc的人臉數。
[0018]其中步驟3進一步包括:通過人臉檢測算法將該幀圖像中的N個人的人臉圖像分別分割出來并且加工成人臉數據，存為一個新人臉數據列表；所述人臉檢測算法是基于haar-like特征的快速人臉檢測算法。
[0019]其中歷史人臉數據列表包括以下信息:
[0020]1.入表時間:指人臉圖片及對應的特征碼存入所述歷史人臉數據列表的時間點，用于確定該人臉數據是否超過有效時限Tc ；
[0021]2.人臉圖片:人臉圖像的原始數據，以十六進制數據存儲，不做人臉比對用，若有需要可調用此數據進行顯示；
[0022]3.人臉特征碼:人臉圖像特征碼，是根據人臉識別算法提取的人臉關鍵特征信息，用于人臉比對；
[0023]新人臉數據列表包括如下信息:
[0024]1.人臉圖片:人臉圖像的原始數據，以十六進制數據存儲，不做人臉比對用，若有需要可調用此數據進行顯示，可查看人臉圖像；
[0025]2.人臉特征碼:人臉圖像特征碼，是根據人臉識別算法提取的人臉關鍵特征信息，用于人臉比對。
[0026]其中入表時間的單位為秒，所述時間點的起始時間點從1970年I月I日O時O分O秒開始計算，所述入表時間指從起始時間點到入庫時間點所經過的秒數；Tc為10秒；步驟8進一步包括:先計算時間節點Ts:Ts =當前時間點-Tc,然后刪除歷史人臉列表中入表時間小于Ts的人臉數據，保留大于Ts的人臉數據。
[0027]其中步驟2中所接收的視頻是實時視頻或歷史視頻。
[0028]本發明還公開了一種基于人臉檢測與識別的人員計數系統，包括以下模塊:
[0029]模塊1、記錄歷史人臉數據列表長度L行；
[0030]模塊2、接收一幀包含有N個人的人臉圖像的視頻；
[0031]模塊3、對該幀視頻進行人臉檢測并且形成新人臉數據列表，該新人臉數據列表包含N行數據，每一行數據對應著一個人臉的數據；
[0032]模塊4、從所述新人臉數據列表中取出其中一行人臉數據；
[0033]模塊5、將這行人臉數據與所述歷史人臉數據列表中的前L行人臉數據逐一進行比對，每一次比對輸出一個相似度數值，判斷相似度〉閾值？ 一旦有一次比對的相似度大于閾值，則認定該新人臉數據已經儲存在所述歷史人臉數據列表中，該新人臉的比對結束，轉到模塊7 ;否則如果L次比對的相似度值均小于閾值則轉到模塊6 ；
[0034]模塊6、將該新人臉數據添加到所述歷史人臉數據列表，并且人員總數加1，然后轉到模塊7 ；
[0035]模塊7、所述新人臉數據列表是否比對完成？是的話轉到模塊8，否則轉到模塊4 ;
[0036]模塊8、清除所述歷史人臉數據列表中超過有效時限Tc的人臉數據，然后回到模塊I進入下一循環處理下一個視頻幀。[0037]其中歷史人臉數據列表長度L的值在每個循環之后都會更新，公式是:L新值=L舊值+新人臉-超過有效時限Tc的人臉數。
[0038]其中模塊3進一步包括:通過人臉檢測算法將該幀圖像中的N個人的人臉圖像分別分割出來并且加工成人臉數據，存為一個新人臉數據列表；所述人臉檢測算法是基于haar-like特征的快速人臉檢測算法。
[0039]其中歷史人臉數據列表包括以下信息:
[0040]1.入表時間:指人臉圖片及對應的特征碼存入所述歷史人臉數據列表的時間點，用于確定該人臉數據是否超過有效時限Tc ；
[0041]2.人臉圖片:人臉圖像的原始數據，以十六進制數據存儲，不做人臉比對用，若有需要可調用此數據進行顯示；
[0042]3.人臉特征碼:人臉圖像特征碼，是根據人臉識別算法提取的人臉關鍵特征信息，用于人臉比對；
[0043]新人臉數據列表包括如下信息:
[0044]1.人臉圖片:人臉圖像的原始數據，以十六進制數據存儲，不做人臉比對用，若有需要可調用此數據進行顯示，可查看人臉圖像；
[0045]2.人臉特征碼:人臉圖像特征碼，是根據人臉識別算法提取的人臉關鍵特征信息，用于人臉比對。
[0046]其中入表時間的單位為秒，所述時間點的起始時間點從1970年I月I日O時O分O秒開始計算，所述入表時間指從起始時間點到入庫時間點所經過的秒數；Tc為10秒；模塊8進一步包括:先計算時間節點Ts:Ts =當前時間點-Tc,然后刪除歷史人臉列表中入表時間小于Ts的人臉數據，保留大于Ts的人臉數據。
[0047]其中模塊2中所接收的視頻是實時視頻或歷史視頻。
[0048]本發明還提出了一種基于人臉檢測與識別的人員計數裝置，人臉圖像拍攝裝置(100)、服務器(200)、以及計數裝置(300)，所述服務器(200)安裝有前述的基于人臉檢測與識別的人員計數系統。
[0049]其中人臉圖像拍攝裝置(100)的視頻的格式是h264、mp4、或flv ;所述人臉圖像拍攝裝置(100)直接安裝于人員進出關卡上方，其視頻信號通過有線或無線方式接入到所述服務器(200);所述服務器(200)為個人計算機(PC);所述計數裝置(300)連接有顯示裝置，所述顯示裝置為LED顯示屏、IXD顯示屏、或者PC屏幕。其中基于人臉檢測與識別技術的人員計數系統通過以下方式中之一安裝于服務器200內:網絡下載、移動存儲器安裝、或者固化其中。
[0050]本發明提出的基于人臉檢測與識別技術的人員計數方法及系統和裝置，以較低的成本，方便快捷的部署方式，實現高精度的人員計數，而且不影響人員的通行速度。
【專利附圖】
【附圖說明】
[0051]圖1為本發明基于人臉檢測與識別技術的人員計數裝置的功能方框圖；
[0052]圖2為本發明基于人臉檢測與識別技術的人員計數方法的流程圖。
【具體實施方式】[0053]以下結合附圖并以【具體實施方式】為例，對本發明進行詳細說明。但是，本領域技術人員應該知曉的是，本發明不限于所列出的【具體實施方式】，只要符合本發明的精神，都應該包括于本發明的保護范圍內。
[0054]本發明的基于人臉檢測與識別技術的人員計數方法是由計算機程序實現的。本發明的出發點在于將人臉檢測與人臉識別技術結合起來用于人員計數，因為若不進行人臉識另IJ，則在對視頻進行人臉檢測時，一段時間內，同一人可能被檢測到幾十上百次，造成計數不準確；另一方面，若不采用人臉識別方法，只單純靠加大取幀的間隔，如3秒中取一幀進行人臉檢測，則有可能丟失瞬間出現在鏡頭中的人。而利用人臉檢測與人臉識別技術的結合，就可以有效的去除重復計數、同時不漏掉視頻中的任何一個人，從而達到很好的效果。
[0055]同時，本發明的系統也有硬件系統的支持，如圖1所示為本發明基于人臉檢測與識別技術的人員計數裝置的功能方框圖，該裝置包括人臉圖像拍攝裝置100、服務器200、以及計數裝置300。
[0056]人臉圖像拍攝裝置100可以是任何型號的攝像頭、或者拍攝裝置，其視頻的格式可以是h264，mp4，flv等等。拍攝裝置100可直接安裝于人員進出關卡上方，若是單向通道，則正對行人安裝一個攝像頭；若是雙向通道同一關卡既可以進也可以出，則在兩個方向，各安裝一個攝像頭，對出入的人員分別計數。在已安裝攝像頭的場合，可直接利用原攝像頭視頻信號進行處理也可；因此可節省安裝費用。人臉圖像拍攝裝置100的視頻信號通過有線或無線方式接入到后臺服務器200。
[0057]服務器200內部安裝有本發明的基于人臉檢測與識別技術的人員計數系統，本發明的基于人臉檢測與識別技術的人員計數系統可以通過多種方式安裝于服務器200內部，比如網絡下載、移動存儲器安裝、或者固化其中，等等。服務器200還包括歷史人臉數據列表210，用于儲存已有的人臉數據；以及新人臉數據列表220，用于儲存新拍攝的人臉數據。在一個實施例中，歷史人臉數據列表210中包括多行，每行對應一個已有的人臉數據。服務器200可采用市售的各種服務器設備，在一個實施例中，采用了 一臺普通個人計算機(PC)作為服務器。
[0058]計數裝置300的形式也多種多樣，市售的計數器均可使用，在一個實施例中，直接采用普通PC中的計數器；計數裝置300還可連接有顯示裝置，比如LED、IXD顯示屏等，或者直接用PC屏幕作為顯示器。
[0059]工作時，攝像頭100的視頻信號通過有線或無線方式接入到后臺服務器200，然后由后臺服務器200對視頻進行人臉檢測，檢測結果如果是新人的話，則計數裝置300加一并在顯示器上顯示人數。
[0060]下面請看圖2，是本發明一個實施例中，基于人臉檢測與識別技術的人員計數方法的流程圖。包括以下步驟:
[0061]步驟1、記錄歷史人臉數據列表210的長度L行，即列表的行數，也即歷史人臉個數，其中每行對應一個已有的人臉數據。以下是一個歷史人臉數據列表210的具體實施例，其中L = 3，即有3個人臉數據。
[0062]歷史人臉數據列表210
[0063]
【權利要求】
1.一種基于人臉檢測與識別的人員計數方法，其特征是:包括以下步驟: 步驟1、記錄歷史人臉數據列表長度L行； 步驟2、接收一幀包含有N個人的人臉圖像的視頻； 步驟3、對該幀視頻進行人臉檢測并且形成新人臉數據列表，該新人臉數據列表包含N行數據，每一行數據對應著一個人臉的數據； 步驟4、從所述新人臉數據列表中取出其中一行人臉數據； 步驟5、將這行人臉數據與所述歷史人臉數據列表中的前L行人臉數據逐一進行比對，每一次比對輸出一個相似度數值，判斷相似度〉閾值？ 一旦有一次比對的相似度大于閾值，則認定該新人臉數據已經儲存在所述歷史人臉數據列表中，該新人臉的比對結束，轉到步驟7 ;否則如果L次比對的相似度值均小于閾值則轉到步驟6 ； 步驟6、將該新人臉數據添加到所述歷史人臉數據列表，并且人員總數加1，然后轉到步驟7 ; 步驟7、所述新人臉數據列表是否比對完成？是的話轉到步驟8，否則轉到步驟4 ； 步驟8、清除所述歷史人臉數據列表中超過有效時限Tc的人臉數據，然后回到步驟I進入下一循環處理下一個視頻幀。
2.如權利要求1所述方法，其特征是:所述歷史人臉數據列表長度L的值在每個循環之后都會更新，公式是=Lim=Lim+新人臉-超過有效時限Tc的人臉數。
3.如權利要求1或2所述方法，其特征是:步驟3進一步包括:通過人臉檢測算法將該幀圖像中的N個人的人臉圖像分別分割出來并且加工成人臉數據，存為一個新人臉數據列表；所述人臉檢測算法是基于haar-like特征的快速人臉檢測算法。
4.如權利要求3所述方法，其特征是: 所述歷史人臉數據列表包括以下信息: 1.入表時間:指人臉圖片及對應的特征碼存入所述歷史人臉數據列表的時間點，用于確定該人臉數據是否超過有效時限Tc ； 2.人臉圖片:人臉圖像的原始數據，以十六進制數據存儲，不做人臉比對用，若有需要可調用此數據進行顯示； 3.人臉特征碼:人臉圖像特征碼，是根據人臉識別算法提取的人臉關鍵特征信息，用于人臉比對； 所述新人臉數據列表包括如下信息: 1.人臉圖片:人臉圖像的原始數據，以十六進制數據存儲，不做人臉比對用，若有需要可調用此數據進行顯示，可查看人臉圖像； 2.人臉特征碼:人臉圖像特征碼，是根據人臉識別算法提取的人臉關鍵特征信息，用于人臉比對。
5.如權利要求4所述方法，其特征是:所述入表時間的單位為秒，所述時間點的起始時間點從1970年I月I日O時O分O秒開始計算，所述入表時間指從起始時間點到入庫時間點所經過的秒數；Tc為10秒；步驟8進一步包括:先計算時間節點Ts:Ts =當前時間點-Tc,然后刪除歷史人臉列表中入表時間小于Ts的人臉數據，保留大于Ts的人臉數據。
6.如權利要求1或2所述方法，其特征是:步驟2中所接收的視頻是實時視頻或歷史視頻。
7.一種基于人臉檢測與識別的人員計數系統，其特征是:包括以下模塊: 模塊1、記錄歷史人臉數據列表長度L行； 模塊2、接收一幀包含有N個人的人臉圖像的視頻； 模塊3、對該幀視頻進行人臉檢測并且形成新人臉數據列表，該新人臉數據列表包含N行數據，每一行數據對應著一個人臉的數據； 模塊4、從所述新人臉數據列表中取出其中一行人臉數據； 模塊5、將這行人臉數據與所述歷史人臉數據列表中的前L行人臉數據逐一進行比對，每一次比對輸出一個相似度數值，判斷相似度〉閾值？ 一旦有一次比對的相似度大于閾值，則認定該新人臉數據已經儲存在所述歷史人臉數據列表中，該新人臉的比對結束，轉到模塊7 ;否則如果L次比對的相似度值均小于閾值則轉到模塊6 ； 模塊6、將該新人臉數據添加到所述歷史人臉數據列表，并且人員總數加1，然后轉到模塊7 ； 模塊7、所述新人臉數據列表是否比對完成？是的話轉到模塊8，否則轉到模塊4 ； 模塊8、清除所述歷史人臉數據列表中超過有效時限Tc的人臉數據，然后回到模塊I進入下一循環處理下一個視頻幀。
8.如權利要求7所述系統，其特征是:所述歷史人臉數據列表長度L的值在每個循環之后都會更新，公式是=Li m=Lim+新人臉-超過有效時限Tc的人臉數。
9.如權利要求7或8所述系統，其特征是:模塊3進一步包括:通過人臉檢測算法將該幀圖像中的N個人的人臉圖像分別分割出來并且加工成人臉數據，存為一個新人臉數據列表；所述人臉檢測算法是基于haar-l i ke特征的快速人臉檢測算法。
10.如權利要求9所述系統，其特征是: 所述歷史人臉數據列表包括以下信息: 1.入表時間:指人臉圖片及對應的特征碼存入所述歷史人臉數據列表的時間點，用于確定該人臉數據是否超過有效時限Tc ； 2.人臉圖片:人臉圖像的原始數據，以十六進制數據存儲，不做人臉比對用，若有需要可調用此數據進行顯示； 3.人臉特征碼:人臉圖像特征碼，是根據人臉識別算法提取的人臉關鍵特征信息，用于人臉比對； 所述新人臉數據列表包括如下信息: 1.人臉圖片:人臉圖像的原始數據，以十六進制數據存儲，不做人臉比對用，若有需要可調用此數據進行顯示，可查看人臉圖像； 2.人臉特征碼:人臉圖像特征碼，是根據人臉識別算法提取的人臉關鍵特征信息，用于人臉比對。
11.如權利要求10所述系統，其特征是:所述入表時間的單位為秒，所述時間點的起始時間點從1970年I月I日O時O分O秒開始計算，所述入表時間指從起始時間點到入庫時間點所經過的秒數；Tc為10秒；模塊8進一步包括:先計算時間節點Ts:Ts =當前時間點-Tc，然后刪除歷史人臉列表中入表時間小于Ts的人臉數據，保留大于Ts的人臉數據。
12.如權利要求7或8所述系統，其特征是:模塊2中所接收的視頻是實時視頻或歷史視頻。
13.一種基于人臉檢測與識別的人員計數裝置，人臉圖像拍攝裝置(100)、服務器(200)、以及計數裝置(300)，其特征是:所述服務器(200)安裝有如權利要求7~12所述的基于人臉檢測與識別的人員計數系統。
14.如權利要求13所述裝置，其特征是:所述人臉圖像拍攝裝置(100)的視頻的格式是h264、mp4、或fIv;所述人臉圖像拍攝裝置(100)直接安裝于人員進出關卡上方，其視頻信號通過有線或無線方式接入到所述服務器(200);所述服務器(200)為個人計算機(PC)；所述計數裝置(300)連接有顯示裝置，所述顯示裝置為LED顯示屏、LCD顯示屏、或者PC屏眷。
15.如權利 要求13或14所述裝置，其特征是:所述基于人臉檢測與識別技術的人員計數系統通過以下方式中之一安裝于服務器200內:網絡下載、移動存儲器安裝、或者固化其中。
【文檔編號】G06K9/00GK103793682SQ201210429363
【公開日】2014年5月14日 申請日期:2012年10月31日 優先權日:2012年10月31日
【發明者】曾定衡, 鐘匯才 申請人:中國科學院微電子研究所