一種人臉抓拍方法及系統的制作方法
【專利摘要】本申請提供了一種人臉抓拍方法及系統，包括：利用廣角相機獲取監控場景中的廣角視頻數據；根據所述視頻數據檢測人體所在區域；利用長焦相機獲取所述人體所在區域的視頻數據；對所述長焦相機獲取到的視頻數據進行人臉檢測，得到人臉圖像。本申請結合了不同相機的優勢，可以利用廣角相機獲取大范圍監控場景內的人體目標，然后可以利用長焦相機獲取遠距離高清晰人臉，克服了傳統人臉抓拍系統必須依賴于近距離拍攝人臉的缺點，可以適應于更加復雜多變的應用場景。
【專利說明】
一種人臉抓拍方法及系統
技術領域
[0001 ]本申請涉及計算機視覺技術領域，尤其涉及一種人臉抓拍方法及系統。
【背景技術】
[0002]隨著信息時代的發展，人們對監控場景下非配合式人臉抓拍的需求越來越強烈。人臉抓拍系統是通過處理高清監控攝像頭錄入的數據，當人進入指定監視范圍內時，抓錄人臉，用于后臺結構化記錄以及分析識別，主要應用于記錄出入人員、查找犯罪嫌疑人/特定人員、統計人群特征等。
[0003]現有的人臉抓拍系統通常包括人臉檢測、跟蹤以及結構化存儲模塊，利用人臉檢測算法和人臉跟蹤算法對進入檢測區域的人員進行人臉檢測和跟蹤，篩選出最佳人臉圖像錄入數據庫。由于人臉目標相對較小，而過低的分辨率會影響抓取的人臉圖片質量，很難被進一步識別。
[0004]因此，現有的人臉抓拍系統通常依賴于固定于關卡的高清攝像頭，近距離拍攝高分辨率人臉圖像，工作范圍通常是幾米，無法實現遠距離大覆蓋范圍的應用場景下的人臉抓拍，大大制約了人臉抓拍系統的可用范圍。
[0005]現有技術不足在于:
[0006]現有的人臉抓拍系統可用范圍較小，無法實現遠距離大范圍場景的人臉抓拍。
【發明內容】
[0007]本申請實施例提出了一種人臉抓拍方法及系統，以解決現有技術中人臉抓拍系統可用范圍較小，無法實現遠距離大范圍場景的人臉抓拍的技術問題。
[0008]第一個方面，本申請實施例提供了一種人臉抓拍方法，包括如下步驟:
[0009]利用廣角相機獲取監控場景中的廣角視頻數據；
[0010]根據所述視頻數據檢測人體所在區域；
[0011 ]利用長焦相機獲取所述人體所在區域的視頻數據；
[0012]對所述長焦相機獲取到的視頻數據進行人臉檢測，得到人臉圖像。
[0013]優選地，進一步包括:
[0014]將所述人臉圖像與已存儲的人臉圖像進行相似度比較；
[0015]根據所述相似度比較的結果，確定所述人臉是否已經被存儲過。
[0016]優選地，進一步包括:
[0017]如果確定所述人臉未被存儲過，存儲所述人臉圖像。
[0018]優選地，進一步包括:
[0019]如果確定所述人臉已經被存儲過，比較所述人臉圖像與已存儲的人臉圖像的圖像質量；
[0020]在所述人臉圖像比已存儲的人臉圖像的圖像質量高時，更新所述已存儲的人臉圖像。
[0021]優選地，所述根據所述人臉圖像與已存儲的人臉圖像進行相似度比較，具體為:根據所述人臉圖像提取所述人臉的特征信息，所述特征信息包括當前時間、人臉在所述廣角相機中的位置、以及根據所述人臉圖像提取的特征表達;將所述人臉的特征信息與已存儲的人臉圖像的特征信息進行相似度比較；
[0022]所述根據所述相似度比較的結果，確定所述人臉是否已經被存儲過，具體為:如果時間間隔在預設時間范圍內、在所述廣角相機中的相對位置在預設距離內、并且兩張人臉圖像的特征表達的相似度高于預設閾值，則確定所述人臉已經被存儲過。
[0023]優選地，所述根據所述視頻數據檢測人體所在區域，具體為:
[0024]對所述廣角相機獲取到的視頻圖像進行預處理；
[0025]將所述視頻圖像輸入預先訓練得到的人體檢測深度卷積神經網絡，得到特征圖譜;所述特征圖譜上像素點的作用域對應于所述視頻圖像中的圖片塊，所述特征圖譜上所有像素點的作用域對應于所述視頻圖像；
[0026]利用多個不同尺度和/或長寬比的預設滑動窗口對所述特征圖譜進行掃描，得到人體所在區域的分值；
[0027]確定所述分值超過預設第一閾值且局部得分最高的區域為所述人體所在區域。
[0028]優選地，所述對所述長焦相機獲取到的視頻數據進行人臉檢測，具體為:
[0029]對所述長焦相機獲取到的視頻圖像進行預處理；
[0030]將所述視頻圖像輸入預先訓練得到的人臉檢測深度卷積神經網絡，得到特征圖譜;所述特征圖譜上像素點的作用域對應于所述視頻圖像中的圖片塊，所述特征圖譜上所有像素點的作用域對應于所述視頻圖像；
[0031]利用多個不同尺度和/或長寬比的預設滑動窗口對所述特征圖譜進行掃描，得到人臉所在區域的分值；
[0032]確定所述分值超過預設第二閾值且局部得分最高的區域為所述人臉所在區域。
[0033]第二個方面，本申請實施例提供了一種人臉抓拍系統，其特征在于，包括:聯動相機組、第一檢測模塊和第二檢測模塊，所述聯動相機組包括廣角相機和長焦相機，其中，
[0034]所述廣角相機，用于獲取監控場景中的廣角視頻數據；
[0035]所述第一檢測模塊，用于根據所述視頻數據檢測人體所在區域；
[0036]所述長焦相機，用于獲取所述人體所在區域的視頻數據；
[0037]所述第二檢測模塊，用于對所述長焦相機獲取到的視頻數據進行人臉檢測，得到人臉圖像。
[0038]優選地，進一步包括:
[0039]第一比較模塊，用于將所述人臉圖像與已存儲的人臉圖像進行相似度比較；
[0040]確定模塊，用于根據所述相似度比較的結果，確定所述人臉是否已經被存儲過。[0041 ] 優選地，進一步包括:
[0042]添加模塊，用于在確定所述人臉未被存儲過時，存儲所述人臉圖像。
[0043]優選地，進一步包括:
[0044]第二比較模塊，用于在確定所述人臉已經被存儲過時，比較所述人臉圖像與已存儲的人臉圖像的圖像質量；
[0045]更新模塊，用于在所述人臉圖像比已存儲的人臉圖像的圖像質量高時，更新所述已存儲的人臉圖像。
[0046]優選地，所述第一比較模塊具體包括:
[0047]特征提取單元，用于根據所述人臉圖像提取所述人臉的特征信息，所述特征信息包括當前時間、人臉在所述廣角相機中的位置、以及根據所述人臉圖像提取的特征表達；
[0048]比較單元，用于將所述人臉的特征信息與已存儲的人臉圖像的特征信息進行相似度比較；
[0049]所述確定模塊具體用于如果時間間隔在預設時間范圍內、在所述廣角相機中的相對位置在預設距離內、并且兩張人臉圖像的特征表達的相似度高于預設閾值，則確定所述人臉已經被存儲過。
[0050]優選地，所述第一檢測模塊具體包括:
[0051]第一預處理單元，用于對所述廣角相機獲取到的視頻圖像進行預處理；
[0052]第一卷積單元，用于將所述視頻圖像輸入預先訓練得到的人體檢測深度卷積神經網絡，得到特征圖譜;所述特征圖譜上像素點的作用域對應于所述視頻圖像中的圖片塊，所述特征圖譜上所有像素點的作用域對應于所述視頻圖像；
[0053]第一輸出單元，用于利用多個不同尺度和/或長寬比的預設滑動窗口對所述特征圖譜進行掃描，得到人體所在區域的分值；
[0054]第一確定單元，用于確定所述分值超過預設第一閾值且局部得分最高的區域為所述人體所在區域。
[0055]優選地，所述第二檢測模塊具體包括:
[0056]第二預處理單元，用于對所述長焦相機獲取到的視頻圖像進行預處理；
[0057]第二卷積單元，用于將所述視頻圖像輸入預先訓練得到的人臉檢測深度卷積神經網絡，得到特征圖譜;所述特征圖譜上像素點的作用域對應于所述視頻圖像中的圖片塊，所述特征圖譜上所有像素點的作用域對應于所述視頻圖像；
[0058]第二輸出單元，用于利用多個不同尺度和/或長寬比的預設滑動窗口對所述特征圖譜進行掃描，得到人臉所在區域的分值；
[0059]第二確定單元，用于確定所述分值超過預設第二閾值且局部得分最高的區域為所述人臉所在區域。
[0060]有益效果如下:
[0061]本申請實施例所提供的人臉抓拍方法及系統，可以利用廣角相機獲取監控場景中的廣角視頻數據，根據所述視頻數據檢測到人體所在區域，然后再利用長焦相機獲取所述人體所在區域的視頻數據，最終，對所述長焦相機獲取到的視頻數據進行人臉檢測，得到人臉圖像，本申請實施例結合了不同相機的優勢，可以利用廣角相機獲取大范圍監控場景內的人體目標，然后可以利用長焦相機獲取遠距離高清晰人臉，克服了傳統人臉抓拍系統必須依賴于近距離拍攝人臉的缺點，可以適應于更加復雜多變的應用場景。
【附圖說明】
[0062]下面將參照附圖描述本申請的具體實施例，其中:
[0063]圖1示出了本申請實施例一中人臉抓拍方法實施的流程示意圖；
[0064]圖2示出了本申請實施例二中人臉抓拍過程示意圖；
[0065]圖3示出了本申請實施例三中人體/或人臉檢測的過程示意圖；
[0066]圖4示出了本申請實施例四中人臉抓拍系統的結構示意圖一；
[0067]圖5示出了本申請實施例四中人臉抓拍系統的結構示意圖二；
[0068]圖6示出了本申請實施例四中人臉抓拍系統的結構示意圖三；
[0069]圖7示出了本申請實施例四中人臉抓拍系統的結構示意圖四；
[0070]圖8示出了本申請實施例四中第一比較模塊的結構示意圖；
[0071]圖9示出了本申請實施例四中第一檢測模塊的結構示意圖；
[0072]圖10示出了本申請實施例四中第二檢測模塊的結構示意圖。
【具體實施方式】
[0073]為了使本申請的技術方案及優點更加清楚明白，以下結合附圖對本申請的示例性實施例進行進一步詳細的說明，顯然，所描述的實施例僅是本申請的一部分實施例，而不是所有實施例的窮舉。并且在不沖突的情況下，本說明中的實施例及實施例中的特征可以互相結合。
[0074]發明人在發明過程中注意到:
[0075]不同于虹膜驗證，指紋驗證等傳統身份識別，人臉抓拍有如下幾個明顯優點:
[0076]I)操作距離限制大大放寬，不需要人直接接觸特定設備采集指紋等信息，只要在攝像頭拍攝范圍內即可進行處理；
[0077]2)可以在非干預非配合場景下通過攝像頭自由運作，不會影響人員正常活動，也不需要工作人員干預；
[0078]3)記錄的生物特征友好直觀，通過人臉，普通人即可辨別身份，不需要特定領域專家判別；
[0079]4)等待時間短，操作效率高，不需要人員一個個通過閘門來采集虹膜/指紋等信息，通過計算機視覺等方法即可快速定位，快速處理。
[0080]然而，現有的人臉抓拍系統通常只能處理近距離(例如:3米)范圍內的人臉圖像采集，無法實現遠距離(例如:50米左右)大覆蓋范圍的應用場景(例如:火車站廣場、大型集會、街道等)下的人員監控/記錄，這種距離限制大大制約了人臉抓拍系統的可用范圍，覆蓋面也受制于攝像頭布設位置，丟失了大量廣闊場地的人員活動記錄，只能被動期望于被監控人員“恰巧”靠近布設的攝像頭，為安全帶來了嚴重隱患。
[0081]針對上述不足，本申請提出了一種人臉抓拍系統，巧妙的利用了一個先驗信息:人臉為人身體的一部分，有人臉的區域必有人，反之則不一定成立。因此，通過檢測人體可以對人臉檢測進行一個初步判定，并且由于人體比人臉區域在畫面中所占面積大很多，人體檢測能夠適應的距離比人臉檢測能夠遠很多，利于高效排查。
[0082]為了實現超遠距離的人臉抓拍，本申請可以首先利用聯動相機組的廣角相機進行人體檢測、對感興趣的人體目標所在區域進行初篩，然后再對所述區域調用長焦相機拍攝超遠距離視頻，做到高精度的人臉抓拍。
[0083]本申請意在突破現有的距離限制，實現超遠距離(例如:50米左右)的人臉抓拍。
[0084]為了便于本申請的實施，下面結合具體的實施例對本申請所提供的人臉抓拍方法及系統進行說明。
[0085]實施例一、
[0086]圖1示出了本申請實施例一中人臉抓拍方法實施的流程示意圖，如圖所示，所述人臉抓拍方法可以包括如下步驟:
[0087]步驟101、利用廣角相機獲取監控場景中的廣角視頻數據；
[0088]步驟102、根據所述視頻數據檢測人體所在區域；
[0089]步驟103、利用長焦相機獲取所述人體所在區域的視頻數據；
[0090]步驟104、對所述長焦相機獲取到的視頻數據進行人臉檢測，得到人臉圖像。
[0091]具體實施中，所述廣角相機可以是相機鏡頭(廣角鏡頭)有很寬廣的視角，在有限的距離內可以容納更多的景物范圍。衡量相機廣角的參數通常是最小焦距，一般廣角鏡頭的焦距在24mm?35mm之間，最小焦距越小相機的廣角越廣，適合拍大場面的風景和高達的建筑物等。而長焦相機則是擁有長焦鏡頭的相機，長焦鏡頭的焦距一般在80mm?300mm之間，能夠清晰地拍攝出較遠的景物。
[0092 ]本申請實施例中所述聯動相機組可以由兩個或兩個以上的相機組成，通過機械及視覺校準后可以精確計算出任意兩個相機之間的位置和朝向的相對關系。通過將相機固定在由電機控制的云臺上，可以實現在某一相機畫面上選定某一區域，旋轉其他相機，使得它們朝向該選定區域的功能，本申請實施例中可以將此功能稱為聯動。
[0093]具體實施時，首先可以利用廣角相機拍攝大范圍監控場景下的視頻，然后對所述廣角相機拍攝到的視頻進行人體檢測，得到人體所在區域;然后利用長焦相機拍攝所述人體所在區域的視頻，對所述長焦相機拍攝的視頻進行人臉檢測，即可得到清晰的人臉圖像。
[0094]其中，人體檢測和人臉檢測均可以采用現有技術中圖像識別技術，例如:對圖像進行分割、邊緣提取、運動檢測等。以人體檢測為例，可以利用現有的背景建模方法分割出前景、基于統計學習的方法等；以人臉檢測為例，可以利用基于人臉特征點的識別算法、基于整幅人臉圖像的識別算法等等。
[0095]本申請實施例所提供的人臉抓拍方法，可以利用廣角相機獲取監控場景中的視頻數據，根據所述視頻數據檢測到人體所在區域，然后再利用長焦相機獲取所述人體所在區域的視頻數據，最終，對所述長焦相機獲取到的視頻數據進行人臉檢測，得到人臉圖像，本申請實施例結合了不同相機的優勢，可以利用廣角相機獲取大范圍監控場景內的人體目標，然后可以利用長焦相機獲取遠距離高清晰人臉，克服了傳統人臉抓拍系統必須依賴于近距離拍攝人臉的缺點，可以適應于更加復雜多變的應用場景。
[0096]進一步地，為了實現人臉去重，本申請實施例還可以采用如下方式實施。
[0097]實施中，所述方法可以進一步包括:
[0098]將所述人臉圖像與已存儲的人臉圖像進行相似度比較；
[0099]根據所述相似度比較的結果，確定所述人臉是否已經被存儲過。
[0100]具體實施時，本申請實施例可以將獲取到的人臉圖像與已經存儲的人臉圖像進行相似度比較。所述已存儲的人臉圖像具體可以為存儲在緩存或者數據庫中的人臉圖像，這些人臉圖像可以是已結構化的人臉圖像。其中，視頻結構化可以是按照標準對視頻中的目標和事件進行描述并存入數據庫中的過程。
[0101]本申請實施例通過人臉比對，判斷該人臉是否已經出現過(存儲在緩存或數據庫中)，從而可以避免同一張人臉的多次重復存儲、記錄。
[0102]實施中，所述方法可以進一步包括:
[0103]如果確定所述人臉未被存儲過，存儲所述人臉圖像。
[0104]具體實施時，如果該人臉圖像在與已存儲的人臉圖像比對之后，沒有發現已存儲的人臉圖像中有與所述人臉圖像相似度高于預設的相似值，那么可以認為該人臉在所述廣角相機所監控的畫面中未出現過，因此，可以將所述人臉圖像存儲至緩存或者數據庫中。
[0105]實施中，所述方法可以進一步包括:
[0106]如果確定所述人臉已經被存儲過，比較所述人臉圖像與已存儲的人臉圖像的圖像質量；
[0107]在所述人臉圖像比已存儲的人臉圖像的圖像質量高時，更新所述已存儲的人臉圖像。
[0108]具體實施時，如果所述人臉圖像與已存儲的若干人臉圖像中的某張人臉圖像的相似度較高，可以確定所述人臉已經被存儲過，因此，本申請實施例可以進一步比較所述人臉圖像與已存儲的人臉圖像的圖像質量，在所述人臉圖像比已存儲的人臉圖像的圖像質量高時，更新所述已存儲的人臉圖像。
[0109]其中，所述更新該人臉圖像具體可以為將所述已存儲的人臉圖像刪除，存儲本次獲取到的人臉圖像。
[0110]通過上述方式，本申請實施例可以確保已有記錄的人臉以更加清晰、質量更高的人臉圖像保存、記錄，以便后續進行搜索、查詢等其他應用時可以更加精確、準確。
[0111]實施中，所述根據所述人臉圖像與已存儲的人臉圖像進行相似度比較，具體可以為:
[0112]根據所述人臉圖像提取所述人臉的特征信息，所述特征信息包括當前時間、人臉在所述廣角相機中的位置、以及根據所述人臉圖像提取的特征表達；
[0113]將所述人臉的特征信息與已存儲的人臉圖像的特征信息進行相似度比較；
[0114]所述根據所述相似度比較的結果，確定所述人臉是否已經被存儲過，具體可以為:
[0115]如果時間間隔在預設時間范圍內、在所述廣角相機中的相對位置在預設距離內、并且兩張人臉圖像的特征表達的相似度高于預設閾值，則確定所述人臉已經被存儲過。
[0116]本申請實施例中的相似度的衡量標準可以為:如果時間間隔(出現幀的時間間隔)在預設時間閾值T以內、相對距離(人臉區域在廣角相機下坐標的相對距離)在預設距離閾值D以內、兩張人臉圖像的特征表達相似度高于預設相似度閾值S，那么，判定該人臉為已出現過的人臉;否則，該人臉為沒有出現過。
[0117]在進行相似度比較時，可以首先提取相應的人臉的特征信息，特征信息可以包括時間(當前時刻)、人臉出現位置(相對于廣角相機所拍攝的視頻中的坐標)、以及人臉區域提取的特征(feature)表達，其中，所述特征表達可以為尺度不變特征轉換(SIFT，Scale-1nvar iant feature transform)、方向梯度直方圖(HOG ,Histogram of OrientedGradient)、局部二值模式(LBP，Local Binary Pattern)等方式表達的特征。
[0118]本申請實施例通過上述方法可以將那些在較短時間、較近距離的相似人臉確定為重復的人臉，綜合了時間、空間、人臉相似度的人臉記錄去重，使得人臉去重操作更加精確。
[0119]現有技術中，人臉抓拍系統均是采用基于Adaboost算法訓練的Haar-1ike特征級聯分類器或者其變種來進行人臉檢測。然而，這種方式對復雜場景的支持較差。
[0120]為了得到更好的抓拍效果，本申請實施例可以采用如下方式實施。
[0121]實施中，所述根據所述視頻數據檢測人體所在區域，具體可以為:
[0122]對所述廣角相機獲取到的視頻圖像進行預處理；
[0123]將所述視頻圖像輸入預先訓練得到的人體檢測深度卷積神經網絡，得到特征圖譜;所述特征圖譜上像素點的作用域對應于所述視頻圖像中的圖片塊，所述特征圖譜上所有像素點的作用域對應于所述視頻圖像；
[0124]利用多個不同尺度和/或長寬比的預設滑動窗口對所述特征圖譜進行掃描，得到人體所在區域的分值；
[0125]確定所述分值超過預設第一閾值且局部得分最高的區域為所述人體所在區域。
[0126]具體實施中，本申請實施例可以預先采集大量人體樣本，經過訓練得到人體檢測深度卷積神經網絡，將處理后的視頻圖像輸入所述人體檢測深度卷積神經網絡即可得到人體特征圖譜。本申請實施例中所述訓練人體檢測深度卷積神經網絡可以采用現有的深度卷積神經網絡的訓練方式，本申請在此不做贅述。
[0127]本申請實施例中將特征圖譜整體分值超過一定閾值、且局部得分最高的區域作為人體所在區域，從而進一步提高人體區域檢測的精確度，具體實施時一幅視頻圖像內可以檢測出多個人體所在區域，具體根據監控場景內人的數量和位置確定。
[0128]實施中，所述對所述長焦相機獲取到的視頻數據進行人臉檢測，具體可以為:
[0129]對所述長焦相機獲取到的視頻圖像進行預處理；
[0130]將所述視頻圖像輸入預先訓練得到的人臉檢測深度卷積神經網絡，得到特征圖譜;所述特征圖譜上像素點的作用域對應于所述視頻圖像中的圖片塊，所述特征圖譜上所有像素點的作用域對應于所述視頻圖像；
[0131]利用多個不同尺度和/或長寬比的預設滑動窗口對所述特征圖譜進行掃描，得到人臉所在區域的分值；
[0132]確定所述分值超過預設第二閾值且局部得分最高的區域為所述人臉所在區域。
[0133]具體實施時，所述對視頻圖像進行預處理可以為:等比例縮放，將圖像調整為預設尺寸(例如:M*N);或者將圖像調整為預設色彩空間(例如:灰度圖、BGR或者YUV等)；還可以為減去平均人體或人臉的像素值等處理。
[0134]本申請實施例中所述人臉檢測深度卷積神經網絡可以根據預先采集得到的大量的人臉樣本進行訓練得到，具體訓練方法可以采用現有技術，本申請在此不做贅述。
[0135]本申請實施例中將廣角相機或長焦相機獲取到的視頻圖像作為輸入圖像，逐層輸入到多次卷積層，可以得到中間層的特征圖譜(feature maps)，圖譜上的每一個點的作用域(receptive field)對應于原圖中的一個圖片塊(patch)，圖譜上所有點的作用域對應于輸入的整張原圖。其中，卷積層可以采用現有的AlexNet的前5層卷積層，也可以由本領域技術人員自行開發實現，本申請對此不作限制。
[0136]經過卷積計算輸出的特征圖譜，可以再用多個不同尺度和長寬比的滑動窗口進行掃描，得到對應于原始視頻圖像中不同尺度和長寬比的圖片塊(patch)的評分(score)，如果得分越高，則代表該圖片塊更可能為人體或人臉的所在區域。
[0137]具體實施時，所述卷積核、滑動窗口等均可以根據預先獲取的大量樣本(人體/人臉)進行機器學習、訓練得到，其具體實現技術可以采用現有的訓練分類器等，本申請在此不做贅述。
[0138]具體實施時一幅視頻圖像內可以檢測出多個人臉所在區域，具體根據監控場景內人臉的數量和位置確定。
[0139]本申請實施例可以采用全卷積深度神經網絡進行人體或人臉的檢測，可以適應于任意大小的輸入圖像，通過一次運算可以得到所有滑動窗口的檢測結果，并且在不增加額外運算復雜的前提下，能夠實現多尺度和長寬比的人體/人臉檢測，檢測速度更快、檢測效果更準。
[0140]本申請實施例采用更為先進的基于深度學習的人體/人臉檢測算法，能夠實現更精確的人體/人臉檢測，以及適應更加復雜多變的應用場景。
[0141]實施例二、
[0142]為了實現超遠距離的人臉抓拍，本申請可以利用聯動相機組的廣角相機對感興趣的區域進行初篩，然后再對感興趣的區域調用長焦相機拍攝高清超遠距離的視頻，進行高精度的人臉抓拍。
[0143]圖2示出了本申請實施例二中人臉抓拍過程示意圖，如圖所示，所述人臉抓拍過程可以包括以下步驟:
[0144]步驟201、對廣角相機視野做人體檢測；
[0145]從廣角相機中獲取圖片，利用深度神經網絡做人體檢測，在粗放角度下對可能出現目標(人臉)的區域(有人體出現的地方)進行初篩。
[0146]步驟202、判斷是否找到感興趣區域；
[0147]如果找到，執行步驟203;
[0148]如果沒找到，跳回步驟201。
[0149]所述感興趣區域可以是人體出現的區域、人員密集的區域、視野中的敏感區域等。
[0150]步驟203、將長焦鏡頭定位到該區域；
[0151]利用聯動相機組調度長焦相機對準該區域，拍攝遠距離高清畫面。
[0152]步驟204、對當前視野做人臉檢測；
[0153]對長焦相機拍攝區域，利用深度神經網絡做人臉檢測。
[0154]步驟205、判斷是否檢測到人臉；
[0155]如果檢測到人臉，則執行步驟206;
[0156]如果沒有檢測到人臉，跳回步驟201。
[0157]具體實施時，如果檢測到多張人臉，假設為N張人臉，后續步驟可以循環執行N此，分別對每張人臉進行后續操作。
[0158]步驟206、提取特征，查找相似人臉。
[0159]提取相應人臉特征信息，特征信息包含當前時刻、人臉在廣角相機中的坐標、以及人臉區域提取的特征表達。
[0160]步驟207、判斷所述人臉是否之前出現過；
[0161 ]如果出現過，則執行步驟208;
[0162]如果沒出現過，則執行步驟209。
[0163]根據提取的人臉特征與緩存/數據庫中已結構化的人臉進行相似度比較，判斷是否為已出現過的人。
[0164]例如:假設該人臉與已存儲的人臉出現幀的時間間隔在3s內、在廣角相機下坐標的相對距離為5個像素、兩張人臉的特征表達相似度為90%，則本申請實施例可以判定該人臉為已出現過的人臉，否則，為沒有出現過的人臉。
[0165]步驟208、判斷是否比之前圖像質量好；
[0166]如果該人臉圖像比之前圖像質量更高，則執行步驟210;
[0167]如果沒有之前圖像質量高，則拋棄該人臉圖像，處理下一張人臉，執行步驟205。
[0168]步驟209、存儲該人臉圖像；
[0169]步驟210、更新該人臉圖像。
[0170]在緩存或數據庫中更新(之前已有記錄)或添加(之前沒有記錄)該人的人臉圖像。
[0171]本申請實施例采用分級檢測，結合廣角相機下的粗放型人體檢測、以及窄角相機下的精準人臉檢測，實現高效的超遠距離的高清人臉抓拍，適用于廣場、集市等諸多場景。
[0172]實施例三、
[0173]下面本申請實施例對人體/人臉檢測所涉及的深度神經網絡結構進行說明。
[0174]圖3示出了本申請實施例三中人體/或人臉檢測的過程示意圖，如圖所示，所述人體或人臉檢測過程可以包括如下步驟:
[0175]步驟301、對人體或人臉圖像進行預處理。
[0176]將圖片(人體檢測所輸入圖片可以為廣角相機拍攝，人臉檢測所輸入圖片可以為長焦相機拍攝)進行預處理:等比例縮放調整為合理尺寸(假設為300*500)、調整為統一色彩空間(例如BGR)、以及減去平均人體/人臉的像素值等。
[0177]步驟302、將圖像進行多次卷積計算，得到特征圖像。
[0178]對輸入圖片逐層輸入到多次卷積層，得到中間層的特征圖譜(featuremaps)，圖譜上的每一個點的作用域(receptive field)對應于原圖中的一個圖片塊(patch)，圖譜上所有點的作用域對應于I)中輸入的整張原圖。
[0179]步驟303、利用多個不同尺度和長寬比的滑動窗口對所述特征圖像進行掃描。
[0180]對步驟302中輸出的特征圖譜用多個不同尺度和長寬比的滑動窗口進行掃描，其有兩個輸出:
[ΟΙ81 ]輸出之一為對應于原圖中不同尺度和長寬比的圖片塊(patch)的評分(score)，如果得分越高，則代表該圖片塊更可能為人體/人臉所在區域。
[0182]另一輸出為對目標人體/人臉區域圖片塊邊界區域的進行回歸處理后得到的與準確人體/人臉區域的偏移量(因為以上在特征圖譜上的滑動窗口和可能并不能完全準確的恰好框到完整的人體/人臉區域，所以需要做一個回歸操作)。
[0183]步驟304、根據掃描結果確定人體/人臉的區域。
[0184]對以上人體/人臉區域按照評分(score)進行降序排序，并刪除相鄰區域下過多的被選框(因為同一人很可能被多個框框住，只需要保留評分最高的那個即可)，得到最終的輸出:人體/人臉檢測的目標區域(bounding box)。
[0185]相比現有基于傳統機器學習方法的系統，本申請實施例可以利用深度神經網絡實現人體/人臉檢測，使得算法能夠適應復雜多變場景。
[0186]實施例四、
[0187]基于同一發明構思，本申請實施例中還提供了一種人臉抓拍系統，這些設備的實施與一種人臉抓拍方法的實施原理相似，重復之處不再贅述，下面進行說明。
[0188]圖4示出了本申請實施例四中人臉抓拍系統的結構示意圖一，如圖所示，所述人臉抓拍系統可以包括:聯動相機組、第一檢測模塊402和第二檢測模塊404，所述聯動相機組包括廣角相機401和長焦相機403，其中，
[0189]所述廣角相機401，用于獲取監控場景中的廣角視頻數據；
[0190]所述第一檢測模塊402，用于根據所述視頻數據檢測人體所在區域；
[0191]所述長焦相機403，用于獲取所述人體所在區域的視頻數據；
[0192]所述第二檢測模塊404，用于對所述長焦相機獲取到的視頻數據進行人臉檢測，得到人臉圖像。
[0193]具體實施時，廣角相機可以是采用廣角鏡頭的相機，長焦相機可以是采用長焦鏡頭的相機，這些相機可以是數碼相機。本申請實施例中的聯動相機組可以包括一個廣角相機和一個長焦相機，也可以包括多個廣角相機和多個長焦相機，在具體實施時，可以在檢測到廣角相機中多個人體后，由多個長焦相機分別對準所述多個人體進行拍攝，或一個長焦相機每間隔一段時間對準一個人體，進行輪詢，從而獲取同一場景內多個人物的視頻數據。
[0194]所述第一檢測模塊和所述第二檢測模塊均可以采用現有的圖像識別技術實現，本領域技術人員也可以進行相應的開發設計，只要能夠檢測出人體/人臉即可，本申請對此不作限制。
[0195]本申請實施例結合了不同相機的優勢，可以利用廣角相機獲取大范圍監控場景內的人體目標，然后可以利用長焦相機獲取遠距離高清晰人臉，克服了傳統人臉抓拍系統必須依賴于近距離拍攝人臉的缺點。
[0196]圖5示出了本申請實施例四中人臉抓拍系統的結構示意圖二，如圖所示，所述人臉抓拍系統可以進一步包括:
[0197]第一比較模塊405，用于將所述人臉圖像與已存儲的人臉圖像進行相似度比較；
[0198]確定模塊406，用于根據所述相似度比較的結果，確定所述人臉是否已經被存儲過。
[0199]具體實施時，所述第一比較模塊可以用于將所述人臉圖像與已存儲在緩存或數據庫中的人臉圖像進行比較，所述已存儲在緩存或數據庫中的人臉圖像為已結構化的圖像。
[0200 ]圖6示出了本申請實施例四中人臉抓拍系統的結構示意圖三，如圖所示，所述人臉抓拍系統可以進一步包括:
[0201]添加模塊407，用于在確定所述人臉未被存儲過時，存儲所述人臉圖像。
[0202]具體實施時，所述添加模塊可以具體用于在確定所述人臉未被存儲過時，將所述人臉圖像存儲至緩存或數據庫中。
[0203]圖7示出了本申請實施例四中人臉抓拍系統的結構示意圖四，如圖所示，所述人臉抓拍系統可以進一步包括:
[0204]第二比較模塊408，用于在確定所述人臉已經被存儲過時，比較所述人臉圖像與已存儲的人臉圖像的圖像質量；
[0205]更新模塊409，用于在所述人臉圖像比已存儲的人臉圖像的圖像質量高時，更新所述已存儲的人臉圖像。
[0206]具體實施時，所述更新模塊可以具體用于在所述人臉圖像比已存儲的人臉圖像的圖像質量高時，將所述已存儲的人臉圖像刪除，存儲本次獲取到的人臉圖像。
[0207]圖8示出了本申請實施例四中第一比較模塊的結構示意圖，如圖所示，所述第一比較模塊405具體可以包括:
[0208]特征提取單元4051，用于根據所述人臉圖像提取所述人臉的特征信息，所述特征信息包括當前時間、人臉在所述廣角相機中的位置、以及根據所述人臉圖像提取的特征表達；
[0209]比較單元4052，用于將所述人臉的特征信息與已存儲的人臉圖像的特征信息進行相似度比較；
[0210]所述確定模塊具體可以用于如果時間間隔在預設時間范圍內、在所述廣角相機中的相對位置在預設距離內、并且兩張人臉圖像的特征表達的相似度高于預設閾值，則確定所述人臉已經被存儲過。
[0211]本申請實施例將那些在較短時間、較近距離的相似人臉確定為重復的人臉，綜合了時間、空間、人臉相似度的人臉記錄去重，使得人臉去重操作更加精確。
[0212]圖9示出了本申請實施例四中第一檢測模塊的結構示意圖，如圖所示，所述第一檢測模塊402具體可以包括:
[0213]第一預處理單元4021，用于對所述廣角相機獲取到的視頻圖像進行預處理；
[0214]第一卷積單元4022，用于將所述視頻圖像輸入預先訓練得到的人體檢測深度卷積神經網絡，得到特征圖譜;所述特征圖譜上像素點的作用域對應于所述視頻圖像中的圖片塊，所述特征圖譜上所有像素點的作用域對應于所述視頻圖像；
[0215]第一輸出單元4023，用于利用多個不同尺度和/或長寬比的預設滑動窗口對所述特征圖譜進行掃描，得到人體所在區域的分值；
[0216]第一確定單元4024，用于確定所述分值超過預設第一閾值且局部得分最高的區域為所述人體所在區域。
[0217]圖10示出了本申請實施例四中第二檢測模塊的結構示意圖，如圖所示，所述第二檢測模塊404具體可以包括:
[0218]第二預處理單元4041，用于對所述長焦相機獲取到的視頻圖像進行預處理；
[0219]第二卷積單元4042，用于將所述視頻圖像輸入預先訓練得到的人臉檢測深度卷積神經網絡，得到特征圖譜;所述特征圖譜上像素點的作用域對應于所述視頻圖像中的圖片塊，所述特征圖譜上所有像素點的作用域對應于所述視頻圖像；
[0220]第二輸出單元4043，用于利用多個不同尺度和/或長寬比的預設滑動窗口對所述特征圖譜進行掃描，得到人臉所在區域的分值；
[0221]第二確定單元4044，用于確定所述分值超過預設第二閾值且局部得分最高的區域為所述人臉所在區域。
[0222]本申請實施例所提供的人臉抓拍系統，所述廣角相機獲取監控場景中的視頻數據，第一檢測模塊根據所述視頻數據檢測到人體所在區域，然后所述長焦相機獲取所述人體所在區域的視頻數據，最終，第二檢測模塊對所述長焦相機獲取到的視頻數據進行人臉檢測，得到人臉圖像，本申請實施例結合了不同相機的優勢，可以利用廣角相機獲取大范圍監控場景內的人體目標，然后可以利用長焦相機獲取遠距離高清晰人臉，克服了傳統人臉抓拍系統必須依賴于近距離拍攝人臉的缺點，可以適應于更加復雜多變的應用場景。
[0223]為了描述的方便，以上所述裝置的各部分以功能分為各種模塊或單元分別描述。當然，在實施本申請時可以把各模塊或單元的功能在同一個或多個軟件或硬件中實現。
[0224]本領域內的技術人員應明白，本申請的實施例可提供為方法、系統、或計算機程序產品。因此，本申請可采用完全硬件實施例、完全軟件實施例、或結合軟件和硬件方面的實施例的形式。而且，本申請可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(包括但不限于磁盤存儲器、CD-ROM、光學存儲器等)上實施的計算機程序產品的形式。
[0225]本申請是參照根據本申請實施例的方法、設備(系統)、和計算機程序產品的流程圖和/或方框圖來描述的。應理解可由計算機程序指令實現流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合。可提供這些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數據處理設備的處理器以產生一個機器，使得通過計算機或其他可編程數據處理設備的處理器執行的指令產生用于實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。
[0226]這些計算機程序指令也可存儲在能引導計算機或其他可編程數據處理設備以特定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產生包括指令裝置的制造品，該指令裝置實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。
[0227]這些計算機程序指令也可裝載到計算機或其他可編程數據處理設備上，使得在計算機或其他可編程設備上執行一系列操作步驟以產生計算機實現的處理，從而在計算機或其他可編程設備上執行的指令提供用于實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。
[0228]盡管已描述了本申請的優選實施例，但本領域內的技術人員一旦得知了基本創造性概念，則可對這些實施例作出另外的變更和修改。所以，所附權利要求意欲解釋為包括優選實施例以及落入本申請范圍的所有變更和修改。
【主權項】
1.一種人臉抓拍方法，其特征在于，包括如下步驟: 利用廣角相機獲取監控場景中的廣角視頻數據； 根據所述視頻數據檢測人體所在區域； 利用長焦相機獲取所述人體所在區域的視頻數據； 對所述長焦相機獲取到的視頻數據進行人臉檢測，得到人臉圖像。2.如權利要求1所述的方法，其特征在于，進一步包括: 將所述人臉圖像與已存儲的人臉圖像進行相似度比較； 根據所述相似度比較的結果，確定所述人臉是否已經被存儲過。3.如權利要求2所述的方法，其特征在于，進一步包括: 如果確定所述人臉未被存儲過，存儲所述人臉圖像。4.如權利要求2所述的方法，其特征在于，進一步包括: 如果確定所述人臉已經被存儲過，比較所述人臉圖像與已存儲的人臉圖像的圖像質量； 在所述人臉圖像比已存儲的人臉圖像的圖像質量高時，更新所述已存儲的人臉圖像。5.如權利要求2所述的方法，其特征在于，所述根據所述人臉圖像與已存儲的人臉圖像進行相似度比較，具體為:根據所述人臉圖像提取所述人臉的特征信息，所述特征信息包括當前時間、人臉在所述廣角相機中的位置、以及根據所述人臉圖像提取的特征表達;將所述人臉的特征信息與已存儲的人臉圖像的特征信息進行相似度比較； 所述根據所述相似度比較的結果，確定所述人臉是否已經被存儲過，具體為:如果時間間隔在預設時間范圍內、在所述廣角相機中的相對位置在預設距離內、并且兩張人臉圖像的特征表達的相似度高于預設閾值，則確定所述人臉已經被存儲過。6.如權利要求1所述的方法，其特征在于，所述根據所述視頻數據檢測人體所在區域，具體為: 對所述廣角相機獲取到的視頻圖像進行預處理； 將所述視頻圖像輸入預先訓練得到的人體檢測深度卷積神經網絡，得到特征圖譜;所述特征圖譜上像素點的作用域對應于所述視頻圖像中的圖片塊，所述特征圖譜上所有像素點的作用域對應于所述視頻圖像； 利用多個不同尺度和/或長寬比的預設滑動窗口對所述特征圖譜進行掃描，得到人體所在區域的分值； 確定所述分值超過預設第一閾值且局部得分最高的區域為所述人體所在區域。7.如權利要求1所述的方法，其特征在于，所述對所述長焦相機獲取到的視頻數據進行人臉檢測，具體為: 對所述長焦相機獲取到的視頻圖像進行預處理； 將所述視頻圖像輸入預先訓練得到的人臉檢測深度卷積神經網絡，得到特征圖譜;所述特征圖譜上像素點的作用域對應于所述視頻圖像中的圖片塊，所述特征圖譜上所有像素點的作用域對應于所述視頻圖像； 利用多個不同尺度和/或長寬比的預設滑動窗口對所述特征圖譜進行掃描，得到人臉所在區域的分值； 確定所述分值超過預設第二閾值且局部得分最高的區域為所述人臉所在區域。8.一種人臉抓拍系統，其特征在于，包括:聯動相機組、第一檢測模塊和第二檢測模塊，所述聯動相機組包括廣角相機和長焦相機，其中， 所述廣角相機，用于獲取監控場景中的廣角視頻數據； 所述第一檢測模塊，用于根據所述視頻數據檢測人體所在區域； 所述長焦相機，用于獲取所述人體所在區域的視頻數據； 所述第二檢測模塊，用于對所述長焦相機獲取到的視頻數據進行人臉檢測，得到人臉圖像。9.如權利要求8所述的系統，其特征在于，進一步包括: 第一比較模塊，用于將所述人臉圖像與已存儲的人臉圖像進行相似度比較； 確定模塊，用于根據所述相似度比較的結果，確定所述人臉是否已經被存儲過。10.如權利要求9所述的系統，其特征在于，進一步包括: 添加模塊，用于在確定所述人臉未被存儲過時，存儲所述人臉圖像。11.如權利要求9所述的系統，其特征在于，進一步包括: 第二比較模塊，用于在確定所述人臉已經被存儲過時，比較所述人臉圖像與已存儲的人臉圖像的圖像質量； 更新模塊，用于在所述人臉圖像比已存儲的人臉圖像的圖像質量高時，更新所述已存儲的人臉圖像。12.如權利要求9所述的系統，其特征在于，所述第一比較模塊具體包括: 特征提取單元，用于根據所述人臉圖像提取所述人臉的特征信息，所述特征信息包括當前時間、人臉在所述廣角相機中的位置、以及根據所述人臉圖像提取的特征表達； 比較單元，用于將所述人臉的特征信息與已存儲的人臉圖像的特征信息進行相似度比較； 所述確定模塊具體用于如果時間間隔在預設時間范圍內、在所述廣角相機中的相對位置在預設距離內、并且兩張人臉圖像的特征表達的相似度高于預設閾值，則確定所述人臉已經被存儲過。13.如權利要求8所述的系統，其特征在于，所述第一檢測模塊具體包括: 第一預處理單元，用于對所述廣角相機獲取到的視頻圖像進行預處理； 第一卷積單元，用于將所述視頻圖像輸入預先訓練得到的人體檢測深度卷積神經網絡，得到特征圖譜;所述特征圖譜上像素點的作用域對應于所述視頻圖像中的圖片塊，所述特征圖譜上所有像素點的作用域對應于所述視頻圖像； 第一輸出單元，用于利用多個不同尺度和/或長寬比的預設滑動窗口對所述特征圖譜進行掃描，得到人體所在區域的分值； 第一確定單元，用于確定所述分值超過預設第一閾值且局部得分最高的區域為所述人體所在區域。14.如權利要求8所述的系統，其特征在于，所述第二檢測模塊具體包括: 第二預處理單元，用于對所述長焦相機獲取到的視頻圖像進行預處理； 第二卷積單元，用于將所述視頻圖像輸入預先訓練得到的人臉檢測深度卷積神經網絡，得到特征圖譜;所述特征圖譜上像素點的作用域對應于所述視頻圖像中的圖片塊，所述特征圖譜上所有像素點的作用域對應于所述視頻圖像； 第二輸出單元，用于利用多個不同尺度和/或長寬比的預設滑動窗口對所述特征圖譜進行掃描，得到人臉所在區域的分值； 第二確定單元，用于確定所述分值超過預設第二閾值且局部得分最高的區域為所述人臉所在區域。
【文檔編號】G06K9/32GK105930822SQ201610308462
【公開日】2016年9月7日
【申請日】2016年5月11日
【發明人】左珍
【申請人】北京格靈深瞳信息技術有限公司