人臉追蹤的方法

人臉追蹤的方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種人臉追蹤的方法，用以檢測(cè)并追蹤一時(shí)間區(qū)間內(nèi)出現(xiàn)于同一區(qū)域的至少一人臉。本發(fā)明的方法包括一圖像取得步驟，至少一整幅圖像的人臉檢測(cè)步驟以及至少一人臉追蹤步驟。于人臉追蹤步驟中，于當(dāng)前圖像中的一人臉圖像附近設(shè)置多個(gè)追蹤框，并計(jì)算當(dāng)前圖像的人臉圖像與下一圖像中對(duì)應(yīng)每一追蹤框的位置所包含的圖像之間的相似度，而判斷該人臉是否出現(xiàn)于下一圖像中。本發(fā)明方法可以縮短人臉追蹤所需的時(shí)間。
【專(zhuān)利說(shuō)明】人臉追蹤的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種人臉追蹤的方法，尤其涉及一種追蹤同一區(qū)域的多個(gè)人臉的方法。
【背景技術(shù)】
[0002]電視廣告或者電視劇的播放效果如何，可以通過(guò)收視率來(lái)統(tǒng)計(jì)，但對(duì)于日益廣泛使用的各種數(shù)字看板，其廣告播放的效果并沒(méi)有統(tǒng)一高效的系統(tǒng)進(jìn)行統(tǒng)計(jì)。但如何根據(jù)觀眾的回饋來(lái)選擇不同的廣告播放以及評(píng)估觀眾對(duì)廣告的關(guān)注程度，對(duì)廣告商而言是非常重要的。因此，許多人開(kāi)始開(kāi)發(fā)與數(shù)字看板前人數(shù)計(jì)算相關(guān)的技術(shù)，以下將說(shuō)明目前已知的人數(shù)計(jì)算方法。
[0003]請(qǐng)參照至圖1，圖1顯示公知的計(jì)算與追蹤人次的方法的流程圖。首先進(jìn)行步驟110，提供一數(shù)據(jù)庫(kù)，其中該數(shù)據(jù)庫(kù)記錄至少一筆人物信息，且每筆人物信息分別為不同的已追蹤人物的追蹤當(dāng)時(shí)位置、外表特征，以及停留時(shí)間。
[0004]接著如步驟120所示，取得在一輸入圖像中表示待測(cè)人物的人物區(qū)域。其中，在取得輸入圖像之后，可利用任何計(jì)算機(jī)視覺(jué)相關(guān)技術(shù)(例如OpenCV開(kāi)放源碼函數(shù)庫(kù))來(lái)搜尋輸入圖像是否具有矩形框所組成的特征(例如Haar-1ike特征)，并利用適當(dāng)?shù)姆诸?lèi)算法(例如AdaBoost算法)來(lái)檢測(cè)所有可能是人物所在之處的人物候選區(qū)域，接著刪除不適當(dāng)?shù)娜宋锖蜻x區(qū)域，而后取得各人物候選區(qū)域的顏色，并判斷上述顏色是否為膚色以進(jìn)一步從中篩選出人物區(qū)域。
[0005]接下來(lái)如步驟130所示，提取人物區(qū)域的目前位置與目前外表特征。
[0006]接著在步驟140中，將人物區(qū)域所對(duì)應(yīng)的待測(cè)人物的目前位置及目前外表特征與數(shù)據(jù)庫(kù)中的每筆人物信息進(jìn)行比對(duì)，并以比對(duì)產(chǎn)生的相似度判斷待測(cè)人物是否為任何已追蹤人物。
[0007]以下將說(shuō)明根據(jù)相似度來(lái)判斷待測(cè)人物是否為任何已追蹤人物的詳細(xì)步驟。
[0008]首先，取得數(shù)據(jù)庫(kù)中的一筆人物信息。接著計(jì)算所取得的人物信息與待測(cè)人物的目前外表特征的臉部紋理相似度以及身體紋理相似度。
[0009]除此之外，還必須計(jì)算所取得的人物信息相較于待測(cè)人物的目前位置的位移量。
[0010]最后，利用臉部紋理相似度、身體紋理相似度以及位移量來(lái)計(jì)算所取得的人物信息與待測(cè)人物的相似度。
[0011]重復(fù)自數(shù)據(jù)庫(kù)中取得一筆人物信息并進(jìn)行上述步驟，便可計(jì)算每筆人物信息分別與待測(cè)人物之間的多個(gè)相似度。
[0012]若多個(gè)相似度中的最高相似度的數(shù)值大于第一預(yù)設(shè)值，則判定待測(cè)人物相符于具有最聞相似度的已追蹤人物。
[0013]此時(shí)如步驟150所示，依照待測(cè)人物的目前位置與目前外表特征更新數(shù)據(jù)庫(kù)中相符的已追蹤人物的人物信息。
[0014]接著回到步驟140，若所計(jì)算出的每個(gè)相似度均小于第二預(yù)設(shè)值，則判定待測(cè)人物與所有的已追蹤人物均不相符。
[0015]此時(shí)如步驟160所示，在數(shù)據(jù)庫(kù)新增一筆對(duì)應(yīng)待測(cè)人物的人物信息，以將待測(cè)人物記錄為新的已追蹤人物。
[0016]在新增人物信息時(shí)若數(shù)據(jù)庫(kù)的容量已到達(dá)臨界容量，則先取得數(shù)據(jù)庫(kù)中每筆人物信息最后一次的更新時(shí)間，接著將最久未被更新的人物信息刪除。
[0017]綜合以上所述可知，公知的計(jì)算與追蹤人次的方法是于每一輸入圖像中檢測(cè)表示待測(cè)人物的人物區(qū)域，再一一比對(duì)每一待測(cè)人物與數(shù)據(jù)庫(kù)中的任何已追蹤人物是否為同一人，以達(dá)成計(jì)算與追蹤人次的目的。
[0018]公知的方法將耗費(fèi)龐大的時(shí)間于每一輸入圖像的人臉檢測(cè)作業(yè)，當(dāng)數(shù)據(jù)庫(kù)人數(shù)增多時(shí)，取得每一輸入圖像的待測(cè)人物后，再一一將待測(cè)人物與數(shù)據(jù)庫(kù)中所有已追蹤人物進(jìn)行比對(duì)，又將提升整體的處理時(shí)間，使得公知的方法所需作業(yè)時(shí)間過(guò)長(zhǎng)，且需要較好的設(shè)備以完成如此冗長(zhǎng)而龐大的計(jì)算過(guò)程，并不符合多數(shù)人的需求。
[0019]再者，公知的方法于數(shù)據(jù)庫(kù)容量到達(dá)臨界容量時(shí)，會(huì)將最久未被更新的人物信息刪除，如此將使得作業(yè)結(jié)束后有部分人物信息丟失，因此最終結(jié)果并不準(zhǔn)確，若欲解決此問(wèn)題只能分次處理數(shù)據(jù)，以避免人物信息過(guò)多而丟失，如此亦將造成處理時(shí)間的延長(zhǎng)并提高作業(yè)的復(fù)雜度。
[0020]因此需要一種改良的計(jì)算與追蹤人次的方法以克服公知的計(jì)算與追蹤人次的方法問(wèn)題。

【發(fā)明內(nèi)容】

[0021]針對(duì)現(xiàn)有技術(shù)中存在的問(wèn)題，本發(fā)明的目的在于提供一種運(yùn)算快速的人臉追蹤方法。
[0022]本發(fā)明的目的在于提供一種人臉追蹤的方法，用以檢測(cè)并追蹤一時(shí)間區(qū)間內(nèi)出現(xiàn)于同一區(qū)域的多個(gè)人臉，該方法包括:
[0023]一圖像取得步驟，包括:
[0024]連續(xù)以同一視角拍攝同一區(qū)域以取得多個(gè)圖像；
[0025]一第一人臉檢測(cè)步驟，包括:
[0026]自該多個(gè)圖像提取一當(dāng)前圖像；
[0027]檢測(cè)整幅該當(dāng)前圖像是否具有人臉圖像；以及
[0028]于檢測(cè)到該當(dāng)前圖像中包含一第一人臉的圖像時(shí)，將對(duì)應(yīng)于該第一人臉的一第一人物信息存入一數(shù)據(jù)庫(kù)；以及
[0029]一第一人臉追蹤步驟，用以尋找該第一人臉是否存在于該當(dāng)前圖像的一下一圖像中，包括:
[0030]于該當(dāng)前圖像中，以包含該第一人臉的一第一人臉框?yàn)橹行脑O(shè)置多個(gè)第一追蹤框；
[0031]提取該下一圖像；
[0032]分別計(jì)算該下一圖像中對(duì)應(yīng)該多個(gè)第一追蹤框之處所包含的圖像與該第一人臉框內(nèi)的圖像的多個(gè)相似度；以及
[0033]于該下一圖像中，對(duì)與該第一人臉框的圖像具有最高相似度的該第一追蹤框內(nèi)的圖像進(jìn)行人臉檢測(cè)，并于該具有最高相似度的該第一追蹤框內(nèi)包含一人臉圖像時(shí)判斷該人臉圖像為該第一人臉圖像并以對(duì)應(yīng)于該具有最高相似度的該第一追蹤框的信息更新該第一人物信息，而于該具有最高相似度的該第一追蹤框內(nèi)未包含該人臉圖像時(shí)，判斷該第一人臉不存在于該下一圖像中并更新該第一人物信息。
[0034]于一較佳實(shí)施例中，其中該第一人物信息包括該第一人臉于每一圖像的一位置、該第一人臉于每一圖像的一追蹤狀態(tài)、該第一人臉的一存在巾貞數(shù)、該第一人臉的一臉部紋理特征以及該第一人臉的臉部下方的一顏色特征，其中該追蹤狀態(tài)包括一持續(xù)追蹤狀態(tài)、一丟失狀態(tài)以及一停止追蹤狀態(tài)，當(dāng)該第一人臉的圖像存在于一圖像中時(shí)，該第一人臉的該追蹤狀態(tài)為該持續(xù)追蹤狀態(tài)，當(dāng)該第一人臉的圖像不存在于該圖像中時(shí)，該第一人臉的該追蹤狀態(tài)為該丟失狀態(tài)，而當(dāng)該第一人臉的圖像不存在于連續(xù)的多個(gè)圖像中時(shí)，該第一人臉的該追蹤狀態(tài)則為該停止追蹤狀態(tài)。
[0035]于一較佳實(shí)施例中，其中，于該第一人臉追蹤步驟后還包括一第二人臉追蹤步驟，用以尋找該第一人臉是否存在于該下一圖像的一后續(xù)圖像中，其中，于具有最高相似度的該第一追蹤框具有人臉圖像時(shí)，該第二人臉追蹤步驟包括:
[0036]于該下一圖像中分別以每一該第一追蹤框?yàn)橹行脑O(shè)置多個(gè)第二追蹤框，其中以每一該第一追蹤框?yàn)橹行脑O(shè)置的該第二追蹤框的數(shù)目依據(jù)每一該第一追蹤框的圖像與該第一人臉圖像的該相似度而定；
[0037]提取該下一圖像的一后續(xù)圖像；
[0038]分別計(jì)算該后續(xù)圖像中對(duì)應(yīng)該多個(gè)第二追蹤框之處所包含的圖像與該下一圖像中該具有最高相似度的該第一追蹤框內(nèi)的圖像的多個(gè)相似度；以及
[0039]于該后續(xù)圖像中，對(duì)與具有最高相似度的該第一追蹤框的相似度最高的一第二追蹤框內(nèi)的圖像進(jìn)行人臉檢測(cè)，并于該具有最高相似度的該第二追蹤框內(nèi)包含一人臉圖像時(shí)，判斷該人臉圖像為該第一人臉的圖像并以對(duì)應(yīng)于該具有最高相似度的該第二追蹤框的信息更新該第一人物信息，而于該具有最高相似度的該第一追蹤框內(nèi)未包含該人臉圖像時(shí)，判斷該第一人臉不存在于該下一圖像中并更新該第一人物信息。
[0040]于一較佳實(shí)施例中，其中，于該第二人臉追蹤步驟之后還包括一第二人臉檢測(cè)步驟，用以對(duì)該后續(xù)圖像的全幅圖像進(jìn)行人臉檢測(cè)，以檢驗(yàn)該后續(xù)圖像是否具有另一人臉圖像。
[0041]于一較佳實(shí)施例中，其中，于該第二人臉檢測(cè)步驟于該后續(xù)圖像中檢測(cè)到一第二人臉且該具有最高相似度的該第二追蹤框具該人臉圖像時(shí)，進(jìn)行一比對(duì)步驟以檢驗(yàn)該第二人臉與該第一人臉是否為同一人，該比對(duì)步驟包括:
[0042]比較包含該第二人臉的一第二人臉框的位置與該具有最大相似度的該第二追蹤框的位置；
[0043]于該第二人臉框的位置與該具有最大相似度的該第二追蹤框的位置高比例重疊時(shí)，判斷該第二人臉與該第一人臉為同一人并以對(duì)應(yīng)于該第二人臉的一第二人物信息更新該第一人物信息，而于該第二人臉框的位置與該第二追蹤框的位置未高比例重疊時(shí)，比對(duì)該第二人臉與該第一人臉的臉部紋理相似度以及該第二人臉與該第一人臉的臉部下方的顏色相似度；以及
[0044]于該第二人臉與該第一人臉的臉部紋理以及臉部下方的顏色相似度未超過(guò)一第一閥值時(shí)，判斷第二人臉與第一人臉不是同一人并將對(duì)應(yīng)于該第二人臉的該第二人物信息存入該數(shù)據(jù)庫(kù)，而于該相似度超過(guò)該第一閥值時(shí)，判斷該第二人臉與該第一人臉為同一人并以該第二人物信息更新該第一人物信息。
[0045]于一較佳實(shí)施例中，其中該第二人物信息包括該第二人臉于每一圖像的一位置、該第二人臉于每一圖像的一追蹤狀態(tài)、該第二人臉的一存在幀數(shù)、該第二人臉的一臉部紋理特征以及該第二人臉的臉部下方的一顏色特征，其中該追蹤狀態(tài)包括一持續(xù)追蹤狀態(tài)、一丟失狀態(tài)以及一停止追蹤狀態(tài)，當(dāng)該第二人臉的圖像存在于一圖像中時(shí)，該第二人臉的該追蹤狀態(tài)為該持續(xù)追蹤狀態(tài)，當(dāng)該第二人臉的圖像不存在于該圖像中時(shí)，該第二人臉的該追蹤狀態(tài)為該丟失狀態(tài)，而當(dāng)該第二人臉的圖像不存在于連續(xù)的多個(gè)圖像中時(shí)，該第二人臉的該追蹤狀態(tài)則為該停止追蹤狀態(tài)。
[0046]于一較佳實(shí)施例中，其中，于該第二人臉檢測(cè)步驟于該后續(xù)圖像中檢測(cè)到一第二人臉且該具有最高相似度的該第二追蹤框不具一人臉圖像時(shí)，進(jìn)行一比對(duì)步驟，以檢驗(yàn)該第二人臉與該第一人臉是否為同一人，該比對(duì)步驟包括:
[0047]比對(duì)該第二人臉與該第一人臉的臉部紋理相似度以及該第二人臉與該第一人臉的臉部下方的顏色相似度；以及
[0048]于該第二人臉與該第一人臉的臉部紋理與臉部下方的顏色相似度未超過(guò)一第一閥值時(shí)，判斷該第二人臉與該第一人臉不是同一人并將對(duì)應(yīng)于該第二人臉的一第二人物信息存入該數(shù)據(jù)庫(kù)，而于相似度超過(guò)該第一閥值時(shí)，判斷該第二人臉與該第一人臉為同一人并以該第二人物信息更新該第一人物信息。
[0049]于一較佳實(shí)施例中，其中該第二人物信息包括該第二人臉于每一圖像的一位置、該第二人臉于每一圖像的一追蹤狀態(tài)、該第二人臉的一存在幀數(shù)、該第二人臉的一臉部紋理特征以及該第二人臉的臉部下方的一顏色特征，其中該追蹤狀態(tài)包括一持續(xù)追蹤狀態(tài)、一丟失狀態(tài)以及一停止追蹤狀態(tài)，當(dāng)該第二人臉的圖像存在于一圖像中時(shí)，該第二人臉的該追蹤狀態(tài)為該持續(xù)追蹤狀態(tài)，當(dāng)該第二人臉的圖像不存在于該圖像中時(shí)，該第二人臉的該追蹤狀態(tài)為該丟失狀態(tài)，而當(dāng)該第二人臉的圖像不存在于連續(xù)的多個(gè)圖像中時(shí)，該第二人臉的該追蹤狀態(tài)則為該停止追蹤狀態(tài)。
[0050]于一較佳實(shí)施例中，其中，于該第一人臉追蹤步驟后還包括一第二人臉追蹤步驟，用以尋找該第一人臉是否存在于該下一圖像的一后續(xù)圖像中，其中，于具有最高相似度的該第一追蹤框不具有人臉圖像時(shí)，該第二人臉追蹤步驟包括:
[0051]提取該下一圖像的一后續(xù)圖像，對(duì)該后續(xù)圖像中以對(duì)應(yīng)該當(dāng)前圖像的該第一人臉框之處為中心的局部區(qū)域內(nèi)的一第二追蹤框內(nèi)的圖像進(jìn)行人臉檢測(cè)；
[0052]于該第二追蹤框內(nèi)不具有人臉圖像時(shí)，判斷該第一人臉不存在于該后續(xù)圖像中并檢驗(yàn)該第一人臉處于該丟失狀態(tài)的幀數(shù)是否超過(guò)一第二閥值，若該第一人臉處于該丟失狀態(tài)的幀數(shù)超過(guò)該第二閥值則不再于該后續(xù)圖像的后續(xù)圖像中尋找該第一人臉；
[0053]于該第二追蹤框檢測(cè)內(nèi)具有一人臉圖像時(shí)，比較該第一人臉與該第二追蹤框所包含的該人臉圖像的臉部紋理相似度；
[0054]于該第一人臉與該第二追蹤框所包含的該人臉圖像的臉部紋理相似度大于一第三閥值時(shí)，判斷該人臉圖像與該第一人臉為同一人并以對(duì)應(yīng)于該第二追蹤框內(nèi)的信息更新該第一人物信息；[0055]于該臉部紋理相似度小于該第三閥值時(shí)，判斷該第一人臉不存在于該后續(xù)圖像中并檢驗(yàn)該第一人臉處于該丟失狀態(tài)的幀數(shù)是否超過(guò)該第二閥值，并于該第一人臉處于該丟失狀態(tài)的幀數(shù)超過(guò)該第二閥值時(shí)不再于該后續(xù)圖像的后續(xù)圖像中尋找該第一人臉；以及
[0056]于該臉部紋理相似度小于該第三閥值時(shí)，判斷該第二追蹤框所包含的該人臉圖像為不同于該第一人臉的一第三人臉的圖像并將該第三人臉的一第三人物信息存入該數(shù)據(jù)庫(kù)。
[0057]于一較佳實(shí)施例中，其中該第三人物信息包括該第三人臉于每一圖像的一位置、該第三人臉于每一圖像的一追蹤狀態(tài)、該第三人臉的一存在幀數(shù)、該第三人臉的一臉部紋理特征以及該第三人臉的臉部下方的一顏色特征，其中該追蹤狀態(tài)包括一持續(xù)追蹤狀態(tài)、一丟失狀態(tài)以及一停止追蹤狀態(tài)，當(dāng)該第三人臉的圖像存在于一圖像中時(shí)，該第三人臉的該追蹤狀態(tài)為該持續(xù)追蹤狀態(tài)，當(dāng)該第三人臉的圖像不存在于該圖像中時(shí)，該第三人臉的該追蹤狀態(tài)為該丟失狀態(tài)，而當(dāng)該第三人臉的圖像不存在于連續(xù)的多個(gè)圖像中時(shí)，該第三人臉的該追蹤狀態(tài)則為該停止追蹤狀態(tài)。
[0058]于一較佳實(shí)施例中，其中，于該第二人臉追蹤步驟后還包括一第二人臉檢測(cè)步驟，用以對(duì)該后續(xù)圖像的全幅圖像進(jìn)行人臉檢測(cè)，以檢驗(yàn)該后續(xù)圖像是否具有另一人臉圖像。
[0059]于一較佳實(shí)施例中，其中，于該第二人臉檢測(cè)步驟于該后續(xù)圖像中檢測(cè)到一第二人臉，且該第二追蹤框所包含的該人臉圖像與該第一人臉為同一人時(shí)，進(jìn)行一比對(duì)步驟，以檢驗(yàn)該第二人臉與該第一人臉是否為同一人，該比對(duì)步驟包括:
[0060]比較包含該第二人臉圖像的一第二人臉框與該第二追蹤框的位置；
[0061]若高比例重疊，則判斷該第二人臉與該第一人臉為同一人并以對(duì)應(yīng)于該第二人臉的一第二人物信息更新該第一人物信息，若未高比例重疊，則比較該第二人臉與該第二追蹤框所包含的該人臉圖像的臉部紋理相似度以及該第二人臉與該第二追蹤框所包含的該人臉圖像的臉部下方的顏色相似度；以及
[0062]于該第二人臉與該第二追蹤框所包含的該人臉圖像的臉部紋理以及臉部下方的顏色相似度未超過(guò)一第三閥值時(shí)，判斷該第二人臉與該第一人臉不是同一人并將對(duì)應(yīng)于該第二人臉的該第二人物信息存入該數(shù)據(jù)庫(kù)，而于該相似度超過(guò)該第三閥值時(shí)，判斷該第二人臉與該第一人臉為同一人并以該第二人物信息更新該第一人物信息。
[0063]于一較佳實(shí)施例中，其中該第二人物信息包括該第二人臉于每一圖像的一位置、該第二人臉于每一圖像的一追蹤狀態(tài)、該第二人臉的一存在幀數(shù)、該第二人臉的臉部紋理特征以及該第二人臉的臉部下方的一顏色特征，其中該追蹤狀態(tài)包括一持續(xù)追蹤狀態(tài)、一丟失狀態(tài)以及一停止追蹤狀態(tài)，當(dāng)該第二人臉的圖像存在于一圖像中時(shí)，該第二人臉的該追蹤狀態(tài)為該持續(xù)追蹤狀態(tài)，當(dāng)該第二人臉的圖像不存在于該圖像中時(shí)，該第二人臉的該追蹤狀態(tài)為該丟失狀態(tài)，而當(dāng)該第二人臉的圖像不存在于連續(xù)的多個(gè)圖像中時(shí)，該第二人臉的該追蹤狀態(tài)則為該停止追蹤狀態(tài)。
[0064]于一較佳實(shí)施例中，其中，于該第二人臉檢測(cè)步驟于該后續(xù)圖像中檢測(cè)到一第二人臉，且該第二追蹤框所包含的該人臉圖像為該第三人臉的圖像時(shí)，進(jìn)行一比對(duì)步驟，以檢驗(yàn)該第二人臉與該第三人臉或該第一人臉是否為同一人，該比對(duì)步驟包括:
[0065]比較包含該第二人臉圖像的一第二人臉框與該第二追蹤框的位置；
[0066]若高比例重疊，則判斷該第二人臉與該第三人臉為同一人，并以對(duì)應(yīng)于該第二人臉的一第二人物信息更新該第一人物信息，若未高比例重疊，則分別比較該第二人臉與該第三人臉以及該第一人臉的臉部紋理相似度，并分別比較該第二人臉與該第三人臉以及該第一人臉的臉部下方的顏色相似度；以及
[0067]于該第二人臉與該第三人臉或該第一人臉的臉部紋理以及臉部下方的顏色相似度皆未超過(guò)一第三閥值時(shí)，判斷該第二人臉與該第一人臉以及該第三人臉皆不是同一人，并將對(duì)應(yīng)于該第二人臉的一第二人物信息存入該數(shù)據(jù)庫(kù)，而于該第二人臉與該第三人臉或該第一人臉的臉部紋理以及臉部下方的顏色相似度超過(guò)該第三閥值時(shí)，判斷該第二人臉與該第一人臉或該第三人臉為同一人，并以該第二人物信息更新該第一人物信息或該第三人物信息。
[0068]于一較佳實(shí)施例中，其中該第二人物信息包括該第二人臉于每一圖像的一位置、該第二人臉于每一圖像的一追蹤狀態(tài)、該第二人臉的一存在幀數(shù)、該第二人臉的臉部紋理特征以及該第二人臉的臉部下方的一顏色特征，其中該追蹤狀態(tài)包括一持續(xù)追蹤狀態(tài)、一丟失狀態(tài)以及一停止追蹤狀態(tài)，當(dāng)該第二人臉的圖像存在于一圖像中時(shí)，該第二人臉的該追蹤狀態(tài)為該持續(xù)追蹤狀態(tài)，當(dāng)該第二人臉的圖像不存在于該圖像中時(shí)，該第二人臉的該追蹤狀態(tài)為該丟失狀態(tài)，而當(dāng)該第二人臉的圖像不存在于連續(xù)的多個(gè)圖像中時(shí)，該第二人臉的該追蹤狀態(tài)則為該停止追蹤狀態(tài)。
[0069]于一較佳實(shí)施例中，其中，于該第二人臉檢測(cè)步驟于該后續(xù)圖像中檢測(cè)到一第二人臉，且該第二追蹤框內(nèi)不具有人臉圖像時(shí)，進(jìn)行一比對(duì)步驟，以檢驗(yàn)該第二人臉與該第一人臉是否為同一人，該比對(duì)步驟包括:
[0070]比對(duì)該第二人臉與該第一人臉的臉部紋理相似度，并比對(duì)該第二人臉與該第一人臉的臉部下方的顏色相似度；以及
[0071]于該第二人臉與該第一人臉的臉部紋理以及臉部下方的顏色相似度未超過(guò)一第三閥值時(shí)，判斷該第二人臉與該第一人臉并非同一人并將對(duì)應(yīng)于該第二人臉的一第二人物信息存入該數(shù)據(jù)庫(kù)，而于該相似度超過(guò)該第三閥值時(shí)，判斷該第二人臉與該第一人臉為同一人并以該第二人物信息更新該第一人物信息。
[0072]于一較佳實(shí)施例中，其中該第二人物信息包括該第二人臉于每一圖像的一位置、該第二人臉于每一圖像的一追蹤狀態(tài)、該第二人臉的一存在幀數(shù)、該第二人臉的臉部紋理特征以及該第二人臉的臉部下方的一顏色特征，其中該追蹤狀態(tài)包括一持續(xù)追蹤狀態(tài)、一丟失狀態(tài)以及一停止追蹤狀態(tài)，當(dāng)該第二人臉的圖像存在于一圖像中時(shí)，該第二人臉的該追蹤狀態(tài)為該持續(xù)追蹤狀態(tài)，當(dāng)該第二人臉的圖像不存在于該圖像中時(shí)，該第二人臉的該追蹤狀態(tài)為該丟失狀態(tài)，而當(dāng)該第二人臉的圖像不存在于連續(xù)的多個(gè)圖像中時(shí)，該第二人臉的該追蹤狀態(tài)則為該停止追蹤狀態(tài)。
[0073]于一較佳實(shí)施例中，還包括一人臉驗(yàn)證步驟，包括:
[0074]于滿(mǎn)足一第一條件時(shí)，移動(dòng)該數(shù)據(jù)庫(kù)的所有人物信息至一臨時(shí)存儲(chǔ)區(qū)域；
[0075]于滿(mǎn)足一第二條件時(shí)，移動(dòng)該臨時(shí)存儲(chǔ)區(qū)域的一人物信息至一合并結(jié)果存儲(chǔ)區(qū)域；
[0076]比對(duì)該臨時(shí)存儲(chǔ)區(qū)域的另一人物信息與該人物信息的相似度，于該相似度大于一第四閥值時(shí)，將該另一人物信息并入該人物信息，而于該相似度小于該第四閥值時(shí)，將該另一人物信息加入該合并結(jié)果存儲(chǔ)區(qū)域；以及[0077]重復(fù)自該臨時(shí)存儲(chǔ)區(qū)域中取得任一人物信息并與該合并結(jié)果存儲(chǔ)區(qū)域的所有人物信息進(jìn)行比對(duì)至該臨時(shí)存儲(chǔ)區(qū)域的所有人物信息被并入或加入該合并結(jié)果存儲(chǔ)區(qū)域?yàn)橹埂?br> [0078]于一較佳實(shí)施例中，其中該第一條件為該數(shù)據(jù)庫(kù)的所有人物信息的數(shù)量到達(dá)一第五閥值。
[0079]于一較佳實(shí)施例中，其中該第一條件為已完成所有人臉追蹤流程且該數(shù)據(jù)庫(kù)的人物信息的數(shù)量不為O。
[0080]于一較佳實(shí)施例中，其中該第二條件為該臨時(shí)存儲(chǔ)區(qū)域的所有人物信息的數(shù)量到
達(dá)一第五閥值。
[0081]于一較佳實(shí)施例中，其中該第二條件為已完成所有人臉追蹤流程，且該數(shù)據(jù)庫(kù)的所有人物信息皆已被移入該臨時(shí)存儲(chǔ)區(qū)域。
[0082]本發(fā)明的有益效果在于，本發(fā)明提供了改善公知缺點(diǎn)的運(yùn)算快速的追蹤同一區(qū)域的多個(gè)人臉的方法。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0083]圖1為顯示公知的計(jì)算與追蹤人次的方法的流程圖。
[0084]圖2為顯示本發(fā)明一較佳實(shí)施例的人臉追蹤的方法的流程圖。
[0085]圖3為顯示本發(fā)明一較佳實(shí)施例的人臉追蹤方法的圖像提取裝置與電子看板的示意圖。
[0086]圖4為顯示本發(fā)明一較佳實(shí)施例的第一人臉檢測(cè)步驟的流程圖。
[0087]圖5為顯示本發(fā)明一較佳實(shí)施例的第一人臉檢測(cè)步驟于當(dāng)前圖像檢測(cè)到多個(gè)人臉圖像的示意圖。
[0088]圖6為顯示本發(fā)明一較佳實(shí)施例的第一人臉追蹤步驟的流程圖。
[0089]圖7為顯示本發(fā)明一較佳實(shí)施例的當(dāng)前圖像中的多個(gè)第一追蹤框的示意圖。
[0090]圖8A為顯示本發(fā)明一較佳實(shí)施例的下一圖像的示意圖。
[0091]圖SB為顯示本發(fā)明一較佳實(shí)施例的下一圖像中的多個(gè)第一追蹤框的示意圖。
[0092]圖9A以及圖9B為顯示本發(fā)明一較佳實(shí)施例的第二人臉追蹤步驟的流程圖。
[0093]圖10為顯示本發(fā)明一較佳實(shí)施例的下一圖像中的多個(gè)第二追蹤框的示意圖。
[0094]圖11為顯示本發(fā)明一較佳實(shí)施例的后續(xù)圖像的示意圖。
[0095]圖12為顯示本發(fā)明一較佳實(shí)施例的后續(xù)圖像中的多個(gè)第二追蹤框的示意圖。
[0096]圖13為顯示本發(fā)明一較佳實(shí)施例的第二人臉檢測(cè)步驟的流程圖。
[0097]圖14為顯示本發(fā)明一較佳實(shí)施例的第二人臉檢測(cè)步驟于后續(xù)圖像檢測(cè)到多個(gè)人臉圖像的示意圖。
[0098]圖15A以及圖15B為顯示本發(fā)明一較佳實(shí)施例的人臉追蹤的方法的人臉驗(yàn)證步驟的流程圖。
[0099]其中，附圖標(biāo)記說(shuō)明如下:
[0100]步驟110?步驟160 下一圖像P2
[0101]步驟SI?步驟S6 后續(xù)圖像P3
[0102]步驟S2f步驟S25 第一人臉3[0103]步驟S31?步驟S39 第二人臉4
[0104]步驟S40?步驟49 第三人臉5
[0105]步驟S441 第四人臉6
[0106]步驟S451 第五人臉7
[0107]步驟S461 第六人臉8
[0108]步驟S462 第七人臉9
[0109]步驟S471 第八人臉10
[0110]步驟S472 第九人臉11
[0111]步驟S481?步驟S486 第十人臉12
[0112]步驟S50?步驟S58 第一人臉框31
[0113]步驟S50a?步驟S58a 第二人臉框41
[0114]步驟S60?步驟S72 第三人臉框51
[0115]圖像提取裝置I 第四人臉框61
[0116]電子看板2 第五人臉框71
[0117]當(dāng)前圖像Pl 第六人臉框81
[0118]第七人臉框A 第二追蹤框33a 33e
[0119]第八人臉框B 第二追蹤框33aa、33ba
[0120]第九人臉框C 人物信息X
[0121]第十人臉框D 人物信息Y
[0122]第一追蹤框32a?32e 人物信息Z
[0123]第一追蹤框32aa?32ea
【具體實(shí)施方式】
[0124]依據(jù)本發(fā)明的具體實(shí)施例提供一種人臉追蹤的方法，請(qǐng)參照至圖2，圖2為顯示本發(fā)明一較佳實(shí)施例的人臉追蹤的方法的流程圖。
[0125]本發(fā)明的人臉追蹤的方法包括以下步驟:
[0126]步驟S1:圖像取得步驟；
[0127]步驟S2:第一人臉檢測(cè)步驟；
[0128]步驟S3:第一人臉追蹤步驟；
[0129]步驟S4:第二人臉追蹤步驟；以及
[0130]步驟S5:第二人臉檢測(cè)步驟。
[0131]需要強(qiáng)調(diào)的是，倘若可與本發(fā)明所達(dá)到的效果為實(shí)質(zhì)上相同的，這些程序的步驟并不一定嚴(yán)格依循所示的步驟，也不需要是連續(xù)的，亦可以有其他的步驟插入其中。
[0132]以下詳細(xì)說(shuō)明每一步驟的操作方法。
[0133]請(qǐng)一并參照?qǐng)D3。圖3為顯示本發(fā)明一較佳實(shí)施例的人臉追蹤方法的圖像提取裝置I與電子看板2的示意圖。
[0134]首先，于圖像取得步驟SI中，通過(guò)一圖像提取裝置1，例如攝影機(jī)，連續(xù)以同一視角拍攝同一區(qū)域以取得多個(gè)圖像。
[0135]于一實(shí)際應(yīng)用的實(shí)施例中，可將圖像提取裝置I設(shè)置于一電子看板2上，以同一視角取得一時(shí)間區(qū)間內(nèi)的連續(xù)多個(gè)圖像。
[0136]取得多個(gè)圖像后，我們將檢測(cè)并追蹤該時(shí)間區(qū)間內(nèi)出現(xiàn)于電子看板2前方的所有人臉。
[0137]首先說(shuō)明步驟S2，請(qǐng)同時(shí)參照?qǐng)D2、圖4以及圖5，圖4為顯示本發(fā)明一較佳實(shí)施例的第一人臉檢測(cè)步驟S2的流程圖，圖5為顯示本發(fā)明一較佳實(shí)施例的第一人臉檢測(cè)步驟S2于當(dāng)前圖像Pl檢測(cè)到多個(gè)人臉圖像的示意圖。
[0138]如圖4中步驟S21所示，首先自多個(gè)圖像中提取當(dāng)前圖像P1，當(dāng)前圖像Pl可以是多個(gè)圖像中的第一張圖像，而后執(zhí)行步驟S22，對(duì)整幅當(dāng)前圖像Pl進(jìn)行人臉檢測(cè)。
[0139]于本較佳實(shí)施例中可利用任何算法，利如Adaboost算法檢測(cè)整幅當(dāng)前圖像Pl，以得到若干個(gè)可能的人臉候選區(qū)域，而后刪除或合并相鄰的人臉候選區(qū)域，最后剩下的人臉候選區(qū)域即為具有人臉圖像的區(qū)域。
[0140]而后執(zhí)行步驟S23，若判斷于當(dāng)前圖像Pl中沒(méi)有檢測(cè)到人臉圖像，則執(zhí)行步驟S24，提取當(dāng)前圖像Pl的下一圖像P2，并重復(fù)步驟S22。
[0141]請(qǐng)注意，圖5所示的當(dāng)前圖像Pl僅為例示說(shuō)明之用，并非用以限制本發(fā)明的當(dāng)前圖像Pl中的人臉數(shù)目以及人物狀態(tài)。
[0142]如圖5所示，于本較佳實(shí)施例中，當(dāng)前圖像Pl中包含第一人臉3、第二人臉4、第三人臉5、第四人臉6以及第五人臉7的圖像。
[0143]而后執(zhí)行步驟S25，將對(duì)應(yīng)于第一人臉3、第二人臉4、第三人臉5、第四人臉6以及第五人臉7的人物信息存入數(shù)據(jù)庫(kù)中。
[0144]人物信息包括，但不限于，每一人臉于每一圖像的位置、每一人臉于每一圖像的追蹤狀態(tài)、每一人臉的存在幀數(shù)、每一人臉的臉部紋理特征以及每一人臉的臉部下方的顏色特征。
[0145]需要補(bǔ)充說(shuō)明的是,追蹤狀態(tài)包括持續(xù)追蹤狀態(tài)、丟失狀態(tài)以及停止追蹤狀態(tài)。當(dāng)一人臉的圖像存在于一圖像中時(shí)，該人臉的追蹤狀態(tài)為持續(xù)追蹤狀態(tài)，當(dāng)一人臉的圖像不存在于一圖像中時(shí)，該人臉的追蹤狀態(tài)為丟失狀態(tài)，而當(dāng)一人臉的圖像不存在于連續(xù)的多個(gè)圖像中時(shí)(即連續(xù)多個(gè)圖像中未檢測(cè)到該人臉的圖像)，該人臉的追蹤狀態(tài)則為停止追蹤狀態(tài)。
[0146]而第一人臉3、第二人臉4、第三人臉5、第四人臉6以及第五人臉7存在于當(dāng)前圖像Pl中，因此第一人臉3、第二人臉4、第三人臉5、第四人臉6以及第五人臉7于當(dāng)前圖像Pl的追蹤狀態(tài)為持續(xù)追蹤狀態(tài)，第一人臉3、第二人臉4、第三人臉5、第四人臉6以及第五人臉7于當(dāng)前圖像Pl的位置則為第一人臉框31、第二人臉框41、第三人臉框51、第四人臉框61以及第五人臉框71的位置。
[0147]接著說(shuō)明步驟S3，請(qǐng)同時(shí)參照?qǐng)D6至圖8，圖6為顯示本發(fā)明一較佳實(shí)施例的第一人臉追蹤步驟S3的流程圖，圖7為顯示本發(fā)明一較佳實(shí)施例的當(dāng)前圖像中的多個(gè)第一追蹤框32a至32e的示意圖，圖8A為顯示本發(fā)明一較佳實(shí)施例的下一圖像P2的示意圖，圖8B為顯示本發(fā)明一較佳實(shí)施例的下一圖像P2中的多個(gè)第一追蹤框32a至32e的示意圖。
[0148]于步驟S3中，我們將尋找第一人臉3、第二人臉4、第三人臉5、第四人臉6以及第五人臉7是否存在于當(dāng)前圖像Pl的下一圖像P2中。
[0149]首先執(zhí)行步驟S31，于當(dāng)前圖像Pl分別以第一人臉框31、第二人臉框41、第三人臉框51、第四人臉框61以及第五人臉框71為中心設(shè)置多個(gè)第一追蹤框32a、32b、32c、32d以及32e，如圖7所示。
[0150]多個(gè)第一追蹤框32a、32b、32c、32d以及32e的位置可依據(jù)，例如，高斯分布配置，也可平均分布于整幅當(dāng)前圖像P1，亦可隨機(jī)分布。
[0151]須注意的是，圖7中多個(gè)第一追蹤框32a、32b、32c、32d以及32e的位置僅為例示說(shuō)明之用，并非用以限制本發(fā)明的第一追蹤框32a、32b、32c、32d以及32e的排列情形。
[0152]而后進(jìn)行步驟S32，提取下一圖像P2，接著執(zhí)行步驟S33確認(rèn)是否取得下一圖像P2，若未于步驟S32找到下一圖像P2，則執(zhí)行步驟S34，終止所有流程。
[0153]于本較佳實(shí)施例中，以取得如圖8A所示的下一圖像P2的情形進(jìn)行說(shuō)明。
[0154]請(qǐng)注意，圖8A所示的下一圖像P2僅為例示說(shuō)明之用，并非用以限制本發(fā)明的下一圖像P2中的人臉數(shù)目以及人物狀態(tài)。
[0155]如圖SB所示，取得下一圖像P2后，將進(jìn)行步驟S35，分別計(jì)算下一圖像P2中對(duì)應(yīng)多個(gè)第一追蹤框32a之處所包含的圖像與第一人臉框31內(nèi)的圖像的多個(gè)相似度、下一圖像P2中對(duì)應(yīng)多個(gè)第一追蹤框32b之處所包含的圖像與第二人臉框41內(nèi)的圖像的多個(gè)相似度、下一圖像P2中對(duì)應(yīng)多個(gè)第一追蹤框32c之處所包含的圖像與第三人臉框51內(nèi)的圖像的多個(gè)相似度、下一圖像P2中對(duì)應(yīng)多個(gè)第一追蹤框32d之處所包含的圖像與第四人臉框61內(nèi)的圖像的多個(gè)相似度，以及下一圖像P2中對(duì)應(yīng)多個(gè)第一追蹤框32e之處所包含的圖像與第五人臉框71內(nèi)的圖像的多個(gè)相似度。
[0156]于本較佳實(shí)施例中，分別計(jì)算下一圖像P2中對(duì)應(yīng)多個(gè)第一追蹤框32a、32b、32c、32d以及32e之處(如圖SB所示)所包含的圖像與第一人臉框31、第二人臉框41、第三人臉框51、第四人臉框61以及第五人臉框71內(nèi)(如圖5所示)的圖像的紋理特征以及下方的顏色特征的相似度。
[0157]于本例中，第一追蹤框32aa、32ba、32ca、32da以及32ea (如圖8B所示)分別與第一人臉框31、第二人臉框41、第三人臉框51、第四人臉框61以及第五人臉框71具有最高相似度，表示第一人臉3、第二人臉4、第三人臉5、第四人臉6以及第五人臉7于下一圖像P2中的可能出現(xiàn)位置分別為第一追蹤框32aa、32ba、32ca、32da以及32ea的位置。
[0158]接下來(lái)執(zhí)行步驟S36，于下一圖像P2中對(duì)具有最高相似度的第一追蹤框32aa、32ba.32ca.32da以及32ea內(nèi)的圖像進(jìn)行人臉檢測(cè)。于本較佳實(shí)施例中可利用任何算法，利如Adaboost算法，檢測(cè)具有最高相似度的第一追蹤框32aa、32ba、32ca、32da以及32ea內(nèi)是否具有人臉圖像。
[0159]接著執(zhí)行步驟S37，檢驗(yàn)具有最高相似度的第一追蹤框32aa、32ba、32ca、32da以及32ea內(nèi)是否包含人臉圖像。
[0160]如圖8B所不，具有最聞相似度的第一追蹤框32aa以及第一追蹤框32ba內(nèi)具有人臉圖像，因此判斷具有最高相似度的第一追蹤框32aa內(nèi)的人臉圖像為第一人臉3的圖像，具有最高相似度的第一追蹤框32ba內(nèi)的人臉圖像為第二人臉4的圖像，并進(jìn)行步驟S38，維持第一人臉3以及第二人臉4的追蹤狀態(tài)為持續(xù)追蹤狀態(tài)并更新數(shù)據(jù)庫(kù)中第一人臉3以及第二人臉4的人物信息。
[0161]于步驟S38中，將以第一追蹤框32aa的位置、第一追蹤框32aa內(nèi)所包含的人臉圖像的臉部紋理特征以及第一追蹤框32aa內(nèi)所包含的人臉圖像的臉部下方的顏色特征更新數(shù)據(jù)庫(kù)中第一人臉3的人物信息。
[0162]并以第一追蹤框32ba的位置、第一追蹤框32ba內(nèi)所包含的人臉圖像的臉部紋理特征以及第一追蹤框32ba內(nèi)所包含的人臉圖像的臉部下方的顏色特征更新數(shù)據(jù)庫(kù)中第二人臉4的人物信息。
[0163]如圖8B所示，具有最高相似度的第一追蹤框32c、32d以及32e內(nèi)未包含人臉圖像，表示第三人臉5、第四人臉6以及第五人臉7可能因?yàn)楦淖冏藙?shì)或者被遮擋等原因而暫時(shí)未出現(xiàn)于圖像中，故進(jìn)行步驟S39，將第三人臉5、第四人臉6以及第五人臉7的追蹤狀態(tài)自持續(xù)追蹤狀態(tài)更改為丟失狀態(tài)，并更新數(shù)據(jù)庫(kù)中第三人臉5、第四人臉6以及第五人臉7的人物信息。
[0164]接下來(lái)說(shuō)明步驟S4，請(qǐng)同時(shí)參照?qǐng)D9A至圖12，圖9A以及圖9B為顯示本發(fā)明一較佳實(shí)施例的第二人臉追蹤步驟S4的流程圖。圖10為顯示本發(fā)明一較佳實(shí)施例的分布于下一圖像P2中的多個(gè)第二追蹤框33a與33b的示意圖。圖11為顯示本發(fā)明一較佳實(shí)施例的后續(xù)圖像P3的示意圖，圖12為顯示本發(fā)明一較佳實(shí)施例的分布于后續(xù)圖像P3中的多個(gè)第二追蹤框33a至33e的示意圖。
[0165]于步驟S4中，我們將繼續(xù)尋找第一人臉3、第二人臉4、第三人臉5、第四人臉6以及第五人臉7是否存在于下一圖像P2的后續(xù)圖像P3中。
[0166]首先執(zhí)行步驟S40，依據(jù)具有最高相似度的第一追蹤框32aa、32ba、32ca、32da以及32ea內(nèi)是否具有人臉圖像決定后續(xù)步驟，亦即依據(jù)第一人臉3、第二人臉4、第三人臉5、第四人臉6以及第五人臉7的追蹤狀態(tài)為持續(xù)追蹤狀態(tài)或者丟失狀態(tài)決定后續(xù)步驟。
[0167]于本較佳實(shí)施例中，第一人臉3與第二人臉4的追蹤狀態(tài)為持續(xù)追蹤狀態(tài)，即具有最高相似度的第一追蹤框32aa與32ba內(nèi)具有人臉圖像，于是執(zhí)行步驟S41，于下一圖像P2中分別以多個(gè)第一追蹤框32a與32b為中心設(shè)置多個(gè)第二追蹤框33a與33b，如圖10所
/Jn ο
[0168]以每一第一追蹤框32a為中心設(shè)置的第二追蹤框33a的數(shù)目依據(jù)每一第一追蹤框32a的權(quán)重值而定，而權(quán)重值依據(jù)每一第一追蹤框32a內(nèi)的圖像與第一人臉框31(如圖5所示)內(nèi)的圖像的相似度而定。
[0169]亦即，與第一人臉框31 (如圖5所示)內(nèi)的圖像相似度越高的第一追蹤框32a，以其為中心設(shè)置的第二追蹤框33a的數(shù)目越多。與第一人臉框31 (如圖5所示)內(nèi)的圖像相似度越低的第一追蹤框32a，以其為中心設(shè)置的第二追蹤框33a數(shù)目則越少。
[0170]于本較佳實(shí)施例中，由于第一追蹤框32aa內(nèi)的圖像與第一人臉框31 (如圖5所示)內(nèi)的圖像相似度最高，因此，以第一追蹤框32aa為中心設(shè)置的第二追蹤框33a的數(shù)目將比其它第一追蹤框32a多。
[0171]相同的，以每一第一追蹤框32b為中心設(shè)置的第二追蹤框33b的數(shù)目依據(jù)每一第一追蹤框32b的權(quán)重值而定，于本例中，以第一追蹤框32ba為中心設(shè)置的第二追蹤框33b的數(shù)目將比其它第一追蹤框32b多。
[0172]須注意的是，圖10中多個(gè)第二追蹤框33a與33b的位置僅為例示說(shuō)明之用，并非用以限制本發(fā)明的第二追蹤框33a與33b的排列情形。
[0173]而后進(jìn)行步驟S42，提取下一圖像P2的后續(xù)圖像P3，并執(zhí)行步驟S43，依據(jù)是否找到后續(xù)圖像P3決定后續(xù)步驟，如果未找到后續(xù)圖像P3，則執(zhí)行步驟S44，終止所有流程。[0174]找到后續(xù)圖像P3后，將同步進(jìn)行步驟S45與步驟S441。
[0175]于本較佳實(shí)施例中，以取得如圖11所示的后續(xù)圖像P3的情形進(jìn)行說(shuō)明。
[0176]請(qǐng)注意，圖11所示的后續(xù)圖像P3僅為例示說(shuō)明之用，并非用以限制本發(fā)明的下一圖像P3中的人臉數(shù)目以及人物狀態(tài)。
[0177]首先說(shuō)明步驟45，分別計(jì)算后續(xù)圖像P3中對(duì)應(yīng)多個(gè)第二追蹤框33a之處(如圖12所示)所包含的圖像與下一圖像P2中具有最高相似度的第一追蹤框32aa (如圖SB所示)的圖像的多個(gè)相似度。
[0178]并計(jì)算后續(xù)圖像P3中對(duì)應(yīng)多個(gè)第二追蹤框33b之處(如圖12所示)所包含的圖像與下一圖像P2中具有最高相似度的第一追蹤框32ba (如圖SB所示)的圖像的多個(gè)相似度，以尋找第一人臉3與第二人臉4。
[0179]于本較佳實(shí)施例中，分別計(jì)算后續(xù)圖像P3中對(duì)應(yīng)多個(gè)第二追蹤框33a之處所包含的圖像與下一圖像P2中具有最高相似度的第一追蹤框32aa的圖像的紋理特征以及下方的顏色特征的相似度。
[0180]同樣的，于本較佳實(shí)施例中還分別計(jì)算后續(xù)圖像P3中對(duì)應(yīng)多個(gè)第二追蹤框33b之處所包含的圖像與下一圖像P2中具有最高相似度的第一追蹤框32ba的圖像。
[0181]而后依據(jù)多個(gè)相似度重新分配每一第二追蹤框33a與33b的權(quán)重值，亦即，與第一追蹤框32aa與32ba (如圖8B所示)具有最高相似度的第二追蹤框33aa與33ba (如圖12所示)，將具有最大權(quán)重值。
[0182]而具有最大權(quán)重值，亦即具有最聞相似度的第二追蹤框33aa (如圖12所不)的位置，即為第一人臉3于后續(xù)圖像P3的可能出現(xiàn)位置，具有最高相似度的第二追蹤框33ba(如圖12所示)的位置，則為第二人臉4于后續(xù)圖像P3的可能出現(xiàn)位置。
`[0183]而后執(zhí)行步驟S46，于后續(xù)圖像P3中，對(duì)具有最高相似度的第二追蹤框33aa與33ba (如圖11所示)內(nèi)的圖像進(jìn)行人臉檢測(cè)，于本較佳實(shí)施例中可利用任何算法，利如Adaboost算法，檢測(cè)具有最聞相似度的第二追蹤框33aa與33ba內(nèi)是否具有人臉圖像。
[0184]接下來(lái)進(jìn)行步驟S47，檢驗(yàn)于步驟S46中是否找到人臉圖像，如圖12所示，后續(xù)圖像P3中具有最高相似度的第二追蹤框33aa內(nèi)包含人臉圖像，因此判斷具有最高相似度的第二追蹤框33aa內(nèi)的人臉圖像為第一人臉3的圖像，亦即成功于后續(xù)圖像P3中尋找到第一人臉3，于是執(zhí)行步驟S48，維持第一人臉3的追蹤狀態(tài)為持續(xù)追蹤狀態(tài)并更新第一人物信息。
[0185]于步驟S48中將以具有最聞相似度的第二追蹤框33aa的位置、具有最聞相似度的第二追蹤框33aa所包含的人臉圖像的臉部紋理特征以及具有最高相似度的第二追蹤框33aa所包含的人臉圖像的臉部下方的顏色特征更新數(shù)據(jù)庫(kù)中第一人臉3的人物信息。
[0186]而后續(xù)圖像P3中具有最聞相似度的第二追蹤框33ba內(nèi)未包含人臉圖像，表不未于后續(xù)圖像P3中尋找到第二人臉4。
[0187]因此進(jìn)行步驟S49，將第二人臉4的追蹤狀態(tài)自持續(xù)追蹤狀態(tài)更改為丟失狀態(tài)后
更新第一人物信息。
[0188]此時(shí)第二人臉4可能因?yàn)楦淖冏藙?shì)或者被遮擋等原因而暫時(shí)未出現(xiàn)于圖像中，故仍需于后續(xù)圖像中繼續(xù)尋找第二人臉4。
[0189]需要補(bǔ)充說(shuō)明的是，若某些追蹤框的權(quán)重值太低，則于所述追蹤框處找到第一人臉3或第二人臉4的圖像的機(jī)率極低，故可將其刪除不再使用。
[0190]接下來(lái)說(shuō)明步驟S441。由于第一人臉追蹤步驟S3時(shí)未于下一圖像P2中找到第三人臉5、第四人臉6以及第五人臉7，因此無(wú)法利用下一圖像P2的多個(gè)第一追蹤框32c、32d以及32e的權(quán)重值繼續(xù)于后續(xù)圖像P3中尋找第三人臉5、第四人臉6以及第五人臉7。
[0191]故執(zhí)行步驟S441，于后續(xù)圖像P3中對(duì)應(yīng)第三人臉5、第四人臉6以及第五人臉7上一次出現(xiàn)的位置，進(jìn)行人臉檢測(cè)。
[0192]于本較佳實(shí)施例中，第三人臉5、第四人臉6以及第五人臉7上一次出現(xiàn)的位置為當(dāng)前圖像Pl中第三人臉框51、第四人臉框61以及第五人臉框71之處(如圖5所示)，因此步驟S441將對(duì)后續(xù)圖像P3中以對(duì)應(yīng)第三人臉框51之處為中心的局部區(qū)域內(nèi)的圖像(局部區(qū)域的范圍將大于第三人臉框51的范圍)，即第二追蹤框33c (如圖12所示)內(nèi)的圖像進(jìn)行人臉檢測(cè)。
[0193]相同的，亦將對(duì)后續(xù)圖像P3中以對(duì)應(yīng)第四人臉框61與第五人臉框71之處為中心的局部區(qū)域內(nèi)的圖像(局部區(qū)域的范圍將大于第四人臉框61與第五人臉框71的范圍)，即第二追蹤框33d與33e (如圖12所示)內(nèi)的圖像進(jìn)行人臉檢測(cè)。
[0194]而后進(jìn)行步驟S451，檢驗(yàn)是否于第二追蹤框33c、33d以及33e內(nèi)找到人臉圖像。
[0195]首先，于步驟S441中并未于第二追蹤框33e內(nèi)檢測(cè)到人臉圖像，如圖12所示，故第五人臉7仍處于丟失狀態(tài)，由于第五人臉7若長(zhǎng)期處于丟失狀態(tài)，第五人臉7可能已經(jīng)離開(kāi)電子看板2前方，則不需要再于后續(xù)圖像中尋找第五人臉7。
[0196]因此先執(zhí)行步驟S461，檢驗(yàn)第五人臉7處于丟失狀態(tài)的幀數(shù)是否超過(guò)第二閥值，若處于丟失狀態(tài)的幀數(shù)超過(guò)第二閥值則進(jìn)行步驟S471，更改第五人臉7的追蹤狀態(tài)為停止追蹤狀態(tài)并更新數(shù)據(jù)庫(kù)中第五人臉7的人物信息，而后將不再于后續(xù)圖像中尋找第五人臉7的位置。
[0197]若第五人臉7處于丟失狀態(tài)的幀數(shù)未超過(guò)第二閥值，則第五人臉7可能因?yàn)楦淖冏藙?shì)或者被遮擋等原因而暫時(shí)未出現(xiàn)于圖像中，故將于后續(xù)圖像中繼續(xù)尋找第五人臉7。
[0198]于是進(jìn)行步驟S481，維持第五人臉7的追蹤狀態(tài)為丟失狀態(tài)并更新第一人物信息，亦即僅標(biāo)示第五人臉7暫時(shí)不存在于后續(xù)圖像P3中而不做其他更動(dòng)。
[0199]再者，于步驟S441中，將于第二追蹤框33c與33d內(nèi)檢測(cè)到人臉圖像，由于第三人臉5與第四人臉6于下一圖像P2處于丟失狀態(tài)，亦即并未于下一圖像P2找到第三人臉5與第四人臉6，因此不確定后續(xù)圖像P3中第二追蹤框33c與33d內(nèi)的圖像是否為第三人臉5與第四人臉6的圖像。
[0200]故先執(zhí)行步驟S462，比較第三人臉5與第二追蹤框33c所包含的人臉圖像的臉部紋理相似度，以確認(rèn)第二追蹤框33c所包含的人臉圖像是否就是第三人臉5。
[0201]而后再比較第四人臉6與第二追蹤框33d所包含的人臉圖像的臉部紋理相似度，以確認(rèn)第二追蹤框33d所包含的人臉圖像是否就是第四人臉6。
[0202]而后執(zhí)行步驟S472，檢驗(yàn)?zāi)槻考y理相似度是否超過(guò)第三閥值。
[0203]于本較佳實(shí)施例中，第二追蹤框33c所包含的人臉圖像與第三人臉5的臉部紋理相似度大于第三閥值，因此判斷第二追蹤框33c所包含的人臉圖像與第三人臉5為同一人，第二追蹤框33c的位置即為第三人臉5于后續(xù)圖像P3的出現(xiàn)位置。
[0204]于是進(jìn)行步驟S482，將第三人臉5的追蹤狀態(tài)更改為持續(xù)追蹤狀態(tài)并更新數(shù)據(jù)庫(kù)中第三人臉5的人物信息。
[0205]于步驟S482中，將以第二追蹤框33c的位置、第二追蹤框33c內(nèi)的人臉圖像的臉部紋理特征以及第二追蹤框33c內(nèi)的人臉圖像的臉部下方的顏色特征更新數(shù)據(jù)庫(kù)中第三人臉5的人物信息。
[0206]于本較佳實(shí)施例中，第二追蹤框33d所包含的人臉圖像與第四人臉6的臉部紋理相似度小于第三閥值，因此第二追蹤框33d所包含的人臉圖像與第一人臉3不是同一人。
[0207]亦即第二追蹤框33b所包含的人臉圖像是新增的一第六人臉8的圖像，因此執(zhí)行步驟S483，將對(duì)應(yīng)于第二追蹤框33d內(nèi)的第六人臉8圖像的人物信息存入數(shù)據(jù)庫(kù)中。
[0208]第六人臉8的人物信息包括，但不限于，第六人臉8于每一圖像的位置、第六人臉8于每一圖像的追蹤狀態(tài)、第六人臉8的存在幀數(shù)、第六人臉8的臉部紋理特征以及第六人臉8的臉部下方的顏色特征。
[0209]第六人臉8于后續(xù)圖像P3的位置為第二追蹤框33d的位置，第六人臉8于后續(xù)圖像P3的追蹤狀態(tài)則為持續(xù)追蹤狀態(tài)。
[0210]于本較佳實(shí)施例中，第四人臉6仍處于丟失狀態(tài)，由于第四人臉6若長(zhǎng)期處于丟失狀態(tài)，第四人臉6可能已經(jīng)離開(kāi)電子看板2前方，則不需要再于后續(xù)圖像中尋找第四人臉6。
[0211]于是執(zhí)行步驟S484，檢驗(yàn)第四人臉6處于丟失狀態(tài)的幀數(shù)是否超過(guò)第二閥值。
[0212]若于步驟S484判斷第四人臉6處于丟失狀態(tài)的幀數(shù)超過(guò)第二閥值時(shí)，將不再于后續(xù)圖像中尋找第四人臉6的位置，故進(jìn)行步驟S485，更改第四人臉6的追蹤狀態(tài)為停止追蹤狀態(tài)并更新數(shù)據(jù)庫(kù)中第四人臉6的人物信息。
[0213]若于步驟S484判斷第四人臉6處于丟失狀態(tài)的幀數(shù)未超過(guò)第二閥值時(shí)，第四人臉6可能因?yàn)楦淖冏藙?shì)或者被遮擋等原因而暫時(shí)未出現(xiàn)于圖像中，故仍須于后續(xù)圖像中繼續(xù)尋找第四人臉6。
[0214]因此進(jìn)行步驟S486，維持第四人臉6的追蹤狀態(tài)為丟失狀態(tài)并更新數(shù)據(jù)庫(kù)中第四人臉6的人物信息。
[0215]本發(fā)明是于對(duì)固定幀數(shù)的后續(xù)圖像P3?Pn執(zhí)行第二人臉追蹤步驟S4后，對(duì)后續(xù)圖像Pn進(jìn)行第二人臉檢測(cè)步驟S5。
[0216]亦即于尋找數(shù)據(jù)庫(kù)中處于持續(xù)追蹤狀態(tài)或者丟失狀態(tài)的人臉圖像是否出現(xiàn)于后續(xù)圖像Pn中之后，將再次檢驗(yàn)后續(xù)圖像Pn中是否具有與數(shù)據(jù)庫(kù)中已存在的人臉圖像不同的新增的人臉圖像，若有新增的人臉圖像則將于后續(xù)圖像Pn+a中一起尋找。
[0217]以下將以對(duì)后續(xù)圖像P3進(jìn)行第二人臉檢測(cè)步驟S5的情形進(jìn)行說(shuō)明。
[0218]請(qǐng)同時(shí)參照?qǐng)D13至圖14，圖13為顯示本發(fā)明一較佳實(shí)施例的第二人臉檢測(cè)步驟S5的流程圖，圖14為顯示本發(fā)明一較佳實(shí)施例的第二人臉檢測(cè)步驟S5于后續(xù)圖像P3檢測(cè)到多個(gè)人臉的示意圖。
[0219]首先執(zhí)行步驟S50，對(duì)整幅后續(xù)圖像P3進(jìn)行人臉檢測(cè)。
[0220]于本較佳實(shí)施例中可利用任何算法，利如Adaboost算法檢測(cè)整幅后續(xù)圖像P3，以得到若干個(gè)可能的人臉候選區(qū)域，而后刪除或合并相鄰的人臉候選區(qū)域，最后剩下的人臉候選區(qū)域即為具有人臉圖像的區(qū)域。
[0221]于本較佳實(shí)施例中，將于后續(xù)圖像P3中檢測(cè)到如圖14所示的第七人臉9、第八人臉10、第九人臉11以及第十人臉12。
[0222]而后進(jìn)行比對(duì)步驟S51，以檢驗(yàn)第七人臉9至第十人臉12與數(shù)據(jù)庫(kù)中的所有人臉是否重復(fù)，于本較佳實(shí)施例中數(shù)據(jù)庫(kù)中的所有人臉即為第一人臉3至第六人臉8。
[0223]由于已確認(rèn)第一人臉3出現(xiàn)于后續(xù)圖像P3中第二追蹤框33aa之處、第三人臉5出現(xiàn)于后續(xù)圖像P3中第二追蹤框33c之處以及第六人臉8出現(xiàn)于后續(xù)圖像P3中第二追蹤框33d之處，故首先進(jìn)行步驟S52，比較包含第七人臉9至第十人臉12的圖像的第七人臉框A至第十人臉框D (如圖14所示)的位置與第二追蹤框33aa、33c以及33d (如圖12所示)的位置。
[0224]首先，分別比較第七人臉框A的位置與處于持續(xù)追蹤狀態(tài)的第一人臉3、第三人臉5與第六人臉8于后續(xù)圖像P3中的位置，于本較佳實(shí)施例中，第七人臉框A的位置與第二追蹤框33aa、33c以及33d的位置皆未高比例重疊。
[0225]接著，比對(duì)第八人臉框B的位置與處于持續(xù)追蹤狀態(tài)的第一人臉3、第三人臉5與第六人臉8于后續(xù)圖像P3中的位置，即后續(xù)圖像P3中第二追蹤框33aa、33c以及33d的位置。于本較佳實(shí)施例中，第八人臉框B的位置與第二追蹤框33aa的位置高比例重疊，如圖12以及圖14所示，因此于步驟S53時(shí)，判斷第八人臉10與第一人臉3為同一人，故執(zhí)行步驟S54，以對(duì)應(yīng)于第八人臉10的人物信息更新第一人臉3的人物信息。
[0226]于步驟S54中，將以第八人臉框B的位置、第八人臉10的臉部紋理特征以及第八人臉10的臉部下方的顏色特征更新第一人臉3于后續(xù)圖像P3的位置、第一人臉3的臉部紋理特征以及第一人臉3的臉部下方的顏色特征。
[0227]接下來(lái)，比對(duì)第九人臉框C的位置與于后續(xù)圖像P3中處于持續(xù)追蹤狀態(tài)的第三人臉5與第六人臉8于后續(xù)圖像P3中的位置，由于第三人臉5于后續(xù)圖像P3中的位置，即第二追蹤框33c的位置與第九人臉框C的位置高比例重疊，因此判斷第九人臉11與第三人臉5為同一人，故執(zhí)行步驟S54，以對(duì)應(yīng)于第九人臉11的人物信息更新第一人臉3的人物信
肩、O
[0228]最后，比對(duì)第十人臉框D的位置與處于持續(xù)追蹤狀態(tài)的第六人臉8于后續(xù)圖像P3中的位置。于本較佳實(shí)施例中，第六人臉8于后續(xù)圖像P3中的位置，即第二追蹤框33d的位置與第十人臉框D的位置高比例重疊，因此判斷第十人臉12與第六人臉8為同一人，故執(zhí)行步驟S54，以對(duì)應(yīng)于第十人臉12的人物信息更新第六人臉8的人物信息。
[0229]接下來(lái)請(qǐng)同時(shí)參照?qǐng)D13以及圖14，由于第七人臉框A的位置與第二追蹤框33aa、33c與33d的位置皆未高比例重疊，因此無(wú)法確定第七人臉9是否與第一人臉3至第六人臉8之中任一人為同一人，于是于步驟S53判斷未高比例重疊后，將進(jìn)行步驟S55，分別比較第七人臉9與數(shù)據(jù)庫(kù)中所有人臉的臉部紋理相似度以及臉部下方的顏色相似度，于本較佳實(shí)施例中數(shù)據(jù)庫(kù)中所有人臉即為第一人臉3至第六人臉8。
[0230]于本發(fā)明一較佳實(shí)施例中以臉部紋理相似度以及臉部下方的顏色相似度的加權(quán)總和計(jì)算最終相似度。
[0231]接著進(jìn)行步驟S56，檢驗(yàn)相似度是否超過(guò)第一閥值，于本較佳實(shí)施例中，第七人臉9與第一人臉3至第六人臉8的相似度皆未超過(guò)第一閥值，因此第七人臉9與第一人臉3至第六人臉8皆不是同一人。
[0232]因此執(zhí)行步驟S57，由于第七人臉9第一次被找到，故將對(duì)應(yīng)于第七人臉9的人物信息存入數(shù)據(jù)庫(kù)，此時(shí)第七人臉9的追蹤狀態(tài)為持續(xù)追蹤狀態(tài)。
[0233]第七人臉9的人物信息包括，但不限于，第七人臉9于每一圖像的位置、第七人臉9于每一圖像的追蹤狀態(tài)、第七人臉9的存在幀數(shù)、第七人臉9的臉部紋理特征以及第七人臉9的臉部下方的顏色特征。
[0234]需要補(bǔ)充說(shuō)明的是，若于其他較佳實(shí)施例中，當(dāng)?shù)谄呷四?與第一人臉3至第六人臉8的其中一人臉的臉部紋理相似度以及臉部下方的顏色相似度超過(guò)第一閥值時(shí)，將判斷第七人臉9與該人臉為同一人，而執(zhí)行步驟S58，以第七人臉9的人物信息更新數(shù)據(jù)庫(kù)中該人臉的人物信息。
[0235]于步驟S58中，將以第七人臉框A的位置、第七人臉9的臉部紋理特征以及第七人臉9的臉部下方的顏色特征更新該人臉于后續(xù)圖像P3的位置、該人臉的臉部紋理特征以及該人臉的臉部下方的顏色特征。
[0236]請(qǐng)注意，以上皆以第二人臉檢測(cè)步驟S5于后續(xù)圖像P3中檢測(cè)到四人臉圖像的情形進(jìn)行說(shuō)明，但不論所檢測(cè)到的人臉圖像的數(shù)目為何，針對(duì)每一人臉圖像執(zhí)行的步驟皆相同。
[0237]以上步驟結(jié)束后將持續(xù)于固定幀數(shù)的后續(xù)圖像Ρ4-Ρm中尋找已存入數(shù)據(jù)庫(kù)中的所有人臉圖像是否再次出現(xiàn)，并于固定幀數(shù)的后續(xù)圖像PfPm的人臉追蹤作業(yè)結(jié)束后，對(duì)后續(xù)圖像Pm進(jìn)行整幅圖像的人臉檢測(cè)作業(yè)。
[0238]此外，本發(fā)明一較佳實(shí)施例還包括人臉驗(yàn)證步驟S6，用以再次檢驗(yàn)數(shù)據(jù)庫(kù)中的所有人物息是否重復(fù)。
[0239]請(qǐng)參照至圖15A以及圖15B，圖15A以及圖15B為顯示本發(fā)明一較佳實(shí)施例的人臉追蹤的方法的人臉驗(yàn)證步驟S6的流程圖。
[0240]首先，進(jìn)行步驟S60，檢驗(yàn)是否滿(mǎn)足任一條件:(I)數(shù)據(jù)庫(kù)中所有人物信息的數(shù)量到達(dá)第五閥值以及(2)已結(jié)束所有人臉追蹤流程且數(shù)據(jù)庫(kù)中的人物信息的數(shù)量不為O。
[0241]如果滿(mǎn)足任一條件，則進(jìn)行步驟S61，將數(shù)據(jù)庫(kù)中所有人物信息移動(dòng)至臨時(shí)存儲(chǔ)區(qū)域。
[0242]接著進(jìn)行步驟S62，檢驗(yàn)是否滿(mǎn)足任一條件:(I)臨時(shí)存儲(chǔ)區(qū)域中所有人物信息的數(shù)量到達(dá)第五閥值以及(2)已結(jié)束所有人臉追蹤流程且數(shù)據(jù)庫(kù)中所有人物信息皆被移入臨時(shí)存儲(chǔ)區(qū)域。
[0243]如果滿(mǎn)足任一條件，則進(jìn)行步驟S63，將臨時(shí)存儲(chǔ)區(qū)域中任一人物信息X移動(dòng)至合并結(jié)果存儲(chǔ)區(qū)域，人物信息X可以是臨時(shí)存儲(chǔ)區(qū)域中的第一筆人物信息。
[0244]接著進(jìn)行步驟S64，比對(duì)臨時(shí)存儲(chǔ)區(qū)域的另一人物信息Y與人物信息X的相似度，而后進(jìn)行步驟S65，檢驗(yàn)相似度是否大于第四閥值，并于相似度大于第四閥值時(shí)，執(zhí)行步驟S66，以人物信息Y更新人物信息X，而于相似度小于第四閥值時(shí)，執(zhí)行步驟S67，將人物信息Y加入合并結(jié)果存儲(chǔ)區(qū)域。
[0245]接下來(lái)執(zhí)行步驟S68，比對(duì)臨時(shí)存儲(chǔ)區(qū)域的人物信息Z與合并結(jié)果存儲(chǔ)區(qū)域的所有人物信息的相似度。
[0246]而后進(jìn)行步驟S69，檢驗(yàn)人物信息Z與合并結(jié)果存儲(chǔ)區(qū)域任一人物信息的相似度是否大于第四閥值。
[0247]如果相似度大于第四閥值，則進(jìn)行步驟S70，將人物信息Z并入與其相似度最高的人物信息，否則，進(jìn)行步驟S71，將人物信息Z加入合并結(jié)果存儲(chǔ)區(qū)域。
[0248]重復(fù)自臨時(shí)存儲(chǔ)區(qū)域中取得任一人物信息并與合并結(jié)果存儲(chǔ)區(qū)域的所有人物信息進(jìn)行比對(duì)，即能將臨時(shí)存儲(chǔ)區(qū)域的所有人物信息并入或加入合并結(jié)果存儲(chǔ)區(qū)域，以確認(rèn)沒(méi)有重復(fù)的人物信息。
[0249]最后輸出合并結(jié)果存儲(chǔ)區(qū)域的所有人物信息，即能得到該時(shí)間區(qū)間內(nèi)于電子看板2前方停留的人數(shù)，并能依據(jù)每一人的存在幀數(shù)而得到每一人的停留時(shí)間。
[0250]此外，若于步驟S60或步驟S62時(shí)判斷未滿(mǎn)足任何條件，則進(jìn)行步驟S72，結(jié)束人臉驗(yàn)證步驟。
[0251]再次強(qiáng)調(diào)，倘若可與本發(fā)明所達(dá)到的效果為實(shí)質(zhì)上相同的，這些程序的步驟并不一定嚴(yán)格依循所示的步驟，也不需要是連續(xù)的，亦可以有其他的步驟插入其中。
[0252]由以上較佳實(shí)施例可知，本發(fā)明通過(guò)對(duì)一圖像進(jìn)行整幅圖像的人臉檢測(cè)并找到至少一人臉后，于后續(xù)固定幀數(shù)的圖像利用比較追蹤框相似度的方式尋找該人臉的可能出現(xiàn)位置，并檢測(cè)可能出現(xiàn)位置是否具有人臉圖像以進(jìn)行確認(rèn)。
[0253]而后于所述固定幀數(shù)的圖像的最后一圖像進(jìn)行整幅圖像的人臉檢測(cè)，而不必于每一圖像皆進(jìn)行整幅圖像的人臉檢測(cè)，提高了整體的處理速度。
[0254]再者，本發(fā)明通過(guò)人臉驗(yàn)證步驟于數(shù)據(jù)庫(kù)達(dá)容量臨界值時(shí)將人物信息移入臨時(shí)存儲(chǔ)區(qū)域，再于臨時(shí)存儲(chǔ)區(qū)域達(dá)容量臨界值時(shí)將人物信息移至合并結(jié)果存儲(chǔ)區(qū)域進(jìn)行比對(duì)，因此人物信息不會(huì)在人臉追蹤過(guò)程中因數(shù)據(jù)庫(kù)已滿(mǎn)而被刪除，增加了最終結(jié)果的準(zhǔn)確度。
[0255]綜合以上所述，本發(fā)明提供了改善公知缺點(diǎn)的運(yùn)算快速的追蹤同一區(qū)域的多個(gè)人臉的方法。
[0256]以上所述的實(shí)施例僅為說(shuō)明本發(fā)明的技術(shù)思想與特點(diǎn)，其目的在使本領(lǐng)域技術(shù)人員能夠了解本發(fā)明的內(nèi)容并據(jù)以實(shí)施，當(dāng)不能以之限定本發(fā)明的專(zhuān)利范圍，即大凡依本發(fā)明所揭示的精神所作的等同變化或修飾，仍應(yīng)涵蓋在本發(fā)明的專(zhuān)利范圍內(nèi)。
【權(quán)利要求】
1.一種人臉追蹤的方法，用以檢測(cè)并追蹤一時(shí)間區(qū)間內(nèi)出現(xiàn)于同一區(qū)域的多個(gè)人臉，該方法包括: 一圖像取得步驟，包括: 連續(xù)以同一視角拍攝同一區(qū)域以取得多個(gè)圖像； 一第一人臉檢測(cè)步驟，包括: 自該多個(gè)圖像提取一當(dāng)前圖像； 檢測(cè)整幅該當(dāng)前圖像是否具有人臉圖像；以及 于檢測(cè)到該當(dāng)前圖像中包含一第一人臉的圖像時(shí)，將對(duì)應(yīng)于該第一人臉的一第一人物信息存入一數(shù)據(jù)庫(kù)；以及 一第一人臉追蹤步驟，用以尋找該第一人臉是否存在于該當(dāng)前圖像的一下一圖像中，包括: 于該當(dāng)前圖像中，以包含該第一人臉的一第一人臉框?yàn)橹行脑O(shè)置多個(gè)第一追蹤框； 提取該下一圖像； 分別計(jì)算該下一圖像中對(duì)應(yīng)該多個(gè)第一追蹤框之處所包含的圖像與該第一人臉框內(nèi)的圖像的多個(gè)相似度；以及 于該下一圖像中，對(duì)與該第一人臉框的圖像具有最高相似度的該第一追蹤框內(nèi)的圖像進(jìn)行人臉檢測(cè)，并于該具有最高相似度的該第一追蹤框內(nèi)包含一人臉圖像時(shí)判斷該人臉圖像為該第一人臉圖像并以對(duì)`應(yīng)于該具有最高相似度的該第一追蹤框的信息更新該第一人物信息，而于該具有最高相似度的該第一追蹤框內(nèi)未包含該人臉圖像時(shí)，判斷該第一人臉不存在于該下一圖像中并更新該第一人物信息。
2.如權(quán)利要求1所述的人臉追蹤的方法，其中該第一人物信息包括該第一人臉于每一圖像的一位置、該第一人臉于每一圖像的一追蹤狀態(tài)、該第一人臉的一存在幀數(shù)、該第一人臉的一臉部紋理特征以及該第一人臉的臉部下方的一顏色特征，其中該追蹤狀態(tài)包括一持續(xù)追蹤狀態(tài)、一丟失狀態(tài)以及一停止追蹤狀態(tài)，當(dāng)該第一人臉的圖像存在于一圖像中時(shí)，該第一人臉的該追蹤狀態(tài)為該持續(xù)追蹤狀態(tài)，當(dāng)該第一人臉的圖像不存在于該圖像中時(shí)，該第一人臉的該追蹤狀態(tài)為該丟失狀態(tài)，而當(dāng)該第一人臉的圖像不存在于連續(xù)的多個(gè)圖像中時(shí)，該第一人臉的該追蹤狀態(tài)則為該停止追蹤狀態(tài)。
3.如權(quán)利要求2所述的人臉追蹤的方法，其中，于該第一人臉追蹤步驟后還包括一第二人臉追蹤步驟，用以尋找該第一人臉是否存在于該下一圖像的一后續(xù)圖像中，其中，于具有最高相似度的該第一追蹤框具有人臉圖像時(shí)，該第二人臉追蹤步驟包括: 于該下一圖像中分別以每一該第一追蹤框?yàn)橹行脑O(shè)置多個(gè)第二追蹤框，其中以每一該第一追蹤框?yàn)橹行脑O(shè)置的該第二追蹤框的數(shù)目依據(jù)每一該第一追蹤框的圖像與該第一人臉圖像的該相似度而定； 提取該下一圖像的一后續(xù)圖像； 分別計(jì)算該后續(xù)圖像中對(duì)應(yīng)該多個(gè)第二追蹤框之處所包含的圖像與該下一圖像中該具有最高相似度的該第一追蹤框內(nèi)的圖像的多個(gè)相似度；以及 于該后續(xù)圖像中，對(duì)與具有最高相似度的該第一追蹤框的相似度最高的一第二追蹤框內(nèi)的圖像進(jìn)行人臉檢測(cè)，并于該具有最高相似度的該第二追蹤框內(nèi)包含一人臉圖像時(shí)，判斷該人臉圖像為該第一人臉的圖像并以對(duì)應(yīng)于該具有最高相似度的該第二追蹤框的信息更新該第一人物信息，而于該具有最高相似度的該第一追蹤框內(nèi)未包含該人臉圖像時(shí)，判斷該第一人臉不存在于該下一圖像中并更新該第一人物信息。
4.如權(quán)利要求3所述的人臉追蹤的方法，其中，于該第二人臉追蹤步驟之后還包括一第二人臉檢測(cè)步驟，用以對(duì)該后續(xù)圖像的全幅圖像進(jìn)行人臉檢測(cè)，以檢驗(yàn)該后續(xù)圖像是否具有另一人臉圖像。
5.如權(quán)利要求4所述的人臉追蹤的方法，其中，于該第二人臉檢測(cè)步驟于該后續(xù)圖像中檢測(cè)到一第二人臉且該具有最高相似度的該第二追蹤框具有該人臉圖像時(shí)，進(jìn)行一比對(duì)步驟以檢驗(yàn)該第二人臉與該第一人臉是否為同一人，該比對(duì)步驟包括: 比較包含該第二人臉的一第二人臉框的位置與該具有最大相似度的該第二追蹤框的位置； 于該第二人臉框的位置與該具有最大相似度的該第二追蹤框的位置高比例重疊時(shí)，判斷該第二人臉與該第一人臉為同一人并以對(duì)應(yīng)于該第二人臉的一第二人物信息更新該第一人物信息，而于該第二人臉框的位置與該第二追蹤框的位置未高比例重疊時(shí)，比對(duì)該第二人臉與該第一人臉的臉部紋理相似度以及該第二人臉與該第一人臉的臉部下方的顏色相似度；以及 于該第二人臉與該第一人臉的臉部紋理以及臉部下方的顏色相似度未超過(guò)一第一閥值時(shí)，判斷第二人臉與第一人臉不是同一人并將對(duì)應(yīng)于該第二人臉的該第二人物信息存入該數(shù)據(jù)庫(kù)，而于該相似度超過(guò)該第一閥值時(shí)，判斷該第二人臉與該第一人臉為同一人并以該第二人物信息更新該第一人物信息。
6.如權(quán)利要求5所述的人臉追蹤的方法，其中該第二人物信息包括該第二人臉于每一圖像的一位置、該第二人臉于每一圖像的一追蹤狀態(tài)、該第二人臉的一存在幀數(shù)、該第二人臉的一臉部紋理特征以及該第二人臉的臉部下方的一顏色特征，其中該追蹤狀態(tài)包括一持續(xù)追蹤狀態(tài)、一丟失狀態(tài)以及一停止追蹤狀態(tài)，當(dāng)該第二人臉的圖像存在于一圖像中時(shí)，該第二人臉的該追蹤狀態(tài)為該持續(xù)追蹤狀態(tài)，當(dāng)該第二人臉的圖像不存在于該圖像中時(shí)，該第二人臉的該追蹤狀態(tài)為該丟失狀態(tài)，而當(dāng)該第二人臉的圖像不存在于連續(xù)的多個(gè)圖像中時(shí)，該第二人臉的該追蹤狀態(tài)則為該停止追蹤狀態(tài)。
7.如權(quán)利要求4所述的人臉追蹤的方法，其中，于該第二人臉檢測(cè)步驟于該后續(xù)圖像中檢測(cè)到一第二人臉且該具有最高相似度的該第二追蹤框不具有一人臉圖像時(shí)，進(jìn)行一比對(duì)步驟，以檢驗(yàn)該第二人臉與該第一人臉是否為同一人，該比對(duì)步驟包括: 比對(duì)該第二人臉與該第一人臉的臉部紋理相似度以及該第二人臉與該第一人臉的臉部下方的顏色相似度；以及 于該第二人臉與該第一人臉的臉部紋理與臉部下方的顏色相似度未超過(guò)一第一閥值時(shí)，判斷該第二人臉與該第一人臉不是同一人并將對(duì)應(yīng)于該第二人臉的一第二人物信息存入該數(shù)據(jù)庫(kù)，而于相似度超過(guò)該第一閥值時(shí)，判斷該第二人臉與該第一人臉為同一人并以該第二人物信息更新該第一人物信息。
8.如權(quán)利要求7所述的人臉追蹤的方法，其中該第二人物信息包括該第二人臉于每一圖像的一位置、該第二人臉于每一圖像的一追蹤狀態(tài)、該第二人臉的一存在幀數(shù)、該第二人臉的一臉部紋理特征以及該第二人臉的臉部下方的一顏色特征，其中該追蹤狀態(tài)包括一持續(xù)追蹤狀態(tài)、一丟失狀態(tài)以及一停止追蹤狀態(tài)，當(dāng)該第二人臉的圖像存在于一圖像中時(shí)，該第二人臉的該追蹤狀態(tài)為該持續(xù)追蹤狀態(tài)，當(dāng)該第二人臉的圖像不存在于該圖像中時(shí)，該第二人臉的該追蹤狀態(tài)為該丟失狀態(tài)，而當(dāng)該第二人臉的圖像不存在于連續(xù)的多個(gè)圖像中時(shí)，該第二人臉的該追蹤狀態(tài)則為該停止追蹤狀態(tài)。
9.如權(quán)利要求2所述的人臉追蹤的方法，其中，于該第一人臉追蹤步驟后還包括一第二人臉追蹤步驟，用以尋找該第一人臉是否存在于該下一圖像的一后續(xù)圖像中，其中，于具有最高相似度的該第一追蹤框不具有人臉圖像時(shí)，該第二人臉追蹤步驟包括: 提取該下一圖像的一后續(xù)圖像，對(duì)該后續(xù)圖像中以對(duì)應(yīng)該當(dāng)前圖像的該第一人臉框之處為中心的局部區(qū)域內(nèi)的一第二追蹤框內(nèi)的圖像進(jìn)行人臉檢測(cè)； 于該第二追蹤框內(nèi)不具有人臉圖像時(shí)，判斷該第一人臉不存在于該后續(xù)圖像中并檢驗(yàn)該第一人臉處于該丟失狀態(tài)的幀數(shù)是否超過(guò)一第二閥值，若該第一人臉處于該丟失狀態(tài)的幀數(shù)超過(guò)該第二閥值則不再于該后續(xù)圖像的后續(xù)圖像中尋找該第一人臉； 于該第二追蹤框檢測(cè)內(nèi)具有一人臉圖像時(shí)，比較該第一人臉與該第二追蹤框所包含的該人臉圖像的臉部紋理相似度； 于該第一人臉與該第二追蹤框所包含的該人臉圖像的臉部紋理相似度大于一第三閥值時(shí)，判斷該人臉圖像與該第一人臉為同一人并以對(duì)應(yīng)于該第二追蹤框內(nèi)的信息更新該第一人物信息； 于該臉部紋理相似度小于該第三閥值時(shí)，判斷該第一人臉不存在于該后續(xù)圖像中并檢驗(yàn)該第一人臉處于該丟失狀態(tài)的幀數(shù)是否超過(guò)該第二閥值，并于該第一人臉處于該丟失狀態(tài)的幀數(shù)超過(guò)該第二閥值時(shí)不再于該后續(xù)圖像的后續(xù)圖像中尋找該第一人臉；以及 于該臉部紋理相似度小于該第三閥值時(shí)，判斷該第二追蹤框所包含的該人臉圖像為不同于該第一人臉的一第三人臉的圖像并將該第三人臉的一第三人物信息存入該數(shù)據(jù)庫(kù)。
10.如權(quán)利要求9所述的人臉追蹤的方法，其中該第三人物信息包括該第三人臉于每一圖像的一位置、該第三人臉于每一圖像的一追蹤狀態(tài)、該第三人臉的一存在幀數(shù)、該第三人臉的一臉部紋理特征以及該第三人臉的臉部下方的一顏色特征，其中該追蹤狀態(tài)包括一持續(xù)追蹤狀態(tài)、一丟失狀態(tài)以及一停止追蹤狀態(tài)，當(dāng)該第三人臉的圖像存在于一圖像中時(shí)，該第三人臉的該追蹤狀態(tài)為該持續(xù)追蹤狀態(tài)，當(dāng)該第三人臉的圖像不存在于該圖像中時(shí)，該第三人臉的該追蹤狀態(tài)為該丟失狀態(tài)，而當(dāng)該第三人臉的圖像不存在于連續(xù)的多個(gè)圖像中時(shí)，該第三人臉的該追蹤狀態(tài)則為該停止追蹤狀態(tài)。
11.如權(quán)利要求10所述的人臉追蹤的方法，其中，于該第二人臉追蹤步驟后還包括一第二人臉檢測(cè)步驟，用以對(duì)該后續(xù)圖像的全幅圖像進(jìn)行人臉檢測(cè)，以檢驗(yàn)該后續(xù)圖像是否具有另一人臉圖像。
12.如權(quán)利要求11所述的人臉追蹤的方法，其中，于該第二人臉檢測(cè)步驟于該后續(xù)圖像中檢測(cè)到一第二人臉，且該第二追蹤框所包含的該人臉圖像與該第一人臉為同一人時(shí)，進(jìn)行一比對(duì)步驟，以檢驗(yàn)該第二人臉與該第一人臉是否為同一人，該比對(duì)步驟包括: 比較包含該第二人臉圖像的一第二人臉框與該第二追蹤框的位置； 若高比例重疊，則判斷該第二人臉與該第一人臉為同一人并以對(duì)應(yīng)于該第二人臉的一第二人物信息更新該第一人物信息，若未高比例重疊，則比較該第二人臉與該第二追蹤框所包含的該人臉圖像的臉部紋理相似度以及該第二人臉與該第二追蹤框所包含的該人臉圖像的臉部下方的顏色相似度；以及于該第二人臉與該第二追蹤框所包含的該人臉圖像的臉部紋理以及臉部下方的顏色相似度未超過(guò)一第三閥值時(shí)，判斷該第二人臉與該第一人臉不是同一人并將對(duì)應(yīng)于該第二人臉的該第二人物信息存入該數(shù)據(jù)庫(kù)，而于該相似度超過(guò)該第三閥值時(shí)，判斷該第二人臉與該第一人臉為同一人并以該第二人物信息更新該第一人物信息。
13.如權(quán)利要求12所述的人臉追蹤的方法，其中該第二人物信息包括該第二人臉于每一圖像的一位置、該第二人臉于每一圖像的一追蹤狀態(tài)、該第二人臉的一存在幀數(shù)、該第二人臉的臉部紋理特征以及該第二人臉的臉部下方的一顏色特征，其中該追蹤狀態(tài)包括一持續(xù)追蹤狀態(tài)、一丟失狀態(tài)以及一停止追蹤狀態(tài)，當(dāng)該第二人臉的圖像存在于一圖像中時(shí)，該第二人臉的該追蹤狀態(tài)為該持續(xù)追蹤狀態(tài)，當(dāng)該第二人臉的圖像不存在于該圖像中時(shí)，該第二人臉的該追蹤狀態(tài)為該丟失狀態(tài)，而當(dāng)該第二人臉的圖像不存在于連續(xù)的多個(gè)圖像中時(shí)，該第二人臉的該追蹤狀態(tài)則為該停止追蹤狀態(tài)。
14.如權(quán)利要求11所述的人臉追蹤的方法，其中，于該第二人臉檢測(cè)步驟于該后續(xù)圖像中檢測(cè)到一第二人臉，且該第二追蹤框所包含的該人臉圖像為該第三人臉的圖像時(shí)，進(jìn)行一比對(duì)步驟，以檢驗(yàn)該第二人臉與該第三人臉或該第一人臉是否為同一人，該比對(duì)步驟包括: 比較包含該第二人臉圖像的一第二人臉框與該第二追蹤框的位置； 若高比例重疊，則判斷該第二人臉與該第三人臉為同一人，并以對(duì)應(yīng)于該第二人臉的一第二人物信息更新該第一人物信息，若未高比例重疊，則分別比較該第二人臉與該第三人臉以及該第一人臉的臉部紋理相似度，并分別比較該第二人臉與該第三人臉以及該第一人臉的臉部下方的顏色相似度；以及 于該第二人臉與該第三人臉或該第一人臉的臉部紋理以及臉部下方的顏色相似度皆未超過(guò)一第三閥值時(shí)，判斷該第二人臉與該第一人臉以及該第三人臉皆不是同一人，并將對(duì)應(yīng)于該第二人臉的一第二人物信息存入該數(shù)據(jù)庫(kù)，而于該第二人臉與該第三人臉或該第一人臉的臉部紋理以及臉部下方的顏色相似度超過(guò)該第三閥值時(shí)，判斷該第二人臉與該第一人臉或該第三人臉為同一人，并以該第二人物信息更新該第一人物信息或該第三人物信肩、O
15.如權(quán)利要求14所述的人臉追蹤的方法，其中該第二人物信息包括該第二人臉于每一圖像的一位置、該第二人臉于每一圖像的一追蹤狀態(tài)、該第二人臉的一存在幀數(shù)、該第二人臉的臉部紋理特征以及該第二人臉的臉部下方的一顏色特征，其中該追蹤狀態(tài)包括一持續(xù)追蹤狀態(tài)、一丟失狀態(tài)以及一停止追蹤狀態(tài)，當(dāng)該第二人臉的圖像存在于一圖像中時(shí)，該第二人臉的該追蹤狀態(tài)為該持續(xù)追蹤狀態(tài)，當(dāng)該第二人臉的圖像不存在于該圖像中時(shí)，該第二人臉的該追蹤狀態(tài)為該丟失狀態(tài)，而當(dāng)該第二人臉的圖像不存在于連續(xù)的多個(gè)圖像中時(shí)，該第二人臉的該追蹤狀態(tài)則為該停止追蹤狀態(tài)。
16.如權(quán)利要求11所述的人臉追蹤的方法，其中，于該第二人臉檢測(cè)步驟于該后續(xù)圖像中檢測(cè)到一第二人臉，且該第二追蹤框內(nèi)不具有人臉圖像時(shí)，進(jìn)行一比對(duì)步驟，以檢驗(yàn)該第二人臉與該第一人臉是否為同一人，該比對(duì)步驟包括: 比對(duì)該第二人臉與該第一人臉的臉部紋理相似度，并比對(duì)該第二人臉與該第一人臉的臉部下方的顏色相似度；以及 于該第二人臉與該第一人臉的臉部紋理以及臉部下方的顏色相似度未超過(guò)一第三閥值時(shí)，判斷該第二人臉與該第一人臉并非同一人并將對(duì)應(yīng)于該第二人臉的一第二人物信息存入該數(shù)據(jù)庫(kù)，而于該相似度超過(guò)該第三閥值時(shí)，判斷該第二人臉與該第一人臉為同一人并以該第二人物信息更新該第一人物信息。
17.如權(quán)利要求16所述的人臉追蹤的方法，其中該第二人物信息包括該第二人臉于每一圖像的一位置、該第二人臉于每一圖像的一追蹤狀態(tài)、該第二人臉的一存在幀數(shù)、該第二人臉的臉部紋理特征以及該第二人臉的臉部下方的一顏色特征，其中該追蹤狀態(tài)包括一持續(xù)追蹤狀態(tài)、一丟失狀態(tài)以及一停止追蹤狀態(tài)，當(dāng)該第二人臉的圖像存在于一圖像中時(shí)，該第二人臉的該追蹤狀態(tài)為該持續(xù)追蹤狀態(tài)，當(dāng)該第二人臉的圖像不存在于該圖像中時(shí)，該第二人臉的該追蹤狀態(tài)為該丟失狀態(tài)，而當(dāng)該第二人臉的圖像不存在于連續(xù)的多個(gè)圖像中時(shí)，該第二人臉的該追蹤狀態(tài)則為該停止追蹤狀態(tài)。
18.如權(quán)利要求1所述的人臉追蹤的方法，更包括一人臉驗(yàn)證步驟，包括: 于滿(mǎn)足一第一條件時(shí)，移動(dòng)該數(shù)據(jù)庫(kù)的所有人物信息至一臨時(shí)存儲(chǔ)區(qū)域； 于滿(mǎn)足一第二條件時(shí)，移動(dòng)該臨時(shí)存儲(chǔ)區(qū)域的一人物信息至一合并結(jié)果存儲(chǔ)區(qū)域； 比對(duì)該臨時(shí)存儲(chǔ)區(qū)域的另一人物信息與該人物信息的相似度，于該相似度大于一第四閥值時(shí)，將該另一人物信息并入該人物信息，而于該相似度小于該第四閥值時(shí)，將該另一人物信息加入該合并結(jié)果存儲(chǔ)區(qū)域；以及 重復(fù)自該臨時(shí)存儲(chǔ)區(qū)域中取得任一人物信息并與該合并結(jié)果存儲(chǔ)區(qū)域的所有人物信息進(jìn)行比對(duì)至該臨時(shí)存儲(chǔ)區(qū)域的所有人物信息被并入或加入該合并結(jié)果存儲(chǔ)區(qū)域?yàn)橹埂?br> 19.如權(quán)利要求18所述的人臉追蹤的方法，其中該第一條件為該數(shù)據(jù)庫(kù)的所有人物信息的數(shù)量到達(dá)一第五閥值。
20.如權(quán)利要求19所述的人臉追蹤的方法，其中該第一條件為已完成所有人臉追蹤流程且該數(shù)據(jù)庫(kù)的人物信息的數(shù)量不為O。
21.如權(quán)利要求18所述的人臉追蹤的方法，其中該第二條件為該臨時(shí)存儲(chǔ)區(qū)域的所有人物信息的數(shù)量到達(dá)一第五閥值。
22.如權(quán)利要求21所述的人臉追蹤的方法，其中該第二條件為已完成所有人臉追蹤流程，且該數(shù)據(jù)庫(kù)的所有人物信息皆已被移入該臨時(shí)存儲(chǔ)區(qū)域。
【文檔編號(hào)】G06K9/00GK103679125SQ201210357801
【公開(kāi)日】2014年3月26日 申請(qǐng)日期:2012年9月24日 優(yōu)先權(quán)日:2012年9月24日
【發(fā)明者】黃英杰, 劉旭華, 賈千文 申請(qǐng)人:致伸科技股份有限公司