面部檢測和識別的制作方法

面部檢測和識別的制作方法
【專利摘要】本發明在至少一個方面提供了一種方法和系統，該方法和系統：在至少一個數字圖像中檢測至少一個面部，確定和存儲被檢測的至少一個面部在至少一個數字圖像中的位置的區域坐標，向被檢測的至少一個面部施加至少一個變換以創建被檢測的至少一個面部的至少一個肖像，旋轉至少一個肖像至少直到至少一個肖像被示出在豎直方位上并且在至少一個肖像中被示出的至少一個面部的一對眼睛被定位在水平面上；以及存儲被旋轉的至少一個肖像。
【專利說明】面部檢測和識別
[0001]相關申請的交叉引用
[0002]本申請要求2013年11月 12 日提交的、題為 “FACE DETECT1N AND RECOGNIT1N” 的美國專利申請序列號14/078，071的優先權，其全部內容據此通過弓I用被整體合并。
技術領域
[0003]本發明涉及使用面部檢測和識別的面部和肖像提取及其應用。
【背景技術】
[0004]社交網絡當前作為一種使用網站連接個體的手段而存在。用于“社交網絡”的PCMAG.COM?百科全書中存在以下定義:
[0005]依據家庭、工作或喜好被吸引在一起的人員的團體。該術語首先由J.A.Barnes教授在二十世紀五十年代創造，他將社交網絡的大小定義為大約100到150個人員的群組。
[0006]用于“社交網絡站點”的PCMAG.COM?百科全書中存在以下定義:
[0007]向對特定主題感興趣或者僅一起“閑逛”的人員提供虛擬社區的網站。成員通過語音、聊天、即時消息、視頻會議和博客交流，并且服務通常向成員提供一種聯系其他成員的朋友的方式。這樣的站點也可以用作面對面接觸的媒介。“社交網站”是用于“虛擬社區”的二十一世紀術語，使用因特網關于任何事情和每件事情彼此交流的一組人員。
[0008]Friends ter (www.friends ter.com)是第一個社交網站，其在2002年被引入，并且一年之后引入了MySpace (www.myspace.com)。由兩個朋友開始，MySpace變得極為流行，并且在MySpace發布兩年之后，其父公司Intermix被News Corporat1n以5.8億美元收購。
[0009]Facebook(www.facebook.com)在2004年出現，其最初針對大學生，但是后來歡迎每個人。在 Facebook之后是 TagWor ld( www.tagworld.com)和Tagged (www.tagged.com)。TagWorld引入了用于創建更加個性化的網頁的工具，而Tagged引入了針對具有相似興趣的青少年構建摔角雙打(tag team)的概念。
[0010]社交網站很像當因特網在二十世紀九十年代中期橫空出世時的第一門戶網站那樣競爭注意力。期望有很多變型。
[0011]很多社交網站允許用戶上傳和共享照片。一些社交網站還包含標記照片以識別照片中的人名(面部)的特征(例如FACEB00K?提供這一特征)。基于用戶調查，多數被調查者指出標記努力是手動的并且非常耗時。另外，出于隱私原因，很多用戶沒有將其所有數字照片上傳到共享網站。上傳成千張照片也非常耗時并且是帶寬密集型的。因此，雖然社交網站的用戶可以在其本地計算機上具有10000張數字照片，但是他們僅上傳一兩百張以與其朋友共享。這基于由Applied Recognit1n公司在2007年9月進行的用戶調查。
[0012]還存在允許注冊用戶上傳數字照片和數字視頻并且將其存儲在網站上用于共享目的的網站。這些網站專用于這一目的。這些站點的示例包括FLICKR?和PH0T0BUCKET?。這些站點的缺陷在于，用于識別朋友的所有照片標記是手動的和耗時的；PH0T0BUCKET?不允許人員在照片中進行標記。在FLICKR?的情況下，如果平均一張圖片包含兩個人員，則其可能每張照片花費10到15秒來標記人員。當這一時間乘以100或1000時，其變得太耗時并且平均個人將不執行標記。
[0013]隨著數字相機在多數現代手機中的合并，當今出現了照片拍攝設備的快速增長。實際上，與所有專用數字相機之和相比，更多相機當今經由手機被售賣。這引起了在家用計算機上被上傳和存儲的數字圖像的數目的增殖。由于數字圖像的平均數目基于我們的調查超過1000，所以手動標記和正確地組織大量人員的圖像太費精力。
[0014]一個公司RIYA?(WWW.riya.com)創造了用于識別數字照片中的面部的基于網站的產品。這一產品涉及軟件模塊的下載，該軟件模塊用于在向遠程RIYA?的基于網站的服務器上傳這些照片之前在用戶的本地計算機上識別照片中的面部，這些面部在該服務器中與其它面部進行比較以找出匹配。這一產品是原型，并且因此沒有基于識別的自動照片共享特征。其也沒有用于使得用戶能夠糾正在任何自動面部檢測和識別方法中出現的不可避免的錯誤的特征。
[0015]在2007年之前，使用與照片相關的文本或日期(諸如標題、題目、描述、創建日期等)而不是圖像內容本身來進行圖像搜索。從那以后，已經有大量公司開始在消費者照片應用中引入面部檢測和識別，包括:在2008年，Google向Picasa中引入面部識別;在2009年，用于Flickr的Po Iar Rose應用；在2010年,Apple收購Po Iar 1?08 6并且在丨？1101:0中引入該特征;在2010年，Microsof t在其Pho to Ga I Iery產品中引入面部識別；在2010年，Facebook引入面部檢測；以及在2010年，Sony Ericsson向其照片庫中集成面部識別軟件。

【發明內容】

[0016]在本發明的一個方面，提供了一種用于在數字圖像中識別一個或多個面部的方法，該方法的特征在于:(a)生成對應于一個或多個面部的一個或多個候選區域的一個或多個面部坐標；(b)基于面部坐標生成眼睛坐標(eye coordinate) ； (c)使用由面部坐標和眼睛坐標定義的一個或多個投影圖像檢測每個面部；以及(d)將每個投影圖像與一個或多個已知投影圖像相比較，其中提供了用于定義投影圖像與已知投影圖像之間的最佳匹配的相似度門限。
[0017]在本發明的另一方面，提供了一種用于共享描繪一個或多個面部的數字圖像的方法，該方法的特征在于:(a)將多個計算機終端鏈接至計算機網絡，每個計算機終端與個體相關聯；(b)將數字圖像鏈接至計算機終端中的至少一個計算機終端；(C)使得計算機終端中的至少一個計算機終端能夠在數字圖像上發起面部識別例程，面部識別例程產生其面部在數字圖像中被描繪的一個或多個個人的列表，這些個人中的至少一個個人是上述個體之一；以及(d)使得計算機終端中的至少一個計算機終端能夠發起用于向與一個或多個個人相關聯的計算機終端散布數字圖像的共享例程。
[0018]在本發明的另一方面，提供了一種用于共享描繪一個或多個面部的數字圖像的方法，該方法的特征在于:(a)將多個計算機終端鏈接至計算機網絡并且將多個云服務與基于云的數據儲存庫中存儲的數字圖像和元數據鏈接；(b)將數字圖像鏈接至計算機終端中的至少一個計算機終端；(C)使得計算機終端中的至少一個計算機終端能夠在數字圖像上發起面部識別例程，面部識別例程產生其面部在數字圖像中被描繪的一個或多個個人的列表，這些個人中的至少一個個人是上述個體之一；以及(d)使得計算機終端中的至少一個計算機終端能夠發起用于向與一個或多個個人相關聯的計算機終端散布數字圖像的共享例程。
[0019]在本發明的另一方面，提供了一種用于共享描繪一個或多個面部的數字圖像的方法，該方法的特征在于:(a)將多個計算機終端鏈接至計算機網絡，每個計算機終端與個體相關聯，并且將多個云服務與在每個計算機終端上以及在基于云的數據儲存庫中存儲的數字圖像和元數據鏈接；(b)將數字圖像鏈接至計算機終端中的至少一個計算機終端；(C)使得計算機終端中的至少一個計算機終端能夠在數字圖像上發起面部識別例程，面部識別例程產生其面部在數字圖像中被描繪的一個或多個個人的列表，這些個人中的至少一個個人是上述個體之一；以及(d)使得計算機終端中的至少一個計算機終端能夠發起用于向與一個或多個個人相關聯的計算機終端散布數字圖像的共享例程。
[0020]在本發明的另一方面，提供了一種用于共享描繪一個或多個面部的數字圖像的方法，該方法的特征在于:(a)將多個相機或者具有拍攝圖片或者拍攝視頻圖像的相機的智能電話鏈接，并且將多個計算機終端鏈接至計算機網絡，每個計算機終端與個體相關聯，并且將多個云服務與在每個計算機終端上以及在基于云的數據儲存庫中存儲的數字圖像和元數據鏈接；(b)將數字圖像鏈接至計算機終端中的至少一個計算機終端；(C)使得相機或者具有相機的智能電話能夠在數字圖像上發起面部識別例程，面部識別例程產生其面部在數字圖像中被描繪的一個或多個個人的列表，這些個人中的至少一個個人是上述個體之一；以及(d)使得計算機終端中的至少一個計算機終端能夠發起用于向與一個或多個個人相關聯的計算機終端散布數字圖像的共享例程。
[0021]在本發明的另外的方面，提供了一種用于在數字圖像中識別一個或多個面部的系統，該系統的特征在于:(a)對應于一個或多個面部的一個或多個候選區域的一個或多個面部坐標；(b)基于面部坐標生成的眼睛坐標；(c)由面部坐標和眼睛坐標定義的一個或多個投影圖像；以及(d)用于定義每個投影圖像與一個或多個已知投影圖像之間的最佳匹配的相似度門限，該最佳匹配確定對應于一個或多個面部中的每個面部的身份。
[0022]在本發明的又一方面，提供了一種用于共享描繪一個或多個面部的數字圖像的系統，該系統的特征在于:(a)鏈接至計算機網絡的多個計算機終端，每個計算機終端與個體相關聯；(b)可操作以鏈接至計算機終端中的至少一個計算機終端的數字圖像；(c)可操作以由計算機終端中的至少一個計算機終端發起的面部識別例程，面部識別例程產生其面部在數字圖像中被描繪的一個或多個個人的列表，這些個人中的至少一個個人是上述個體之一；以及(d)可操作以由計算機終端中的至少一個計算機終端發起的共享例程，共享例程向與一個或多個個人相關聯的計算機終端散布數字圖像。
[0023]在本發明的又一方面，提供了一種用于提供安全的定向廣告的方法，該方法的特征在于:(a)跟蹤與向計算機程序注冊的個體相關聯的一個或多個人口統計學屬性；(b)從第一源檢索與基于一個或多個人口統計學屬性定向的一個或多個廣告相關聯的廣告指針的列表;(C)從第二源檢索一個或多個廣告；(d)從第一源刪除一個或多個人口統計學屬性；以及(e)向個體呈現廣告。
[0024]在本發明的又一方面，提供了一種用于在數字圖像中識別一個或多個面部的系統，該系統的特征在于:(a)對應于一個或多個面部的一個或多個候選區域的一個或多個面部坐標；(b)基于面部坐標生成的眼睛坐標；(c)由面部坐標和眼睛坐標定義的一個或多個投影圖像；以及(d)用于定義每個投影圖像與一個或多個已知投影圖像之間的最佳匹配的相似度門限，該最佳匹配確定對應于一個或多個面部中的每個面部的身份。
[0025]在本發明的又一方面，提供了一種用于共享描繪一個或多個面部的數字圖像的系統，該系統的特征在于:(a)鏈接至計算機網絡的多個計算機終端，每個計算機終端與個體相關聯；(b)可操作以鏈接至計算機終端中的至少一個計算機終端的數字圖像；(c)可操作以由計算機終端中的至少一個計算機終端發起的面部識別例程，面部識別例程產生其面部在數字圖像中被描繪的一個或多個個人的列表，這些個人中的至少一個個人是上述個體之一；以及(d)可操作以由計算機終端中的至少一個計算機終端發起的共享例程，共享例程向與一個或多個個人相關聯的計算機終端散布數字圖像。
[0026]在本發明的又一方面，提供了一種用于提供安全的定向廣告的系統，該系統的特征在于:(a)與向計算機程序注冊的個體相關聯的一個或多個人口統計學屬性；(b)可操作以提供與基于一個或多個人口統計學屬性定向的一個或多個廣告相關聯的廣告指針的列表的第一源；(C)可操作以提供一個或多個廣告的第二源；(d)用于從第一源刪除一個或多個人口統計學屬性的裝置;以及(e)用于向個體呈現廣告的裝置。
[0027]在本發明的又一方面，提供了一種在數字圖像中識別一個或多個面部的計算機程序產品，該計算機程序產品的特征在于:(a)包括軟件指令的計算機可讀介質；以及(b)用于使得計算機能夠執行預定操作的軟件指令，該預定操作包括步驟:(i)生成對應于一個或多個面部的一個或多個候選區域的一個或多個面部坐標；(ii)基于面部坐標生成眼睛坐標；
(iii)使用由面部坐標和眼睛坐標定義的一個或多個投影圖像檢測每個面部；以及(iv)將每個投影圖像與一個或多個已知投影圖像相比較，其中提供了用于定義投影圖像與已知投影圖像之間的最佳匹配的相似度門限。
[0028]在本發明的另一方面，提供了一種用于共享描繪一個或多個面部的數字圖像的計算機程序產品，該計算機程序產品的特征在于:(a)包括軟件指令的計算機可讀介質；以及(b)用于使得計算機能夠執行預定操作的軟件指令，該預定操作包括步驟:(i)將多個計算機終端鏈接至計算機網絡，每個計算機終端與個體相關聯；(ii)將數字圖像鏈接至計算機終端中的至少一個計算機終端；(iii)使得計算機終端中的至少一個計算機終端能夠在數字圖像上發起面部識別例程，該面部識別例程產生其面部在數字圖像中被描繪的一個或多個個人的列表，這些個人中的至少一個個人是上述個體之一；以及(iv)使得計算機終端中的至少一個計算機終端能夠發起用于向與一個或多個個人相關聯的計算機終端散布數字圖像的共享例程。
[0029]在本發明的又一方面，提供了一種用于提供安全的定向廣告的計算機程序產品，該計算機程序產品的特征在于:(a)包括軟件指令的計算機可讀介質；以及(b)用于使得計算機能夠執行預定操作的軟件指令，該預定操作包括步驟:(i)跟蹤與向計算機程序注冊的個體相關聯的一個或多個人口統計學屬性；(ii)從第一源檢索與基于一個或多個人口統計學屬性定向的一個或多個廣告相關聯的廣告指針的列表；(iii)從第二源檢索一個或多個廣告；(iv)從第一源刪除一個或多個人口統計學屬性；以及(V)向個體呈現廣告。
[0030]本發明在其另外的方面使得能夠捕獲其面部位于圖像中的人員的肖像。如果在圖像中檢測到面部，則本文提供的計算機程序捕獲面部的位置的XY坐標并且將其記錄在數據庫中。計算機程序可以被配置成調節面部區域的大小以便捕獲和創建個人的肖像(或縮略圖)。另外，本文提供的計算機程序可以自動調節面部的旋轉以針對眼睛在水平面上的肖像豎直地渲染面部位置。
[0031]本發明在其另外的方面使得能夠使用被捕獲并且存儲在其面部位于圖像中的人員的數據庫中的肖像。計算機程序可以選擇肖像并且將肖像與產品圖像的廣告合并用于向消費者顯示。計算機程序可以被配置成調節肖像的大小以匹配廣告或產品圖像的大小要求。
[0032]本發明在其另外的方面使得能夠隱藏其面部位于圖像中的人員。計算機程序在數據庫中查詢要被抑制的面部的位置的XY坐標。計算機程序的用戶可以選擇用于掩蓋現有面部區域的圖像。計算機程序將在所選擇的個人的面部上方與所選擇的圖像疊置(在單個圖像中或者包含該個人的全部圖像中)并且向消費者顯示修改后的圖像。這一動作可以出于娛樂目的被進行或者被進行以隱藏負面記憶。計算機程序可以被配置成調節肖像的大小以匹配所選擇的要隱藏的面部大小的大小需求。計算機程序可以將修改存儲在元數據中或者永久地向原始照片施加變化。交疊的(置換)圖像的邊緣可以被調節為匹配顏色、強度、亮度、紋理和其他特性以混合到原始圖像中并且在視覺上更加吸引人。
[0033]本發明的又一方面使得能夠按照歷史順序顯示從照片捕獲的面部或肖像。計算機程序使得能夠從圖像捕獲肖像。計算機還根據文件信息、EXIF(元數據)信息跟蹤照片的日期，或者計算機程序的用戶可以可選地規定更舊的非數字照片的掃描所需要的圖像的日期。計算機程序采用來自與從這樣的照片捕獲的肖像相關的照片的日期數據根據日期布置肖像的顯示。計算機程序隨后可以使用照片變形技術生成和顯示個人的面部隨時間演變的動畫。
[0034]本發明的另一方面使得從照片捕獲的面部或肖像能夠用作游戲或練習的內容。計算機程序使得能夠從圖像捕獲肖像。計算機程序還維護照片中的人員以及人員之間的關系的數據庫。計算機程序通過使用這樣的數據使得程序的用戶(“播放器”)與照片和從這樣的照片捕獲的肖像相關從而布置基于游戲或練習的播放器定制的上述照片或肖像的顯示。這樣的定制可以如基于關系的照片的幻燈片那樣簡單。定制也可以是姿勢，諸如對于具有Alzheimer或Dementia的人員而言很有用的姿勢，其中可以向Alzheimer患者呈現個人照片和關系作為游戲或練習。這種處理通常稱為照片懷舊治療。使用從照片提取的照片和肖像的索引的計算機程序基于數據庫查詢來檢索這樣的照片和肖像并且將選擇的圖像嵌入到游戲和練習中。
[0035]本發明在其另外的方面便利作為用于照片的索引的家譜的創建。計算機程序在數據庫中查詢所有與給定用戶相關的肖像并且然后將其呈現給用戶。計算機程序的用戶然后選擇肖像并且將其拖拽到家譜中的特定節點上以添加新的關系。當用戶將新的親屬肖像拖拽到家譜圖上時，計算機程序將動態地繁衍附加關系。一旦將給定家族的所有肖像添加到家譜，則其完成并且然后變為用于消費者顯示和定位照片的動態索引。可選地，可以使用相同的樹格式來將朋友連接在一起并且示出不同種類的朋友之間的(自定義的)關系。示例可以是同事、高中朋友、大學朋友等。
[0036]本發明在其另外的方面使得能夠使用組肖像用作照片的索引。任何人員組織都對這很感興趣。通常，組織按照年來維護組照片。例如，運動組具有每個季節的顯示運動員的組照片。童子軍團、管弦樂隊、班級照片、倶樂部等通常使用相同的方法。計算機程序使得能夠使用組照片和上述照片中的對象的合成身份用作到包含組內的個體的照片的索引。這使得能夠基于年/季以及由組成員和組成員子集來組織和構造照片顯示。
[0037]本發明的另一方面使得能夠顯示FBI最想要的失蹤兒童的面部或肖像以及尋找個人的類似需求。計算機程序向尋求用戶的幫助以尋找上述個人的計算機程序的用戶顯示這些圖像。計算機還遞送被尋找的上述個人的面部簽名并且向用戶請求將上述面部簽名與其個人數據庫相比較的許可并且報告潛在匹配。如果存在潛在匹配，則將向用戶呈現這樣的潛在匹配，并且用戶可以可選地向相應權威機構通知這樣的潛在匹配。這可以使得組織能夠確定個體的最近或當前位置。其還可以使得組織能夠確定個體的姓名，因為個體的姓名可以被列在用戶的已知個人列表中的一個或多個中。
[0038]根據本發明的一方面，提供了一種由至少一個計算機執行的方法，該方法包括:在至少一個數字圖像中檢測至少一個面部;確定和存儲被檢測的至少一個面部在至少一個數字圖像中的位置的區域坐標；向被檢測的至少一個面部施加至少一個變換以創建被檢測的至少一個面部的至少一個肖像;旋轉至少一個肖像至少直到至少一個肖像被示出在豎直方位上并且在至少一個肖像中被示出的至少一個面部的一對眼睛被定位在水平面上；以及存儲被旋轉的至少一個肖像。
[0039]根據本發明的一方面，提供了一種包括至少一個計算機的系統，至少一個計算機包括至少一個處理器和非暫態計算機可讀存儲器，非暫態計算機可讀存儲器包括處理指令，處理指令在由至少一個處理器執行時使得計算機:在至少一個數字圖像中檢測至少一個面部;確定和存儲被檢測的至少一個面部在至少一個數字圖像中的位置的區域坐標；向被檢測的至少一個面部施加至少一個變換以創建被檢測的至少一個面部的至少一個肖像；旋轉至少一個肖像至少直到至少一個肖像被示出在豎直方位上并且在至少一個肖像中被示出的至少一個面部的一對眼睛被定位在水平面上；以及存儲被旋轉的至少一個肖像。
[0040]根據本發明的一方面，提供了一種由至少一個計算機執行的方法，至少一個計算機包括數據庫或者與數據庫接口連接，數據庫包括多個肖像，每個肖像與相應肖像中示出的已識別個人相關聯，該方法包括:顯示與用戶相關聯的至少一個已識別個人的相應肖像；顯示至少一個個人關系到用戶的虛擬呈現;根據接收的用戶輸入，向顯示的個人關系中的至少一個個人關系分配顯示的肖像中的至少一個肖像；以及將個人關系分配存儲在數據庫中。
[0041]根據本發明的一方面，提供了一種由至少一個計算機執行的方法，至少一個計算機包括肖像和數字圖像的數據庫或者與肖像和數字圖像的數據庫接口連接，每個肖像與相應肖像中示出的已識別個人相關聯，該方法包括:顯示數字圖像中的至少一個數字圖像;交叉引用顯示的至少一個數字圖像與肖像的數據庫以創建在至少一個數字圖像中示出的至少一個已識別個人的列表;根據至少一個已識別個人的列表索引至少數字圖像的子集；以及根據用戶輸入，從顯示的至少一個數字圖像中選擇已識別個人中的至少一個個人，顯示相應地索引的數字圖像中的至少一個數字圖像。
[0042]根據本發明的一方面，提供了一種由至少一個計算機執行的方法，至少一個計算機包括肖像的數據庫或者與肖像的數據庫接口連接，每個肖像與相應肖像中示出的已識別個人相關聯，該方法包括:接收至少一個未識別肖像;將至少一個未識別肖像的面部簽名與用戶已知的已識別個人的肖像的面部簽名相比較;根據比較的肯定結果，提示用戶肯定結果的確認；以及根據確認，使得至少一個未識別肖像與用戶確認的至少一個已識別個人相關聯并且將至少一個未識別肖像存儲在數據庫中。
[0043]根據本發明的一方面，提供了一種由至少一個計算機執行的方法，至少一個計算機包括數字圖像的數據庫以及識別相應數字圖像中示出的至少一個已識別個人的姓名的相應元數據或者與數字圖像的數據庫以及識別相應數字圖像中示出的至少一個已識別個人的姓名的相應元數據接口連接，該方法包括:從數據庫中選擇已識別個人之一;確定已識別個人出現在其中的數字圖像的總數的計數;針對在具有選擇的已識別個人的數字圖像中的至少一個數字圖像中示出的每個已識別個人，確定具有選擇的已識別個人的相應已識別個人出現在其中的數字圖像的總數的計數；以及顯示視覺表示，視覺表示包括:第一節點，第一節點表示選擇的已識別個人以及已識別個人出現在其中的數字圖像的總數的相應計數;針對具有選擇的已識別個人的數字圖像中的至少一個數字圖像中示出的每個已識別個人的第二節點，第二節點表示具有選擇的已識別個人的數字圖像中的至少一個數字圖像中示出的相應已識別個人，每個相應節點還包括具有選擇的已識別個人的相應已識別個人出現在其中的數字圖像的總數的相應計數的視覺表示。
[0044]根據本發明的一方面，提供了一種由至少一個計算機執行的方法，至少一個計算機包括數字圖像的數據庫以及識別相應數字圖像中示出的至少一個已識別個人的姓名的相應元數據或者與數字圖像的數據庫以及識別相應數字圖像中示出的至少一個已識別個人的姓名的相應元數據接口連接，該方法包括:從數據庫中選擇已識別個人之一;確定數字圖像中的至少一個數字圖像中示出的至少一個第一已識別個人連同選擇的已識別個人；以及顯示視覺表示，視覺表示包括:針對每個第一已識別個人的第一層級節點，第一層級節點表示選擇的已識別個人以及一起在數字圖像中的至少一個數字圖像中示出的相應第一已識別個人；以及針對每個第一已識別個人的第二層級節點，第二層級節點表示沒有選擇的已識別個人的數字圖像中的至少一個數字圖像中示出的相應第一已識別個人。
[0045]根據本發明的一方面，提供了一種由至少一個計算機執行的方法，至少一個計算機包括肖像的數據庫或者與肖像的數據庫接口連接，每個肖像與相應肖像中示出的已識別個人相關聯，該方法包括:從數據庫中選擇已識別個人之一;至少部分基于與每個相應肖像相關聯的日期元數據對于選擇的已識別個人相關聯的多個肖像排序;顯示虛擬表示，虛擬表示包括:時間線；以及多個肖像根據相應排序沿著時間線的布置。
[0046]根據本發明的一方面，提供了一種由至少一個計算機執行的方法，至少一個計算機包括數字圖像的數據庫以及識別相應數據圖像的日期的相應元數據或者與數字圖像的數據庫以及識別相應數據圖像的日期的相應元數據接口連接，多個數字圖像示出至少一個相應未識別個人(“未識別的數字圖像”)，該方法包括:通過相應日期元數據對未識別的數字圖像分類；向每個未識別的數字圖像分配相應聚類令牌，其中分配包括:根據未識別的數字圖像的子集每個示出公共的未識別個人這一確定，向子集中的每個未識別的數字圖像分配公共的相應聚類令牌;通過相應聚類令牌對未識別的數字圖像分組;接收新的數字圖像以及識別相應新的數字圖像的日期的相應元數據，新的數字圖像包括新的未識別個人;按照順序執行新的未識別個人與多個數字圖像的至少一個相應未識別個人的至少一個比較，其中對于每組未識別的數字圖像，僅執行新的未識別個人與相應公共的未識別個人的單個比較;根據比較執行向新的數字圖像分配聚類令牌，產生各組未識別數字圖像中的相應一組未識別數字圖像的公共的新的未識別個人的確定。
[0047]根據本發明的一方面，提供了一種建議接收的數字圖像中的未識別個人的識別的方法，該方法由至少一個計算機執行，至少一個計算機包括肖像和相關聯的數字圖像的數據庫或者與肖像和相關聯的數字圖像的數據庫接口連接，每個肖像與相應肖像中示出的已識別個人相關聯，該方法包括:確定數字圖像之一中示出的至少兩個已識別個人的相應肖像與根據接收的數字圖像確定的未識別個人的肖像滿足比較門限;建議將未識別個人識別為具有被確定為至少兩個已識別個人中最接近地匹配未識別個人的肖像的相應相關聯的肖像的至少兩個已識別個人中的相應已識別個人；以及排除隨后建議將未識別個人識別為來自數字圖像中的任何其他數字圖像的至少兩個已識別個人中的其余已識別個人。
[0048]根據本發明的一方面，提供了一種建議接收的數字圖像中的未識別個人的識別的方法，該方法由至少一個計算機執行，至少一個計算機包括肖像和相關聯的數字圖像的數據庫或者與肖像和相關聯的數字圖像的數據庫接口連接，每個肖像與相應肖像中示出的已識別個人相關聯，該方法包括:確定數字圖像中的至少一個數字圖像中示出的至少一個已識別個人的相應肖像與根據接收的數字圖像確定的未識別個人的肖像滿足比較門限;根據與包括對應于和接收的數字圖像相關聯的日期元數據的日期的元數據相關聯的數字圖像中的確定的至少一個數字圖像，建議將未識別個人識別為至少一個已識別個人。
[0049]根據本發明的一方面，提供了一種建議接收的數字圖像中的未識別個人的識別的方法，該方法由至少一個計算機執行，至少一個計算機包括肖像和相關聯的數字圖像的數據庫或者與肖像和相關聯的數字圖像的數據庫接口連接，每個肖像與相應肖像中示出的已識別個人相關聯，該方法包括:根據接收的圖片包括與定義的組相關聯的至少一個已識別個人這一確定，至少部分基于和定義的組相關聯的至少一個已識別個人的相應肖像與根據接收的數字圖像確定的未識別個人的肖像滿足比較門限這一確定來建議未識別個人的識別。
[0050]根據本發明的一方面，提供了一種建議接收的數字圖像中的未識別個人的識別的方法，該方法由至少一個計算機執行，至少一個計算機包括肖像和相關聯的數字圖像的數據庫或者與肖像和相關聯的數字圖像的數據庫接口連接，每個肖像與相應肖像中示出的已識別個人相關聯，該方法包括:確定數字圖像中的至少一個數字圖像中示出的至少一個已識別個人的相應肖像與根據接收的數字圖像確定的未識別個人的肖像滿足比較門限;根據與包括對應于和接收的數字圖像相關聯的日期元數據的日期以及和接收的數字圖像相關聯的位置元數據的預定距離門限內的位置的元數據相關聯的數字圖像中的確定的至少一個數字圖像，建議將未識別個人識別為至少一個已識別個人。
[0051]根據本發明的一方面，提供了一種建議接收的數字圖像中的未識別個人的識別的方法，該方法由至少一個計算機執行，至少一個計算機包括肖像和相關聯的數字圖像的數據庫或者與肖像和相關聯的數字圖像的數據庫接口連接，每個肖像與相應肖像中示出的已識別個人相關聯，該方法包括:確定數字圖像中的至少一個數字圖像中示出的至少一個已識別個人的相應肖像與根據接收的數字圖像確定的未識別個人的肖像滿足比較門限;至少部分基于與接收的數字圖像相關聯的元數據，確定接收的數字圖像與事件相關聯;根據與事件相關聯的數字圖像中的確定的至少一個數字圖像，建議將未識別個人識別為至少一個已識別個人。
[0052]根據本發明的一方面，提供了一種建議接收的數字圖像中的未識別個人的識別的方法，該方法由至少一個計算機執行，至少一個計算機包括肖像和相關聯的數字圖像的數據庫或者與肖像和相關聯的數字圖像的數據庫接口連接，每個肖像與相應肖像中示出的已識別個人相關聯，該方法包括:確定數字圖像中的至少一個數字圖像中示出的至少一個已識別個人的相應肖像與根據接收的數字圖像確定的未識別個人的肖像滿足比較門限;從數字圖像中的確定的至少一個數字圖像中提取非肖像視覺信息;根據提取的非肖像視覺信息與來自接收的數字圖像的非肖像視覺信息滿足比較門限這一確定，建議將未識別個人識別為至少一個已識別個人。
[0053]在這一點上，在詳細解釋本發明的至少一個實施例之前，應當理解，本發明在其應用方面不限于以下描述中給出或者附圖中圖示的構造細節以及部件布置。本發明能夠具有其他實施例并且能夠用各種方式來實踐和執行。另外，應當理解，本文中采用的詞語和術語出于描述的目的，而不應當被認為是限制性的。
【附圖說明】
[0054]現在僅作為示例參考附圖來描述實施例，在附圖中:
[0055]圖1圖示合并執行照片的定向分配的社交網絡服務的本發明的系統的特定實施例。
[0056]圖2進一步圖示圖1中圖示的系統，其中用戶隨時間從各種設備添加新的數字圖像。
[0057]圖3圖示本發明的在其一方面中的用于生成與已知個人的簽名相比較的面部“簽名”的面部識別方法。
[0058]圖4圖示鏈接本地計算機系統的存儲設備上的面部數據庫中的面部檢測、眼睛檢測和面部識別的結果。
[0059]圖5圖示對等組如何能夠隨時間生長和進化為已知個人組的列表。
[0060]圖6圖示糾正可以由于自動面部檢測、眼睛檢測和面部識別步驟產生的錯誤的潛在方法O
[0061]圖7圖示本發明的用于在相同的對等組中的用戶之間提供照片的自動選擇性散布的系統和方法。
[0062]圖8圖示可以使得能夠瀏覽由計算機程序管理的照片和面部數據庫的圖形用戶界面的示例實施例。
[0063]圖9示出了已知個人的面部圖像加上用于將照片的領域變窄的布爾運算符。
[0064]圖10圖示由GUI提供的可選的廣告顯示能力。
[0065]圖11圖示本發明在其一方面中的基于紋理的面部檢測方法。
[0066]圖12圖示本發明的一方面中的用于眼睛檢測的方法。
[0067]圖13圖示本發明的一方面中的面部識別方法。
[0068]圖13a圖示本發明的一方面中的面部識別方法。
[0069]圖14A、14B和14C圖示隔離照片中的眼睛的方法。
[0070]圖15圖示本發明的系統的示例配置。
[0071]圖16圖示用于使得用戶能夠確認圖像中出現的面部的身份的界面。
[0072]圖17圖示用戶可以用于刪除圖像中的假陽性面部檢測的裝置。
[0073]圖18圖示用戶可以用于出于增加檢測算法準確性的目的而重新定位對應于圖像中的面部的檢測的眼睛坐標的裝置。
[0074]圖19圖示手動標記圖像中的面部的過程。
[0075]圖20圖示提取視頻的幀并且對這些幀執行面部檢測的視頻掃描方法。
[0076]圖21圖示本發明的一方面，其中遠程網絡瀏覽器或移動設備能夠訪問代理服務器，以提供到本發明的功能的連接。
[0077]圖22圖示假陽性面部檢測錯誤的刪除。
[0078]圖23圖示本發明的一方面，其中面部位于捕獲面部的位置的xy坐標的圖像中，其提供捕獲面部并且在大小和旋轉方面調節面部的圖像以產生肖像(實際大小或縮略圖)的方法。
[0079]圖24圖示從在大小和旋轉方面被調節之后的照片復制面部的圖像并且將其嵌入到廣告消息中或者產品照片中。
[0080]圖25圖示使用圖像在對象的面部上覆蓋照片以隱藏負面記憶。
[0081]圖26圖示按照歷史順序從照片捕獲的面部的顯示。
[0082]圖27圖示從照片捕獲的面部/肖像的顯示以及將其嵌入到游戲和練習中。
[0083]圖28圖示家譜的創建以及將其用作照片的索引。
[0084]圖29圖示將組照片用作照片的索引。
[0085]圖30圖示失蹤兒童和通緝犯的面部簽名的遞送的顯示。
[0086]圖31圖示面部簽名的匹配以找到看起來相像的個人。
[0087]圖32圖示創建定制廣告的工作流。
[0088]圖33圖示創建定制產品的工作流。
[0089]圖34圖示隱藏負面記憶的工作流。
[0090 ]圖35圖示創建定制游戲和練習的工作流。
[0091]圖36圖示創建家譜的工作流。
[0092]圖37圖示使用照片作為索引的工作流。
[0093]圖38圖示尋找失蹤個人的工作流。
[0094]圖39圖示尋找相似長相的工作流。
[0095]圖40-45圖示根據本發明的各個方面的使用元數據來增強面部識別結果的工作流。
[0096]圖46圖示根據本發明的一方面的示出了已識別個人一起出現的頻率的關系圖。
[0097]圖47圖示根據本發明的一方面的以分層列表格式顯示照片。
[OO98 ]圖48圖示表示圖48中所示的層級的拼貼照片。
[0099]圖49圖示根據本發明的一方面的顯示用于已識別個人的面部肖像的時間線。
[0100]圖50圖示根據本發明的一方面的通過使用聚類來識別照片中的面部。
[0101]圖51-53圖示根據本發明的一方面的面部分組和聚類。
[0102]在附圖中，本發明的實施例通過示例被說明。應當明確地理解，說明書和附圖僅出于說明和幫助理解的目的，而非意圖作為本發明的范圍的限定。
【具體實施方式】
[0103]挺述
[0104]明在其一方面提供一種使得能夠自動分配與在網絡上操作計算機系統的多個個體有關的圖像的連網計算機架構。
[0105]本發明在其另一方面提供一種可操作以使得每個個體能夠與本文中被提供用于共享包括圖像的信息的連網計算機架構接口連接的計算機程序。計算機程序使得個體能夠上傳圖像，包括具有一個或多個個人的面部的描寫的圖像。計算機程序可以執行面部檢測技術以在圖像中檢測一個或多個面部，這可以導致一個或多個面部簽名的生成，每個面部簽名對應于面部之一。計算機程序然后可以訪問數據庫，其中數據庫將面部簽名與已知個人的列表鏈接，每個已知個人與一個或多個面部簽名相關聯。每個被檢測的面部簽名可以被提供給與對應已知個人相關聯的個體，或者其中面部簽名不與任何已知個人相關聯，該信息可以由個體提供。可以向個體提供確認面部簽名與已知個人之間的關聯關系的裝置。
[0106]本發明在其又一方面提供一種用于基于圖像中描繪的面部來生成面部簽名的新穎方法。還提供了用于在使得識別的面部簽名與鏈接至數據庫的一個或多個面部簽名相關聯時減小錯誤率的裝置。
[0107]本發明在其另外的方面使得能夠實現描繪面部的圖像的自動選擇性分配。如果在圖像中檢測到的面部與和本文中提供的連網計算機架構接口連接的個人相關聯，則本文提供的計算機程序可以向個人的計算機自動傳輸圖像以用于向個人呈現。應當注意，術語“照片”和“圖像”在本文中可互換地使用。
[0108]本發明在其又一方面提供一種在本文中提供的連網計算機架構的情況下可操作的新穎的廣告方法。
[0109]連網計算機架構
[0110]本發明在其一方面提供一種使得能夠自動分配與網絡上的多個單獨的操作計算機系統有關的圖像的連網計算機架構。圖1圖示本發明的連網計算機架構的示例實施方式。多個個體每個可以通過可操作以訪問因特網(11)的計算機終端連接至因特網(11)。因特網
(11)連接使得能夠發送和接收來自因特網連接的設備的數字數據，每個因特網連接的設備可以是如以下提供地可操作的。
[0111]本發明在其另一方面提供一種可操作以使得每個個體能夠與本文提供的連網計算機架構接口連接的計算機程序。圖15圖示本發明的系統的示例配置。本發明的用戶(13)可以向其計算機系統(15)注冊、下載和安裝計算機程序。
[0112]計算機程序在其一方面可以允許用戶(13)邀請和建立與本發明的其他用戶的關系。計算機程序在其另一方面從廣告網絡服務器(23)的集合請求ad，廣告網絡服務器(23)向計算機程序遞送ad用于在圖形用戶界面(GUI)的各個部分向用戶(13)顯示。計算機程序在其又一方面可以向其他用戶或者向第三方網站傳輸照片和與這些照片相關的元數據，元數據可以用類似于速記技術(25)(諸如FLICKR?和FACEB00K?)的方式存儲在EXIF或類似文件首部中或者嵌入在jpg或類似圖像文件格式內部。這些第三方網站(25)可以通過發布應用程序接口(API)來鼓勵其網站的使用，以實現從客戶端軟件或其他基于網絡的應用到其服務的連接。
[0113]使得能夠實現本發明的計算機程序的組成可以包括:
[0114]可以作為背景過程在操作系統上運行的處理引擎。其可以掃描用戶已經上傳或者拷貝到本地和/或遠程或云計算機上的規定文件夾(這些文件夾的照片被監視)的新的數字照片，或者其在可移除介質(諸如存儲卡)被插入到計算機時可以自動檢測新的照片。在檢測到新的照片時，可以執行面部檢測、眼睛檢測和面部識別步驟，如下面更全面地描述的。結果可以存儲在數據庫中，諸如下面更全面地描述的數據庫。應當注意，處理引擎可以在遠程計算機或云服務計算機上執行，諸如其中本發明的計算機程序被提供作為服務，其可以使用軟件即服務模型。
[0115]可以向用戶提供導航圖片、通過識別已知個人來訓練應用、編輯和校正引擎的自動結果、基于搜索準則創建和修改相冊、添加對等組成員、以及向第三方網站發送相冊的能力的GUI，每個這樣的動作在下面更全面地進行描述。
[0116]可以位于用戶的計算機上或者遠程計算機或云計算機上的數據庫(諸如SQL數據庫)，數據庫可以包含下面描述的面部檢測、眼睛檢測和面部識別步驟的結果。數據庫還可以包含照片和個人的元數據以及已知個人與相關聯的面部圖像之間的關系。
[0117]GU1、處理引擎和數據庫可以設置在一個或多個設備上。圖21圖示本發明的一方面，其中使得遠程網絡瀏覽器或移動設備(83)能夠訪問代理服務器(81)，以提供到本發明的功能的連接。GUI可以設置在移動設備(83)(諸如PDA或手機)上，并且執行面部檢測和識另Ij，并且向在網站、服務器或用戶的臺式機或筆記本上運行的遠程引擎來回地索引和傳輸信息。在這樣的實施方式中，PDA或手機可以設置有用于執行面部識別、圖像瀏覽的工具以及用于上傳使用被合并在設備上的相機捕獲的圖像的工具。上傳可以根據下面更全面地描述的一般上傳過程來執行。
[0118]由用戶使用計算機程序來執行的步驟可以包括:
[0119]規定用于監測新的數字照片的文件夾。
[0120]通過識別與在數字照片中發現的面部相關聯的姓名和元數據來訓練應用。
[0121]糾正應用產生的錯誤;假陽性和假陰性二者。
[0122]通過規定搜索準則來創建相冊(照片的集合)，搜索準則包括數據范圍、已知個人的布爾組合(經由面部選擇)、EXIF標簽和通用標簽。可選地，用戶可以將各個照片或者照片的組拖放到相冊。
[0123]—旦創建相冊，用戶則可以規定各種輸出選項，包括:
[0124]第三方網站，諸如Flickr?和Facebook?。
[0125]幻燈片格式，諸如Microsoft?PowerPoint?文件。
[0126]文檔格式，諸如Adobe? I3DFtm文件。
[0127]邀請其他應用用戶加入對等組，規定與對等組中的這些關系有關的選項，并且接受針對另一用戶的加入對等組的邀請。
[0128]連網計算機架構還可以包括實現本文描述的技術的一個或多個服務器。例如，本文提供的面部檢測和識別方法可以由服務器實現。可以設置在一個或多個服務器系統上的服務器可以包括服務器程序，服務器程序實現服務器的功能，包括以下各項中的一項或多項:
[0129]具有實現電子郵件地址的列表、相關聯的日期和其他廣告數據的關聯的數據庫的注冊服務器。注冊服務器可以向用戶呈現界面(諸如網頁)用于收集注冊數據并且然后將這一數據寫入數據庫。然后可以給予用戶安裝以上描述的計算機程序的裝置，諸如通過設置有用于下載客戶端軟件的URL。
[0130]ad匹配服務器可以接受包含用戶的人口統計學信息的加密請求。該服務器還可以接受來自廣告商的多個格式(諸如.JPG、.GIF、.SWF等)的ad。對于向應用提交的每個ad，也可以記錄ad的目標人口統計學信息。可以基于目標人口統計學數據將ad請求與ad的庫存匹配。可以返回用于使ad與請求客戶端軟件匹配的指針(唯一的ID#的)。
[0131]ad遞送服務器可以接受包含到ad的指針的加密請求。應用可以找到通過指針引用的ad并且將該ad返回給請求客戶端軟件。
[0132]對等組
[0133]再次參考圖1，本發明的第一用戶(13)可以從網站下載計算機程序或者被提供用于安裝計算機程序的任何其他安裝手段。第一用戶(13)可以安裝計算機程序，其可以在運行操作系統(諸如MICROSOFT? WIND0WS?、APPLE?或LINUX?操作系統)的筆記本或臺式計算機系統(15)上實現本發明的系統，或者程序可以在瀏覽器(諸如Microsoft? InternetExp I or er? N Mo z i I la? FirefoxTM、Google? Chrome?、Apple? Safari? 或移動瀏覽器)內運行并且因此程序可以在瀏覽器內以及在后端網絡服務器上執行。
[0134]第一用戶(13)可以通過向本發明規定其電子郵件地址來定義對等組中的朋友
(17)。計算機程序隨后可以發送電子郵件邀請，其請求朋友(17)也下載或者實現計算機程序的安裝。在安裝之后，朋友(17)的對應計算機程序可以向朋友(17)呈現加入由第一用戶
(13)開始的對等組的未決請求。可以要求現在可以是第二用戶(17)的朋友(17)批準到對等組的連接。一旦批準，由第一用戶(13)和第二用戶(17)運行的計算機程序現在可以根據本文描述的圖像共享方法交換照片以及與這些照片和已知個人有關的元數據。
[0135]對等組可以由第一用戶(13)或第二用戶(17)通過邀請更多人員(19，21)加入對等組來擴展。第二用戶(17)還可以創建第一用戶(13)不是其部分的新的對等組，并且單獨地擴展該對等組。人員與對等組之間可以存在“很多到很多”關系。因此，第一用戶(13)可以是多個對等組的成員并且第二用戶(17)可以是多個對等組的成員。這使得能夠基于對等組成員關系很容易地與其他用戶共享照片。
[0136]如下面更全面地描述的，本發明在其一方面實現了已知個人列表。已知個人可以可選地被添加到一個或多個對等組，如以上描述的。
[0137]對等組可以實現照片、與照片有關的元數據以及已知個人的共享。⑶I可以實現用戶對對等組的創建、修改和刪除。GUI還可以實現已知個人的面部圖像或縮略圖到現有對等組中的關聯，例如通過使得用戶能夠在表示對等組的界面的區域上拖拽面部圖像或縮略圖，諸如域或圖標。用戶可以分配與其姓名相關聯的代表性面部圖像，并且該面部圖像被共享和分配以在所有的對等組聯系人列表中出現。
[0138]計算機程序可以在每次將朋友添加至對等組時生成邀請。替選地，用戶可以在受邀請者不是已知個人列表的部分的情況下向對等組手動添加受邀請者的元數據。可以經由電子郵件向受邀請者發送給個體的邀請。對于已經在其計算機系統上安裝本發明的計算機程序的個體，電子郵件一旦被接收到則可以提示受邀請者接受邀請。可選地，要求個體在計算機程序中輸入代碼以接受邀請。
[0139]如果朋友尚未安裝計算機程序或者沒有在其計算機系統上的本發明的云服務實施方式中注冊，則電子郵件一旦被接收到可以包括下載或實現服務的安裝和激活的鏈接寄存器，并且可以提供用于在計算機系統上安裝計算機程序的指示。在成功安裝計算機程序之后，可以向新用戶呈現本發明，并且新用戶可以根據以上描述的步驟來接收加入對等組的邀請。
[0140]一旦受邀請者接受邀請，則可以將受邀請者添加到對等組。可以在連網計算機架構上散布更新以使得能夠在與對等組相關聯的每個個人的計算機程序中更新對應對等組?目息O
[0141]根據下面描述的面部檢測技術，對等組可以實現信息在連網計算機架構上的自動選擇性散布。下面也更全面地描述散布技術。
[0142]面部檢測
[0143]本發明在其一方面提供用于基于在圖像中描繪的面部來生成面部簽名的新穎方法。圖3圖示在本發明的一方面的根據本發明的面部識別方法。用戶(13)可以向可操作以實現計算機程序的執行的計算機系統(15)提供圖像。計算機程序可以經由在添加新文件時或者在修改現有文件時生成的操作系統通知來監測與計算機系統(15)相關聯的文件夾。在發現(28)新圖像時，可以對新圖像進行排隊(29)以用于處理。
[0144]可以通過使用多個技術中的任何一個技術來定位(31)照片中的面部，上述多個技術包括:生成面部坐標，面部坐標可以定義在面部周圍的邊界框;基于面部坐標確定眼睛坐標；以及基于面部坐標和眼睛坐標并且通過使用面部簽名技術針對面部創建面部簽名
(33)。面部簽名技術可以是主成分分析(PCA)，其為本領域技術人員已知。可以將面部簽名與已知的面部簽名(34)相比較，并且可以向其他用戶(36)自動地和選擇性地散布照片。下面提供本發明的這些方面的進一步細節。
[0145]圖4圖示鏈接在本地計算機系統的存儲設備上的面部數據庫中或者替選地可以在云計算機系統的存儲設備上的面部數據庫中的面部檢測、眼睛檢測和面部識別技術的結果。結果可以是相關聯的對象的坐標。在面部檢測的情況下，坐標可以定義通過在原始照片上的左上、右上、坐下和右下像素位置來定義面部(37)的輪廓，其稱為邊界框。在眼睛檢測的情況下，坐標可以表示左眼和右眼的瞳孔位置(35)。在面部識別的情況下，結果可以是面部簽名(42)。
[0146]本發明的圖形用戶界面(GUI)可以在每個圖像(35)上顯示面部(37)和眼睛(39)。如下面更全面地描述的，本發明在其一方面提供已知個人的列表。如果對應于被檢測的面部的面部簽名(42)與已知個人列表中的個人相關聯，則GUI可以使用在圖像上或周圍的圖形符號向用戶表示這樣的關聯關系。否則，GUI可以使用在圖像上或周圍的另一圖形符號向用戶表示不存在這樣的關聯關系。在圖4描繪的示例中，已知面部可以用檢查標記(41)來識另Ij，未知面部可以用符號“X”(43)來識別。
[0147]起初，系統可能不知道所有面部，直到用戶“訓練”本發明識別面部。訓練方法可以涉及用戶。通過點擊環繞面部的視覺邊界框上的任何地方并且在個人姓名(或表示個人的圖標)上拖拽面部，用戶經由本發明的GUI可以使用鼠標或其他輸入設備將面部識別為屬于特定個人。替選地，用戶可以在目標面部上拖拽表示該個人的圖標。在又一替選中，用戶可以點擊視覺邊界框上的任何地方并且選擇用于識別先前未知的面部的功能，這可以使得用戶能夠輸入與該個人相關的數據，諸如姓名、電子郵件地址和其他細節，其可以統稱為對應于個人的元數據。這一訓練步驟可以針對每個已知個人執行一次。針對面部創建的簽名然后可以實現面部數據庫中的所有未知面部簽名與所識別的個人的比較。下面更全面地描述用于比較的方法以及用于面部檢測、眼睛檢測和面部識別的方法二者。
[0148]本發明在其另外的方面通過對未知面部排序使得用戶能夠識別最有可能與單個個體相關聯的被檢測的面部的組來便利最佳訓練階段。例如，可以使用基于面部簽名將類似面部聚類在一起的算法。相似性可以基于其面部簽名的某些方面，即使面部沒有與面部數據庫中的個體相關聯。因此，用戶可以將面部的聚類識別為屬于特定已知個人并且從而最佳地執行以上描述的訓練方法。
[0149]本發明在其另外的方面通過與個人相關聯的多于一個的面部簽名來便利最佳訓練，從而通過支持個人的多個姿勢以及改善了準確性并且解決了由于年齡、眼鏡或面部變化(諸如由胡須或胡子引起的)而產生的個人面部的改變。
[0150]面部與已知個人的關聯關系
[0151]圖16圖示用于使得用戶能夠確認在圖像中出現的面部的身份的界面。圖像中的面部簽名可以在與和已知個人的面部簽名的相似度門限內。在這種情況下，可以在被檢測的面部與已知個人之間進行關聯。下面更全面地描述一種比較面部簽名的方法。
[0152]如果面部與已知個人之間存在關聯關系，則可以在數據庫中創建面部簽名與已知個人之間的另外的關聯關系。可以將針對每個已知個人的每個先前識別的面部與由系統處理的每個新面部進行比較。在查看與特定已知個人相關的面部時，可以顯示由本發明生成的任何可疑匹配，并且可以請求用戶確認匹配正確。
[0153]隨著時間的發展，當被識別的面部的數目增加時，新面部與正確個人的整個匹配準確性可以增加，因為通常存在個人的很多不同視圖，每個視圖具有新面部。根據本文提供的比較面部簽名的方法，假陽性的數目因此通常隨著時間而增加。
[0154]圖5圖示對等組在已知個人的列表生長時如何可以隨著時間增長和演變。已知個人(101)的列表在用戶與本發明合作時增長，因為用戶可以繼續使得未知面部與已知個人相關聯。
[0155]邀變
[0156]明在其另一方面提供一種可操作以使得每個個體能夠與本文提供的連網計算機架構接口連接以用于共享圖像的計算機程序。圖2還圖示本發明的系統。用戶(13)可以捕獲數字圖像并且周期性地將其從一個或多個圖像設備存儲系統(27)復制到計算機系統(15)。用戶(13)可以配置計算機系統通過使用如以上描述的GUI向計算機系統輸入文件夾的名稱來監測計算機系統(15)上的特定文件夾的新圖像。
[0157]根據由本發明提供的用于面部識別的新穎方法，本發明在其一方面實現了在對等組之間向其面部在圖像中被描繪的用戶的自動選擇性散布。這在下面更全面地進行描述。
[0158]檢測優化
[0159]本發明在其一方面提供了一種用于根據本發明的其他方面來優化面部檢測的新穎技術。圖6圖示糾正可能由于自動面部檢測、眼睛檢測和面部識別步驟產生的錯誤的潛在方法。本發明使用涉及用戶通過GUI糾正這些不可避免的錯誤的新穎方式。
[0160]圖17圖示用戶可以用于刪除圖像中的假陽性面部檢測的手段。在面部檢測和眼睛檢測階段期間，可能存在假陽性錯誤。這些錯誤可以在面部檢測技術確定面部存在然而實際上數字照片圖像上并沒有面部時出現。為了糾正這些錯誤，GUI可以使得用戶能夠通過使用鼠標或其他輸入設備在刪除區域(其可以用廢紙簍或其他代表性圖標來表示)上移動面部(103)(其中面部用圖像上的邊界框來識別)、通過在高亮面部的同時按下鍵盤的刪除鍵、或者通過選擇對應于面部的刪除的菜單選項(105)來刪除假陽性錯誤。
[0161]圖18圖示用戶可以用于出于增加檢測算法的準確性的目的而在圖像中重新定位對應于面部的被檢測的眼睛坐標的手段。在面部檢測和眼睛檢測階段期間，眼睛位置坐標(107)可能存在誤差。本發明的方法可以確定眼睛瞳孔位置并且在圖像上在視覺上顯示眼睛坐標(107)，但是生成的坐標可能不是極好的，因為它們在一些情況下可能是近似值(例如帶有太陽鏡的面部)。⑶I可以使得用戶能夠例如通過使用鼠標或其他輸入設備移動表示眼睛位置的圖標(109)來手動地重新定位眼睛坐標(107)。以這一方式，可以增加本發明的準確性和性能，因為眼睛坐標(107)通常用于生成面部的面部簽名。眼睛坐標(107)的變化因此可以生成面部簽名的變化，面部簽名的變化可以顯著影響將簽名與其他已知面部相關聯。除了眼睛坐標的使用，本發明的方法可以采用邊緣檢測技術使得面部模板與圖像中被檢測的面部對準。對準方法提供確認面部以減小假陽性的另一方法。這一技術可以通過使得面部的頂部/底部和左側/右側與對準模板對準并且生成信任的數字測量來執行。
[0162]圖22圖示假陽性面部檢測誤差的檢測。在面部識別階段期間，可能存在與面部和已知個人的不正確關聯有關的假陽性錯誤。如果本發明將面部簽名與已知個人匹配并且其不是正確的關系，則可能出現假陽性錯誤。GUI可以使得用戶能夠在正確的已知個人(113)的面部圖像(縮略圖)上拖拽面部圖像(111)(縮略圖)。本發明因此可以修改數據庫中的鏈路以示出面部與已知個人之間的新關系。也可以刪除舊關系。
[0163]另一種類的誤差是假陰性。也可以有被分類為假陰性誤差的兩種情況，其在圖6中被圖示:
[0164]I)如果系統在實際上存在面部(47)的情況下沒有在圖像中檢測到面部，則GUI可以使得用戶能夠使用鼠標或其他輸入裝置拖拽在面部周圍的邊界框，并且然后通過使用表示眼睛位置的圖標來放置兩個眼睛位置。系統然后可以使用手動輸入的信息來生成面部簽名并且執行本文提供的面部識別方法。替選地，系統可以使得用戶能夠將標簽與面部手動相關聯而不涉及面部檢測或識別過程。這一手動標記方法也可以用于標記圖像中的其他對象和動物(諸如寵物)，其中所采用的人類面部檢測方法不導致上述對象或動物的自動檢測。
[0165]2)也可能存在假陰性誤差，其中系統檢測到面部但是面部簽名不與已知面部簽名匹配，即使存在已知個人的面部。這可以在用于面部的簽名與用于該特定個人的任何其他面部簽名之間的差異太不同的情況下發生。在這種情況下，系統可以不自動檢測關系并且面部可以保持未知。在這種情況下，GUI可以使得用戶能夠在已知個人的面部圖像上拖拽(49)面部圖像。通過進行這一操作，系統可以將面部圖像鏈接至數據庫中的已知個人。通過來自用戶的這一幫助，系統現在具有另一面部簽名，其將用于與新的且未知的面部簽名的未來比較。這可以改善本發明的準確性。圖19還圖示手動標記圖像中的面部的過程。
[0166]圖像的自動選擇性散布
[0167]圖7圖示用于在本發明的用戶之間提供照片的自動選擇性散布的系統和方法。當在照片(53)中識別出作為對等組的成員的已知個人的面部時，可以對照片(53)進行排隊以按照安全方式通過因特網(11)向對等組成員傳輸。例如，第一用戶(13)可以向其計算機系統(15)上傳包含作為第二用戶(17)的已知個人的面部的照片，第二用戶(17)也是對等組成員。在這種情況下，當系統確定面部匹配時，可以對照片(53)進行排隊以用于傳輸。在傳輸之前，可以將照片(53)減小到更小版本并且可以將元數據包括在數字照片文件中。大小的對應減小可以優化帶寬的使用。在云實施方式中，可以物理地傳送照片或者可以將文件所有權擴展為包括對等組成員。可以或者可以不傳送或復制文件。
[0168]第二用戶(17)下一次訪問其計算機系統(15)上的計算機程序時，可以接收示出原始照片的減小的圖像以及相關聯的元數據的確認請求，并且通知可以經由電子郵件去往第二用戶，其中縮略圖也被包括在電子郵件本體中或者作為遞送確認請求的附件。可以提示第二用戶(17)它們是否在其計算機系統(51)想要照片(55)的副本。如果第二用戶(17)肯定地響應，則系統可以通過因特網從第一用戶的計算機系統(15)向第二用戶的計算機系統(55)拷貝整個圖像連同照片(55)的元數據以及來自照片的已知面部和簽名。
[0169]本發明的另一新穎方面使用現有的社交網絡服務和基于網絡的照片存儲站點來與對等組成員共享照片。本發明可以向目標網絡或基于云的服務傳輸單張照片或者照片組。傳輸的照片可以已經包含來自本發明的與照片中的人員有關的元數據。例如，社交網絡站點FACEB00K?提供工具，該工具上傳照片、共享照片和手動標記照片以表示哪些朋友在照片中。標記過程是手動的并且很耗時。本發明可以使這樣的上傳過程自動化并且消除對于手動標記照片的需要從而為社交網絡用戶提供明顯的益處。本發明可以等同地適合其他社交網絡服務和基于網絡的照片存儲站點。如以上所描述的，用戶也可以通過因特網直接從合并有相機的移動設備上傳照片。
[0170]本發明的又一新穎方面在于，可以從用戶的社交網絡賬戶加載已知個人的初始列表，以在配置由本發明提供的系統時進一步節省時間。
[0171]圖8圖示可以使得能夠瀏覽由計算機系統管理的照片和面部數據庫的GUI的示例實施例。在本示例中，用戶界面被示出為具有可以向廣告商售賣的可選橫幅標語廣告(57)。用戶可以從相冊(125)選擇照片(123)，并且GUI可以顯示對應于在照片(123)中發現的已知個人(117)的縮略圖(121)。檢查框(119)也可以用于表示照片(123)中已知個人(117)的存在。
[0172]圖9中描繪的示例示出已知個人的面部圖像加上用于應用布爾搜索的檢查框(諸如與已知個人的姓名相關聯的AND、0R和NOT選擇或者與圖像相關的元數據)。本發明的新穎特征是通過使得用戶能夠點擊已知個人(59)的面部的縮略圖視圖并且針對通過檢查框啟用的每個面部施加布爾操作(61)來以視覺方式選擇照片的能力。GUI的這一方面使得能夠通過組合對照總的照片和面部數據庫施加的各種搜索準則和濾波器來創建相冊。在本發明的另外的實施例中，用戶可以向特定個人分配圖像(真實的、手動生成的或者計算機生成的)，并且該更換圖像覆蓋在其中發現該特定個人的每個圖像的部分上。
[0173]由計算機程序提供的搜索準則可以包括:
[0174]文件夾選擇(65)，表示在計算機存儲設備上的照片圖像的文件夾位置或文件名稱；
[0175]已知個人(67)，提供與已知個人的面部相關聯的布爾操作(AND、0R或NOT)的選擇；
[0176]日期范圍(69)，提供對應于要被包括在特定相冊中的照片圖像的日期范圍的選擇；
[0177]EXIF數據，基于通常由相機在照片取得過程期間附接至照片的標準照片相關的信息來提供選擇手段。
[0178]選擇用于相冊的照片的替選方法可以向用戶提供使用GUI在相冊(63)的名稱上拖放各個照片或照片組或者使得照片與相冊(63)相關聯的能力。
[0179]相冊(63)可以是作為邏輯實體在相冊的名稱下被保存的一組照片。用戶可以經由GUI規定其想要向各種目標文件類型或位置(71)發送相冊，包括幻燈片、MICROSOFT?POWERPOINT?或其他呈現計算機程序、ADOBE? I3DFtm或其他文檔文件、基于網絡的共享站點(諸如FLICKR?或FACEB00K?)或第三方打印服務。
[0180]廣告方法
[0181]本發明在其可選的非限制性方面提供與本文提供的連網計算機架構協作的新穎的廣告方法。
[0182]圖10圖示由GUI提供的可選的廣告顯示能力。這是本發明的新穎特征，其提供用于基于用戶人口統計學信息同時瞄準廣告和維護用戶隱私的安全方法。GUI可以向新用戶(13)提示最低限度可以包括性別、年齡和位置數據的人口統計學信息。這一信息可以本地存儲在運行計算機程序的計算機系統(15)上。可以周期性地向基于網絡的服務器(73)發送返回ad指針的列表的請求。請求可以包含用戶的人口統計學數據的加密傳輸。請求也可以使用由注冊服務器(77)發出的證書來被簽名。這一在后步驟可以驗證請求的真實性。基于網絡的服務器(73)可以進行基于其特定人口統計學信息來將ad與請求用戶(13)匹配這一過程，ad與目標人口統計學信息相關聯。可以向請求用戶的計算機系統(15)返回指針的列表(即到存在于不同ad服務器上的ad的參引)并且將其傳遞給計算機程序。計算機程序然后可以向不同的基于網絡的服務器(75)發出下載由指針引用的ad的另一請求。基于網絡的服務器(37)然后可以丟棄人口統計學數據以保護各個用戶的隱私。
[0183]通過從實際遞送ad的服務器(75)分離執行ad匹配過程的基于網絡的服務器(73，77)，而非通過在基于網絡的服務器(73，77)上存儲用戶的個人人口統計學數據，與用戶有關的個人信息明顯更加安全。Ad遞送服務器(75)可以存儲與用于開賬單目的的ad有關的信息，該數據中可以不包括個人信息。這是用于使用人口統計學數據以安全方式向任何網絡瀏覽器或軟件程序服務ad的新穎實施方式。
[0184]另外的實施方式
[0185]在本發明的另一示例性非限制性可選方面，本發明的另一能力可以使得計算機程序能夠從中央寄存服務器接收數字面部圖像或簽名。例如，尋找個體(諸如失蹤兒童或通緝犯)的組織可以張貼個體的面部數據。選擇共享其面部數據庫的這些用戶可以下載數據以實現面部數據與其面部數據庫的自動比較。如果在目標個體與特定用戶的已知個人之間發現匹配，則可以警告組織。這可以使得組織能夠確定個體的名稱，因為個體的名稱可以列在用戶的已知個人列表中的一個或多個中。
[0186]本發明提供的又一實施例可以使得個體能夠找到與其本身具有相似面部特征的其他個人。這樣的應用例如可以用于個人尋找其雙胞胎。在本實施例中，用戶可以提交包括其面部圖像的照片，本發明可以根據其生成面部簽名。然后可以將面部特征與先前上傳的其他個體的面部簽名相比較。基于預定的相似性門限，可以向其面部匹配的個體之一或全部報告相似面部。根據本實施例的系統可以提供用于用戶批準與其他人聯系的手段。匹配的個體在已經規定其對這樣的聯系的批準的情況下可以選擇向另一人發送消息。可以采用類似實施例作為基于外形匹配人員的約會服務的一部分。
[0187]面部檢測、眼睛檢測和面部識別
[0188]本發明在其又一方面提供一種用于基于圖像中描繪的面部生成面部簽名的新穎方法。面部簽名可以通過使用包括面部檢測、眼睛檢測和面部識別步驟的技術來生成。
[0189]面部檢測
[0190]本發明在其一方面提供一種用于使用基于紋理的檢測算法作為用于面部檢測的基本方法的方法。基于紋理的面部檢測算法的一個示例是被稱為0PENCV?的例程的開放源庫。
[0191]基于紋理的面部檢測算法可以針對特定的面部姿勢(例如起伏的正面面部)具有低的真陽性率。這可能是由于在不同于在標準數字照片中發現的變化的正面姿勢的正面面部圖像上訓練紋理圖案。實際上，在用于訓練面部檢測算法的紋理圖案與在其上施加該算法的目標照片中的類型的姿勢之間的失配將導致較高的錯誤百分比。當前在面部檢測中面臨的兩個眾所周知的挑戰包括在起伏的正面面部的情況下減小假陰性錯誤以及在不增加假陰性錯誤的同時減小假陽性錯誤。
[0192]本發明通過應用包括三個用以改善面部檢測過程的準確性的步驟的新穎技術來增強基于紋理的面部檢測。在第一步驟，提供已知膚色比率測試在基于紋理的面部檢測器上的新穎應用以改善檢測器的準確性。在第二步驟，通過將檢測的面部對象區域的大小減小為預定大小來提供用于減小假陽性面部對象的新穎方法。在第三步驟，提供新穎的面部方位補償方法。
[0193]圖11圖示在本發明的一方面中的本發明的基于紋理的面部檢測方法。
[0194]在基于紋理的面部檢測方法的一個特定實施方式中，在第一步驟，基于紋理的面部檢測器(131)起初可以被設置用于高的目標真陽性率，其具有對應高的假陽性率。基于紋理的面部檢測器可以使用整個照片圖像作為輸入來運行。來自這一運行的結果可以給出照片中的潛在面部對象的列表。可以將檢測到的任何候選面部區域記錄在數據庫中。對于彩色照片，可以對潛在面部對象執行膚色檢測測試(133)以減小假陽性率。這一膚色測試可以比較包含膚色的面部對象區域與對象的整個區域的比率。如果比率不超過預定門限，則可以跳過潛在的面部對象(135)。
[0195]在第二步驟，可以將來自第一步驟的檢測到的面部對象區域減小到預定義大小(諸如44X44像素)。在這些減小后的區域上，可以再次運行基于紋理的面部檢測器(137)。這一步驟的目的是減小假陽性面部對象。通過在小尺寸(諸如44X44像素)的輸入區域上運行，可以減小來自非面部的不正確的紋理圖案的假陽性錯誤，同時可以保留真陽性紋理圖案。這可以導致面部檢測的假陽性率的減小同時保留真陽性率。可以接受(143)在第二步驟中被視為面部的面部對象作為真面部。可以將沒有通過這一第二步驟的面部對象傳遞給第三步驟。
[0196]在第三步驟，提供了面部方位補償方法。在以上描述的第二步驟(其中在圖像的更小區域上執行面部檢測)，可以在起伏的面部的情況下減小真陽性率。由于在第二步驟應用的尺寸減小，面部檢測器可以將起伏的面部中的紋理圖案視為非面部。為了在起伏的面部的情況下保留真陽性率，可以執行面部方位補償(139)連同面部檢測。在這一方法中，將局部圖像區域以增量角度進行旋轉，并且每個角度實例可以通過面部檢測器。一個示例實施方式可以在與豎直軸的-20度開始將圖像旋轉2度并且重復旋轉直到距豎直軸+20度。如果旋轉后的面部區域被識別出并且在實例中存在連續增量角度，則可以確定(141)局部圖像區域是真實面部。
[0197]對基于紋理的面部檢測算法的這些修改可以顯著減小假陽性錯誤率。
[0198]眼睛檢測
[0199]圖12圖示在本發明的一方面中的眼睛檢測方法。眼睛檢測方法應用新穎技術以改善在檢測的面部區域中檢測瞳孔位置的準確性。第一步驟可以是將整個面部區域減小為很有可能包含實際瞳孔/眼睛位置的更小區域(眼圖)(145)。可以使用公式從面部區域裁切眼圖區域。例如，用于裁切眼圖區域的公式可以是去除左側的.23w、右側的.23w、底部的.55h和頂部的.30h;其中w是面部區域的寬度，h是面部區域的高度。圖14A圖示從面部區域裁切眼圖區域的方法的特定實施例。
[0200]另外，如果在特定角度實例上在面部檢測方法的第三步驟檢測到面部，則可以向眼圖區域應用(147)旋轉角度以實現眼睛位置的更準確的選擇。
[0201]圖14B圖示可以改變用于裁切眼圖區域的公式以確保眼圖區域足夠大以確保滿意的瞳孔檢測結果。
[0202]一旦裁切眼圖區域，則可以將眼圖區域重新定尺寸為固定大小(諸如80x80像素)
(149)使得可以應用固定模板顏色變化方法以確定候選眼睛位置。這一方法可以基于相對于眼圖區域的周圍區域的瞳孔的深色強度。
[0203]可以在強度圖中將顏色強度圖像的中央設置為零/黑色(151)以去除通常由于反射離開透鏡和眼睛框架的光而產生的潛在瞳孔候選。圖14C圖示這一過程。
[0204]可以從顏色強度圖像獲得顏色變化圖像，并且然后可以將其傳遞通過門限濾波器，使得僅眼睛區域的很小百分比是白色(例如可以應用2%的門限)(153)。接著，可以應用“最佳配合”方法以選擇具有最高顏色變化強度的眼睛位置(左側和右側)。可以向本發明的面部識別方法傳遞(155)最佳候選瞳孔位置坐標。
[0205]面部識別
[0206]圖13圖示根據本發明的各個方面的面部識別方法。面部識別通常可以通過預處理
(157)、投影(159)、距離計算(163)和聚合(167)來執行。面部識別方法可以采用主成分分析(PCA) ICA是已知的方法，其在所有形式的分析中被大力使用，因為其是從混亂的數據集中提取相關信息的簡單的非參數方法。
[0207]本發明可以通過新穎方式采用PCA，其克服了關于對主題光照和姿勢的高靈敏度的傳統問題，假定個人照片可以具有小的姿勢變化，因為多數主題可能傾向于在相機處直接查看。本發明可以利用以下事實:可以在各種姿勢和光照條件下得到描繪特定個人的照片集合。本發明提供了聚合目標未知面部與和每個已知個人相關聯的多個面部之間的比較的方法。
[0208]可以首先向圖像應用預處理(157)。可以使用被提供作為到面部識別階段的輸入的面部區域和眼睛坐標來對面部區域進行歸一化。歸一化過程可以包括將面部區域翻譯、旋轉和縮放成預定模板大小。歸一化過程可以使用眼睛坐標作為參考點，使得調節面部區域圖像以將眼睛坐標放置在特定圖像像素上。然后可以向圖像應用標準的固定遮蔽過程(潛在地將面部區域限制為橢圓形內部的區域)以濾除非面部部分。可以使用圖案化過程(涉及在面部區域中的像素的強度上運行二維線性擬合)來確保像素強度在圖像上在空間上均勻。最后，可以在灰度級域執行直方圖圖像均衡(本領域技術人員已知的圖像處理方法，從而使用圖像的直方圖來調節圖像的對比度)。
[0209]然后可以向圖像應用投影(159)。可以將歸一化后的面部區域的所得到的像素通過基于PCA的公式以產生由本發明用作面部簽名的PCA矢量。PCA矢量可以包括由于從一般圖像的大集合提取的主成分得到的投影圖像。
[0210]根據這一方法創建的面部簽名可以是具有給定維度的真實數字陣列(來自PCA矢量)。雖然可以自適應地確定矢量空間的精確維度，其中其最大值設置為捕獲例如輸入圖像能量的95 %的值，然而所使用的默認值可以是在50到100范圍內的維度。
[0211]最后，可以應用循環(161)以使得未知面部與已知個人匹配。可以使用線性或非線性分類邏輯將每個面部簽名(表示為數字陣列)在數字上與任何其他面部簽名相比較以確定距離值(163)。例如，可以通過計算歸一化的內積距離來逼近兩個簽名。
[0212]為了比較面部與和已知個人相關聯的所有面部，可以進行所有的單個一對一比較，并且然后可以在下一步驟中使用所有結果，或者可以使用通過比較確定的與某個門限
(165)的最佳匹配的集合。門限選擇可以被選擇為使得在保持面部與非匹配個人的比較時平均獲得距離的一半。
[0213]可以使用某種形式的聚合來組合在先前步驟中獲得的距離值的集合以確定面部與已知個人之間的距離。這一聚合可以是計算距離值(169)的幾何平均。幾何平均可以是類似于算術平均的求平均技術，但是其可以通過乘以要平均的N個數字并且然后將乘積的第N個根作為期望平均值來計算。面部與每個已知個人之間的最接近匹配可以通過計算面部與數據庫中的每個已知個人之間的這一聚合距離(167)并且選擇最小距離而被發現。
[0214]最后，可以將最接近的匹配距離與靜態或者動態確定的門限相比較以減小假陽性匹配率。如果使用動態選擇的門限，則這一門限可以通過以下方式被確定:首先假定在比較面部與具有N個相關聯的面部的非匹配個人時獲得的聚合距離值正常分布(對于N個中的每個可能值)，并且然后使用逆累積標準分布函數計算門限，這確保了未知面部的固定最大數目或固定比率平均而言虛假地匹配已知個人。這一門限可以從一個人到另一個人發生變化，因為與每個個人相關聯的面部的數目N變化。這一動態門限計算的優點包括:固定最大數目(或比率)可以保持盡可能小以限制假陽性匹配同時維持用戶的真陽性匹配的可接受水平。
[0215]圖13a還圖示根據本發明的各個方面的面部識別方法。所示面部識別方法可以基于眼睛坐標來歸一化面部。每個面部可以由通過面部識別方法確定的邊界框來定義。可以提取邊界框內的像素以產生面部的圖像。可以將面部圖像記錄到數據庫并且使其與從其中提取面部圖像的相應源圖像相關聯。然后可以計算歸一化后的面部的PCA矢量并且將其存儲在數據庫中。可以將PCA矢量與數據庫中的已知面部相比較。如果發現匹配，則可以將面部指針存儲在存儲器中，諸如臨時存儲器中。如果在依次通過數據庫中的所有已知面部之后沒有發現匹配，則面部識別方法確定是否在搜索中發現面部。如果沒有發現面部，則結束面部識別。如果發現面部，則面部識別方法在找到多于一個的面部匹配的情況下可以確定存儲器中的最佳匹配。面部識別方法確定最佳匹配是否超過接近度門限，如以上所描述的。如果超過接近度門限，則將最佳匹配寫入數據庫。如果沒有超過接近度門限，則結束面部識別。
[0216]本發明在其另外的方面通過與個人相關聯的多于一個的面部簽名來便利最佳訓練，從而改善準確性。本發明可以使得用戶能夠選擇已知面部的代表性子集用于給定個人并且從而覆蓋由本發明選擇的子集。該子集然后可以由識別引擎用于確定所建議的匹配并且忽略該個人的其他已知面部。這可能有益的示例可以是其中存在個人的多個姿勢的情況。其還解決了由于面部的老化、眼睛或變化(諸如由胡須或胡子引起的)而產生的個人面部的變化。通過選擇更多最近的照片作為代表性子集，可以增加用于未來照片的成功的自動選擇的概率。由于鏈接至本地面部數據庫中的已知個人的面部簽名的數目增加，本發明在自動檢測被處理的未來照片中的已知個人時的準確性可以增加。
[0217]本發明可以通過從已知個人的組中確定先前識別的面部的最接近的匹配來學習面部。本發明的優點在于，當鏈接至本地面部數據庫中的已知個人的面部簽名的數目增加時，本發明在自動檢測被處理的未來照片中的已知個人時的準確性可以增加。
[0218]視頻掃描
[0219]圖20圖示提取視頻的幀并且對這些幀執行面部檢測的視頻掃描方法。可以設置數目N(其中N是可調節的)，使得可以在視頻的每N個幀(181)掃描視頻作為單獨的照片圖像
(183)，其中可以應用先前提及的技術(185)來檢測和識別面部和已知個人。然后可以根據本文提供的技術對視頻進行散布。
[0220]本發明提供的可選非限制性實施例使得個體能夠找到與其本身具有相似面部特征的其他個人。這樣的應用例如可以用于個人找到其雙胞胎。在本實施例中，用戶可以提交包括其面部圖像的照片，本發明可以根據該圖像生成面部簽名。然后可以將面部簽名與先前已經上傳的其他個人的面部簽名相比較。基于預定的相似性門限，可以向面部匹配的個體之一或全部報告一個或多個類似面部。根據這一實施例的系統可以向用戶提供批準與其他人聯系的手段。匹配的個體在規定了用于這樣的聯系的方法的情況下可以選擇向另一人發送消息。可以部署類似實施例作為基于長相匹配個人的約會服務的一部分。
[0221]面部和肖像提取和創建
[0222]圖23圖示在本發明的一方面中的縮略圖或肖像的創建。如果面部位于圖像23a中，則本發明的一方面捕獲圖23a中示出的面部的位置的XY坐標以提供捕獲面部的方法，并且在大小和旋轉兩個方面調節面部的圖像以創建肖像，其可以是實際大小或者縮略圖。如圖23中所圖示的，坐標可以定義在原始照片上具有左上、右上、左下和右下像素位置的面部的輪廓，其稱為邊界框。XY坐標記錄在如圖11圖示的數據庫中。
[0223]如圖23所圖示的，面部如所示地位于圖像23a中并且建立由XY坐標確定的每個面部的對應邊界框并且將其記錄在如圖11圖示的數據庫中。如圖23的圖像23b和23c所示，做出邊界框的XY坐標可以可調節以做出邊界框、在面部周圍的更大或更小的區域的隨后創建。通過使用如圖18用附圖標記107和109表示的眼睛位置和識別，可以旋轉面部以使得面部如圖23的圖像23d所示地變為豎直。
[0224]可以將肖像/縮略圖圖像23d的記錄記錄在如圖13圖示的數據庫中用于未來的使用。
[0225]根據本發明的至少一個示例性實施方式，至少一個計算機終端、服務器或其他計算設備可以在至少一個數字圖像中檢測至少一個面部。計算機可以確定和存儲至少一個數字圖像中的被檢測的至少一個面部的位置的區域坐標。計算機可以向被檢測的至少一個面部應用至少一個變換以創建被檢測的至少一個面部的至少一個肖像。計算機可以旋轉至少一個肖像至少直到至少一個肖像被示出在豎直方位上并且在至少一個肖像中被示出的至少一個面部的一對眼睛被定位在水平面上。計算機然后可以存儲被旋轉的至少一個肖像。每個被檢測的面部可以對應于個人。可以先于至少一個變換的應用來做出并且從包括被檢測的面部的數字圖像提取副本。
[0226]可以使得個人的識別與在一個或多個計算機處存儲或者鏈接至一個或多個計算機的數據庫中的每個所存儲的面部肖像相關聯。
[0227]如果數字圖像示出多于一個個人，則一個或多個計算機可以至少部分基于被包括在數字圖像中的相應的被識別的個人來使得被識別的個人之間的關系相關聯。
[0228]廣告和產品個性化
[0229]圖24圖示合并在大小和旋轉方面調節后的肖像或縮略圖并且將其嵌入到廣告消息或產品或者任何其他類型的銷售材料或圖像中。可以調節在圖23中也圖示為圖像23d的縮略圖或肖像24a的大小以匹配廣告24b的大小要求。例如，計算機可以向至少一個存儲的肖像應用至少一個附加變換以用于匹配銷售圖像的肖像大小要求。
[0230]圖32圖示廣告創建的工作流。如圖32所示，在要個性化廣告時，本發明的一方面將從廣告服務器數據庫32b檢索的廣告與從用戶人口統計學數據和肖像數據庫32a檢索的用戶匹配。可以在32c對從用戶人口統計學數據和肖像數據庫32a檢索的肖像重新定尺寸以匹配從廣告服務器數據庫32b檢索的廣告的大小要求。然后可以將用戶肖像與廣告合并或者覆蓋在廣告之上以顯示個性化的廣告消息。除了肖像，還可以將用戶姓名或與廣告消息有關的其他信息與廣告合并或者覆蓋在廣告之上以顯示如廣告24b演示的個性化的廣告消息。
[0231]圖33圖示用于產品個性化的工作流。如圖33所示，在個性化產品時，本發明的一方面將從產品數據庫33b檢索的產品與從用戶人口統計學數據和肖像數據庫33a檢索的用戶匹配。在33c對從用戶人口統計學數據和肖像數據庫33a檢索的肖像重新定尺寸以匹配從產品服務器數據庫33b檢索的產品的大小要求。然后可以將用戶肖像與產品合并以顯示如圖24所示的個性化產品24c。除了肖像，也可以將用戶姓名或與產品有關的其他信息與產品合并以顯示如所得到的個性化產品24c演示的個性化的消息。
[0232]面部置換
[0233]圖25圖示使用所選擇的圖像覆蓋數字圖像照片以覆蓋對象的面部，也稱為面部置換。應用可以是隱藏負面記憶。
[0234]圖34圖示用于面部置換的工作流。當用戶想要隱藏負面記憶時，本發明的一方面可以將來自照片數據庫34d的照片中要隱藏的面部數據庫34a中的面部與被選擇或由用戶提供的存儲在負面記憶圖像數據庫34b中的圖像匹配。數據庫34a、34b和34d可以在一個計算機服務器上的單個數據庫中、上述計算機上的單獨數據庫中、或者存儲在多個計算機上的數據庫中被發現。在34c對從負面記憶圖像數據庫34b檢索的圖像重新定尺寸以匹配從照片數據庫34d檢索的照片25a中要隱藏的面部的大小要求。將圖像與照片25a合并使得在顯示照片時，圖像隱藏負面記憶的面部，如所得到的隱藏的面部照片25b所演示的。在本發明的非限制性方面，一個或多個計算機可以接收要抑制的至少一個面部的選擇，可選地作為任何形式的用戶輸入。一個或多個計算機然后可以掩蓋與至少一個數字圖像中要抑制的至少一個面部的位置相對應的區域坐標。
[0235]可選地，掩蓋可以包括將所選擇的圖像覆蓋在與要抑制的至少一個面部的位置相對應的區域坐標上方。可選地，一個或多個計算機可以調節所選擇的圖像以對應于要掩蓋的區域坐標的大小。可選地，一個或多個計算機可以調節覆蓋的圖像的邊緣以與至少一個數字圖像的圖像特性混合。例如，可以模糊覆蓋的圖像的邊緣或者可以修改邊緣的不透明。可選地，要混合的圖像特性可以包括顏色、強度、亮度和紋理中的一項或多項。可選地，要抑制的至少一個面部的選擇可以包括抑制特定個體被顯示在任何數字圖像中的命令，方法包括識別包括與要抑制的特定個體(所識別的個人)相對應的面部的任何數字圖像并且標記所識別的數字圖像以掩蓋與要抑制的至少一個面部的位置相對應的區域坐標。這可以通過直接修改相應數字圖像或者更新相關聯的元數據或者其他信息或數據以造成非毀滅性方式的相應數字圖像的顯示使得原始源數字圖像沒有在數據庫中被永久修改來完成。因此，由于可以向數字圖像永久地施加掩蓋，或者掩蓋可以涉及修改數字圖像的元數據以造成在顯示時掩蓋數字圖像。
[0236]圖26圖示使用與可選地在存儲有照片的元數據中或其他地方的相應照片相關聯的日期的按照歷史順序從照片捕獲的面部的顯示。相應日期可以是照片創建的日期、從相機復制照片的日期、向本發明的計算機系統傳送照片的日期、或者與照片相關聯的任何其他日期。通過這樣的排序，可以合并所選擇的面部以創建如用26b圖示的單個合成圖像。也可以將這樣的面部自動饋送到變形應用中以使得能夠對個人的變老進行動畫。
[0237]可選地，日期數據可以與數字圖像相關聯。可以根據相應的相關聯的日期數據來顯示對應于普通個人的所存儲的肖像。可選地，可以生成對應于普通個人的所存儲的肖像的隨時間的演變的動畫表示。
[0238]圖27圖示從照片捕獲的面部/肖像的顯示以及將面部或肖像嵌入到游戲、練習或其他交互式應用中。
[0239]圖35圖示根據本發明的各個方面的用于使用用戶肖像和照片創建定制化或個性化游戲和練習的工作流。用戶可以從游戲數據庫35c選擇要玩的游戲或練習。本發明從肖像數據庫35a或照片數據庫35b選擇肖像以用于顯示。在35d對肖像或照片重新定尺寸以匹配要顯示的游戲的大小要求。將重新定尺寸之后的肖像或照片與游戲的用戶界面合并以用于用戶播放。數據庫35a、35b和35c可以在一個計算機服務器上的單個數據庫中、在上述計算機上的單獨數據庫中、或者在存儲在多個計算機上的數據庫中被發現。
[0240]可選地，一個或多個計算機可以使用所存儲的肖像或關系填充交互式計算機游戲。交互式計算機游戲包括照片懷舊治療游戲。
[0241]使用面部識別自動化的索引系統
[0242]圖28圖示家譜的創建以及用于索引照片的用途，圖36圖示對應的工作流。可以從識別的個人肖像數據庫來顯示肖像。用戶可以在36b使用如圖28所示的關系模板28b將每個肖像拖放到家譜上。在非限制性示例中，本發明的系統的每個用戶可以具有6個基本的關系:母親、父親、兄弟姐妹、配偶、女兒和兒子，如模板28b所示。當用戶將肖像拖拽到家譜上時，家譜生長以示出新節點。在添加更多個人時，家譜擴展，因為用戶被添加并且關系被定義。當用戶已經拖拽所有肖像時，通過刪除外來關系或個人(主朋友和同事)來完成家譜。用戶有可能具有涉及其個人社交圖但是使用類似拖放方法在修改后的網絡中識別的朋友和同事關系。
[0243]所創建的家譜28a可以在36d被用作到用戶照片的索引。當用戶選擇或點擊照片時，在36e執行數據庫查詢以顯示所選擇的個人出現在其中的照片。
[0244]代替家譜28a，可以用鏈格式呈現表示個人之間關系的其他類型的組織結構以用于通過向其拖拽肖像或者選擇肖像來填充。例如，可以通過提供空白或不完全共同的組織鏈來創建共同的組織鏈。然后可以向用戶呈現來自數據庫的消息以用于放置在鏈上。
[0245]根據本發明的非限制性方面，至少一個計算機可以包括存儲多個消息圖像的至少一個數據庫或者與存儲多個消息圖像的至少一個數據庫接口連接。每個肖像圖像可以與相應肖像中示出的已識別個人相關聯。可以將個人的識別存儲在數據庫、另一數據庫或與相應肖像圖像相關聯的元數據中。至少一個計算機可以顯示與用戶相關聯的至少一個已識別個人的相應肖像。至少一個計算機可以顯示與用戶的至少一個個人關系的視覺表示。至少一個計算機可以根據接收的用戶輸入向顯示的個人關系中的至少一個分配顯示的肖像中的至少一個肖像。至少一個計算機可以將個人關系分配存儲在數據庫中。視覺表示可以包括具有諸如用于家譜的多個樹節點的樹組織結構的表示，其中每個樹節點對應于至少一個個人關系之一。至少一個計算機可以根據用戶輸入來繁衍對應于至少一個附加個人關系的視覺表示的樹節點，以向視覺表示添加顯示的肖像中的至少一個肖像。例如，家譜結構在向樹添加附加肖像時可以生長。用戶然后可以規定新添加的肖像的關系，或者可以分配默認關系，或者至少一個計算機可以嘗試至少部分基于在用戶是其成員的社交網絡系統上發現的數據來確定新的關系的適當關系。肖像的數據庫或者至少一個計算機可訪問的另一數據庫可以包括多個數字圖像，并且至少一個計算機可以根據視覺表示來索引多個數字圖像的至少子集。因此，家譜結構可以用于鏈接至特征化家譜的成員的其他數字圖像。特別地，點擊家譜的一個成員可以鏈接至至少示出家譜的該成員的一個或多個數字圖像。
[0246]圖29圖示組照片作為照片數據庫中的照片的索引的使用，圖37圖示對應的工作流。用戶可以從照片數據庫37a選擇照片。在本發明的一方面，所選擇的照片作為用于索引照片的照片被記錄并且變為索引。當用戶選擇或點擊照片中的面部時，一個或多個計算機可以在數據庫37a或另一數據庫中搜索包括對應于用戶所選擇的照片中的面部的已識別個人的更多數字圖像。
[0247]根據本發明的非限制性方面，至少一個計算機可以包括肖像或數字圖像的數據庫或者與肖像或數字圖像的數據庫接口連接，每個肖像與相應肖像中示出的已識別個人相關聯。至少一個計算機可以顯示數字圖像中的至少一個數字圖像并且使用消息的數據庫來參引顯示的至少一個數字圖像從而創建至少一個數字圖像中示出的至少一個已識別個人的列表。至少一個計算機可以根據至少一個已識別個人的列表來索引數字圖像的至少子集。根據從顯示的至少一個數字圖像選擇已識別個人中的至少一個個人的用戶輸入，至少一個計算機可以顯示相應地索引的數字圖像中的至少一個數字圖像。可選地，索引可以包括顯示由已識別個人組織的索引的數字圖像的視覺表示。
[0248]對于失蹤個人的請求搜索和自動搜索
[0249]在本發明的又一方面，本發明可以使得計算機程序能夠從第三方服務器(諸如中央個人搜索服務器)接收數字面部圖像或簽名。圖30圖示顯示用戶可以選擇用于在用戶的照片數據庫搜索潛在匹配的失蹤兒童和通緝犯的面部簽名的遞送。圖38中示出了對應的工作流。例如，尋找個體(諸如失蹤兒童或通緝犯)的組織可以張貼圖像30a和30b中示出的個體的面部數據。面部數據可以源自個人搜索服務器38a。選擇共享其面部數據庫38b的這些用戶可以下載數據，以使得能夠自動比較面部數據與其面部數據庫38b。可以在38c向用戶顯示比較的結果以用于驗證。如果在目標個體與特定用戶的已知個人之間發現匹配，則用戶可以在38d通知組織。這可以使得組織能夠確定個體的最近或當前位置。其還可以使得組織能夠確定個體的姓名，因為個體的姓名可以列在用戶的已知個人列表中的一個或多個中。
[0250]參考圖31和圖39中的對應工作流描述的本發明的另外的實施例可以使得個體能夠找到與其本身具有相似面部特征的其他個人。這樣的應用可以用于個人尋找其雙胞胎。在本實施例中，用戶可以選擇提交包括其面部圖像的照片，本發明可以根據其生成存儲在面部簽名數據庫39a中的面部簽名。然后可以將面部特征與先前上傳到數據庫39a或相似長相數據庫39b的其他個體的面部簽名相比較。基于預定的相似性門限，可以在39c向其面部匹配的個體之一或全部報告一個或多個相似面部。根據本實施例的系統可以在39d提供用于用戶批準與其他人聯系的手段。匹配的個體在已經規定其對這樣的聯系的批準的情況下可以選擇向另一人發送消息。本發明的另一變型可以是尋找具有單獨從整個面部得到的相似面部特征(諸如嘴巴、鼻子和眼睛)的個人。
[0251]根據本發明的非限制性方面，至少一個計算機可以包括肖像的數據庫或者與肖像的數據庫接口連接，每個肖像與相應肖像中示出的已識別個人相關聯。至少一個計算機可以接收至少一個未識別消息并且將至少一個未識別肖像的面部簽名與用戶已知的已識別個人的肖像的面部簽名相比較。根據比較的肯定結果，至少一個計算機可以提示用戶肯定結果的確認。根據確認，至少一個計算機可以使得至少一個未識別肖像與用戶確認的至少一個已識別個人相關聯并且將至少一個未識別肖像存儲在數據庫中。
[0252]可選地，未識別肖像示出失蹤個人。可選地，接收可以包括若干步驟。首先，可以接收數字圖像。至少一個計算機然后可以在接收的數字圖像中檢測至少一個面部。至少一個計算機可以確定和存儲被檢測的至少一個面部在接收的數字圖像中的位置的區域坐標。至少一個計算機可以向被檢測的至少一個面部施加至少一個變換以創建被檢測的至少一個面部的至少一個未識別肖像。至少一個計算機可以旋轉至少一個未識別肖像至少直到至少一個未識別肖像被示出在豎直方位上并且在至少一個未識別肖像中被示出的至少一個面部的一對眼睛被定位在水平面上。
[0253]根據照片元數據使關系可視化
[0254]當數字照片的集合包含識別在這些照片中表示的個人的名稱標簽時，有可能“開采”該信息并且生成潛在的有趣的、令人愉快的并且有用的技術以用于顯示這些照片中已經被標記的人員之間的關系。如何使得名稱標簽可用于計算機系統不限于使用該數據顯示有趣的圖形和表格這一概念。快速生成名稱標簽的一個方法是使用面部檢測和識別技術。這一技術通過自動化多數手動步驟加速了標記過程。名稱標簽數據可以簡單地存在于照片元數據中，諸如是Adobe XMP格式，或者可以存在于SQL或其他數據庫中。
[0255]圖46描繪根據本發明的一方面生成的圖。照片中出現的個人之間的關系用個人之間的互連線表示。從中央或所選擇的個人(在示例中是Ray)開始，本發明示出表示Ray出現在其中的照片的數目的節點。可以根據照片的數目對節點相對地定尺寸。直接附接至中央“Ray”節點的任何節點可以識別出現在具有Ray的照片中的個人。因此，例如，Apri I出現在具有Ray的100個照片中，“朋友A”出現在具有Ray的135個照片中。因此，圖的下一層示出沒有與Ray—起出現但是與直接連接至Ray節點的個人一起出現的個人。因此，Sandy和Li sa與April—起出現在照片中。這一方法用于繪制從中央個人向外移動的所有關系。每個節點可以示出在節點處命名的個人的一起出現的頻率以及在緊在前節點處命名的個人的一起出現的頻率。
[0256]圖46中的這一圖可以用作到照片的索引。通過點擊圖中任何節點，可以用幻燈片或縮略圖列表格式顯示該節點表示的對應照片。至少一個計算機可以在接收任何節點上的點擊之前查詢一個或多個照片數據庫以便準備好呈現對應的照片，或者至少一個計算機可以在接收到點擊用戶輸入之后執行任何這樣的查詢。
[0257]根據本發明的非限制性方面，至少一個計算機可以包括數字圖像的數據庫以及識別相應數字圖像中示出的至少一個已識別個人的姓名的相應元數據或者與數字圖像的數據庫以及識別相應數字圖像中示出的至少一個已識別個人的姓名的相應元數據接口連接。至少一個計算機可以從數據庫中選擇已識別個人之一并且確定已識別個人出現在其中的數字圖像的總數的計數。針對在具有所選擇的已識別個人的數字圖像中的至少一個數字圖像中示出的每個已識別個人，至少一個計算機可以確定具有所選擇的已識別個人的相應已識別個人出現在其中的數字圖像的總數的計數，并且顯示視覺表示，諸如圖46所示的圖形或表格。視覺表示可以包括:第一節點，第一節點表示所選擇的已識別個人(例如圖46中的Ray)以及已識別個人出現在其中的數字圖像的總數的相應計數。針對具有所選擇的已識別個人的數字圖像中的至少一個數字圖像中示出的每個已識別個人，可以呈現第二節點，第二節點表示具有所選擇的已識別個人的數字圖像中的至少一個數字圖像中示出的相應已識別個人。每個相應節點還可以包括具有所選擇的已識別個人的相應已識別個人出現在其中的數字圖像的總數的相應計數的視覺表示。每個第二節點可以鏈接至第一節點，可選地是視覺線的形式或者借助于顯示視覺鏈路。
[0258]可選地，對于使用相應第二節點顯示的每個已識別個人(第二個人)，對于具有相應第二個人的數字圖像中的至少一個數字圖像中示出的每個已識別個人，至少一個計算機可以確定具有相應第二個人的相應已識別個人出現在其中的數字圖像的總數的計數。在這種情況下，視覺表示可以包括:對于具有相應第二個人的數字圖像中的至少一個數字圖像中示出的每個已識別個人的第三節點，第三節點表示具有相應第二個人的數字圖像中的至少一個數字圖像中示出的相應已識別個人，每個相應節點還包括具有相應第二個人的相應已識別個人出現在其中的數字圖像的總數的相應計數的視覺表示以及相應第二節點與每個相應第三節點之間的鏈接。
[0259]另一非限制性示例性實施方式可以基于離開中央個人的層級示出僅列表格式的關系。圖37示出了如何可以通過層級來布置這些照片。
[0260]用于表示層級的另一非限制性示例性實施方式可以是示出該層級中包含的拼貼照片。圖48示出了演示這一方法的可能顯示。
[0261]用于示出從照片中的名稱標簽可獲得的數據的本發明的另一非限制性示例性實施方式是從照片提取個人的面部并且在時間線上顯示這些面部。圖49提供一個示例。從所選擇的個人(由至少一個計算機或根據用戶輸入選擇的)開始，可以從他們可以被標記的每個照片中提取該個人的所有面部并且按照某種格式的日期或時間軸顯示。如果所選擇的個人的多于一張的照片可用，則這可以示出個人隨時間的演變。
[0262]根據本發明的非限制性方面，至少一個計算機可以包括肖像的數據庫或者與肖像的數據庫接口連接，每個肖像與相應肖像中示出的已識別個人相關聯。至少一個計算機可以從數據庫中選擇已識別個人之一;至少部分基于與每個相應肖像相關聯的日期元數據對于所選擇的已識別個人相關聯的多個肖像排序;并且顯示虛擬表示。虛擬表示可以包括:時間線；以及多個肖像根據相應排序沿時間線的布置。
[0263]現在將描述出于標記目的使用面部檢測和識別的更多有關細節。面部檢測算法按照很多不同方式操作，但是掃描數字圖像和應用這些算法中的一個或多個的最終結果是可能的面部區域的列表的呈現。這些區域通常用由四個坐標(例如左/上、右/上、左/下、右/下)定義的邊界框來識別。
[0264]如果向本發明的面部檢測系統提供新照片的集合，則系統可以向用戶返回面部的列表并且請求用戶標記面部(換言之，將名稱附接至面部)。這一名稱可以經由鍵盤或者經由從現有的聯系人列表或地址簿的拖放來輸入。用戶通常還提供輸入以刪除其中系統錯誤地將照片的區域識別為面部的任何假陽性面部。
[0265]本發明的面部識別系統可以得到面部檢測結果(例如邊界框坐標的列表以及到原始數字圖像的指針)并且針對每個面部生成數字簽名。這些簽名是構成由邊界框或者向邊界框或邊界框的子集施加的其他掩蓋區域定義的面部的像素的數學表示。例如，可能能夠使用面部的眼睛坐標在面部區域上集中橢圓形掩膜以嘗試消除非特定特征，如頭發、帽子和其他非面部對象。然后，僅使用這一掩蓋區域內的像素來生成面部簽名。
[0266]這些數學簽名取決于算法可以是數字(實數或復數)的序列或者單個數字串或多維陣列。由本發明的面部識別系統執行的其他功能可以是:
[0267]1.—起比較兩個面部簽名以確定“相似度”得分。如果該得分通過動態或預定義的門限，則其變為這兩者之間的“建議”匹配。
[0268]2.將“相似”面部簽名一起組合成類似面部的聚類。這還使用動態或預定義的門限來確定面部簽名是否一起屬于相同的聚類。
[0269]可選功能是基于用戶的標記活動來尋找具有面部簽名的列表的單個個人的代表性簽名。實際上，該個人為系統“已知”，因為面部已經用相同的名稱被標記。
[0270]根據本發明的各個方面，本發明可以使得能夠可視化從照片元數據提取的數據關系，具體地是附接至數字照片的名稱標簽和日期。這一數據可以經由通常的元數據格式(例如EXIF、Adobe XMP等)直接附接至照片，或者可以與將照片名稱鏈接至數據庫表格中包含的元數據的數據庫中的照片單獨存在。
[0271]給予經由標簽(或者在數據庫中的)以及出現頻率識別的個人以及與他們一起出現在照片中的是誰，確定可以用不同方式繪制的數據關系。這些圖形提供對關系進行可視化的方式。
[0272]圖形可以由本發明自動創建，或者本發明的用戶可以請求從由用戶選擇的特定個人開始創建圖形。這一特定個人可以變為網絡表示中的圖形的中央，或者“從左到右”表示中的左側開始點。
[0273]為了采集顯示如圖46的圖形表示所需要的數據，可能必須對照包含元數據的數據庫運行多個查詢，具體地是照片中出現的個人的姓名。如果直接附接至數字照片的元數據中僅存在數據，則必須經由圖像掃描過程來采集這一元數據。可以將所得到的集合放置在計算機存儲器(諸如文本字段的陣列)中，或者可以將其放置到永久性或臨時性SQL數據庫中用于隨后的查詢目的。出于這一部分描述的目的，假定數據駐留在SQL數據庫中。
[0274]初始查詢可以找到包含與所選擇的“開始”個人出現在一個或多個照片中的個人的所有圖像的計數。將這些個人稱為“熟人”。可以基于每個熟人的出現次數按照降序來存儲所得到的列表。圖形可以將起始個人顯示為圖形中的節點。節點的大小可以或者可以不基于照片的數目而變化。照片的數目在這種情況下可以是“起始個人”出現在其中的照片的總數。
[0275]所顯示的下一節點可以是列表中的第一或最大熟人。節點的大小可以或者可以不隨著它們在具有“起始個人”的照片中出現的次數而變化。這一節點可以經由連接器附接至原始起始節點。這一過程可以繼續直到用盡列表中的所有熟人。一個非限制性實施方式可以將列表的大小限制為一起出現的最小數目。圖形可以表示與起始個人出現在至少3張照片中的個人。
[0276]—旦列表被用盡，則對于每個熟人，可以運行另一查詢以確定與該熟人一起出現但是沒有與起始個人一起出現的所有個人。基于這一列表，需要通過回到熟人的連接器向圖形添加節點。
[0277]這一過程可以繼續直到用盡圖形中的所有熟人節點。為了限制圖形的大小(尤其是在具有成千上萬張照片的個人的情況下)，用戶可以規定遠離起始任意的X個層級的極限。
[0278]可以按照與以上類似的方式來生成示出這一“層級關系的”已識別的其他類型的圖形，但是顯示方法不同。對于圖47，可以“逐層級”將照片示出為縮略圖或可滾動的圖像。這可以是提供“每個層級的標簽”的標記界面。對于圖48，針對遠離中央起始個人的每個層級示出了同事格式的照片。每個同事可以是單獨的圖形或頁面，或者可以組合成一個大的圖形。
[0279]為了生成圖49，可以使用圖形的日期來沿著時間線定義面部的排序。面部圖像本身可以使用在面部周圍的預定義的邊界框的坐標從原始照片中提取。邊界框可以基于自動識別包含面部的坐標的面部檢測方法來確定，或者用戶可以在鼠標、觸摸墊或觸摸屏用戶界面的幫助下通過在面部周圍物理地繪制框來手動定義邊界框。
[0280]根據本發明的非限制性方面，至少一個計算機可以包括數字圖像的數據庫以及識別相應數字圖像中示出的至少一個已識別個人的姓名的相應元數據或者與數字圖像的數據庫以及識別相應數字圖像中示出的至少一個已識別個人的姓名的相應元數據接口連接。可以使用本文描述的面部檢測和識別技術在先識別每個個人。至少一個計算機可以從數據庫中選擇已識別個人之一;確定數字圖像中的至少一個數字圖像中示出的至少一個第一已識別個人連同所選擇的已識別個人；以及顯示視覺表示。視覺表示可以包括:針對每個第一已識別個人的第一層級節點，第一層級節點表示所選擇的已識別個人以及一起在數字圖像中的至少一個數字圖像中示出的相應第一已識別個人。視覺表示還可以包括針對每個第一已識別個人的第二層級節點，第二層級節點表示沒有所選擇的已識別個人的數字圖像中的至少一個數字圖像中示出的相應第一已識別個人。
[0281]可選地，視覺表示針對每個第一已識別個人可以包括第二層級節點，第二層級節點表示沒有所選擇的已識別個人但是具有第二已識別個人的數字圖像中的至少一個數字圖像中示出的相應第一已識別個人，其中第二已識別個人被確定為沒有在示出所選擇的已識別個人的任何數字圖像中示出。
[0282]可選地，視覺表示針對每個第二已識別個人可以包括第三層級節點，第三層級節點表示沒有相應第一已識別個人的數字圖像中的至少一個數字圖像中示出的相應第二已識別個人。
[0283]可選地，每個第一層級節點可以包括示出所選擇的已識別個人和相應第一已識別個人二者的數字圖像的集合。
[0284]可選地，每個第一層級節點可以包括示出所選擇的已識別個人和相應第一已識別個人二者的數字圖像的集合;每個第二層級節點可以包括示出相應第一已識別個人而沒有所選擇的已識別個人的數字圖像的集合;每個第三層級節點包括示出第二已識別個人而沒有相應第一已識別個人的數字圖像的集合。
[0285]聚類描述
[0286]本發明的可選功能可以是基于用戶的標記活動來找到具有面部簽名的列表的單個個人的相應簽名。實際上，這一個人可以為系統“已知”，因為面部已經用相同的名稱被標記。出于確定相似性得分和建議兩個照片之間的匹配的目的，代表性簽名用于與每個未識別面部相比較以確定是否存在匹配。代表性面部簽名也可以是面部簽名的集合以使得集合中的每個條目可以表示該特定個人的面部簽名的單個聚類。
[0287]尋找向個人分配的面部的組的代表性面部可能是有用的，以便減小將大量已知面部(例如潛在地是幾百或更多個已知面部)與每個新的未識別面部相比較所需要的時間。另夕卜，人員隨著時間變老并且出于各種原因改變其長相，因此使用表示特定個人的類似面部的聚類的面部簽名的集合可以提供更好的結果，同時與比較每個特定已知面部相比減小了必須的比較數目。
[0288]聚類的另外的使用可以是出于標記的目的向用戶分批呈現“相似的”面部。這在提供標記具有一個名稱的很多面部(而非標記每個單個面部)的能力方面可以節省時間。
[0289]聚類的一個挑戰是:出于性能原因，不期望必須在新面部被引入集合時重新聚類未識別面部的整個集合。可以更高效的是，采用使得能夠創建和管理增加的聚類的各種技術。
[0290]現在將描述與在識別步驟期間出于尋找個體的代表性面部的目的的聚類有關的細節。可以使用層級聚類的形式對于已知個人相關聯的多個面部進行分組，其中如以上描述地比較面部簽名，以創建具有相似長相的面部的組。為了將未知面部與已知個人相比較，可以做出所有單個一對一面部比較，并且然后可以通過算術方式組合結果以形成一個或多個聚類結果，具有相似面部的每個組一個聚類結果。
[0291]為了使得能夠有效地比較聚類結果，可以應用線性校正，其取決于用于計算聚類結果的單個結果的數目。這一線性校正可以通過以下方式來確定:首先比較具有特定數目“N”的已知面部的組與已知屬于不同個人的大量單個面部以確定結果的分布。
[0292]然后，可以確定線性校正以使得這一分布最佳地對準標準正態分布。最后，可以進一步調節校正以通過增加標準偏差或者平移均值來在與未知面部相比較時向更大的面部組顯示出優點。這一最終步驟確保了在用戶的照片集合中頻繁出現的個人在其被建議為新的未知面部的匹配的可能性方面具有適當的增加。
[0293]可以將通過單個未知面部與全部已知個人的比較獲得的多個校正后的聚類結果與固定門限或動態選擇的門限相比較。如果要使用動態選擇的門限，則其可以被選擇為產生最大數目的未知面部(僅其單個個人具有超過門限的結果)的門限。這樣的動態選擇的門限的優點在于，其最大化真正個人建議的數目，同時最小化假陽性建議。
[0294]在本發明的一個實施例中，這一聚類過程可以采用與在術語“層級聚類”(參見http://en.wikipedia.0rg/wiki/Hierarchical clustering)下描述的類似方法。初始聚類可以是“凝聚式的”(自下而上的方法，其中每個觀察從其自己的聚類開始，并且在上移層級時合并多對聚類)，而代表性面部的選擇可以是“分裂式的”(自上而下的方法，其中所有觀察在一個聚類中開始，并且在下移層級時遞歸地執行分離)。起初，認為每個面部是其自己的單獨聚類。將每個面部與每個其他面部相比較并且記錄和存儲得分(相似性)值。丟棄低于某個預定門限的得分。然后，從最高得分開始(最相似的兩個面部)并且朝著最低得分進行，如果每對面部尚未經由某個邊緣路徑被連結，則通過邊緣連結每對面部。也就是，合并兩個單獨的聚類，但是聚類內的面部沒有通過附加邊緣被進一步連結。結果是若干不同系統樹圖(樹)，每個表示聚類。注意，在每個系統樹圖內，沒有回路并且邊緣的數目比面部的數目少一個。對于其中面部的數目大于某個特定整數門限(例如20)的每個聚類，選擇面部的子集來表示聚類。
[0295]子集的選擇可以如下來實現。首先，找到具有最低得分的邊緣并且將其去除以將樹分為兩個更小的子樹。然后，判定將從每個子樹選擇多少面部以使得計數與子樹的大小等比例。例如，如果尋找15個面部并且子樹A是子樹B的兩倍大，則想要從子樹A中選擇10個面部并且從子樹B中選擇5個面部。如果子樹中的面部的數目等于想要的數目，則簡單地輸出這些面部作為結果并且對該子樹的處理終止。如果面部的數目大于想要的數目，則再次迭代地應用這一過程。也就是，在子樹內，尋找具有最低得分的下一邊緣，并且將其去除以進一步劃分樹。結果是將任何大小的樹減小到某個固定大小以使得剩余面部是原始面部集合的統計代表性樣本。
[0296]現在將描述與通過減小用戶所需要的點擊次數來將未識別面部的聚類用于改善標記所涉及的時間有關的細節。出于實際原因和性能原因，根據本發明的一方面，創建完全增量(fulIy incremental)恒定時間聚類算法。這一聚類算法的至少一個優點可以是恒定時間方面，其不根據集合中照片的總數而變化。為了描述向現有聚類添加新面部所涉及的步驟，首先，假定已經向每個現有面部分配某種聚類令牌(例如整數)。如果兩個面部具有相同的令牌，則認為兩個面部在相同的聚類中。其次，假定每個面部與某個照片相關聯并且每個照片具有與其相關聯的日期和時間。這通常但不一定是取得照片的日期和時間。最后，根據這一日期和時間元數據按照分類的順序保持照片。
[0297]給定其中具有至少一個面部的新照片，首先使用新照片的日期/時間尋找其在現有照片的分類列表中的位置。然后通過在兩個方向上從這一位置向外移動來在新面部與現有面部之間執行一對一面部比較。也就是，在移動到逐漸更遠(過去和未來)的日期之前，首先將新面部與在類似日期/時間獲得的現有面部相比較。
[0298]如果一對一面部比較產生超過某個固定門限的相似性，則向新面部分配與現有面部相同的聚類令牌，并且新面部的聚類完成。
[0299]可以應用三個規則以確保向聚類添加每個新面部所花費的時間恒定。首先，將新面部與相同照片中的其他新面部相比較。其次，如果新面部在其與特定聚類的一個面部的比較中失敗，則將新面部不與來自該聚類的任何其他面部相比較。第三，現在具有將做出的最大固定數目的比較。如果達到這一數目而沒有發現匹配，則可以向新面部分配新的聚類令牌，并且因此新面部是新聚類中的第一面部。
[0300]最后，在處理一批照片時，按照隨機順序處理照片以便改善“遠距離”聚類。
[0301]圖50示出了按照年代布置的具有相關聯的日期和時間的照片和面部。根據本發明來分析“新照片”。每個面部上的字母表示相應面部的聚類id/令牌。圖50中在聚類令牌下面示出的具有箭頭的曲線表示要從新照片中的面部到其他照片中的面部執行的面對面比較。表示面對面比較的曲線上示出的數值表示執行相應面對面比較的順序。例如，可以將具有到新照片的最近日期/時間的照片首先比較，并且可以按照照片或面部的相關聯的日期和時間的年代順序比較其余面部。假定在早先的面對面比較中沒有發現匹配，則不將相應面部鏈接至來自新照片的面部的曲線的面部的三個現有面部表示跳過與這些相應面部的比較，因為已經考慮了屬于聚類的相應面部。
[0302]為了示出匹配，比較在發現匹配時暫停并且新面部將相同聚類id字母作為匹配面部(例如E)，如圖50所示。
[0303]為了示出無匹配，然后可以向新面部分配新的聚類id(例如F)，圖50中未示出。
[0304]根據本發明的非限制性方面，至少一個計算機可以包括數字圖像的數據庫以及識別相應數據圖像的日期的相應元數據或者與數字圖像的數據庫以及識別相應數據圖像的日期的相應元數據接口連接，多個數字圖像示出至少一個相應未識別個人(未識別的數字圖像)。至少一個計算機可以通過相應日期元數據對未識別的數字圖像進行分類;并且向每個未識別的數字圖像分配相應聚類令牌。分配可以包括:根據未識別數字圖像的子集每個示出公共的未識別個人這一確定，向子集中的每個未識別的數字圖像分配公共的相應聚類令牌。至少一個計算機可以通過相應聚類令牌對未識別的數字圖像分組。在某個點處，至少一個計算機可以從另一計算機、數據庫、用戶或從任何其他地方接收新的數字圖像。新的數字圖像和相應元數據可以識別相應新的數字圖像的日期，并且新的數字圖像可以包括新的未識別個人。至少一個計算機然后可以嘗試通過使用或利用本文描述的任何聚類技術來嘗試識別所接收的圖像中的新的未識別個人。特別地，至少一個計算機可以按照順序執行新的未識別個人與多個數字圖像的至少一個相應未識別個人的至少一個比較，其中對于每組未識別的數字圖像，至少一個計算機可以僅執行新的未識別個人與相應公共的未識別個人的單個比較。至少一個計算機可以根據比較執行向新的數字圖像分配聚類令牌，產生各組未識別的數字圖像中的相應一組未識別的數字圖像的公共的新的未識別個人的確定。可選地，比較執行順序包括日期元數據在日期上最接近新的數字圖像的日期元數據的順序。可選地，其中在執行新的未識別個人與多個數字圖像的至少一個相應未識別個人的預定最大數目的比較之后，至少一個計算機可以停止比較執行并且向新的數字圖像分配新的聚類令牌。
[0305]圖51-53圖示本發明的面部聚類的各個方面。圖51示出了可以通過本發明提供的標記方法對相應已知個人的面部分組。在圖51中，分別對已知個人A、B和C的面部組進行分組。在圖52中，根據本發明的識別算法可以將已知個人的面部的組分組成已知個人的面部的一個或多個聚類。到相似面部的聚類的劃分可以至少部分基于已知個人的面部分組中的每個面部之間的面部簽名距離。在圖53中，當未知面部被提交給本發明的面部識別方法時，本發明的識別算法可以將未知面部與每個已知個人的每個聚類單獨比較。
[0306]使用圖像元數據改善面部識別結果
[0307]面部識別中的挑戰可以是，由于使用各種相機設備(包括小型電話、手機和一次性相機)得到的客戶照片的不受約束的屬性，準確地識別照片(或視頻)中的人的能力很有可能達不到100%的準確性。僅有太多變量類似于與準確的天氣預報相關聯的挑戰。
[0308]能夠增強識別結果的準確性使其超過分析和比較圖像中包含的像素的純數學運算。通過利用包括數據令牌、相機類型、位置坐標和事件信息的圖像相關元數據，能夠減小通過面部識別算法生成的假陽性數據。在這一概念的另外的擴展中，還能夠識別可能涉及特定地點、事件或時間的圖像中的其他對象(非人類)。
[0309]除了靜止圖像，這些概念也適用于視頻圖像。它們可以在用戶拍攝照片或視頻時實時地應用，或者可以在拍攝圖像后應用。
[0310]根據本發明的一方面的這一概念的非限制性實施方式在圖40中被示出。面部識別算法作用于未識別面部的列表并且將這些面部的數字簽名與未知面部的數字簽名相比較。來自在預定義(或算法)門限內的具有已知面部的未識別集合的任何面部將變為鏈接至已知面部的個人的“建議匹配”。如果單個照片根據面部檢測掃描生成5個面部區域，則可能不足以提供與相同照片中的多于一個的面部的建議相同的個人。注意，可以存在特別的情況(例如涉及鏡子的照片以及通過編輯器修改之后的照片)，其中某個人可以在單個照片中出現多于一次，然而設計滿足這些罕見情況的系統是不實際的。因此，如果面部識別算法遇到具有來自未識別個人的建議相同的圖像的兩個(或多個)面部，則另外的邏輯將考慮兩個(或多個)面部在相同的圖像中這一事實并且請求“最接近匹配”作為使用的建議。如果向用戶建議的最接近匹配被用戶拒絕，則為了改善效率，理想的是，關于不是該圖像的最接近匹配的并且因此不是建議的任何面部，也丟棄建議任何其他數字圖像中的這些面部。然后可以將任何拒絕的面部建議與排除未識別個人的已知個人的集合相比較以找到下一最佳匹配(如果存在)。
[0311]根據本發明的非限制性方面，至少一個計算機可以包括肖像和相關聯的數字圖像的數據庫或者與肖像和相關聯的數字圖像的數據庫接口連接，每個肖像與相應肖像中示出的已識別個人相關聯。至少一個計算機可以確定數字圖像之一中示出的至少兩個已識別個人的相應肖像與根據所接收的數字圖像確定的未識別個人的肖像滿足比較門限。至少一個計算機然后可以建議將未識別個人識別為具有被確定為至少兩個已識別個人中最接近地匹配未識別個人的肖像的相應相關聯的肖像的至少兩個已識別個人中的相應已識別個人。至少一個計算機然后可以排除隨后建議將未識別個人識別為來自數字圖像中的任何其他數字圖像的至少兩個已識別個人中的其余已識別個人。
[0312]在建議面部時也可以考慮日期或時間，如圖41所示。應當假定，與用于本發明的圖像有關的元數據(例如日期、坐標、相機類型等)是準確的，否則不期望基于元數據的基本面部建議能夠增加準確性。考慮與另一照片共享日期的照片中標記的個人，其稱為P。在其他照片中，假定存在未識別面部，其中兩個(或多個)個人滿足用于將該面部稱為這些個人的建議匹配的識別門限。因此，如果滿足門限的這些個人之一被用戶確認為個人P，則本發明可以基于個人P在被標記并且確認為在該日期在另一照片中存在之后從相同日期開始在照片中再次呈現的概念來增加個人P在所建議的識別的列表中的評級。
[0313]根據本發明的非限制性方面，至少一個計算機可以包括肖像和相關聯的數字圖像的數據庫或者與肖像和相關聯的數字圖像的數據庫接口連接，每個肖像與相應肖像中示出的已識別個人相關聯。至少一個計算機可以確定數字圖像中的至少一個數字圖像中示出的至少一個已識別個人的相應肖像與根據所接收的數字圖像確定的未識別個人的肖像滿足比較門限。根據與包括對應于和所接收的數字圖像相關聯的日期元數據的日期的元數據相關聯的數字圖像中的所確定的至少一個數字圖像，至少一個計算機可以建議將未識別個人識別為至少一個已識別個人。
[0314]也可以考慮與個人的關系，如圖42所示。假定被稱為P的個人在照片中被標記并且在該照片中發現其他未識別面部。還假定個人P還屬于被稱為C的分組，并且這一分組為系統已知。因此，作為識別建議算法的一部分，照片中的其他面部也是分組C的成員的概率更高這一事實可以在方法中通過以下方式被考慮在內:降低作為分組C的成員的每個個人的門限，或者在多于一個的個人滿足給定未識別面部的建議門限的情況下，移動在潛在匹配的列表中更高的組C的個人。
[0315]根據本發明的非限制性方面，至少一個計算機可以包括肖像和相關聯的數字圖像的數據庫或者與肖像和相關聯的數字圖像的數據庫接口連接，每個肖像與相應肖像中示出的已識別個人相關聯。至少一個計算機可以根據所接收的圖片包括與定義的組相關聯的至少一個已識別個人這一確定，至少部分基于和定義的組相關聯的至少一個已識別個人的相應肖像與根據所接收的數字圖像確定的未識別個人的肖像滿足比較門限這一確定來建議未識別個人的識別。
[0316]也可以考慮位置或位置坐標，如圖43所示。假定個人P被標記并且被確認為在日期為A、位置為X的照片中，并且每個識別算法，個人P通常可以是也在日期A但是在位置Y拍攝的其他照片中的未識別面部的建議匹配，其中Y遠離X超過N小時。在這種情況下，可以基于以下考慮丟棄個人P的建議匹配:個人P不能或者沒有可能在通過相應照片的元數據估計的日期時間幀內的兩個位置X和Y。這可以將個人P不能同時在兩個地方的概率考慮在內。
[0317]根據本發明的非限制性方面，至少一個計算機可以包括肖像和相關聯的數字圖像的數據庫或者與肖像和相關聯的數字圖像的數據庫接口連接，每個肖像與相應肖像中示出的已識別個人相關聯。至少一個計算機可以確定數字圖像中的至少一個數字圖像中示出的至少一個已識別個人的相應肖像與根據所接收的數字圖像確定的未識別個人的肖像滿足比較門限。根據與包括(i)對應于和所接收的數字圖像相關聯的日期元數據的日期以及(ii)和所接收的數字圖像相關聯的位置元數據的預定距離門限內的位置的元數據相關聯的數字圖像中的所確定的至少一個數字圖像，至少一個計算機可以建議將未識別個人識別為至少一個已識別個人。
[0318]也可以考慮在社交網絡上可獲得的事件信息或其他信息，如圖44所示。假定系統給予針對該用戶捕獲的社交網絡信息或其他數據源知道個人P出席事件X，則個人P出現在事件X處拍攝的照片的概率更高。還有理由假定個人P在事件Y(在相同日期發生)處拍攝的照片中出現的概念更低。針對在事件X處拍攝的照片中發現的面部，識別方法可以使用這一另外的信息向個人P分配更高的評級(經由一個或多個特定調節)，其中P否則可以滿足被建議為未識別面部中的任何一個未識別面部的門限。針對在事件Y處拍攝的照片中發現的面部，識別方法還可以向個人P分配更低的評級(經由一個或多個特定調節)。
[0319]根據本發明的非限制性方面，至少一個計算機可以包括肖像和相關聯的數字圖像的數據庫或者與肖像和相關聯的數字圖像的數據庫接口連接，每個肖像與相應肖像中示出的已識別個人相關聯。至少一個計算機可以確定數字圖像中的至少一個數字圖像中示出的至少一個已識別個人的相應肖像與根據所接收的數字圖像確定的未識別個人的肖像滿足比較門限。至少一個計算機還可以至少部分基于與所接收的數字圖像相關聯的元數據，確定所接收的數字圖像與事件相關聯。根據與事件相關聯的數字圖像中的所確定的至少一個數字圖像，至少一個計算機可以建議將未識別個人識別為至少一個已識別個人。
[0320]也可以考慮非人類對象或環境信息，如圖45所示。例如，假定個人P在照片中被確認并且被標記，并且該照片基于日期、事件或位置信息被視為類似照片的集合X的一部分。因此，如果個人P使用對象識別方法在確認的照片中還被發現穿著綠色毛衣，則可以在發現來自集合X的另一照片中的面部也被附接至綠色毛衣的情況下使用該信息向個人P施加更高優先級或評級。除了衣服，可以分析和考慮照片中示出的其他對象，諸如家具、樹木、汽車、動物、云、景色或照片細節的任何其他環境布置。可以分析和考慮任何這樣的細節的顏色、紋理、方位或布置。特別地，如果個人P基于日期、事件或位置在集合中的照片中被標記，則可以將個人P的非面部細節相比較以建議個人P為集合中的其他照片中的未識別個人(非面部細節可以包括衣服形狀或顏色、頭發顏色、眼鏡、膚色等)。
[0321]根據本發明的非限制性方面，至少一個計算機可以包括肖像和相關聯的數字圖像的數據庫或者與肖像和相關聯的數字圖像的數據庫接口連接，每個肖像與相應肖像中示出的已識別個人相關聯。至少一個計算機可以確定數字圖像中的至少一個數字圖像中示出的至少一個已識別個人的相應肖像與根據所接收的數字圖像確定的未識別個人的肖像滿足比較門限。至少一個計算機然后可以從數字圖像中的所確定的至少一個數字圖像中提取非肖像視覺信息。根據所提取的非肖像視覺信息與來自所接收的數字圖像的非肖像視覺信息滿足比較門限這一確定，至少一個計算機可以建議將未識別個人識別為至少一個已識別個人。
[0322]聲音輔助的面部標記
[0323]可選地，可以使用聲音或語音識別來幫助或支持面部標記，如本發明的各個方面所提供的。至少一個計算機可以提示用戶標記照片。用戶可以通過使用任何可用手段(諸如通過點擊鼠標、觸摸屏、鍵盤輸入)提供用戶輸入來響應，或者通過使用語音輸入來響應。用戶可以與本地計算設備接口連接，面部標記方法可以在本地計算設備上操作，或者用戶可以與和一個或多個其他計算機或計算機服務器(其單獨或一起提供照片或面部的標記)通信的計算機接口連接。在任何情況下，用戶與其接口連接的本地計算設備(其可以是移動電話、個人計算機或者任何其他類型的計算設備)可以包括或連接至(通過有線或無線連接)麥克風或其他音頻輸入外圍設備。本地計算設備或者與其通信的其他計算機之一可以處理用戶的音頻輸入以確定一個或多個語音命令。
[0324]一旦標記過程開始，并且聲音識別被支持和啟用，則可以向用戶呈現一個或多個要標記的照片。可選地，可以詢問用戶是否認識特定照片。計算機之一可以嘗試確定照片的日期或時間。可以提示用戶確認或修改這一日期或時間。可以從用戶提供聲音命令以由計算機之一來處理。通過根據本發明的各個方面描述的面部識別方法，其中至少一個個人被確定為在照片中被發現，可以提示用戶識別至少一個個人。可以從用戶提供聲音命令以通過姓名來識別個人。如果聲音命令沒有提供個人的全名，則面部識別方法可以建議基于所接收的聲音命令使用全名來標記個人。例如，如果用戶將個人識別為“Bob”，則方法可以基于其他照片中被用戶標記的命名為“Bob”的其他個人或者基于通過社交網絡或聯系人列表連接至用戶的其他命名為“Bob”的個人來建議用于“Bob”的至少一個全名。這一過程可以針對照片中的全部個人并且對于用戶尚未標記的任何其他照片中的全部個人重復。可選地，已經標記的現有照片也可以向用戶重新呈現以用于標記或重新標記，優選地在所有未標記照片根據本發明的方法被處理和標記之后。方法還可以提示用戶記錄被標記的任何照片的標題。可以向用戶回放任何記錄的標題以在應用于相應照片之前進行確認。也可以通過語音識別技術處理標題并且將其保存為與相應照片相關聯的文本標題。也可以向用戶呈現標題文本以用于在保存之前進行回顧或確認。
[0325]鐘述
[0326]應當理解，本文中解釋的任何執行指令的模塊或部件可以包括或者能夠訪問計算機可讀介質，諸如存儲介質、計算機存儲介質、或數據存儲設備(可移除和/或非可移除)，諸如例如磁盤、光盤、磁帶和其他形式的計算機可讀介質。計算機存儲介質可以包括用任何信息存儲方法或技術實現的易失性和非易失性、可移除和非可移除介質，諸如計算機可讀指令、數據結構、程序模塊或其他數據。計算機存儲介質的示例包括RAM、R0M、EEPR0M、閃存存儲器或其他存儲器技術、CD-ROM、數字多功能盤(DVD)、藍光光盤、或其他光學存儲裝置、磁盒、磁帶、磁盤存儲裝置或其他磁性存儲設備、或者可以用于存儲期望信息并且可以由應用、模塊或這二者訪問的任何其他介質。任何這樣的計算機存儲介質可以是移動設備、跟蹤模塊、對象跟蹤應用等的一部分，或者可訪問或可連接至移動設備、跟蹤模塊、對象跟蹤應用等。本文描述的任何應用或模塊可以使用可以由這樣的計算機可讀介質存儲或保持的計算機可讀/可執行指令來實現。
[0327]因此，本領域技術人員可以對特定實施例做出改變、修改和變化，而不偏離僅由本公開的所附權利要求限定的本公開的范圍。
[0328]在另外的方面，本公開提供了計算機、設備、方法和計算機編程模塊，包括非暫態計算機可讀存儲器或非暫態機器可讀指令集，用于在實現這樣的方法和實現先前提供的功能時使用。
[0329]雖然已經在某種程度的特質的情況下用示例性方式描述和說明了本公開，然而應當注意，僅作為示例來做出描述和說明。可以在部件或步驟的構造和組合和布置的細節方面做出大量變化。因此，這樣的變化意圖被包括在本發明中，本發明的范圍由權利要求限定。
[0330]除了在所描述的過程(包括其任何可選步驟或組成)內陳述或固有的范圍之外，沒有意圖或暗示任何所需要的順序、序列或組合。相關領域技術人員應當理解，關于本文描述的過程和任何系統、設備等，各種變型在各種情況下是可能的并且甚至是有利的，而不偏離僅受權利要求限制的本發明的范圍。
【主權項】
1.一種由至少一個計算機執行的方法，所述方法包括: 在至少一個數字圖像中檢測至少一個面部； 確定和存儲被檢測的所述至少一個面部在所述至少一個數字圖像中的位置的區域坐標； 向被檢測的所述至少一個面部施加至少一個變換以創建被檢測的所述至少一個面部的至少一個肖像； 旋轉所述至少一個肖像至少直到所述至少一個肖像被示出在豎直方位上并且在所述至少一個肖像中被示出的所述至少一個面部的一對眼睛被定位在水平面上；以及存儲被旋轉的所述至少一個肖像。2.根據權利要求1所述的方法，其中被檢測的所述至少一個面部中的每個面部對應于個人。3.根據權利要求1所述的方法，包括先于所述施加從所述至少一個數字圖像提取被檢測的所述至少一個面部。4.根據權利要求1所述的方法，包括在銷售圖像中插入被存儲的所述至少一個肖像。5.根據權利要求4所述的方法，其中所述銷售圖像是廣告。6.根據權利要求4所述的方法，包括向被存儲的所述至少一個肖像施加至少一個附加變換以用于匹配所述銷售圖像的肖像大小要求。7.根據權利要求1所述的方法，包括: 接收要被抑制的至少一個面部的選擇； 掩蓋與要被抑制的所述至少一個面部在所述至少一個數字圖像中的位置相對應的區域坐標。8.根據權利要求7所述的方法，其中所述掩蓋包括將選擇的圖像疊置在與要被抑制的所述至少一個面部的位置相對應的區域坐標上方。9.根據權利要求8所述的方法，包括將選擇的所述圖像調節為對應于要被掩蓋的區域坐標的大小。10.根據權利要求8所述的方法，包括將疊置的所述圖像的邊緣調節為與所述至少一個數字圖像的圖像特性混合。11.根據權利要求10所述的方法，其中所述圖像特性包括顏色、強度、亮度和紋理中的一項或多項。12.根據權利要求7所述的方法，其中要被抑制的所述至少一個面部的所述選擇包括用于抑制特定個體被顯示在任何數字圖像中的命令，所述方法包括識別包括與要被抑制的所述特定個體相對應的面部的任何數字圖像、并且標記被識別的所述數字圖像以掩蓋與要被抑制的所述至少一個面部的位置相對應的區域坐標。13.根據權利要求7所述的方法，其中所述掩蓋包括向所述數字圖像施加永久掩膜。14.根據權利要求7所述的方法，其中所述掩蓋包括修改所述數字圖像的元數據以使得所述數字圖像在被顯示時被掩蓋。15.根據權利要求1所述的方法，包括:將日期數據與所述數字圖像相關聯；以及根據相應相關聯的所述日期數據顯示存儲的對應于普通個人的肖像。16.根據權利要求15所述的方法，包括生成存儲的對應于所述普通個人的所述肖像隨時間演變的動畫表示。17.根據權利要求1所述的方法，包括將個人的身份與存儲的所述至少一個肖像相關聯。18.根據權利要求17所述的方法，包括至少部分基于被包括在所述數字圖像中的相應被識別個人來使得被識別個人之間的關系相關聯。19.根據權利要求18所述的方法，包括用存儲的所述肖像和所述關系填充交互式計算機游戲。20.根據權利要求19所述的方法，其中所述交互式計算機游戲包括照片懷舊治療游戲。21.—種包括至少一個計算機的系統，所述至少一個計算機包括至少一個處理器和非暫態計算機可讀存儲器，所述非暫態計算機可讀存儲器包括處理指令，所述處理指令在由所述至少一個處理器執行時使得所述計算機: 在至少一個數字圖像中檢測至少一個面部； 確定和存儲被檢測的所述至少一個面部在所述至少一個數字圖像中的位置的區域坐標； 向被檢測的所述至少一個面部施加至少一個變換以創建被檢測的所述至少一個面部的至少一個肖像； 旋轉所述至少一個肖像至少直到所述至少一個肖像被示出在豎直方位上并且在所述至少一個肖像中被示出的所述至少一個面部的一對眼睛被定位在水平面上；以及存儲被旋轉的所述至少一個肖像。22.根據權利要求1所述的系統，其中所述處理指令在由所述至少一個處理器執行時使得所述計算機先于所述施加從所述至少一個數字圖像提取被檢測的所述至少一個面部。23.根據權利要求1所述的系統，其中所述處理指令在由所述至少一個處理器執行時使得所述計算機在銷售圖像中插入被存儲的所述至少一個肖像。24.根據權利要求1所述的系統，其中所述處理指令在由所述至少一個處理器執行時使得所述計算機: 接收要被抑制的至少一個面部的選擇； 掩蓋與要被抑制的所述至少一個面部在所述至少一個數字圖像中的位置相對應的區域坐標。
【文檔編號】G06K9/46GK105917360SQ201480072624
【公開日】2016年8月31日
【申請日】2014年11月12日
【發明人】R·加農, D·C·沃, Y·曼洛, K·普拉塔尼奧蒂斯, C·斯圖德霍爾梅
【申請人】應用識別公司