用于同軸眼睛凝視跟蹤的系統和方法
【專利說明】
[0001 ]本申請要求保護2013年3月18日提交的美國臨時申請No. 61/802881的優先權，其 內容通過引用并入于此。
技術領域
[0002] 下面內容設及用于同軸(on-axiS)眼睛凝視(gaze)跟蹤的系統和方法。
【背景技術】
[0003] 用于人與機器之間的交互的常見技術包括手動用戶接口裝置，如鍵盤、按鈕、操縱 桿W及點擊裝置(例如，鼠標器、針筆等）。眼睛凝視跟蹤系統方面的近期發展可W確定單人 眼睛的視線(L0S)矢量。該L0S信息可W被用作用于人機交互的控制工具。
[0004] 針對用戶至空間（例如，畫面）中一位置，已知有兩種一般類型的凝視估計過程。 良P，函數映射和3D模型。在函數映射中，獲取畫面點和特征矢量對(通常經由校準過程），并 且每一對都包含當用戶凝視畫面上的所設置點時，從該用戶獲取的特征矢量。接著，將運兩 個數據集用于近似從特征矢量至畫面位置的凝視映射函數。
[0005] 在基于3D模型的方法中，結合選定的眼睛模型使用所提取眼睛特征，來估計眼睛 的光學軸。該軸確定眼睛在空間中的角狀位置，并且可W結合用戶視軸的已知發散性來使 用，W估計用戶在看空間中的什么地方。
[0006] 對于將眼睛凝視跟蹤信息用作控制工具來說，有許多缺點。例如，運種缺點可W包 括:眼睛的視覺系統與大腦中的所得圖像之間的直覺鏈接;相對于移動手動交互裝置的眼 睛移動速度（即，用戶通常在移動手動裝置之前看著該手動裝置的希望目的地）；W及眼睛 凝視跟蹤技術可W被嚴重傷殘人±使用的可能性(僅舉幾個例子）。
[0007] 用于眼睛凝視跟蹤系統的許多其它應用例如可W包括:深入眼睛移動與感知和/ 或認知過程之間的連接的屯、理和生理研究；駕駛員意識分析;深入廣告和網站布局的有效 性的研究；W及凝視偶然顯示(僅舉幾個例子）。
[000引典型地講，已知許多現有凝視跟蹤技術采用操作如下的系統，其中，分析所提供的 圖像數據W尋找眼睛，對所找到的眼睛進行特定特征提取，W及使用該特征來估計畫面上 的凝視點。然而，運些系統通常采用多個照明源和一個或更多個成像系統，W便確定用戶的 P0G。運些系統趨于包含同軸和離軸照明源兩者，利用圖像差分方法來檢測和跟蹤場景中的 眼睛。根據運個情況，來自照明源的瞳孔中屯、和多角膜反射(還已知為化rkinje圖像)被提 取為眼睛特征，并且用于確定畫面上用戶的P0G。
【發明內容】
[0009] 在一個方面，提供了一種用于執行眼睛凝視跟蹤的方法，該方法包括W下步驟:針 對單個同軸成像裝置最優化場景的照明；在最優化的照明下，利用所述單個同軸成像裝置 獲取圖像;W及處理所獲取的圖像，W執行凝視估計。
[0010] 在其它方面，提供了被配置成執行所述方法的計算機可讀介質和系統。
【附圖說明】
[0011] 下面，參照其中附圖，僅通過示例的方式對實施方式進行描述：
[0012] 圖1是其中將凝視跟蹤系統并入用于跟蹤用戶的凝視的電子裝置中的環境的示意 圖；
[0013] 圖2例示了同軸配備電子裝置的示例；
[0014] 圖3例示了同軸和離軸配備電子裝置的示例；
[0015] 圖4是針對凝視跟蹤系統的配置的示例；
[0016] 圖5圖像中的眼睛的示意性例示圖；
[0017] 圖6是例示針對凝視跟蹤系統的配置的示例的框圖；
[001引圖7A是例示動態照明過程的應用的狀態圖；
[0019] 圖7B是例示動態照明與場景中的多個用戶的應用的狀態圖；
[0020] 圖8是例示用于尋找第二瞳孔的過程的示意圖；
[0021 ]圖9是例示用于理想化瞳孔的過程的示意圖；
[0022] 圖10是例示用于理想化瞳孔的另一過程的示意圖；
[0023] 圖11是例示可W在動態照明過程中執行的示例計算機可執行操作的流程圖；
[0024] 圖12是例示用于同軸眼睛候選檢測的處理的示例的流程圖；
[0025] 圖13例示了利用理想化照明參數在同軸眼睛候選檢測處理內應用的同軸闊值化 的效果；
[0026] 圖14例示了用于例示同軸眼睛候選檢測的處理的另一示例的流程圖；
[0027] 圖15例示了同軸圖像的示例；
[0028] 圖16例示了向圖15的同軸圖像應用圖像梯度量值；
[0029] 圖17例示了向圖15的同軸圖像應用闊值化；
[0030] 圖18是例示可W在眼睛候選過濾過程中執行的示例計算機可執行操作的流程圖；
[0031] 圖19例示了通過凝視跟蹤系統利用瞳孔-閃光(glint)矢量和被用于標準化所例 示矢量的距離度量來照明的眼睛；
[0032] 圖20例示了通過凝視跟蹤系統利用瞳孔-閃光矢量和被用于標準化所例示矢量的 異色邊緣(limbus)距離度量來照明的眼睛；
[0033] 圖21是例示可W在凝視確定過程中執行的示例計算機可執行操作的流程圖；W及
[0034] 圖22是例示可W在示例實現中通過凝視跟蹤系統執行的示例計算機可執行操作 的流程圖。
【具體實施方式】
[0035] 應當清楚，為簡化和清楚地例示起見，在認為合適的情況下，附圖標記可W在圖之 間重復，W指示對應或類似部件。另外，闡述了許多具體細節，W便提供對在此描述的示例 的詳盡理解。然而，本領域普通技術人員應當明白，在此描述的示例可W在不需要運些具體 細節的情況下來實踐。在其它情況下，公知方法、過程W及組件未加W詳細描述，W使不混 淆在此描述的示例。而且，該描述不被視為限制如在此描述的示例的范圍。
[0036] 應當清楚，在此使用的示例和對應圖表僅出于例示性目的。在不脫離在此表達的 原理的情況下，可w使用不同的配置和術語。例如，在不脫離運些原理的情況下，可w利用 不同連接來添加、刪除、修改或者排列組件和模塊。
[0037] 已經發現，大部分現存的基于紅外線的眼睛跟蹤系統需要同軸和離軸照明源兩 者，W便可靠跟蹤用戶的瞳孔。下文中說明的方法和算法描述了運樣的系統，其用于具有包 括同軸照明源的單個同軸傳感器的眼睛凝視跟蹤器。已經認識到，用于提供僅具有單個傳 感器的眼睛跟蹤系統的能力考慮到創建運樣一種眼睛跟蹤系統模塊，即，其尺寸可W制作 成容納在寬泛種類的電子裝置內，特別是手持式或個人電子裝置。例如，在此描述的系統可 W被設置成，W和標準膝上型電腦網絡攝像機(webcam)或便攜式裝置攝像機類似的形狀因 子來容納，其可W在膝上型電腦或多媒體裝置中W常規方式接口化，作為直覺附加人機接 口。可W清楚，雖然在此描述的示例僅按同軸配置來例示，但所述原理可W等同地應用至同 軸和離軸眼睛凝視跟蹤器，W改進它們的可靠性，并且降低誤報(false positive)檢出率。
[0038] 提供了運樣的一種系統，其被配置用于感測和跟蹤眼睛凝視特征，并且使用由其 獲取的信息來估計凝視點。運種系統在利用單個同軸傳感器來獲取眼睛凝視數據的配置中 特別有利。
[0039] 下面提供了一種系統和要通過運種系統來實現的計算機可執行指令和操作，其用 于執行如下面更詳細討論的動態照明主體眼睛、同軸候選檢測技術、同軸候選過濾處理，W 及同軸凝視確定技術。如下更詳細描述的，該同軸眼睛候選過濾和同軸眼睛候選檢測技術 在此可W被通稱為眼睛檢測和跟蹤。同軸凝視確定技術在此還可W被稱為使用來自圖像的 提取特征W估計畫面上的凝視的方法。該動態照明可W被視為修改所使用的裝置的參數來 執行眼睛跟蹤，W實現用于凝視跟蹤的可接受圖像質量的并行處理或技術。可W清楚，在此 描述的技術可W并入到任何合適的眼睛凝視跟蹤系統。特別地講，該動態照明和眼睛候選 過濾算法可W獨立地模塊化，并且在任何眼睛凝視跟蹤系統中使用W提高可靠性，并且潛 在地增加運樣的用戶范圍，在該用戶范圍下凝視跟蹤將可行和/或具有功能性。
[0040] 在此描述的系統和方法提供了各種優點。例如，在此描述的系統和方法可W被采 用W縮減尺寸、增加模塊化W及增加運樣的用戶百分比，在該用戶百分比下凝視跟蹤可行。
[0041] 已經發現，通過允許可靠眼睛跟蹤裝置在具有單個共軸照明源的單個攝像機上起 作用，壓縮了硬件裝置的尺寸化約束到針對攝像機本身的尺寸化約束。運是因為與離軸照 明的尺寸化需求相比，包含共軸照明源通常最小，其在物理上受針對照明源在功能方面不 共軸的需求距離所約束。
[0042] 而且，已經發現，模塊化方面的顯著增加（即，用于模塊化的能力）可W因深度計算 方法獨立于所使用的特定步驟而實現。例如，一旦在設計中選擇了攝像機模塊，在此描述的 系統可W按和與標準網絡攝像機連接類似的方式來連接。當與離軸配置相比時，運特別有 利，該離軸配置需要:要在照明源與攝像機模塊之間使用的更復雜的設置和連接(例如，用 于同步化等）。例如，因為距離度量經由Ξ角測量來實現，所W離軸照明源的距離通常限制 了眼睛凝視跟蹤器可W起作用的范圍。可W注意到，對于利用兩個攝像機的眼睛跟蹤系統 來說，也發現了該問題，因為兩個攝像機系統使用攝像機之間的距離，來Ξ角測量用戶距該 系統的距離。
[0043] 下面的技術可W有利地使能夠增加眼睛參數方面的可變性的量，并由此，可應用 于更大的用戶基礎。在此描述的動態照明技術使得眼睛凝視系統能夠掃描更完整范圍的可 準許照明設置，w便尋找用戶，而已經發現w前的系統具有固定范圍，由此限制了潛在的用 戶基礎。還發現，在此描述的系統可W適于通過應用眼睛候選過濾算法準確地除去瞳孔狀 對象，來處理其它用戶情況，如用戶正佩戴眼鏡的情況。
[0044]下面，轉至附圖，圖1例示了其中將同軸凝視跟蹤系統10并入電子裝置12中的凝視 跟蹤環境8(即，其中執行凝視跟蹤的任何環境）。在圖1所示示例中，該凝視跟蹤系統10跟蹤 用戶18的一只或多只眼睛16的凝視14,該凝視14指向電子裝置12的至少一個組件(例如，顯 示屏）。該凝視跟蹤系統10包括具有視野(F0V)20的一個或更多個成像組件（例如，下面所 述），該視野考慮到對用戶18的眼睛16進行成像。
[0045]圖2例示了圖2所示的同軸配備電子裝置12的外部前視圖。當與圖3所示的同軸和 離軸配備電子裝置12'相比時，縮減復雜性是明顯的。如圖2所示，同軸凝視跟蹤系統10包括 成像裝置22,其提供照明和用于獲取F0V20內的圖像的至少一個透鏡部件(未示出）。圖3所 示同軸和離軸配備電子裝置12'可W包括在此描述的同軸