便攜式眼睛追蹤設備的制造方法

便攜式眼睛追蹤設備的制造方法
【專利摘要】公開了一種便攜式眼睛追蹤器設備，其包括框架、至少一個光學器件保持構件、運動傳感器和控制單元。框架可以是適于由用戶佩戴的框架。至少一個光學器件保持構件可以包括配置成選擇性地光照用戶的至少一個眼睛的至少部分的至少一個光照器、以及配置成捕獲表示用戶的至少一個眼睛的至少部分的圖像的圖像數據的至少一個圖像傳感器。運動傳感器可以配置成檢測框架的運動。控制單元可以配置成控制至少一個光照器以用于選擇性光照用戶的至少一個眼睛的至少部分，從圖像傳感器接收圖像數據，并且從運動傳感器接收信息。
【專利說明】
便攜式眼睛追蹤設備[0001]相關申請的交叉引用本申請要求2013年9月3日提交的題為“PORTABLE EYE TRACKING DEVICE”的美國臨時 專利申請號61/873，154的優先權，該美國臨時專利申請的整個公開內容據此出于所有目的 通過引用并入本文，就像在本文中完整闡述的那樣。[0002]本申請還涉及與其同時提交的題為“PORTABLE EYE TRACKING DEVICE”的美國專 利申請號14/281,599、與其同時提交的題為“PORTABLE EYE TRACKING DEVICE”的美國專利 申請號14/281,616、與其同時提交的題為“PORTABLE EYE TRACKING DEVICE”的美國專利申 請號14/281,587,以及與其同時提交的題為“PORTABLE EYE TRACKING DEVICE”的美國專利 申請號14/281,676,這些美國專利申請的整個公開內容據此出于所有目的通過引用并入本 文，就像在本文中完整闡述的那樣。
【背景技術】
[0003]在現有技術中已知用于確定用戶在看的點的方法。該技術通常稱為眼睛追蹤或凝視(gaze)檢測技術。眼睛追蹤系統典型地以兩個主要形式見到。在一種形式中，傳感器或者其他眼睛追蹤設備定位成遠離用戶的眼睛，諸如在計算機、顯示器或類似設備中或者在其上。
[0004] —種已知的眼睛追蹤方法包括使用紅外光和圖像傳感器。朝向用戶的瞳孔引導紅外光并且光的反射由圖像傳感器捕獲。通過對反射點的分析，可以計算用戶的凝視方向。一個這樣的系統在轉讓給Tobii Technology AB, Sweden的美國專利號7,572,008( “’008專利”)中描述。’008專利的整個公開內容據此出于所有目的通過引用并入本文，就像在本文中完整闡述的那樣。
[0005]便攜式或者可佩戴的眼睛追蹤設備也在之前已經描述并且可用于商業購買。一個這樣的眼睛追蹤系統在轉讓給Tobii Technology AB, Sweden的美國專利申請公開號 2011/0279666( “’666申請”)中描述。’ 666申請的整個公開內容據此出于所有目的通過引用并入本文，就像在本文中完整闡述的那樣。’666申請描述了一種可佩戴的眼睛追蹤設備，其要求將外部紅外光源放置在場景中作為參考點，以幫助確定用戶的凝視方向。
[0006]當儀器相對于佩戴者的頭部運動時，現有的便攜式眼睛追蹤系統可能遭受嚴重的性能降級。例如，眼鏡可能相對于佩戴者的鼻子滑動；另外，佩戴者可能在佩戴眼鏡時手動地調節眼鏡。對于要求校準的設計，眼鏡相對于佩戴者的頭部的這樣的運動可能使校準無效并且使讀取的精度顯著降級。作為另一示例，單攝像機便攜式眼睛追蹤系統可能在某些條件下提供相當大地降級的讀數，包括當佩戴者處于強光源存在中時;暴露于直射太陽光； 或者當單個攝像機的視野受到諸如由眼睫毛阻擋時。此外，這樣的單攝像機系統可能不能夠檢測用戶的視場的末端處的凝視方向。
【發明內容】

[0007]在一個實施例中，提供一種便攜式眼睛追蹤器設備。便攜式眼睛追蹤器設備可以包括框架、至少一個光學器件保持構件、運動傳感器和控制單元。框架可以是適于由用戶佩戴的框架。至少一個光學器件保持構件可以包括配置成選擇性地光照用戶的至少一個眼睛的至少部分的至少一個光照器、以及配置成捕獲表示用戶的至少一個眼睛的至少部分的圖像的圖像數據的至少一個圖像傳感器。運動傳感器可以配置成檢測框架的運動。控制單元可以配置成控制至少一個光照器以用于選擇性光照用戶的至少一個眼睛的至少部分，從圖像傳感器接收圖像數據，并且從運動傳感器接收信息。
[0008]在另一實施例中，提供一種確定用戶的凝視方向的方法。方法可以包括激活由用戶所佩戴的框架上的至少一個光照器以選擇性地光照用戶的至少一個眼睛的至少部分。方法還可以包括從框架上的至少一個圖像傳感器接收表示用戶的至少一個眼睛的至少部分的圖像的圖像數據。方法可以進一步包括從配置成檢測框架的運動的運動傳感器接收信息。方法可以附加地包括至少部分地基于來自運動傳感器的信息和圖像數據來確定用戶的凝視目標區域。
[0009]在另一實施例中，提供一種在其上具有指令以用于確定用戶的凝視方向的非暫時性機器可讀介質。指令可以由處理器可執行以用于激活由用戶所佩戴的框架上的至少一個光照器以選擇性地光照用戶的至少一個眼睛的至少部分。指令還可以可執行以用于從框架上的至少一個圖像傳感器接收表示用戶的至少一個眼睛的至少部分的圖像的圖像數據。指令可以進一步可執行以用于從配置成檢測框架的運動的運動傳感器接收信息。指令可以附加地可執行以用于至少部分地基于來自運動傳感器的信息和圖像數據來確定用戶的凝視目標區域。【附圖說明】
[0010]結合隨附各圖來描述本發明:圖1A示出根據本發明的一些實施例的眼睛追蹤設備；圖1B示出根據本發明的其他實施例的可替換的眼睛追蹤設備；圖2A示出根據本發明的一些實施例的眼睛追蹤設備的后視圖；圖2B示出根據本發明的其他實施例的眼睛追蹤設備的后視圖；圖3示出根據本發明的一些實施例的光學器件保持構件的第一視圖；圖4示出根據本發明的一些實施例的光學器件保持構件的第二視圖；圖5示出由本發明的各種實施例所采用的一種可能的方法;以及圖6是能夠在本發明的裝置或系統的至少一些部分中使用或者實現本發明的方法的至少一些部分的示例性計算機系統的框圖。
[0011]在隨附各圖中，類似的組件和/或特征可以具有相同的數字參考標記。另外，相同類型的各種組件可以通過由字母跟隨參考標記來區分，該字母在類似的組件和/或特征之間進行區分。如果在說明書中僅使用第一數字參考標記，則描述適用于具有相同第一數字參考標記的任何一個類似的組件和/或特征而不管字母后綴如何。【具體實施方式】
[0012]隨后的描述僅提供示例性實施例，并且不意圖限制本公開的范圍、適用性或配置。 相反，示例性實施例的隨后描述將為本領域技術人員提供用于實現一個或多個示例性實施例的實現描述。應當理解到，可以在元件的功能和布置方面做出各種改變而不脫離如在隨附權利要求中闡述的本發明的精神和范圍。例如，本文討論的一個實施例的任何細節可以或者可以不存在于該實施例的所有可能變形中，并且可以或者可以不存在于本文討論的其他實施例的所有可能變形中。
[0013]在以下描述中給出具體細節以提供對實施例的透徹理解。然而，本領域普通技術人員將理解到，可以在沒有這些具體細節的情況下實踐實施例。例如，本發明中的電路、系統、網絡、過程和其他元件可以以框圖形式被示出為組件以便使實施例在非必要細節中模糊。在其他實例中，可以在沒有非必要細節的情況下示出公知的電路、過程、算法、結構和技術以便避免使實施例模糊。
[0014]而且，要指出的是各個實施例可以描述為過程，其被描繪為流程圖、流程示圖、數據流圖、結構圖或框圖。盡管流程圖可以將操作描述為順序過程，但是許多操作可以并行地或者同時執行。此外，操作的次序可以重新布置。過程可以在其操作完成時終止，但是可以具有未在圖中討論或包括的附加步驟。此外，并非任何特定描述的過程中的所有操作都可以在所有實施例中發生。過程可以對應于方法、功能、進程、子例程、子程序等。當過程對應于功能時，其終止對應于功能返回到調用功能或主功能。
[0015]術語“機器可讀介質”包括但不限于便攜式或固定的存儲設備、光學存儲設備、無線信道、以及能夠存儲、包含或承載(多個)指令和/或數據的各種其他介質。代碼片段或者機器可執行指令可以表示進程、功能、子程序、程序、例程、子例程、模塊、軟件包、分類、或者指令、數據結構或程序聲明的任何組合。代碼片段可以通過傳遞和/或接收信息、數據、自變量、參數或存儲器內容而耦合到另一代碼片段或者硬件電路。信息、自變量、參數、數據等可以經由任何適當的裝置來傳遞、轉發或傳送，包括存儲器共享、消息傳遞、令牌傳遞、網絡傳送等。
[0016]此外，本發明的實施例可以至少部分地手動或自動實現。手動或自動實現可以通過使用機器、硬件、軟件、固件、中間件、微碼、硬件描述語言或其任何組合來執行或者至少輔助。當實現在軟件、固件、中間件或微碼中時，執行必要任務的程序代碼或代碼片段可以存儲在機器可讀介質中。(多個)處理器可以執行必要任務。
[0017]現在參照圖1A，示出根據本發明的一個實施例的便攜式眼睛追蹤設備10。眼睛追蹤設備10包括框架12,所述框架12具有以與傳統的眼鏡對或太陽鏡對相似的這樣的方式與它耦合的眼鏡透鏡(或透鏡對)14。框架12可以包括中心部段(pieCe)15,眼鏡透鏡14附接到中心部段15并且兩個臂部17(即邊撐(temple))從中心部段15延伸。臂部17可以以傳統眼鏡透鏡對或太陽鏡對的方式適配在用戶耳朵上方。
[0018]在一些實施例中，鼻子部段16可以提供用于舒適性并且幫助將設備10適配到用戶鼻子。場景攝像機18(其可以捕獲靜止和/或視頻圖像和/或其他圖像數據)可以設置在眼鏡透鏡14的中部，或者分離的眼鏡透鏡之間、鼻子部段16上方。麥克風20也可以放置成鄰近或者靠近場景攝像機18。
[0019]控制單元22可以位于一個或兩個臂部17內，在其前部、中部或者端部中。本文描述的任何處理器功能可以在控制單元22和/或與控制單元22通信的外部處理器處執行。控制單元22可以包括用于執行計算任務的元件，諸如印刷電路板(PCB)和其他電子器件，如將在本文中進一步詳細描述的。控制單元22還可以包含設計成與外部計算設備通信的通信端口或組件。該通信端口或設備可以支持任何一個或多個形式的已知通信。例如，通信端口可以包括通用串行總線(USB)端口、火線端口、高清晰度多媒體接口(HDMI)端口、以太網端口等。 通信設備可以包括W1-Fi收發器、藍牙收發器、或者任何其他近場或較長范圍的通信設備。 在其他實施例中，通信端口或設備還可以具有專有類型，其尤其設計用于在便攜式眼睛追蹤設備中使用。通信端口或設備可以例如包括低供電無線通信裝置。
[0020]圖1B示出不同位置中的具有某些組件的可替換的眼睛追蹤設備10A。在該實施例中，控制單元22可以位于臂部17的側面上并且包括HDMI接口 19。
[0021]圖2A示出當從后方觀看時的根據本發明的某些實施例的眼睛追蹤設備10。出于說明目的，已經從圖中移除中心部段12的部分以示出可以包含諸如彎折連接器52和麥克風20 之類的電子組件的電路板50的放置。電路板50還可以包含處理架構，諸如數字信號處理器、 現場可編程門陣列和/或另一片上處理器系統。電路板50可以通過諸如螺絲54、粘合劑和/ 或其他裝置之類的常規緊固裝置而附接到中心部段12。中心部段12可以包括一個或多個部分，其適配在電路板50之上，使得電路板50設置在中心部段12內，并且在正常使用期間不可見。[〇〇22]設備10還可以包括兩個光學器件保持構件70。在其他實施例中，可以提供僅一個連續的光學器件保持構件，其提供在圖2A中示出的兩個光學器件保持構件70的功能性。每一個光學器件保持構件70可以包括一個或多個圖像傳感器和一個或多個光照器，如將在下文進一步解釋的。因而，光學器件保持構件70可以包括光照用戶眼睛或其某一子部分(例如虹膜)以及捕獲包括用戶眼睛或其某一子部分上的光照的反射點的圖像的組件。圖2B示出圖1B的可替換的眼睛追蹤設備10A。[〇〇23]圖3和4進一步詳細地示出根據本發明的實施例的光學器件保持構件70。每一個光學器件保持構件70可以包括兩個主要組件:覆蓋物72和柔性構件74。覆蓋物72可以在恰當地耦合于一起時覆蓋柔性構件74,如通過光學器件保持構件70B所示出的。光學器件保持構件70A被示出為具有分開的柔性構件74和覆蓋物72以便示出這兩個組件之間的相互作用。 柔性構件74和覆蓋物72可以配置成使得柔性構件74卡扣(snap)到覆蓋物72中。作為另一示例，柔性構件74和覆蓋物72可以使用粘合劑、螺絲和/或其他常規緊固裝置而連接到彼此。 [〇〇24]柔性構件74可以包括彎折電路并且已經在其上安裝一個或多個間隔的光照器76 和/或一個或多個圖像傳感器78。可以在每一個光學器件保持構件70中采用任何數目的光照器76(例如，1、2、3、4、5、6等)和圖像傳感器(例如，1、2、3、4、5、6等)。光照器76可以包括能夠發射紅外光的紅外光照器，如本領域技術人員將容易理解的，但是也可以使用其他光照器，包括發射紫外和/或可見光的光照器。圖像傳感器78可以對由光照器76所發射的光以及可見光和可能存在于使用區域中的其他光是靈敏的。例如，當在外部使用設備10時，可能存在可見和非可見光譜中的環境光(例如來自太陽的可見和紫外光)，并且圖像傳感器78可以配置成檢測和區分(例如過濾出或者以其他方式補償)環境光的不同波長。柔性構件74可以包括電源(例如電池、太陽能電池等)以便以本領域普通技術人員將良好理解的方式向光照器76和圖像傳感器78提供功率。柔性構件74的上端可以包括連接到安裝于中心部段12上的電路板50的接觸元件80。柔性電路和電子器件的使用是公知的，并且本領域技術人員將領會到它們可以在本發明中使用的方式。
[0025]在本發明的一些實施例中，覆蓋物72可以由光學透明材料形成，使得來自光照器76的光可以基本上不受妨礙地穿過覆蓋物72。在一些實施例中，覆蓋物72可以成形為將由光照器76所發射的光傳送到適當位置。覆蓋物72的部分或區域可以例如成形為透鏡，其使來自一個或多個光照器76(或者甚至環境照明源)的光發散以光照包括用戶眼睛的較大區域。覆蓋物72的部分或區域還可以成形為使光會聚或聚焦在特定區域或位置上。覆蓋物72 可以從單件材料模塑而成，其中材料的區域像透鏡那樣成形或者以其他方式成形為如上文所述那樣傳送光。在其他實施例中，覆蓋物可以包括多個部分，其通過膠合、焊接、螺絲和/ 或其他常規緊固裝置而固設在一起，其中一些部分傳送光并且一些不傳送，或者其中不同部分以不同方式傳送光。在一些實施例中，柔性構件74和/或覆蓋物72可以是雙重模塑的并且包括濾波器，其防止光通過覆蓋物72從光照器76更直接地傳送到圖像傳感器78。光學窗口可以由覆蓋物72提供或者以其他方式提供在每一個圖像傳感器78處。
[0026]眼睛追蹤設備10可以從光照器76發射光，該光照器76光照用戶的至少一個眼睛的至少部分。一個或多個圖像傳感器78然后可以捕獲包括如由光照器76所光照的眼睛的至少部分的圖像。該捕獲圖像可以經由柔性構件74傳送到處理設備(例如控制單元22或其他處理器，也許處于與框架12分離的設備中)，其中可以通過分析圖像數據來確定用戶的凝視方向。
[0027]為了確定用戶的凝視方向，可以確定用戶的一個或兩個眼睛的角膜位置。用戶的 (一個或兩個)眼睛的角膜位置可以通過檢測從光照器76發射到用戶的(一個或兩個)眼睛上的光的反射或閃爍來分析。為了獲得示出用戶眼睛上的閃爍的高質量圖像，可以使用多個光照器76的各種組合來發射光。例如，一個光照器76可以使用紅外光進行光照，而另一個使用另一波長的光進行光照。圖像傳感器78然后可以在僅利用環境光來光照眼睛時、在通過每一個光照器76單獨地光照眼睛時、或者在通過兩個(或更多)光照器76同時光照眼睛時捕獲圖像。在這樣的實施例中，圖像傳感器78可以準備用戶眼睛的差分圖像。
[0028]閃爍的檢測可以利用圖像差分技術(即將第一圖像與第二圖像相比較以檢測改變)和/或標準圖像分析算法來完成。例如，通過接通和關斷光照器76并且在每一個狀態下捕獲用戶眼睛的圖像，可以經由圖像的比較檢測結果所得的閃爍。然而，在一些實施例中， 閃爍可以通過分析一個或多個圖像以標識對應于閃爍的強度的區域來檢測。一種閃爍檢測的方法在Yoshinobu Ebisawa于 1998年8月4 日公布的文章 “Improved Video-Based Eye-Gaze Detect1n Method”中概述，該文章據此出于所有目的通過引用并入本文，就像在本文中完整闡述的那樣。另外的閃爍檢測的方法在題為“Method and system for relevant feedback through gaze tracking and ticker interfaces” 的美國專利6，577，329和題為 “Method and apparatus for communicat1n between humans and devices” 的美國專利8,292,433中討論。前述專利的整個公開內容據此出于所有目的通過引用并入本文，就像在本文中完整闡述的那樣。本領域技術人員將意識到根據從用戶眼睛反射的光確定凝視方向的數種方式，并且本發明不限于上文記載的示例。
[0029]在本發明的一些實施例中，給定數目的紅外光照器76可以用于光照用戶的每一個眼睛。如所討論的，可以在其他實施例中使用其他數目和/或類型的光照器76。在這樣的實施例中，將預期到對應于每一個光照器76的一個或多個閃爍。因為還可以存在由諸如聚光燈或太陽光等之類的環境照明引起的其他閃爍，所以可以使用不同技術來標識哪些閃爍對應于光照器76并且哪些不對應。在一些實施例中，在光照器76未接通的情況下拍攝的用戶眼睛的圖像可以與在光照器76接通的情況下拍攝的圖像相比較，以過濾出由環境光所造成的閃爍。然而，在其他實施例中，可以使用閃爍的大小、形狀、預期強度和預期位置來確定哪些閃爍對應于哪些光照器。
[0030]在其他實施例中，可以與圖像傳感器78結合地使用波長濾波器以過濾出與由光照器76所發射的波長不對應的光波長。例如，在光照器76發射紅外光的情況下，可以使用僅使紅外光穿過至圖像傳感器78的濾波器。以此方式，圖像傳感器78可以僅檢測由光照器76所發射的光引起的閃爍。相反地，可以采用過濾由光照器76發射的紅外光而使環境光通過的濾波器。這樣的濾波器可以關于各種人造環境光源良好地工作。在一些實施例中，透鏡14還可以配置成阻擋環境紅外或某種其他波長的光。然而，在包括包含紅外和紫外二者的光譜的直射太陽光的情況下，濾波器可能不能夠充分地阻擋所有環境光并且僅使由光照器76所發射的光通過。因此，由環境光引起的閃爍可能不可與由光照器76在光照器點亮時所發射的光引起的閃爍區分。
[0031]用于可佩戴眼睛追蹤器設備10的用戶的環境光條件可以隨時間急劇改變。例如， 如果用戶面對太陽，則他或她的眼睛可能經受由太陽光的大量光照，而如果用戶背對太陽， 則他/她的眼睛可能明顯較少地受光照。類似地，如果用戶處于室內環境中，則光照可以基于各種光源的接近而顯著變化。例如，如果用戶站立在天花板燈的正下方，則他/她的面部和眼睛可能比他/她站立成鄰近天花板燈的情況明顯更多地受光照。此外，在一些實施例中，取決于光源的放置和類型，環境光水平可以在所追蹤的兩個眼睛之間不同。例如，用戶可能定位成使得他/她的左側處于直射太陽光中而他/她的右側處于陰影中。
[0032]如所討論的，可以可能的是通過使用內置式光照器76來補償環境光水平的一些改變。還可以可能的是通過使用環境照明設置中可用的光的光譜范圍之外的光來抵消環境光變化的影響。例如在室內設置中，可以使用紫外光照器76來以不存在或者以較低水平存在于室內照明中的紫外光對用戶眼睛進行光照。類似地，紅外光照器76可以使用在一些實施例上，假定紅外光典型地以低水平存在于室內設置中。在一些實施例中，可以使用能夠發射波長的范圍之上的光的光照器76。在這樣的實施例中，設備10可以編程為動態地分析環境光譜，并且將要由光照器76發射的波長選擇成高于或低于所檢測的光譜或者以其他方式限制到所檢測的光譜的某一部分，在該情況下，傳感器78還可以由設備10動態地調節。可替換地，可以提供與不同波長合調的不同類型的多于一個傳感器78。[〇〇33]在另一實施例中，可以采用具有高水中吸收水平的光波長，諸如940nm。該概念在歐洲專利申請號12192370.0中討論，其整個公開內容據此出于所有目的通過引用并入本文，就像在本文中完整闡述的那樣。在該波長處，眼睛的暗瞳效應可以處于其最大狀態，因為進入眼睛的大多數光將被吸收。附加地，該波長處的大氣中的環境光水平相對低。另外， 環境光可以通過以適當材料或配置提供眼鏡透鏡14來阻擋對于傳感器78可見的波長處的光而被尋址。在功能上，這改進信號質量，因為光被阻擋而不能穿過眼鏡透鏡14。
[0034]在一些實施例中，可以使用差分照明應用。例如，(多個)圖像傳感器78可以每秒捕獲60次用戶眼睛的圖像，并且光照器76可以配置成與(多個)傳感器78的曝光異相地每秒改變60次狀態(開/關)。在這樣的情況下，圖像數據的每一個其他幀表示如由光照器76光照的用戶眼睛，其中交替幀表示如由環境光所光照的用戶眼睛。當分析圖像數據時，可以采用圖像處理來確定兩個相鄰幀之間的差異，并且因此將由來自光照器76的反射所導致的閃爍與由來自環境光的反射所導致的閃爍區分。光照器76的強度或曝光時間可以在一些實施例中動態地調節，例如基于佩戴者周圍的環境光的水平。例如，當存在更多環境光時，可以應用較高水平的光照或者較長的曝光時間，或者如果來自環境光的閃爍由傳感器有利地使用， 則可以應用較少水平的光照或者較短的曝光時間。此外，可以成組控制光照器76以允許圖像傳感器78和圖像處理算法檢測并且補償來自環境光的噪聲。[〇〇35]環境光可以用于檢測所捕獲的圖像數據中的反差(contrast)以確定用戶瞳孔和/ 或虹膜的位置。該信息可以與基于與光照器76相關聯的閃爍的信息一起使用以確定用戶所看的方向。針對從光照器76所發射的光照的脈沖長度和強度以及圖像傳感器78的曝光時間的不同設置可以用于補償環境光的明亮度，并且可以特別地改進黑暗或明亮環境光條件下的性能。
[0036]例如，當存在高水平的環境光時，可以禁用光照器76并且用戶瞳孔的位置可以基于閃爍或者作為環境光的結果而檢測的其他圖像數據來進行三角測量。因而，可以分析圖像數據以僅使用環境光來確定角膜的位置。在一些情況下，光照器76可以用于幫助反差檢測，其中與由圖像傳感器78的圖像捕獲協調的光照的簡短閃光可以足以檢測用戶瞳孔的位置。具有較短曝光時間的短強光照脈沖的使用可以幫助避免諸如過度曝光、運動模糊和滾動快門效應之類的效應。例如，在購物研究情況下，移動眼睛追蹤器用戶可以快速地四處運動他/她的頭部而同時為了期望產品而掃描商店貨架。類似地，當在環境中存在太少環境光時，光照器76可以用于幫助產生光以使得有可能獲得眼睛的反差。光照器76因而可以配置成以較長曝光時間發射較低強度的較長脈沖和/或恒定地發射低強度光。在本發明的一個實施例中，所有光照器76可以同時激活使得所發射的光在角膜上的多個反射可以由傳感器 78捕獲。設備10然后可以使用所測量的瞳孔位置來確定凝視方向、方位數據、角膜位置和瞳孔大小中的一個或多個。
[0037]在一些實施例中，多個光照器76中的至少一個、多個圖像傳感器78中的至少一個或者控制單元22的算法的校準可以在受控制的照明條件下進行以確定瞳孔和/或角膜的位置。在又其他實施例中，虹膜的位置可以單獨基于環境光來追蹤;例如虹膜線可以被標識以確定眼睛的方位。僅依賴于環境光的各種模式可以基于數個條件而激活。例如，這樣的模式可以在電池功率低時激活以便通過禁用光照器76來節省功率。此外，模式可以在環境照明達到其中基于閃爍的追蹤的精度至少相當于另一可用模式的精度的水平時激活。本領域技術人員將領會到，可以使用數個不同配置來獲得圖像數據，并且本發明不限于以上所記載的示例。將在本文中進一步討論附加校準方法。
[0038]可以通過確保閃爍具有最佳大小來最大化便攜式眼睛追蹤器設備10的精度。太小的閃爍可能難以檢測并且因此減小精度。另一方面，太大的閃爍可能難以準確地放置并且因此可能類似地通過干擾瞳孔檢測或以其他方式減小性能。閃爍的大小可能受由光照器76 所發射的光的強度所影響。閃爍的大小可能進一步受圖像傳感器78的靈敏度設置、孔徑和/ 或曝光時間所影響。圖像傳感器78的(多個)設置可以調節成補償環境光，并且光照器76的強度繼而可以調節成獲得最佳閃爍大小。此外，光照器76的強度以及圖像傳感器78的設置可以平衡以獲得閃爍的最佳反差水平使得它們可以容易地檢測。本領域技術人員將領會至IJ，閃爍的大小、反差和其他特性可以以數個方式優化，并且本發明不限于以上所記載的示例。
[0039]針對每一個眼睛的光條件可以通過分析由圖像傳感器78所捕獲的圖像或者使用外部光傳感器或二者的組合來確定。該分析結果可以用于實時地控制針對每一個眼睛的眼睛追蹤器設置。在本發明的一些實施例中，可以通過嵌入在便攜式眼睛追蹤器設備10中的光傳感器來確定相關光水平。在其他實施例中，光水平可以使用一個或多個場景攝像機18 來確定。通過基于針對每一個眼睛的當前光條件實時地單獨控制光照器，眼睛追蹤器設備 10的總體性能可以相比于其中設置僅基于一個眼睛或者兩個眼睛的平均的情況而改進。
[0040]在由圖像傳感器78捕獲的圖像數據中已經標識對應于光照器76的閃爍之后，使用已知的圖像處理技術來確定這樣的閃爍相對于用戶眼睛的位置。一旦確定閃爍位置，就可以分析它們以確定用戶角膜的位置。在一些實施例中，閃爍的位置可以映射到人類眼睛的三維模型上。例如，閃爍可以映射到角膜上。在一些實施例中，角膜可以假定為完美球體;閃爍的位置可以用于確定角膜相對于瞳孔的位置。角膜相對于瞳孔的該位置可以繼而用于確定凝視方向以及由此眼睛的光軸。基于閃爍確定凝視方向的各種裝置在現有技術中是已知的，并且本領域技術人員將領會到，本發明不限于以上所記載的示例。
[0041]在本發明的一些實施例中，提供多于一個圖像傳感器78以用于捕獲每一個眼睛的圖像。在兩個圖像傳感器78被用于每一個眼睛的情況下，這可以被稱為“立體模式”。通過從多個視點捕獲眼睛的圖像，可以通過諸如控制單元22或其他處理器之類的處理器來確定附加信息，諸如眼睛離每一個圖像傳感器78的距離。另外，通過操作多于一個圖像傳感器78而在系統中存在冗余水平，由此即便在一個或多個圖像傳感器78停止作用的情況下，它仍可以起作用。
[0042]任何數目的圖像傳感器和/或其配置可以與多個光照器76組合以在各種配置中操作來優化系統的可靠性。例如，設備10可以配置成嘗試光照器76的各種配置(例如循環通過各種光照圖案和/或順序)以確定光照器76的哪個配置創建每一個圖像傳感器78處的最佳圖像。光照器76然后可以配置成以使得每一個圖像傳感器78在最佳光照中拍攝圖片的頻率改變狀態(開/關)。例如，如果針對每一個眼睛存在三個圖像傳感器78，并且每一個圖像傳感器78每秒捕獲30個圖像，則光照器76可以配置成每秒改變90次狀態使得每一個圖像傳感器78可以在專用光照設置中捕獲圖像。這可以進一步用于提供用于凝視數據的增大的幀速率。另外，針對眼睛使用多于一個圖像傳感器78減少設備10與用戶之間的校準的必要性， 即，可以有可能的是在一些實例中在沒有用戶校準的情況下操作設備10,這是由于通過具有多于一個圖像傳感器78所搜集的額外數據的緣故。[〇〇43]多于一個圖像傳感器78還可以慮及補償設備10的物理運動。例如，當配置為一對透鏡時，設備10可以滑下用戶的鼻子，并且用戶繼而可以將它向上推回。在用戶頭部的快速運動之后，或者出于任何其他原因，設備10也可以相對于用戶頭部運動。設備10相對于用戶頭部的該類型的運動可能減少或消除從現有校準所得到的任何精度。使用多個圖像傳感器 78可以在不需要重新校準的情況下改進精度。例如，當兩個圖像傳感器78被用于每一個眼睛時，從兩個視角檢測每一個閃爍并且有可能以較大精度估計角膜的位置，甚至在其中設備10在任何初始校準之后已經相對于用戶頭部運動的情況下。
[0044]在本發明的一些實施例中，設備10還包括一個或多個運動傳感器或定位設備25。 運動傳感器或位置設備25可以包括以下中的一個或多個:陀螺儀;加速度計;羅盤、GPS或其他衛星接收器;GLONASS羅盤;或者任何其他位置、定位或方向傳感器。運動傳感器或定位設備25可以使得能夠追蹤設備10本身的位置和/或方位以及繼而追蹤用戶頭部的位置或定位。這可以允許設備10計及頭部運動并且基于關于頭部運動的信息來調節凝視方向數據以提供對凝視方向的更好估計。基于用戶眼睛的方位所確定的凝視方向可以是相對于用戶頭部的方位。關于基于用戶眼睛的凝視方向的信息可以因此擴增有關于用戶頭部的方位的信息。對于短暫時刻而言，該擴增可以使用加速度計或陀螺儀執行。然而，這些設備的不準確性可能引起漂移，如果它們用于隨時間確定方位的話。在一些實施例中，關于基于用戶眼睛的凝視方向的信息和/或關于用戶頭部的方位的信息可以使用來自羅盤的信息進一步擴增，所述羅盤提供相對于絕對參考點的方位信息。另外，當進行凝視數據的固定濾波時，關于設備方位的改變的信息可能是有幫助的。假定周圍的對象保持相對靜止，則確定佩戴設備的用戶固定在靜止對象處而同時運動其頭部可能容易得多，如果設備方位數據可用的話。
[0045]在其他實施例中，運動傳感器或定位設備25可以嵌入在與設備10或設備10的任何部分連接的裝置中。例如，運動傳感器或定位設備25可以與設備10或設備10的任何部分無線連接或者利用線纜連接。在一些實施例中，這樣的運動傳感器或定位設備25可以攜帶在由用戶所佩戴的背包中，或者以其他方式由用戶攜帶。當運動傳感器或定位設備25嵌入在設備10中時，其可能能夠提供關于用戶的凝視位置的更準確信息。數個不同的系統可以提供或計及所要求的延遲和精度。特別地，陀螺儀和羅盤可以提供更準確的信息，如果嵌入在設備10本身中的話。
[0046]此外，來自運動傳感器或定位設備25的信息可以用于穩定來自(多個)場景攝像機 18的圖像數據。例如，場景攝像機18可以捕獲接近由用戶所看到的視野的圖像數據。來自運動傳感器或定位設備25的信息可以用于穩定該圖像數據。關于用戶的凝視的信息可以進一步用于裁剪或以其他方式調節該圖像數據以更準確地表示用戶的凝視方向。圖像穩定或補償可以包括視頻數據的線位移(line-shifting)。存在涉及使用陀螺儀或加速度計的數個公知的圖像穩定方法，并且本領域技術人員將領會到，這些方法可以如何與本發明的實施例組合。此外，基于時間的補償可以應用于圖像數據以計及場景攝像機18中所固有的圖像捕獲延遲。特別地，由視頻攝像機、滾動快門攝像機以及CCD類型攝像機所捕獲的圖像可能由于圖像捕獲延遲而未示出針對獲得凝視點時的正確視野。時間補償可以取決于場景攝像機18的類型和/或凝視點定位在圖像中何處而不同。[〇〇47]圖像處理和穩定在一些實施例中可以在捕獲數據時實時地在設備10上或外部設備上執行。在其他實施例中，圖像數據可以僅存儲在設備10上或者傳輸給外部設備(未示出)，并且圖像穩定或其他處理可以基于所捕獲的數據而隨后執行。所采取的方法可以取決于設備10中可用的處理能力，以及從機載或以其他方式連接的(多個)電源可用的能量。特別地，某些類型的處理可能要求大量計算能力，其繼而消耗很多電池容量。在一些實施例中，設備10可以是可配置的以優化電池容量或者針對實時處理進行優化。
[0048]此外，可以分析來自場景攝像機18的所捕獲的圖像或視頻中的元素以確定用戶頭部的方位以及用戶頭部的運動速度。通過分析接連圖像或視頻中的元素的相對位置，可以做出對凝視方向的計算的調節以補償運動。在另外的實施例中，圖像傳感器78和/或場景攝像機18可以利用滾動快門來進一步改進確定用戶頭部的方位的精度的精度。通過與圖像傳感器78和場景攝像機18的行的讀出信息組合地確定用戶頭部的方位和運動，所確定的凝視方向可以以使得凝視方向可以被校正成反映在計算凝視方向時存在于用戶視場中的實際場景的這樣的方式重疊在由場景攝像機18所捕獲的圖像上。
[0049]例如，設備10可以利用從傳感器78導出的凝視數據來校準來自場景攝像機18的所捕獲數據以便更正確地反映在與來自場景攝像機18的所捕獲數據有關的特定時間用戶看向何處以及何時看向。在本發明的實施例中，該方法可以在以下情況下采用:由場景攝像機 18捕獲的圖像數據已經由于例如滾動快門失真或振動而失真。另外的實施例包括考慮設備的瞬時運動數據并且相應地通過利用運動傳感器和/或其他傳感器進行校準。
[0050]可以分析來自場景攝像機18的視頻以標識用戶視場中的對象。通過標識對象以及對象離用戶的距離，可以確定關于凝視方向和目標的更準確信息。可以使用計算機視覺算法來從圖像數據檢測對象。在一些實施例中，多個場景攝像機18可以用于提供立體視覺以及更準確的計算機視覺算法。如同圖像穩定和其他處理那樣，對象標識可以取決于設備10 上可用的計算能力和功率容量而實時地或者作為后處理完成。可替換地或者附加地，場景攝像機18可以是測量到佩戴設備10的人的視場內的對象的距離的深度攝像機。深度攝像機還可以確定對象的強度水平，因而也提供灰度等級圖像。
[0051]此外，圖像分析可以用于基于在用戶的視場內所檢測的對象的標識來確定用戶的位置。換言之，用戶的視場內的對象(例如已知為與給定地點或地點類型相關聯的地標或對象)可以揭示用戶的位置。例如，對象或其他標記(諸如標志、產品類型、定價標簽產品等等) 可以指示用戶存在于特定零售商店或者至少某一類型零售商店內。作為另一示例，場景攝像機18或連接到設備10的另一掃描設備可以配置成掃描出現在用戶的視場內的條形碼，其可以揭示用戶存在于零售商店或者其他已知位置或已知類型的位置內。這樣的位置信息可以與來自位置傳感器和運動傳感器的信息復合，以確定用戶到達他/她的存在位置所采取的路徑和/或在該位置周圍導航。在用戶處于電視或顯示器(例如顯示計算機游戲)附近的情況下，游戲可能能夠處理由設備10提供的眼睛追蹤輸入;可以使用圖像分析來確定相對于電視或顯示器的用戶凝視的方向。
[0052]此外，來自場景攝像機18的圖像的圖像分析可以用于同時定位和映射(SLAM)。 SLAM是構建位置地圖而同時在該地圖內映射設備的位置的過程。SLAM由機器人及類似器械頻繁使用并且可以包括用于捕獲機器人的環境的圖像以用于映射的圖像傳感器。根據本發明的實施例的設備也可以與SLAM—起使用。
[0053]在運動傳感器被用于檢測運動的情況下，當在較長的時間段內依賴于它們時，可能存在數據內的顯著漂移。來自這些運動傳感器的信息因此可以通過基于從(多個)場景攝像機18所檢測的對象而確定的位置信息來校正。使用(多個)場景攝像機18所檢測的對象可以包括特性結構或對象以及條形碼。在其他實施例中，經由麥克風20所檢測的聲音信息可以用于確定位置。例如，超聲發射器可以放置在遍及特定位置(諸如零售商店)的各點處，并且麥克風20可以用于確定最靠近的發射器。可替換地，超聲源可以安裝在設備10上并且麥克風被用于確定在超聲源的方向上到最靠近的對象的距離。另外或者可替換地，麥克風20 可以被用于檢測其他環境聲音，并且這樣的信息可以至少部分地用于確定其中存在用戶的位置或位置類型。在一些實施例中，RFID標簽讀取器可以包括在設備10中使得RFID標簽可以被用于確定用戶的位置。作為附加示例，W1-Fi信號和/或其他通信信號可以通過適當的收發器和設備10上所機載的邏輯來接收并進行三角測量，以確定用戶的位置。本領域技術人員將領會到，本發明不限于上文所記載的示例并且可以使用數個位置標識裝置來聚合或確定關于佩戴者的位置信息。
[0054]在一些實施例中，一個或多個附加的設備可以嵌入在設備10中或者與設備10耦合。例如，場景攝像機18可以被用于記錄用戶可能在其中運動和/或觀看的區域中的圖像。 陀螺儀可以被用于羅盤類特征以標識設備10指向哪個方向以及因而用戶看向哪個方向。設備中的圖像傳感器78然后可以基于頭部所指向的地方的方向來標識用戶的凝視點的角度和距離。來自這些多個傳感器的信息組合起來可以用于計算表示佩戴者的凝視的向量。該向量可以變換和可視化在場景攝像機18的視野中。向量可以在一些實施例中用于基于關于用戶的凝視聚焦在哪里的信息而提供熱圖。提供在設備10上的顯示器30可以允許用戶觀看由設備10所提供的該視覺數據或其他視覺數據。僅僅作為示例，這樣的顯示器30可以包括 LCD屏幕、LED屏幕、棱鏡投影儀和/或其他顯示技術。
[0055]在本發明的一些實施例中，凝視向量可以用于模擬沿著凝視方向從用戶的視點的視角。如上所述，凝視向量可以用于穩定來自附接到設備10的場景攝像機18的圖像。然而， 場景攝像機18可能不捕獲充分質量的視頻或者具有以充分質量傳送視頻的能力。凝視向量因此可以連同來自其他攝像機(諸如靜止或追蹤攝像機)的視頻數據一起用于準備仿效從場景攝像機18的視野的合成視野。類似地，針對一個或多個用戶的凝視向量可以顯示在概觀視角中。本發明的該應用可以尤其與體育賽事有關。例如在足球比賽中，單獨球員的凝視向量可以連同一些或所有其他球員的凝視向量一起顯示。此外，可以針對具有球的球員顯示場景攝像機視野或所近似的場景攝像機視野的畫中畫。類似的應用可以用在大型協調警察行動中。本領域技術人員將領會到，本發明不限于以上記載的示例，并且在不同賽事的情況下以及在其他情形下的應用可以是有用的。
[0056]凝視向量還可以用于以數個方式優化來自一個或多個場景攝像機18的視頻數據。 在本發明的一個實施例中，凝視向量可以用于確定針對場景攝像機18的聚焦和光設置。例如，場景攝像機18可以聚焦在凝視向量的目標上。此外，場景攝像機18的照明水平可以針對所確定的凝視方向的目標區域而優化。在其中計算機視覺用于檢測由場景攝像機18捕獲的對象的本發明的實施例中，關于對象離用戶的距離的信息可以被確定并且用于進一步改進場景攝像機18的曝光或照明設置。在一些實施例中，凝視目標區域可以在表示用戶的視場的至少部分的圖像的圖像數據內確定。在這些實施例中的一些中，他凝視目標區域可以包括來自場景攝像機的圖像中的圖像數據的少于5%、少于10%、少于15%、少于20%、少于25%、少于30%、少于35%、少于40%、少于45%或者少于50%。控制單元22然后可以控制場景攝像機以基于凝視目標區域和/或在凝視目標區域內調節聚焦或光敏度中的至少一個。
[0057]然而，在其他實施例中，場景攝像機18的調節可能不是必要的。例如，當用戶在明亮日光下駕駛車輛時，場景攝像機18可以捕獲車輛的儀表盤和通過擋風玻璃的視野。通過擋風玻璃所看到的對象可以以比儀表盤高得多的水平受光照，并且自然地遙遠得多。使用標準自動聚焦和光檢測，場景攝像機18可以基于所檢測的圖像中的平均明亮度來調節并且聚焦到攝像機視野的中心中的對象。然而，當使用凝視向量時，圖像可以在用戶看向儀表盤時聚焦在儀表盤上，并且在用戶看向道路時聚焦在道路上。類似地，所捕獲的視頻的照明水平可以在用戶看向儀表盤時調節成針對儀表盤是適當的并且在用戶看向道路時調節成針對道路是適當的。
[0058]在一些實施例中，凝視數據可以用于優先化圖像的區域以得到更多細節。基于所使用的視頻壓縮，可以給予由凝視作為目標的圖像的區域優先權。在其他實施例中，視頻流可以劃分成兩個或更多饋送。一個低質量的饋送可以包括場景攝像機的整個視場，而高質量的饋送可以包括凝視向量的目標周圍的小的區域。在另一實施例中，可以使用視頻饋送的矩陣，并且其比特率可以基于凝視向量的位置而動態地適配。本領域技術人員將領會到， 視頻質量可以以數個不同方式來調節，并且本發明不限于以上記載的示例。
[0059]在另外的實施例中，設備10可以包括用于向用戶發射聲音的揚聲器。揚聲器可以放置在設備10上靠近用戶的耳朵。
[0060]在其中處理器用于檢測由場景攝像機18所捕獲的圖像中的對象的實施例中，凝視向量可以用于僅選擇凝視目標周圍的圖像數據的子集來處理并且因而減少處理工作量以改進反饋時間、電池時間等。
[0061]本發明的實施例可以采用動作觸發，其使得動作由設備10、其某一子組件、或者諸如計算機、平板電腦、電視和/或游戲機之類的所連接的系統來執行。根據一些實施例，動作觸發可以由設備10以許多可能的方式制定，包括:?由傳感器78捕獲并且由設備10或所連接的系統處理的圖像，從而導致以預確定的圖案檢測存在眼睛、不存在眼睛、眨眼、注視、掃視、用戶的凝視方向或者用戶的凝視運動。?由場景攝像機18捕獲并且由設備10或所連接的系統處理的圖像，從而導致使用計算機視覺算法檢測光、(多個)所標識的對象、(多個)所標識的模式和(多個)所標識的手勢的改變。?基于開關或按鈕的觸發。例如，設備10或另一設備上的物理按鈕。?基于音頻的觸發。例如，由用戶說出并且由麥克風20檢測的聲音、詞語或命令。 ?加速度計或陀螺儀檢測的動作觸發，諸如點頭或其他頭部運動。?以上描述的動作的組合。
[0062]本發明的實施例包括校準技術，由此外部對象可以用于促進設備10的校準過程。 僅僅以示例的方式，光照器76、圖像傳感器78和/或控制單元22的算法可以在這樣的校準期間調節。在一些實施例中，諸如打印介質、電視或其他顯示器之類的外部設備可以包含可由設備10容易標識的特征。在一些實施例中，特征可以是特定幀、QR代碼、不可見特征(即紅外特征)和/或其他可見特征。特征可以包含標識代碼，其在由設備10識別時允許設備10通過諸如因特網、藍牙、w1-fi或其他通信協議之類的通信協議而連接到外部設備。外部設備然后可以進入校準模式，由此用于校準的圖標顯示在屏幕上并且通過揚聲器發射或示出校準指令。具體校準過程是公知的，但是典型地包括在屏幕上有序顯示圖標，用戶然后凝視其， 并且設備10確定相對于每一個所顯示的圖標的凝視方向。
[0063]通過具體示例的方式，一些實施例可以執行校準方法，由此當設備10由用戶佩戴并且圖案放置在用戶前方使得圖案處于場景攝像機18的視場內時。場景攝像機18記錄圖案的圖像，而圖像傳感器78捕獲用戶的(多個)眼睛的圖像。處理設備分析圖案并且確定圖案的已知分量。處理設備利用由圖像傳感器78所捕獲的圖像來分析用戶的凝視方向并且將凝視方向針對圖案的已知分量進行匹配。因為分量已知，所以處理設備可以確定分量位置與所確定的用戶凝視方向之間的偏差。通過知曉該偏差，設備針對特定用戶校準并且可以在確定用戶相對于其他對象的凝視方向時考慮該偏差。
[0064]另外，設備10可以在算法或數學模型中利用從分析用戶的凝視方向與模式或類似物的已知分量之間的關系所獲得的信息。以示例的方式，設備10可以設定用于確定凝視方向的算法或眼睛模型中所使用的參數的值，如本領域技術人員將容易理解的。
[0065]在一些實施例中，當設備10用在諸如超市之類的零售或消費者購買環境的上下文中時，可以提供附加功能性。設備可以預加載諸如個人校準數據之類的信息以匹配用戶的簡檔。一旦設備10由用戶佩戴，則其可以從低功率模式改變到正常功率模式并且進入操作模式。設備10可以允許用戶通過添加和移除來自虛擬購物車的物品而交互地管理其購物賬單。例如，當用戶將物品放置到其購物車中時，他們可以看物品上的條形碼并且利用其手指從右向左滑動條形碼以指示物品應當被添加到列表。設備10可以識別手勢并且將物品添加到設備10上或者與設備10通信的遠程位置處的虛擬列表。該虛擬列表可以由用戶例如通過如下操作控制:通過從左向右跨條形碼滑動來移除物品、從頂向底滑動以獲得關于物品的另外信息、以及凝視購物車并觸碰預確定的位置以聽到關于列表的反饋或其他信息。在從商店結賬時，虛擬列表可以由收銀員或自動機器檢索并且用戶可以直接針對購物車中的物品進行支付。在另外的實施例中，用戶可以直接離開商店并且在離開商店時，列表的價值可以從諸如信用卡或賬戶之類的貨幣源扣除。
[0066]在另一實施例中，設備10可以對包括由用戶所讀取的文本的圖像數據執行光學字符識別(OCR)。例如，場景攝像機18可以記錄如由用戶的凝視方向確定的用戶所讀取的文本的圖像。設備10或與設備10通信的計算設備可以對文本的圖像執行OCR以確定包括文本的詞語。OCR技術在本領域中是良好理解且已知的。一旦已經使用OCR技術分析文本，其就可以被發送給文本向言語功能性，其大聲讀出文本、將其翻譯成實時呈現給用戶的結果、和/或作為計算設備可以容易操控和理解的文本數據或字符串而保存。文本可以被保存以供用戶檢索，或者由計算設備或服務利用以理解用戶的習慣。例如，文本可以指示用戶特別期望的產品或服務。在實施例中，文本數據可以用于定制要顯示給用戶的廣告等。[〇〇67]在本發明的實施例中，設備10可以考慮諸如條形碼或標準對象的大小之類的已知信息。例如，商店中的產品可以包括數個條形碼，一個較大的條形碼包含產品標識符或SKU， 并且一個較小的條形碼包含該盒中的特定物品的序列號。設備10可以配置成引導圖像傳感器78以僅在準備購物列表時讀取較大的碼。這可以基于凝視聚焦距離以得到更好的精度。 另外，諸如對象識別庫之類的許多軟件解決方案要求標準大小的視頻。因而，設備10可以捕獲僅具有所要求的大小的圖像或視頻，或者對所捕獲的圖像或視頻進行剪裁使得它們符合所要求的大小。
[0068]圖5示出用于使用如本文所描述的可佩戴框架確定用戶的凝視方向的本發明的一個可能方法500的框圖。在框510處，如上文所討論的，設備10可以在初始使用之前校準。在框520處，諸如來自運動傳感器或定位設備25之類的信息的非圖像信息可以由控制單元22 獲得。如本文所描述的，也可以接收其他類型的非圖像信息(例如來自麥克風20的信息)。在框530處，來自場景攝像機18的圖像信息可以由控制單元22接收。[〇〇69]在框540處，控制單元22可以根據在步驟510處的校準期間所建立的設置來激活光照器76。在框550處，圖像數據可以由控制單元22從圖像傳感器78接收。在框560處，控制單元22可以從其已經接收的信息確定是否是否可以如上文所述那樣確定凝視方向。如果否， 則在框570處，光照器76、圖像傳感器78和/或設備10的其他組件可以如本文所述的那樣調節，并且然后方法500返回到框520。在一些實施例中，方法500可以返回到另一步驟，諸如框 530或框540,如果不能確定凝視方向的話。如果控制單元22可以從其已經接收的信息確定凝視方向，則在框580處確定凝視方向。方法500可以以規律或非規律間隔重復以在需要的情況下重新確定凝視方向。
[0070]圖6是圖示了其中可以實現本發明的實施例的示例性計算機系統600的框圖。該示例圖示了計算機系統600,諸如可以整體地、部分地或者以各種修改使用，以提供和/或控制控制單元22、光照器76、圖像傳感器78和/或本發明的其他組件的功能，諸如以上所討論的那些。例如，控制單元22的各種功能可以由計算機系統600控制，僅僅以示例的方式包括控制光照器76、從圖像傳感器78接收圖像、處理來自圖像傳感器78的數據等。[〇〇71]示出了包括可以經由總線690電耦合的硬件元件的計算機系統600。硬件元件可以包括一個或多個中央處理單兀610、一個或多個輸入設備620(例如鼠標、鍵盤等)、以及一個或多個輸出設備630(例如顯示設備、打印機等)。計算機系統600還可以包括一個或多個存儲設備640。以示例的方式，(多個)存儲設備640可以是盤驅動器、光學存儲設備、固態存儲設備，諸如隨機存取存儲器(“RAM”)和/或只讀存儲器(“ROM”)，其可以是可編程的、閃速可更新的等等。[〇〇72]計算機系統600可以附加地包括計算機可讀存儲介質讀取器650、通信系統660(例如調制解調器、網絡卡(無線或有線)、紅外通信設備、Bluetooth?設備、蜂窩通信設備等)、 以及工作存儲器680,其可以包括如上文所描述的RAM和ROM。在一些實施例中，計算機系統 600還可以包括處理加速單元670,其可以包括數字信號處理器、專用處理器等。[〇〇73]計算機可讀存儲介質讀取器650還可以連接到計算機可讀存儲介質，從而一起(并且可選地，與(多個)存儲設備640組合)廣泛地表示遠程、本地、固定和/或可移除的存儲設備加上存儲介質以用于臨時和/或更持久地包含計算機可讀信息。通信系統660可以準許與網絡、系統、計算機和/或以上所述的其他組件交換數據。[〇〇74]計算機系統600還可以包括軟件元件，其被示出為當前位于工作存儲器680內，包括操作系統684和/或其他代碼688。應當領會到，計算機系統600的可替換實施例可以具有從以上所述那些的眾多變型。例如，還可以使用定制的硬件和/或可以以硬件、軟件(包括便攜式軟件，諸如小應用程序)或這二者實現特定元件。此外，到諸如網絡輸入/輸出和數據獲取設備之類的其他計算設備的連接也可以發生。
[0075]計算機系統600的軟件可以包括用于實現如本文所述的架構的各種元件的任何或所有功能的代碼688。例如，存儲在諸如系統600之類的計算機系統上和/或由其執行的軟件可以提供控制單元22、光照器76、圖像傳感器78和/或本發明的其他組件(諸如以上所討論的那些)的功能。已經在上文討論了可由軟件在這些組件中的一些上實現的方法。[〇〇76]現在已經出于清楚和理解的目的而詳細描述了本發明。然而，將領會到，某些改變和修改可以在隨附權利要求的范圍內實施。
【主權項】
1.一種便攜式眼睛追蹤器設備，包括:適于由用戶佩戴的框架；至少一個光學器件保持構件，其中光學器件保持構件包括:至少一個光照器，其配置成選擇性地光照用戶的至少一個眼睛的至少部分；以及 至少一個圖像傳感器，其配置成捕獲表示用戶的至少一個眼睛的至少部分的圖像的圖 像數據；運動傳感器，其配置成檢測框架的運動；以及 控制單元，其配置成:控制至少一個光照器以用于選擇性光照用戶的至少一個眼睛的至少部分；從圖像傳感器接收圖像數據；以及 從運動傳感器接收信息。2.權利要求1的便攜式眼睛追蹤器設備，其中控制單元還配置成:至少部分地基于圖像數據來確定用戶的凝視目標區域。3.權利要求1的便攜式眼睛追蹤器設備，其中運動傳感器包括:陀螺儀。4.權利要求1的便攜式眼睛追蹤器設備，其中控制單元還配置成:至少部分地基于從運動傳感器所接收的信息和圖像數據來確定用戶的凝視目標區域。5.權利要求1的便攜式眼睛追蹤器設備，還包括:場景攝像機，其背對用戶并且配置成捕獲表示用戶的視野的至少部分的圖像的圖像數據。6.權利要求5的便攜式眼睛追蹤器設備，其中控制單元還配置成:確定表示至少部分用戶的視場的圖像的圖像數據內的凝視目標區域，其中凝視目標區 域包括來自場景攝像機的圖像中的圖像數據的少于百分之十；以及控制場景攝像機基于凝視目標區域調節聚焦或光敏度中的至少一個。7.權利要求6的便攜式眼睛追蹤器設備，其中:所有的光照器發射相同波長的光。8.權利要求1的便攜式眼睛追蹤器設備，其中控制單元還配置成:控制至少一個光照器的第一子集來選擇性地光照用戶的至少一個眼睛的至少部分； 從第一子集的至少一個圖像傳感器接收圖像數據的第一集合，其中圖像數據的第一集 合表示當用戶的至少一個眼睛暴露于來自至少一個光照器的第一子集的光時所捕獲的用 戶的至少一個眼睛的至少部分的圖像；確定凝視目標區域不能基于圖像數據的第一集合而確定；控制至少一個光照器的第二子集來選擇性地光照用戶的至少一個眼睛的至少部分； 從第二子集的至少一個圖像傳感器接收圖像數據的第二集合，其中圖像數據的第二集 合表示當用戶的至少一個眼睛暴露于來自至少一個光照器的第二子集的光時所捕獲的用 戶的至少一個眼睛的至少部分的圖像；以及至少部分地基于圖像數據的第二集合來確定用戶的凝視目標區域。9.權利要求1的便攜式眼睛追蹤器設備，其中:便攜式眼睛追蹤器設備還包括配置成確定便攜式眼睛追蹤器設備的位置的定位設備；以及控制單元還配置成至少部分地基于從定位設備所接收的信息和圖像數據來確定用戶 的凝視目標區域。10.權利要求1的便攜式眼睛追蹤器設備，其中控制單元還配置成:從至少一個圖像傳感器接收圖像數據；從圖像數據確定環境光的水平；至少部分地基于環境光的水平來調節至少一個光照器的明亮度或曝光時間。11.權利要求1的便攜式眼睛追蹤器設備，還包括:可由用戶觀看的顯示器。12.權利要求1的便攜式眼睛追蹤器設備，其中控制單元還配置成:從至少一個圖像傳感器接收表示包括用戶的眼睛之外的區域的圖像的圖像數據。13.—種確定用戶的凝視方向的方法，包括:激活由用戶所佩戴的框架上的至少一個光照器以選擇性地光照用戶的至少一個眼睛 的至少部分；從框架上的至少一個圖像傳感器接收表示用戶的至少一個眼睛的至少部分的圖像的 圖像數據；從配置成檢測框架的運動的運動傳感器接收信息；以及至少部分地基于來自運動傳感器的信息和圖像數據來確定用戶的凝視目標區域。14.權利要求13的方法，其中運動傳感器包括:陀螺儀。15.權利要求13的方法，還包括:接收表示用戶的視野的至少部分的圖像的由場景攝像機所捕獲的圖像。16.權利要求15的方法，還包括:確定表示至少部分用戶的視場的圖像的圖像數據內的凝視目標區域，其中凝視目標區 域包括來自場景攝像機的圖像中的圖像數據的少于百分之十；以及控制場景攝像機基于凝視目標區域調節聚焦或光敏度中的至少一個。17.—種在其上具有指令以用于確定用戶的凝視方向的非暫時性機器可讀介質，所述 指令可由處理器執行以用于至少:激活由用戶所佩戴的框架上的至少一個光照器以選擇性地光照用戶的至少一個眼睛 的至少部分；從框架上的至少一個圖像傳感器接收表示用戶的至少一個眼睛的至少部分的圖像的 圖像數據；從配置成檢測框架的運動的運動傳感器接收信息；以及至少部分地基于來自運動傳感器的信息和圖像數據來確定用戶的凝視目標區域。18.權利要求17的非暫時性機器可讀介質，其中運動傳感器包括:陀螺儀。19.權利要求17的非暫時性機器可讀介質，其中所述指令還可執行以用于至少:接收表示用戶的視野的至少部分的圖像的由場景攝像機所捕獲的圖像。20.權利要求19的非暫時性機器可讀介質，其中所述指令還可執行以用于至少:確定表示至少部分用戶的視場的圖像的圖像數據內的凝視目標區域，其中凝視目標區 域包括來自場景攝像機的圖像中的圖像數據的少于百分之十；以及控制場景攝像機基于凝視目標區域調節聚焦或光敏度中的至少一個。
【文檔編號】A61B3/113GK105960193SQ201480060817
【公開日】2016年9月21日
【申請日】2014年5月19日
【發明人】J.安德森, S.古斯塔夫森, E.恩格瓦爾, R.海恩斯爾, A.克勞森, J.諾爾登
【申請人】托比股份公司