提高視線跟蹤系統準確度的補償方法與裝置制造方法
【專利摘要】本發明針對目前視線跟蹤系統中存在的以上影響系統精確度的問題，公開了一些補償性方法的關鍵性設計，特別是根據利用環境亮度的外部自適應設計和根據獲得眼部圖片質量的內部自適應設計，從多種途徑反饋改變外加光源的亮度進行補償和實時測量用戶瞳孔半徑和與屏幕間的距離，利用線性插值進行注視點補償。改善了獲得圖片質量，提高了系統魯棒性。
【專利說明】提高視線跟蹤系統準確度的補償方法與裝置
一、【技術領域】
[0001]本發明屬于視線跟蹤【技術領域】，具體涉及一種使用補償方法以提高視線跟蹤系統準確度的方法與裝置。
二、【背景技術】
[0002]眼睛是人類從外界獲取信息的重要器官，也是反映人的心理活動的窗口。科學研究表明，大腦中約有80%?90%的知識和記憶都是通過眼睛獲取的。作為人類心靈的窗戶，眼睛的運動測量和視線跟蹤正受到國內外有關學者越來越多所關注與研究，已成為模式識別和計算機視覺領域中研究十分活躍的課題。
[0003]在人眼檢測過程中，一個重要的環節是利用攝像頭獲取的眼睛圖像，從而計算得出眼睛圖像中的瞳孔中心位置。為了更精確的檢測瞳孔中心，改善圖像傳感器的成像質量，往往會采用外加的主動光源作為補光源，利用產生的明瞳或者暗瞳效應，增大圖像中瞳孔與虹膜的顏色對比度。通過標定過程，將圖像處理后獲得的瞳孔中心點與屏幕上的對應特征點進行映射，得到映射關系，以計算用戶的實時注視點位置。
[0004]然而在現有的視線跟蹤系統中，還存在一些問題，導致了現有系統精確性的不足。
[0005](1)現有系統所使用的外加光源亮度往往是光強不可變的。當用戶需要在不同的時間或者場所使用視線跟蹤系統時，由于外界環境光照情況不可能一樣，常常會出現獲得的眼部圖像過亮或是過暗的情況，為后續的圖像處理帶來了很大的難度和額外計算量。而若采用每次使用前實時調整光強的方法，又過于繁瑣。
[0006](2)由于外界光源和外加主動光源的影響，不同環境不同時間進行的實驗中，用戶的瞳孔大小會發生變化，若不考慮該變化，會影響到系統的精確度。
[0007](3)現有的視線跟蹤系統在標定過程及視線跟蹤過程中，對頭部靜止性的要求較高。用戶的頭部運動，尤其是前后運動，會很大程度上影響到實驗結果，造成錯誤的注視點計算。
[0008]本發明針對目前視線跟蹤系統中存在的以上影響系統精確度的問題，公開了一些補償性方法的關鍵性設計，特別是根據利用環境亮度的外部自適應設計和根據獲得眼部圖片質量的內部自適應設計，從多種途徑反饋改變外加光源的亮度進行補償和實時測量用戶瞳孔半徑和與屏幕間的距離，利用線性插值進行注視點補償。改善了獲得圖片質量，提高了系統魯棒性。
三、
【發明內容】
[0009]本發明的目的是針對上述現有視線跟蹤系統存在的準確度問題，提出了一種有效的自適應補償方法與裝置，重點解決了在不同環境亮度下，得到眼部圖像的質量差異不可預測的問題以及用戶不同瞳孔半徑和頭部位置造成的注視點誤差問題。大大提高了視線跟蹤系統的魯棒性和準確性，對所獲取眼部圖像的質量也有明顯改善作用。
[0010]本發明的技術方案是:圍繞影響視線跟蹤系統準確度的幾個主要因素，采用反饋和補償的方法提高系統準確性，主要分為三個方面:1)利用外界環境光強檢測及獲取眼部圖像質量檢測控制外加主動光源的強度。2)利用實時測量用戶瞳孔大小，對注視點結果進行補償。3)利用實時測量用戶頭部與屏幕的距離，對注視點結果進行補償。本發明公開了視線跟蹤系統中以上幾種有效的自適應補償方法與裝置，可以提高系統魯棒性和眼部圖像的成像質量。
[0011]圖1給出了本發明的系統功能結構圖。系統由外界環境光源測量模塊、眼部圖像質量檢測模塊、瞳孔半徑測量模塊、用戶頭部與屏幕距離檢測模塊以及線性補償與修正模塊五部分組成，系統結構圖如圖1所示。
[0012]具體來說:
[0013](1)外界環境光源測量模塊的功能是:實時地檢測用戶與系統當前所處環境下的外界光照情況(由環境光源與外加主動光源疊加形成)。并將檢測得到的結果反饋給外加光源強度修正模塊。如圖2所示。
[0014](2)眼部圖像質量檢測模塊及眼部圖像質量檢測模塊的功能是:檢測在當前環境光照和外加光源共同作用下所獲得的眼部圖像。眼部圖像質量檢測模塊判定圖像是否出現欠曝或者過曝現象。并將所得的結果反饋給外加光源強度修正子模塊，決定當前的外光源強度是否合適以及是否需要調節。眼部圖像質量檢測模塊檢測獲取眼部圖像中用戶的瞳孔半徑，與理想狀態下瞳孔半徑進行比較，并由此對注視點結果進行補償性修正。如圖3所
0
[0015](3)用戶頭部與屏幕距離檢測單元的功能是:實時檢測當前狀態下用戶頭部與屏幕之間的距離，若該距離與標定時距離有所改變，則需要對注視點結果進行補償性修正。如圖4所示。
[0016](4)外加光源強度修正子模塊的功能是:實時地接受上述的外界環境光源測量模塊及圖像質量檢測單元所反饋的信息，以決定是否需要變更當前的光照強度。當圖像出現過曝情況時，需要適當將光源強度減弱；當圖像出現欠曝情況時，則需要適當將光源強度加強；當圖像滿足要求時，保持當前強度不變。如圖5所示。
[0017]本發明的有益效果是:通過在視線跟蹤光照系統中對外加光源強度、用戶瞳孔半徑和用戶距離屏幕的距離，對光源強度和注視點結果進行實時補償性修正，并且在此基礎上提出了多種實施方法。設計低成本、低功耗，但有效的提高了整個視線跟蹤系統的魯棒性和精確性。
四、【專利附圖】
【附圖說明】
[0018]圖1系統功能結構圖
[0019]圖2外界環境光源測量模塊的系統功能結構圖
[0020]圖3眼部圖像質量檢測模塊及瞳孔半徑測量模塊的系統功能結構圖
[0021]圖4用戶頭部與屏幕距離檢測單元的系統功能結構圖
[0022]圖5外加光源強度修正子模塊的系統功能結構圖
[0023]圖6外界環境光源測量模塊實現步驟圖
[0024]圖7可編程光頻轉換器131230系列芯片引腳圖
[0025]圖8注視點坐標線性補償示意圖五、
【具體實施方式】
[0026]1)外界環境光源測量模塊的實施用例
[0027]原理:通過光敏感器件或是可編程光頻轉換芯片提取外界環境的光照程度，將所得測量值與事先設定的光強閾值進行對比，并將結果進行反饋。
[0028]具體實現步驟如圖6所示。
[0029]利用外圍硬件電路實現環境光照程度的檢測，通過光敏感電路元件或芯片進行模數轉換，將檢測到的光照程度進行量化，以方便評測外界環境的光照強度。同時，確定理想光照情況下的數值，設定閾值。
[0030]將實時監測得到的光強數值與之前設定的閾值進行比較。設定的閾值包括低門限值！'1以及高門限值I冊。當所檢測得到的環境光照強度在區間〔0，時，需要反饋增強主動光源亮度的信息；當所檢測得到的環境光照強度在區間〔1冊，⑴)時，需要反饋減弱主動光源亮度的信息；當所檢測得到的環境光照強度在區間〔II，I冊]時，表示當前為理想外界光照強度。
[0031]將以上反饋信號傳遞到外加光源強度修正子模塊，以實現總光照亮度的平衡。
[0032]實施舉例1:選用可編程光頻轉換器11230系列的芯片作為光敏感器件。該芯片能夠測量光的波長為300?1100=%它無需任何外接元件，就能將光強直接轉換為頻率(約從1取到1冊信號輸出。芯片具體引腳見圖7。再利用集成式頻率/電壓轉換器]2907，將頻率信號轉換為直流電壓信號。將該信號進行模數轉換，并與閾值進行比較，確定反饋值。根據反饋值確定外加光源調節程度大小。
[0033]實施舉例2:選用光敏二極管作為光敏感器件。常用的光敏二極管的管芯是一個具有光敏特征的結，具有單向導電性，因此可以利用光照強弱來改變電路中的電流。與示例1類似，將二極管的輸出電流進行模數轉換，并與設定的閾值比較，確定反饋值。根據反饋值確定外加光源調節程度大小。
[0034]2)眼部圖像質量檢測模塊實施用例
[0035]原理:從采集得到的眼部圖像中提取出與光照強度相關的數據。可以通過繪制圖像灰度值直方圖，灰度值均值，灰度值方差等標準確定理想狀態下的閾值，并將實時得到的圖像數據與閾值進行對比，并將結果進行反饋。
[0036]測定光照強度的具體實施步驟如下:
[0037](1)利用視線跟蹤系統的攝像頭獲取眼部圖像，從中提取與光照強度相關的有用信息。
[0038](2)有用信息的獲取方法可以是繪制圖像灰度直方圖。我們主要需要關注的是兩個指標:眼部圖像的灰度均值以及眼部圖像的灰度方差值。
[0039](3)眼部圖像的灰度均值反映了圖像的曝光程度。當外加光源強度過強時，圖像形成過曝現象，使得圖像整體的灰度均值偏低；當外加光源強度過弱時，圖像形成欠曝現象，使得圖像整體的灰度均值偏高。將測量得到的理想眼部圖像灰度均值的上下界點設為閾值。凡是測量值低于下閾值的，反饋外光源光強過強信號。凡是測量值高于上閾值的，反饋外光源光強過弱信號。根據測量值確定調節外加光源程度的大小。
[0040](4)眼部圖像的灰度方差值反映了眼部圖像中瞳孔與虹膜的亮度對比情況，即亮瞳或者暗瞳效果。以暗瞳為例，理想狀況下，瞳孔亮度應遠低于虹膜亮度，因此瞳孔區域灰度值較高，整張圖片的方差較大。方便進行瞳孔中心的檢測。若圖像灰度方差值較小，則說明圖像中瞳孔區域與虹膜區域灰度值相差不大，會給后期檢測瞳孔中心帶來一定麻煩。
[0041]3)瞳孔半徑測量模塊實施用例:
[0042]原理:對采集得到的眼部圖像中的瞳孔半徑進行計算，并與標準瞳孔半徑進行比較，補償修正注視點位置。
[0043]具體實施步驟如下:
[0044]在前期標定過程中，首先改變外加光源的亮度。由于對于頭戴式視線跟蹤系統，攝像頭與眼睛距離始終保持一定，不存在獲得圖像近大遠小的問題，所得圖像中的瞳孔大小只取決于當時的光照情況。當外加光源亮度不同時，用戶瞳孔半徑會產生顯著變化:當光強提高時，瞳孔進行收縮；當光強降低時，瞳孔進行擴張。
[0045]在標定過程中，分別記下瞳孔強光和弱光狀態下的瞳孔半徑值，并記錄兩種狀態下計算得到的注視點位置。
[0046]在實驗中發現，瞳孔半徑的大小與此時計算所得的注視點位置存在線性關系。因此，在實際實驗中，實時測量用戶的瞳孔半徑，并與標定時得到的兩瞳孔半徑進行比對。在
與的線性范圍內，設定參數[，當尺=時，I = 1 = 時，I = 0。設瞳孔半徑最大和最小時計算得到的注視點坐標分別為7和17，則在瞳孔半徑為I？時，注視點坐標為:
[0047]=
[0048]注視點坐標線性補償示意圖如圖8所示。
[0049]4)用戶屏幕距離測量單元實施用例
[0050]原理:實時對用戶頭部與計算機屏幕間的距離進行檢測，通過與標定時距離值的比較，對注視點結果進行補償性修正。
[0051]具體實施步驟如下:
[0052](1)在最初的標定過程中，首先用戶采用正常距離進行標定。之后用戶將頭部靠近屏幕及遠離屏幕，分別再進行一次標定。同時，利用場景攝像頭獲得三次標定時，用戶頭部與計算機屏幕之間的距離。
[0053](2)與瞳孔大小對注視點產生的影響類似，用戶頭部距離計算機屏幕的大小同樣與用戶注視點存在著線性的關系。在實驗中，實時得到用戶頭部與計算機屏幕之間的距離，并與標定時得到的距離進行比較，對得到的注視點結果進行線性的修正。修正方法與3)瞳孔半徑測量模塊中提及的方法一致，在此不再贅述。
[0054]5)外加光源強度修正子模塊實施用例
[0055]原理:外加光源強度修正子模塊首先接受上述檢測單元送來的反饋值。以反饋值為標準，對當前的外加光源亮度進行調節。
[0056]實施舉例1:利用脈沖寬度調制(^麗)實現對外加光源亮度的修正。脈沖幅度調制的功能是改變脈沖的高電平的時間。信號調節[￡0光源的亮度時，信號頻率是不變的，改變的是脈沖的高電平的時間，即[￡0的導通時間。這種相當于調節[￡0的平均電流，高電平時間越長，平均電流值越大，[￡0光源的亮度越強。利用單片機即可實現，方法簡單。
[0057]實施舉例2:利用程控電源實現對外加光源亮度的修正。根據反饋值的不同，直接控制加在光源[￡0的電壓值。電壓值越高，流過1^0的電流也就越大，光源亮度越高。但同時需要注意，過大的外加電壓會損壞[￡0光源。因此需要防止外加電壓超過[￡0的電壓閾值。
【權利要求】
1.提高視線跟蹤系統準確度的補償方法與裝置，其特征是系統由外界環境光源測量模塊、眼部圖像質量檢測模塊、瞳孔半徑測量模塊、用戶頭部與屏幕距離檢測模塊以及線性補償與修正模塊五部分組成。
2.根據權利要求1所述的提高視線跟蹤系統準確度的補償方法與裝置，其特征是:所述外界環境光源測量模塊，其功能是實時地檢測用戶與系統當前所處環境下的外界光照情況，并將檢測得到的結果反饋給光源強度的控制單元。
3.根據權利要求1所述的提高視線跟蹤系統準確度的補償方法與裝置，其特征是:所述眼部圖像質量檢測模塊，其功能是獲取當前環境光照和外加光源共同作用下的眼部圖像；并進行曝光補償和圖像瞳孔修正圖像處理。
4.根據權利要求1所述的提高視線跟蹤系統準確度的補償方法與裝置，其特征是:所述用戶頭部與屏幕距離檢測單元，其功能是實時檢測當前狀態下用戶頭部與屏幕之間的距離，若該距離與標定時距離有所改變，則需要進行對注視點結果進行補償性修正。
5.根據權利要求1所述的提高視線跟蹤系統準確度的補償方法與裝置，其特征是:所述光源強度控制單元，其功能是實時地接受上述的外界環境光源測量模塊及圖像質量檢測單元所反饋的信息，以決定是否需要變更當前的光照強度。當圖像出現過曝情況時，需要適當將光源強度減弱；當圖像出現欠曝情況時，則需要適當將光源強度加強；當圖像滿足要求時，保持當前強度不變。
6.根據權利要求3所述曝光補償，其原理在于判定圖像是否出現欠曝或者過曝現象，并將所得的結果反饋給光源強度控制單元，。
7.根據權利要求4所述圖像補充修正，檢測獲得圖像中用戶的瞳孔半徑，與標準瞳孔半徑進行比較，并由此對注視點結果進行補償性修正。
【文檔編號】G06T5/00GK104360732SQ201410545580
【公開日】2015年2月18日 申請日期:2014年10月16日 優先權日:2014年10月16日
【發明者】王健, 范晨陽, 丁峰, 蘇金星 申請人:南京大學