專利名稱：基于超分辨率的視線跟蹤精度提升方法
技術領域：
本發明涉及一種基于超分辨的視線跟蹤精度提升的技術，屬于視頻、多媒體信號 處理技術領域。
背景技術：
隨著智能控制技術的發展，眼動系統作為人機交互的一個重要工具已成為研究的 熱點。顯然，精度是衡量該系統性能的一個重要參數，具有較高精度的視點跟蹤系統才能更 為準確地服務于用戶。然而，絕大多數所用的靜態幀或攝像機記錄圖像的分辨率較低，這會 嚴重影響視點跟蹤系統結果的估計。因此如何來提高視線跟蹤系統的精度具有重要的研究
眉、ο由于高分辨率的圖像可以提供更多的細節和信息，所以可以更精確地鎖定局部目 標。因此，在一些視線跟蹤系統中，設計者會通過提高攝像機的分辨率來提升精度。顯然， 對于同樣的方法，如采用分辨率高的相機，相對于低分辨率相機，精度會提高；但相機分辨 率高低的價格差別相當大，如果單純通過改進硬件系統的性能來提高分辨率，不僅在技術 上難以實現突破，同時還會帶來難以承受的成本增加。所以通過軟件增加所采集圖像的分 辨率，來突破硬件系統的限制意義重大。超分辨就是一種能夠有效提高圖像分辨率的軟方 法。
發明內容
為了彌補僅靠硬件提升來提高視線跟蹤系統分辨率的不足，本發明提供一種基于 超分辨率的視線跟蹤精度提升方法，此方法能夠在不增加成本的情況下，在一定程度上提 升視線跟蹤系統的精度。本發明的基于超分辨率的視線跟蹤精度提升方法，包括以下步驟(1)從采集的人臉視頻的每一幀中提取出瞳孔區域，其中瞳孔區域的范圍是通過 迭代計算得出的；(2)在提取出的瞳孔區域圖像中確定待配準圖像，并對它們進行超分辨處理；(3)根據超分辨率處理得到的瞳孔區域進行視線跟蹤，得到注視點的精確估計。為減少系統算法的計算復雜度，所述超分辨率處理僅對從人臉視頻幀中提取出來 的瞳孔區域進行，而對其他區域不進行。所述步驟(2)的具體實現步驟為a、將瞳孔邊緣以及瞳孔區域中的反射點作為特征信息，并對待配準圖像中的特征 信息進行相似度分析，實現瞳孔區域的配準；b、根據兩幀瞳孔區域之間位移幀差引入的誤差信息，構造規整化代價函數，實現 高分辨率瞳孔區域的重構。步驟a中，選擇每一幀瞳孔區域圖像以及其后面的3幀作為超分辨處理的一組待 配準圖像，避免因幀數少而不能達到較高的分辨率，或因幀數多而引起較大的位移幀差。
步驟a中，在一組待配準圖像中，若其中一幀的瞳孔區域和前一幀的瞳孔區域的 相似度低于所設定的閾值，則用前一幀瞳孔區域來代替該幀的瞳孔區域。所述步驟(3)的具體實現步驟為a、在對超分辨率處理得到的瞳孔區域進行視線跟蹤之前，先將由超分辨率處理產 生的瞳孔區域進行邊緣修整，并將去除邊緣修整后的左右瞳孔區域放置到與采集的人臉圖 像同樣大小但所有像素的灰度值均為0的圖像中的任意一個與瞳孔區域大小相同的固定 的位置；b、在瞳孔區域中提取角膜上的反射點并計算其坐標位置，同時，通過瞳孔邊緣提 取和橢圓擬合，確定瞳孔中心的坐標；C、根據反射點的坐標和瞳孔中心坐標，估計屏幕上注視點的位置。本發明將超分辨技術用于視線跟蹤系統，在不增加硬件設置的情況下，提高了系 統的精度。
圖1是本發明方法的框架圖。圖2是用于測試的視線跟蹤系統硬件結構示意圖。圖3是瞳孔區域提取過程示意圖。圖4是左眼瞳孔區域超分辨結果示意圖。圖5是右眼瞳孔區域超分辨結果示意圖。圖6是超分辨后的注視點估計示意圖。圖7是實驗仿真結果示意圖。
具體實施例方式讓實驗者觀測一幅手機的圖片，以此為例來驗證對瞳孔區域進行超分辨對視線 跟蹤系統精度的提升。用于測試的視線跟蹤系統是基于暗瞳加反射點的方法的，其硬件 結構如圖2所示，包括一臺2. 60GHZ奔騰雙核的個人計算機，計算機下方裝一個分辨率為 694X1040的灰度攝像機，在顯示器的四角分別裝有一個1瓦的紅外光源。測試者坐在距屏 幕60 70cm的位置，頭部可以在40X20X IOcm(寬X長X深度)的范圍內移動，且在水 平面順時針或逆時針旋轉不超過30度。圖1給出了本發明方法的框架圖，其中虛線部分是本發明的核心部分，按所示流 程，包括如下具體步驟1.用上述視線跟蹤系統從采集的人臉圖像中提取出人眼區域，再從人眼區域中提 取出大致的瞳孔區域。圖3給出了瞳孔區域的提取過程示意圖，由左至右依次為采集圖像、 人眼定位和左右眼瞳孔區域。2.分別對觀測定標點和注視點的瞳孔區域進行超分辨，結果如圖4和圖5所示，其 具體步驟如下a將每一幀瞳孔區域圖像以及其后面相鄰的三幀圖像作為超分辨的待配準圖像。 但若在這4幀圖像中，有一幀和前一幀圖像的相似度達不到所設置的閾值，則用前一幀圖 像來代替該幀。
4
b從步驟a中確定的待配準圖像中提取感興趣的瞳孔邊緣和反射點特征信息。c根據步驟b中提取的特征信息，進行待配準圖像間的相似度分析，確定空間變換 方程的類型及參數，進行圖像配準。d根據兩幀瞳孔圖像之間的位移幀差，構造規整化代價函數，消除誤差信息，重新 構造出具有高分辨率的瞳孔區域圖像。3.對超分辨后的瞳孔區域做進一步分析，從而實現注視點的精確估計。如圖6所 示，具體步驟如下a對超分辨后的瞳孔區域進行邊緣裁剪，并將其放入到各像素點灰度值都置0的 采集的原始人臉圖像中，其放置位置可以是上述圖像中任意一個與瞳孔區域大小相同的固 定的位置，如圖6流程所示。b在步驟a的基礎上，在瞳孔區域中提取角膜上的反射點并計算其坐標位置。同 時，通過瞳孔邊緣提取和橢圓擬合，確定瞳孔中心的坐標。如圖6所示。c根據四個反射點的坐標和瞳孔中心坐標，利用交比不變算法估計出測試者注視 的屏幕上的手機圖片上的具體位置。在該實驗過程中，測試者觀測的是圖片中電源符號中 央、信號符號、“C”旁邊的鍵，以及“*”鍵。圖7給出了通過仿真分析估計出的注視點結果， 其中的黑色五角星表示預測的注視點，左圖(a)為未經超分辨，右圖(b)為經過超分辨。從仿真結果我們可以看出，對于同一個視線跟蹤系統，采用超分辨的方法可以提 高系統的精度，而不會增加系統的成本。并且在本發明中，只對瞳孔區域進行了超分辨，不 會給系統帶來較大計算量的增加。
權利要求
一種基于超分辨率的視線跟蹤精度提升方法，包括以下步驟(1)從采集的人臉視頻的每一幀中提取出瞳孔區域，其中瞳孔區域的范圍是通過迭代計算得出的；(2)在提取出的瞳孔區域圖像中確定待配準圖像，并對它們進行超分辨處理；(3)根據超分辨率處理得到的瞳孔區域進行視線跟蹤，得到注視點的精確估計。
2.根據權利要求1所述的基于超分辨率的視線跟蹤精度提升方法，其特征在于所述 步驟(2)的具體實現步驟為a、將瞳孔邊緣以及瞳孔區域中的反射點作為特征信息，并對待配準圖像中的特征信息 進行相似度分析，實現瞳孔區域的配準；b、根據兩幀瞳孔區域之間位移幀差引入的誤差信息，構造規整化代價函數，實現高分 辨率瞳孔區域的重構。
3.根據權利要求2所述的基于超分辨率的視線跟蹤精度提升方法，其特征在于步驟 a中，選擇每一幀瞳孔區域圖像以及其后面的3幀作為超分辨處理的一組待配準圖像，避免 因幀數少而不能達到較高的分辨率，或因幀數多而引起較大的位移幀差。
4.根據權利要求2所述的基于超分辨率的視線跟蹤精度提升方法，其特征在于步驟 a中，在一組待配準圖像中，若其中一幀的瞳孔區域和前一幀的瞳孔區域的相似度低于所設 定的閾值，則用前一幀瞳孔區域來代替該幀的瞳孔區域。
5.根據權利要求1所述的基于超分辨率的視線跟蹤精度提升方法，其特征在于所述 步驟(3)的具體實現步驟為a、在對超分辨率處理得到的瞳孔區域進行視線跟蹤之前，先將由超分辨率處理產生的 瞳孔區域進行邊緣修整，并將去除邊緣修整后的左右瞳孔區域放置到與采集的人臉圖像同 樣大小但所有像素的灰度值均為0的圖像中的任意一個與瞳孔區域大小相同的固定的位 置；b、在瞳孔區域中提取角膜上的反射點并計算其坐標位置，同時，通過瞳孔邊緣提取和 橢圓擬合，確定瞳孔中心的坐標；C、根據反射點的坐標和瞳孔中心坐標，估計屏幕上注視點的位置。
全文摘要
本發明提供了一種基于超分辨率的視線跟蹤精度提升方法。該方法先在采集的人臉圖像中進行人眼定位，并提取出大致的瞳孔區域；然后以提取出的每一幀瞳孔區域圖像以及其后面相鄰的3幀圖像作為待配準圖像，經過特征提取、相似度分析確定出變換函數和參數，并根據圖像的幀位移差構造出規整化函數，進而實現圖像各點的配準，綜合四幀圖像的特征信息重構出具有高分辨率的瞳孔區域；再在經過超分辨的瞳孔區域中提取角膜上的反射點并計算其坐標位置，同時，通過瞳孔邊緣提取和橢圓擬合，確定瞳孔中心的坐標。最后根據反射點及瞳孔中心的坐標估計出屏幕上注視點的位置。本發明將超分辨技術用于視線跟蹤系統，在不增加硬件設置的情況下，提高了系統的精度。
文檔編號G06T5/50GK101964111SQ201010292929
公開日2011年2月2日 申請日期2010年9月27日 優先權日2010年9月27日
發明者劉琚, 孫建德, 楊彩霞, 楊曉暉, 王地長生 申請人:山東大學