一種自由空間視線跟蹤測量方法
【專利摘要】本發明公開了一種自由空間視線跟蹤測量方法，所述方法包括以下步驟：構建雙目立體視覺視線跟蹤測量裝置；提取眼睛的內外眼角點坐標，計算雙目立體視覺視線跟蹤測量裝置每次穿戴產生的移動坐標，并補償所發生的相對移動；定義眼睛的瞳孔邊緣所構成的圓平面中心點法線方向為視線間接估計方向，利用雙目立體視覺測量方法對一只眼睛的空間視線間接估計方向進行測量；標定空間視線間接估計方向與真實視線方向之間的偏差角，即可獲得單只眼睛的真實視線方向。本方法可獲得三維的自由空間視線方向；視線活動范圍不受限制；頭戴式的結構可滿足頭部自由運動同時，獲取高精度眼睛圖像；可標定真實視線方向與定義的視線間接估計方向之間的系統誤差。
【專利說明】一種自由空間視線跟蹤測量方法
【技術領域】
[0001] 本發明涉及機器視覺、圖像處理及特征檢測與識別的視線跟蹤領域，尤其涉及一 種自由空間視線跟蹤測量方法，主要應用于人機交互，是眼動系統作為高級人機交互的前 提和基礎。
【背景技術】
[0002] 眼動操作系統是高級人機交互的形式之一，對于可視形式的目標選擇和操縱任 務，人機交互的其它通道都是在視覺通道指導下進行的，即使用者先注視到感興趣對象，再 引導其它通道的選擇或操縱動作。因此眼動操作系統的運用能夠真正實現更加方便、更加 迅速的實時操作，使得人機對話變得簡便、自然。眼動操作系統在人機交互領域有廣闊的應 用前景，例如能理解人意圖的智能計算機和機器人，具有交互功能的家用電器，虛擬現實和 游戲，國防軍事中的武器瞄準與目標定位等。視線跟蹤技術是智能眼動操作系統的關鍵技 術，是實現眼動操作系統作為高級人機交互應用的基礎和前提，深入研究視線跟蹤技術對 實現眼動操作系統很好應用于自由空間人機交互系統有重要的理論和應用意義。
[0003] 視線跟蹤技術主要研究內容是如何實時、客觀、準確地記錄使用者當前的視線方 向或視線落點位置。視線是眼睛注視的方向，反映一個人關注的焦點。當眼睛注視某一物 體時，物體的像自動成在視網膜的中央凹上，所以真實的視線方向是中央凹與瞳孔中心的 連線方向。但因為中央凹不可見，提取眼睛特征參數表征眼動，間接得到視線方向。從真正 使用儀器設備對眼動進行觀察和實驗的中世紀開始，經歷上百年的技術發展，視線跟蹤技 術經歷了直接觀察法、后像法、機械記錄法、電流記錄法、電磁感應法等測量方法，隨著機器 視覺和數字圖像處理技術的迅速發展，利用數字攝像機記錄眼動過程并采用圖像處理方法 分析視線方向的光學記錄法得到廣泛應用。其中，瞳孔中心角膜反射光斑法是目前最為常 用的方法。
[0004] 基于瞳孔中心角膜反射光斑法的視線跟蹤技術包括兩部分的內容：（1)視線特征 參數提取和（2)視線方向模型建立。視線特征參數提取通過圖像處理從眼睛圖像中提取瞳 孔和角膜反射斑。其中，瞳孔跟蹤是視線參數檢測的重要步驟。目前視線方向模型建立主 要分為二維和三維兩種形式。基于二維的視線跟蹤技術強烈依賴于標定的映射平面，而且 只能得到二維的視點信息；基于三維的視線跟蹤技術多采用遙測式，頭部自由運動和高精 度眼睛圖像跟蹤是無法做到兩者均優化的矛盾體，且空間標定過程繁瑣復雜，視線活動范 圍嚴重受到限制。
【發明內容】
[0005] 本發明提供了一種自由空間視線跟蹤測量方法，本發明采用雙目立體視覺自由空 間視線跟蹤測量方法，可在標定較簡便的情況下獲得頭部自由運動時自由空間的三維視線 方向，詳見下文描述：
[0006] 一種自由空間視線跟蹤測量方法，
[0007] 利用雙目立體視覺測量方法對一只眼睛的視線進行跟蹤測量；該方法提取眼睛的 內外眼角點坐標，計算雙目立體視覺視線跟蹤測量裝置每次穿戴產生的移動坐標，并補償 所發生的相對移動；利用眼睛的瞳孔邊緣所構成的圓平面中心點法線方向作為視線測量的 間接估計方向；利用視線測量的間接估計方向與真實視線方向之間的系統誤差偏差角來對 真實視線進行測量。
[0008] 所述雙目立體視覺視線跟蹤測量裝置包括：雙目立體視覺視線跟蹤測量相機與取 景相機，
[0009] 所述雙目立體視覺視線跟蹤測量相機與所述取景相機通過設置一片半透半反鏡 實現場景疊加，所述半透半反鏡上部設置有雙目立體視覺視線跟蹤測量相機，所述雙目立 體視覺視線跟蹤測量相機通過所述半透半反鏡的反光面對充滿雙目立體視覺視線跟蹤測 量視場的單只眼睛成像；所述半透半反鏡下方設置有所述取景相機，所述取景相機通過反 光面對觀察場景成像。
[0010] 所述利用眼睛的瞳孔邊緣所構成的圓平面中心點法線方向作為視線測量的間接 評估方向，其步驟為：
[0011] (1)標定所述雙目立體視覺視線跟蹤測量相機；
[0012] (2)利用雙目立體視覺方法測量得到眼睛瞳孔邊緣所構成圓平面中心點法線方 向，即建立該圓中心點的法線直線方程；（3)將眼睛瞳孔邊緣所構成平面中心點的法線定 義為空間視線測量的間接估計方向。
[0013] 所述利用視線測量的間接估計方向與真實視線方向之間的系統誤差偏差角來對 真實視線進行測量的步驟為：
[0014] 采用對人眼進行視線跟蹤測量，在被測試人的參與下，由人指出標準靶標上的注 視點位置，所述雙目立體視覺視線跟蹤測量相機坐標系中瞳孔中心和被測試人指出的注視 點連線方向即為真實的視線方向；再與所述雙目立體視覺視線跟蹤測量相機所得的視線間 接估計方向的測量結果比對，即可確定真實視線方向與視線間接估計方向的偏差角。
[0015] 本方法通過半透半反鏡和取景相機將視線和對應的自由空間場景及注視點關聯 起來，標定新定義的視線間接估計方向與真實視線方向之間的偏差角，補償偏差角后獲得 自由空間視線方向，實現人眼視線與觀察視場的疊加，具有以下的有益效果：
[0016] (1)可獲得三維的自由空間視線方向；
[0017] (2)視線活動范圍不受限制；
[0018] (3)頭戴式的結構可滿足頭部自由運動同時，獲取高精度眼睛圖像；
[0019] (4)定義新的視線間接估計方向，空間標定過程簡單；
[0020] (5)可標定真實視線方向與定義的視線間接估計方向之間的系統誤差。
【專利附圖】
【附圖說明】
[0021] 圖1為一種自由空間視線跟蹤測量方法的流程圖；
[0022] 圖2為頭戴式雙目立體視覺視線跟蹤實驗系統布局示意圖；
[0023] 圖3為雙目立體視覺視線跟蹤測量坐標系示意圖。
【具體實施方式】
[0024] 為使本發明的目的、技術方案和優點更加清楚，下面對本發明實施方式作進一步 地詳細描述。
[0025] 本發明針對上述視線跟蹤方法研究存在的問題，提供了一種自由空間視線跟蹤測 量方法，本方法將頭戴式結構與三維視線測量原理結合，解決目前遙測式三維視線跟蹤方 法頭部自由運動與高精度眼睛圖像跟蹤無法兼顧的問題，以及因此而引起的視線活動范圍 嚴重受限制的問題。
[0026] 視線是眼睛注視的方向，反映一個人關注的焦點。當眼睛注視某一物體時，物體的 像自動成在視網膜的中央凹上，所以真實的視線方向是中央凹與瞳孔中心的連線方向。但 因為中央凹不可見，真實視線無法直接測量得到，故本方法定義"眼睛瞳孔邊緣所構成的圓 平面中心點法線方向為視線間接估計方向"，新定義的視線間接估計方向與真實視線方向 之間存在偏差角，通過提取和補償視線間接估計方向與真實視線方向之間的偏差角，即可 間接得到真實視線方向，參見圖1，下面逐步闡述本發明：
[0027] 101 :構建雙目立體視覺視線跟蹤測量裝置；
[0028] 參見圖2,該裝置包括：頭部固定架1，頭部固定架1的設計采用眼眉上部接觸定位 法，頭頂支撐和頭后調緊，前后接觸頭部的部分呈弧形。該一片半透半反鏡2設置在頭部固 定架1的前部，半透半反鏡2上設置有雙目立體視覺視線跟蹤測量相機3,雙目立體視覺視 線跟蹤測量相機3通過反光面對眼睛成像。半透半反鏡2下方設置有取景相機4,取景相機 4通過反光面對場景成像。
[0029] 該雙目立體視覺視線跟蹤測量裝置的布局可實現既不妨礙人眼對場景的觀察，又 覆蓋取景相機的拍攝范圍，將光線反射入取景相機，同時雙目立體視覺視線跟蹤測量相機3 可采集到清晰的眼睛圖像。
[0030] 102 :利用眼睛的內外眼角點坐標，計算雙目立體視覺視線跟蹤測量裝置每次穿戴 產生的移動坐標，并補償所發生的相對移動；
[0031] 通過該步驟補償了雙目立體視覺視線跟蹤測量裝置與頭部發生相對移動，提高了 測量精度。
[0032] 103 :雙目立體視覺測量方法對單只眼睛的視線間接估計方向進行測量；
[0033] 參見圖3,雙目立體視覺視線跟蹤測量相機3 (包括：左CMOS成像器和右CMOS成 像器），取坐標系〇w-XwYwZ w為世界坐標系。標定雙目立體視覺視線跟蹤測量相機3,利用已 標定的雙目立體視覺視線跟蹤測量相機3在可見光下攝取高分辨率的眼睛圖像，對圖像進 行處理，保留真實瞳孔區域邊緣。通過雙目立體視覺測量方法獲得眼睛瞳孔邊緣所構成圓 平面中心點法線方向，即建立該圓中心點的法線直線方程；并定義該空間直線方程所描述 的方向為視線間接估計方向。
[0034] 擬合瞳孔所在平面表達式如下：
[0035] AXW+BYW+CZW+D = 0 (1)
[0036] 由空間幾何知識知，瞳孔所在平面的法向量為A = (/U?, η,設雙目立體視覺測量 方法得到的瞳孔中心的三維坐標是（XwCI，Yw(l，ZJ，則瞳孔邊緣構成圓平面的中心點的法線 方程表達式如下：
[0037]
【權利要求】
1. 一種自由空間視線跟蹤測量方法，其特征在于： 利用雙目立體視覺測量方法對一只眼睛的視線進行跟蹤測量；該方法提取眼睛的內外 眼角點坐標，計算雙目立體視覺視線跟蹤測量裝置每次穿戴產生的移動坐標，并補償所發 生的相對移動；利用眼睛的瞳孔邊緣所構成的圓平面中心點法線方向作為視線測量的間接 估計方向；利用視線測量的間接估計方向與真實視線方向之間的系統誤差偏差角來對真實 視線進行測量。
2. 根據權利要求1所述的一種自由空間視線跟蹤測量方法，其特征在于，所述雙目立 體視覺視線跟蹤測量裝置包括：雙目立體視覺視線跟蹤測量相機與取景相機， 所述雙目立體視覺視線跟蹤測量相機與所述取景相機通過設置一片半透半反鏡實現 場景疊加，所述半透半反鏡上部設置有雙目立體視覺視線跟蹤測量相機，所述雙目立體視 覺視線跟蹤測量相機通過所述半透半反鏡的反光面對充滿雙目立體視覺視線跟蹤測量視 場的單只眼睛成像；所述半透半反鏡下方設置有所述取景相機，所述取景相機通過反光面 對觀察場景成像。
3. 根據權利要求2所述的一種自由空間視線跟蹤測量方法，其特征在于，所述利用眼 睛的瞳孔邊緣所構成的圓平面中心點法線方向作為視線測量的間接估計方向，其步驟為： (1) 標定所述雙目立體視覺視線跟蹤測量相機； (2) 利用雙目立體視覺方法測量得到眼睛瞳孔邊緣所構成圓平面中心點法線方向，即 建立該圓中心點的法線直線方程；（3)將眼睛瞳孔邊緣所構成平面中心點的法線定義為空 間視線測量的間接估計方向。
4. 根據權利要求3所述的一種自由空間視線跟蹤測量方法，其特征在于，所述利用視 線測量的間接估計方向與真實視線方向之間的偏差角來對真實視線進行測量的步驟為： 采用對人眼進行視線跟蹤測量，在被測試人的參與下，由人指出標準靶標上的注視點 位置，所述雙目立體視覺視線跟蹤測量相機坐標系中瞳孔中心和被測試人指出的注視點連 線方向即為真實的視線方向；再與所述雙目立體視覺視線跟蹤測量相機所得的視線間接估 計方向的測量結果比對，即可確定真實視線方向與視線間接估計方向的偏差角。
【文檔編號】G06T7/00GK104089606SQ201410310038
【公開日】2014年10月8日 申請日期:2014年6月30日 優先權日:2014年6月30日
【發明者】王向軍, 蔡方方 申請人:天津大學