視線方向跟蹤方法及裝置的制造方法
【技術領域】
[0001] 本發明涉及視頻分析和眼球追蹤領域，具體涉及一種視線方向跟蹤方法及裝置。
【背景技術】
[0002] 視線追蹤技術早期被廣泛應用在心理學、醫學領域，通過分析用戶的眼球運動情 況，來判斷用戶的心理狀態和健康狀態。隨著視線追蹤技術的發展，越來越多的日常應用開 始借助視線追蹤技術來提供大量有用和有趣的功能。如追蹤眼球的視線方向可以幫助定位 用戶所注視的位置，從而可以通過眼球運動操控鼠標，甚至進行輸入；眼球的視線方向也被 應用到商場、超市等地方，幫助商家分析用戶感興趣的商品區域；此外，還有很多游戲可以 借助視線跟蹤的方式實現真實感游戲互動。
[0003] 視線追蹤技術需要追蹤視線方向。而現有的視線方向追蹤方法通常需要兩個相對 位置固定的攝像頭，通過在三維空間中重建眼球模型，從而確定眼睛凝視的方向。這類方法 目前已經能夠達到幾度的精度，然而卻有重大的局限性。一方面需要兩個攝像頭，使得該類 方法成本高、不宜佩戴、難以用于移動應用。同時由三維建模帶來的巨大計算開銷和由雙攝 像頭帶來的電量開銷也是普通個人移動設備難以承受的。因此，此類方法極大的局限了視 線方向跟蹤技術的應用前景。目前也有少數技術能夠僅用一個攝像頭實現視線追蹤，但是 它們通常需要每個用戶針對自身特點和佩戴情況進行繁瑣的訓練和校準。這樣就極大程度 地提高了該技術的使用門檻。
【發明內容】
[0004] 本發明所要解決的技術問題是現有技術成本高、不宜佩戴、不能廣泛適用于各類 移動設備、需要人工校準和用戶訓練的問題。
[0005] 為此目的，本發明提出一種視線方向跟蹤方法，包括：
[0006] 利用單個攝像頭采集的當前的眼球圖片構建眼球模型，并建立所述眼球模型在攝 像頭坐標系中的投影模型；其中，所述眼球模型包括球形眼球和圓形虹膜；
[0007] 確定出所述眼球模型所在的眼球坐標系和所述攝像頭坐標系之間的轉換矩陣；
[0008] 根據所述轉換矩陣確定出視線方向。
[0009] 本發明實施例視線方向跟蹤方法，利用單個攝像頭采集的當前的眼球圖片構建眼 球模型，并建立所述眼球模型在攝像頭坐標系中的投影模型，確定出所述眼球模型所在的 眼球坐標系和所述攝像頭坐標系之間的轉換矩陣，并根據所述轉換矩陣確定出視線方向， 這就使得僅需要利用一個低分辨攝像頭即能實現用戶視線追蹤，成本低，佩戴方便，同時， 該方法對用戶的頭部運動沒有任何限制，無需人工校準攝像頭，或者進行用戶訓練，用戶佩 戴設備即可使用，而且，計算開銷小，能廣泛適用于各類移動設備。
[0010] 另一方面，本發明提出一種視線方向跟蹤裝置，包括：
[0011] 攝像頭，用于實時采集人的眼球圖片；
[0012] 構建單元，用于根據所述攝像頭所采集的當前的眼球圖片構建眼球模型，并建立 所述眼球模型在攝像頭坐標系中的投影模型；
[0013] 轉換矩陣確定單元，用于確定出所述眼球模型所在的眼球坐標系和所述攝像頭坐 標系之間的轉換矩陣；
[0014] 視線方向確定單元，用于根據所述轉換矩陣確定單元確定出的轉換矩陣確定出視 線方向。
[0015] 本發明實施例視線方向跟蹤裝置，利用單個攝像頭采集的當前的眼球圖片構建眼 球模型，并建立所述眼球模型在攝像頭坐標系中的投影模型，確定出所述眼球模型所在的 眼球坐標系和所述攝像頭坐標系之間的轉換矩陣，并根據所述轉換矩陣確定出視線方向， 這就使得僅需要利用一個低分辨攝像頭即能實現用戶視線追蹤，成本低，佩戴方便，同時， 該方法對用戶的頭部運動沒有任何限制，無需人工校準攝像頭，或者進行用戶訓練，用戶佩 戴設備即可使用，而且，計算開銷小，能廣泛適用于各類移動設備。
【附圖說明】
[0016] 圖1為本發明一種視線方向跟蹤方法一實施例的流程示意圖；
[0017] 圖2為本發明一種視線方向跟蹤方法另一實施例的部分流程示意圖；
[0018] 圖3為圖2中S320 -實施例的流程示意圖；
[0019] 圖4為本發明一種視線方向跟蹤裝置一實施例的方框結構示意圖。
【具體實施方式】
[0020] 為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例 中的附圖，對本發明實施例中的技術方案進行清楚地描述，顯然，所描述的實施例是本發明 一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有 做出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。
[0021] 如圖1所示，本實施例公開一種視線方向跟蹤方法，包括：
[0022] S1、利用單個攝像頭采集的當前的眼球圖片構建眼球模型，并建立所述眼球模型 在攝像頭坐標系中的投影模型；其中，所述眼球模型包括球形眼球和圓形虹膜；
[0023] S2、確定出所述眼球模型所在的眼球坐標系和所述攝像頭坐標系之間的轉換矩 陣；
[0024] S3、根據所述轉換矩陣確定出視線方向。
[0025] 本發明實施例視線方向跟蹤方法，利用單個攝像頭采集的當前的眼球圖片構建眼 球模型，并建立所述眼球模型在攝像頭坐標系中的投影模型，確定出所述眼球模型所在的 眼球坐標系和所述攝像頭坐標系之間的轉換矩陣，并根據所述轉換矩陣確定出視線方向， 這就使得僅需要利用一個低分辨攝像頭即能實現用戶視線追蹤，成本低，佩戴方便，同時， 該方法對用戶的頭部運動沒有任何限制，無需人工校準攝像頭，或者進行用戶訓練，用戶佩 戴設備即可使用，而且，計算開銷小，能廣泛適用于各類移動設備。
[0026] 可選地，在本發明視線方向跟蹤方法的另一實施例中，所述眼球坐標系的原點為 球形眼球的中心，所述眼球坐標系的X軸與圓形虹膜平面與水平面的交線平行，所述眼球 坐標系的Z軸的方向為從球形眼球的中心指向圓形虹膜的中心的方向，所述攝像頭坐標系 的X軸和Y軸分別為攝像頭成像平面的X軸和Y軸，所述攝像頭坐標系的Z軸為攝像頭光 軸，
[0027] 其中，所述確定出所述眼球模型所在的眼球坐標系和所述攝像頭坐標系之間的轉 換矩陣的步驟，包括：
[0028] 建立所述眼球坐標系和所述攝像頭坐標系之間的轉換關系Vc=RecVe+t;
[0029] 確定出圓形虹膜在攝像頭成像平面的橢圓形投影的中心橫坐標長度lx、縱坐標長 度Iy、短半軸長度a、長半軸長度b和短軸與所述攝像頭坐標系的X軸的夾角P;
[0030] 根據所述橢圓形投影的中心橫坐標長度IX、縱坐標長度Iy、短半軸長度a、長半軸 長度b和短軸與所述攝像頭坐標系的X軸的夾角P確定出圓錐參數矩陣A=STHS;
[0031] 根據所述圓錐參數矩陣A確定出投影模型方程GTAG=kQ;
[0032] 根據所述轉換關系和所述投影模型方程確定出所述Rec