一種桌面便攜式視線跟蹤方法及裝置的制造方法
【專利摘要】本發明公開了一種桌面便攜式視線跟蹤方法及裝置，方法步驟：用戶點擊屏幕預設標定點進行標定，系統捕獲用戶面部圖像；對捕獲的用戶面部圖像進行瞳孔定位、普爾欽亮斑定位，提取特征向量，并將特征向量標準化；通過標定點數據得到映射關系，將每一幀圖像的標準化特征向量代入映射關系即可得到實際注視點坐標；通過提取所有圖幀中的注視點坐標即可實現視線跟蹤。其中提出一種基于橢圓擬合的改進方法來對瞳孔進行精確定位，通過一種基于聚類的方法同時對兩個普爾欽亮斑進行定位，具有定位快速、精確的優點。
【專利說明】
-種桌面便攜式視線跟蹤方法及裝置
技術領域
[0001] 本發明設及人眼檢測、視線跟蹤研究領域，特別設及一種桌面便攜式視線跟蹤方 法及裝置。
【背景技術】
[0002] 人們通過各種感官來獲取外界信息，其中有大約80%的信息是通過視覺獲得的， 準確測量一個人的視線注視點或注視方向，是研究其屯、理活動的重要手段。目前視線跟蹤 技術在人機交互和屯、理研究等領域有著廣泛的應用，如汽車安全駕駛、市場研究與廣告分 析、殘疾人輔助裝置、犯罪屯、理分析和虛擬現實等各種領域，前景十分廣闊。
[0003] 視線跟蹤技術主要是針對人類眼睛運動的檢測與識別，從而檢測出用戶的注視點 或注視方向。在早期，由于技術W及設備的限制，檢測手段比較簡易貧乏，視線跟蹤方法主 要有直接觀察法、機械記錄法、后像法，運些方法受主觀影響大，精度很低，在使用中有很大 的局限性。隨著測量手段的發展，更加高級、精確的視線跟蹤方法開始出現，陸續出現了眼 電圖法、電磁線圈法等視線跟蹤方法，眼電圖法和電磁線圈法都屬于接觸式測量方法，使用 運兩種方法測量注視點會對被測對象產生一定的干擾。
[0004] 近年來，隨著計算機技術、圖像處理技術、電子技術的迅速發展，視線追蹤技術取 得了很大的進步，基于視覺的非侵入性、高精度眼動記錄技術成為主流;而在視頻圖像中精 確檢測并跟蹤人眼位置是基于視覺的眼動技術的核屯、。同時目前市面上的一些視線跟蹤裝 置仍然存在裝置笨重、價格昂貴、操作繁瑣、跟蹤精度低、用戶需佩戴頭盎等不足，因此，尋 找一種簡單便攜、低成本、高精度、用戶盡量不受限制的視線跟蹤方法及裝置具有重要意 義。
【發明內容】
[0005] 本發明的主要目的在于克服現有技術的缺點與不足，提供一種桌面便攜式視線跟 蹤方法，該方法可W對捕獲視頻中用戶的視線進行精確跟蹤定位，一般用于后期處理跟蹤。
[0006] 本發明的另一目的在于提供一種實現上述桌面便攜式視線跟蹤方法的裝置，該裝 置具有簡單便攜、成本低的優點。
[0007] 本發明的目的通過W下的技術方案實現:一種桌面便攜式視線跟蹤方法，包括步 驟：
[000引（1)系統標定:預先在屏幕上設置標定點，用戶用鼠標依次點擊屏幕上的標定點； 在上述點擊過程中捕獲用戶面部圖像；
[0009] (2)對捕獲的用戶面部圖像，進行人眼檢測、瞳孔定位、普爾欽亮斑定位，提取出瞳 孔的中屯、點坐標(Xp，yp)、兩個普爾欽亮斑的中屯、點坐標(Xgi，ygi)、（恥2，y拍）；計算兩個普爾 欽亮斑之間中間點到瞳孔中屯、點的特征向量
，勒及 兩個普爾欽亮斑之間的間距
，將特征向量(xgp，ygp)除W間距D， 得到標準化特征向量；
[0010] (3)擬合映射關系:利用屏幕標定點坐標，W及對應的面部圖像中提取的標準化特 征向量，得到實際注視點坐標與標準化特征向量之間的映射關系；
[0011] (4)實際視線跟蹤:在實際的跟蹤過程中，對捕獲的用戶面部圖像先進行步驟(2) 的操作，得到標準化特征向量，然后將標準化特征向量代入步驟(3)的映射關系得到實際的 注視點坐標;通過提取所有圖帖中的注視點坐標即可實現視線跟蹤。
[0012] 優選的，所述捕獲用戶面部圖像時采用兩個波長為850nm的紅外光源。由于瞳孔與 虹膜對于紅外光的吸收差異較大，紅外光源下采集的圖像中瞳孔清晰可見，不易受眼皮遮 擋，可更精準定位，且不受外界光照影響。
[0013] 為了減少數據處理量，優選的，對采集的用戶面部圖像先利用Adaboost級聯分類 器及化ar特征，通過化enCV的訓練器和檢測器，初步定位眼睛區域，設置合適大小窗口，得 到眼部圖像。
[0014] 優選的，在進行瞳孔定位之前，對眼部圖像先進行圖像預處理，步驟是:先對圖像 進行高斯平滑，然后對圖像進行灰度形態學開運算，W消除兩個紅外光源在瞳孔附近產生 的兩個普爾欽亮斑。便于后面瞳孔的精確定位。
[0015] 更進一步的，在圖像預處理后，先對瞳孔進行粗定位，步驟是:預設一個滑動窗口， 在圖像預處理后的圖像中捜索像素灰度值最小區域的中屯、位置，設其平均灰度值為go;設 定一闊值m，捜索上述像素灰度值最小區域的附近位置，找出滑動窗口內平均灰度值在[go- m，go+m]的區域，取W上所有區域內各窗口中屯、的坐標平均值，作為瞳孔的粗定位位置。
[0016] 優選的，所述步驟(2)中，瞳孔定位的方法是:在瞳孔中屯、左右附近區域分別捜索 灰度梯度值最大的點，即為瞳孔邊緣點，取運兩點的平均灰度值作為二值化闊值T，然后W 此闊值對圖像進行二值化，二值化后進行邊緣提取，將提取的瞳孔邊緣進行楠圓擬合，得到 瞳孔的中屯、點坐標(xp，yp)、長短軸(a，b)W及偏角0。
[0017] 更進一步的，在瞳孔定位過程中，二值化后利用化nny算子進行邊緣提取。
[0018] 優選的，所述步驟(2)中，普爾欽亮斑定位的方法是:在瞳孔定位步驟的基礎上，將 開運算前的圖像減去開運算后的圖像，得到包含亮斑的差分圖像;設置兩個闊值Tl及T2,捜 索差分圖像中所有像素值大于Tl且距瞳孔中屯、距離小于T2的點，得到亮斑點集合;捜索差分 圖像中灰度值最大的位置^，7")，^(亂，7")、（亂+1，7")作為初始類(：1八2的中屯、，利用聚類 算法對亮斑點集合進行聚類，得到兩個普爾欽亮斑的中屯、位置。
[0019] 更進一步的，所述利用聚類算法對亮斑點集合進行聚類的方法是：
[0020] (2-1)^差分圖像中灰度值最大的位置(亂，7。）、（亂+1，7。)作為初始類(：1^2的中 屯、；
[0021] (2-2)計算各亮斑點分別到C1、C2類中屯、的距離，距離哪一類近則將該點劃分為此 類；
[0022] (2-3)計算C1、C2類的質屯、位置，W此質屯、位置作為C1、C2類新的中屯、；
[0023] (2-4)重復步驟(2-2 )、（ 2-3 )，經過數次迭代，直至Cl、C2類的中屯、位置不再變化；
[0024] (2-5) W開運算前亮斑點像素灰度值的平方為加權因子，計算C1、C2類的加權質屯、 位置，得到兩類的加權質屯、位置，即為兩個亮斑點的中屯、位置(xgi，ygi)、（xg2，yg2)。
[0025] 優選的，所述步驟(3)中，已知用戶標定時的實際注視點坐標，W及兩普爾欽亮斑 中間點到瞳孔中屯、點的標準化特征向量(gp，y/ gp)，基于最小二乘法，將標準化特征向量 和對應的實際注視點坐標進行二項式擬合，得到標準化特征向量和對應的實際注視點坐標 之間的映射關系(xs，ys)=f (y gp，/gp)，擬合的形式為：
[0026]
[0027] -種實現上述桌面便攜式視線跟蹤方法的裝置，包括兩個波長為850nm的紅外LED 光源、一個紅外CCD相機和控制主機，兩個紅外Lm)光源呈水平對稱分布，分別假設在一支架 上，支架S維方向位置可調;所述紅外CCD相機中設有紅外濾光片;紅外CCD相機與控制主機 相連，所述控制主機中包括圖像采集控制模塊W及視線跟蹤模塊，所述視線跟蹤模塊采用 上述桌面便攜式視線跟蹤方法實現視線跟蹤。
[0028] 本發明與現有技術相比，具有如下優點和有益效果：
[0029] 1、本發明方法采用簡單便攜的裝置，所需器材少，成本低廉，操作簡便，對用戶干 擾少。在特征點定位過程中提出了一種簡單精確的定位普爾欽亮斑W及瞳孔的方法，提高 了定位速度及精度。本發明也可用于其它對瞳孔定位W及瞳孔形狀要求比較精確的領域， 如疲勞駕駛檢測等。
[0030] 2、現有技術中的系統標定通常是讓用戶直接注視每個標定點一段時間，本發明方 法是用鼠標依次點擊屏幕上的標定點，該方法具有可減小用戶分屯、、目光聚焦不準等影響， 加快校準過程。
[0031] 3、本發明裝置中采用了紅外Lm)光源進行圖像的采集，由于瞳孔與虹膜對于紅外 光的吸收差異較大，紅外光源下采集的圖像中瞳孔清晰可見，不易受眼皮遮擋，可更精準定 位，且不受外界光照影響。
【附圖說明】
[0032] 圖1是本實施例視線跟蹤裝置硬件系統搭建示意圖；
[0033] 圖2是本實施例視線跟蹤方法的流程圖；
[0034] 圖3是本實施例屏幕上初始化標定點位置示意圖；
[0035] 圖4是本實施例方法中標準化特征向量提取流程圖；
[0036] 圖5是本實施例特征點定位效果圖。
【具體實施方式】
[0037] 下面結合實施例及附圖對本發明作進一步詳細的描述，但本發明的實施方式不限 于此。
[003引實施例1
[0039]本實施例所述的桌面便攜式視線跟蹤方法基于圖1所述的裝置，該裝置安裝于屏 幕與用戶之間的合適位置，包括兩個波長為850nm的紅外Lm)光源、一個紅外CCD相機和控制 主機，兩個紅外Lm)光源呈水平對稱分布，分別架設在一支架上，支架=維方向位置可調。紅 夕FCCD相機中設有紅外濾光片。紅外CCD相機與控制主機相連，所述控制主機中包括圖像采 集控制模塊W及視線跟蹤模塊，所述視線跟蹤模塊采用下面所述的桌面便攜式視線跟蹤方 法實現視線跟蹤的功能。
[0040] 下面結合圖2-圖5對本實施例桌面便攜式視線跟蹤方法的步驟進行具體說明。
[0041] ( - )按圖1所示方式搭建系統，安裝于屏幕與用戶之間的合適位置。
[0042] (二）系統標定。用戶用鼠標依次點擊屏幕上的標定點，標定點位置如圖3所示。用 戶點擊的同時，系統捕獲此刻用戶的面部圖像，且可W得到用戶此刻的實際注視點坐標 (Xs,Ys)〇
[0043] (=)圖像采集。通過圖1所示的裝置實時采集用戶面部視頻。
[0044] (四）特征點定位。本發明中采用兩個普爾欽亮斑中屯、W及瞳孔中屯、作為特征點， 定位效果參見圖5。
[0045] (1)眼睛區域定位。此過程可利用Adaboost級聯分類器及化ar特征，通過化enCV的 訓練器和檢測器，初步定位眼睛區域，設置合適大小窗口，得到眼部圖像。
[0046] (2)圖像預處理。在W上得到的眼睛區域內進行高斯平滑，消除噪點。由于兩個紅 外光源在瞳孔附近會產生兩個普爾欽亮斑，對瞳孔的精確定位會造成影響，因此定位瞳孔 前先對圖像進行灰度形態學開運算，即先進行灰度形態學腐蝕操作，再進行膨脹操作，得到 消除亮斑后的眼部圖像，便于瞳孔的精確定位。
[0047] (3)瞳孔粗定位。紅外光源下，圖像中的瞳孔特征非常明顯，瞳孔區域像素灰度值 小，周圍像素灰度值大。利用此特征，可設置一個合適大小的滑動窗口，在開運算后的圖像 中捜索像素灰度值最小區域中屯、位置，設其平均灰度值為go,再捜索其附近位置，取滑動窗 口內平均灰度值在[g0-m，go+m]的位置，取W上所有運些窗口中屯、位置的坐標平均值，作為 瞳孔的粗定位位置。
[0048] (4)瞳孔精確定位。由于瞳孔灰度值非常小，跟周圍像素灰度值差別很大，因此瞳 孔邊緣的像素點梯度值很大。根據此特征，在瞳孔粗定位的基礎上，在瞳孔粗定位位置左右 附近區域分別捜索灰度梯度值最大的點，即為瞳孔邊緣點。取運兩點的平均灰度值作為二 值化闊值T，然后W此闊值對圖像進行二值化。二值化后利用Canny算子進行邊緣提取，將提 取的瞳孔邊緣進行楠圓擬合，便可得到瞳孔的中屯、點坐標(xp，yp)、長短軸(a, b) W及偏角0。
[0049] (5)普爾欽亮斑定位。將開運算前的圖像減去開運算后的圖像，得到包含亮斑的圖 像，此時的兩個亮斑區域非常明顯，捜索圖中灰度值最大的位置，設其坐標為(xm，ym)，顯然 此位置在其中一個亮斑內部。設置合適的闊值Tl及T2,捜索差分圖像中所有像素值大于Tl且 距瞳孔中屯、距離小于T2的點，得到亮斑點的集合;捜索圖中灰度值最大的位置(Xm，ym)，利用 聚類算法對亮斑點集合進行聚類，得到兩個亮斑的中屯、位置。具體步驟如下：
[0050] 81:分別^^，7。）、相+1，7。)作為初始類(：1人2的中屯、；
[0051] S2:計算各亮斑點分別到Cl、C2類中屯、的距離，距離哪一類近則將該點劃分為此 類；
[0化2] S3:計算Cl、C2類的質屯、位置，W此質屯、位置作為Cl、C2類新的中屯、；
[0化3] S4:重復S2、S3步驟，經過數次迭代，Cl、C2類的中屯、位置將不再變化；
[0054] S5: W開運算前亮斑點像素灰度值的平方為加權因子，計算C1、C2類的加權質屯、位 置，得到兩類的加權質屯、位置，即為兩個亮斑點的中屯、位置(xgi，ygi)、（xg2，yg2)。
[0055] 通過對捕獲的圖像進行特征點的定位，得到瞳孔中屯、坐標(xp，yp) W及兩個普爾欽 亮斑中屯、坐標(Xgi，ygi)、（ Xg2，yg2)，從而得到兩個普爾欽亮斑中間點到瞳孔中屯、點的特征向 量I
W及兩個普爾欽亮斑的間距
再將特征向量(Xgp，ygp)除W間距D，得到標準化特征向量(gp，/ gp)，標準化特征向量提取 流程參見圖4，
[0056] (五)計算實際注視點坐標。
[0057] (1)擬合映射關系。利用用戶標定時的9個標定點坐標(Xs，Ys)，W及對應的標準化 特征向量gp，/ gp)，用最小二乘法原理，將實際注視點坐標與對應的標準化特征向量進 行二項式擬合，得到實際注視點坐標與標準化特征向量之間的映射關系(Xs，ys) = f (gp， y'gp)，擬合的形式為：
[0化引
[0059] (2)坐標轉換。在實際的跟蹤過程中，將每一帖的標準化特征向量gp，/gp)代入 映射關系^3,73)=^義％。，7%。），即可得到實際的注視點坐標^3,73)。
[0060] (六)重復(S)、（四）及(五）中（2)步驟，即可實現對視線的跟蹤。
[0061] 上述實施例為本發明較佳的實施方式，但本發明的實施方式并不受上述實施例的 限制，其他的任何未背離本發明的精神實質與原理下所作的改變、修飾、替代、組合、簡化， 均應為等效的置換方式，都包含在本發明的保護范圍之內。
【主權項】
1. 一種桌面便攜式視線跟蹤方法，其特征在于，包括步驟： (1) 系統標定:預先在屏幕上設置標定點，用戶用鼠標依次點擊屏幕上的標定點；在上 述點擊過程中捕獲用戶面部圖像； (2) 對捕獲的用戶面部圖像，進行人眼檢測、瞳孔定位、普爾欽亮斑定位，提取出瞳孔的 中心點坐標(xP，y P)、兩個普爾欽亮斑的中心點坐標(xgi，ygi)、（xg2，yg2);計算兩個普爾欽亮 斑之間中間點到瞳孔中心點的特征向量，以及兩個普爾欽亮斑之間的間班 ，將特征向量(xgP，ygP)除以間距D，得到 標準化特征向量； (3) 擬合映射關系:利用屏幕標定點坐標，以及對應的面部圖像中提取的標準化特征向 量，得到實際注視點坐標與標準化特征向量之間的映射關系； (4) 實際視線跟蹤:在實際的跟蹤過程中，對捕獲的用戶面部圖像先進行步驟(2)的操 作，得到標準化特征向量，然后將標準化特征向量代入步驟(3)的映射關系得到實際的注視 點坐標;通過提取所有圖幀中的注視點坐標即可實現視線跟蹤。2. 根據權利要求1所述的桌面便攜式視線跟蹤方法，其特征在于，所述捕獲用戶面部圖 像時采用兩個波長為850nm的紅外光源。3. 根據權利要求1所述的桌面便攜式視線跟蹤方法，其特征在于，對采集的用戶面部圖 像先利用Adaboost級聯分類器及Haar特征，通過OpenCV的訓練器和檢測器，初步定位眼睛 區域，設置合適大小窗口，得到眼部圖像。4. 根據權利要求1所述的桌面便攜式視線跟蹤方法，其特征在于，在進行瞳孔定位之 前，對眼部圖像先進行圖像預處理，步驟是:先對圖像進行高斯平滑，然后對圖像進行灰度 形態學開運算，以消除兩個紅外光源在瞳孔附近產生的兩個普爾欽亮斑。5. 根據權利要求4所述的桌面便攜式視線跟蹤方法，其特征在于，在圖像預處理后，先 對瞳孔進行粗定位，步驟是:預設一個滑動窗口，在圖像預處理后的圖像中搜索像素灰度值 最小區域的中心位置，設其平均灰度值為go;設定一閾值m，搜索上述像素灰度值最小區域 的附近位置，找出滑動窗口內平均灰度值在[g〇-m，g()+m]的區域，取以上所有區域內各窗口 中心的坐標平均值，作為瞳孔的粗定位位置。6. 根據權利要求5所述的桌面便攜式視線跟蹤方法，其特征在于，所述步驟(2)中，瞳孔 定位的方法是:在瞳孔粗定位位置左右附近區域分別搜索灰度梯度值最大的點，即為瞳孔 邊緣點，取這兩點的平均灰度值作為二值化閾值T，然后以此閾值對圖像進行二值化，二值 化后進行邊緣提取，將提取的瞳孔邊緣進行橢圓擬合，得到瞳孔的中心點坐標(x P，yP)、長短 軸(a, b)以及偏角Θ。7. 根據權利要求6所述的桌面便攜式視線跟蹤方法，其特征在于，所述步驟(2)中，普爾 欽亮斑定位的方法是:在步驟(6)的基礎上，將開運算前的圖像減去開運算后的圖像，得到 包含亮斑的差分圖像;設置兩個閾值^及!^，搜索差分圖像中所有像素值大于Ti且距瞳孔中 心距離小于T 2的點，得到亮斑點集合;搜索差分圖像中灰度值最大的位置(Xm，ym)，以（x m， 7?)、（^+1，7?)作為初始類(：1、02的中心，利用聚類算法對亮斑點集合進行聚類，得到兩個普 爾欽亮斑的中心位置。8. 根據權利要求7所述的桌面便攜式視線跟蹤方法，其特征在于，所述利用聚類算法對 亮斑點集合進行聚類的方法是： (2-1)以差分圖像中灰度值最大的位置(&^)、（&+1^)作為初始類(：1、02的中心； (2-2)計算各亮斑點分別到C1、C2類中心的距離，距離哪一類近則將該點劃分為此類； (2-3)計算C1、C2類的質心位置，以此質心位置作為C1、C2類新的中心； (2-4)重復步驟(2-2)、（ 2-3)，經過數次迭代，直至C1、C2類的中心位置不再變化； (2-5)以開運算前亮斑點像素灰度值的平方為加權因子，計算C1、C2類的加權質心位 置，得到兩類的加權質心位置，即為兩個亮斑點的中心位置(Xgl，ygl)、（Xg2，y g2)。9. 根據權利要求1所述的桌面便攜式視線跟蹤方法，其特征在于，所述步驟(3)中，已知 用戶標定時的實際注視點坐標，以及兩普爾欽亮斑中間點到瞳孔中心點的標準化特征向量 基于最小二乘法，將標準化特征向量和對應的實際注視點坐標進行二項式擬 合，得到標準化特征向量和對應的實際注視點坐標之間的映射關系(xs，ys) = f (X' gP，y' gP)， 擬合的形式為：10. -種實現權利要求1-9任一項所述桌面便攜式視線跟蹤方法的裝置，其特征在于， 包括兩個波長為850nm的紅外LED光源、一個紅外CCD相機和控制主機，兩個紅外LED光源呈 水平對稱分布，分別假設在一支架上，支架三維方向位置可調;所述紅外CCD相機中設有紅 外濾光片;紅外CCD相機與控制主機相連，所述控制主機中包括圖像采集控制模塊以及視線 跟蹤模塊，所述視線跟蹤模塊采用上述桌面便攜式視線跟蹤方法實現視線跟蹤。
【文檔編號】G06K9/00GK105955465SQ201610263603
【公開日】2016年9月21日
【申請日】2016年4月25日
【發明人】歐陽丹, 羅斌, 何賽靈, 蔡夫鴻
【申請人】華南師范大學