專利名稱：瞳孔定位方法及系統的制作方法
技術領域：
本發明涉及一種瞳孔定位方法及系統，特別是涉及一種可用眼睛控制計算機的瞳 孔定位方法及系統。
背景技術：
目前人眼追蹤(Eye tracking)技術以是否與人眼接觸區分為接觸式及非 接觸式， 接觸式人眼追蹤技術可區分為搜尋線圈法及眼電圖法，非接觸式人眼追蹤技術主要是以視 覺辨識為基礎(Vision based)，可區分為頭戴式(Head-mount)或免頭戴式(Free-head)。在接觸式人眼追蹤技術方面，搜尋線圈法(Search coil)是讓使用者配戴具有感 應線圈的軟式鏡片，當使用者轉動眼球進而帶動鏡片時，感應線圈會因為磁通量變化產生 感應電動勢，此電動勢大小即代表眼球偏轉的角度，但是此方法的缺點在于容易受到使用 者眼球狀況的影響，如眼部的分泌物等，且軟式鏡片是雙層結構，會影響使用者的視力；至 于眼電圖(EOG)法，則是在眼部周圍貼附多數電極，并利用所述電極偵測眼球轉動所產生 的電壓差來判斷其上下左右的角度，缺點是臉部貼附電極的皮膚電阻容易因為角質分泌使 得取得的電訊號不穩定，且僅能記錄眼球的巨轉向而無法記錄較微小的角度變化。在頭戴式人眼追蹤技術方面，使用者必須配戴一附有小型攝影機的眼鏡，由于眼 部及攝影機的相對距離固定，如此就不會因為臉部偏移或眼部的相對距離變化導致判斷不 準確，因而在使用者使用時就必須將眼鏡固定于頭部借此固定小型攝影機與眼睛的相對位 置，對使用者而言不但不方便也不舒適。免頭戴式人眼追蹤技術方面，國外有配合屏幕及雙CXD攝影機的眼部追蹤器(Eye trackers)，臺灣較有名的則有林宸生等人使用屏幕及單CCD攝影機的相關研究。然而，前 述的免頭戴式人眼追蹤技術采用較復雜的運算，另外，雙CCD攝影機的眼部追蹤器雖然可 以對指標精確定位，但是造價十分昂貴，且需要采用兩個CCD攝影機。以往眼控技術的缺失是無論接觸式或非接觸式在實施時，由于需要精準的定位， 而精準定位需搭配昂貴的軟硬件設備，如此一來，使眼控技術無法普及化讓一般大眾也能 使用。
發明內容
為了克服現有的眼控技術需昂貴設備才有高精確度的問題，本發明提供一種能只 需程序判斷就能準確定位的瞳孔定位方法。于是，本發明瞳孔定位方法解決其技術問題所采用的技術方案是利用一種可由程 序軟件實現的瞳孔定位方法，所述方法是在一使用者注視一屏幕時，擷取使用者的眼部影 像，并利用眼部影像定位出一瞳孔中心及一反光點；以瞳孔中心至反光點的距離界定出一 距離值，并以瞳孔中心位置界定一基準線配合反光點相對于瞳孔中心的一向量界定出一角 度值；利用觀看不同位置的距離值及角度值得到的一角度-距離分布圖后，以觀看任一位 置的距離值及角度值依據一預定方式在角度-距離分布圖對應得到一坐標點，借此換算觀看屏幕任一點時對應于屏幕的位置，最后定位出使用者觀看屏幕的位置。使用者只需安裝 本發明方法的計算機程序軟件進行判別，就能達到高精確度的目的。為了克服現有的眼控技術需昂貴設備的問題，本發明提供一種能只需簡單設備就能準確定位的瞳孔定位系統。于是，本發明瞳孔定位系統解決其技術問題所采用的技術方案是包括一發射一光 束照射一使用者眼部的光源、一擷取使用者的眼部影像的攝影機及一運算模塊；運算模塊 具有一特征定位單元、一距離-角度處理單元及一坐標換算單元。特征定位單元取得眼部影像并定位出一瞳孔中心及一反光點；距離-角度處理單 元以瞳孔中心至反光點的距離界定出一距離值，并以瞳孔中心位置界定一基準線配合反光 點相對于瞳孔中心的一向量界定出一角度值；坐標換算單元利用觀看不同位置的距離值及 角度值得到的一角度-距離分布圖后，以觀看任一位置的距離值及角度值依據一預定方式 在角度-距離分布圖對應得到一坐標點，借此換算觀看屏幕任一點時對應于屏幕的位置。借此，使用者只需具備前述的光源、攝影機及運算模塊，無須其它昂貴的設備，因 此能達到降低硬件成本的目的。本發明整體的有益效果在于無須在人體佩帶額外裝備而能降低成本，并利用觀 看不同位置的得到的角度-距離分布圖來換算觀看屏幕任一點時對應于屏幕的位置，因此 無須復雜計算而能對定位功能更為準確且有效的控制。
圖1是一示意圖，說明本發明瞳孔定位系統的較佳實施例；圖2是一示意圖，說明以瞳孔中心配合反光點界定出一距離值及一角度值；圖3是一流程圖，說明本發明的瞳孔定位方法的較佳實施例；圖4是一流程圖，說明本發明的瞳孔定位系統使用的分組對應法的實施例中訓練 階段的流程；圖5是一示意圖，說明屏幕劃分為多組區域，但每次只顯示其中一組區域；圖6是一示意圖，說明瞳孔中心及反光點的定位方法；圖7是一示意圖，說明距離值及角度值與屏幕各組區域的距離-角度差異；圖8是一示意圖，說明區域“1”至“16”的距離_角度分布圖，且以距離值Li及角 度值θ i可對應在角度-距離分布圖中得到一坐標點；圖9是一流程圖，說明本發明的瞳孔定位系統使用的分組對應法的實施例中應用 階段的流程；圖10是一示意圖，說明對應各區域得到的距離-角度的點集合會得到一不規則的 扇形分布；圖11是一示意圖，說明以少數距離-角度點所畫出的一扇形，利用一扭正運算可 轉換成一較為規則的矩形，然后再將矩形的位置對應至屏幕的坐標；圖12是一流程圖，說明本發明的瞳孔定位系統使用的內插對應法的實施例中應 用階段的流程；圖13是一流程圖，說明本發明的瞳孔定位系統使用的內插對應法的實施例中應 用階段的流程。
具體實施例方式下面結合附圖及實施例對本發明進行詳細說明 在本發明被詳細描述之前，要注意的是，在以下的說明內容中，類似的組件是以相 同的編號來表示。一、系統架構及方法概念參閱圖1，本發明瞳孔定位系統1的較佳實施例包括一光源11、一攝影機12、一運 算模塊13及一屏幕14 ；運算模塊13包括一訓練單元130、一特征定位單元131、一距離-角 度處理單元132及一坐標換算單元133。本較佳實施例中，運算模塊13是一儲存媒體記錄的計算機程序，用以令計算機執 行本發明的瞳孔定位方法，所述方法依照下列步驟實施參閱圖1至圖3，訓練單元130是每次在屏幕14顯示一目標區域供使用者觀看，接 續執行步驟301及步驟302后再顯示另一目標區域供使用者觀看，直到一預定數量的目標 區域都顯示完畢；特征定位單元131取得一使用者4的眼部影像401，并定位出一瞳孔中心 41及一反光點42 (步驟301)，且眼部影像401由攝影機12拍攝，反光點42是利用光源11 發射一光束照射人眼反射而得。接著，距離-角度處理單元132以瞳孔中心41至反光點42的距離界定出一距離 值L，并以瞳孔中心41位置界定一基準線(即水平軸)配合反光點42相對于瞳孔中心41 的一向量43界定出一角度值θ (步驟302)。然后，坐標換算單元133利用觀看不同位置的距離值L及角度值θ得到的一角 度_距離分布圖(步驟303)，前述訓練階段的步驟301至步驟303完畢后，即進入應用階 段，讓使用者觀看屏幕14的任一位置時，令所述位置的距離值及角度值依據一預定方式在 角度-距離分布圖對應得到一坐標點(步驟304)，如此就可以得到觀看屏幕14任一點時對 應于屏幕14的位置。需說明的是，本發明定義角度值θ為負數時，依據下述公式將其轉換為0度至180 度之間的角度if Angle < OthenAngle = 180+Angle ；以下介紹距離值L及角度值θ如何換算對應于屏幕14的指針101位置的二個較 佳實施例，其中一種預定方式是分組對應法，另一種則是內插對應法。二、分組對應法的實施例本發明的瞳孔定位方法可區分為一訓練階段(如圖4)及一應用階段(如圖9)，各 階段的流程詳述如下參閱圖4，訓練階段的流程包括下述步驟配合圖1，訓練單元130將屏幕14預先劃分多組區域，每次只顯示其中一組區域， 每次顯示一組區域供使用者觀看時，控制特征定位單元131執行定位及控制距離_角度處 理單元132取得各組區域的距離-角度；及若判斷所有區域已顯示完畢時，取得各組區域的 距離-角度分布圖。如圖5所示，屏幕14劃分為4x4 = 16組區域，但每次只顯示其中一組區域；然后，訓練階段的流程開始時，先設定計數值I = 1(步驟201)，每次顯示一區域I供使用者觀看 (步驟202)。接著，擷取一使用者的眼部影像401 (步驟203)，并利用眼部影像401定位出一瞳 孔中心41及一反光點42 (步驟204)；如圖6所示，瞳孔中心41的定位方法是將眼部影像 401經由動態二值化(Adaptive threshold)及型態學(Morphology)的封閉(Close)運算 處理后，即可計算出瞳孔中心41的位置。然后，利用瞳孔中心及反光點界定出一距離值L及一角度值θ (步驟205)；將計 數值1+1 (步驟206)；再判斷I = 16 (步驟207) ？若否，則繼續重復步驟202至207，直到 判斷I = 16時，表示已經取得各組區域的距離-角度分布圖(步驟208)。關于距離值L及角度值θ如何界定可參考前述圖2的說明文字，至于距離值L及 角度值θ與屏幕14各組區域的距離-角度差異說明如下參閱圖7 (a)，屏幕14先顯示“ 1 ”區域，此時得到距離值Ll及角度值θ 1 ；參閱圖 7 (b)，屏幕14顯示“2”區域，此時得到距離值L2及角度值θ 2 ；參閱圖7 (c)，屏幕14顯示 “3”區域，此時得到距離值L3及角度值θ 3 ；參閱圖7 (d)，屏幕14顯示“4”區域，此時得到 距離值L4及角度值θ 4 ；值得注意的是，由于眼睛視線是水平移動，因此距離值Li、L2、L3 及L4不會差距太大，但是角度值θ 1、θ 2、θ 3及θ 4則會有較大變化。但是當眼睛視線下移至“ 1”、“ 2 ”、“ 3 ”及“ 4 ”的下一排數字“ 5 ”、“ 6 ”、“ 7 ”及“ 8，， 時，因為瞳孔下移一小段距離，使得注視“5”、“6”、“7”及“8”時得到的距離值將會變小，角 度值則各自對應與θ 1、θ 2、θ 3及θ 4不會有太大差距。參閱圖8，依據前述的原理，再加上因為眼球為球面而非平面，得到如區域“ 1 ”至 “16”的距離-角度分布圖。參閱圖9，并配合圖6，分組對應法于實際應用階段的流程包括下述步驟擷取一使用者的眼部影像401 (步驟211)，并利用眼部影像401定位出一瞳孔中 心41及一反光點42(步驟212)；利用瞳孔中心及反光點界定出一距離值Li及一角度值 θ (步驟213)；以上步驟請參考圖2的說明，不再贅述。再參閱圖8，以距離值Li及角度值θ i可對應在角度-距離分布圖中得到一坐標 點5，利用最小目標函式找出距離坐標點5最近的區域(步驟214)，如此即完成屏幕指針的 定位功能(步驟215)。最小目標函式的公式如下Min Obj. = Wl | Dist_t_Dis_i |+W2 | Angle_t_Angle_i(i = 1 16)/Dist_i及Angle_i是目標距離值及角度值，Dis_t及Angle_t是目前距離值及角 度值；Wl及W2為分配權重，此是為了使二者貢獻均衡/DiSt = V[(x,-X2)2 +(y,-y2)2]. / 距離 /公式 ι
>
-ι Vi 一 ViAngle = tan"/ 角度 /公式 2
_ xI _ 」.
由本較佳實施例可知，本方法是利用多組區域得到的瞳孔中心及反光點的距離及 角度，來與與屏幕的多組區域的空間，彼此建立起一對應的關系，進而得到定位功能效果；然而，分組對應法需要看越多組區域，其定位效果才會越好，因而有下面介紹的內插對應法 來改善此缺點。三、內插對應法的實施例參閱圖10，若將屏幕劃分為8x8 = 64組區域，則對應各區域得到的距離-角度的 點集合會得到一不規則的扇形分布；如此一來，想利用內插法得到屏幕對應的坐標就遇到 了困難。參閱圖11，以少數距離-角度點所畫出的一扇形51，利用一扭正(Un-warping)運算可轉換成一較為規則的矩形52，然后再將矩形52的位置對應至屏幕14的坐標，如此可得 至IJ相當近似且良好的對應效果。本實施例的瞳孔定位方法也是區分為一訓練階段及一應用階段，各階段的流程詳 述如下參閱圖12，訓練階段的流程類似圖2，也包括下述步驟首先，設定計數值I = 1(步驟601)，然后，每次顯示區域I供使用者觀看(步驟 602)；接著，擷取一使用者的眼部影像401 (步驟603)，并利用眼部影像401定位出一瞳孔 中心41及一反光點42 (步驟204)；然后，利用瞳孔中心及反光點界定出一距離值L及一角 度值θ (步驟605)；將計數值1+1 (步驟606)；再判斷I = 16 (步驟607) ？若否，則繼續重 復步驟02至07，直到判斷I = 16時，表示已經取得各組區域的距離-角度分布圖(步驟 608)。不同的是，本方法還要將前述的距離-角度分布圖經過一扭正運算以得到一正規 化分布圖(步驟609)，利用仿射轉換技術校正正規化分布圖(步驟610)。步驟609求得的正規化的距離_角度分布圖，其公式如下
<formula>formula see original document page 8</formula>
扭正運算是將未扭正前的取樣點(X，Y) = {(Xl，yi)，· ·(xn，yn)}轉正為目標點(Χτ， Υτ) = {(x ,yT1)，...(xTn，yYn)}，如輸入至少 6 組未扭正前的樣本點(x1; yi)，(x2, y2)，(χ3, y3)，(χ4，y4)，(χ5' y5) (χ6，y6)轉正為相對應的 6 組目標點(U1，V1)，(u2, v2)，(u3, v3), (u4, V4), (u5, V5) (u6, V6)；其中X，Y表示距離值Li，角度值θ i，η=取樣數目。為了得到二階導函數的最佳參數，步驟609的扭正運算可借由反矩陣的運算求得 a0 a5，k b5共12組系數的最佳解；求得a0 a5，b0 b5共12組系數的解之后，將 目前的未知點(X，Y)帶入公式4，就可以求得新坐標點(U，ν)的值。步驟610是利用仿射轉換(AfTine transform)技術對瞳孔位置進行移動校正 (Moving calibration)，移動校正主要是將坐標排除其影像縮放、影像平移及影像旋轉影響，進而得到一正規化的坐標。<formula>formula see original document page 9</formula>公式 5其中(χ’，y’)是新坐標，a, b, c, d, e, f是仿射轉換的系數。仿射轉換的計算方 式，是輸入未校正前的屏幕的任三個角落的三對坐標點如=(X1A), (x2，y2)，(x3，y3)及校正 后的屏幕的任三個角落的三對坐標點(χ' ” ι' (x' 2，y' 2) (χ' 3，y' 3)，如此即可 解出a f共6個仿射轉換系數，再將目前的未知點(X，Y)帶入公式5，就可以求得新坐標 點(x，，y，)的值。參閱圖13，內插對應法于實際應用階段的流程包括下述步驟擷取一使用者的眼部影像401 (步驟611)，并利用眼部影像401定位出一瞳孔中 心41及一反光點42 (步驟612)；利用瞳孔中心及反光點界定出一距離值Li及一角度值 θ (步驟613)；以上步驟請參考圖2的說明，不再贅述。接著，將距離值Li及角度值θ i (即X與Y)對應在校正后的正規化分布圖中得到 一坐標點，再將坐標點以內插法換算對應于屏幕的位置(步驟614)，如此即完成屏幕定位 功能(步驟615)。四、結論由以上說明可知，本發明瞳孔定位方法及系統采用非接觸式技術而具有以下的優點。1.無須在人體佩帶額外裝備，使用者無須花費昂貴的費用。2.分組對應法是利用多組區域得到的瞳孔中心及反光點的距離及角度來與與屏 幕的多組區域的空間彼此建立起一對應的關系，因此無須復雜計算而能對定位功能準確且 有效的控制。3.內插對應法以少數距離-角度點所畫出的一扇形利用一扭正運算轉換成一較 為規則的矩形，然后再將矩形對應至屏幕，如此可得到相當近似且良好的對應效果，且讓使 用者在訓練階段只要觀看少數位置就能達到良好的定位效果，不但精確也能更為省力。
權利要求
一種瞳孔定位方法，用以在一使用者注視一屏幕時定位出使用者觀看屏幕的位置，其特征在于所述方法包含下述步驟(1)擷取使用者的眼部影像，并利用眼部影像定位出一瞳孔中心及一反光點；(2)以瞳孔中心至反光點的距離界定出一距離值，并以瞳孔中心位置界定一基準線配合反光點相對于瞳孔中心的一向量界定出一角度值；及(3)利用觀看不同位置的距離值及角度值得到的一角度-距離分布圖；及(4)以觀看任一位置的距離值及角度值依據一預定方式在角度-距離分布圖對應得到一坐標點，借此得到觀看屏幕任一點時對應于屏幕的位置。
2.如權利要求1所述的瞳孔定位方法其特征在于所述步驟(3)是將屏幕預先劃分多 組區域，每次只顯示其中一組區域，并執行包括下述步驟(al)每次顯示一組區域供使用者觀看時，執行步驟(1)及步驟(2)；及 (a2)若判斷所有區域已顯示完畢時，取得對應各組區域的距離_角度分布圖。
3.如權利要求2所述的瞳孔定位方法，其特征在于所述步驟(4)的預定方式是一分 組對應法，所述分組對應法包括下述步驟(a3)使用者觀看屏幕的任一位置時，執行步驟(1)及步驟(2)以得到位置的一距離值 及一角度值；(a4)以距離值及角度值在角度-距離分布圖中得到一坐標點；及 (a5)利用一最小目標函式找出距離坐標點最近的區域，借所述區域換算對應于屏幕的 位置。
4.如權利要求3所述的瞳孔定位方法，其特征在于所述最小目標函式的公式如下 Min Obj = Wl |Dist_t-Dis_i |+W2|Angle_t-Angle_i I ；Dist_i 及 Angle_i 是目標距離值及 角度值，Dis_t及Angle_t是目前距離值及角度值，Wl及W2為分配權重。
5.如權利要求1所述的瞳孔定位方法，其特征在于所述步驟(3)是將屏幕預先劃分 多組區域，每次只顯示其中一組區域，并執行包括下述步驟(bl)每次顯示一組區域供使用者觀看時，執行步驟(1)及步驟(2)；(b2)若判斷所有區域已顯示完畢時，取得一包括各組區域的距離-角度分布圖；(b3)將距離-角度分布圖經過一扭正運算以得到一正規化分布圖；及(b4)利用仿射轉換技術校正正規化分布圖。
6.如權利要求5所述的瞳孔定位方法，其特征在于所述步驟(4)的預定方式是一內 插對應法，包括下述步驟(b5)使用者觀看屏幕的任一位置時，執行步驟(1)及步驟(2)以得到位置的一距離值 及一角度值；(b6)以距離值及角度值對應在校正后的正規化分布圖中得到一坐標點；及 (b7)將坐標點以內插法換算對應于屏幕的位置。
7.一種瞳孔定位系統，其特征在于瞳孔定位系統包括 一光源，發射一光束照射一使用者的眼部；一攝影機，擷取使用者的眼部影像；及 一運算模塊，具有一特征定位單元，取得眼部影像并定位出一瞳孔中心及一反光點，一距離-角度處理單元，以瞳孔中心至反光點的距離界定出一距離值，并以瞳孔中心 位置界定一基準線配合反光點相對于瞳孔中心的一向量界定出一角度值，及一坐標換算單元，利用觀看不同位置的距離值及角度值得到的一角度-距離分布圖 后，以觀看任一位置的距離值及角度值依據一預定方式在角度-距離分布圖對應得到一坐 標點，借此得到觀看屏幕任一點時對應于屏幕的位置。
8.如權利要求7所述的瞳孔定位系統，其特征在于所述運算模塊還具有一訓練單 元，用以將屏幕預先劃分多組區域，每次只顯示其中一組區域，訓練單元并執行包括下述步 驟每次顯示一組區域供使用者觀看時，控制特征定位單元執行定位及控制距離_角度處 理單元取得各組區域的距離_角度。
9.如權利要求8所述的瞳孔定位系統，其特征在于所述坐標換算單元執行的預定方 式是一分組對應法，其包括下述步驟使用者觀看屏幕的任一位置時，控制特征定位單元執行定位及控制距離_角度處理單 元取得一距離值及一角度值；以距離值及角度值對應在角度-距離分布圖中得到一坐標點；及利用一最小目標函式找出距離坐標點最近的區域，借所述區域換算對應于屏幕的位置。
10.如權利要求9所述的瞳孔定位系統，其特征在于所述最小目標函式的公式如下 Min Obj = Wl |Dist_t-Dis_i |+W2|Angle_t-Angle_i I ；Dist_i 及 Angle_i 是目標距離值及角度值，Dis_t及Angle_t是目前距離值及角度值，Wl及W2為分配權重。
11.如權利要求7所述的瞳孔定位系統，其特征在于所述運算模塊還具有一訓練單 元，用以將屏幕預先劃分多組區域，每次只顯示其中一組區域，訓練單元并執行包括下述步 驟每次顯示一組區域供使用者觀看時，控制特征定位單元執行定位及控制距離_角度處 理單元取得各組區域的距離_角度；若判斷所有區域已顯示完畢時，取得一包括各組區域的距離-角度分布圖；將距離-角 度分布圖經過一扭正運算以得到一正規化分布圖；及 利用仿射轉換技術校正正規化分布圖。
12.如權利要求11所述的瞳孔定位系統，其特征在于所述坐標換算單元的預定方式 是一內插對應法，其包括下述步驟使用者觀看屏幕的任一位置時，控制特征定位單元執行定位及控制距離_角度處理單 元取得一距離值及一角度值；以距離值及角度值對應在校正后的正規化分布圖中得到一坐標點；及 將坐標點以內插法換算對應于屏幕的位置。
全文摘要
一種瞳孔定位方法及系統，所述方法包含下述步驟擷取使用者的眼部影像，并利用眼部影像定位出一瞳孔中心及一反光點；以瞳孔中心至反光點的距離界定出一距離值，并以瞳孔中心位置界定一基準線配合反光點相對于瞳孔中心的一向量界定出一角度值；利用觀看不同位置的距離值及角度值得到的一角度-距離分布圖，借此換算觀看屏幕任一點時對應于屏幕的位置。本發明無須在人體佩帶額外裝備且無須復雜計算，能對計算機指針的定位功能更為準確且有效的控制。
文檔編號G06F3/01GK101807110SQ200910006769
公開日2010年8月18日 申請日期2009年2月17日 優先權日2009年2月17日
發明者趙新民 申請人:由田新技股份有限公司