專利名稱：用于眼睛跟蹤和司機睡意確認的成本效益高且穩健的系統和方法
技術領域：
本發明涉及用于眼睛跟蹤和司機睡意確認的系統和方法。更具體而言，本發明涉及用于定位和跟蹤司機的眼睛的睡意狀態以通過使用設置在車輛上的近紅外(IR)攝像機捕捉的圖像來避免事故的成本效益高和穩健的系統和方法。
背景技術：
司機疲勞和司機缺少睡眠是存在已久的問題，尤其那些駕駛例如卡車、公共汽車等大型車輛的司機。毎年大量的交通事故和傷亡是由于在駕駛時困乏的司機入睡而造成的。如果我們能夠檢測司機的睡意狀態并且具有警告處于這種狀態的司機的機制，則可以在很大程度上防止這樣的事故。缺少用于檢測在汽車中的司機睡意的方法是存在已久的問題。已知的涉及眼睛跟蹤和司機睡意確認的ー些發明如下Kingman Yee的US6283954講授了利用鞏膜和虹膜之間的對比獲得眼睛位置的感測和跟蹤眼睛的位置的改進的裝置、系統和方法。該發明尤其用于在激光眼睛外科手術期間跟蹤眼睛的位置，例如準分子激光角膜切削術(PRK)、光學治療性角膜切削術(PTK)Jf分子激光角膜原位磨鑲術(LASIK)等。Taboada等的US5345281公開了關于用于跟蹤人的眼睛的特定視角的裝置，尤其公開了ー種用于通過分析眼睛對紅外(IR)光束的反射而跟蹤眼睛移動的光學裝置。Smith等的US6927694公開了利用帶有可以自動啟動且當需要時可以重新啟動并提供實時輸出的全自動系統的單獨的車載攝像機來跟蹤人的頭和面部特征。如US6927694中提出的系統使用標記為重要的像素的R，G，B分量的RGB陣列索引，該系統還致カ于白天和夜間條件的不同的運算法則。Clarke Sr等的US5689241公開了關于借助穿過視頻電荷耦合裝置的數字化攝影圖像的溫度敏感的紅外部分，利用紅外攝像機對司機的眼睛張開與閉合的像素顔色中的熱圖像變化進行監控的裝置。不移動與呼吸溫度降低的結合將觸發紅外攝像機縮放到司機的眼睛區域上，不移動與呼吸溫度降低為肺換氣不足的生理反應，由此引起睡眠。Christos Τ· Kyrtso的US5900819公開了關于通過測量包括速度、橫向位置和轉向角的車輛行為來檢測睡意。Tomokazu Nakamura的US20080252745講授了對于基于構成眼睛區域的像素的像素數據的眼睛區域，計算表示眼睛的狀態的特征值的眼睛的狀態(包括眨眼)的辨識裝置。閾值設定裝置根據在目標眼睛張開時為目標眼睛所計算的特征值，計算表示在從張開狀態到閉合狀態的第一轉變點處的特征值的第一閾值和表示在從閉合狀態到張開狀態的第二轉變點處的特征值的第二閾值。 Riad I. Hammoud的US7362885講授了ー種使用灰度隨機編碼濾波器(hat filter)在連續產生的紅外視頻圖像之間跟蹤目標對象以從背景中提取目標對象的對象跟蹤方法。其中對象為人的眼睛，通過分析ニ進制球(binary blob)的形狀和外觀及其尺寸和眼睛之前狀態的變化，以及將對應的參數應用到眼睛狀態決策矩陣來確定眼睛狀態和決
策可彳目度。Rui等的US7130446講授了自動檢測和跟蹤多個個體包括接收視頻和/或音頻內容的幀并且識別用于在幀中的新的面部區域的候選區域。一個或多個分層校驗等級用于校驗人的面部是否在候選區域，并且做出指示，如果ー個或多個分層校驗等級證實人的面部在候選區域中，則候選區域包括面部。多個音頻和/或視頻提示用于跟蹤在從幀到幀的視頻內容中的各經校驗的面部。大多數這些已知的睡意檢測裝置依賴傳感器技術。盡管已經使用計算機視覺技術執行ー些方法，然而這些睡意檢測裝置使用復雜的方法檢測睡意并且價格昂貴。所有這些方法對于跟蹤眼睛區域以監控經受疲勞和缺少睡眠的司機的警覺是不充分和不精確的。因此，鑒于上述背景技術，顯然，需要一種簡單的、容易安裝并且以較低成本提供較高精確度的用于眼睛跟蹤和司機睡意識別的系統和方法。
發明內容
本發明的目的本發明的主要目的是提供通過利用設置在車輛上的近紅外(IR)攝像機捕捉的圖像定位和跟蹤司機的眼睛的睡意狀態以避免事故的成本效益高且穩健的系統和方法。本發明的另一目的是不受瞳孔效應影響跟蹤眼睛，其中通過在腐蝕的圖像中執行直方圖均衡和形態學變換而在面部邊界框內進行了形態腐蝕。本發明的另ー目的是提供ー種設想為使用核心跟蹤算法跟蹤眼睛和面部的穩健方式的系統和方法。本發明的另一目的是以借助基于核心的面部和眼睛跟蹤算法在面部邊界框中首先跟蹤面部然后跟蹤眼睛的方式定位眼睛部分。本發明的另ー目的是提供收集例如隨后作為核心跟蹤算法的參數的形態學變換圖像和直方圖均衡圖像的特征的方法。本發明的再一目的是提供ー種使用直方圖均衡化、形態學操作和使用直方圖和灰度級共生矩陣的基于紋理的參數來檢測眼睛的狀態的系統和方法。本發明的另一目的是在檢測到司機在睡意狀態中之后向司機提供音頻或視聽來警告司機。技術方案在描述本發明的方法、系統和啟用的硬件之前，應該理解，本發明不限于所描述的具體系統和方法，由于可以具有沒有在本公開具體描述中的多個可行的實施方式。還應該理解，本發明中的術語僅g在描述具體版本或實施方式，且不g在限制本發明的范圍，該范圍由所附的權利要求書限定。本發明提供了通過利用設置在車輛上的近紅外(IR)攝像機捕捉的圖像來定位和跟蹤司機的眼睛的睡意狀態以避免事故的成本效益高且穩健的系統和方法。 本發明包括通過使用設置在車輛上的近紅外(IR)攝像機捕捉的圖像來定位和跟蹤司機眼睛的睡意狀態以避免事故的經濟和穩健的方法，所述方法包括由處理器實現的如下步驟通過使用分割處理將灰度值與閾值比較，在捕捉的圖像中的面部邊界框中實時跟蹤面部和定位眼睛邊界框；通過計算從ー個位置到另ー個位置的眼睛的質心、目標模型直方圖和目標候選模型直方圖，之后將它們進行比較來識別距離井隨后利用加權平均值來計算目標中心的位移，從而跟蹤眼睛，其中基于包括直方圖均衡化圖像范圍和形態學變換圖像的特征空間計算目標模型直方圖和目標候選模型直方圖；以及使用直方圖均衡化、形態學操作和使用直方圖和灰度級共生矩陣的基于紋理的參數來檢測眼睛的睡意狀態。在本發明的另一方面中，提供ー種使用檢測眼睛的睡意狀態以警告司機警報裝置以避免碰撞，其中所述警報裝置可以為包括但不限于警報、基于聲音的警示、指示和顯示的音頻或視聽裝置。根據本發明的另一方面，近紅外攝像機被設置在車輛內部面向司機。
當結合附圖閱讀時可以更好地理解上文的發明內容和下文的優選實施方式的具體說明。為了例證本發明，在附圖中示出了本發明的示例結構；然而，本發明不限于在附圖中所公開的具體方法和設備圖I為示出根據本發明的各個實施方式的針對事故定位和跟蹤司機眼睛的睡意狀態的方法的流程圖；圖2A示出根據本發明的在司機的ー個示例性頭部位置上對于閉合的眼睛的檢測眼睛區域；圖2B示出根據本發明的在司機的ー個示例性頭部位置上對于閉合的眼睛的檢測眼睛區域的直方圖均衡化；圖2C示出根據本發明的在司機的ー個示例性頭部位置上對于閉合的眼睛的檢測眼睛區域的直方圖均衡化的形態學結果；圖2D示出根據本發明的在司機的ー個示例性頭部位置上對于張開的眼睛的檢測眼睛區域；圖2E示出根據本發明的在司機的ー個示例性頭部位置上對于張開的眼睛的檢測眼睛區域的直方圖均衡化；圖2F示出根據本發明的在司機的ー個示例性頭部位置上對于張開的眼睛的檢測眼睛區域的直方圖均衡化的形態學結果；圖3A示出根據本發明的在司機的另ー示例性頭部位置上對于閉合的眼睛的檢測眼睛區域；圖3B示出根據本發明的在司機的另ー示例性頭部位置上對于閉合的眼睛的檢測眼睛區域的直方圖均衡化；圖3C示出根據本發明的在司機的另ー示例性頭部位置上對于閉合的眼睛的檢測眼睛區域的直方圖均衡化的形態學結果；圖3D示出根據本發明的在司機的另ー示例性頭部位置上對于張開的眼睛的檢測眼睛區域；圖3E示出根據本發明的在司機的另ー示例性頭部位置上對于張開的眼睛的檢測眼睛區域的直方圖均衡化；
圖3F示出根據本發明的在司機的另ー示例性頭部位置上對于張開的眼睛的檢測眼睛區域的直方圖均衡化的形態學結果；圖4A和圖4B示出根據本發明的示例性實施方式說明司機睡意識別狀態的圖形。
具體實施例方式現將詳細討論說明本發明的特征的本發明的一些實施方式。詞語“包括”、“具有”、“含有”、“包含”及其其它形式g在具有相同的含義并且是開放式的，在這些詞語中的任一個之后的一個或多個項目不意味著這些項目的窮盡列舉或意味著僅限于列舉的項目。還必須注意，如本文和所附的權利要求書中所用的単數形式包括復數引用，除非上下文另有明確指示。盡管類似于或等同于本文中描述的系統和方法的任一系統和方法可以用于執行或測試本發明的實施方式，然而現在描述優選的系統和方法。公開的實施方式僅僅是本發明的示例，本領域技術人員可以以多種形式實現這些實施方式。一種用于定位和跟蹤司機的眼睛的睡意狀態的成本效益高且穩健的方法，通過利用設置在車輛上的近紅外(IR)攝像機捕捉的圖像來避免事故，所述方法包括以下處理器實施的步驟a)通過使用分割處理將灰度值與閾值比較，在捕捉的圖像中的面部邊界框中實時跟蹤面部和定位眼睛邊界框；b)通過計算從ー個位置到另ー個位置的所述眼睛的質心、目標模型直方圖和目標候選模型直方圖，之后將它們進行比較以識別距離，井隨后利用加權平均值來計算目標中心的位移，以跟蹤所述眼睛，其中基于包括直方圖均衡化圖像范圍和形態學變換圖像的特征空間計算目標模型直方圖和目標候選模型直方圖；以及c)使用直方圖均衡化、形態學操作和使用直方圖和灰度級共生矩陣的基于紋理的參數來檢測眼睛的睡意狀態。根據本發明的一個示例性實施方式，一種成本效益高且穩健的系統包括設置在車輛上、面向司機的用于捕捉圖像的近IR攝像機；和處理器，該處理器容納在其中，用于實時分析捕捉的圖像以定位和跟蹤司機眼睛的睡意狀態來避免事故。圖I為示出根據本發明的各個實施方式的為防止事故而用于定位和跟蹤司機眼睛的睡意狀態的方法100的流程圖。在本發明的一個示例性實施方式中，為防止事故而用于定位和跟蹤司機眼睛的睡意狀態的成本效益高的方法使用設置在車輛上的近紅外(IR)攝像機捕捉的圖像110。根據本發明的另一方面，近IR攝像機可以被設置在車輛的外側或內側面向司機。在本發明的一個示例性實施方式中，近IR攝像機被設置在車輛的內側面向司機。根據本發明的一方面，近IR攝像機的分辨率為352*288。根據本發明的一方面，近IR攝像機的IR范圍可以選自(O. 7-1)微米到5微米的范圍，用于檢測和跟蹤行人。根據本發明的一方面，近IR攝像機的溫度范圍可以選自740開爾文到(3，000-5，200)開爾文之間，用于檢測和跟蹤行人。根據本發明的一方面，處理器可以被設置在近IR攝像機的機身中、車輛的外部或內部、車輛的頂部或儀表板上。在本發明的一個示例性實施方式中，處理器被設置在近 IR攝像機的機身中。根據本發明的另一方面，處理器可以選自Davinci DM6446處理器、ADSP-BF533 和 750MHz Blackfin 處理器的群組中。
上述成本效益高的方法包括多個處理器實施的步驟。在全部圖像中跟蹤例如眼睛的較小的對象是困難的。因此在提出的方法的第一步驟中，定位眼睛的搜索，在面部邊界框中，首先跟蹤面部，隨后跟蹤眼睛。處理器執行代碼，以使用分割處理識別120眼睛的形狀以及例如眉毛、鼻尖和縱向面部中心的面部標記。為了跟蹤面部，處理器執行代碼，以使用以下等式確定面部坐標面部寬度=面部最右邊-面部最左邊面部高度=2* (鼻尖位置-眉毛位置)-眉毛位置為了跟蹤眼睛，處理器執行代碼，以使用分割處理確定眼睛的邊界框。為了跟蹤面部130，處理器執行代碼，以收集僅作為大于從分割處理所獲得的閾值的灰度值的特征。為 了跟蹤眼睛140，處理器執行代碼，以收集特征，該特征為在面部的邊界框中的直方圖均衡化和在面部的邊界框中的形態學變換。跟蹤眼睛的主要障礙是消除瞳孔效應。為了使眼睛跟蹤不受瞳孔效應影響，首先通過處理器在面部邊界框中執行形態腐蝕。從該腐蝕的圖像，執行直方圖均衡化和形態學變換。通過在大范圍的強度級上擴展輸入圖像的級別，直方圖均衡化產生具有均衡直方圖的輸出圖像。在處理器執行代碼以在輸出圖像上應用直方圖均衡化之后，深色圖像變得更深并且亮色圖像變得更亮。處理器執行代碼以使用形態學變換從亮色背景(即面部邊界框)中提取深色對象(即眼睛)。在提出的方法的第二步驟中，處理器通過計算從ー個位置到另ー個位置的眼睛的質心、目標模型直方圖和目標候選模型直方圖，之后比較它們以確定距離并且隨后利用加權平均值計算目標中心的位移，來跟蹤眼睛，其中基于包括直方圖均衡化圖像范圍和形態學變換圖像的特征空間計算目標模型直方圖和目標候選模型直方圖。對于眼睛跟蹤140，處理器執行以下步驟在第一步驟中，處理器執行代碼，以將眼球的質心作為中心m0，然后通過考慮特征空間計算目標模型直方圖。if (hist_eq(i, j) < max_range && hist_eq(i, j) > min_range)
Compute 32 bin histogram- q on Morphologies丨 transformed image.目標模型< = { ql) a = 1,2,3,,.......32 ^ む"=1從下ー幀開始，目標的中心在其之前的位置(yO)處被初始化并且處理器執行代碼，以通過考慮相同的特征空間計算目標候選直方圖。if (hist_eq(i, j) < max_range && hist_eq(i, j) > min_range)
Update 32 Mn kistagrmi p on Morphological transformed image.現在，處理器執行代碼，以計算目標模型和目標候選直方圖之間的距離，
d{y) = ^\-p[p(V),q\其中P [·]為在P和Q之間的巴卡哈亞(bhattacharya)系數。現在，處理器執行代碼，以利用加權平均值計算目標中心的位移。
權利要求
1.一種通過利用設置在車輛上的近紅外(IR)攝像機捕捉的圖像來定位和跟蹤司機的眼睛的睡意狀態以避免事故的成本效益高且穩健的方法，所述方法包括以下處理器實施的步驟 a)通過使用分割處理將灰度值與閾值比較，在捕捉的圖像中的面部邊界框中實時跟蹤面部和定位眼睛邊界框； b)通過計算從ー個位置到另ー個位置的所述眼睛的質心、目標模型直方圖和目標候選模型直方圖，之后將它們進行比較以識別距離井隨后利用加權平均值來計算目標中心的位移，以跟蹤所述眼睛，其中基于包括直方圖均衡化圖像范圍和形態學變換圖像的特征空間計算目標模型直方圖和目標候選模型直方圖；以及 c)使用直方圖均衡化、形態學操作和使用直方圖和灰度級共生矩陣的基于紋理的參數來檢測眼睛的睡意狀態。
2.根據權利要求I所述的方法，其中，為了使眼睛跟蹤不受瞳孔效應影響，通過在腐蝕的圖像中執行直方圖均衡化和形態學變換而在面部邊界框中執行形態腐蝕。
3.根據權利要求I所述的方法，還包括，使用經檢測的眼睛的睡意狀態警告司機以避免碰撞。
4.根據權利要求I所述的方法，其中，所述近IR攝像機能夠被設置在車輛的外側或內側面向司機。
5.根據權利要求I所述的方法，其中，所述眼睛的跟蹤還包括在形態學變換圖像中繪制眼睛到眉毛的圖形以識別眼睛像素，由此避免在這樣的圖像中顯示較亮的鼻子像素。
6.根據權利要求I所述的方法，其中，所述眼睛的跟蹤還包括，通過計算絕對誤差和(SAD)，使用眼睛的模板匹配檢測相對于前一幀在當前幀中頭部位置的變化。
7.根據權利要求I所述的方法，其中， 所述檢測眼睛的睡意狀態還包括步驟 a.將所述眼睛的邊界框向上延伸到眉毛的質心； b.將直方圖均衡化過程應用在所述眼睛的邊界框上； c.通過計算這種帶有結構化元素的圖像的線腐蝕，消除直方圖均衡化圖形的較亮的瞳孔效應，其中所述結構化元素的寬度等于1/3的眉毛寬度并且結構化元素的高度等于I ;以及 d.使用基于直方圖的方法進行紋理分析，所述紋理分析基于集中在表示為直方圖的圖像的全部或部分上的強度值以識別所述眼睛的狀態，其中均勻度或角ニ階矩(ASM)紋理參數的值對于閉合的眼睛為高值而對于張開的眼睛為低值。
8.根據權利要求7所述的方法，其中 所述步驟(d)可選地使用灰度級共生矩陣的對比度，以通過檢測N幀的波段具有相同的性能，則眼睛閉合，從而識別所述眼睛的狀態。
9.一種采用近紅外(IR)攝像機定位和跟蹤司機的眼睛的睡意狀態以避免事故的成本效益高且穩健的系統，所述系統包括 a.近紅外攝像機，所述近紅外攝像機被設置在所述車輛上用于捕捉圖像；以及 b.處理器，所述處理器用于實時分析所捕捉的圖像以定位和跟蹤所述司機的眼睛的睡意狀態。
10.根據權利要求9所述的系統，還包括警報裝置，所述警報裝置使用經檢測的眼睛的睡意狀態警告司機以避免碰撞。
全文摘要
一種通過利用設置在車輛上的近紅外(IR)攝像機捕捉的圖像來定位和跟蹤司機的眼睛的睡意狀態的成本效益高且穩健的方法，所述方法包括以下處理器實施的步驟通過使用分割處理將灰度值與閾值比較，在捕捉的圖像中的面部邊界框中實時跟蹤面部和定位眼睛邊界框；通過計算從一個位置到另一個位置的所述眼睛的質心、目標模型直方圖和目標候選模型直方圖，將它們進行比較以識別距離并利用加權平均值來計算目標中心的位移，以跟蹤所述眼睛，其中基于特征空間計算目標模型直方圖和目標候選模型直方圖；以及使用直方圖均衡化、形態學操作和使用直方圖和灰度級共生矩陣的基于紋理的參數來檢測眼睛的睡意狀態。
文檔編號G06K9/00GK102696041SQ201080059278
公開日2012年9月26日 申請日期2010年12月2日 優先權日2009年12月2日
發明者B·博米克, K·S·齊達南德 申請人:塔塔咨詢服務有限公司