專利名稱：：用于確定和分析視覺興趣位置的方法與裝置的制作方法
技術領域：
：本發明一般涉及車輛駕駛；更具體地，涉及駕駛員的視覺特性和行為，隨后可以對所述視覺特性和行為進行分析，以有助于駕駛體驗和駕駛員能力。
背景技術：
：關于駕駛員疲勞、分心、工作負荷及其他產生潛在危險駕駛情形的駕駛員狀態相關的因素，已有很多正在進行的研究。考慮到所有交通事故的大約百分之九十五都是由于駕駛員失誤，其中駕駛員的疏忽是最常見的起因，就不會對此感到奇怪了。大量的研究已經建立了眼睛運動和高級認知過程之間的關系。這些研究一般爭論于眼睛運動在某種程度上反映出駕駛員的認知狀態。在多個研究中，眼睛運動被用作對駕駛員的認知注意力(替代地，精神負荷)的直接測量。知道駕駛員正在觀察哪里被通常接受為對于設計用來避免車輛事件(尤其是碰撞)的系統來說是重要的輸入因素。通過確定駕駛員正在觀察哪里，可以對人機交互(HMI)系統進行優化，并且，基于駕駛員眼睛的定向和移動，可以采用主動安全功能，例如前碰撞警告(FWC)。可以完成此工作作為對許多受試者的離線分析，或者使用在線或者實時算法來使諸如FCW閾值的事情適應于當前的駕駛員狀態。所有類型車輛的駕駛員通常沒有意識到困倦和分心對他們控制車輛的能力所帶來的影響。人類(特別是駕駛員)通常都是他們自身能力的不良判斷者。典型地，駕駛員對其能力的自我印象要優于實際情形。即使具有基本良好駕駛技能的人，當坐在方向盤后面時，也不會一直表現如一。此外，在駕駛行程期間，經常會對駕駛員有相對于執行駕5駛任務來說很小的要求。因此，駕駛員會暫時進入到只有少量精力投入到駕駛任務的精神狀態。毫不奇怪，駕駛員的疏忽是車輛碰撞(特別是汽車碰撞)的主要原因。根據國家公路交通安全局(NHTSA)對一年時間內超過250萬起嚴重碰撞事故的研究，駕駛員的疏忽是碰撞的主要原因，估計占到碰撞的百分之二十五至百分之五十六。在此研究中，疏忽被定義為具有三個部分視覺分心，精神上的分心(視而不見)和困倦。由疏忽造成的常見事故類型有追尾碰撞、十字路口碰撞、車道變更或并線時的碰撞、車道偏離碰撞、單個車輛碰撞以及發生在低限速道路上的碰撞。困倦的駕駛員是很著名的現象。至少有一個調查已經指出，被詢問的駕駛員中，百分之五十七的人在上年度中存在困倦駕駛，百分之二十三的人在駕駛時實際上已經睡著。大家都知道，疲勞削弱駕駛員的能力、警覺和判斷。由困倦造成的碰撞是嚴重的道路安全問題，并且，所有碰撞的多達百分之二十三估計都涉及到疲勞。從技術的角度來說，可以用在車輛內的新的信息系統和功能(包括移動電話、導航輔助設備、互連網及其他類型的電子服務)正在飛速發展。因為它們的廣泛使用，使用移動電話對駕駛員的影響已經變得最為公眾所注目，但是，導航輔助設備和IT服務的銷售也同樣快速增長。在美國一年時間內，估計單是移動電話就導致了300-1000起車禍，并且，這一數據在2004年達到了每年4000起。分心(例如手提電話的使用、閱讀標牌、吃食物、與其他乘客交流、觀察目標以及操作車輛內的裝置)將可能過度地吸引駕駛員的注意力，并由此降低安全性。隨著這些新型的服務以及活動在駕駛環境中得到了更為廣泛的應用，尤其重要的是不降低駕駛安全性。基于對這些新的功能和技術的使用，駕駛員的工作負荷增加了。在此上下文中，"工作負荷"應當理解為指的是一個人有多忙碌以及他們執行所需任務時需要的努力量。當駕駛員要做很多事情并且正在經受6高工作負荷時，對駕駛員做出了較高的注意力要求，因為同時有很多事情要做。駕駛員經常參與和車輛的駕駛員控制無關且因此技術上不涉及駕駛情形的事情。這些事情通常被稱為次要任務，并且是將駕駛員的注意力從主要駕駛任務上轉移開的潛在干擾物。一般地，當駕駛員的注意力被吸引到一個這樣的程度，即，沒有足夠的注意力來用于主要的駕駛控制任務時，次要任務變成一種分心(包括視覺分心，聽覺分心，精神分心，認知分心及生物力學分心)。結果，諸如車道保持和速度控制的駕駛能力被降低，最終降低了安全性。從一些次要任務是關于駕駛的意義上來說，駕駛任務和次要任務重疊，如圖1示意性示出的。駕駛任務和次要任務之間的關系引起了兩個困難。第一，可能難以確定哪些次要任務信息是"與駕駛情形無關"以及哪些是與其有關的；第二，如圖1所示，某些罵駛相關的次要任務(例如，尋找街道標牌或者規劃駕駛路線)也可能降低安全性。還應理解，駕駛員通常沒有意識到分心對駕駛任務的影響。此外，駕駛員不能可靠地確定何時他們會被疲勞損害到具有嚴重的警戒失效或不受控制的睡眠的程度；此處提出的注意力管理系統意在通過幫助處于困倦、分心和/或高工作負荷情形下的駕駛員來提高安全性。如上所述，對眼睛運動的有趣使用是在人機工程學和HMI領域。例如，可以在以下方面進行這種使用確定道路交通信息(RTI)顯示器的最佳位置，以及分析某一HMI是否比另一個HMI有更少的視覺需求。通過研究受試者的眼睛運動同時使用HMI裝置可以進行這些類型的分析。然而，與當前方法相關的主要缺點是存在很少的(即使有)用于執行這些分析的合適的自動工具；當沒有它們時，通常求助于勞動密集的人工分析。當前的眼睛運動研究中的一個顯著的問題是，每個研究團隊似乎使用他們自己的定義和軟件來解釋眼睛運動信號。這使得研究結果之間難以相互比較。希望有定義視覺檢測量和概念的標準。ISO15007和SAEJ—2396構成這種標準的實例，因為它們規定了車輛內的視力需求測量方法并且提供了用于此類視覺特性(例如掃視頻率、掃視時間、偏離前方道路景象的時間和掃視持續時間)的量化規則和獲得這些視覺特性的步驟。然而，這兩個標準都是基于記錄視頻技術，并且依靠既費時又極不可靠的逐幀的人工判定分析。隨著各種車輛內信息和駕駛員輔助系統及裝置的數量增加，對駕駛員眼睛運動及其他認知指示的興趣也可能增加。因此，存在對用于眼睛運動的標準化的、自動而穩健的分析方法的需求，并且在將來會變得更重要。某些眼睛跟蹤方法和分析步驟已經過統計學驗證，符合ISO15007和SAEJ-2396的規定。這些系統的物理部分可以被構造成是既不是干擾式的又不很依賴環境。至少一個實例是基于定位在駕駛員前方的兩個照相機(立體頭部照相機)。使用軟件來在實時的基礎上計算注視向量及其他感興趣的檢測量，并指示諸如頭部位置和轉動(定向)、眨眼、眨眼頻率、以及眼睛睜開度的事情。此軟件的重要特征是同時實時計算頭部位置/轉動(定向)和注視轉動，這是此前不曾有的特征。而且，它對含噪聲的環境不敏感，例如發生在車內的噪聲。其中，已經發現，由于諸如照明條件和頭部/注視運動的這類事情，數據中的"噪聲"是導致數據質量退化的重要因素。眼睛跟蹤相關的研究領域中的先前工作似乎相當徹底。然而，隨著技術進步使得眼睛跟蹤更為穩健和輕便，這些
技術領域：
的研究繼續擴展。然而，對駕駛任務相關的駕駛員特征的研究并不是很多，并且，迄今為止，一直無人在實時的基礎上使用眼睛跟蹤數據來計算諸如視覺分心或認知分心(參見圖2至4)的檢測量。這至少部分是手工分段的耗時特征和/或與通常使用的眼睛跟蹤系統的不可攜帶性有關的技術困難的結果。然而，在實驗室環境下進行的研究中，已經開發出了各種各樣的算法。已經開始使用許多不同的方法，例如，神經網絡、自適應數字濾波器、隱馬爾可夫模型(HiddenMarkovModel)、最小均方根法、基于分散或速度的方法以及其他高階導數法。然而，這些方法中的許多都是基于眼睛跟蹤器的典型特性(例如取樣頻率)，并且不能與其他的這種系統一起良好地工作。迄今為止，一直沒有用于定義哪些駕駛員特征需要被測量以及如何對它們進行測量的標準。沒有涉及基本的視覺分段(包括跳視、注視和閉眼)的標準。標準只涉及掃視，即，跨視野的快速眼睛運動的事件。有趣的是，當前的方法都沒有考慮平滑的眼睛運動或者跟蹤；艮卩，有目的地把目光從駕駛路徑上移開，例如經過時觀看(閱讀)道路標牌。實際上，許多研究被設計成使得平滑跟蹤永不會發生，例如通過假定沒有要跟蹤的目標。當前研究對此的避免是可以理解的；可能難以將平滑跟蹤與跳視或者注視區分開。這些特性在文獻中很少提到。不管未考慮這些特性的原因是什么，對于本公開發明來說，考慮了平滑跟蹤，因為在實際駕駛的情況下，這種平滑的眼睛運動時常發生。對駕駛車輛來說，基本的要求是需要盯住車輛，以檢測其路徑或者前方，并且檢測潛在的碰撞威脅，無論它們來自于目標還是事件。該道路景象意識是縱向和橫向控制車輛的先決條件。應當理解，由于道路中幾乎總是存在或大或小的彎曲，道路中心并不總是位于車輛縱軸的正前方，而是經常偏離中心線。盡管如此，研究表明，駕駛員傾向于基本上向正前方觀看(考慮道路彎曲的合理偏差)，他們的眼睛大部分時間(即，大約百分之八十五至九十五的時間)都在道路上。更進一步，謹慎(prudence)的經驗告訴通常的駕駛員，良好地定期偏離道路中心或者駕駛路徑的掃視以便不干擾盯住車輛，并且與非預期事件或者目標物碰撞的發生的低概率一致。盡管如此，上述統計表明，即使謹慎的駕駛員也并不總是注意駕駛需求，當駕駛時，他們也不會一直是其自身的工作負荷和分心的良好管理者。道路中心概念的理論基礎認為，車輛控制的視覺引導是基于前方道路區域內的光流信息。為了接收最相關的視覺信息，駕駛員傾向于注視特定的位置，或者是"定位點"。已經有人提出，信息主要從兩個這種定位點處獲得一個遠點和一個近點(例如Salvucci和Gray,2004)。對于遠區域，有人提出，最有效率的定位點是將轉向引導到其上的目標(Wilkie和Warm,2005)，雖然其他的定位點也是可能的(參見Victor于2005年對文獻的綜述)。近點位于車輛前方的區域(Salvucci和Gray,2004)。提議用遠點來說明光流的轉動分量，而近點更適合于理解平移分量(Victor，2005)。此處，由定位點定義的區域被概念化為道路中心(RC)。在正常駕駛期間，駕駛員通常在道路中心及其他信息源(例如鏡子、道路標牌，或者車輛內外的其他目標物)之間分配視覺注意力。然而，在擴展的視覺分時期間，例如，當在車輛內信息系統(IVIS)上執行一項任務時，在道路上的掃視需要聚焦在與路徑控制最相關的區域上，即定位點。這導致道路前方掃視的高度集中(Victor等，2005)。如上所述，這是使用道路中心掃視作為視覺需求測量的基礎的一個主要動機。同樣由實驗結果(Victor等，2005)所確認的第二個關鍵動機是，在IVIS任務執行期間，大多數偏離道路中心(off-RC)的掃視是朝向IVIS目標。道路中心識別一從駕駛員的觀點來說，指出道路中心的位置是重要的，其通過身體和車輛相對于環境的定位/定向來確定。因此，駕駛員的身材、坐姿以及道路彎曲的不一致導致道路中心的大量變化。為此，以自底向上的方式從數據中估計RC。大多數情形下，駕駛并不是特別苛刻的任務。例如，據估計，在大部分州際駕駛期間，使用了駕駛員感知能力的百分之五十以下。因此，駕駛員通常執行次要任務，例如撥打移動電話和改變收音機頻道。當執行次要任務時，出現分時掃視行為，其中，眼睛在道路和任務之間來回移動。這種暫時的視覺分配是對具有單一視覺源的暗示。可以說，道路被采樣同時執行次要任務而不是相反。導致碰撞的問題是，在眼睛離開道路時，非預期的事情可能發生并且對這些非預期事件或者目標的反應可能嚴重變慢。此處介紹的新的檢測量和分析技術已經揭示了此基本而必需的向正前方或向車輛路徑軌跡觀看的駕駛眼睛運動行為。檢測量給出了執行視覺上、認知上或手工上要求高的車內任務的視覺影響的精確離線估計，已經發現其與常規的檢測量高度相關。它們還能與正常駕駛進行比較。重要的是，此處提出的檢測量還適合于對此視覺影響進行在線計算和評估，并因此提出了能用于分心和工作負荷檢測的實時檢測旦里。
發明內容本發明的至少一個特征是提供了經驗證的分析方法和算法，其有利于由頭部/眼睛/身體跟蹤系統產生的行為運動數據的自動分析，對人工評定的相當大的消除，以及輸出經過濾波和驗證的特性數據，所述特性數據對于錯誤和噪聲來說是穩健的。優選地，這些有利措施是根據ISO/SAE以及現在和將來被接受的類似標準來進行。于2003年10月15日提交的美國專利申請No.10/605，637中描述了某些算法、標準以及有利措施，在此將其全部內容通過引用的方式并入。本發明提供了分析數據的方法，該數據基于車輛內的駕駛員的生理上的定向(orientation)而測得。所述數據是對駕駛員的注視方向的描述并且可以由數據集定義。使用計算機來處理所述數據，并且利用所述數據中的至少一部分來確定定義駕駛員感興趣的位置的標準。基于所確定的標準，將注視方向實例分為在位置上或偏離位置。然后，所分類的實例可以用于與視覺興趣位置有關的進一步的分析。進一步的分析一般涉及非駕駛員困倦和增加的駕駛員工作負荷的次數(times)。位置可以是感興趣的任何位置，例如位置可以包括道路中心，11駕駛員后面的位置，駕駛員左邊或右邊的位置，后視鏡，側鏡，中央控制臺，汽車附件(例如收音機，車窗開關，導航系統)，個人附件(例如手機，PDA，膝上型電腦)，或乘客(例如汽車座位或后座位上的孩子)。以上列表并不包括所有，并且其用來僅示出位置的一些實例。如上述實例可以看到的，位置不是固定的，而是可以隨時間變化，例如，當位置是移動電話或PDA時，當用戶撥打電話、接聽電話、檢査呼叫方ID、檢査收到的消息或發送外發的消息時，該位置隨時間變化。分類實例被轉換成兩個二進制值(例如，l和O)中的一個，所述二進制值表示各個分類實例是"在位置上"還是"偏離位置"。二進制值的使用使得處理和分析更高效。此外，本發明允許從不符合被分類為在位置上的駕駛員注視方向的實例的確定標準來推斷出偏離位置的注視方向實例中的至少一些的分類。本發明提供注視方向實例，所述注視方向實例可以檢測并且來源于行為運動。例如，注視方向實例可以來源于對以下部位的檢測到的定向駕駛員身體的腰以上部分；駕駛員身體的上軀干部分；駕駛員的頭部；和/或駕駛員的至少一只眼睛。用于測量行為運動的傳感器包括各種各樣的傳感器，其包括但不限于照相機、超聲波檢測裝置以及電容傳感器。從上面可以看出，本發明的目的之一是提供簡化的特性規則，其將數據特征簡化為在指定位置上或偏離指定位置。在一個示例性實施例中，特性為道路中心注視或非道路中心注視。一般地，當駕駛員以典型的駕駛方式觀察前方時，即，駕駛員視覺上注視道路中心，表征一個道路中心注視。從沒被表征為道路中心注視的注視中可以推斷出非道路中心注視，其中，駕駛員是把目光從道路中心移開。在另一個示例性實施例中，特性是后視鏡注視或非后視鏡注視。一般地，當駕駛員觀看后視鏡以觀察車輛后面的情形時，表征為后視鏡注視。從沒有被表征為后視鏡注視的注視中可以推斷出非后視鏡注視，其中，駕駛員沒有觀看后視鏡。另一個目的是使某些算法適應實時環境。另一個目的是識別并提供駕駛員支持，該駕駛員支持是基于視覺行為的并且因為使駕駛員重新集中注意力的所實施的系統而能夠幫助駕駛員避免潛在的不利情形。一方面，本發明提出了對在車輛內具有一個標準參考的需求，駕駛員可能感興趣的各種目標和區域能夠以其作為參考進行相對定位。出于在此描述的幾個目的，因為它對這種數據進行"標準化"以用于良好處理，希望有標準的參考系(由車輛內部的相對位置/定位/定向限定{在本公開內容的上下文中，使用的正斜線標記"/"用于指示"和/或"的關系})，取自不同體形、身材和行為的操作者的頭部/面部/眼睛跟蹤數據可以轉換為所述標準的參考系。在至少一個實施例中，當前公開的發明可以限定為一種用于分析車輛駕駛員的視覺和/或頭部定向特性的方法。應當理解，所描述的分析技術或過程應能夠用于所存儲的跟蹤數據(已典型地相對于時間做出標記)或實時數據(其本質上認為時間是數據流中的限定因子)，因此描述名為"實時"數據。無論如何，本發明的此實施例考慮對駕駛員頭部相對于車輛乘員艙內的空間的位置的檢測和量化。提供了"基準"駕駛員頭部(或其一部分)的參考基本位置，這使駕駛員感興趣的區域/目標的相對于所述參考基本位置的位置能夠交叉參考。應當理解，這些駕駛員感興趣的區域/目標可以位于車輛內或車輛外，并且可以由以下方面構成(l)"事物"，例如音頻控制，車速表及其他儀表，以及(2)區域或位置，例如"道路前方"和相鄰車道之間的車道變更間隙。為了相對于感興趣的車輛使跟蹤數據"標準化"，將對駕駛員頭部位置的量化歸一化為參考基本位置，由此使得能夠基于所檢測到的信息推斷出駕駛員己顯示興趣的位置，所述檢測到的信息涉及以下項中的一個或兩個(1)駕駛員視覺定向，或者(2)駕駛員頭部定向。在另一個實施例中，當前公開的發明基于檢測量提出了道路中心(RC)的一般概念，其中，視覺需求被按照離開道路中心的掃視情形進行量化，用于離線和在線(實時)應用。此簡化的主要優點是在離開道路的掃視期間可以允許更低的數據質量(因為對RC區域外的注視被忽如果對駕駛員頭部和眼睛特性的跟蹤信息都可用，那么，涉及駕駛員視覺定向的檢測信息優選地用作推斷駕駛員感興趣的位置的基礎。當檢測到的涉及駕駛員視覺定向的信息的質量降低至超過規定的閾值注視置信度水平時，切換到所檢測到的涉及駕駛員頭部定向的信息作為用于推斷哪里已顯示駕駛員興趣的基礎。舉例來說，當駕駛員的眼睛閉合時，即眼睛以某種方式被模糊或遮住時，可能需要此切換，因為這阻止眼睛被跟蹤。眼睛閉合的情形還考慮包括跟蹤系統傳感器因為例如不能識別/定位相對的面部特征而不能跟蹤眼睛的情形。例如，不能推斷出眼睛到鼻子到嘴的定向以及參考。一些跟蹤系統要求建立面部參考系，以便定位被跟蹤并且被特征化為數據值的眼睛。當面部未被適當地參考時，對于一些傳感器系統來說有可能跟蹤例如與眼睛混淆的受試者的鼻孔，或者使眼睛圖像變形(近視鏡)或模糊(太陽鏡)的眼鏡。眼睛閉合的另一個實例是，當駕駛員頭部位置偏離眼睛的向前(主要是駕駛時)定向超出允許程度的偏差時的情形。在這些場合，駕駛員的眼睛被從跟蹤設備(傳感器)有效地視覺阻擋，所述跟蹤設備產生眼睛定向數據。優選地，使用數學變換來完成駕駛員頭部位置到參考基本位置的量化的歸一化。在車載安裝結構中，優選地使用基于車輛的計算機在基本實時的基礎上執行數學變換。14規定駕駛員感興趣的區域/目標的相對于參考基本位置的可能位置，在這一點上，這種規定用作模板，可以向從該模板讀出檢測到的數據或者將其覆蓋。可選地，基于檢測到的駕駛員視覺特性，相對于參考基本位置限定駕駛員感興趣的區域/目標的可能位置。在一個示例性開發中，可以基于檢測到的駕駛員視覺的注視頻率特性來建立對駕駛員感興趣的區域/目標的相對于參考基本位置的可能位置的這種定義。此處，注視頻率的建立是基于對所收集的注視密度特性的量化。在本發明的一個實施例中，基于駕駛員視覺特性(示例性地表示為跟蹤數據)，通過將檢測到的駕駛員視覺特性映射到駕駛員感興趣的區域/目標的相對于參考基本位置的規定或限定的可能位置，識別出駕駛員感興趣的區域/目標(意圖將其解釋為還包括多個駕駛員感興趣的區域/目標)。即，通過將觀測到的數據(頭部和/或眼睛跟蹤數據)與上文限定的規定模板的比較，或者是與駕駛員可能感興趣的特定目標和/或區域相關的已知數據集進行比較，可以完成對被推斷為駕駛員可能感興趣的目標或區域的識別。一個實例將是識別出為特定車輛和相對頻率而開發的基于區域的模板，駕駛員以所述相對頻率注視各種位置/目標。例如，可以發現，在駕駛期間，典型的駕駛員基本上沿正前方向觀察的時間約占駕駛時間的百分之四十，觀察儀表群包括速度計的時間約占駕駛時間的百分之二十。還公知的是，在空間上，這兩個區域的中心是一個位于另一個的下方。因此，利用注視方向數據(不管其是基于頭部定向或眼睛(視覺)定向)，對于特定的駕駛員，可以推斷出道路中心和儀表群的相對位置。一旦建立了基本參考系，就可以推斷出特定車輛的與實際的對應，并且可以確定到參考系的轉換。更進一步，還可以推斷出對車輛音頻控制的掃視，例如，如果統計的話，已知典型的駕駛員注意音頻控制的時間大約占正常駕駛時間的百分之十。一旦已經記錄了一段"學習時間"，就能夠以統計數據為基礎來確定駕駛員感興趣的許多區域/目標的相對位置；甚至獨立于目標/區域的任何已知映射，或車輛內的參考系。另一方面，本公開內容描述了由車輛基于映射的駕駛員視覺特性執行的對規定功能的改變。當檢測到駕駛員已經把目光從道路上移開太長時間時，可以簡單地將分心警告改編成聲音，通過自適應巡航控制系統增加與前行車輛之間保持的緩沖區。己經發現，可以部分或完全基于檢測到的涉及駕駛員視覺定向的信息來識別出這些駕駛員感興趣的區域/目標，其中，所述視覺定向專門由對注視角度這個檢測量構成。至少相對于特定車輛內的參考系(被示例性識別為車輛的特定構成和模型)，區域/目標的角位置特別精確，因為去除了對考慮距離的需求。也就是說，如果區域位置被識別為在統計學上(概率上)表示可能的駕駛員感興趣的區域/目標，那么所述區域與參考系之間的距離必須已知。這樣導致限定的區域從中心點展開，很像錐體從其頂點展開。然而，與頂點之間的角度是離散的檢測量(參見圖5)。注視角度這個檢測量可以源自檢測到的基于眼球定向的注視方向向量。這可以取自一個眼球的觀測，但是，優選地，作為取自兩個眼球的觀測組合。因此，代表性向量被更精確地描述為源自受試者鼻梁處的區域并且平行于平均觀測角度定向的向量。此外，可以從對頭部、面部或其他的身體運動和/或位置的觀測來估計注視角度這個檢測量。雖然上面特別地依照眼球角度對本發明進行了描述，但是，也可以預期，可以基于頭部定向通過進行類似觀測來獲得相關但不類似的結果。通常，比較可以被描述為使用如下方向，即沿該方向，鼻子指向(基于頭部)與眼睛從參考系定向的方向相反，所述參考系由參考系的定向限定；基于檢測到的頭部定向，限定駕駛員感興趣的區域/目標的相對于參考基本位置的可能位置。在至少一個實施例中，基于檢測到的頭部定向、相對于參考基本位置來確定駕駛員感興趣的區域/目標的可能位置的定義，其中，從檢測到的頭部定向推斷出面部朝向的方向。在此情形下，由于具有眼球軌跡測量數據，特別是頭部定向，因此可以利用密度映射來建立面部朝向的方向，所述密度映射指示駕駛員沿某一方向觀看的頻率。可以通過將代表性的映射與駕駛員感興趣的區域/目標相對于參考基本位置的規定/限定的可能位置聯系起來(因此，這還可以通過角度的直接數據完成)來識別出駕駛員感興趣的目標/區域。當提出基于頭部定向的分析時，可以從檢測的基于頭部定向的注視方向向量來獲得注視角度這個檢測量。在另一個實施例中，本發明采取了一種用于開發基準點(參考系)的方法的形式，該基準點用于評估的駕駛員活動和/或駕駛員條件的比較。此方法包括(包括但不限于)基于檢測到的駕駛員特性以及基于此駕駛員特性所開發的密度分布圖，收集(也可以包括使用記錄數據流)注視方向數據流；限定對應于可能的駕駛員感興趣的至少一個區域的基于注視方向的參數。如前所述，此方法需要使用下列檢測量中的至少一個(l)駕駛員視覺定向和(2)駕駛員頭部定向，以構成注視方向數據。基于從收集到的注視方向數據估計的高密度分布圖，建立表示典型的眼睛朝前駕駛的區域。示例性地，該區域可以定義為一個二維限定的面積，例如拋物面，或者是一個三維限定的體積，例如從參考系呈輻射形擴展的錐體，其中，其頂點基本上位于典型的駕駛員相對于所建立的參考系的眼睛位置。將收集到的注視方向數據與建立的代表性區域進行比較，并由此基于該比較來識別注視的離開。基于類似的比較，可以推斷出環境或駕駛員的其他性質。例如，注視方向數據可用來識別和/或測量這樣的事物，例如駕駛員的認知分心，駕駛員的視覺分心，和/或高的駕駛工作負荷狀況。更進一步，所述方法考慮并提供了用于基于確定的頻率或持續時間(取決于事件是離散還是連續地發生)來量化駕駛員的損傷相對于執行的駕駛任務的嚴重性(程度)的途徑，在規定的時間內，以所述頻率或持續時間來檢測這樣的指示性狀況，例如注視離開、認知分心、(3)視覺分心和(4)高的駕駛員工作負荷。可以記錄、存儲和/或傳輸感興趣的事件，用于由處理器進行的進一步的分析。相反地，可以在實時的基礎上在本地或遠程地(如果還實時傳輸)分析表示感興趣的事件的數據。注意力管理系統和方法的一個目標是通過幫助處于困倦、分心和/或高的工作負荷狀況下的駕駛員來提高安全性。為許多注意力管理系統提供了功能說明，所述注意力管理系統可以被特征化為包括困倦管理器、分心管理器、用于前碰撞和車道變更警告系統的分心適應的管理器，以及工作負荷管理器，至少基于從駕駛員的視覺行為所觀測或推斷出的駕駛需求估計來部分地控制它們。還描述了能適當地用于執行這些駕駛員注意力管理任務的硬件系統。還公開了用于基于人機交互(HMI)開發瞬間困倦和分心管理的"平臺"，如連續的以及行程后注意力反饋系統的描述。該HMI方法其目標是通過提供即將來臨的碰撞警告以及將引起積極的行為變化的注意力反饋來抑制駕駛員的疏忽。這種分析的至少一種用途是在嚴重性量化值超過規定的嚴重性閾值水平時提供駕駛員反饋。例如，當發生過度水平的視覺分心(目光離開太多次)或者是認知分心(當全神貫注時沒有充分地離開向前看)時，可以警告駕駛員。來自分析的輸出的另一種用途是在嚴重性量化值超過規定的嚴重性閾值水平時修改由車輛執行的規定功能。一個實例可能是在駕駛員被評估為分心或疏忽時使自適應巡航控制系統制定與前行車輛之間的額外空間。用于分析收集到的注視方向數據流的一個特別有利的模式是使用跨過數據序列(統計分析學科中公知的分析工具)的規定時長的主移動時間窗口，并且檢測主移動時間窗口內的指示駕駛員分時活動的發生的特性。一個實例是對移動的九十秒窗口中的某些數據取平均值。由于時間窗口沿著數據序列前進，將新數據加入考慮中并丟棄最早的數據(基于時間，等量地進行新進舊出)。對此方法的使用可用來基于駕駛員分時活動的超過閾值的發生頻率來識別出駕駛員高的工作負荷時段。為了使窗口擺脫檢測到的發生的影響，當檢測到駕駛員分時活動的發生的停止時，使主移動時間窗口更新(刷新或恢復正常)。以此方式，在檢測和分析之后，發生的影響被最小化，由此使系統為下一次偏離正常做好準備。如下文中將要詳細討論的，可以基于觀測到的眼睛活動來識別視覺活動的多個特性。非專業人士容易辨別出的一些公共特性是眨眼和掃視。非專業人士不易于理解的是諸如掃視之類的事情可以基于更少的已有眼睛活動(例如跳視、注視和轉換)來特征化或識別，前述眼睛活動的每一個都具有可測量的限定特性。在另一個實施例中，本發明采用了一種用于眼睛運動數據的自動分析的方法的形式，該方法包括如下步驟通過向數據應用分類規則并由此至少識別出受試者經歷的注視，使用基于計算機的處理器來處19理描述觀測受試者時得到的眼睛運動的數據。下文中詳細討論這些規則或特征。還對與識別注視方向相關的信息進行分析，由此生成表示目前正分析的在數據收集期間的受試者注視方向的數據。所應用的分類規則至少包括限定注視和轉換的標準。另外使用了還可以提供標準以限定跳視的分類規則。至少部分地基于注視方向，可以將數據分離成定界(ddimited)的數據集，每個定界的數據集表示在數據收集期間存在的受試者感興趣的區域/目標。另一方面，通過向數據應用至少一個掃視限定規則來識別掃視，每個識別出的掃視包括至少一個識別的注視。在本發明的此方面中，一般由下列特性中的至少一個特性來限定掃視限定規則掃視持續時間、掃視頻率、總掃視時間以及總任務時間。另一方面，與至少一個其他掃視集相比較地估計一個掃視集的相對密度，并且基于此，該方法識別出所比較的掃視集的代表性的受試者感興趣的區域/目標。在類似的方面，本發明的方法考慮了至少一個掃視集在多個掃視集中的相對密度的評估，并且，基于所評定的相對密度與已知的相對密度的映射來識別出所比較的掃視集的代表性的受試者感興趣的區域/目標，其中所述已知的相對密度與眼睛運動數據被收集的類型設置相關。例如，使用在正常駕駛狀況期間的在駕駛員感興趣的某些目標或區域內已知的停留時間的百分比，可以從所收集的數據中識別出那些目標或區域。另一方面，評定至少兩個掃視集的相對密度，所述掃視集開發自描述在空間上已知的設置中所觀測的眼睛運動的數據，并由此確定兩個比較的掃視集中的每一個掃視集的代表性的受試者感興趣的區域/目標。然后在已知的設置中確定代表性的受試者感興趣的區域/目標的位置，由此，因為推斷出的位置可以與目標/區域的已知位置進行映射或重疊，建立用于已知設置的參考系。在特別優選的實施例中，受試者是車輛駕駛員，并且，基于至少一個掃視數據集的密度，推斷出正常的駕駛員眼睛定向。在車輛駕駛員是受試者的本發明的另一方面中，考慮利用了多個分析協議，對該協議的選擇取決于與正在處理的數據集相關的主要噪聲特性。在一個開發例中，具有預定嚴格度的第一數據濾波器應用于數據輸入流，所述數據流包括描述觀測車輛駕駛員得到的眼睛運動的數據。使用了基于計算機的處理器，并且因此輸出第一濾波數據流，其對應于數據的輸入流。對應的概念可以是這樣每個輸出值對應于輸入值，所述輸出值源自輸入值。通過向其應用第一鑒定規則來評估輸出的第一濾波數據流的質量，并且，通過了第一鑒定規則的輸出的第一濾波數據流的數據被輸出并且構成經過鑒定的第一數據流。在另一個開發例中，具有比利用基于計算機的處理器的第一數據濾波器更大的嚴格度(數據更為平滑)的第二數據濾波器應用至數據的輸入流，并且因此輸出第二濾波數據流，其通過共同來源于數據的輸入流而對應于第一濾波數據流(再一次，基于對相同的輸入數據值進行的計算進行對應/比較)。通過向其應用第二鑒定規則來評估輸出的第二次濾波數據流的質量，并且，通過了第二鑒定規則的輸出的第二濾波數據流的數據被輸出并且構成經過鑒定的第二數據流。利用兩個經過鑒定的數據流，由經過鑒定的第一數據流的全部來構成匯集的經過鑒定的數據流，并且，該匯集的經過鑒定的數據流還21由經過鑒定的第二數據流的部分構成，所述部分對應于輸出的第一濾波數據流的未鑒定的部分。在至少一個實施例中，第一和第二鑒定規則相同；在另一個實施例，第一和第二鑒定規則是基于同樣的標準，但是可能不是同樣的規則。在另一個開發例中，所述方法包括從由下列項組成的組中選擇至少兩個分析協議以構成多個(l)基于速度的雙閾值協議，相對于組中的其他協議來說，其最適合于低噪聲含量的眼睛和眼瞼行為數據；(2)基于距離的分散空間協議，相對于組中的其他協議來說，其最適合于中等噪聲含量的眼睛和眼瞼行為數據；和(3)基于視覺特性的面向規則的協議，相對于組中的其他協議來說，其最適合于高噪聲含量的眼睛和眼瞼行為數據。在一個相關方面中，對于任何已知數據集來說，取決于檢測到的數據集中的噪聲水平，協議的選擇偏向于三個協議中的一個。另一方面，面向規則的協議在區分注視和跳視時考慮下列標準中的一個或多個.'(l)注視持續時間必須超過150毫秒；(2)跳視持續時間不可能超過200毫秒；以及跳視起始和結束于兩個不同的位置。另一方面，基于多個分析協議中的各自分析協議的相對使用來評估描述行為運動的數據的質量。可選地或與此相關地，可以考慮在規定的時段內的多個分析協議中的各自分析協議的基于時間的相對使用來進行該質量評估。圖1是駕駛控制任務和次要任務的相互關系的圖解表示；圖2是示出了使用道路中心百分比來測量各種車輛內部任務的相對影響的圖解演示；圖3是絕對道路中心百分比的圖解演示，被與其他的分心檢測量相比較地示出；圖4是對于不同時間閾值的離開道路中心的長掃視百分比的圖解演示；圖5是示出了注視方向檢測量的示意圖6是兩個眼睛運動的細節的曲線圖，示出了微小的跳視、偏移和顫動；圖7是眼睛運動樣本的不同分量特性的圖解演示；圖8是多個注視和跳視的圖解；圖9是表示注意力管理系統的一個實施例的流程圖，所述注意力管理系統包括硬件和用于檢測、計算、HMI以及供電的功能模塊；圖IO是一種平臺的圖解演示，可以在所述平臺上示例性地實施多個困倦管理措施；圖11描述了給駕駛員的可能的顯示警告的示例性表示；圖12描述了示例性的、交互式的駕駛員響應面板；圖13描述了用于駕駛員注視的重新定向的示例性實施例；圖14示意性地示出了使駕駛員疏忽的構成部分的相互作用；圖15(a)至(c)示出了多種"主動式"圖形顯示，其用于顯示根據本發明的教導的實時駕駛員信息；圖16以與最佳注意力水平的指示相比較的格式提供了實時的駕駛員反饋的示圖17提供了對檢測出的增加的工作負荷/疏忽水平的基礎的示例性格式說明的示圖18提供了屏幕上行程后(on-screenpost-trip)反饋的示例性示圖；圖19提供了用于前碰撞情形的抬頭顯示或屏幕顯示警告的示例性示圖20提供了涉及車道變更碰撞情形的抬頭顯示或屏幕顯示警告的示例性示圖21提供了用于進行根據本發明的系統和方法的示例性流程圖，其中對駕駛員生理特性進行測量。在另一個步驟中，對諸如駕駛員分心水平或注意力負荷水平的行為參數進行評估，在又一個步驟中，將關于該評估的反饋提供給駕駛員；圖22示出了構成掃視的眼睛運動分量；圖23是離線混合算法的示圖24是示出了限定注視和跳視的閾值規則的曲線圖；圖25是示出了基于信號噪聲量的分析工具選擇的示圖；圖26是在線混合算法的示圖27是用于對在位置上和偏離位置數據進行分類和聚類的裝置的示圖28是車輛內部朝向儀表面板的透視圖，其中單個照相機或監視器位于車輛內；和圖29示意性示出了本公開內容的道路中心區域概念的環境；圖30是基于事實上的群或密度的受試者感興趣的兩個區域/目標的興趣點的曲線圖31是示出了眼睛運動對時間的變化的曲線圖；圖32a是示出了未濾波的數據的示圖；圖32b是示出了數據濾波的示圖33a提供了二維圖，示出了基于掃視行為的對道路中心前方區域的識別；和圖33b提供了三維圖，示出了基于作為時間的函數的掃視行為的道路中心前方區域的識別；和圖34示出了對道路中心區域的替代測定；圖35是用于影響定向數據的實時分析的替代裝置的示圖36是示出了實際頭部位置向參考系的平移的示意圖37至40不同地示出了白天群或密度收集的圖形描述，用于示例性地識別道路中心百分比或尖峰；圖41是車輛內部朝向儀表面板的透視圖，其中兩個"立體式"跟蹤照相機或監視器位于車輛內；和圖42是具有被插值的眨眼的注視水平信號的圖解演示；圖43是水平注視的圖解演示，并且示出了由于眨眼引起的三次偏離(dip);圖44是相對于閾值的眼睛運動速度的圖解演示；圖45是被分段的注視信號的圖解演示；圖46是被恢復的注視的圖解演示；圖47是離開前方道路景象的多次掃視的圖解演示；圖48是示出了兩個感興趣的區域/目標的停留時間直方圖；圖49示意性地示出了前方道路景象邊界的建立；圖50至53是各種分量的圖解演示，所述分量是駕駛員做出的典型掃視的方面；以及圖54至56是掃視數據的某些統計分析的圖解演示。具體實施例方式在描述為本發明的焦點的實際數據處理技術之前，將先提供涉及眼睛運動的基本特性的一些基礎信息，以及關于典型的跟蹤系統的一般信息，所述跟蹤系統可用來檢測、量化以及可選地記錄描述頭部和/或眼睛定向(位置及運動特性)的數據，以嘗試方便于非本
技術領域：
的讀者。至少對于基于眼睛運動的系統來說，目前可用的用于收集眼睛運動數據的檢測系統輸出含相當多噪聲且包括假象(artifact)的"原始"眼睛運動信號。通過閱讀本公開內容的各個方面，這將變得明顯典型地，頭部定向跟蹤數據可以用作近似值，且因此經常可以用作對眼睛跟蹤數據的有效代替者。本發明的算法處理此信息并且產生表示諸如下列檢測量的輸出掃視頻率(在預定時間段內朝著目標區域掃視的次數)、單次掃視持續時間、總掃視時間和總任務時間。該算法包括限定觸發不同警告的規則，例如，如果駕駛員査看他/她的移動電話超過兩秒而沒有把目光移回道路。對精確的觸發規則的定義是繼續開發中的實時系統進行整理的產物。25目前公開的本發明的方面包括兩個不同基礎的算法；一個是用于離線后續數據收集處理，一個用于實時處理，其中，實時處理基本上與數據收集同時進行(當執行量化的特性時)。它們的基礎類似，但是實時算法具有初始化步驟并缺少一些離線特征。離線分析的主要目的和益處在于對所記錄或存儲的特性數據的處理。實時分析的主要目的是立即處理所收集的數據，并且使其基本上同時可用于以下事情例如當觀察的受試者是車輛駕駛員時，對被觀察的受試者的反饋或對相關系統的適應(例如對車輛系統)。關于駕駛員，離線算法的一個目的是從任務(例如，改變廣播電臺或使用RTI系統(同時在駕駛時))中分析眼睛運動數據，以確定單元把多少視覺需求放在駕駛任務上。實時算法的目的是確定駕駛員在多大程度上觀察道路。本發明的一個目的是使實時算法適應或有效，使得可以獲得類似于離線算法的結果。眼睛運動一般可以分成兩類跳視和注視。當眼睛固定在某物(例如本頁上的字母)時，發生了注視。當大腦可以吸收被解釋為物體(注視集中在其上)的視覺圖像的信息時，也會發生注視。另一方面，跳視是在注視之間的運動，即改變關注點。跳視很快(其最大幅度處的峰值速度為700°/s)，并且觀察者的大腦抑制對這些入射影像(incident)的識別，因為光跨過視網膜時速度太快，以至于不能被大腦解釋。朝著某些東西(例如移動電話)的掃視是以下三個部分的組合離開預定目標區域(例如道路)的跳視、掃視的開始、對新目標區域(例如移動電話)的注視。當離開第二目標區域的跳視開始時，掃視結束。在同一目標區域中的連續跳視掃視和注視被限定為同一掃視的部分。本發明的一些目的和有利方面可以概括為(l)即使處于只組合基于速度和分散的算法的水平，該混合算法是新的，特別是當結合視覺規則時。迄今為止，當對眼睛運動進行分段時，還沒有考慮眼睛的物理能力；(2)比只是指定"山形"的平均值要更為詳細的使用密度函數尖峰作為其中心來定位道路中心區域的想法和步驟；(3)整個算法以及每個不同的算法部分相互協作的方式。道路中心百分比(PRC)和絕對道路中心百分比(A-PRC)的概念作為駕駛員注意力的檢測量。算法不僅想產生所述檢測量，而且還可以用來確定在ISO15007-2中限定的所有檢測量以及SAEJ-2396中的檢測量。已經對眼球運動的概念進行了很好的研究；一般地，眼睛運動被分成多個不同的種類，例如跳視、微小跳視、平滑跟蹤、異向(vergence)、顫動、偏移(drift)等。然而，對本發明來說，眼睛運動被分成兩個基本的種類跳視和注視。本發明的合理性是所有的數據點不是跳視而是掃視。這包括在駕駛期間經常發生的下文描述的注視概念中的平滑注視被定義為在眼睛可以吸收信息的信息區域上的暫停。為了實現有效的注視，該暫停必須持續至少約150毫秒，同樣，人腦利用信息所需要的時間也同樣是至少約150毫秒。雖然被稱為"注視"，但眼睛仍然運動，形成微小的運動，如偏移、顫動和微小跳視，同時"固定"在一個區域上。這些小的運動具有很低的幅度，并且是限定注視的部分。圖6示出了具有偏移、顫動和微小跳視的典型注視。其中，用曲線示出了受試者兩只眼睛的活動情形，一個位于另一個的上方；水平軸上標出時間，而縱軸表示距離。幸運地，這些運動要么非常緩慢(典型地大約為4到200s.sup.-l)，要么很小(典型地大約20-40英寸)，這阻止了通過在這些類型的應用中所使用的典型設備對他們的檢測。這是有利的，因為這些偏差將被視為噪聲。仍具有次跳視速度的其他的大范圍移動被稱為平滑跟蹤。它們是注視的子類；即，移動目標的注視或者當觀察者移動時對靜止(或者移動)目標的注視。當我們跟蹤目標時，眼睛使用小的跳視來將中心凹(fovea)帶到目標上，然后執行緩慢、連續的運動以跟蹤目標，并且，這取決于其速度。速度范圍大約在80至160度每秒的緩慢移動構成了平滑跟蹤。圖7示出了此行為，其中受試者跟蹤在由曲線(a)表示的彎曲路徑上移動的點。曲線(e)表示全部眼睛運動，包括跳視和平滑跟蹤。曲線(ej表示平滑跟蹤的去除，并且(e，)示出去除了掃視的曲線。通常，全部跟蹤行為被稱為平滑跟蹤，并且可以被認為是偏移的注視。為此，由于在此運動期間信息正被處理并且跳視太小以至于不能用可用的眼睛運動跟蹤系統來進行檢測，此類行為在本發明中被稱為注視。跳視是快速的眼睛運動，它發生在人的目光在兩點之間改變時。跳視運動在幅度、持續時間、速度和方向上不盡相同。幅度大于五度的跳視的持續時間將大約是20-30毫秒；其后，每增加一度，持續時間大約增加兩毫秒。典型地，峰值速度從幅度小于0.1度的大約IO度每秒到大幅度時的700度每秒之間變動。圖8示出了從一個關注點到另一個點的典型跳視，其示出了幾乎不含有噪聲的良好跟蹤測量的實例。示例性的跳視被示出為從點(A)開始，終止于點(B)。而且，示出的眼睛運動只由繞一個軸線的運動構成；即，沒有對水平面內的跳視進行測量。在跳視運動期間，由于光在視網膜上移動得太快，人腦一般不能感知信息。然而應當理解，事實上已經證明在跳視期間有一些信息實際上得到了處理。只有被觀察目標以與眼睛相同的速度并沿相同的方向運動時，識別的感知才發生。信息的一般缺失迫使大腦預先計算幅度和持續時間。此過程中的不精確和噪聲幾乎總是產生一定程度的"上超(over-shot)"與"下超(under-shot)"。通過比先前的時間更短的偏移或者新的跳視對此進行修正，因此更為精確。此處，由軌跡(A)的長垂直部分表示的跳視下超通過表示修正性微小跳視(B)的較短垂直部分修正。這種修正性跳視通常具有低幅度，其不能使用已知的眼睛跟蹤設28備檢測，并且反而被認為是增加的噪聲。除這三類運動以外，還有不同一種不同類型的視覺行為，通常稱為眨眼。人類通常大約每兩秒鐘眨眼一次，這是對注視估計有不利影響的特性。在眨眼時，在眼睛實際閉合期間，無法檢測注視，并且因為眨眼確實發生在跳視和注視期間，當對跟蹤設備重新可視時很難預期眼睛會觀察哪里。幸運地，眨眼速度很快，整個眨眼過程大約200毫秒。這意味著眼睛全部閉合的時間只有大約100-150毫秒。因為受試者通常完全沒有意識到眨眼的發生，所以，本發明通過抑制對跳視和眨眼的識別來獲得真實情形更為連貫和穩定的感知。眼睛的屬性有利于分段，意味著存在眼睛運動的物理邊界，這提供了用于分類的規則。例如，在小于約180毫秒的時間內，一次跳視后不可能接著另一次跳視；這意味著跳視不可能持續超過200毫秒。200毫秒的跳視將具有約90度的幅度，這很不常見。更進一步，時長大于大約220毫秒的任何測得的跳視很可能是兩次跳視，在兩者之間存在一次注視。另一個有趣的事實是，受試者對上述眨眼識別的抑制。受試者一般沒有意識到眨眼的發生，并且一般可以不對其進行分析，因為眼睛的行為不受它們的影響。下列情形構成與本發明有關的眼睛的物理邊界注視持續至少大約150毫秒；在小于約180毫秒的間隔內，一次跳視后不可能接著另一次跳視；人的視野是有限的；注視可以空間非常大(平滑跟蹤)；跳視由視中樞抑制；眨眼由視中樞抑制。對車輛的駕駛員來說，可以有更多的限制，例如在駕駛期間，特別是在執行任務期間，駕駛員不可能注視內部頂板或底板；受試者的注意力(和注視)的大部分最有可能集中于道路中心，并且平滑跟蹤的速度較低以便緩和。舉例來說，出現的交通和道路標牌觸發大部分檢測的跟蹤。在本發明中，這些邊界用來限定一個系，所述系可用作駕駛員眼睛運動的分段的一部分。根據本發明，眼睛檢測量被分成兩組，基于掃視的檢測量和基于非掃視的檢測量。這兩組由基本的視覺分段的結果形成，其中，識別出注視、跳視和閉眼。如上所述，不同的研究員具有不同的分析數據和限定注視/跳視的方法。具有統一的規則和基準是重要的，使得所有的這類分析方法可以基于公認的國際標準。這就是為什么本發明中的檢測量是基于ISO15007-2和SAEJ-2396標準的定義的原因。這兩個標準都標準化了與駕駛員視覺行為的檢測量有關的定義和度量標準以及步驟，以確保實際評估的適當進行。SAE文檔依賴于許多ISO標準術語，并且每個文檔用作對其他文檔的補充。還考慮到了人機交互(HMI);這種HMI概念的實例已經徹底地描述在于2003年2月19日提交的，題目為"SYSTEMANDMETHODFORMONITORINGANDMANAGINGDRIVERATTENTIONLOADS(用于監測和管理器駕駛員注意力負荷的系統和方法)"的美國專利NO.US6,974,414中，其全部公開內容在此通過引用的方式并入。其中，提出了如何發出這些警告信息的概念。在至少一個實施例中，本發明提供了一種能夠實施車輛內注意力管理概念的系統和方法，包括示例性的硬件，本發明的功能可以在所述示例性的硬件上實現。在此處理幾個基本問題和目標，包括駕駛員需要何種源自視覺的支持以及如何將其概念化以實現被接受；對駕駛員視覺行為的實時識別如何可以用于降低駕駛錯誤并防止事故；實施方式的商業可行性是什么。為困倦管理器、分心管理器、前碰撞及車道變化碰撞警告系統的分心適應以及工作負荷管理器提供功能性描述。還包括用于實施視覺行為的駕駛需求估計的系統和方法。這些系統和方法中的一個或多個被分別以及共同地描述為包裝的所謂的注意力管理系統。這些系統的一個可能的元件以及此處描述的幾個發明的元件是注意力支持演示器，其可用來實施這些用于演示和測試的系統和方法。此處還描述了視覺行為的駕駛需求估計的實例。在一個實施例中，注意力管理系統包括用于以下項的硬件(l)檢測、(2)計算、(3)HMI以及(4)供電。裝置或功能模塊可以示例性地被配置(互相聯系)成如圖9所示，并且適合于在諸如汽車和卡車的車輛內實施。采用了視覺行為傳感器，比如，可購自SeeingMachines公司并且適合于安裝在車輛內的傳感器。這類系統可以包括(l)立體攝像頭、(2)個人電腦(PC)以及(3)適當的駕駛軟件。可選地，也可以采用例如由SMARTEYE商行生產和銷售的視覺行為傳感器。其他的視覺行為測量裝置也可以包括例如照相機、超聲裝置和電容傳感器。照相機可用于執行圖像處理以獲得眼睛運動、眼睛閉合和/或頭部運動數據。超聲裝置和電容傳感器能用于提供位置信息，例如身體姿勢和頭部位置。在一個實例中，車輛性能信號可以從CAN總線獲得。還可以使用方向盤角度傳感器以及車道跟蹤硬件和軟件。使用注釋箱(annotationbox)和視頻記錄硬件。使用了車載個人電腦，或者類似功能的計算裝置。替代地，特別是為了便于測試和實施，可以使用膝上型計算機，其示例性地運行諸如"Director"和"Simulink"的軟件。還可以安裝和使用xPC。從硬件角度來說，使用了LED控制器硬件。音頻HMI(警告聲音，記錄消息)通過計算裝置提供。還可以使用用于用戶輸入的觸摸屏。應當理解，這些實施例中的一部分適合于產品開發并且便于系統測試，但是當商業化時，幾個元件被直接集成到車輛內。可以包括座椅振動裝置或者類似的駕駛員警告器。在一個優選實施例中，使用LEDHUD(抬頭顯示器)。還可以使用由LED控制器控制的LED陣列(顯示器)。用于整個系統的電源可以取自承載的車輛。困倦管理器可以用兩種構造來實施。在第一實例中，其完全基于PC;即，不需要外部硬件或者外部通信能力。此實施例是基于場景的，即，基于實際的PERCLOS(考慮掃描模式的分析、注視的次數與時長、跳視延遲等)數據進行困倦事件的跟蹤，而不是實時進行。硬件功能通過諸如基于LED或HUD或物理刺激(例如座椅振動)的可視顯示的激勵來刺激駕駛員，在另一個實施例中，實現了HMI硬件和Simulink的通信。可以在其上實施多個困倦管理措施的"平臺"是希望的，并且，可以在所述"平臺"上進行測試。圖IO示意性地示出了用于這種實施的示例性平臺。可以認為圖10示出了引導(director)程序。相對于不同的HMI元件來說，這種布置易于改變；例如，向駕駛員提供(l)連續的信息流，提供(2)警戒性警告，(3)突出的危險報警，(4)駕駛員響應測試，(5)行程后的匯總信息，以及(6)操作者輸入設置菜單。在一個實施例中，向駕駛員提供警戒性警告。駕駛員能夠在警告版本間做出選擇，但是不能使警告完全無效。示例性地，可以在蜂鳴音之后向駕駛員播放可選的語音消息警告，例如"<困倦導致的自動插入>"、"休息一會兒"。替代地，可以單獨或者與聽得見的警告一起或者與警告的打印版本一起向駕駛員顯示圖標。示例性的圖標警告如圖11(a)至(d)所示，其中(a)大眼睛閉合檢測，(b)不一致的轉向檢測，(c)不一致的車道保持檢測，(d)駕駛員困倦檢測。取決于檢測到的駕駛員狀況，可以同時顯示這些圖標中的一個或多個。在另一個實施例中，包括麥克風，使得駕駛員能夠記錄或者提供他或她自己的警告信息，就像電話應答機及其他可定制的音頻回放裝置。在又一個實施例中，向駕駛員施加物理刺激警告。優選地，駕駛員可以在設置菜單中的警告類型之間做出選擇，但是，在至少一個實施例中，防止操作者使物理警告完全無效。這種物理刺激的一個實例將是座位振動。在另一個版本中，閃光"HUD"LED可以用來明顯地刺激駕駛員；再一次，其單獨地或者與此處描述的其他類型的警告相結合。在一個優選實施例中，駕駛員能夠啟動三種上述類型的警告，以在有效時同時發出。還提供了駕駛員反應功能，即對信號的反應時間。就這些功能而言，駕駛員能夠使其有效和無效，以及在設置菜單中的警告版本之間做出選擇。在預定時間內，例如在發出警告后五至八秒鐘，駕駛員反應功能開始運行。示例性地，將有蜂鳴音，如圖12所示，在觸摸屏上顯示的按鈕下有"Press"文本。如果駕駛員沒有在規定的時間內反應，或者根據基于一些其它反應時間的算法的時間沒有反應，那么，將發出報警警告信息。這將繼續，直到駕駛員停下車輛，變得警覺并且系統檢測到這一點，或者駕駛員將此功能關閉。為了向操作者提供定制能力，下面示出了可以通過HMI元件來選擇的示例性選項HMI元件選項(l)連續的困倦反饋on/off選擇多個反饋版本中的一個(2)警戒性語音消息警告on/off缺省消息on/off用戶提供的消息on/off使用多個圖標或者使用缺省圖標(3)報警/下列剌激方式的選擇(必須檢査至少一個警告)座位振動on/off聲音on/offHUD視覺警告on/off風扇(在迭代(iteration)1中沒有實施)氣味(在迭代1中沒有實施)中斷供氣(在迭代1中沒有實施)駕駛至路旁(在迭代l中沒有實施)使用多個圖標或使用缺省圖標(4)駕駛員響應駕駛員響應on/off分心管理器可以在兩個實施例中實施。在第一實施例中，分心管理器完全基于PC，沒有外部硬件或通信能力。它是基于場景的，艮P，給出的是分心事件的時間線，而不是實時進行。模擬了硬件功能。第二實施例是基于硬件實現，它包括實時通信能力。本發明的另一個方面是基于安全閾值的分心警告。提供警告以通知駕駛員降低安全的分心行為。如上文所述，駕駛員通常沒有意識到他們的分心對他們駕駛能力的影響。因此，基于安全的分心警告的目標是向駕駛員給出關于駕駛控制任務的能力降低(performancedec腦ent)的反饋。即，如果檢測到分心(即，掃視行為已超出適當的安全閾值和/或在掃視行為期間車輛的性能惡化)，系統提供下列警告中的一個或多個。可以提供聲音(例如簡單蜂鳴音)或者關于已檢測出能力降低的性能特定的語音消息。例如，如果掃視行在掃視安全閾值標準(例如EU推薦的4次掃視或者2秒的單次掃視持續時間，美國AAA推薦10秒總掃視持續時間)之上，那么可以發出消息"檢測到視覺分心"或者"目光嚴重偏離道路"。如果在次要任務掃視行為期間轉向不正常，那么可以發出消息"在視覺分心期間轉向不一致"。如果在次要任務掃視行為期間車道保持不正常，那么可以提供諸如"在視覺分心期間車道保持不一致"的消息。如果在次要任務掃視行為期間檢測到大的速度降低，那么可以提供諸如"在視覺分心期間大的速度降低"的消息。如果檢測到多個起因，那么可以發出諸如"檢測到視覺分心"的通用消息。如果在次要任務掃視期間，在不同的道路類型或不同的需求水平下檢測到控制任務干擾，那么發出相應的警告。警告的形式可以包括駕駛員記錄或提供的消息、在座位前部的座位振動或者如下所述的對注視的重新定向。本公開內容還包括圖13所示的"注視的重新定向"的新概念。其中，如果檢測到駕駛員分心，接口將駕駛員的眼睛引導向前方駕駛景象(即，通過前擋風玻璃)。示例性地，取決于檢測到的駕駛員的目光，跟隨三個LED"線"(左，中,右)中的一個或多個的光波將啟動。光波之后，可選地，可以點亮大的圓圈，然后點亮LED的中線；每個目的都是使駕駛員的注意力更清晰地集中在需要的地方。LED燈的確切位置和時長不是關鍵，顏色也不是。實際上，時長可以是低于限值的；即，太快以至于駕駛員無法有意識地感知到。替代地，首先，適當的燈光可以慢慢地閃爍，并且通過系統對駕駛員進行評估，以確定修正行為是否發生。如果沒有，可以增加閃爍時長和光的強度。用于分心反饋的設置菜單可以具有如下所示的示例性邏輯HMI元件選項(l)連續的分心反饋on/off(2)安全語音消息on/off閾值性能特定信息on/off基本的缺省/多個起因消息on/off分心用戶提供的消息on/off警告座位振動on/off注視的重新定向on/off。另一方面，本發明并入了具有駕駛需求估計的工作負荷管理的概念，所述駕駛需求估計源于駕駛員的視覺行為。通常，"工作負荷管理"的概念是優先化(prioritization)系統，其對信息進行分類并且可能延遲向駕駛員提供當前的展示，直到他或她的工作負荷低到足以避免與信息的接收相關的風險。集成的車輛內信息系統的接口可以適合于保證將適當的注意力分給駕駛任務。此處引用的分心管理算法的輸出可以用作工作負荷管理器的輸入。使用對駕駛需求的駕駛需求視覺主動檢測，在此公開的類型的工作負荷管理器精確地測量駕駛員的工作負荷。示例性地，這是非接觸的車載測量，其測量駕駛員"在視覺上有多么主動"；即，頭部和眼睛運動(轉動)的變化。工作負荷管理器的一個方面是暫停可聽見的會話或者信息。舉例來說，這包括系統初始化的或者自動初始化的信息(例如從文本-語音電子郵件和不關鍵的導航系統信息)，并且在較高的視覺主動性時可以暫停隨機初始化的語音對話(例如打進和打出的電話會話)。舉例來說，一系列電子郵件可能正傳送給駕駛員，例如，來自存儲器中的十封新的電子郵件正通過文本-語音系統大聲"讀出"。在這種音頻傳送期間，由管理系統檢測駕駛員較高的視覺主動性時段。作為響應，系統暫停音頻傳送以避免增加駕駛員的注意力負荷而使其超出預選水平；此水平示例性地對應于注意力負荷，超出該水平則駕駛能力下降。可選地，管理系統可以包括通過音調等給駕駛員的這種中斷的可聽見的指示，其也可以用作給駕駛員的高注意力負荷狀況的通知。基于駕駛員的初始化或系統初始化，可聽見的傳送可以重新開始，這取決于系統檢測出注意力負荷已足夠減小到預選水平，此水平示例性地對應于駕駛員接收這種可聽見的信息時的安全狀況。另一方面，通過所公開的管理系統使連續和/或行程后的注意力負荷反饋有效。根據通常稱為反饋原理的基本人類行為特性，可以使該方面有效；這種原理一般認為反饋能增強性能。這對于任務/技能學習(例如學習安全駕駛)和工作提升來說都是真的。如上文所述，典型地，駕駛員不善于判斷他們自己的能力。在任務/技能表現方面可獲得的直接、精確、即時、連續信息的程度是增強駕駛員能力和動力的關鍵元素。注意力反饋構成了一種形式的固有駕駛反饋，迄今為止，其還不能用于駕駛員。該方法是積極的行為適應和生活方式改變之一，而不是即將來臨的碰撞警告。例如，一些研究員相信，用于增加警覺的主要機制是"決定影響"。決定影響的概念規定，此性質的信息(駕駛員注意力負荷和警覺狀態)將影響駕駛員的決定是否停下來休息，喝咖啡，降低酒精消耗或改變其他的這種行為。因此，注意力反饋的目的是在多個時間系中的一個或多個內鼓勵積極的行為改變，例如(l)即時(例如短期的補償行為，如改變姿勢或放棄復雜的任務)；(2)行程后(例如停下小睡，切斷移動電話)；(3)日間(在注意力較低的白天之后睡更多時間，從前排座上去除視頻屏幕);(4)長期(采取不同的睡覺生活方式或分心態度)。此反饋增加了駕駛員對疏忽行為的自我意識，并且使得能夠進行更好的自我管理。考慮了兩種主要的反饋類型。第一種是連續的車輛內反饋，其為駕駛員提供實時的注意能力信息，例如，在駕駛時展示信息。此信息以其自身不會造成危險的方式進行通信。該概念是提供一種注意力檢測器，警覺能力檢測器(警覺檢測器)，或安全/不安全的駕駛能力檢測器。第二種反饋類型是行程后反饋，一旦停止駕駛，其向駕駛員提供更詳細的注意力能力信息。將行程后反饋保存至"文件"進一步允許基于車隊(fleet-based)進行的安全反饋集中于源行為，其與諸如事故事件的結果測量相反。可以有助于駕駛員接受的一種選擇是提供一種等級系統。在這種等級系統中，駕駛員連續訪問數據，車隊管理者可以獲得匯總的數據，并且，調節機構可以被授予獲得匯總數據的權限。因此，在車隊駕駛員的情形下，本發明作為一種有益工具可能更有吸引力，不必引起駕駛員對雇主報告的特性的憂慮。為了能夠給出注意力反饋，管理系統必須運轉。可以認為疏忽包括困倦/生病、分心以及高工作負荷因素。因此，如圖14所示，考慮每一種類型的疏忽的集成模型是優選的。其中，示出了根據本發明構造的一個系統模型，其可以選擇性地考慮駕駛員的疏忽、工作負荷以及個人特性(例如困倦和分心)。在本發明的另一方面，提供了獨特的方法，用于向駕駛員顯示各種信息或反饋。在連續的注意力反饋情形中，圖15(a)至(c)示出了各種"主動的"圖形顯示，用于顯示由管理系統檢測或生成的實時駕駛信息。舉例來說，顯示可以是"通用的"或者合成的注意力反饋量，例如注意力/分心的水平，它是困倦、分心和工作負荷的組合的檢測量。在圖15(a)的情形中，示例了沒有趨勢信息的簡單堆疊的燈。在圖15(b)的情形中，使用了"飛機雷達式"顯示，其中，一個方框環繞著當前的高度水平定位，并且能顯示"漸淡"形式的趨勢信息。圖15(C)示出了直方圖，其中，瞬時的"實時"信息被示出為右邊的升高/下降的光柱(相對較寬)，預選的持續時間內總的統計數值(平均值，中間值等)由左邊的較窄的光柱示出。這樣，示出了趨勢信息。在圖15(c)示出的示例性實例中，示出了五個先前的時段。應當理解的，根據用于顯示的控制邏輯和存儲器容量，可以顯示任何先前的時段。另一方面，本發明還以與注意力的最佳水平的指示相比較的格式提供了實時的駕駛員反饋。圖16示出了這種顯示的示例性實施例，其中，駕駛員可以觀察他或她相對于最佳注意力狀態的分心程度或過載程度。又一方面，本發明可以用來測量駕駛員疏忽的檢測時段，提供狀態通知。對于檢測到的增加的工作負荷/分心水平，駕駛員然后可以"問"(例如通過觸摸屏幕)問題是什么，并且接收對所述問題的說明。這種反饋可以示例性地用口頭消息的形式和/或圖形地提供，如圖17所示。其中，在右邊示出了表示困倦、分心和工作負荷的三幅圖，在左邊示出了組合效果，其中指示了相對的駕駛員注意力集中狀態。如上所述，行程報告的方面對于駕駛員學習和行為修正來說是非常有利的。因此，圖18示例性地公開且示出了提供屏幕上行程后反饋信息的創新性方法。在該示例性的實例中，已經為行程后反饋選擇了從顯示屏幕的菜單選擇，并且也以歷史格式顯示了諸如閉眼的百分比、轉向一致性等的測量特性。當然，可以有利地記錄該相同的信息，用于以后的分析和使用。上述駕駛員能力還可以用于其他車輛系統的分心適應，例如前碰撞警告、后碰撞警告和車道變更碰撞警告(FCW，RCW和LCW)系統。追尾碰撞大約占汽車碰撞的百分之二十八。因為在這些碰撞的百分之38六十以上，駕駛員的疏忽都是起作用的因素，所以碰撞警告及避免系統是減少碰撞并挽救生命的重要工具。本發明的注意力管理系統的一個目的是檢測在交通環境下疏忽和安全關鍵事件一起發生的情形；例如，前方車輛的突然制動和駕駛員眼睛偏離道路的情形。這樣的兩個實例可以用作視覺行為信息，以適合于前碰撞警告和車道變更警告。通過根據駕駛員是否與潛在的導致分心的裝置或其他類型的任務接合來動態地調節碰撞警告閾值，對量化的次要任務的檢測(例如通過檢測按鈕是否按下或眼睛運動)的整合大大增強了碰撞警告系統。例如，如果檢測至駕駛員正在用移動電話進行會話，那么碰撞警告系統可以在更早的時候生成警告。相比于較遲的警告或根本沒有警告來說，早期的碰撞警告幫助駕駛員更快速地反應，并避免更多的碰撞。如果駕駛員疏忽于駕駛任務的某一方面，例如，當檢測到將可能發生前碰撞時把目光從前方移開，或者是當檢測到可能發生車道變更碰撞時沒有橫向觀察，那么，將更早地啟動這種情形的警告。研究表明，當駕駛員把目光轉向別處時，對于避免碰撞來說，即使早一秒鐘的警告也是高度有效的。如果檢測到駕駛員是專注的，那么可以推遲警告甚至取消。延遲發出警告允許有更多的時間用于前碰撞警告和車道變更警告算法，以更肯定地確定需要警告，由此減少誤報警。更進一步，當駕駛員注視道路或側鏡時，駕駛員選擇不使碰撞警告激活，這樣的駕駛員取消也消除了惱人的誤報警。作為一種實施策略，在第一階段，這種警告可以是"軟性的"，但是，隨著情形惡化，在碰撞即將來臨時強度增加。在這種前碰撞警告情形中，可以首先調用抬頭警告或屏幕顯示警告，當碰撞情形加劇時，稍后結合可聽見的報警信號。圖19示出了前碰撞情形下的這種警告及其控制參數的實例(其可能向駕駛員顯示或不顯示)，圖20示出的是車道變更碰撞情形下的情況。可以在其他環境下使用上文描述的關于駕駛員特性的檢測特征，并且可以用于除清楚描述的以外的其他用途。檢測特征也可以集成以用于其他車輛內系統中。例如，作為被動安全特征，可以使"智能"安全氣囊能夠檢測何時駕駛員/乘客的頭部不處于適當位置以接收展開的安全氣囊。作為響應，可以改變安全氣囊的展開，以適應檢測出的頭部位置。另一方面，檢測出的行為可用來識別駕駛員，或者至少判斷出方向盤后的是否是授權駕駛員，由此便于防盜。頭部和眼睛傳感器還可以用于自動地配置鏡子、座位位置等。口形跟蹤可用來增強語音識別附件。可以采用用于迎面車前燈的過濾器，其可以基于眼睛位置和運動為駕駛員提供顯示。在描述本發明的過程中，判別設備和步驟是否同時適合于兩個模擬環境以及道路試驗。然而，兩個標準(SAE和ISO)都是基于使用例如照相機和記錄器的視頻技術，通過人工評定來對注視和跳視進行手工(離線)分類。手工圖像錄制是費時的并且可能不可靠。因此，諸如本發明所基于的方法的自動方法是優選的。有利地，使用手工地或自動地對眼睛運動進行分類的任何系統，對ISO/SAE類型的檢測量的結合與示例性信賴可以依賴。下面，描述基本的視覺分段的子部分以及兩組檢測量。基本的視覺分段利用可用的眼睛跟蹤系統將眼睛運動分成最小可測量。這些眼睛移動"塊"表示一個基本單位(base)，所有的基于掃視的和統計檢測量都源自此基本單位。總之，它們包括(1)跳視，限定了從一個感興趣區域轉向另一個時的眼睛快速運動；(2)注視，其提出了眼睛位置的對準或穩定，使得對其進行注視的目標的圖像落在中央凹上持續給定時間段；(3)眼睛閉合，其中短持續時間的眼睛閉合稱為眨眼，而長的眼睛閉合可以認為是困倦的特征。為了理解在ISO/SAE文檔中使用的檢測量，重要的是熟悉對掃視的定義，根據SAE標準，掃視被認為是在目標區域的一系列注視，直到眼睛被導向到新的區域。例如如果駕駛員最初觀察正前方(道路上)并然后看收音機，那么，首先注視其顯示然后注視音量控制，他或她執行兩次注視(未計數第一次對正前方的注視)和兩次跳視，所有這些組成一次掃視。掃視隨著離開道路的第一次跳視(此跳視被稱為轉換)的開始而開始，隨著對收音機的注視的結束而結束。圖22提供了典型的駕駛員三種掃視系列的分量的圖解說明。其中，注視、跳視和轉換被量化為幾個掃視的分量。所有基于掃視的檢測量都源自這些定義，并且被認為是對眼睛運動的"高水平"描述，其中所述眼睛運動構成先前部分描述的"塊"。這些檢測量表現出不同的屬性，比如分時、工作負荷和視覺注意力需求。ISO和SAE協議中限定和使用的檢測量是(l)掃視持續時間，其被限定為從注視方向朝著目標移動的時刻到它從目標上離開的時刻。較長的持續時間表示此區域中的較高的工作負荷需求；(2)掃視頻率，其被限定為在預定樣本時間段內或在預定任務期間對目標的掃視次數，其中，每次掃視通過至少一次對不同的目標的掃視隔開。此檢測量應當與掃視持續時間一起考慮，因為低掃視頻率與長掃視持續時間相關；(3)總掃視時間，其被限定為與目標相關的總掃視時間。這提供了對由目標位置提出的視覺需求的檢測量；(4)掃視概率，其被限定為掃視給定位置的概率。此檢測量表示與目標相關的相對注意力需求。如果計算一組互斥的、窮盡的目標，那么可以使用這樣的分布來進行統計學比較；(5)停留時間，其被限定為總掃視時間減去使掃視開始的的跳視；(6)連接值(linkvalue)概率，其被限定為兩個不同位置之間的掃視轉換的概率。此檢測量表示在不同目標區域之間對分時注意力的需求；(7)離開前方道路景象的時間("前方道路景象"不包括后視鏡和側鏡)，其被限定為對前方道路景象的兩次連續掃視之間的總時間，并且，其被對非道路目標的掃視隔開；(8)轉換，其被限定為眼睛從一個限定的目標位置到不同的目標位置(即使掃視開始的跳視)的眼睛注視位置的變化；(9)轉換時間，其被限定為在一個目標位置上的注視的結束與在另一個目標位置上的新注視的開始之間的持續時間。因為在轉換期間少有或幾乎沒有新信息，所以增加的轉換時間表明對新的駕駛信息的降低的可獲得性；(IO)總任務時間，其被限定為任務的總時間，其轉而被限定為任務期間從第一次掃視的起始點到最后一次掃視的結束之間的時間。非基于掃視的檢測量是除了ISO/SAE標準中限定的參數以外的可以計算得到的所有其他檢測量。兩個實例包括(l)在不同群(例如前方道路景象和移動電話)中的注視位置的平均值和標準差；禾卩(2)在不同群和/或不同任務中的注視停留時間的平均值和標準差。當進行分析時，這些類型的檢測量是有趣的，例如，將正常的駕駛與高認知負荷期間(例如如果駕駛員涉及數學任務時可能發生的)的駕駛進行比較。本發明的總目標是提供眼睛運動的數據分析的自動化，其聚焦于ISO15007-2和SAEJ-2396的方法中規定的檢測量，用于相對于運輸信息和控制系統來測量駕駛員視覺行為。在本自動化中使用的示例性工具包括眼睛跟蹤系統，在此對其進行更詳細的描述。有利地，算法和實施系統只需要最少的人機互動，例如數據的加載/保存以及所檢測的群和異常值的目視檢查。本公開內容的起始就表明，使用可用的檢測系統則自動分析是可能的，特別的研究結果顯示所有的檢測量高度相關。在此實例中，使用滑動十三樣本中間值窗口濾波器對信號進行濾波以減少噪聲，消除一些異常值和貶眼。開發了速度閾值算法，以將跳視從注視中區分開(平滑跟蹤被認為是注視)，并且，對群的人工界定為掃視分類提供了基礎。所述步驟需要明顯的操作者輸入和注意力；例如，信號需要被濾波，并且人工地識別異常值、短時注視以及其他假象。由于發明已經進化到本公開內容的程度，省去了這些操作者時間密集型的步驟。42開始時，中值濾波器的帶寬并非對于所有受試者來說都是最佳的；其長度必須與噪聲水平成比例。作為響應，采用不同的濾波方式和參數。此外，眾所周知的是，速度算法對噪聲很敏感。由此，將閾值設置成340度每秒，其基本上高于跳視開始和結束的速度。為對此進行補償，還對跳視之前和之后的兩個樣本進行標記以獲得跳視速度。由于跳視在幅度和峰值速度方面不同，所以它們的加速度也不同。因此，此前導方法提供了對跳視開始和結束的良好近似。因此，當前描述的本發明的目的是為跳視/注視識別提供穩健且更精確的技術。此外，識別出對自動識別掃視目標區域和掃視的聚類技術的需求。一個目的是以自動的方式消除異常值及其他假象，而不是借助于常規的人工判定。當設計檢測算法時，理解此處公開的數據的來源和屬性是重要的。因此，對可用數據和用于獲得該數據的技術平臺進行描述。對于本發明，附圖的圖23提供了示例性的離線分析算法的總體框圖。在左上側的方框輸入原始眼睛運動數據，在所述方框中執行數據預處理。示例性地，這種預處理包括抑制噪聲、假象和眨眼的中值濾波器。而且，在此功能階段去除了所有的非跟蹤數據。較大的中間方框表示一個示例性算法，如圖所示，是兩種常用的數據處理算法(雙閾值速度檢測，基于分散和規則的檢測)之間的混合處理法。如中間方框的右邊部分所示，施加的視覺規則是基于已有的限制或視覺行為某些方面的參數，例如注視的最小長度(相對于時間而言)，其一般由人類視覺能力限定。混合算法內的底部方框表示自適應聚類算法，其基于注視中的一個或多個特性來對注視進行聚類，并且實際上，隨著被采樣的掃視數量的增加，其使得各群傾向于"浮動"到位。混合算法內的上部方框所表示的雙閾值速度檢測算法是基于眼睛運動速度(度/秒)。參照圖24，高閾值(頂部、平坦的虛線)將注視從跳視中區分開來，在所述注視之間具有低速度。下方的點劃線表示實際眼睛移動量(示出為沿一個方向)，并且，帶尖峰的實線表示其導數或者眼睛移動速度。一旦檢測到跳視，那么低閾值(長短相間的線)用于確定起點和終點。使用兩個閾值的原因是為了避免由跳視檢測所引起的噪聲觸發。然而，應當理解，隨著噪聲的增加，此協議中的誤差也隨之增加。除了跳視檢測以外，分散協議也與視覺規則結合使用。該規則確定何時檢測出的跳視和注視不是正常的；即，它們限定的數據有些超出指定的分類(跳視和注視)的可接受的范圍之外。這樣的規則的實例可以是注視的持續時間不超過150毫秒，跳視是通過一些預定的短時段來測量的。而且，跳視不能回到其開始時的同一區域。每當施加這些規則來將注視改變成跳視的部分，或者將跳視變成注視的部分時，分散算法確定將如何處理這種情形。例如，如果檢測到對相同目標的兩個連續的注視之間存在一個60毫秒的跳視，那么，可以推斷出它可能是由跳視檢測所觸發的噪聲。通過分散協議來確定其是否是噪聲。如果兩次注視彼此相距一定的距離(分散閾值)，那么，它們是同一注視的一部分，并且將跳視變成注視的一部分，否則，其很可能是正確的檢測。混合算法的主要概念是，它自動地偏置"決定"，處理算法(或其一部分)將基于當前的噪聲水平而施加于數據。如圖25所示，高質量的、噪聲相對較少的跟蹤數據將主要使用雙閾值速度檢測來處理。數據噪聲/質量的平均值或中間值的存在增加了數據的分散檢測處理的影響。最終，如圖25的右側所示，當數據富含噪聲且質量較低時，影響了注視的恢復。通常，這種低質量的數據或含有噪聲的數據將只有暫時影響且并不適用于全部的數據流。在部分數據的質量較低的情況下，通過對相應的數據進行精確濾波可以對該部分數據進行恢復，以觀察其是否可以"平靜"(平滑)到足以在極端的噪聲情形下辨別視覺行為。當更嚴格濾波后的輸出結果通過了"有效性"規則時，通過對大量處理過的部分的"替換"來完成恢復，其中，經過更緩和地濾波后的數據不能通過前述"有效性"規則。當完成對所有注視和跳視的檢測時，數據被輸入至聚類算法，所述聚類算法基于所執行的聚類分析的結果來識別掃視，下文對其示例性的細節進行了詳細描述。圖26示出了混合算法，其用來執行實時跟蹤數據處理。從知覺系統中獲得典型為任何數據流形式的原始跟蹤數據，所述知覺系統涉及頭部和/或眼睛的定向與運動。因為是在實時的基礎上進行處理，所以，如果其不能滿足規則的要求，就無法再利用數據用于任何進一步的濾波。無論什么時間，最可能的數據都必須可以獲得。因此，實時混合算法基本上對同一數據進行兩次一前一后的處理。如圖26所示，在上方使用標準濾波器對源數據進行處理，同時在下方使用更嚴格的濾波器進行處理。同時，經過不同濾波處理的源數據利用規則集進行處理。通常，施加到每個濾波后的數據流的規則是相同的，但是，取決于各自的濾波特性，可以特制每個規則。從兩個規則處理中的每一個規則處理產生數據流。從圖26中可以看出，兩個輸出的濾波后的數據流的特征是不同的。優選地，標準濾波器在平滑數據方面已經相當緩和，并且，施加到數據流的規則集致力于確定正在發生的有效注視或跳視。如果沒有滿足規則，那么沒有數據流輸出。從圖26的右上角可以看出數據的空白。存在一種可能，即，只是在數據流中存在過多的噪聲，使得無法滿足所施加的規則。在此全部時間內，還利用上述嚴格的濾波器來處理數據。典型地，該嚴格的濾波器顯著地"平滑"數據，嘗試去除噪聲。輸出的數據可以不那么尖銳，但是當相同的規則施加于更高頻濾波后的數據時，其中所述數據對應于不遵守規則的標準濾波數據部分的空白區域，跳視或注視特性是可辨別的。當是這種情況時，規則通過，并且獲得數據的有效特性。此高頻濾波后的數據的規則通過部分(對應于空白的不能通過規則的較低濾波的數據區域)可以并入已經通過標準濾波的輸出流。這在圖26中示出為匯集處理的數據流。匯集的數據流雖然可能具有其中被不同濾波的數據流都不能通過規則的較短的空白部分，但是如果源數據具有可接受的質量(無噪聲)，一般來說其基本上是相連的。也就是說，非常低質量的數據永不會是可接受的，并且通常不能被濾波或者處理以使其可接受。但是如果源數據除一些不符合標準的部分以外大致是可接受的，用于處理實時跟蹤數據的示例性混合算法產生匯集數據的輸出流，該匯集數據的輸出流由適合于諸如聚類和密度分析的進一步處理的可分類注視和跳視組成，如這里更詳細描述的。圖27提供了算法的代表性示意圖，該算法涉及描述數據收集、在位置上注視或偏離位置注視分類，以及對分類的數據進行聚類。位置可以是感興趣的任何位置，例如位置可以包括道路中心，駕駛員后面的位置，駕駛員左邊或右邊的位置，后視鏡，側鏡，中央控制臺，汽車附件(例如收音機，車窗開關，導航系統)，個人附件(例如手機，PDA，膝上型電腦)，或乘客(例如汽車座位或后座位上的孩子)。以上列表并不包括所有，并且其用來僅示出位置的一些實例。如上述實例可以看到的，位置不是固定的，而是可以隨時間變化，例如，當位置是移動電話或PDA時，當用戶撥打電話、接聽電話、檢查呼叫方ID、檢查收到的消息或發送外發的消息時，該位置隨時間變化。在一種構造中，數據處理過程開始于確定是否可以將注視分類為46在位置上注視或偏離位置注視。此外，如果需要，還可以基于對在位置上注視的確定來確定偏離位置注視。例如，如果將數據分類為在位置上注視，那么數據就如此進行分類。如數據未被分類為在位置上數據，那么此數據就可以被分類為偏離位置數據。此簡化的主要優點是在離開道路的掃視期間，由于可以忽略注視偏離位置，所以能夠允許更低的數據質量。此外，與以前的解決方案相比，此構造提供了對行為運動的更穩健的估計，以前的解決方案需要處理駕駛員看非中心位置(即偏離位置)時的信號部分。例如，可以忽略未被分類為在位置上注視的行為運動并將其估計為偏離位置注視。結果，當前的構造降低了對技術上的需求，并且允許更簡單且更便宜的測量裝置。例如，可以使用更少的、技術上較不先進的測量裝置來降低實施系統的成本。同樣地，可以使用較不強大的處理器來處理從測量裝置獲得的信息。由于只涉及測量裝置提供最佳性能的區域，因此確保了高質量的測量。例如，對道路中心注視的測量可包括基本上直接放置在駕駛員前方的測量裝置，如圖28所示。從駕駛員沒有觀察道路時的情形推斷出離開道路的掃視。在另一個實例中，對后視鏡注視的測量可包括放置在后視鏡內或后視鏡周圍的測量裝置。圖29提供了道路中心區域概念的示意圖。應當理解，道路中心概念適用于對駕駛員意識的離線后續收集分析，也適用于對駕駛員意識功能的實時分析。RC區域的精確位置是重要的，因為由測量裝置所測得的實際道路中心群應受到預定的RC區域的限制。因此，RC區域的位置可以有利地實時連續調節。關于前方景象(從駕駛員的角度來說)中的RC群和其他群的相對幾何位置的先驗信息還可以用來進一步增強對RC區域位置的估計。可以有利地調整道路中心區域的尺寸和形狀，用于其預期的應用中。此外，當希望以高靈敏度來測量與不同道路特征相關的不同視覺行為時，以及當要實現特定功能時，可以用重疊的方式限定多個RC區域。例如，由臨界安全實時應用來限定和使用大的RC區域，其中，所述實時應用需要確切地知道何時駕駛員正確定地把目光從道路上移開。另一個應用同時對偏離道路掃視感興趣，但是其使用了較小的區域，以便捕捉更多的偏離道路掃視。下面的表格呈現了ISO檢測量以及相應的RC近似值的綜述:<table>tableseeoriginaldocumentpage48</column></row><table>大部分當前可用的頭部/眼睛測量裝置測量頭部運動比眼睛運動更為穩健(當受試者的目光從傳感器上離開時，頭部運動更易于跟蹤)。在本發明的一個實施例中，通過同時關注頭部運動的方向(并因此估計出眼睛沿某一方向運動的可能性)，這些頭部運動可以用來提供對測量的眼睛運動方向的更好估計。在另一個實施例中，頭部運動提供了對眼睛運動方向的估計(即，當對眼睛的跟蹤不佳或者根本沒有跟蹤時，頭部運動用作眼睛運動的近似值)。諸如俯仰、橫擺以及搖晃的關于轉動運動的頭部運動可以被測量，還可以單獨或者與諸如起伏、橫移以及前后移動的位置運動一起測量。三個轉動運動和三個位置運動一起稱為六自由度(6D0F)。當分析6DOF時，一般通過三個頭部轉動分量(Pitch(俯仰)、Yaw(橫擺)以及RoU(搖晃))和根據笛卡爾坐標系的X、Y、Z軸的三個頭部平移分量(Po、，PoSy，Pos。來描述頭部運動。可以將這六個分量組合成完全描述頭部運動的頭部運動信號HMOVE。優選地，對此六個信號分量中的每一個都進行預處理，以去除測量噪聲和駕駛員的長期姿勢變化。實現這點的一種方法是使用高通濾波器來去除長期的姿勢變化并使用低通濾波器來抑制或至少削弱信號噪聲，所述長期的姿勢變化自然是低頻的。當然，這兩者也可以由適當的帶通濾波器來實現。在該預處理之后，例如，總的頭部運動的全局測量可以根據等式(1.1)被表示和計算為所述6個自由度及它們對時間的一階和二階導數的函數-(1.1)3393、""-*3/y&&3f23f2z3/23f23一對于不同的應用，可以對此一般函數或模型進行不同的選擇和調整。例如，可以根據等式(1.2)來限定全局的頭部運動測量(1.2)______HMve=^爿*pfte/z2+5*yaw2+C*ro//2+D*Pos，+五*+F*尸tw:49并因此決定所述測量的靈敏度。在另一個實施例中，身體位置能用來提供對測量的眼睛運動的方向的估計。通過同時關注身體的方向(并因此估計出眼睛沿某一方向運動的可能性)，駕駛員身體的定向可用來提供對測量的眼睛運動和頭部運動方向的更佳的估計。在另一個實施例中，身體運動提供了對眼睛運動方向的估計(即，當對眼睛或頭部的跟蹤不佳和/或根本沒有跟蹤時，身體運動用作眼睛運動的近似值)。取決于測量裝置的特性，可能需要另外的信號處理或者說該另外的信號處理有益于應對在位置上/偏離位置分類不正確的情形。例如，眨眼可能被測量裝置偶爾誤解為向下看。能夠以各種方式來應對此情形，例如，通過采用濾波器，所述濾波器忽略小于指定時長的掃視，因為其時間太短，因此不可能是實際的自然掃視。此濾波器可以對測得的信號或者二進制的在位置上-偏離位置分類信號進行操作。該濾波器操作適用于離線和在線(實時)分析。從遠程測量裝置輸出的是表示行為運動的角度、幅度和/或方向的測量信號。此處，通過采用上述方法，這些信號用來對信號的每個樣本進行在位置上/偏離位置分類，參見圖31。分類步驟的結果(輸出)是分類信號，該分類信號確定在每個樣本(或時間單位)中眼睛/頭部/面部是被導向為在道路上還是被導向為偏離道路(即RC區域)。在操作上，這通過關注每個樣本(或時間單位)中的測量注視點(或頭部/面部方向坐標)到RC區域的原點之間的歐氏距離來完成。如果結果落入由RC區域限定的周界/邊界之內，那么它就屬于on-RC(在RC上)區域并被分類為on-RC類，否則它將被分類為屬于off-RC(偏離RC)類。傳感器偶爾會失去對駕駛員的跟蹤(即，沒有測量眼睛/頭部/面部/身體運動)。在大部分情況下，由于駕駛員把目光從道路上移開，將出現這種情況，并且，失去跟蹤將被解釋/分類為偏離道路掃視。取決于失去跟蹤事件的性質(例如持續時間、幅度等)，可能有必要利用專門的濾波器來處理跟蹤的丟失。圖32a和32b示出了最后的分類結果如何可以被過濾以去除朝向位置或離開位置的反常掃視的實例，在圖32a中示出了原始分類，在圖32b中，時長非常短的掃視(短于20個樣本)己經被過濾或忽略，艮P，被重新分類為屬于"主"掃視。當估計的位置和由駕駛員對位置的注視所形成的實際群沒有對準時，當注視被在位置的邊緣上導向時(因此，盡管注視差不多是在空間內的相同位置處被導向，結果在位置上/偏離位置之間交替)，分類步驟中可能會引入誤差。這主要通過與圖32a和32b所示的相同的方法進行管理。關于頭部運動和眼睛運動的生理學的先驗知識也可以用來進一步增強算法的性能。跳視轉換的速度和最小停留時間可以提供生理基礎(或動機)用于確定哪些掃視是正確的，從而對由所述算法形成的實時分類實施真實性測試。當前的二進制的在位置上/偏離位置分類可以被擴展成允許有若干感興趣的區域。在進行分類后，計算上述的掃視頻率和掃視持續時間檢測量僅涉及分別計算分類信號中的ON和OFF間隔的數量。掃視持續時間也通過關注以相同方式分類的各連續片段的起點和終點來進行計算。圖33a和33b提供了掃視行為的說明性實例，在圖33a中，圓圈示出道路中心區域所處的位置，并且圖表化地示出了駕駛員觀察到的前方景象的道路。圖33b表示同樣的視圖，但是增加了時間軸。在相關的方法中，對于測量裝置在較大區域中提供了非常良好的注視或頭部跟蹤能力的情形，通過關注環繞實際道路中心區域的較大區域，可以擴展測量區域。在這種情形下，額外的測量可以提供額外的穩健性，如圖34所示。圖35提供了實時算法的替代方案的代表性示意圖，其涉及數據的預處理、道路前方識別、聚類以及混合算法的應用，它們一起最終產生有意義的輸出檢測量。在此構造中，數據處理方法開始于自動初始化，該自動初始化查找什么被定義為前方道路景象，這通過形成密度曲面來完成，其中，駕駛員沿某一方向觀看的時間由在此區域內的注視密度來描述。例如，駕駛員注視一個區域越多，則注視密度在所述區域內也增加得越多。可能發現駕駛員的大部分注意力位于被稱為前方道路景象的中心；如圖30所示，在此區域的中心將存在"注意力尖峰"。在此示圖中，當駕駛員面對擋風玻璃時，升起兩個尖峰的平面應當垂直于駕駛員的面部。高尖峰表示前方道路景象，而低尖峰表示集中點。在映射型(mapped)實例中，受試者被要求改變導航系統的語言，這就是低尖峰所表示的情形。在駕駛期間，高(左)尖峰逐漸建立，并且在大約兩分鐘之后，峰值道路中心(PRC)位置穩定。道路中心區域被限定為此山體的基部，并且尖峰被限定為中心。該基部被認為具有95%的置信度值，該置信度值是基于山體為高斯形狀且平均值是峰位置的近似而計算的。一旦完成這個，可以檢測出離開道路前方位置的掃視，并因此可以使用如下所述的峰值道路中心的定義來計算注意力和駕駛員工作負荷。在識別道路中心的概念的進一步發展中，利用純數學的平移和轉動以及信號濾波器來執行數據的預處理。由于眼睛-注視是源自眼睛之間的一點的向量，所以其變得取決于頭部的位置。駕駛員視野內的每個目標都可以由從駕駛員的眼睛的視角進行定位。然而，該角度與駕駛員的頭部位置和轉動高度相關，其轉而取決于駕駛員的身髙以及優選的駕駛位置。不同的頭部位置/轉動影響注視信號以及頭部運動的性質。為了使這些影響最小化，頭部位置被歸一化為參考位置，有利地將其作為大部分駕駛員的近似平均位置。如圖36所示，這通過位于駕駛員前方的理論鏡像平面來實現。其中，通過此平面，測量的注視和頭部角度被投射到靜態或參考的頭部上。在此實施例中，在所述算法中使用的是靜態頭部的注視和頭部角度。當注視置信度較低時，例如，當眼睛閉合時，算法自動地切換至頭部定向并且使用面部向前的方向，好像它就是注視向量。然后，將結果信號提供給此處描述的混合算法，并且通過注視密度函數定位道路中心。在以大于70公里/小時的速度正常駕駛的情況下，初始化步驟費時大約二十秒。在此具體應用中，道路中心定義為一個橢圓，20度乘40度，由正前方視野的密度函數估計定心。然而，道路中心幾何結構可能取決于速度和/或環境。上述橢圓對于在具有中量交通的雙車道高速公路上的高于70公里/小時并低于大約120公里/小時的速度來說是理想的。對于一些環境(如以不同的速度行駛)以及對于其他應用場合來說，其他的幾何結構可以工作得更好。長掃視持續時間(即時間延長的一次掃視)的測量以20度的水平范圍看起來工作得更好，所述20度的水平范圍由注視密度函數垂直地定心。道路中心限定了駕駛員視野中僅有的世界目標(worldobject)。駕駛員要么看道路中心，要么不看。當注視恰好在道路中心的邊緣時，使用轉換延遲以避免閃爍信號。對于要記錄的轉換來說，注視必須在兩個目標中的一個(在道路上或偏離道路)保持恒定100毫秒以上。一旦道路中心有效(即注視密度函數穩定)，那么PRC(這里所用的意思是峰值道路中心或百分比道路中心)將開始計算。出于必要，每當沒有源跟蹤數據時，算法暫停。更進一步，以及優選實施例，每當車輛速度低于65公里/小時使算法無效。這還將PRC的值重置為80百分比。在PRC算法方案的一個版本中，maxPRC參數防止PRC爬升到高于80%。這是在正常駕駛期間穩定PRC的簡單方法(對于一些受試者來說，正常的駕駛在75和85百分比的近似PRC值之間變化)。使用此約束，對于一定數量的掃視，PRC將總是(從PRC80%)減小至某一水平。對于minPRC和認知分心來說也是同樣的原因。使用短的PRC窗口(3至IO秒)來指示分時行為，即兩個目標區域之間的多次掃視。使用分時行為指示來在行為結束時(例如輔助任務結束時)將PRC重置為80%。可以示例性地向駕駛員給出三種不同的警告/反饋。即使PRC低于閾值，也不給出警告，直到駕駛員把目光從道路上移開(認知警告是其例外)。在視覺分心的情況下，當受試者稍微分心時(即當PRC低于65。/。時)到達反饋(tickle)水平。在10秒鐘的時段內，給出最多兩次的警告，并且只有當駕駛員把目光從道路上移開時才給出。即，當PRC已經低于65%后，將對最先的兩次離開道路中心的掃視發出警告。當受試者嚴重分心時(即當PRC低于58%時)達到另一個警告水平。在此情況下，在發出此警告之后立即將PRC重置為正常駕駛，即80%。在認知分心的情況下，當駕駛員認知上分心時(即當PRC大于92%時)發生認知警告。然后，將PRC重置為80%。每當對道路中心以外的掃視持續超過四秒鐘時，發出長掃視(離開道路)警告。采用時間窗口可能不是最佳方案。一分鐘的時間窗口具有一分鐘54的歷史，因此，駕駛員半分鐘前的行為將影響PRC以及當前的任務。如果駕駛員調整收音機的頻道并且因此對收音機掃視四次，那么，他將至少在半分鐘內受到這四次掃視的影響，也就是說，即使駕駛員回到正常駕駛(這時假定任務最多持續30秒)，PRC將在至少30秒的時間內保持較低。存在多種方法來處理此問題。一種方法是使用具有衰減因子(dampeningfactor)的短窗口(以獲得大致相同的窗口動態)。另一種方法是每當任務完成時清空時間窗口。更進一步，可使用例如3-15秒的更短的時間窗口來確定任務是否正在執行。分時檢測器可以用來確定PRC-Sum(通常是時間窗口內所有對道路中心的掃視的總時間)是否應當忽略在道路上的掃視；即，在執行任務時，PRC-Sum與偏離道路中心的掃視時間成比例地減小，但是忽略對道路中心的掃視時間，因此給出了與窗口一樣的總和的動態。當前算法的另一個問題是眨眼經常被解釋為朝向儀表群向下掃視。由于注視信號的性質稍微不同，所以標準的數據濾波將不能濾出眨眼。提出的解決方案包括使用眼睛睜開信號來確定其是眨眼還是掃視。當程序處于"非延遲模式"時，這需要在記錄數據中存在眼睛睜開信號。替代方案是設計眨眼檢測器。眨眼時間太短無法成為掃視，因此能在濾波器中被阻止。然而，這將給系統引入至少150毫秒的延遲。將上述算法調整為用于以大約70—120公里/小時的速度行駛時的中等交通高速公路。存在多種方法來使算法適合于不同的速度和環境。一種方法是使道路中心區域適合于速度和環境。隨著速度減小，道路中心區域將主要沿水平視場尺寸增大。道路中心增加使得在此速度和環境下的正常駕駛具有大約80%的PRC。有兩種方法來完成此這一點。一種方法是在線地適應各駕駛員。另一種方法是為不同的速度和環境提供預定的道路中心幾何結構。再一種方法是對于特定的速度和環境根據正常駕駛的PRC水平來調節警告閩值。又一種方法是提供對環境或至少由駕駛行為所指示的環境的描述。一個限制是如果駕駛員的頭部轉動偏離道路中心超過大約60度(即，如果駕駛員看他的肩部或者看側面以觀察在相鄰車道上是否有汽車)，算法將失敗。可使用模式識別來填補此類空白。除了直接警告以外，PCR可用來使第三方系統有效/無效，或將其設置為不同的模式。例如，PRC可用來將前碰撞警告(FCW)系統設置為"敏感"模式，并且即時的眼睛觀察道路中心信號可用來確定是否應該使警告有效。其還可以用來調整自適應巡航控制(ACC)控制回路的時間間隔(增減安全距離)，或使其他的警告和系統有效/無效。此處概括的多個檢測量使用了道路中心點(RCP)的參考計算。例如，從例如三分鐘數據的分段眼睛運動數據集(分段為注視、平滑跟蹤和跳視)中計算出垂直和水平道路中心點。首先，每個注視數據點被加入到垂直和水平空間(bin);例如，空間的尺寸是0.98度乘0.98度(對于正前方或零點+/—30度的范圍內為128乘128)。接下來，將空間的模(空間內的最高頻率)設置為垂直和水平道路中心點。圖37—40更完全地描述了這些基于數據點的測量，其中，基于駕駛員眼睛位置的樣本密度來識別道路中心點。在這些附圖中，示出了在直行雙車道高速公路上正常駕駛條件下的眼睛運動。數據集中于道路中心點周圍，并且基于此將道路中心點設置為零。單位頻率表示每個空間內的總頻率的百分比(一個空間等于0.98乘0.98度)。向左和向上的眼睛運動為正，向右和向下的眼睛運動被示出為負。對于移動時間窗口(例如，具有60赫茲更新頻率的一分鐘時間窗口)內的每個步驟進行下列計算。將時間窗口內的每個注視數據點分類為要么是表示"道路中心的T要么是表示"非道路中心"的"O",基于是在限定的道路中心區域內部還是外部進行區分。例如，通過如下方法計56算道路中心區域，即，選取角度/弧度為單位的離道路中心點的距離并且設置一個截止閾值，例如以八度為半徑環繞道路中心點。那些落入截止閾值內的注視數據點被分類為"道路中心"，而那些落在閾值外的被分類為"非道路中心"。在此實例中，截止閾值限定道路中心區域的形狀。還可以用其他的方式限定道路中心區域，作為對使用半徑截止閾值的替代。例如，道路中心區域可以被限定為非對稱的形狀。當在彎曲的或者繁忙的道路環境中駕駛時，非對稱道路中心識別是有用的。限定非對稱形狀的一些方法是(l)可以以每個空間內的頻率設置閾值水平，例如，如圖39所示的水平道路中心區域線。如圖38示出的幾何形狀是其結果；(2)例如，道路中心區域可以被限定為偏離道路中心點的一個或兩個標準差中的數據。可以基于距離中心點的半徑限定標準差，或者是分別地基于垂直和水平分量限定標準差。垂直/水平標準差的定義將使要計算的形狀為橢圓；(3)在彎曲的道路環境中，大部分注視數據點集中于車輛未來的軌跡周圍。瞬時路徑軌跡通常從車輛橫擺率計算出(或基于方向盤角度進行測量)。此曲線路徑軌跡(轉換為視角)可用來限定有效的"在軌跡上注視"的區域。例如，此軌跡可用來限定與車輛路徑相距一定距離的范圍內的注視的"在軌跡上區域"。因此，能夠以與上述的相同的方法來計算PRC、A-PRC以及PLG，用在路徑上區域(ONPathArea)代替道路中心區域(RoadCenterArea)。最后，通過將道路中心數據點的數量除以窗口內的注視數據點的總數并且將結果乘上100來進行百分比的計算。因此，該百分比的計算忽略了跳視和缺失數據。在與以上相同的時間窗口內，將道路中心絕對百分比(A-PRC)計算為與給定prc值之間的絕對差(例如，與正常駕駛的prc值之間的絕對差)。圖3示出了A-PRC與一些其他常規的分心檢測量的比較。在與以上相同的時間窗口內，將離開道路中心的長掃視百分比(PLG)計算為注視數據點的百分比，所述注視數據點的百分比在一定(PLG)計算為注視數據點的百分比，所述注視數據點的百分比在一定的時間閾值(例如，如圖4所示的兩秒)內被分類為掃視(如SAEJ-2396標準限定的掃視)。在與以上相同的時間窗口內，根據標準差公式計算與道路中心模之間的標準差(SD—MRC)，但是，存在一個例外，即，平均值用模值取代，如下所示DistRoadCenter=sqrt(((VerticalPos-VerticalMode){circumflexover()}2)+((Horizontal-HorizontalMode){circumflexover()}2))SD-MRC-sqrt(sum((DistRoadCenter){circumflexover()}2)/length(NonFixation-s))在與以上相同的時間窗口內，將車輛外百分比(POV)計算為落在車輛外的注視數據點以及落在后視鏡或側鏡上的注視數據點的百分比。以角度或弧度為單位將車輛的內部限定為幾何區域。收集了與本發明相關的實例數據集。在模擬器環境下，利用7.5mx2.2m的"投影墻"屏幕，進行了驗證研究，所述屏幕具有lll度的視角并具有2456X750@48Hz的分辨率。十四名受試者參加了該研究和各種車內任務，例如使用移動電話，切換廣播電臺等類似動作。對數據進行收集，并且所述數據還可以是根據ISO15007-2方法(IS01999)的視頻錄制格式。在稱為GIB-T警戒研究(GIB-TVigilanceStudy)中，在上述環境中進行同樣的模擬，并包括十二人在輕量交通環境中在四車道高速公路上駕駛。每個人參加兩次機會，人們在正常條件下駕駛三十分鐘并且在大約二又四分之一小時內不能睡覺；使用錄像機記錄結果。該組是有十六名受試者參與的更大的在道路上實驗的一部分。在三十公里的駕駛和大約十五分鐘的正常高速公路駕駛期間，每個人執行各種車內任務。跟蹤系統有能力跟蹤頭部位置和角度以及相對于固定坐標系的注視角度。跟蹤系統使用立體視覺；即，定位于受試的駕駛員前方、在儀表群前面但在方向盤后面(如圖41所示)兩個照相機，用于跟蹤頭部位置和注視。替代地并且優選地，如圖28所示，也可以使用單個照相機。這是對所描述的其他現有眼睛跟蹤系統的相當大的改進。與基于視覺的策略相比，使用此技術的折衷是注視估計精度稍差(±3度)，低于使用某種角膜反射的系統(±1度)。這些其他類型的基于視覺的系統只取決于視覺，并不能很好地工作。當前公開的系統的一個相當大的優點是它同時輸出頭部和眼睛向量。所采用的系統使用模板匹配算法來査找面部特征，比如眉毛、嘴角和眼睛。每個模板都被認為是3D剛體面部模型的一部分。當在兩個畫面中發現若干特征，使用模型轉動和平移的最小二乘優化來計算頭部和眼睛的3D位置。此問題的解決方案偏向于良好跟蹤的點，這使其相對于雜音、噪聲和透視畸變來說比較穩健。此外，使用卡爾曼濾波器來降低噪聲并在下一次迭代中預測頭部姿勢，這減少了下一幀的計算時間。注視估計是基于頭部-眼睛位置。使用對眼球轉動中心和虹膜中心的測量，注視被計算為通過此兩點的光束。當兩個眼睛都可見時，注視方向被計算為兩個向量的平均值，否則只使用可見的眼睛的光束。如果沒有檢測到任何一只眼睛，例如當受試者的頭部轉動超過約六十度時或者當眼睛閉合時，面部法線用作注視方向。使用閉眼檢測算法來確定受試者何時眨眼。由眼角之間的距離所衡量的上下眼瞼之間的距離用作閉眼的檢測量。為了計算此距離，系統使用邊緣檢測器，然后使用近似的拋物線，每個眼瞼一個，所述拋物線通過兩個眼角。閉眼檢測量和其它一些檢測量(眼睛圖像區域的垂直光流，區域瞬時變化率，眼睛鞏膜彩色像素量以及眼睛模板相關系數)隨后加權在一起(weightedtogether),并且閾值確定受試者何時眨眼。59系統輸出許多信號，所述信號的幾個實例包括但不限于(l)在本情形下，注視信號"gaze_rotation—raw"和"gazej"otation—fmal"是相同的信號，因為在所有的研究中濾波器參數都被設置為零。該信號由兩個方向(俯仰和橫擺)組成，以弧度給出。(2)"gaze—confidence"信號提供用于注視估計算法的置信度檢測量。(3)"head_position—filtered"和"head—rotation—filtered"唯一地確定頭部的3D位置和轉動。對于"head_position—raw"和head—rotationjaw"也是如此，因為在可用數據中所有濾波器參數都被設置為零。(4)"跟蹤"狀態指示系統是處于跟蹤模式還是搜索模式。(5)"眨眼"指示受試者是否眨眼。(6)"時間"是與每個估計相關聯的CPU時間。注視信號中的信息量好像一點也不恒定，而是隨著時間變化。在記錄期間，存在偶然的朝著不可能聚焦在此點(例如受試駕駛員的膝關節、車輛的內頂板等)的目標的掃視。這些掃視中的一部分可以稱為未檢測的閉眼，其導致注視信號的偏離(dip)。系統還可以對不同的光照水平敏感。它能夠處理背景照明的變化，然而，不能處理背景照明的快速變化，例如當車輛從陰暗的道路駛入陽光充足的道路時。結果是噪聲水平較高，且有時幾乎不存在信息量。由于鏡頭眩光，直接進入照相機鏡頭的陽光使信號過于嘈雜。偶爾這會導致失去跟蹤數秒。毫無疑問，眼睛閉合導致上述閉眼期間的"偏離"，眼睛閉合導致近似失敗(如前文所述)。在俯仰信號中偏離十分明顯，約30—40度，但是在橫擺信號中也可察覺到。典型的眨眼持續大約300毫秒，然而偏離卻只持續大約100毫秒。因此，直到眼睛幾乎閉合，估計都不會失敗。使用中值濾波器在預處理階段容易地去除了偏離。在示例性實施例中，系統簡單地排除由眨眼信號指示的眨眼部分，并且在上個已知的樣本和本次第一個新樣本之間進行線性插值，如圖42所示(其中眨眼已進行插值)。結果是去除了通常約300毫秒的數據的顯著部分，并且用某種程度上更反常的表示(即直線)來取代。由于眨眼通常發生在跳視期間，所以不能進行適當的測量。為了進行精確的測量，重建這些特征是有利的。眨眼信號并不總是與實際情形一致。這很明顯，根據眨眼信號，受試者執行任務時從不眨眼，但實際上大家都知道眨眼肯定發生過。在示例性系統中，受試者移動他們的注視越多，則眨眼信號越不精確。注視置信度信號可用來克服上述缺點的很大一部分。然而，經驗表明，信號質量和注視置信度檢測量并不總是相關的。其不但對于不同受試者來說差別顯著說而且對于采自相同受試者的不同樣本來說也差別顯著。此外，對于每次眨眼，置信度檢測量下降至零。在未檢測眨眼的情形下，不能肯定事件就是實際的使置信度降為零的眨眼，或者是假象。由此，不能絕對地依賴置信度信號。事實上，系統的計算速率是"大約60赫茲"，取樣間隔不是恒定的，而是取決于每幀的計算時間。然而，在示例性系統中，時間能夠以秒和毫秒計量，同樣，計算延遲信號能夠以毫秒計量。延遲為大約150-200毫秒。最后，不同的受試者具有不同的面部特征，使得他們或多或少地適合于基于系統的測量。具有良好對比度的面部特征通常具有良好的數據質量，在照相機視圖中定心的正確的頭部位置也是如此。變化檢測算法的設計總是需要在檢測出真實改變和避免誤報警之間進行折衷。變化的噪聲和信號屬性使得灰色區域更大。因為信號質量變化，想法是使用自適應濾波器來克服此問題。一般地，當使用自適應濾波器時，它是適合于使用某種估計處理(例如，最小均方(LMS))的信號的濾波系數。然而，數據信號證明具有諸如改變的信息量和奇怪假象的特性，這使得它們不太適合于這類應用。而是，開發了使用兩個預處理中值濾波器的混合算法。在此章描述了離線算法和實時算法。但是，首先簡要描述通常用于眼睛運動分段的一些不同的算法。Salvucci禾卩Goldbergr的作法已限定于"IdentifyingFixationsandSaccadesinEye-TrackingProtocols(在眼睛跟蹤協議中識別注視和跳視)"，其中收集了幾種用于識別跳視和注視的不同技術。基于速度速度閾值識別(VT-I)HMM識別(HMM-I)基于分散(dispersion-based)分散閾值識別(DT-I)最小生成樹(MST)識別(MST-I)基于區域感興趣區域的識別(AOI-I)。因為已經在VT-I方法的基礎上進行了驗證工作，所以第一個方法使用DT-I方法來進行。DT-I算法被認為十分精確且穩健，然而，此處使用的眼睛跟蹤器的不精確和噪聲使得其不太適合。由于噪聲和尖脈沖，識別出跳視，并且由于信號的性質，例如在注視變得或多或少穩定之前的偶爾偏移，注視的開始/結束是不準確的。另一個問題是平滑跟蹤，當平滑跟蹤被認為是一次注視時，這導致算法失敗。因此，分散法不能單獨使用。另一方面，HMM-I利用概率分析來確定最可能的識別。HMM-I中的HMM模型是兩狀態模型。第一狀態表示高速度跳視點；第二狀態表示低速度注視點。給定其轉移概率，HMM-I借助于最大化概率來確定每個協議點的最可能的識別結果。只要給定正確的參數，該算法被認為是精確而穩健的。使用重估計過程來估計這些，主要是HMMs的復雜性。此估計的實施既復雜又冗長。VT-I算法沒有上述問題。然而，速度閾值是采集噪聲和識別精確的注視開始和結束之間的折衷。為了使此問題最小化，采用雙閾值算法(DualVT-I)。高閾值確保適當的跳視識別。如果檢測到跳視，那么低閾值用來計算開始和結束。VT-I算法的主要缺點是缺少穩健性。然而，其在DualVT-I算法中已大大改進。在先前部分中描述的識別方法中沒有一個是完美的，它們都具有不同的缺點。由此，組合兩種算法以及為此工作挑選的眼睛運動的附加規則，即DualVT-I和DT-I。就決策被自動偏向于DT-I和基于規則的部分同時當噪聲增加時保留DualVT-I屬性而言，此組合充當自適應算法。這結合了DualVT-I速度協議的準確性和DT-I分散協議的穩健性。一種觀察它的方法是將規則作為算法控制來考慮，意味著它們使"決定"偏向于目前工作最為精確的算法部分。圖25示出了算法的協作。至于預處理，需要在分段之前對原始數據進行預處理。該原始數據或多或少地具有噪聲，并且包含有眨眼和未跟蹤的部分。許多研究者已經指出，中值濾波器和FIR混合中值(FHM)濾波器適合于眼睛運動。中值濾波器的特點在于保留了銳邊，同時噪聲和異常值得到抑制，這一點適合于跳視信號。通常，FHM或加權FHM濾波器被認為工作得最佳，然而，15個樣本滑動窗口的中值濾波器充分降低了噪聲。作為正面的副作用，它還將每當受試者眨眼時產生的"眨眼偏離"抑制到足以通過圖43所示的未檢測的分段。一個完全不同的問題是稍前描述的并且其中注視信號由線性插值替代的眨眼插值。如果這發生在注視期間，那么它通常沒有問題。然而，在跳視期間，通常人眨眼只持續約IOO毫秒，而200—300毫秒用直線替換。為繞開此問題需要進行重建。鑒于基于時間的測量不夠精確，本發明采用了簡單、穩健的解決方案，該方案提供了適當的掃視數量。與信號中出現的幅度相同的噪聲被加入到所有眨眼數據，其中分散小于五度，并且將所有其他眨眼標記為跳視。基于所有可用數據來設置五度的閾值，不檢測任何錯誤的注視。幸運地，在具有多次掃視的任務期間，受試者傾向于眨眼較少。如上所述，選擇識別算法是速度協議、分散協議以及由眼睛和眼睛跟蹤設備的物理屬性概括出的規則之間的混合。在離線版本中，這些過程順序進行，首先，應用使用雙閾值的速度協議，然后是具有規則的分散協議。圖23示出了此情形。當信號的噪聲或其它屬性防礙對注視的檢測時(此處應根據視覺規則判斷)，使用注視恢復算法。這被示出為從DT-I和基于規則的模塊至DudVT-I模塊的箭頭。而且，在混合shell中已經包括自動聚類算法。其管理掃視檢測。現在將進一步描述每個算法部分。借助于兩點中心差分來計算導數(速度)估計值應用各注視分量并然后與二次方根加權在一起以形成二維速度。當區分信號時，噪聲總是一個問題，處理此問題的一種方法是對導數進行低通濾波。然而，該中心差分可以被描述為串聯的理想微分器和低通濾波器。頻率響應按下式計算將采樣率設置為大約60赫茲時，此濾波器具有大約14赫茲的3dB截止頻率。此相當低的截止防止了混疊，確保30Hz以上的頻率受到抑制，但是仍然足夠高不會使跳視開始和跳視結束扭曲。圖44示出了雙閾值和速度估計。通過對五個導數算法的實際比較發現，對于12位數據來說，兩點中心差分是最精確的技術。在此方法的優點中，其簡單、精確和快速。64主要通過將結果與先前執行的半自動分析的結果相比較來設置用于跳視檢測的閾值。現在，雖然導數近似值被自動地低通濾波，但是其仍然噪聲嚴重，噪聲水平處在大約70。/S。然而，因為數據收集系統在最佳情況下也具有±3°的誤差，并且對于大于約三至四度的幅度，跳視運動的峰值速度高于IOO。/s，所以沒有問題。盡管如此，實際的評估已經表明，隨機誤差可以從中通過，特別是當噪聲增加時。檢測出那些不精確的識別并且在分段過程的下一步驟由DT-I部分去除。因此，使用三個樣本用于速度估計的精度折衷己經被證明是可以忽略的。在第二步驟中，上文所述的物理標準和基于分散的算法部分確定檢測到的跳視和注視是否有效(規則應用)。圖45提供了示例性跳視和注視的三維視圖。當噪聲水平較高時，導數近似值變得更為敏感，并且偶爾會在注視中檢測到易混淆的假象。它們的去除具有多個防止誤判的基本規則l)如果新的注視分散小于閾值，那么跳視可以變更為注視的部分；和2)如果注視的變化小于閾值，跳視可以變更為注視的部分。如果滿足此標準，利用線性插值將兩次注視與一些加性噪聲結合在一起。引入噪聲以避免使此信號部分為非物理的。原始信號通常多少包含尖脈沖，因此進行插值。同樣，如果它們是非物理的，意味著持續時間小于約150毫秒，那么將注視去除并且簡單地標記為跳視。這在信號的信息量較低時發生。在離線版本(當可接受長延遲時)中，已經開發了如圖46所示的注視恢復算法來補償注視信號的低信息量。這可能發生在注視的開始65時刻，此時算法不能使其自身穩定。它基于如下的假定來工作，艮口，跳視不可能持續大于約200毫秒，并且如果大于的話，其很可能是兩次跳視和位于兩次跳視之間的未檢測的注視。基于這一點，算法定位可能包含未檢測的注視的跳視，并然后使用比在預處理中使用的濾波器(20個樣本)稍長的滑動中值濾波器對它們進行濾波。有時，這使信號噪聲平滑到足以檢測新的注視。現在，這可以看作一種直接而危險的方法，或多或少強制進行檢測。然而，它只是分段公式的自適應屬性，并且已經證明，相對于確認部分來說，其與真實情形高度相關。掃視分類算法分兩個步驟進行。首先，所有群基于它們的總停留時間來自動定位。在第二步驟中，這些群基于同樣的停留數據來自身進行聚類并形成世界模型(worldmodel)目標。世界模型是對不同的預定觀察區域的簡單描述，例如，右后視鏡或道路正前方。所有的模型都限定在當駕駛員觀看道路正前方時垂直于他/她的平面內。在第一步驟中，使用二維停留時間直方圖完成對群位置的粗略近似；S卩，如圖47和48所示，基于每次注視的持續時間和平均位置的不同觀察區域中的總注視時間。平均位置的使用已經證明是減少噪聲問題的簡單方法。直方圖空間尺寸被設置為3乘3度，主要通過試錯法得到。這樣生成了很好的、平滑的直方圖，其中每個尖峰表示群的近似位置。由于注視數據是以弧度為單位給出的，所以實際的群平面不是平面，而是柱體的內側。因此，注視角度不影響群的尺寸。一旦確定了近似的群位置，每個平均注視點通過歐氏平均被分配到最近的群點。然后，將所有群更新到與各自群相關的點的平均位置。算法還生成分類記錄，其中每個分類事件存儲在矩陣內，有其位置、開始、終止、持續時間，相關的群和被編碼成數字的類型，其中類型是跳視或注視。記錄矩陣只是數據簡化，并且稍后用作統計函數計算的基礎。在第二步驟中，所有的群被映射成世界模型。不同的幾何區域(例如方框、圓圈或它們的組合或其他的形狀)限定了各目標，例如鏡子、中控臺、儀表群等。多個群通常位于屬于相同掃視的相同區域內。這些現在結合成一個群，并且重新計算其平均位置。世界模型目標的數量隨任務而變化。已經為此工作挑選了三個目標的基本模型，并且基于停留時間直方圖的算法使目標"浮動"到位。它然后計算目標中心與所有群位置之間的距離的標準差。目標的置信度值落入95%內的群被認為是其一部分，因此，調節目標的尺寸以包圍群。世界模型目標的數量容易通過參數進行控制。這是一個需要檢査并且有時需要來自實驗者的修正的步驟。這是因為，由于原始信號中的噪聲和未跟蹤，對什么是目標什么不是目標的確定是很難的；不得不由實驗者進行合格猜測。消除對人為評價的需要的一種方法是在收集數據時避免晴天。陽光直接進入照相機是一個原因，其導致幾乎所有的注視錯位。對于除掃視分類(例如，在道路上的與偏離道路的比率和大規模的視覺掃描圖案)以外的其他測量目的來說，世界模型方法可以是非常有用的；當注視信號含有噪聲或損壞時(例如由日光引起)，它也是有用的，并且注視被分散在形成比實際更多的群的較大區域中。在該過程中，記錄矩陣連續更新。當對感興趣的區域制作模板(templating)時，存在兩個主要問題l)對于各次運行以及各受試者，需要進行校準；和2)由于傳感器系統的不精確，目標通常需要被限定得比它們實際的大。難以在檢查數據之前確定世界目標(worldobject)需要有多大。如果目標太大，總有可能性包括了異常值，或者是目標不得不彼此重疊。為此，當分析數據時更易于限定區域模型并使其適合于當前的狀況。最后，使用記錄矩陣來產生統計檢測量。將該檢測量限定為1)停留時間；2)掃視持續時間；3)掃視頻率；4)總掃視時間；5)掃視概率；6)連接值概率；7)偏離前方道路景象時間；8)總的任務時間；和9)轉換時間。一旦執行了掃視分類，直接進行這些檢測量的計算，因此它們沒有包括在內。示例性的實時實施方式非常類似于離線算法。差別之處是，只有"前方道路景象"和"其他區域"被限定為世界模型目標。對于每個任務，輸出是在道路上和偏離道路的總掃視次數和總掃視時間。在記錄文件中，通過注釋或時間間隔來指示任務的開始與結束(這在記錄期間手動完成)。在執行任何分類之前，前方道路景象世界目標被定位。這使用初始化階段來完成，對于特別的受試者和運行對設置進行校準。前方道路景象區域借助于注視密度函數進行定位。駕駛員的大部分注意力被導向在此區域內，并且停留時間密度函數總是在其中心具有非常顯著的尖峰，如圖48所示。注視在此區域內的分布近似于高斯分布。因此，可以是利用停留時間直方圖的最高點計算標準差來作為平均注視位置值。技術上，它不是計算的標準差，而是模的偏差。然后，前方道路景象被認為是處于95%置信度值以內。分別為偏航和俯仰完成該步驟，因此形成一個表示前方道路景象的橢圓區域。在初始化期間，搜索區域限于前方道路景象可能是什么樣子；典型地，半徑為10度、中心為(O,O)的圓圈和僅落入此區域中的注視用于計算。盡管如此，95%置信度邊界必須向下、向右偏置大約2度，以便使其對一些受試者有效；當受試者的注視跟隨著道路的彎曲時，出現特性。示例性地，對這些偏差的簡單解決方案是更長的初始化時段或68額外計算，使用允許其跟隨所述彎曲的時間窗口。如果橫擺率可用，那么前方道路景象的中心大概可以適合于此信號并解決問題，然而，這不是當前在車輛中使用的普通傳感器。在圖49中可以看到初始化階段。在產生有效值之前，使用大約五分鐘的正常駕駛來將校準過程調整至工作在最佳狀態。當駕駛員執行任務時出現類似的問題。眼睛似乎沒有回到道路前方區域的中心，而是偏離幾度在次要任務的方向上(駕駛是主要任務)。頭部偏置可能是此行為的答案，意味著其不是垂直于前方道路景象，因此在注視估計中引入偏置。受試者把目光從前方道路景象上移開得越多，注視估計就越不精確。初始化階段一完成，就使DualVT-I、DT-I和規則有效。DualVT-I首先識別跳視-注視的組合。隨后將該組合(掃視的最短形式)及其掃視時間一起轉送至DT-I和規則。如果它們屬于同樣的區域，小的掃視(例如，在某個區域內的注視序列)被結合在一起；即，形成根據ISO/SAE標準的掃視。對掃視時間求和并且將其轉送至與在道路前方/非道路前方信號同步的計數器，所述信號是如圖35所示的聚類算法的輸出。該計數器記錄屬于相同任務的所有掃視和掃視時間，并且隨后被重置以用于每個新任務。然而，在執行重置之前，出于記錄的目的，數據被發送處理。在此情況下，時間間隔已經用來指示任務的開始和結束。已經使用視頻錄制驗證了算法對來自VDM驗證研究的數據有效。視頻錄制根據ISO15007-2和SAEJ-2396方法進行。采用了七名受試者、四個檢測量，其中比較l)任務長度；2)掃視頻率；3)平均掃視持續時間；和4)總掃視時間。利用視覺確認的每次掃視來一個任務接一個任務地執行驗證，以確保適當的算法功能。使用恢復算法來自動地恢復一些注視，已經證明，其能很好地工作且實際上沒有誤算。皮爾森積矩(Pearsonproduct-moment)顯示，在下列所有重要的檢測量方面，分析類型之間高度相關任務長度r=0.999，掃視頻率r=0.998，平均掃視持續時間r=0.816，總的掃視持續時間r=0.995。這比得上"AutomatingDriverVisualBehaviorMeasurement^自動駕駛員視覺行為測量)"的結果，其中，相關系數分別為r=0.991、r=0.997、r=0.732和r=0.995。圖50至53示出了每個任務的平均偏差和標準偏差。已經驗證了實時算法對來自VDM驗證研究的六個視頻錄制受試者有效。由于缺少基準線的駕駛數據(沒有校準數據)，在離線驗證中使用的受試者之一必須省去。比較三個檢測量l)掃視數量；2)總掃視時間；和3)平均掃視時間。各受試者的整個駕駛過程通過算法依次運行。為了保證萬無一失，盡管只需要五分鐘，每次運行開始于在正常的車道上駕駛20分鐘(基準線)以校準系統。皮爾森積矩顯示，在下列兩個檢測量方面，分析類型之間高度相關掃視數量^0.925,總掃視時間r=0.964。然而，平均掃視時間相關系數不是很好，r=0.301。圖54至56示出了各任務的平均偏差和標準偏差。驗證的結果證明，即使在數據質量不處于最佳水平時，算法也高度可靠，例如，算法對于變化的噪聲水平和信號精度來說是穩健的。此外，使用眼睛運動規則，算法可以恢復幾乎淹沒在信號中的注視。對于除了掃視持續時間以外的所有檢測量，分析方法之間的相關系數非常高，處于0.99的區域內(離線版本)，而掃視持續時間的相關系數仍然很高(r=0.82)。然而，對于基于兩個其他的檢測量，預計會出現較低的相關系數。預處理同樣也被證明工作得很好。15個樣本的中值濾波器保留了跳視開始/結束，同時非常有效地抑制了噪聲和眨眼。DualVT-I、DT-I和規則的組合被證明工作良好超過預期。DualVT-I的精度和DT-I的可靠性與用于眼睛運動的物理規則組合在一起，形成對于暫時的傳感器置信度下降和高噪聲水平來說也穩健的算法。已經證實，有可能具有穩健而可靠的實時掃視檢測。模擬表明在兩個檢測量方面(掃視數量和總掃視時間)高度相關。然而，平均掃視時間的相關系數較低(產0.301)。請記住，實時算法不能將朝向鏡子的掃視與朝向收音機的掃視區分開，對全部的檢測量預計更低。有可能使實時算法與離線版本一樣精確。這可以通過識別通常最能在車內看到的目標(例如，內鏡、側鏡、儀表群和中控臺)來實現。這些目標在車內相當分散，因此不會相互混淆。此外，在被限定為最可能的區域內只應有兩次或三次掃視，用于那些目標中的一個以啟動此特定目標的初始化階段。最經常看到的目標是最易引起此錯誤的目標，并且也是最易于檢測的目標。因為沒有別的數據集被視頻錄制或以任何其他的方法進行分析，所以，它只用于測試不同的算法部分，例如實時初始化。然而，此工作已經開啟了分析此數據的大門。已經開發了根據ISO15007-2和SAEJ-2396標準中的定義和檢測量的穩健的混合算法。該方法基本上比視頻錄制(videotranscription)更為迅速，一個小時的數據進行視頻錄制費時大約一天時間，相比之下，利用此算法只費時幾分鐘，所述算法同樣自動地適應于當前的噪聲水平。在本發明(一個或多個)的開發過程中，已經觀察到了下列成果:l)對于以60Hz采樣得到的數據，預處理中值濾波的長度優化為15個樣本；2)在嘈雜的信號部分，使用具有20個樣本的中值濾波器，其中，根據眼睛規則，應當存在注視。這樣使信號平穩至足以檢測注視；3)兩個注視/跳視檢測算法的穩健混合，其適合于當前的噪聲水平，并且，己經開發出決策算法并將其調整為用于60Hz的數據；4)用于眼睛運動的物理規則被實施為智能決策和控制算法；5)已經為任務分析開發出自動而穩健的聚類方法，其需要最少的交互；6)已經開發并驗證了算法的實時版本；7)算法的實時版本使用新系，其將掃視分段為"道路正前方"或"其他"種類；以及8)IS0/SAE內的全部檢測量已經實施。此論題為幾個有趣的車輛內產品應用開啟了大門，所述應用可以利用在實際道路環境中被測試的眼睛運動數據。例如工作負荷估計，注意力估計，困倦檢測，自適應接口，自適應警告等。人機工程學評價，HMI研究，對認知工作負荷、分心、困倦等的研究都可能是此處限定的本發明潛在的有趣應用。因此，已經打開了通往駕駛員想法的新路徑。在今天的環境下，仍然還有要執行的一些手工步驟，例如加載和存儲數據、目視檢查分段以及偶爾調節世界模型。然而，可以預期且易于理解，根據本發明，本領域的普通技術人員可以使這些手工任務自動化并且執行這些任務。陽光直接進入照相機是一種特殊情形，它將注視分散在較大區域內，有時甚至會將各群"融化"在一起。因此，分析工具變得更加穩健和精確，一些步驟將不再是必需的，并且有可能進行批處理。本發明提出了一種實時算法，其穩健而智能地工作，以從駕駛員的眼睛中為車輛(和研究人員)提供盡可能多的有用信息。實時算法將能夠穩健而智能地對多個目標進行分類。世界模型對象對現實世界的實時適配將記錄事件和數據。一個有趣的方法是將目標區域實施為HMM狀態。通過引入此統計學方法，可以增強對目標的分類，因為它將使目標區域邊界更加浮動。一個有趣的想法是在曾經的注視被記錄72在外部或者離開另一個目標一定距離時，使世界模型區域彈出一個動態世界模型。世界模型可以使用目標的該歷史來校準世界模型并且做出智能決策，例如，目標的整個任務駕駛識別。至于檢測算法，可以利用其他的傳感器信息。在現代的汽車中，CAN總線中充滿了對于在跟蹤失敗時估計注視方向可能有用的傳感器信號，例如轉向角、轉向指示器動作(actuation)、車輛速度以及某些按鈕是否被按下。還可以提供與交通環境有關的信息，并因此優化用于特定交通環境的分段參數，比如鄉村、郊區和城市交通。還完成了識別大規模駕駛模式(drivingpattem)的更成功的方法。可以測試其他的WHM濾波器以找出是否有更好的方法來減少注視開始偏離道路時的噪聲，其中使用了恢復算法。濾波器的種類似乎很多。支持該算法的一種方法是受試者的頭部通常沿著與眼睛相同的方向移動，至少對側向注視來說是如此。此方法的缺點來自受試者的個體差異。一些受試者幾乎根本不移動他們的頭部，而另外一些人卻總是這樣做。然而，當注視中有噪聲時，這可能是輔助進行分段的適當方法。在實時算法中，對接下來的六個樣本的預測將加速100毫秒。已經證明，可以預測跳視信號，至少幾個點，采用五點二次預測器只有很小的誤差。在實時算法中，速度最重要。鑒于上述內容，很明顯，在將來還將繼續對此算法進行細微調整。一個已經進行的開發是算法GUI，稱為"視覺要求測量工具(VisualDemandMeasurementTool)"，或簡單地稱為"VDM-工具"。此程序的目的是使分析工具對于任何希望分析眼睛運動的人來說都易于使用。本說明書公開了本發明的分析技術的許多方面，包括方法和可以在其上執行那些方法的裝置。該分析的重要特性包括至少部分基于駕駛員眼睛運動和在實時基礎上進行的評估。權利要求1.一種用于分析源自對車輛內駕駛員生理上的定向的觀測的數據的方法，所述方法包括獲得描述多個駕駛員注視方向實例的數據，并且其中，每個駕駛員注視方向實例由數據集定義；以及使用基于計算機的處理器處理所述數據，并從所述數據確定定義駕駛員視覺興趣位置的標準，并且基于所述標準來將多個所述駕駛員注視方向實例分類為在位置上或偏離位置，為與所述駕駛員視覺興趣位置有關的進一步分析做準備。2.如權利要求l所述的方法，其中描述多個分類的駕駛員注視方向實例中的每個實例的數據集被轉換成兩個二進制值中的一個，所述二進制值表示相應的駕駛員注視方向實例是在位置上或偏離位置。3.如權利要求2所述的方法，其中所述二進制值是1和0，在所述進一步分析中，與所述獲得的數據相比，所述1和0值可以被更快速地處理，所述1和0值源自所述獲得的數據。4.如權利要求l所述的方法，其中從不符合被分類為在位置上的駕駛員注視方向實例的確定標準的情況來推斷出所述偏離位置的駕駛員注視方向實例中的至少一些的分類。5.如權利要求l所述的方法，其中所述進一步的分析涉及非駕駛員困倦和增加的駕駛員工作負荷的次數。6.如權利要求l所述的方法，其中定義駕駛員注視方向實例的每個數據集都源自所檢測的駕駛員身體的腰以上部分的定向。7.如權利要求l所述的方法，其中定義駕駛員注視方向實例的每個數據集都源自所檢測的駕駛員身體的上軀干部分的定向。8.如權利要求7所述的方法，其中使用超聲波裝置來檢測所述檢測的上軀干部分的定向。9.如權利要求7所述的方法，其中使用照相機傳感器來檢測所述檢測的駕駛員頭部的定向。10.如權利要求1所述的方法，其中定義駕駛員注視方向實例的每個數據集都源自所檢測的駕駛員頭部的定向。11.如權利要求IO所述的方法，其中使用照相機傳感器來檢測所述檢測的駕駛員頭部的定向。12.如權利要求IO所述的方法，其中使用電容傳感器來檢測所述檢測的駕駛員頭部的定向。13.如權利要求1所述的方法，其中定義駕駛員注視方向實例的每個數據集都源自所檢測的駕駛員的至少一只眼睛的定向。14.如權利要求l所述的方法，其中所述位置是道路中心位置。15.如權利要求l所述的方法，其中所述位置是后視鏡位置。16.如權利要求l所述的方法，其中所述位置是側鏡位置。17.如權利要求l所述的方法，其中所述位置是車輛附件位置。18.如權利要求l所述的方法，其中所述位置是個人附件。19.如權利要求1所述的方法，還包括如下步驟使用基于計算機的處理器來分析所分類的注視方向實例；以及基于駕駛員工作負荷的評估，從分析結果來確定是否過多量的駕駛員注意力投入到偏離位置。20.如權利要求19所述的方法，還包括如下步驟在確定過多量的駕駛員注意力投入到偏離位置后，開始刺激駕駛員對駕駛控制任務的注意力。21.如權利要求20所述的方法，還包括如下步驟在刺激駕駛員的注意力之前，檢測駕駛控制任務能力的降低。22.如權利要求21所述的方法，其中所述駕駛控制任務能力降低是基于不一致的轉向。23.如權利要求21所述的方法，其中所述駕駛控制任務能力降低是基于不一致的車道保持。24.如權利要求21所述的方法，其中所述駕駛控制任務能力降低是基于不一致的車輛速度。25.如權利要求14所述的方法，還包括如下步驟使用基于計算機的處理器來分析所分類的注視方向實例，以及基于駕駛員工作負荷的評估，從分析結果來確定是否過多量的駕駛員注意力投入到偏離道路中心位置。26.如權利要求25所述的方法，還包括如下步驟在確定過多量的駕駛員注意力投入到偏離位置后，開始刺激駕駛員對駕駛控制任務的注意力。全文摘要提供了一種基于駕駛員的生理上的定向來分析數據的方法。處理描述駕駛員的注視方向的數據，并且確定限定駕駛員感興趣的位置的標準。基于所確定的標準，注視方向實例被分類為在位置上或偏離位置。該分類實例然后可以用于進一步的分析，通常涉及非駕駛員困倦和增加的駕駛員工作負荷的次數。該分類實例被轉換為兩個二進制值(例如，1和0)中的一個，所述二進制值表示相應的分類實例是在位置上還是偏離位置。二進制值的使用使得數據的處理和分析更為快速而高效。此外，從不符合被分類為在位置上的駕駛員注視方向實例的確定標準的情況來推斷出偏離位置的注視方向實例中的至少一些的分類。文檔編號A61B5/11GK101466305SQ200780021720公開日2009年6月24日申請日期2007年6月11日優先權日2006年6月11日發明者彼得·科隆博格,特倫特·維克托申請人:沃爾沃技術公司