專利名稱：用于警告駕駛員存在目標物體的警報系統的制作方法
技術領域：
本發明涉及一種配備在車輛上的警報系統，其可檢測車輛駕駛員 在觀察前方視野目標物體時的疏忽，并發出警報以警告駕駛員避免任 何可能的危險。
背景技術：
已經提出了許多配備有照相機以監視駕駛員的視線方向并在駕駛 員未能觀察到其前方視野中的目標物體的情況下向其發出警報的車輛 報警裝置。
例如，日本專利No. 3232873公開了一種裝置，其向駕駛員的眼睛 發射不可見射線，并根據反射光檢測駕駛員的視線的方向。
日本專利No. 4032994公開了一種通過分別獲得駕駛員眼球的白 色部分的中心和黑色部分(瞳孔)的中心來檢測駕駛員的視線的方向的 方法。
日本專利申請公開No. 2002-331850公開了 一種裝置，其通過根據 利用用于駕駛員視線的頻率分布的隱馬爾科夫模型(HMM)計算的參數 分析駕駛員的車輛操作模式來確定駕駛員的車輛操作行為的意圖，由 此檢測駕駛員的目標意識，其中檢測駕駛員的視線方向作為確定駕駛 員的車輛操作方向的方法。
日本專利申請公開No. H11-304428公開了一種協助車輛駕駛員操 作的系統，該系統在根據一段時間內沒有檢測到駕駛員眨眼或者沒有 檢測到示出駕駛員眼球面向前方的圖像的情況，判斷駕駛員在觀察其 前方視野時沒有完全注意其駕駛時，向駕駛員發出警報。
日本專利申請公開No. H7-69139公開了一種裝置，其根據基于從 面向駕駛員的一側拍攝的圖像所計算的駕駛員雙眼之間的距離，來確 定駕駛員的目標意識。
如上述參考文獻中所公開的，檢測駕駛員無目標意識的常規方法
4包括利用照相機觀察在車輛運行過程中駕駛員的駕駛行為；和在駕 駛員的視線未能觀察前視目標達一段時間的情況下判斷駕駛員未能觀 察前視目標，從而發出對駕駛員忽視察覺前視目標的報警信號。
然而，通過常規方法并不容易精確地判斷駕駛員關于前視目標意 識的狀態，因為駕駛員的車輛操作行為是非常不同的，并且很可能會 產生許多錯誤報警。
此外，駕駛員未能觀察前視目標達一段時間并不必然意味著駕駛 員處于危險狀態。因此對駕駛員反復發出不必要的警報，有時會成為 一種妨害并且甚至會使駕駛員對警報信號產生免疫。
因此，本發明的目的在于提供一種配備在車輛上的警報系統，其 被設計成僅在由于駕駛員沒有觀察前視目標，而在車輛運行過程中檢 測到駕駛員的真實危險的必要時才發出報警。
在此背景技術部分中所公開的上述信息只是用于增強對本發明背 景的了解，因此其可能包含不形成本國內的本領域普通技術人員已公 知的現有技術。
發明內容
在一方面，本發明提供了一種警報系統，其包括視線方向檢測部、 障礙物檢測裝置和警報控制部。視線方向檢測部通過分析利用配備在 車輛中的照相機所拍攝的車輛駕駛員的面部圖像來確定車輛駕駛員的 視野。障礙物檢測裝置利用配備在車輛中的雷達檢測在駕駛員未觀察 的方向上存在的障礙物，該雷達的方向根據視線監視器檢測到的數據 設定在駕駛員未注意的方向上。警報控制部在障礙物檢測裝置檢測到 障礙物的情況下確定是否發出警報。
在一優選實施例中，視線方向檢測部可包括:照相機；根據駕駛員 的面部圖像數據檢測駕駛員的視線方向的裝置；根據己檢測到的多個 駕駛員的視線方向檢測駕駛員的穩定視線方向的裝置；和從檢測到的 駕駛員的穩定視線方向判斷駕駛員的有效視野的裝置。
在另一優選實施例中，障礙物檢測裝置可包括雷達、雷達檢測方 向控制裝置和障礙物檢測裝置。
雷達檢測方向控制裝置確定在有效視野之內駕駛員未觀察到的方向并將該方向設定為雷達的檢測方向。障礙物檢測裝置在檢測到障礙 物的情況下，根據車輛和障礙物的速度和移動方向計算障礙物相對于 車輛的相對速度，隨后根據所獲得的障礙物的相對速度和車輛與障礙 物之間的距離，計算障礙物到達車輛的預計時間。
在又一優選實施例中，警報控制部可包括警報確定裝置、警報控 制裝置和警報發出裝置。
警報確定裝置在障礙物檢測裝置檢測到障礙物的情況下，考慮到 在配備于視線方向檢測部中的、用于按時間順序記錄視線方向的裝置 中所記錄的視線方向的按時間順序記錄的歷史，在尚無駕駛員觀察到 障礙物的先前記錄的情況下，計算從檢測到障礙物的時間到當前時間 的時間間隔，或者在已有檢測到障礙物的先前記錄的情況下，計算從 上次檢測到障礙物的時間到當前時間的時間間隔，并將其指定為駕駛 員無前視目標意識的駕駛時間，且將選自下列數據的至少兩個數據輸 入到用于確定駕駛員無前視目標意識的駕駛狀態的程序中(i)駕駛員 無前視目標意識的駕駛時間，(ii)車輛與障礙物碰撞的預計時間，(iii) 障礙物距車輛的距離和相對于車輛的方向，以及(iv)車輛和障礙物的速 度和移動方向。
警報控制裝置設定要發出的警報的類型，并且警報發出裝置響應 于警報控制裝置的指示發出警報。
在再一優選實施例中，警報控制裝置在警報確定裝置確定要發出 的警報的情況下，通過將選自下列數據的至少兩個數據輸入到上述程 序中來計算障礙物產生的危險程度，響應于所計算的危險程度設定要 發出的警報的類型，并發出警報(i)駕駛員無前視目標意識的駕駛時 間，(ii)車輛與障礙物碰撞的預計時間，(iii)障礙物距車輛的距離和相對
于車輛的方向，以及(iv)車輛和障礙物的速度和移動方向。
上述警報系統通過檢測駕駛員的視線來確定駕駛員的注視。在配 備于車輛中的雷達檢測到在駕駛員未觀察的方向上存在障礙物的情況 下，警報系統確定駕駛員的障礙物意識。根據該警報系統，可僅在確 定駕駛員未意識到障礙物時才發出警報，從而避免了不必要的警報。 此外，可以提高駕駛安全性。
應當理解的是，這里所使用的術語"車輛"或"車輛的"或者其
6它類似術語包括通常的機動車輛，例如包括運動型多功能車(SUV)、公 共汽車、卡車、各種商用車在內的客運車輛，包括各種艇和船只在內 的水運工具，以及飛行器，等等，并且包括混合動力車輛、電動車輛、 插電式混合動力電動車輛、氫動力車輛及其它代用燃料車輛(例如從石 油以外的資源獲取的燃料)。如在這里所提到的，混合動力車輛是具有 兩種或多種動力源的車輛，例如既有汽油動力又有電動力的車輛。 本發明的上述及其他特征將在下文中進行論述。
現在將參考附圖中示出的一些示例性實施例來詳細說明本發明的 上述及其它特征，附圖在下文中僅以示例的方式給出，因此并非對本
發明進行限制，并且其中
圖1示出了根據本發明的實施例的警報系統的系統框圖2A至2C示出了根據本發明的實施例的設定雷達搜索方向的方
^去;并且
圖3是示出根據本發明的實施例用于警告駕駛員的方法的流程圖。
具體實施例方式
現在將詳細參考本發明的優選實施例，其實例在下文的附圖中示 出，其中相同的附圖標記始終表示相同的元件。下文通過參考附圖說 明實施例以便闡明本發明。
圖1示出了根據本發明的實施例的警報系統的系統框圖。
根據圖l，警報系統包括視線方向檢測部110、障礙物檢測裝置120 和警報控制部130，將在下文中進一步說明。
視線方向檢測部110可優選包括照相機2、視線(eye gaze)方向 檢測裝置lll、穩定視線方向檢測裝置112、用于確定有效視野的裝置 113和用于記錄注視(steady gaze)方向的歷史的裝置114。
通過利用配備在車輛1中的照相機2來拍攝駕駛員6的面部圖像， 由此捕捉的圖像數據通過視線方向檢測裝置111進行處理，從而檢測 駕駛員6的視線8。組合照相機2與視線方向檢測裝置111的裝置是己 知的所謂視線檢測裝置。照相機2和視線方向檢測裝置111可以是可
7安裝在車輛1中并可從其獲取數據的任何一種裝置。
穩定視線方向檢測裝置112在累加由視線方向檢測裝置111發出 的駕駛員6的視線方向13的所有數據之后計算平均值，以檢測并發出 駕駛員6的穩定視線方向16。累加上述數據所需的時間優選為0.01-1 秒，更優選地為0.02-0.5秒，最優選地為0.1秒。
用于確定有效視野的裝置113根據駕駛員6的穩定視線方向16和 視角確定視野9。已知在車輛運行過程中駕駛員6的視角的一般值，且 通過使用該值可計算視野。這里所獲得的視野9是在車輛運行過程中 移動的視野。優選地，用于確定有效視野的裝置113通過對視野9增 加包括安全率的因素來確定有效視野15，并將其發出。
可通過首先計算對應于穩定視線方向16的有效視野15，并將其輸 入到用于確定駕駛員無前視目標意識的駕駛狀態的程序20中，來確定 有效視野15。
用于記錄注視方向的歷史的裝置114記錄駕駛員的穩定視線方向 的按時間順序記錄的歷史，并將其發出作為警報控制裝置131。
障礙物檢測裝置120可優選包括雷達3、用于設定搜索方向的裝置 121和障礙物檢測裝置122。用于設定搜索方向的裝置121和用于檢測 障礙物的裝置122可適當地形成整體用于雷達的控制，且通過處理障 礙物12的檢測數據而發出關于障礙物的信息。
雷達3的實例可包括，例如，(毫米波)雷達，紅外雷達，超聲波檢 測器，立體照相機，等等。在本發明中所使用的雷達可不限于以上例 示的雷達，而可以是可安裝在車輛中并可協助計算車輛和障礙物之間 的距離的任何一種雷達。
用于設定搜索方向的裝置121確定在視野的有效范圍內沒有被駕 駛員6觀察的方向，并為雷達3設定搜索方向以檢測障礙物。
圖2示出了根據本發明的實施例的設定雷達搜索方向的方法。圖 2A示出了駕駛員的注視方向IO為正前方的前方視野，且雷達搜索方 向11為駕駛員的左右兩側的視野的情形。圖2B示出了駕駛員的注視 方向10為駕駛員的左側，且雷達搜索方向11為正前方的前方視野和 駕駛員右側的視野的情形。圖2C示出了駕駛員的注視方向IO為駕駛 員的后側(即，駕駛員未觀察前方視野)，且雷達搜索方向11為前方視野和駕駛員的左右兩側的視野的情形。
雷達搜索方向ll不限于前方視野和駕駛員的左右兩側的視野，而 是可以覆蓋任何方向，和根據需要設定的任何數目的方向。
用于檢測障礙物的裝置122在其檢測到障礙物12的情況下，根據 車輛和障礙物的速度和移動方向，計算障礙物相對于車輛的相對速度。 隨后，用于檢測障礙物的裝置根據所獲得的障礙物的相對速度和車輛 與障礙物之間的距離，計算障礙物到達車輛的預計時間。更加優選地， 障礙物到達車輛的預計時間是障礙物抵達車輛的危險距離的時間。
這里，危險距離18是車輛1和障礙物12之間的最小容許距離， 兩者之間更接近將被視為碰撞。危險距離18是對應于各種行駛狀況的 變量，其是考慮到例如障礙物12的方向和距離、車輛1和障礙物12 之間的相對速度、車輛1和障礙物12的相對移動方向、以及制動力等 因素而設定的。例如，在車輛1以高速運行或者障礙物12處于與車輛 1相同的移動方向的情況下，危險距離18可設定得相對大一些，而在 障礙物12在不同的車道上平行行駛或從后面跟隨車輛的情況下，危險 距離18可設定得相對小一些。危險距離18的條件可以輸入設定用于 確定駕駛員無前視目標意識的駕駛狀態的程序20。可通過利用上述用 于確定駕駛員無前視目標意識的駕駛狀態的程序20來計算預計的到達 時間17。
警報控制部130可優選地包括警報確定裝置131、警報控制裝置 132和報警裝置4。
警報確定裝置131在障礙物檢測裝置122檢測到障礙物12的情況 下，考慮到在配備于視線方向檢測部110中的、用于按時間順序記錄 視線方向的裝置114中所記錄的視線方向的按時間順序記錄的歷史， 在尚無駕駛員6觀察到障礙物12的先前記錄的情況下，計算從檢測到 障礙物12的時間到當前時間的時間間隔，或者在已有檢測到障礙物12 的先前記錄情況下，計算從上次檢測到障礙物12的時間到當前時間的 時間間隔，并將其指定為駕駛員無前視目標意識的駕駛時間19。
警報確定裝置131考慮駕駛員無前視目標意識的駕駛時間19確定 是否發出警報。如果無前視目標意識的駕駛時間19的間隔超過預定時 間期限，則可確定發出警報。更加優選地，警報確定裝置131根據在
9將選自下列數據的至少兩個數據輸入到上述程序中之后所獲得的計算 結果來確定是否發出警報(i)駕駛員無前視目標意識的駕駛時間，(ii)
車輛與障礙物碰撞的預計時間，(iii)障礙物距車輛的距離和相對于車輛 的方向，及(iv)車輛和障礙物的速度和移動方向。
用于確定駕駛員無前視目標意識的駕駛狀態的程序20是利用車輛 1的多種假定運行狀況，根據將關于障礙物12距車輛1的距離和相對 于車輛1的方向、車輛1和障礙物12之間的相對速度及其移動方向的 輸入的實測數據與對應的行駛條件及其它相關參數相加而得到的最優 化計算方法，或者是將其預期狀況的計算結果加載在計算機中，使得 能夠通過根據在每個步驟中獲得的輸入數據的計算來獲得最佳結果的 程序。程序20也可用于計算下文提到的危險度21以及有效視野15、 預計到達時間17和危險距離18。
警報確定裝置131在其判斷行駛狀態為無前視目標意識的駕駛狀 態22的情況下，確定對無前視目標意識的駕駛狀態22發出警報5，并 將其發出。
警報控制裝置132在警報確定裝置131確定對無前視目標意識的 駕駛狀態22發出警報5的情況下，對由于障礙物12產生的危險度21 進行計算，并設定響應于未觀察到前視目標物體的駕駛狀況而發出的 警報5的類型且將其發出。
危險度21如下計算。例如，在障礙物12以高于預定相對速度的 速度接近車輛1的情況下，其可被指定為程度3;在上述障礙物12的 相對速度低于預定相對速度或者處于停止狀態的情況下，其可被指定 為程度2;以及在障礙物12遠離車輛1或距離車輛1漸遠，或者盡管 沒有檢測到障礙物12，但是駕駛員6無前視目標意識的駕駛時間超過 預定時間期限的情況下，其可被指定為程度l。
優選地，警報控制裝置132根據在將選自下列數據的至少兩個數 據輸入到上述程序中之后所獲得的計算結果來確定由于障礙物12產生 的危險度21的特定程度(i)駕駛員無前視目標意識的駕駛時間，(ii) 車輛與障礙物碰撞的預計時間，(iii)障礙物距車輛的距離和相對于車輛 的方向，及(iv)車輛和障礙物的速度和移動方向。
警報控制裝置132響應于危險度21設定發出警報的類型并將其發出。
設計用于警告無前視目標意識的駕駛狀態22的所發出警報5的類 型可以如下設定。
將危險度21按照從最高程度至最低程度的順序指定為程度3、程 度2和程度1。對于程度3，點亮對無前視目標意識的駕駛狀態的警告 閃光，同時發出喇叭聲，喇叭聲的聲壓為60 100dBSPL，優選為65 90dBSPL，更優選為75 85 dBSPL。對于程度2，點亮對無前視目標 意識的駕駛狀態的警告閃光，同時發出喇叭聲，喇叭聲的聲壓為30 70 dBSPL，優選為40 65 dBSPL，更優選為55 65 dBSPL。對于程 度1，點亮對無前視目標意識的駕駛狀態的警告閃光，或者發出喇叭聲， 喇叭聲的聲壓為30 70 dBSPL，優選為40 65 dBSPL，更優選為55 65 dBSPL。
報警裝置4根據警報控制裝置132產生的警報類型發出對無前視 目標意識的駕駛狀態的警報。
圖3是示出根據本發明的實施例的警報系統的操作實例的流程圖。
視線方向檢測裝置111根據由配備在駕駛員的車輛1中的照相機2 獲得的信息和面部圖像數據7檢測駕駛員的注視方向(S201)，隨后，穩 定視線方向檢測裝置112根據輸入的多個視線方向13檢測駕駛員6的 穩定視線方向16(S202)。
用于確定有效視野的裝置113根據駕駛員6的穩定視線方向16確 定有效視野(S203)。
用于設定搜索方向的裝置121確定在有效視野15內駕駛員未觀察 到的方向并將雷達搜索方向設定為那些方向(S204)。
用于檢測障礙物的裝置122檢測在車輛附近存在的任何障礙物 (S205)。當其檢測到障礙物12時(S206)，其根據車輛1與障礙物12之 間的距離和相對速度計算障礙物到達車輛1的預計時間17(S207)。
警報確定裝置131考慮在用于按時間順序記錄駕駛員視線方向的 歷史的裝置114中所記錄的駕駛員視線方向14的按時間順序記錄的歷 史視，計算無前視目標意識的駕駛時間(S208)。警報確定裝置131還通 過將選自下列數據的至少兩個數據輸入到程序20中來確定駕駛員的駕 駛狀態是否為無前視目標意識的駕駛狀態(i)駕駛員無前視目標意識
ii的駕駛時間，(ii)車輛與障礙物碰撞的預計時間，(iii)障礙物距車輛的距
離和相對于車輛的方向，及(iv)車輛和障礙物的速度和移動方向。
在駕駛員的駕駛狀態被確定為無前視目標意識的駕駛狀態的情況
下，警報確定裝置131確定發出對無前視目標意識的駕駛狀態的警報 5，并將其發出(S209)。
警報控制裝置132在警報確定裝置131確定發出對無前視目標意 識的駕駛狀態的警報5的情況下，根據用于檢測障礙物的裝置122中 的數據計算由于障礙物12產生的危險度21 (S210)，響應于上述危險度 21確定對無前視目標意識的駕駛狀態發出的警報5的類型，并將其發 出(S211)。報警裝置4以通過警報控制裝置132確定的警報類型發出對 無前視目標意識的駕駛狀態的警報5(S212)。
頭詞
如上所述，用于確定無前視目標意識的駕駛狀態的程序用于計算 危險度，以及用于判斷駕駛狀態是否屬于無前視目標意識的駕駛狀態。 為了進一步說明本發明，以下將說明不使用程序的用于確定駕駛狀態 和計算危險度的方法。然而，應當注意的是，下文給出的實例是為了 更好地說明本發明的目的而不是意在限制本發明。
通過使用照相機2捕捉車輛1中的駕駛員6的面部圖像，并處理 捕捉的圖像以檢測駕駛員6的穩定視線方向。并且通過使用雷達3搜 索駕駛員未注意的方向。
在雷達3中檢測到的障礙物12從離開車輛1達x [m]的距離以速 度y [m/sec]接近車輛1，而且駕駛員6沒有觀察到障礙物12達時間z [sec]的情況下；(i)如果x、 y和z滿足x/y》，則將警報程度指定為程度 3， (ii)如果它們滿足x/y々，則將警報程度指定為程度2，以及(iii)如果 障礙物12距離車輛1漸遠或者盡管雷達3沒有檢測到任何障礙物，然 而駕駛員6的有效視野15已從車輛移動的方向移開了預定時間期限， 則將警報程度指定為程度1。
在警報程度3的情況下，點亮對無前視目標意識的駕駛狀態的警 告閃光，同時發出聲壓為80dBSPL的警告聲。對于程度2，點亮對無 前視目標意識的駕駛狀態的警告閃光，同時發出60dBSPL的警告聲。
12對于程度1，點亮對無前視目標意識的駕駛狀態的警告閃光或者發出
60dBSPL的警告聲。
已參考其優選實施例對本發明進行了詳細說明。然而，本領域技 術人員將會理解的是，可在這些實施例中進行變化而不背離本發明的 原理和實質，本發明的范圍限定在所附權利要求及其等效形式中。
權利要求
1.一種車輛警報系統，包括(a)視線方向檢測部，其通過分析使用配備在所述車輛中的照相機所拍攝的車輛駕駛員的面部圖像來確定車輛駕駛員的視野；(b)障礙物檢測裝置，其使用配備在所述車輛中的雷達檢測在駕駛員未觀察的方向上存在的障礙物，所述雷達的方向根據由視線監視器檢測的數據設定在駕駛員未注意的方向上；和(c)警報控制部，其在通過所述障礙物檢測裝置檢測到障礙物的情況下確定是否發出警報。
2. 根據權利要求1所述的車輛警報系統，其中所述視線方向檢測 部包括照相機；根據所述駕駛員的面部圖像數據檢測駕駛員的視線方向的裝置； 根據己檢測到的多個駕駛員的視線方向檢測駕駛員的穩定視線方 向的裝置；禾口從檢測到的駕駛員的穩定視線方向判斷駕駛員的有效視野的裝置。
3. 根據權利要求2所述的車輛警報系統，其中所述障礙物檢測裝 置包括雷達；雷達檢測方向控制裝置，其確定在所述有效視野之內駕駛員未觀 察的方向并將該方向設定為所述雷達的檢測方向；和障礙物檢測裝置，其在檢測到障礙物的情況下，根據所述車輛和 障礙物的速度和移動方向計算所述障礙物相對于所述車輛的相對速 度，隨后根據所獲得的所述障礙物的相對速度和所述車輛與所述障礙 物之間的距離，計算所述障礙物到達所述車輛的預計時間。
4. 根據權利要求1所述的車輛警報系統，其中所述警報控制部包括(a) 警報確定裝置，其在所述障礙物檢測裝置檢測到障礙物的情況 下，考慮到在配備于所述視線方向檢測部中的、用于按時間順序記錄 視線方向的裝置中所記錄的視線方向的按時間順序記錄的歷史，在尚 無駕駛員觀察到障礙物的先前記錄的情況下，計算從檢測到障礙物的 時間到當前時間的時間間隔，或者在已有檢測到障礙物的先前記錄的 情況下，計算從上次檢測到障礙物的時間到當前時間的時間間隔，并 將其指定為駕駛員無前視目標意識的駕駛時間，且將選自下列數據的 至少兩個數據輸入到用于確定駕駛員無前視目標意識的駕駛狀態的程序中(i)駕駛員無前視目標意識的駕駛時間，(ii)所述車輛與所述障礙 物碰撞的預計時間，(iii)所述障礙物距所述車輛的距離和相對于所述車 輛的方向，及(iv)所述車輛和所述障礙物的速度和移動方向；(b) 警報控制裝置，其設定要發出的警報的類型；和(c) 警報發出裝置，其響應于所述警報控制裝置的指示發出所述警報。
5.根據權利要求4所述的車輛警報系統，其中所述警報控制裝置 在所述警報確定裝置確定要發出的警報的情況下，通過將選自下列數 據的至少兩個數據輸入到所述程序中來計算由所述障礙物產生的危險 程度，響應于所計算的危險程度設定要發出的警報的類型，并發出所 述警報(i)駕駛員無前視目標意識的駕駛時間，(ii)所述車輛與所述障 礙物碰撞的預計時間，(iii)所述障礙物距所述車輛的距離和相對于所述 車輛的方向，及(iv)所述車輛和所述障礙物的速度和移動方向。
全文摘要
警報系統包括視線方向檢測部、障礙物檢測裝置和警報控制部。視線方向檢測部通過分析利用配備在車輛中的照相機所拍攝的車輛駕駛員的面部圖像來確定車輛駕駛員的視野。障礙物檢測裝置利用配備在車輛中的雷達檢測在駕駛員未觀察的方向上存在的障礙物，該雷達的方向根據視線監視器檢測到的數據設定在駕駛員未注意的方向上。警報控制部在障礙物檢測裝置檢測到障礙物的情況下確定是否發出警報。該系統可檢測車輛駕駛員在觀察前方視野目標物體時的疏忽，并發出警報以防止駕駛員發生任何可能的危險。
文檔編號G08G1/16GK101549648SQ20081019111
公開日2009年10月7日 申請日期2008年11月7日 優先權日2008年3月31日
發明者木內真吾 申請人:現代自動車株式會社;起亞自動車株式會社;株式會社現代自動車日本技術研究所