專利名稱:駕駛支援裝置的制作方法
技術領域:
本發明涉及在后部具有翻起式后背門(back door)的車輛的駕駛支援裝置。
背景技術:
已知有利用由車載攝像頭拍攝而得到的車輛周邊的圖像來進行該車輛的停車支援的停車支援裝置、檢測該車輛周邊的障礙物等并告知駕駛人員的車輛周邊監視裝置等駕駛支援裝置。在日本特開2007 - 237857號公報(專利文獻I)中,公開了具有在停車時判定是否能夠確保開放搖擺式(swing type)駕駛座車門、副駕駛座車門、后背門(后欄板Rear gate)等的空間的功能的停車輔助裝置。安裝了該停車輔助裝置的車輛具有檢測車輛周邊的物體并測定直到該物體為止的距離的雷達(前方傳感器及后方傳感器)。而且,計算開放車門所需的空間(開放空間)以及開放所需的與物體之間的距離(開放距離),并顯示其結果作為引導圖像。特別地,在不能開放的情況下,顯示警告圖像(第26 32、48 52、61 66,70 72段落、圖7 圖8、圖10等)。另外,在日本特開2005 — 313774號公報(專利文獻2)中,公開了將表示在開閉后背門(后攔板tail gate)時從最外緣部的車輛后端部至車輛后方之間的距離的十字型標記重疊在拍攝車輛后方而得到的圖像上來顯示的后方確認裝置(第21、25段落、圖3、圖4等)。現有技術文獻專利文獻專利文獻I :日本特開2007 - 237857號公報專利文獻2 :日本特開2005 - 313774號公報
發明內容
發明要解決的問題在專利文獻I中,如該文獻的圖7 圖8、圖10示出那樣與攝像頭映像相鄰地顯示示意性引導圖像。例如,在后背門(后欄板)的情況下,一起顯示“后欄板開放界限”或“后欄板開放不可”這樣的消息和警告圖像來作為示意性引導。但是,由于分別獨立地顯示攝像頭拍攝圖像和警告圖像,因而在視覺辨認性的方面有改善的余地。另外,不能說駕駛人員等利用人員能夠容易掌握開放后背門的感覺。在專利文獻2中,如該文獻的圖3及圖4所示,將與進行開放后背門的操作的人站在路面上的位置相對應這樣的圖像重疊在攝像頭的拍攝圖像上。因此,不能說容易掌握三維開閉圖像,仍然在視覺辨認性的方面有改善的余地。鑒于上述背景技術,希望提供駕駛人員能夠良好地一起確認用于開放后背門的空間以及車輛周邊的圖像的駕駛支援裝置。用于解決問題的手段鑒于上述問題的本發明的駕駛支援裝置,用于支援在后部具有翻起式后背門的車輛的駕駛,該駕駛支援裝置的特征結構在于,具有拍攝圖像獲取部,其獲取由車載攝像頭拍攝至少包括上述車輛的后方在內的上述車輛的周邊情景而得到的拍攝圖像;視點轉換部,其用于將上述拍攝圖像視點轉換為從上述車輛的上空觀察時的俯瞰圖像;圖形圖像生成部,其生成從與上述俯瞰圖像相同的視點觀察處于開放狀態的上述后背門而表示上述后背門的形狀的圖形圖像;顯示控制部,其在上述俯瞰圖像上重疊上述圖形圖像并顯示在車室內的監視裝置上。根據該特征結構,在從上空觀察車輛的俯瞰圖像上重疊用于表示開放狀態的后背門形狀的圖形圖像,因而駕駛人員能夠容易地確認用于開放后背門的空間的有無。基于由車載攝像頭拍攝而得到的拍攝圖像視點轉換而成的俯瞰圖像和圖形圖像并不是獨立地顯示,而是將兩者疊加顯示,因而能夠得到良好的視覺辨認性。另外,通過利用俯瞰圖像,駕駛人員能夠容易掌握開閉后背門時的三維圖像。這樣,根據本特征結構,提供駕駛人員能夠良好地一起確認用于開放后背門的空間以及車輛周邊的圖像的駕駛支援裝置。在此,優選地,上述圖形圖像為上述后背門的外觀圖像。在圖形圖像為后背門的外觀圖像時,能夠對俯瞰圖像中的車輛協調地附加開放的后背門。另外,外觀圖像可以是示意性表現或真實地表現出后背門的外觀的插像,也可以是實際拍攝后背門的外觀而得到的照片圖像或映像圖像。通過利用外觀圖像,畫面的設計性也良好,并且可具有高的視覺辨認性而能夠使駕駛人員確認用于開放后背門的空間。另外,優選地,上述圖形圖像為上述后背門的輪廓線。在圖形圖像為后背門的輪廓線時,能夠用少的運算負荷以及少的存儲容量來生成圖形圖像,并在俯瞰圖像上重疊該圖形圖像。另外,因為能夠了解到所重疊的圖形圖像明顯與實際的后背門不同,所以能夠良好地表示這是引導性顯示,而并非實際上開放了后背門。另外,在圖形圖像為輪廓線時,通過從俯瞰圖像的視點觀察,不易因開放的后背門而產生成為死角的區域。因此,能夠告知駕駛人員用于開放后背門的空間,而不會妨礙周邊監視功能。另外,優選地,上述圖形圖像半透明。在圖形圖像透明或半透明時,從俯瞰圖像的視點,還能夠透過圖形圖像來顯示在開放的后背門的背陰而成為死角的區域。例如即使在路面上存在某種物體的情況下,也不易導致圖形圖像妨礙對該物體的視覺辨認性。因此,能夠告知駕駛人員用于開放后背門的空間,而不會妨礙周邊監視功能。另外,因為能夠了解到所重疊的圖形圖像明顯與實際的后背門不同,所以能夠良好地表示這是引導性顯示,而并非實際開放了后背門。另外,優選地,上述圖形圖像生成為比開放狀態的上述后背門在上述俯瞰圖像上的大小更大的范圍的圖像。通過將表示開放狀態的后背門的圖形圖像顯示為大于實際大小,駕駛人員能夠從容地駕駛。例如,即使在駕駛人員以基于圖形圖像要留下能夠開放后背門的最低限的空間的方式停車的情況下,也會形成一些富余空間。因此,還能夠抑制后背門開放時與其他物體接觸等的可能性。另外,優選地,本發明的駕駛支援裝置中,在滿足規定的顯示條件時,上述顯示控制部在上述俯瞰圖像上重疊上述圖形圖像。在俯瞰圖像上始終重疊顯示表示開放狀態的后背門的圖形圖像時,存在使駕駛支援裝置的利用人員(駕駛人員)感到繁雜的情況。如果在滿足規定的顯示條件的情況下重疊該圖形圖像,因為能夠確保便利性并且不會使利用人員感到繁雜,所以優選該方式。另外,優選地,本發明的駕駛支援裝置中,在由上述車輛的搭乘人員進行了對指示輸入部進行了操作時,上述顯示控制部判斷為滿足上述顯示條件,其中,上述指示輸入部用于指示將上述圖形圖像重疊在上述俯瞰圖像上。由于基于車輛的搭乘人員的指示來重疊圖形圖像,因而能夠在駕駛支援裝置的利用人員(駕駛人員等搭乘人員)認為需要時恰當地顯示圖形圖像。因此,能夠確保便利性,而不會使利用人員感到繁雜。另外,搭乘人員是指包括駕駛人員在內的能夠對指示輸入部進行重疊到俯瞰圖像上的指示的操作的人。例如,還包括坐在副駕駛座上的人受駕駛人員委托而操作指示輸入部的情況。另外,優選地,本發明的駕駛支援裝置還具有停車狀態判定部,該停車狀態判定部用于判定表示停止上述車輛時的經過狀態的停車狀態;上述顯示控制部根據上述停車狀態來判定是否滿足上述顯示條件。能夠開放后背門的空間的有無,對于最終的停車位置起到重要作用。因此,優選地,與車輛的停車狀態相對應地重疊顯示表示開放狀態的后背門的圖形圖像。根據本結構,通過具有停車狀態判定部,能夠判定停車狀態并基于該判定結果來重疊顯示圖形圖像,因而能夠在恰當的時間重疊顯示圖形圖像,從而能夠確保高的便利性。 另外,優選地,本發明的駕駛支援裝置中,在上述車輛的移動速度在規定的上限速度以下的情況下,上述顯示控制部判斷為滿足上述顯示條件。在車輛以比上限速度快的速度移動這樣的情況下,駕駛人員優選相比注意后背門的開放空間等更要注意實際的車輛周邊的狀況,通過設定為在車輛的移動速度在上限速度以下的情況下滿足顯示條件,能夠在保持安全性的基礎上提高便利性。另外,能夠適宜設定“上限速度以下”、“小于上限速度”等基準值之間的邊界條件。另外,優選地,上述顯示控制部以從車輛圖像打開了上述后背門的方式重疊上述圖形圖像,其中,上述車輛圖像是指表示從與上述俯瞰圖像相同的視點觀察的上述車輛的車輛圖像。通過這樣顯示圖形圖像,能夠容易地想象出打開后背門的狀態。另外,優選地,上述俯瞰圖像為從上述車輛的上空朝向鉛垂方向俯視時的圖像。根據這樣的結構,一眼就能夠視覺辨認后背門開得最大的狀態。由此,駕駛人員能夠良好地一起確認用于開放后背門的空間以及車輛的周邊圖像。
圖I是切開車輛的一部分示出的車輛的立體圖。圖2是示出了攝像頭的拍攝范圍的俯視圖。圖3是示意性示出了車輛的系統結構的一個例子的框圖。圖4是示出了將拍攝圖像及俯瞰圖像顯示在監視裝置上的顯示例的圖。圖5是示意性示出了駕駛支援裝置的功能結構的一個例子的框圖。圖6是示出了拍攝圖像及重疊圖形圖像之前的俯瞰圖像的顯示例的圖。圖7是示出了拍攝圖像及重疊圖形圖像之后的俯瞰圖像的顯示例的圖。
具體實施例方式下面,參照附圖,對本發明的實施方式進行說明。在本實施方式中,說明基于車輛所具備的多個攝像頭拍攝而得到的拍攝圖像來形成從上方俯視車輛的形態的俯瞰圖像并顯示在監視裝置上的駕駛支援裝置(停車支援裝置及周邊監視裝置)的例子。通過利用拍攝圖像及俯瞰圖像,能夠進行用于使駕駛人員停止車輛的駕駛操作的支援以及車輛周邊的障礙物等的監視支援。因此,駕駛支援裝置還發揮停車支援裝置及周邊監視裝置的功能。如圖I所示,車輛90至少在其后部具有以上部為擺動軸的翻起式后背門91 (掀背(hatchback)式后背門91)。下面,利用在執行停車支援時在俯瞰圖像上告知駕駛人員等搭乘人員是否能夠確保能夠開放后背門91的空間的例子,對本發明的駕駛支援裝置的實施方式進行說明。在車輛90設有多個車載攝像頭。如圖I及圖2所示,在車輛90的后部,即后背門91設有后方攝像頭la。在左前部車門92設置的左側后視鏡94的下部設有左側方攝像頭lb,在右前部車門93設置的右側后視鏡95的下部設有右側方攝像頭lc。另外,在車輛90的前部設有前方攝像頭Id。在下面的說明中,適宜地將這些攝像頭Ia Id統稱為攝像頭I (車載攝像頭)。攝像頭I 利用 CO) (charge coupled device :電荷稱合元件)或 CIS (CMOS imagesensor :互補金屬氧化物半導體型圖像傳感器)等拍攝元件的數碼攝像頭,以時間序列拍攝每秒15 30幀的二維圖像,并進行數碼轉換來實時輸出視頻數據(拍攝圖像)。攝像頭I 具有廣角透鏡。特別地,在本實施方式中,在水平方向上確保140 190°的視角。后方攝像頭Ia及前方攝像頭Id以光軸上形成大約30度左右的俯角的方式設在車輛90上,能夠拍攝從車輛90到大約8m左右為止的區域。左側方攝像頭Ib及右側方攝像頭Ic以向下方朝向光軸的方式設在側后視鏡94、95的底部,能夠拍攝車輛90的側面的一部分和路面(地面)。如圖3所示,利用攝像頭I拍攝而得到的圖像能夠利用具有迭印(superimpose)部2a、圖形描畫部2b、幀存儲器2c等的圖像處理模塊2來顯示在監視裝置4上。能夠將各幀的二維圖像保存到幀存儲器2c中,并針對每幀實施圖像處理及圖形重疊。另外,圖像處理模塊2還能夠通過合成由多個攝像頭I拍攝而得到的拍攝圖像來生成視野更寬的合成圖像,或者通過轉換拍攝圖像或合成圖像的視點來生成俯瞰圖像。在車輛90的前后位置的角部的外方位置形成兩個由攝像頭拍攝而得到的拍攝圖像的重復區域W(參照圖2),通過實施使該重復區域W的邊界部位不醒目的圖像處理來生成合成圖像。另外,轉換該合成圖像的視點,并將車輛90的車頂的外觀圖像(圖形圖像)重疊在轉換視點后的圖像上,從而生成俯瞰圖像。該圖形圖像可以是示意性表現或真實地表現出車輛90的車頂的外觀的插像,也可以是實際拍攝車輛90的車頂外觀而得到的(預先拍攝并存儲的)照片圖像或映像圖像。顯然,也可以分別對單個攝像頭I的拍攝圖像進行視點轉換,并合成經視點轉換而得到的多個攝像頭I的拍攝圖像。與多個拍攝圖像的合成及圖像的視點轉換相關的圖像處理技術是公知的,因而省略詳細說明。由后述的CPU (centralprocessing unit :中央處理單元)5發出對圖形描畫部2b的描畫指示及對迭印部2a的圖形重疊指示。監視裝置4例如兼作導航系統的監視裝置來使用。如圖3所示,監視裝置4具有顯示部4a、形成在顯示部4a上的觸摸面板4b及揚聲器4c。顯示部4a用于顯示由圖像處理模塊2提供的攝像頭I的拍攝圖像、圖形圖像、合成這些圖像而成的合成圖像等。作為一個例子,顯示部4a由液晶顯示器構成。觸摸面板4b與顯示部4a —起形成,是能夠將基于手指等的接觸位置作為定位數據來輸出的壓力感應式或靜電式指示輸入裝置。在圖3中,例示了將揚聲器4c設在監視裝置4上的情況,但揚聲器4c也可以設在車門的內側等其他位置。揚聲器4c根據CPU5的指示來輸出由語音處理模塊3提供的語音。另外,還存在CPU5簡單地通過蜂鳴器8來發出報知音的情況。
CPU5用于進行圖像識別及行進路線預想等高級的運算處理,擔任駕駛支援裝置10的核心作用。CPU5利用保存在程序存儲器6中的程序及參數來執行各種運算處理。另夕卜,CPU5根據需要將拍攝圖像等暫時保存到工作存儲器7中來執行運算。在這里,示出了程序存儲器6及工作存儲器7是與CPU5獨立的單獨的存儲器的例子,但也可以與CPU5集成在一個封裝體內。駕駛支援裝置10由CPU5及存儲器、其他的周邊電路構成,以作為駕駛支援ECU (electronic control unit :電子控制裝置)9。在本例中,將CPU5作為核心,但駕駛支援裝置10也可以將DSP (digital signal processor :數字信號處理器)等其他邏輯運算處理器或邏輯電路作為核心來構成。CPU5經由在圖3中用附圖標記50表示的車內網絡以能夠通信的方式與各種系統及傳感器相連接。在本實施方式中,例示了 CAN (controller areanetwork :控制器局域網)50作為車內網絡。如圖I所示,駕駛支援裝置10 (CPU5)與車內的動力轉向(power steering)系統31及制動器系統37相連接。這些各系統與駕駛支援裝置10同樣地以CPU等電路為核心而構成,與駕駛支援ECU9同樣地以與周邊電路一起構成的ECU為核心而構成。動力轉向系統31是電動轉向(EPS electric powersteering)系統或SBW(steer-by-wire :線控)系統。該系統利用促動器41來對由駕駛人員操作的轉向盤附加助推扭矩,除此之外,利用促動器41來驅動轉向盤及操舵輪,由此進行自動操舵。制動器系統37是用于抑制制動器的鎖止(抱死)的ABS (anti lock braking system :防抱死制動系統)或用于抑制轉彎時的車輛側滑的防側滑裝置(ESC electronic stability control)或具有用于增強制動力的制動助推器等的電動制動器系統或BBW (brake-by-wire :電線制動)系統。制動器系統37能夠經由促動器47來對車輛90附加制動力。在圖3中,作為各種傳感器的一個例子,轉向傳感器21、車輪速度傳感器23、換檔桿開關25、加速踏板傳感器29與CAN50相連接。轉向傳感器21是用于檢測轉向盤的操舵量(轉動角度)的傳感器,例如利用霍爾元件等來構成。駕駛支援裝置10從轉向傳感器21獲取駕駛人員的轉向盤的操舵量及自動操舵時的操舵量來執行各種控制。車輪速度傳感器23是用于檢測車輛90的車輪的轉動量及每單位時間的轉數的傳感器,例如利用霍爾元件等來構成。駕駛支援裝置10基于從車輪速度傳感器23獲取的信息來運算車輛90的移動量等,并執行各種控制。還存在車輪速度傳感器23設在制動器系統37的情況。制動器系統37根據左右車輪的轉動差等來檢測制動器的鎖止、車輪的空轉、側滑的前兆等,并執行各種控制。在車輪速度傳感器23設在制動器系統37的情況下,駕駛支援裝置10經由制動器系統37來獲取信息。制動器傳感器27是檢測制動器踏板的操作量的傳感器,駕駛支援裝置10經由制動器系統37來獲取信息。駕駛支援裝置10例如在自動操舵中踩踏了制動器踏板這樣的情況下,認為自動操舵處于不妥當的環境中,從而能夠進行中斷或中止自動操舵的控制。換檔桿開關25是用于檢測換檔桿的位置的傳感器或開關,利用位移傳感器等來構成。例如,駕駛支援裝置10能夠在擋位設在倒退擋的情況下開始執行支援控制,或者從倒退擋變更為前進擋的情況下結束支援控制。另外,用于檢測對轉向盤施加的操作扭矩的扭矩傳感器22還能夠檢測駕駛人員是否握住了轉向盤。在自動操舵中駕駛人員為了操作轉向盤而強力握住的情況等情況下,駕駛支援裝置10認為自動操舵處于不妥當的環境中,從而能夠進行中斷或中止自動操舵的控制。另外,在執行自動操舵時,一般利用基于發動機的怠速運轉(idling)的車輛90的慢行(Craping)。因此,由加速踏板傳感器29檢測到由駕駛人員操作了油門的情況下, 駕駛支援裝置10能夠認為自動操舵處于不妥當的環境中而進行中斷或中止自動操舵的控制。
圖3所示的各種系統和傳感器以及它們的連接方式只是一個例子,也可以采用其他結構及連接方式。另外,如上所述,傳感器可以直接與CAN50相連接,也可以經由各種系統與CAN50相連接。
發揮停車支援裝置的功能的駕駛支援裝置10如上述那樣以CPU5為核心來構成, 與保存在程序存儲器6中的程序(軟件)協同實施用于進行停車支援的各種運算。作為停車支援的類型,具有如下類型等
(I)簡單地在安裝在車內的監視器上顯示車輛后方的映像;
(2)還有,重疊顯示車輛寬度延長線及預想行進路線等引導線;
(3)設定停車目標并利用語音等來指示并引導操舵方向及操舵量、啟動及停止等駕駛操作;
(4)還有,駕駛人員只調整速度,利用自動操舵來引導至停車目標。
在(3)及(4)中,設定停車目標,但設定該停車目標時也有各種方法。
例如,有如下方法等
(a)基于停車支援開始時的車輛的停止位置來設定從車輛算起的規定位置作為停車目標的初始位置;
(b)在通過了停車目標位置時,利用聲納(間隙聲納33)等檢測并自動識別空區域, 并設定停車目標;
(c)通過圖像識別停車框線等目標物來設定停車目標。
這些方法是公知的,因而在這里省略詳細說明。在本實施方式中,說明通過如上述(2)例示那樣在拍攝圖像上重疊引導線來支援駕駛人員的手動操舵停車的駕駛操作的情況的例子。用于執行這些停車支援的具體的控制技術(運算拍攝圖像上的引導線的位置的技術)也是公知的,所以在這里省略詳細說明。
例如,在執行入庫停車的停車支援的情況下,在本實施方式中,在監視裝置4上以如圖4示出那樣的布局顯示圖像。即,在監視裝置4的顯示部4a分割顯示主顯示部4M和副顯不部4S。在本實施方式中,在王顯不部4M顯不由單個攝像頭I拍攝而得到的拍攝圖像Fl,在副顯示部4S上顯示俯瞰圖像F3。在圖4中,在主顯示部4M上一起顯示了由后方攝像頭Ia拍攝而得到的車輛90后方的拍攝圖像Fl以及引導線Y (預想行進路線)。
在主顯示部4M上進一步分割畫面,拍攝圖像Fl顯示在主顯示部4M的相對寬大的畫面的下部區域4L。在相對狹小的畫面的上部區域4U顯不攝像頭圖標G2,該攝像頭圖標 G2表不拍攝了在下部區域4L顯不的拍攝圖像Fl的攝像頭I。攝像頭圖標G2作為不意性示出攝像頭I在車輛90上的安裝位置和視野V的圖形圖像(插像)被顯示。在本實施方式中,將后方攝像頭Ia拍攝而得到的拍攝圖像Fl顯示在下部區域4L,將設計有車輛90 的后部和后方攝像頭Ia的不意性視野V的攝像頭圖標G2顯不在上部區域4U。另外,在攝像頭圖標G2上示出的視野V并不需要一定與實際的攝像頭I的視野一致。重視視覺辨認性及美觀的設計性來設定視野V。
顯示一個俯瞰圖像F3的副顯示部4S分割為多個分割區域。在本實施方式中,利用將副顯示部4S的各邊二等分的相互正交的兩條邊界線L來將副顯示部4S劃分為四個區域。另外,在兩條邊界線L交叉的位置(在圖4的俯瞰圖像F3上是中央部)顯示車輛90的俯視時的車輛圖像Gl。該車輛圖像Gl包含上述車輛90的車頂的外觀圖像(圖形圖像),與該外觀圖像(圖形圖像)同樣地,可以是示意性表現或真實地表現出車輛90的外觀的插像,也可以是實際拍攝車輛90的外觀(預先拍攝并存儲的)而得到的照片圖像或映像圖像。 在駕駛人員在劃分的某個區域發現如障礙物那樣的物體等而需注意的事件時,例如能夠通過觸摸該區域來將該區域放大顯示到副顯示部4S整體大小為止。另外,此時,也可以利用間隙聲納(clearance sonor) 33及圖像識別來檢測判定為障礙物那樣的物體,并在放大顯示的副顯示部4S上強調顯示。即,駕駛支援裝置10還具有周邊監視功能,副顯示部4S是發揮周邊監視裝置的功能的駕駛支援裝置10的主要的顯示部。
在圖4中,例示了顯示后方攝像頭Ia的拍攝圖像Fl的情況,但顯然也可以顯示其他攝像頭I的拍攝圖像F1。關于顯示哪個攝像頭I的拍攝圖像F1,可以采用能夠選擇設在觸摸面板4b上的未圖示的觸摸按鈕的結構,也可以采用在車輛90內另行設置選擇按鈕的結構。另外,也可以并用觸摸按鈕和選擇按鈕。另外,例如在切換后方攝像頭Ia和前方攝像頭Id等其他攝像頭I的拍攝圖像Fl時,也可以基于換檔桿開關25的檢測結果來進行自動切換。即,在換檔桿設定在倒退擋位置的情況下,自動顯示后方攝像頭Ia的拍攝圖像F1。
在本實施方式中,在換檔桿設定在倒退位置以外的情況下,在正常情況下下將導航系統的地圖等導航畫面顯示在監視裝置4上。而且,通過操作觸摸按鈕及選擇按鈕等,來顯示前方攝像頭IcU左側方攝像頭lb、右側方攝像頭Ic的拍攝圖像F1。另外,在此也可以采用還能夠選擇后方攝像頭Ia的拍攝圖像Fl的結構。另一方面,在將換檔桿設定在倒退位置時,從導航畫面或攝像頭lb、lc、Id的拍攝圖像Fl自動切換顯示后方攝像頭Ia的拍攝圖像F1。與換檔桿的位置無關地,在顯示任一個攝像頭I的拍攝圖像Fl時,在副顯示部4S 上顯示俯瞰圖像F3。僅在換檔桿設定在倒退位置且后方攝像頭Ia的拍攝圖像Fl顯示在主顯示部4M上時,將包括預想行進路線在內的引導線Y顯示在拍攝圖像Fl (主顯示部4M) 及俯瞰圖像F3 (副顯示部4S)上。下面,以換檔桿設定在倒退位置的情況為例子,對本發明的駕駛支援裝置10的實施方式進行說明。
在本實施方式中,作為一個例子,駕駛支援裝置10如圖5示出那樣具有拍攝圖像獲取部11、圖像合成部12、視點轉換部13、圖形圖像生成部14、指示輸入接受部15、停車狀態判定部16、移動速度判定部17、顯示控制部18這樣的各功能部。如上所述,駕駛支援裝置10由CPU5、存儲器及其他的周邊電路構成,以作為駕駛支援E⑶9。CPU5利用保存在程序存儲器6中的程序及參數來執行各種運算處理,由此實現駕駛支援裝置10的各功能部。 即,駕駛支援裝置10的各功能部由硬件和軟件協同實現。
拍攝圖像獲取部11是獲取由攝像頭I拍攝車輛90的周邊情景而得到的拍攝圖像的功能部。在本實施方式中,在車輛90上設有四個攝像頭1,因而拍攝圖像獲取部11獲取由四個攝像頭I拍攝而得到的四種拍攝圖像。在車輛90上僅設有一個攝像頭I的情況,例如僅具有至少拍攝包含車輛90的后方在內的車輛90的周邊情景的攝像頭I (后方攝像頭 Ia)的情況下,獲取后方攝像頭Ia的拍攝圖像。9CN 102933428 A書明說8/12 頁
圖像合成部12是進行如下處理的功能部,即,將由多個攝像頭1(在本實施方式中是四個攝像頭I)拍攝而得到且各拍攝圖像至少與其他的一種拍攝圖像之間包括共通部分 (圖2所示的附圖標記W)的多種(四種)拍攝圖像合成為一個合成圖像的功能部。視點轉換部13是進行將合成圖像視點轉換成從車輛90的上空觀察時的俯瞰圖像的功能部。在車輛 90僅設有一個攝像頭I的情況下,不存在合成圖像,或者合成圖像是與拍攝圖像相同的圖像。此時,視點轉換部13將該一個拍攝圖像視點轉換成從車輛90的上空觀察時的俯瞰圖像。另外,合成多個拍攝圖像而成的合成圖像在廣義上也是拍攝圖像,所以還能夠將視點轉換部13稱為將一個或多個拍攝圖像視點轉換成從車輛90的上空觀察時的俯瞰圖像的功能部。另外,顯然也可以由視點轉換部13對各拍攝圖像進行視點轉換來生成單獨俯瞰圖像, 并由圖像合成部12合成多個單獨俯瞰圖像來生成合成俯瞰圖像。在單獨俯瞰圖像中也包含相當于圖2所示的附圖標記W的共通部分,所以圖像合成部12能夠利用該共通部分來生成合成俯瞰圖像。
圖形圖像生成部14是在后背門91處于開放狀態時生成表示從與俯瞰圖像相同的視點觀察的后背門91的圖形圖像的功能部。該圖形圖像是作為表示后背門91的形狀(外形)的圖像而被生成的。例如,圖形圖像為后背門91的外觀圖像。外觀圖像可以是讓人覺得后背門91實際開放那樣的實際拍攝后背門91的外觀而得到的照片圖像或映像圖像,也可以是用線描等示意性表現出后背門91的外觀的插像(設計圖像)。顯然, 即使是插像,只要能夠現實地表現后背門91即可。另外,插像并不限定于外觀圖像,也可以是示出后背門91的外緣部的輪廓線或剪影(silhouette)的圖像。
S卩,圖形圖像只要是能夠良好地示出后背門91在俯瞰圖像所占的范圍的方式即可,在原則上不限制圖像的種類。在俯瞰圖像上重疊的圖形圖像上,如上述那樣示出車輛90 的車頂。作為一個方式,若是車輛90的車頂和后背門91由相同類型的圖像表現的圖形圖像,則容易理解兩者的關聯性,并且美觀也好,因而優選該方式。但是,雖現實地表現出在俯瞰圖像上存在車輛90的情況及車輛90的位置,但大多數情況下存在不會現實地表現出后背門91開放的狀態的情況。這是因為在后背門91處于開放的狀態下執行用于停車的駕駛的情況極為罕見。因此,作為另一方式,也可以是用其他類型的圖像表現出車輛90的車頂和后背門91的圖形圖像。例如,用照片圖像表現處于現實狀態的車輛90的車頂,用插像表現處于假想狀態的后背門91等。這在要求區分現實和假想的情況下有效。
并且,在圖形圖像為照片圖像、映像圖像、插像(包含外觀圖像、輪廓線、剪影等)中的任一種圖像的情況下,均可將圖形圖像生成為透明圖像或半透明圖像。即,只要圖形圖像至少半透明,則在路面上存在障礙物等的情況下,不會發生該障礙物被表示后背門 91的圖形圖像的背陰隱藏等情況。能夠在保持了視覺辨認性的狀態下確認后背門91的開放空間,因而還能夠良好地保持周邊監視功能。另外,如上所述,在用不同的表現方式顯示車輛90的車頂和后背門91的圖形圖像的情況下,也可以用相同類型的圖像表現車輛90的車頂和后背門91,而通過將其顯示方式設定為不透明和透明(包含半透明)來使表現方式不同。
在用照片圖像、映像圖像、插像(外觀圖像、剪影)等表現圖形圖像的情況下, 也可以將除了示出最外緣的輪廓線之外的部分設定為透明或半透明。另外,圖形圖像可以始終是透明或半透明,但也可以根據是否存在障礙物等物體來使顯示方式不同。例如,也可10以通常顯示不透明的圖形圖像,在利用間隙聲納33等傳感器檢測出障礙物那樣的物體的情況下,變更為透明或半透明。另外,并不限定于間隙聲納33等傳感器的檢測,也可以利用未圖示的圖像識別部或圖形圖像生成部14的圖像處理來識別出與均勻的路面不同的情況,從而將圖形圖像設定為透明或半透明。即,也可以根據圖形圖像重疊的位置上的俯瞰圖像的均勻性(對比度),來變更圖形圖像的透明度。另外,顯然,不需將透明度設定為恒定,也可以根據檢測出物體的概率及路面的均勻度、配色等來變動透明度。另外,在根據是否存在障礙物等物體來使顯示方式不同的情況下,并不限定于透明或半透明,也可以通過使圖形圖像閃爍來喚起駕駛人員的注意。
顯示控制部18是在俯瞰圖像上重疊圖形圖像并顯示在車室內的監視裝置4上的功能部。顯示控制部18如后述那樣基于指示輸入接受部15、停車狀態判定部16、移動速度判定部17等的處理結果,來判定是否滿足顯示條件,在滿足顯示條件的情況下,在俯瞰圖像上重疊圖形圖像并顯示在車室內的監視裝置4上。S卩,顯示控制部18以從車輛圖像Gl 打開了后背門91那樣的方式重疊圖形圖像G3,其中,上述車輛圖像Gl表示從與俯瞰圖像相同的視點觀察的車輛90的外觀圖像(圖形圖像)。由此,能夠使駕駛人員容易地想象出打開后背門91的狀態。
指示輸入接受部15是執行如下功能的功能部,即,在駕駛人員等車輛90的搭乘人員對用于指示將圖形圖像重疊在俯瞰圖像上的指示輸入部進行了操作時,接受該指示的輸入。顯示控制部18基于指示輸入接受部15所接受到的指示輸入,來判定是否滿足顯示條件,并在滿足顯示條件的情況下將圖形圖像重疊在俯瞰圖像上。
停車狀態判定部16是判定表示車輛90停止時的經過狀態的停車狀態的功能部。 例如,停車狀態判定部16基于從轉向傳感器21獲取的操舵角度或從車輪速度傳感器23獲取的速度等,來利用公知的測程技術等來運算停車時的車輛90的軌跡等停車經過,在車輛 90處于直線后退狀態的情況下判定為停車的最后階段。顯示控制部18能夠基于停車狀態判定部16的停車狀態的判定結果來判定是否滿足顯示條件,并且在滿足顯示條件的情況下將圖形圖像重疊在俯瞰圖像上。
另外,如本實施方式那樣,在車輛90具有側部攝像頭lb、Ic并且將車輛90停止到描畫了分界線K的停車區段的情況下,能夠利用兩個側部攝像頭lb、lc來拍攝分界線K。 并且,停車狀態判定部16基于兩個側部攝像頭lb、lc的拍攝圖像來對分界線K進行圖像識別,由此能夠運算車輛90相對于停車區段的平行度。例如,與停車初期的圖4相比,在停車的最后階段的圖6中,分界線K與車輛90之間的角度變小,大致成為了平行狀態。S卩,在如存在分界線K那樣的停車區段停車時,能夠求出分界線K和車輛90之間的平行度,并基于該平行度來判定停車狀態。并且,停車狀態判定部16在車輛90相對于停車區段而在規定范圍內處于平行的情況下,能夠判定為處于停車的最后階段。更加具體地,在分界線K和車輛90之間的平行度比規定閾值高時(由分界線K和車輛90形成的角度成為小于規定的閾值時),能夠判定為停車狀態處于停車最后階段。能夠利用后方攝像頭Ia的拍攝圖像進行圖像處理來運算分界線K和車輛90之間的角度,但越接近停車最后階段,在拍攝圖像上分界線K的長度就變得越短,從而存在運算精度下降的可能性。如上述實施方式那樣,在具有側部攝像頭lb、lc的情況下,能夠通過利用這些側部攝像頭的拍攝圖像來進行高精度的運笪ο
移動速度判定部17基于車輪速度傳感器23的檢測結果,來判定車輛90的移動速度是否在規定的上限速度以內。在完成停車時,車輛90的移動速度下降,所以在移動速度比上限速度快的情況下處于停車駕駛的最后階段的可能性低,從而優選盡量優先周邊監視功能。與此相反地,因為確認能夠開放后背門91的空間的必要性低,所以移動速度比上限速度快的情況下,將圖形圖像重疊在俯瞰圖像的必要性也低。例如,顯示控制部18能夠基于移動速度判定部17的判定結果來在車輛90的移動速度在規定的上限速度以下的情況下判定為滿足顯示條件,從而將圖形圖像重疊在俯瞰圖像上。
下面,利用圖6及圖7,說明在俯瞰圖像F3上重疊圖形圖像G3的具體例進行說明。 圖6是從圖4所示的狀態開始車輛90繼續后退而已接近停車的最后階段的狀態下的監視裝置4的顯示例。在此,駕駛人員為了在能夠開放后背門91的狀態下完成停車,確認后背門91的開放空間。具體而言,駕駛人員在觸摸面板4b上觸摸配置在副顯示部4S的下方的觸摸按鈕4B (“檢查后背門空間”)。將駕駛人員對觸摸按鈕4B (指示輸入部)的操作傳遞至指示輸入接受部15。指示輸入接受部15將對觸摸按鈕4B進行的操作作為指示將圖形圖像G3重疊在俯瞰圖像F3上的操作,請求顯示控制部18重疊圖形圖像。顯示控制部18根據該請求來判定為滿足顯示條件。然后,顯示控制部18基于該判定結果,來如圖7那樣在俯瞰圖像F3上重疊圖形圖像G3。由此,駕駛人員能夠良好地確認后背門91的開放空間,從而能夠在能夠開放后背門91的狀態下完成停車。
本發明并不限定于在上述實施方式的說明中例示那樣的結構,而能夠在不脫離本發明的宗旨的范圍內進行各種變形。下面,提示幾個那樣的變形例。
[I]
在上述實施方式中,通過合成四個攝像頭I的拍攝圖像來生成包含車輛90的全部周圍的俯瞰圖像,并在該俯瞰圖像上重疊用于表示后背門91的圖形圖像G3。但是,能夠開放后背門91的空間存在于車輛90的后方,因而也可以僅利用后方攝像頭Ia的圖像來生成俯瞰圖像。S卩,也可以將由車載攝像頭拍攝至少包括車輛90的后方在內的車輛90的周邊情景而得到的拍攝圖像視點轉換為從車輛90的上空觀察時的俯瞰圖像,并在該俯瞰圖像上重疊圖形圖像G3。另外,顯然也可以利用后方攝像頭la、左側方攝像頭lb、右側方攝像頭Ic的拍攝圖像來生成包含車輛90的后部周圍的俯瞰圖像,并在該俯瞰圖像上重疊圖形圖像G3。
[2]
就圖形圖像G3而言,也可以與照片圖像、插像、透明、半透明等圖像的類型及顯示方式等的不同無關地,生成為比開放狀態的后背門91在俯瞰圖像上的實際大小更大的范圍的圖像。顯然,不僅是后背門91,針對車輛90,也可以生成為比俯瞰圖像上的實際大小大的范圍的圖像。通過將圖形圖像G3及車輛圖像Gl顯示為大于實際大小,駕駛人員能夠從容地駕駛。即使在駕駛人員以要留下最低限的空間的方式停車的情況下,也會形成一些富余空間。因此,也能夠抑制后背門91開放時與其他物體接觸等的可能性。在生成包括后背門91而將車輛90也稍微放大的圖形圖像的情況下,優選將包括開放狀態的后背門91 的外緣在內的車輛90的外緣大概增大IOcm左右的尺度來均等地進行放大。
[3]
在利用圖6及圖7來說明的上述實施方式中,例示了駕駛人員通過操作觸摸按鈕4B來重疊圖形圖像G3的情況。即,在滿足規定的顯示條件時,顯示控制部18在俯瞰圖像上重疊圖形圖像G3,但作為該顯示條件,說明了顯示控制部18經由指示輸入接受部15檢測到駕駛人員對觸摸按鈕4B的操作的情況的例子。但是,并不限定于該方式,還能夠利用上述停車狀態判定部16或移動速度判定部17的判定結果來設定各種“顯示條件”。
例如,如上所述,顯示控制部18也可以根據由停車狀態判定部16判定的停車狀態來判定是否滿足顯示條件。停車狀態是指車輛90停止時的經過狀態。因為需要在停車最后階段確認能否開放后背門91,所以顯示控制部18能夠在停車狀態處于停車最后階段時判定為滿足顯示條件。另外,顯示控制部18也可以根據由移動速度判定部17判定出的車輛 90的移動速度來判定是否滿足顯示條件。在停車最后階段,車輛90的移動速度下降,所以能夠在車輛90速度變成規定的設定速度以下時,判定為滿足顯示條件。另外,停車狀態判定部16也可以基于由移動速度判定部17判定出的車輛90的移動速度,來判定停車狀態。 即,也可以在由移動速度判定部17判定出車輛90處于規定的設定速度以下時,停車狀態判定部16判定為停車狀態處于停車最后階段。
顯示控制部18可以與駕駛人員等搭乘人員的指示輸入的有無無關地,基于停車狀態判定部16及移動速度判定部17的判定結果,來在停車狀態處于停車最后階段時或車輛90處于規定的設定速度以下時,判定為滿足顯示條件而自動重疊圖形圖像G3。或者,顯示控制部18也可以在停車狀態處于停車最后階段時或車輛90處于規定的設定速度以下時,判定為滿足第一顯示條件并顯示觸摸按鈕4B,并根據其后的搭乘人員對觸摸按鈕4B進行的操作來判定為滿足第二顯示條件,從而顯示圖形圖像G3。例如,也可以在圖4中由于處于停車初始而不顯示觸摸按鈕4B,并在如圖6那樣在停車最后階段顯示觸摸按鈕4B。
[4]
在上述內容中,說明了滿足顯示條件時的具體例,但即使在滿足這些各種顯示條件的情況下,也可以設定用于禁止重疊顯示的條件(顯示禁止條件)。顯示控制部18僅在不滿足顯示禁止條件的情況下,根據其他條件的成立來判定為滿足顯示條件。例如,如上所述,顯示控制部18能夠基于移動速度判定部17的判定結果來在車輛90的移動速度在規定的上限速度(例如6km/h左右)以下的情況下,判定為滿足顯示條件。換言之,在車輛90的移動速度超過規定的上限速度時,能夠“滿足顯示禁止條件”。在顯示禁止條件成立的情況下,即使觸摸觸摸面板4b或車輛90與分界線K平行,而判定為處于停車最后階段,顯示控制部18也不判定為滿足顯示條件。駕駛人員比參照圖形圖像G3更進行基于實際拍攝圖像或直接目視的確認。因此,在車輛90的移動速度超過規定的上限速度時,顯示控制部18不判定為滿足顯示條件,而優選僅在移動速度在規定的上限速度以下的情況下,判定為滿足顯示條件。
[5]
由駕駛人員或其他搭乘人員指示圖形圖像G3的顯示的指示輸入部,并不限定于觸摸按鈕4B。也可以是設在車室內的機械式開關或語音識別裝置。
[6]
在上述內容中,示出了在進行伴隨后退的停車時將表示后背門91的圖形圖像G3 重疊在俯瞰圖像上的例子。但是,與顯示在主顯示部4M上的拍攝圖像不同地,顯示在副顯示部4S上的俯瞰圖像在前進時也顯示車輛90的全方位的情景,因而在前進時也可以通過對觸摸按鈕4B的指示等來將圖形圖像G3重疊在俯瞰圖像上。
[7]
在上述內容中,說明了俯瞰圖像F3是從車輛90的上空觀察拍攝圖像時的圖像。例如,作為這樣的俯瞰圖像F3,優選是從車輛90的上空朝向鉛垂方向俯視該車輛90時的圖像。此時,一眼就能夠視覺辨認后背門91開得最大的狀態。由此,駕駛人員能夠更加良好地一起確認用于開放后背門91的空間和車輛90的周邊圖像。
以上,如進行說明的那樣,根據本發明,駕駛人員能夠良好地一起確認用于開放后背門的空間以及車輛周邊的圖像。
產業上的可利用性
本發明能夠利用與在后部具有翻起式后背門的車輛的駕駛支援裝置。
附圖標記的說明
I 攝像頭(車載攝像頭)
Ia:后方攝像頭(車載攝像頭)
Ib:左側方攝像頭(車載攝像頭)
Ic:右側方攝像頭(車載攝像頭)
Id:前方攝像頭(車載攝像頭)
4 :監視裝置
4B:觸摸按鈕(指示輸入部)
10:駕駛支援裝置
11:拍攝圖像獲取部
13:視點轉換部
16:停車狀態判定部
18:顯示控制部
90:車輛
91:后背門
Fl:拍攝圖像
F3:俯瞰圖像
G3:圖形圖像
權利要求
1.一種駕駛支援裝置,用于支援在后部具有翻起式后背門的車輛的駕駛,該駕駛支援裝置的特征在于,具有 拍攝圖像獲取部,其獲取由車載攝像頭拍攝至少包括所述車輛的后方在內的所述車輛的周邊情景而得到的拍攝圖像; 視點轉換部,其用于將所述拍攝圖像視點轉換為從所述車輛的上空觀察時的俯瞰圖像; 圖形圖像生成部,其生成從與所述俯瞰圖像相同的視點觀察處于開放狀態的所述后背門而表示所述后背門的形狀的圖形圖像; 顯示控制部,其在所述俯瞰圖像上重疊所述圖形圖像并顯示在車室內的監視裝置上。
2.如權利要求I所述的駕駛支援裝置,其特征在于,所述圖形圖像為所述后背門的外觀圖像。
3.如權利要求I所述的駕駛支援裝置,其特征在于,所述圖形圖像為所述后背門的輪廓線。
4.如權利要求I至3中任一項所述的駕駛支援裝置,其特征在于,所述圖形圖像半透明。
5.如權利要求I至4中任一項所述的駕駛支援裝置,其特征在于,所述圖形圖像生成為比開放狀態的所述后背門在所述俯瞰圖像上的大小更大的范圍的圖像。
6.如權利要求I至5中任一項所述的駕駛支援裝置,其特征在于,在滿足規定的顯示條件時,所述顯示控制部在所述俯瞰圖像上重疊所述圖形圖像。
7.如權利要求6所述的駕駛支援裝置,其特征在于,在由所述車輛的搭乘人員進行了對指示輸入部進行了操作時,所述顯示控制部判斷為滿足所述顯示條件,其中,所述指示輸入部用于指示將所述圖形圖像重疊在所述俯瞰圖像上。
8.如權利要求6所述的駕駛支援裝置,其特征在于, 具有停車狀態判定部,該停車狀態判定部用于判定表示所述車輛停止時的經過狀態的停車狀態; 所述顯示控制部根據所述停車狀態來判定是否滿足所述顯示條件。
9.如權利要求6至8中任一項所述的駕駛支援裝置,其特征在于,在所述車輛的移動速度在規定的上限速度以下的情況下,所述顯示控制部判斷為滿足所述顯示條件。
10.如權利要求I至9中任一項所述的駕駛支援裝置,其特征在于,所述顯示控制部以從車輛圖像打開了所述后背門的方式重疊所述圖形圖像,其中,所述車輛圖像是指表示從與所述俯瞰圖像相同的視點觀察的所述車輛的車輛圖像。
11.如權利要求I至9中任一項所述的駕駛支援裝置,其特征在于,所述俯瞰圖像為從所述車輛的上空朝向鉛垂方向俯視時的圖像。
全文摘要
能夠良好地使駕駛人員一起確認用于開放后背門的空間以及車輛周邊的圖像的駕駛支援裝置,將由車載攝像頭拍攝至少包括車輛的后方在內的車輛的周邊的情景而得到的拍攝圖像視點轉換為從車輛的上空觀察時的俯瞰圖像,并將以從與俯瞰圖像相同的視點觀察處于開放狀態的翻起式后背門時的圖形圖像重疊在俯瞰圖像上并顯示在車室內的監視裝置上。
文檔編號B60R21/00GK102933428SQ20118002690
公開日2013年2月13日 申請日期2011年5月23日 優先權日2010年6月15日
發明者若林春樹, 三浦健次, 山本欣司, 長嶺升 申請人:愛信精機株式會社