圖像處理裝置、圖像處理服務器、圖像處理方法、圖像處理程序以及記錄介質的制作方法

圖像處理裝置、圖像處理服務器、圖像處理方法、圖像處理程序以及記錄介質的制作方法
【專利摘要】提供一種能夠適當地支援對于從車輛拍攝到的圖像中的預定的注意對象物的注意的注意支援圖像的重疊顯示技術。以將在前方圖像中通過圖像識別而檢測到的注意對象物(F)的顯示區域的中心位置(P3)和移動顯示基準點(P2)進行連接的線段，生成注意支援圖像并顯示。該線段圖像結果形成為以移動顯示基準點(P2)為中心的大致輻射狀的圖形。由于在前方圖像中顯示的任何顯示物都隨著車輛(V)的移動而以移動顯示基準點(P2)為中心呈輻射狀移動顯示，所以線段圖像表示注意對象物(F)的移動軌跡。由此，在通過圖像識別而檢測到的注意對象物(F)的中心位置(P3)在前方圖像的最新圖像幀中稍微偏離的情況下，也因注意對象物(F)位于注意支援圖像的線段的延長上，而在視覺上容易進行該偏離的插補，用戶能夠自然且直觀地把握注意對象物(F)。
【專利說明】圖像處理裝置、圖像處理服務器、圖像處理方法、圖像處理程序以及記錄介質

【技術領域】
[0001]本發明涉及對移動體的前方圖像中的預定顯示物重疊指示其位置的圖像的圖像處理裝置、圖像處理服務器、圖像處理方法、圖像處理程序以及記錄介質。

【背景技術】
[0002]近年來，提出了如下技術:通過搭載于移動體上的相機來拍攝周圍的圖像，使指示在該圖像中顯示的多個顯示物中應尤其促使用戶注意的對象物的圖形等重疊顯示在該圖像上，進行其注意的支援。
[0003]例如，在專利文獻I中記載的技術中，在圖像數據中通過圖像識別等而檢測到預定的特征部位時，將包圍該特征部位的框形狀的記號重疊顯示在圖像上。
[0004]現有技術文獻
[0005]專利文獻
[0006]專利文獻1: JP特開2004-320286號公報


【發明內容】

[0007]發明要解決的課題
[0008]但是，在通過搭載于正在行駛中的移動體上的相機以動畫形式拍攝了周圍的圖像的情況下，通過該移動體的移動，圖像中的顯示物如流動那樣移動。在對這樣的動畫形式的圖像通過上述現有技術而在作為圖像中的特征部位的顯示物上重疊顯示了框狀記號的情況下，由于對該顯示物進行圖像識別的處理、應重疊顯示的框記號的位置或大小的計算以及描繪的處理要花費時間，所以會導致框記號偏離對象的顯示物地重疊顯示，導致用戶難以識別圖像中的注意對象物。因此，期望能夠適當地支援用戶對于從移動體拍攝到的圖像中的預定的注意對象物的識別的支援圖像的重疊顯示技術。
[0009]在本發明要解決的課題中，作為一例而舉出上述問題。
[0010]用于解決課題的手段
[0011]為了解決上述課題，技術方案I所述的發明是一種圖像處理裝置，包括:生成單元，以從行駛的移動體拍攝到的前方圖像的消失點或者該消失點附近的點為基準點，生成表示所述基準點與所述前方圖像中的預定的特征物的相對的位置關系的顯示目標；以及輸出單元，輸出包括由所述生成單元生成的所述顯示目標的前方圖像。
[0012]為了解決上述課題，技術方案10所述的發明是一種圖像處理裝置，包括:攝像單元，搭載于行駛的移動體上，獲取所述移動體的前方圖像；生成單元，以所述前方圖像中的消失點或者該消失點附近的點為基準點，生成表示所述基準點與預定的特征物的相對的位置關系的顯示目標；輸出單元，輸出由所述生成單元生成的所述顯示目標；以及平視顯示器，在駕駛者駕駛時的視野內放映出所述輸出單元輸出的所述顯示目標。
[0013]為了解決上述課題，技術方案12所述的發明是一種圖像處理服務器，包括:接收單元，從外部的圖像處理裝置接收從行駛的移動體拍攝到的前方圖像；生成單元，以所述前方圖像中的消失點或者該消失點附近的點為基準點，生成表示所述基準點與預定的特征物的相對的位置關系的顯示目標；以及發送單元，將由所述生成單元生成的所述顯示目標發送到所述外部的圖像處理裝置。
[0014]為了解決上述課題，技術方案13所述的發明是一種圖像處理裝置，包括:攝像單元，搭載于行駛的移動體上，拍攝前方圖像；通信單元，與技術方案12所述的圖像處理服務器進行所述前方圖像的收發；以及顯示單元，對包括所述通信單元從所述圖像處理服務器接收到的所述顯示目標的前方圖像進行顯示。
[0015]為了解決上述課題，技術方案14所述的發明是一種圖像處理裝置執行的圖像處理方法，執行如下步驟:生成步驟，以從行駛的移動體拍攝到的前方圖像的消失點或者該消失點附近的點為基準點，生成表示所述基準點與所述前方圖像中的預定的特征物的相對的位置關系的顯示目標；以及輸出步驟，輸出包括由所述生成單元生成的所述顯示目標的前方圖像。
[0016]為了解決上述課題，技術方案15所述的發明是一種圖像處理程序，使圖像處理裝置執行技術方案14所述的圖像處理方法。
[0017]為了解決上述課題，技術方案16所述的發明是一種記錄介質，以能夠由所述圖像處理裝置讀取的方式存儲有技術方案15所述的圖像處理程序。

【專利附圖】

【附圖說明】
[0018]圖1是表示搭載了包括本發明的圖像處理裝置的實施方式的駕駛支援裝置的車輛的結構例的立體圖。
[0019]圖2是表示駕駛支援裝置的硬件結構例的框圖。
[0020]圖3是表示從駕駛室看的車窗風景以及對應于此的顯示器的顯示的一例的圖。
[0021]圖4是表示將圖3所示的姿勢狀態的前置相機拍攝到的前方圖像顯示在顯示器上的情況下的顯示例的圖。
[0022]圖5是表示在生成、顯示了作為比較現有例的注意支援圖像的框形狀記號的情況下的顯示例的圖。
[0023]圖6是表示在生成、顯示了實施方式的注意支援圖像的情況下的顯示例的圖。
[0024]圖7表示將圖3所示的姿勢狀態的前置相機I拍攝到的前方圖像顯示在顯示器3上的情況下的顯示例。
[0025]圖8是表示將拍到車線輪廓線、車線消失點以及平均消失點的前方圖像顯示在顯示器上的情況下的顯示例的圖。
[0026]圖9是表示成像單元的CPU執行的控制內容的流程圖。
[0027]圖10是表示以半直線圖像生成、顯示了注意支援圖像的情況下的顯示例的圖。
[0028]圖11是表示在半直線圖像的注意支援圖像中在中心位置的前后改變了顯示方式的情況下的顯示例的圖。
[0029]圖12是表示以比注意對象物的顯示區域稍微長的線段圖像重復地生成、顯示了注意支援圖像的情況下的顯示例的圖。
[0030]圖13是表示在由包絡注意對象物的顯示區域的兩條線段圖像生成、顯示了注意支援圖像的情況下的顯示例的圖。
[0031]圖14是表示在將作為注意支援圖像的兩條線段圖像之間的區域在中心位置的前后改變了顯示方式的情況下的顯示例的圖。
[0032]圖15是表示在以從移動顯示基準點至注意對象物為止沿著輻射方向移動的移動目標生成、顯示了注意支援圖像的情況下的顯示例的圖。
[0033]圖16是表示在以使框形狀記號呈輻射狀地扁平的橢圓形生成、顯示了注意支援圖像的情況下的顯示例的圖。
[0034]圖17是表示以將在過去和最新的圖像幀中分別檢測到的兩個中心位置進行連接的線段圖像生成、顯示了注意支援圖像的情況下的顯示例的圖。
[0035]圖18是表示將大致輻射狀的圖形和框形狀記號進行組合而生成、顯示了注意支援圖像的情況下的顯示例的圖。
[0036]圖19是表示搭載了服務器型的駕駛支援裝置的車輛和網絡的結構例的立體圖的一例。
[0037]圖20是表示搭載了利用了電子便攜終端的方式的圖像處理裝置的車輛的結構例的立體圖的一例。
[0038]圖21是表示在具有平視顯示器投影機和組合器的情況下的駕駛支援裝置的系統結構的一例的框圖。
[0039]圖22是表示從車輛的車內看的車窗風景以及對應于此的平視顯示器的顯示的一例的圖。
[0040]圖23是從側方看平視顯示器對于組合器的投影顯示的方式的示意圖。
[0041]圖24是表示在各方式中的各構成設備之間的硬件構成元素的分擔的組合例的圖。
[0042]圖25是表示在各方式中的各構成設備之間的軟件處理內容的分擔的組合例的圖。

【具體實施方式】
[0043]以下，參照【專利附圖】

【附圖說明】本發明的實施方式中的一個實施方式。
[0044]圖1是表示搭載了包括本發明的圖像處理裝置的實施方式的駕駛支援裝置的車輛的結構例的立體圖。在該圖1中，駕駛支援裝置S在室內鏡101的前方側位置設置單獨的前置相機1，上述室內鏡101設置于作為移動體的車輛V的車內頂棚。前置相機I的拍攝方向Dc被安裝成能夠拍攝該車輛V的前進方向的前方的姿勢。另外，在該例中，前置相機I通過經由例如萬向接頭的安裝裝置而安裝到車輛V，其拍攝方向Dc在偏航方向(水平方向)和俯仰方向(垂直方向)的各個方向的預定范圍中通過手動而可動。該前置相機I在其姿勢的可動范圍內，使貫通該車輛V的中央前后方向的車輛軸的方向Dv不會脫離拍攝范圍。
[0045]圖2是表示駕駛支援裝置S的硬件結構例的框圖。在該圖2中，駕駛支援裝置S具有前置相機1、成像單元2、顯示器3、GPS13、車速傳感器14。
[0046]前置相機I相當于攝像單元，具有例如利用CXD攝像元件等而拍攝上述的該車輛的前進方向的前方圖像并將對應的信號輸出到成像單元2的CPU(后述)的功能。另外，在本實施方式的例中，通過該前置相機I以充分短的時間周期按時間序列持續拍攝多個圖像幀，從而以動畫的形式拍攝前方圖像。
[0047]顯示器3相當于顯示單元，例如由IXD面板等構成，具有基于從成像單元2的圖形控制器(后述)輸入的圖像信號顯示在由上述前置相機I拍攝到的前方圖像上重疊了后述的注意支援圖像而成的合成圖像的功能。
[0048]GPS13具有如下功能:進行車輛V的當前地的測位并獲取當前位置信息，且基于預先存儲的地圖信息而進行預定的注意對象物(后面詳細敘述)的位置檢測。
[0049]車速傳感器14具有檢測該車輛V的行駛速度的功能。成像單元2具有的后述的CPU能夠基于該車速傳感器14的檢測信號，識別該車輛V是否為停止中的狀態、或者在以什么樣的行駛速度行駛。
[0050]成像單元2相當于圖像處理裝置，具有CPU11、存儲裝置12、圖形控制器15。
[0051]CPUll具有以下功能:根據預定的程序的動作而進行各種運算，且在與其他的各部之間進行信息的交換或輸出各種控制指示，從而控制駕駛支援裝置S整體。
[0052]存儲裝置12具有R0M12a、RAMl2b以及存儲介質12c。ROMl2a是預先寫入了各種處理程序、其他需要的信息的信息存儲介質。RAM12b是在執行上述各種程序時進行需要的信息的寫入以及讀出的信息存儲介質。存儲介質12c是例如閃速存儲器、硬盤等非易失性的信息存儲介質。
[0053]圖形控制器15具有以下功能:通過CPUll的控制而從視頻RAM(未圖示)以及上述GPS13等獲取圖像數據，并使上述顯示器3顯示基于該圖像數據的圖像信號的功能。另夕卜，如上所述，本實施方式的例中的該圖形控制器15將基于在由上述前置相機I拍攝到的前方圖像上重疊了后述的注意支援圖像而成的合成圖像數據的圖像信號輸出到顯示器3。此外，在本實施方式的例中，該圖形控制器15與上述前置相機I以動畫形式拍攝前方圖像時的時間周期無關地在任意的時機使圖像信號顯示到顯示器3。
[0054]圖3是表示從駕駛室看的車窗風景以及對應于此的顯示器3的顯示的一例的圖。在圖示的例中，表示該車輛V行駛大致直線的行駛車線并跟隨位于其行駛方向前方的前方車輛Vf的狀態。在室內鏡101的背側(前進方向側)設置的前置相機I拍攝包括上述直線的行駛車線和前方車輛Vf的前方圖像。此時，如上所述，前置相機I的拍攝范圍包括該車輛V的車輛軸方向Dv而使其不會脫離。并且，顯示器3顯示前置相機I拍攝到的前方圖像。
[0055]這里，如上所述，由于前置相機I的安裝姿勢為可動，所以如圖示的例那樣，有時其拍攝方向Dc成為不與車輛軸方向Dv平行的姿勢關系。在用戶將前置相機I安裝到任意的位置的情況下或通過手動作業而安裝的情況下等也可能產生這樣的偏離。因此，在本實施方式中，考慮這樣的前置相機I的拍攝方向Dc與車輛軸方向Dv之間的偏離的同時，進行能夠適當地支援在動畫形式的前方圖像中移動顯示的預定的注意對象物的識別的注意支援圖像的生成和顯示。以下，依次說明這樣的注意支援圖像的生成方法以及顯示例。
[0056]首先，圖4表示將上述圖3所示的姿勢狀態的前置相機I拍攝到的前方圖像顯示在顯示器3上的情況下的顯示例。另外，在圖示的例中，在顯示器3的顯示區域中設定的顯示坐標X-Y的整體中顯示前方圖像，即顯示坐標X-Y與前方圖像的圖像坐標一致。在該圖4中，在前方圖像中，除了上述前方車輛Vf以外，作為顯示物還顯示有郵筒51、兩個道路標志52、53、兩個信號燈54、55、看板56以及行人57。
[0057]此外，如上所述，前置相機I由于在其姿勢的可動范圍內該車輛V的車輛軸方向Dv不會脫離攝像范圍，所以在前方圖像的顯示坐標X-Y中必定存在移動顯示基準點P2。該移動顯示基準點P2是指，在前方圖像中相當于該車輛V在該時刻的前進方向的無限遠方移動位置(在該時刻顯示的前方圖像中的顯示坐標X-Y中，該車輛V按原來的前進方向移動時到達的預定位置)的點，該點始終位于該時刻的大致地平線(大致水平線:在圖4中未特別圖示)與車輛軸方向Dv的大致延長線的交點上，將其稱為消失點。另外，該移動顯示基準點P2相當于各權利要求中記載的基準點。
[0058]并且，隨著該車輛V朝向車輛軸方向Dv移動，上述的前方圖像中的全部顯示物以上述移動顯示基準點P2為中心呈輻射狀移動。即，前方圖像中的全部顯示物在從該車輛V向遠方遠去時，都位于移動顯示基準點P2的附近。并且，隨著該車輛V朝向移動顯示基準點P2移動,在動畫形式的前方圖像中,各顯示物被顯示為沿著以移動顯示基準點P2為中心呈大致輻射狀配置的半直線上(參照圖中的虛線箭頭)移動。
[0059]以下，考慮將上述的郵筒51設定為注意對象物F的情況。注意對象物F是指，應促使作為該車輛V的駕駛者或同乘者的用戶注意在從前方圖像中顯示的多個顯示物中尤其不能看漏的顯示物。這里，作為一例，將郵筒51設為注意對象物F，但并不限定于此。在其他的例中，也可以是道路標志、信號燈、看板等地上物或行人等相比于車輛的速度以充分低的速度移動的物體。另外，注意對象物F相當于在各權利要求中記載的預定的特征物。特征物具有能夠通過圖像識別而檢測的特征部位。成像單元2通過對該特征部位進行圖像識別而從前方圖像中檢測注意對象物F。作為該注意對象物F的設定方法，可以預先設定郵筒或道路標志等預定的種類的特征物，也可以基于GPS13存儲的地圖信息而預先指定在之后要通過的預定的道路附近設置的特征物來設定，或者，也可以是用戶將前方圖像中的特征物通過在顯示器3中設置的觸摸面板(未特別圖示)上的直接接觸或通過光標等指標而直接指定，從而將與所指定的特征物同種的特征物設定為注意對象物F。
[0060]考慮以下情況:為了促使在前方圖像中注意這樣被設定為注意對象物F的郵筒51，生成圖5所示的框形狀的記號61作為注意支援圖像，并以包圍該郵筒51的顯示區域的方式重疊顯示。但是，此時，成像單元2的CPUll必須進行以下處理:在前方圖像的顯示坐標X-Y中通過圖像識別而檢測郵筒51的顯示區域和其存在位置，且配合該顯示區域的大小而計算框形狀記號61的大小并進行描繪。這些處理的計算量都多，尤其圖像識別中花費的處理時間長。因此，在以動畫形式顯示前方圖像的情況下，會趕不上其幀周期，而如圖5所示那樣即使重疊顯示了框形狀的記號61，對應的郵筒51也從框形狀大幅脫離，難以引起用戶的注意。
[0061]因此，在本實施方式中，將注意支援圖像生成、顯示為以幾何學方式表示上述移動顯示基準點P2與注意對象物F的存在位置的相對的位置關系。具體而言，在本實施方式的例中，如圖6所示，將在前方圖像中通過圖像識別而檢測到的郵筒51的顯示區域的中心位置P3設為存在位置，以連接上述移動顯示基準點P2和該中心位置P3的線段Gl來生成、顯示注意支援圖像。并且，這樣生成、顯示的注意支援圖像的線段Gl結果形成為以移動顯示基準點P2為中心的大致輻射狀的圖形。另外，該注意支援圖像相當于在各權利要求中記載的顯示目標。
[0062]如上所述，在動畫形式的前方圖像中顯示的任何顯示物都隨著該車輛V的移動而以移動顯示基準點P2為中心呈輻射狀移動顯示。即，作為上述的注意支援圖像而生成、顯示的線段圖像Gl表示作為注意對象物F的郵筒51在前方圖像中的移動軌跡。因此，在通過圖像識別而檢測到的郵筒51的中心位置P3稍微偏離了前方圖像的最新圖像幀中的中心位置的情況下，由于郵筒51位于注意支援圖像的線段Gl的延長線上，所以在視覺上容易進行該偏離的插補，用戶能夠自然且直觀地識別郵筒51。這在將相比于車輛V的移動速度充分慢的行人等設為注意對象物F時，也能夠獲得相同的效果。
[0063]這里，前方圖像的顯示坐標X-Y中的上述移動顯示基準點P2的位置在大多數情況下偏離顯示坐標X-Y的中央位置，且根據該時刻的前置相機I的拍攝方向Dc朝向哪個方向而不同。在本實施方式中，通過以下說明的平均消失點的計算，獲取在顯示坐標X-Y中的移動顯示基準點P2的位置。
[0064]首先，圖7表示將上述圖3所示的姿勢狀態的前置相機I拍攝到的前方圖像顯示在顯示器3上的情況下的顯示例。另外，為了避免圖示的繁雜，只將前方車輛Vf顯示為顯示物。在該圖7中，在如上所述的前置相機I的拍攝方向Dc與車輛軸方向Dv之間存在偏離的情況下，顯示器3的顯示坐標X-Y的中央位置、即圖中的縱方向、橫方向各自的中心線Lv,LI的交點位置偏離車輛軸方向Dv。此時，前方圖像破壞相對于中心線LI的左右方向的對稱性，例如即使車輛V實際在直線狀的行駛車線上行駛，夾著該行駛車線在左側和右側分別顯示的顯示物之間在前方圖像中的移動的方向和速度關于行駛車線也會成為非對稱。
[0065]相對于此，如圖示的例那樣，在直線狀的行駛車線上行駛時拍攝到的前方圖像中，相當于行駛車線的無限遠方點的車線消失點Pi始終位于該時刻的大致地平線(大致水平線)與車輛軸方向Dv的大致延長線的交點上。即，這樣在直線狀的行駛車線上行駛時的車線消失點Pl的位置與上述移動顯示基準點P2的位置一致。
[0066]作為檢測上述車線消失點Pl的方法，首先，如圖示那樣，通過前方圖像的圖像分析而檢測在實際的行駛車線的兩側涂抹的白線、路面與路緣石的邊界線、或柏油道路的邊緣部等，識別為形成該行駛車線的輪廓的兩條車線輪廓線Lr。并且，這兩條車線輪廓線Lr的車輛前進方向的延長線上的交點被檢測為前方圖像上的上述車線消失點P1。
[0067]這里，例如圖8所示，在行駛車線為曲線狀的情況下，上述兩條車線輪廓線Lr也配合前方圖像上的該曲線的方向和曲率而被識別。另外，雖然未特別圖示，但在該曲線的曲率在中途變化的情況下，優先該車輛V的跟前側的曲率而識別兩條車線輪廓線Lr。并且，以基于跟前側的曲率的近似式來計算曲線的延長線，它們的交點位置被檢測為車線消失點P1。
[0068]在該車輛V長時間行駛多樣的形狀的行駛車線、多次檢測并記錄了上述車線消失點Pl的情況下，位于這些車線消失點Pl的平均位置的平均消失點P2統計上在地平線上與車輛軸方向Dv的延長線接近。即，顯示坐標X-Y上的平均消失點P2的位置被視為與該時刻的前置相機I的拍攝方向Dc對應的上述移動顯示基準點P2的固定位置。這樣在本實施方式中，作為生成適當的注意支援圖像之前的準備作業，車輛V在多樣的形狀的行駛車線上行駛而檢測充分多的車線消失點P1，基于這些車線消失點Pl而計算具有可靠性的平均消失點P2。然后，獲取該計算出的平均消失點P2作為與該時刻的前置相機I的拍攝方向Dc對應的顯示坐標X-Y上的移動顯示基準點P2。
[0069]圖9是表示為了實現以上說明的動作方式，成像單元2的CPUll執行的控制內容的流程圖。另外，在前置相機I以動畫的方式拍攝前方圖像的期間，例如以適當的時間間隔調用而執行該流程。
[0070]在圖9中，首先，在步驟S5中，基于車速傳感器14的檢測信號，判定該車輛V是否以預定速度以上行駛。在該車輛V以預定速度以上行駛的情況下，滿足判定，轉移到步驟S10。
[0071]在步驟SlO中，獲取在該時刻前置相機I拍攝到的前方圖像(靜止圖像幀)。
[0072]轉移到步驟S15，判定在上一次設定前置相機I的拍攝方向Dc之后是否將與此對應的顯示坐標X-Y上的平均消失點P2已經獲取完畢。在還未能獲取與該時刻的拍攝方向Dc對應的平均消失點P2的情況下，不能滿足判定，轉移到步驟S20。
[0073]在步驟S20中，判定是否從上一次的車線消失點Pl的檢測經過了預定時間。在沒有經過預定時間的情況下，不能滿足判定，返回到步驟S5而重復同樣的過程。通過這樣空出檢測車線消失點Pl的時間間隔，確保要檢測的車線消失點Pl的多樣性，能夠提高要檢測的平均消失點P2的可靠性。
[0074]另一方面，在經過了預定時間的情況下，滿足判定，轉移到步驟S25。
[0075]在步驟S25中，在上述步驟SlO中拍攝到的前方圖像中，識別當前的行駛車線中的兩條車線輪廓線Lr。
[0076]轉移到步驟S30，基于在上述步驟S25中識別到的兩條車線輪廓線Lr，檢測在當前的行駛車線中的車線消失點Pl。
[0077]轉移到步驟S35，將在上述步驟S30中檢測到的車線消失點Pl以存儲到存儲介質12c的方式追加記錄。
[0078]轉移到步驟S40，判定在該時刻是否已經以能夠檢測可靠性高的平均消失點P2的充分的數目來檢測、存儲車線消失點P1。在直到該時刻為止檢測數還不充分的情況下，不能滿足判定，返回到步驟S5，重復同樣的過程。
[0079]另一方面，在該時刻已經以能夠檢測可靠性高的平均消失點P2的充分的數目來檢測、存儲車線消失點Pl的情況下，滿足判定，轉移到步驟S45。
[0080]在步驟S45中，讀出在存儲介質12c中記錄的全部車線消失點Pl。
[0081]轉移到步驟S50，計算位于在上述步驟S45中讀出的全部車線消失點Pl的平均位置的平均消失點P2。并且，返回到步驟S5，重復同樣的過程。
[0082]另一方面，在上述步驟S15的判定中，已經獲取了與該時刻的拍攝方向Dc對應的平均消失點P2的情況下，滿足判定，轉移到步驟S55。
[0083]在步驟S55中，判定是否設定了注意對象物F。另外，注意對象物F也可以預先設定，或者由用戶設定。此外，在有基于地圖信息的注意對象物F的設定的情況下，也可以一并判定是否接近顯示在前方圖像上的程度的近的位置。在沒有設定任何注意對象物F的情況下，或者盡管已基于地圖信息設定但尚未接近到顯示在前方圖像的程度的情況下，不能滿足判定，返回到步驟S5，重復同樣的過程。
[0084]另一方面，在注意對象物F設定完畢且需要使注意支援圖像顯示在前方圖像上的情況下，滿足判定，轉移到步驟S60。
[0085]在步驟S60中，在上述步驟SlO中獲取的前方圖像中，通過圖像識別而識別注意對象物F，將該顯示區域的中心位置P3檢測為該注意對象物F的存在位置。另外，該步驟S60的過程相當于在各權利要求中記載的生成單元以及生成步驟。
[0086]轉移到步驟S65，生成在顯示坐標X-Y上連接平均消失點P2至注意對象物F的中心位置P3的線段Gl的圖像作為注意支援圖像。另外，該步驟S65的過程也相當于在各權利要求中記載的生成單元以及生成步驟。
[0087]轉移到步驟S70，將在上述步驟S65中生成的注意支援圖像的線段Gl以重疊顯示到前方圖像上的方式輸出到顯示器3。并且，返回到步驟S5，重復同樣的過程。另外，該步驟S70的過程相當于在各權利要求中記載的輸出單元以及輸出步驟。
[0088]如以上所說明，在上述實施方式的成像單元2中包括:步驟S60、S65的過程(相當于生成單元)，生成表示從行駛的車輛V(相當于移動體)拍攝到的前方圖像的平均消失點P2(相當于消失點)或者位于其附近的移動顯示基準點P2(相當于基準點)與所述前方圖像中的預定的注意對象物F(相當于預定的特征物)的相對的位置關系的作為注意支援圖像(相當于顯示目標)的線段圖像Gl ;以及步驟S70的過程(相當于輸出單元)，輸出包括通過所述步驟S60、S65的過程而生成的所述注意支援圖像的前方圖像。
[0089]此外，在上述實施方式的成像單元2執行的圖像處理方法中執行:步驟S60、S65的過程(相當于生成步驟)，生成表示從行駛的車輛V (相當于移動體)拍攝到的前方圖像的平均消失點P2(相當于消失點)或者位于其附近的移動顯示基準點P2(相當于基準點)與所述前方圖像中的預定的注意對象物F(相當于預定的特征物)的相對的位置關系的作為注意支援圖像(相當于顯示目標)的線段圖像Gl ;以及輸出步驟，輸出包括通過所述步驟S60、S65的過程而生成的所述注意支援圖像的前方圖像。
[0090]這樣，隨著車輛V在該時刻向前進方向的移動，前方圖像中的全部顯示物從移動顯示基準點P2或者其附近向該前方圖像的外周側移動顯示。并且,表示移動顯示基準點P2與注意對象物F的中心位置P3的相對的位置關系的注意支援圖像Gl成為概略性地表示該注意對象物F在前方圖像中的移動方向的圖像。因此，即使通過處理時間花費比較長的圖像識別而檢測到的注意對象物F的中心位置P3稍微偏離了最新的圖像幀中的同一個注意對象物F的中心位置的情況下，用戶也能夠通過參照注意支援圖像Gl而直觀地把握前方圖像中的注意對象物F的位置。其結果，能夠進行可適當地支援對于從車輛V拍攝到的圖像中的預定的注意對象物F的注意的注意支援圖像的重疊顯示。
[0091 ] 除了上述的結構之外，也可以進一步在步驟S65的過程中，在所述前方圖像中，以將所述移動顯示基準點P2為中心的大致輻射狀的圖形，生成所述注意支援圖像G1。
[0092]這樣，以大致輻射狀的圖形生成的注意支援圖像Gl與注意對象物F在前方圖像中的移動軌跡基本重復。因此，在通過圖像識別而檢測到的注意對象物F的中心位置P3稍微偏離了前方圖像的最新圖像幀中的同一個注意對象物F的中心位置的情況下，由于注意對象物F位于注意支援圖像Gl的延長上，所以在視覺上容易進行該偏離的插補，用戶能夠自然且直觀地把握注意對象物F。
[0093]除了上述的結構之外，還執行:步驟S25的過程，在所述前方圖像中，識別位于所述車輛V行駛的行駛車線的左右兩側而形成該行駛車線的輪廓的兩條車線輪廓線Lr ;步驟S30的過程，檢測所述兩條車線輪廓線Lr各自的所述前進方向的延長線上的交點作為車線消失點Pl ;以及步驟S50的過程，計算位于過去在所述步驟S30的過程中檢測到的多個所述車線消失點Pl各自的平均位置的平均消失點P2，并將其設為在所述步驟S65的過程中使用的所述移動顯示基準點P2。
[0094]若通過以上的方法來計算平均消失點P2，則即使是在前置相機I的拍攝方向Dc朝向任意的方向的狀態下，也能夠高精度地確定消失點并設為移動顯示基準點P2。因此，如圖6所示連接郵筒51的顯示區域的中心位置P3和移動顯示基準點P2的線段Gl的朝向不變，郵筒51準確地位于注意支援圖像的線段Gl的延長上，所以能夠最大地獲得用戶能夠自然且直觀地識別郵筒51的效果。
[0095]在上述的結構中，將從所述前方圖像獲得的平均消失點P2設為所述移動顯示基準點P2，但也可以通過其他的方法來設定移動顯示基準點P2。例如，也可以通過其他的方法來計算消失點，在前置相機I的拍攝方向Dc被基本準確地設置的情況下，也可以將前方圖像的中心點設為移動顯示基準點P2。無論在哪種方法中，只要能夠將準確的消失點的附近設定為移動顯示基準點P2，則連接郵筒51的顯示區域的中心位置P3和移動顯示基準點P2的線段Gl的朝向基本不變，郵筒51位于注意支援圖像的線段Gl的延長上，所以能夠獲得用戶能夠自然且直觀地識別郵筒51的效果。
[0096]除了上述的結構之外，所述前方圖像中的所述預定的注意對象物F是地上物或者行人。
[0097]這樣，由于地上物相對于地面靜止、此外行人相比于該車輛V的速度以充分低的速度移動，所以他們與該車輛V之間的相對速度能夠視為基本與該車輛V的車輛速度相等。由此，最新的圖像幀中的同一個注意對象物F的中心位置不會大幅偏離注意支援圖像Gl表示的這些注意對象物F在前方圖像中的移動方向。其結果，能夠確保用于直觀地把握前方圖像中的注意對象物F的位置的注意支援圖像Gl的可靠性。
[0098]除了上述的結構之外，步驟S65的過程也可以以包括位于以所述平均消失點P2為始點并通過注意對象物F的中心位置P3的半直線上的線段的方式，生成所述注意支援圖像。
[0099]這樣，作為注意支援圖像而生成的線段圖像Gl與注意對象物F在前方圖像中的過去的移動軌跡上或者將來的移動軌跡上基本重疊一致。因此，即使在通過圖像識別而檢測到的注意對象物F的中心位置P3稍微偏離了前方圖像的最新圖像幀中的同一個注意對象物F的中心位置的情況下，注意支援圖像的線段圖像Gl與最新圖像幀中的注意對象物F重復的可能性也很高。此外，即使在不重復的情況下，由于注意對象物F位于線段圖像的延長上，所以在視覺上容易進行該偏離的插補，用戶能夠自然且直觀地把握注意對象物F。此夕卜，由于以線段圖像Gl來支援注意，所以能夠在比較窄的范圍中明確地確定并表示要注意的方向、區域。
[0100]此外，作為比較現有例的注意支援圖像，在上述圖5所示的框形狀記號61中，前方圖像的圖像幀切換，注意對象物F在顯示坐標X-Y上移動顯示，從而隨之需要以追隨該注意對象物F的方式改變位置而再描繪該框形狀記號61的整體。但是，在上述實施方式中，如圖6所示那樣以連接移動顯示基準點P2和注意對象物F的中心位置P3的線段圖像Gl來生成、顯示注意支援圖像的情況下，即使注意對象物F在顯示坐標X-Y上移動，也只要配合該移動而以延長線段圖像Gl的輻射方向的前端部分的方式追加描繪即可。此時，除了由于不需要再描繪線段圖像Gl的整體而能夠減輕描繪處理的負擔之外，由于只要能夠以適當的長度來延長前端部分就不需要重復基于圖像識別的注意對象物F的中心位置P3的檢測，所以注意支援圖像Gl的生成處理的負擔也能夠大幅減輕，能夠將整體的處理高速化。
[0101]除了上述的結構之外，也可以進一步具有:搭載于所述車輛V上且以能夠在所述步驟S60、S65的過程中利用的方式提供拍攝到的所述前方圖像的前置相機I (相當于攝像單元)；以及顯示包括在所述步驟S70的過程中輸出的所述注意支援圖像Gl的所述前方圖像的顯示器3 (相當于顯示單元)。
[0102]這樣，能夠將前方圖像的拍攝直到重疊了注意支援圖像Gl的前方圖像的顯示，由駕駛支援裝置S —體地單獨進行。
[0103]除了上述的結構之外，所述步驟S60、S65的過程也可以進一步將在所述前方圖像中存在的顯示物中用戶任意地指定的顯示物設定為所述注意對象物F。
[0104]這樣，由于能夠將用戶在前方圖像上通過在顯示器3中設置的觸摸面板(未特別圖示)上的直接接觸或通過光標等指標而直接指定的顯示物設定為注意對象物，所以能夠進行注意對象物F的實時的設定，便利性提高。
[0105]另外，在上述實施方式中，上述圖6所示那樣利用連接移動顯示基準點P2至注意對象物F的顯示區域的中心位置P3的線段圖像Gl來生成、顯示了注意支援圖像，但本發明并不限定于此。例如，如圖10所示，也可以利用以移動顯示基準點P2為始點并通過注意對象物F(圖示的例的郵筒51)的顯示區域的中心位置P3的半直線的圖像G2來生成、顯示注意支援圖像。此時，注意支援圖像的半直線圖像G2結果也成為以移動顯示基準點P2為中心的大致輻射狀的圖形，進一步，該半直線圖像G2的整體表示注意對象物F的過去以及將來的移動軌跡整體而必定與注意對象物F的顯示區域重復。因此，能夠比在上述實施方式中的線段圖像Gl更可靠地促使用戶注意注意對象物F。
[0106]此外，也可以生成、顯示為在上述半直線圖像G2中從移動顯示基準點P2至注意對象物F的中心位置P3的區間與從該中心位置P3至外周側的區間中使顯示方式不同。例如，如圖11中的半直線圖像G2A所示，也可以在從移動顯示基準點P2至注意對象物F的中心位置P3的區間中以實線的方式顯示，在從中心位置P3至外周側的區間中以虛線的方式顯示。這樣，能夠在注意支援圖像G2A的整體中表示注意對象物F的過去以及將來的移動軌跡整體，且在該移動軌跡整體中表示注意對象物F在該時刻大致位于哪個位置。因此，能夠比上述的單純的半直線圖像G2更可靠地促使用戶注意注意對象物F。
[0107]此外，在以線段圖像來生成注意支援圖像的情況下，也可以例如圖12所示，以比注意對象物F的顯示區域的大小稍微長的程度的長度的線段圖像G3來以與注意對象物F的中心位置P3重復的方式生成、顯示。此時，線段圖像G3簡單地表示注意對象物F的移動方向的同時，能夠使得尤其注意其中心位置P3。此外，通過在該線段圖像G3的外周側追加箭頭的頭部，能夠使得線段圖像G3整體看上去像注意對象物F的移動矢量，能夠進行與前方圖像中的注意對象物F的移動對應的表現。
[0108]此外，以上，以包括位于以移動顯示基準點P2為始點并通過注意對象物F的顯示區域的中心位置P3的半直線上的線段的方式，生成、顯示了注意支援圖像，但本發明并不限定于此。也可以例如圖13所示，以包括分別以移動顯示基準點P2為始點并包絡注意對象物F的顯示區域的兩條線段G4的圖像來生成、顯示注意支援圖像。此時，兩條線段圖像G4結果成為以移動顯示基準點P2為中心的大致輻射狀的圖形，進一步，這兩條線段圖像G4之間的區域的整體表示還反映了注意對象物F的顯示區域的過去以及將來的遠近的比例尺的通過范圍整體而必定與注意對象物F的顯示區域重復。因此，能夠比在上述實施方式中的線段圖像Gl更可靠地促使用戶把握注意對象物F的存在范圍。
[0109]此外，也可以以在上述兩條線段圖像G4和其之間的區域中在從移動顯示基準點P2至注意對象物F的中心位置P3的區間與從該中心位置P3至外周側的區間中使顯示方式不同的方式來進行生成、顯示。也可以例如圖14中的G4A所示，在兩條線段圖像G4之間的區域中，在從移動顯示基準點P2至注意對象物F的中心位置P3的區間與從中心位置P3至外周側的區間中改變顏色(或者濃度)而以半透色的涂色處理來顯示。這樣，能夠在注意支援圖像G4A的整體中表示還反映了注意對象物F的顯示區域的過去以及將來的遠近的比例尺的通過范圍整體，且在該通過范圍整體中表示注意對象物F在該時刻大致位于哪個位置。因此，能夠比上述的單純的兩條線段圖像G4更可靠地促使用戶注意注意對象物F。
[0110]此外，以上生成、顯示了固定地配置在以移動顯示基準點P2為中心成為輻射狀的位置的注意支援圖像，但本發明并不限定于此。也可以例如圖15所示，以包括在以移動顯示基準點P2為始點并通過注意對象物F的顯示區域的中心位置P3的半直線上從移動顯示基準點P2沿著輻射方向移動的移動目標G5的圖像來生成、顯示注意支援圖像。在圖15所示的例中，在連接移動顯示基準點P2和注意對象物F的中心位置P3的線段(參照圖中的點線)上，以沿著從移動顯示基準點P2朝向注意對象物F的中心位置P3的方向動態地移動的流星的方式的移動目標G5來生成、顯示注意支援圖像。該例所示的流星的移動目標G5由前端和尾幡狀云來表現移動方向，以比前方圖像中的注意對象物F的移動快的速度來移動顯示流星。此時，能夠以動態的動畫來表現注意對象物F的移動軌跡和移動方向。另外，連接移動顯示基準點P2和注意對象物F的中心位置P3的線段(參照圖中的點線)可以顯示，也可以省略顯示。此外，流星的移動目標G5可以在注意對象物F的中心位置P3停止，也可以這樣超過注意對象物F而移動至前方圖像的外周側。
[0111]此外，作為以往比較例的注意支援圖像，也可以使上述圖5所示的圓形的框形狀記號61如圖16所示那樣沿著以移動顯示基準點P2為始點并通過注意對象物F的顯示區域的中心位置P3的半直線(參照圖中的虛線)扁平地生成、顯示注意支援圖像G6。此時，橢圓形的注意支援圖像G6結果成為以移動顯示基準點P2為中心的大致輻射狀的圖形，該橢圓形圖像G6的整體概略地表示注意對象物F的過去以及將來的移動軌跡整體而必定與注意對象物F的顯示區域重復。因此，能夠比在上述實施方式中的線段圖像Gl更可靠地使用戶把握注意對象物F的存在范圍。
[0112]以上，以通過幾何學方式表示在一個靜止圖像的圖像幀中檢測到的注意對象物F的中心位置P3與在顯示坐標X-Y上固定地獲取到的移動顯示基準點P2之間的相對的位置關系的圖形來生成、顯示了注意支援圖像，但本發明并不限定于此。例如，也可以以包括連接在動畫形式的前方圖像中按時間序列拍攝到的多個圖像幀中對同一個注意對象物F在過去的圖像幀和最新的圖像幀中分別檢測到的兩個中心位置P3的線段的方式，生成、顯示注意支援圖像。此時，例如圖17所示的線段圖像G7成為注意支援圖像，且該線段圖像G7結果也成為以移動顯示基準點P2為中心的大致輻射狀的圖形，且通過幾何學方式表示移動顯示基準點P2 (圖17中省略圖示)與注意對象物F的中心位置P3之間的相對的位置關系(另外，圖中的中心位置P4是在過去的圖像幀中檢測到的中心位置)。因此，通過該線段圖像G7也能夠簡略地表示注意對象物F的移動方向，且能夠使得尤其注意其中心位置P3。此外，由于在生成該線段圖像G7時不需要移動顯示基準點P2的設定，所以作為在還沒有獲得充分的車線消失點Pl時顯示的注意支援圖像而有用。
[0113]此外，也可以例如圖18所示，將如上述的以移動顯示基準點P2為中心的大致輻射狀的圖形的注意支援圖像(圖示的例中為線段圖像Gl)和作為現有比較例的注意支援圖像的上述圖5所示的框形狀記號61進行組合而顯示。在前方圖像的圖像幀的攝像周期足夠長或者成像單元2的CPUll的處理速度足夠快的情況下，如圖所示那樣，注意支援圖像G1、61都能夠以準確地配置來生成、顯示，通過這些組合，能夠最明確地促使用戶注意注意對象物F。
[0114]此外，在本實施方式的駕駛支援裝置S中，也可以將重疊了注意支援圖像Gl?G7的前方圖像直接記錄在存儲介質12c等中，應用于之后進行重放的驅動記錄器。或者，也可以在存儲介質12c中只記錄前方圖像，在之后的重放時或編輯時等才生成注意支援圖像Gl?G7并使其重疊而顯示或者進一步記錄其重疊圖像。
[0115]另外，本發明并不限定于上述實施方式，在不脫離其要旨以及技術思想的范圍內能夠進行各種變形。
[0116](I)第I變形例:在將前方圖像存儲在外部的數據庫中的情況下
[0117]在上述實施方式中，駕駛支援裝置S是利用自己拍攝到的前方圖像，自己進行圖像識別處理或注意支援圖像的生成、顯示或者使在內部具有的存儲介質12c記錄該前方圖像的所謂的獨立方式，但本發明并不限定于此。例如圖19所示，駕駛支援裝置S2也可以是所謂的服務器型，具有無線通信裝置21 (相當于通信單元)和天線22，通過經由與中繼站
23(相當于接收單元、發送單元)的無線通信的通信網絡對外部的數據中心24所具有的數據庫服務器25 (相當于圖像處理服務器)發送前方圖像，使該數據庫服務器25進行前方圖像的圖像識別、注意支援圖像的生成、以及它們的記錄。并且，也可以將重疊了注意支援圖像的前方圖像從數據庫服務器25發回駕駛支援裝置S2，使其顯示器3顯示。或者，也可以只將注意支援圖像從數據庫服務器25發回駕駛支援裝置S2，駕駛支援裝置S2將注意支援圖像重疊在前方圖像上，并使其顯示器3顯示。
[0118]由此，即使在駕駛支援裝置S2的存儲介質12c側誤刪除了過去的前方圖像的情況下，也能夠將使數據中心24的數據庫服務器25記錄的前方圖像和注意支援圖像作為備份而利用。
[0119](2)第2變形例:在利用電子便攜終端來構成的情況下
[0120]在上述實施方式以及上述第I變形例中，搭載于車輛V上的設備結構都只是駕駛支援裝置S、S2，但本發明并不限定于此。近年來，在銷售的智能手機、電子書終端等電子便攜終端31上配備相機、顯示器或者GPS的模型較多，有時將其可裝卸地安裝到例如與上述車速傳感器14連接的支架32上而搭載于車輛V上(參照圖20)。并且，通過使該電子便攜終端31拍攝前方圖像，使同一個電子便攜終端31具有的CPU進行預定的圖像識別處理、注意支援圖像的生成，而能夠作為圖像處理裝置發揮作用。在這樣的結構的圖像處理裝置中，也能夠進行在上述實施方式中例示的注意支援圖像的生成、顯示。
[0121]此時，電子便攜終端31相當于在各權利要求中記載的圖像處理裝置，在該電子便攜終端31中配備的相機相當于攝像單元，在該電子便攜終端31的CPU處理的控制過程中生成注意支援圖像的過程相當于生成單元，輸出包括注意支援圖像的前方圖像的過程相當于輸出單元，在電子便攜終端31中配備的顯示器相當于顯示單元。
[0122]此外，雖然沒有特別圖示，但在利用了電子便攜終端31的結構中也能夠設為上述的服務器型。此時，在電子便攜終端31中具有通信單元，數據中心24的數據庫服務器25相當于進行前方圖像的識別、注意支援圖像的生成、以及記錄它們的圖像處理服務器。
[0123]另外，在以上說明的實施方式、第I變形例以及第2變形例中，需要的基本的硬件構成元素以及軟件處理內容都相同，只是構成設備之間的它們的分擔不同。圖24和圖25表示這些分擔的主要例。
[0124]首先，圖24表示各構成設備之間的硬件構成元素的分擔的組合例。該圖24的硬件構成元素中的存儲部相當于記錄重疊了注意支援圖像的前方圖像的存儲介質12c或數據庫服務器25，通信部相當于上述無線通信裝置21。此外，也可以在構成設備中的車載裝置(駕駛支援裝置、支架)中配備車速傳感器，也可以在數據中心中配備存儲部。此外，GPS可以配備在車載裝置或者便攜終端的任一個中，但不能配備在數據中心。此外，在服務器型的情況下，必須在便攜終端和車載裝置中的任一個和數據中心中分別配備通信部。
[0125]除了圖示的分擔例以外，相機和顯示器分別只要由便攜終端和車載裝置中的任一個配備即可，存儲部只要由便攜終端、車載裝置以及數據中心中的任一個配備即可。另外，各硬件構成元素只要分別在能夠配備的任一個構成設備中各具有一個即可，但例如也可以設為在便攜終端和車載裝置的雙方重復具有顯示器的結構。此外，在便攜終端利用方式中，在車載裝置具有相機、顯示器、GPS、存儲部以及通信部中的任一個并將其利用的情況下，便攜終端和車載裝置需要以能夠經由連接器或近距離無線通信等而收發信息信號的方式安裝。此外，在硬件構成元素中相機、顯示器以及通信部(服務器型的情況下)必須分別配備在構成設備中的任一個對應的構成設備中，但其他的GPS、存儲部以及車速傳感器的配備是任意的。
[0126]接著，圖25表示各構成設備之間的軟件處理內容的分擔的組合例。作為該圖25所示的軟件處理內容是以下四個處理:計算平均消失點P2(移動顯示基準點P2)的計算處理；檢測前方圖像中的注意對象物F的中心位置P3的檢測處理；生成注意支援圖像的生成處理；以及記錄重疊了注意支援圖像的前方圖像的記錄處理。在這些軟件處理內容中檢測處理以及生成處理必須分別在構成設備中的任一個進行處理，但其他的計算處理以及存儲處理的處理是任意的。關于該軟件處理內容的分擔，只要由具有充分的處理能力的CPU搭載于各構成設備上能夠相互收發信息，則基本上哪個處理內容也都能夠使任意的構成設備進行分擔處理。圖示的分擔例只是主要的例子，除此之外，可以有多樣的組合。
[0127](3)第3變形例:在將注意支援圖像顯示在平視顯示器的情況下
[0128]在上述實施方式中，將對由前置相機I拍攝到的前方圖像重疊顯示了注意支援圖像的合成圖像顯示在單獨的顯示器上，但本發明并不限定于此。例如，也可以具有平視顯示器，其以與經由車輛V的窗玻璃的駕駛者的視野一致的方式配置顯示坐標X-Y，在該窗玻璃上或者其跟前位置顯示注意支援圖像。
[0129]圖21是與上述實施方式的圖2對應地表示本變形例的駕駛支援裝置S4的硬件結構例的框圖。在該圖21中，本變形例的駕駛支援裝置S4具有平視顯示器投影機4以及組合器5來代替顯示器3，除此之外的硬件結構與上述實施方式相等。但是，從圖形控制器15輸出僅由注意支援圖像的圖像數據構成的圖像信號而不包括前方圖像。
[0130]與上述實施方式的圖3對應的圖22是表示從車輛V的車內看的車窗風景以及對應于此的平視顯示器的顯示的一例的圖。在該圖22所示的例中，在位于圖中的右側的駕駛席的上方，平視顯示器投影機4固定在車頂上。此外，在前玻璃104的前面側，以覆蓋平視顯示器投影機4的投影范圍的方式設置有組合器5。該平視顯示器投影機4和組合器5相當于平視顯示器，基于從上述圖形控制器15輸出的圖像信號，在適當地具有作為半透反射鏡的功能的組合器5的前面投影顯示注意支援圖像(在圖示的例中為線段圖像Gl)的影像。
[0131]圖23是從側方看上述平視顯示器在前玻璃104的前面側進行投影顯示的方式的示意圖。平視顯示器投影機4在具有作為半透反射鏡的功能的組合器5上設定顯示坐標X-Y并投影顯示該注意支援圖像Gl?G7的影像。這里，通過將上述顯示坐標X-Y設定為與經由車輛V的前玻璃104的駕駛者的視野一致的配置，駕駛者在經由前玻璃104的前方視野中，能夠看到通過幾何學方式表示移動顯示基準點P2與注意對象物F的存在位置的相對的位置關系的注意支援圖像Gl?G7。
[0132]此時，為了實現顯示坐標X-Y上的注意支援圖像Gl?G7的配置與駕駛者的前方視野中的配置的匹配，需要根據駕駛者的坐高的高度(眼球的高度位置)與前置相機I的拍攝方向Dc的偏差，適當地調整平視顯示器投影機4的顯示坐標X-Y的配置。
[0133]如以上所說明，在上述第3變形例的駕駛支援裝置S4中具有:前置相機1，搭載于行駛的車輛V上，獲取所述車輛V的前方圖像；步驟S60、S65的過程，生成表示所述前方圖像中的平均消失點P2或者位于其附近的移動顯示基準點P2與預定的注意對象物F的相對的位置關系的注意支援圖像；步驟S70的過程，輸出通過所述步驟S60、S65的過程而生成的所述注意支援圖像；以及平視顯示器投影機4以及組合器5 (相當于平視顯示器)，在駕駛者的駕駛時的視野內放映出在所述步驟S70的過程中輸出的所述注意支援圖像。
[0134]這樣，由于能夠投影顯示位置被匹配為駕駛者經由前玻璃104看到的前方視野本身的注意支援圖像Gl?G7的影像，所以駕駛者不大幅移動視線就能夠看到注意支援圖像Gl?G7，能夠集中駕駛。
[0135]另外，在上述第3變形例中，通過從平視顯示器投影機4對設置在前玻璃104的前面側的組合器5投影顯示注意支援圖像Gl?G7的影像而構成平視顯示器，但本發明并不限定于此。除此之外，也可以設為在前玻璃自身設置例如透過型的液晶面板等，通過其自發光來顯示注意支援圖像等的結構。
[0136]此外，除了以上已經敘述之外，也可以適當組合上述實施方式、各變形例的方法來進行利用。
[0137]符號說明
[0138]I 前置相機(相當于攝像單元)
[0139]2 成像單元(相當于圖像處理裝置)
[0140]3 顯示器(相當于顯示裝置)
[0141]11 CPU
[0142]12存儲部
[0143]13 GPS
[0144]14車速傳感器
[0145]15圖形控制器
[0146]21無線通信裝置(相當于通信單元)
[0147]22中繼站(相當于接收單元、發送單元)
[0148]24數據中心
[0149]25數據庫服務器(相當于圖像處理服務器)
[0150]31電子便攜終端(相當于便攜終端裝置)
[0151]32 支架
[0152]51 郵筒
[0153]61框形狀記號
[0154]Dc拍攝方向
[0155]Dv車輛軸方向
[0156]F 注意對象物(相當于預定的特征物)
[0157]Gl~G7注意支援圖像(相當于顯示目標)
[0158]Lr車線輪廓線
[0159]Pl車線消失點
[0160]P2平均消失點、移動顯示基準點(相當于基準點)
[0161]P3注意對象物的顯示區域的中心位置
[0162]S，S2，S3，S4駕駛支援裝置
[0163]V車輛
【權利要求】
1.一種圖像處理裝置，其特征在于，包括: 生成單元，以從行駛的移動體拍攝到的前方圖像的消失點或者該消失點附近的點為基準點，生成表示所述基準點與所述前方圖像中的預定的特征物的相對的位置關系的顯示目標；以及 輸出單元，輸出包括由所述生成單元生成的所述顯示目標的前方圖像。
2.如權利要求1所述的圖像處理裝置，其特征在于， 所述生成單元在所述前方圖像中利用以所述基準點為中心的大致輻射狀的圖形生成所述顯示目標。
3.如權利要求1或2所述的圖像處理裝置，其特征在于， 所述前方圖像中的所述預定的特征物是地上物或者行人。
4.如權利要求1至3的任一項所述的圖像處理裝置，其特征在于， 所述生成單元以包括位于以所述基準點為始點并通過所述預定的特征物的半直線上的線段的方式生成所述顯示目標。
5.如權利要求1至3的任一項所述的圖像處理裝置，其特征在于， 所述生成單元以包括 分別以所述基準點為始點并包絡所述預定的特征物的顯示區域的兩條線段的方式生成所述顯示目標。
6.如權利要求1至5的任一項所述的圖像處理裝置，其特征在于， 所述生成單元以包括在以所述基準點為始點并通過所述預定的特征物的半直線上從所述基準點沿著福射方向移動的移動目標的方式生成所述顯示目標。
7.如權利要求1至6的任一項所述的圖像處理裝置，其特征在于， 所述生成單元以在從所述基準點至所述預定的特征物為止的區間與從該預定的特征物至外周側的區間中使所述顯示目標的顯示方式不同的方式生成。
8.如權利要求1至6的任一項所述的圖像處理裝置，其特征在于， 所述前方圖像是作為動畫形式按時間序列拍攝到的多個圖像幀， 所述生成單元以包括將所述檢測單元對同一個所述預定的特征物在過去的圖像幀和最新的圖像幀中分別檢測到的兩個所述預定的特征物的位置進行連接的線段的方式生成所述顯示目標。
9.如權利要求1至8的任一項所述的圖像處理裝置，其特征在于，還包括: 攝像單元，搭載于所述移動體上，將拍攝到的所述前方圖像提供給所述生成單元；以及 顯示單元，對所述輸出單元輸出的包括所述顯示目標的前方圖像進行顯示。
10.一種圖像處理裝置，其特征在于，包括: 攝像單元，搭載于行駛的移動體上，獲取所述移動體的前方圖像； 生成單元，以所述前方圖像中的消失點或者該消失點附近的點為基準點，生成表示所述基準點與預定的特征物的相對的位置關系的顯示目標； 輸出單元，輸出由所述生成單元生成的所述顯示目標；以及 平視顯示器，在駕駛者駕駛時的視野內放映出所述輸出單元輸出的所述顯示目標。
11.如權利要求1至10的任一項所述的圖像處理裝置，其特征在于， 所述生成單元能夠將在所述前方圖像中存在的特征物中用戶任意地指定的特征物設定為所述預定的特征物。
12.—種圖像處理服務器，其特征在于，包括: 接收單元，從外部的圖像處理裝置接收從行駛的移動體拍攝到的前方圖像； 生成單元，以所述前方圖像中的消失點或者該消失點附近的點為基準點，生成表示所述基準點與預定的特征物的相對的位置關系的顯示目標；以及 發送單元，將由所述生成單元生成的所述顯示目標發送到所述外部的圖像處理裝置。
13.一種圖像處理裝置，其特征在于，包括: 攝像單元，搭 載于行駛的移動體上，拍攝前方圖像； 通信單元，與權利要求12所述的圖像處理服務器進行所述前方圖像的收發；以及顯示單元，對包括所述通信單元從所述圖像處理服務器接收到的所述顯示目標的前方圖像進行顯示。
14.一種圖像處理裝置執行的圖像處理方法，其特征在于，執行如下步驟: 生成步驟，以從行駛的移動體拍攝到的前方圖像的消失點或者該消失點附近的點為基準點，生成表示所述基準點與所述前方圖像中的預定的特征物的相對的位置關系的顯示目標；以及 輸出步驟，輸出包括由所述生成單元生成的所述顯示目標的前方圖像。
15.一種圖像處理程序，其特征在于， 使圖像處理裝置執行權利要求14所述的圖像處理方法。
16.—種記錄介質,其特征在于， 以能夠由所述圖像處理裝置讀取的方式存儲有權利要求15所述的圖像處理程序。
【文檔編號】G08G1/16GK104081763SQ201280067356
【公開日】2014年10月1日 申請日期:2012年1月17日 優先權日:2012年1月17日
【發明者】杉江伸一, 鈴木禎司 申請人:日本先鋒公司