車輛周圍圖像顯示控制裝置、車輛周圍圖像顯示控制方法、由包含該方法的指令構成的持 ...的制作方法
【專利摘要】車輛周圍圖像顯示控制裝置具備：取得裝置(110、115)，取得車輛的周圍的攝影圖像；亮度分析裝置(120)，計算各攝影圖像中的多個判定區域(R21～R26)內的各亮度變化量；履歷制作用區域決定裝置(125)，選擇亮度變化量不到規定的閾值的判定區域作為履歷制作用區域；以及顯示控制裝置(135、140、145)，使圖像顯示裝置(3)以從上述車輛的上方俯視的視點顯示上述履歷制作用區域內的履歷制作用圖像和車輛用圖像，根據上述車輛的運動量，使上述履歷制作用圖像相對于上述車輛用圖像的相對的配置發生變化而顯示。
【專利說明】
車輛周圍圖像顯示控制裝置、車輛周圍圖像顯示控制方法、
由包含該方法的指令構成的持續性有形計算機可讀介質
[0001]關聯申請的相互參照
[0002]本公開基于2012年7月4日提出的日本專利申請第2012 — 150363號主張優先權，這里引用其記載內容。
【技術領域】
[0003]本發明涉及車輛周圍圖像顯示控制裝置、車輛周圍圖像顯示控制方法、由包含該方法的指令構成的持續性有形計算機可讀介質。
【背景技術】
[0004]以往，已知有用安裝在車輛上的照相機將車輛的周圍反復攝影、以從車輛的上方俯視的視點使攝影圖像顯示于圖像顯示裝置的技術。
[0005]在這樣的技術中，已知有使本車輛的周圍的過去的攝影圖像對應于本車輛的運動量移動而顯示的履歷合成技術(參照專利文獻I)
[0006]例如，在照相機是將車輛的后方攝影的后照相機的情況下，如圖10所示，在存儲器上設置用來將除了車輛90的后方以外的周圍的俯瞰圖像保存的履歷區域H、和用來將車輛90的后方的俯瞰圖像保存的實時區域R。并且，將最新的攝影圖像的俯瞰圖像覆寫到存儲器上的實時區域R上，使圖像顯示裝置顯示履歷區域H及實時區域R的顯示用圖像，利用車輛信息(轉向角、車速等)計算車輛90的運動，在履歷區域H及實時區域R中使圖像移動，以使其做與計算出的車輛90的運動相反的運動。
[0007]通過重復這樣的處理，例如當車輛90后退時，顯示在圖像顯示裝置上的圖像以圖1lA?圖1lD的順序，隨著車輛90的后退，處于實時區域R的圖像依次移動到履歷區域H。因而，履歷區域H中包含的俯瞰圖像的范圍依次擴大，車輛90的周圍的顯示范圍擴大。
[0008]但是，在上述那樣的技術中，如在圖12A?圖12D中例示那樣，在有由于車輛90存在而在車輛90的附近發生的亮度變化圖案91?94(例如，通過車輛90的影子、由車輛90將光反射或部分地遮擋而發生的濃淡變化)的情況下，隨著車輛90的移動，其亮度變化圖案被復制到履歷區域H中而繼續移動。因而，在顯示在圖像顯示裝置上的顯示用圖像中，亮度變化圖案(pattern)的圖像擴大而成為條紋樣式，車輛90的周圍成為難以觀察的顯示用圖像。
[0009]現有技術文獻
[0010]專利文獻
[0011]專利文獻1:特開2002 - 373327號公報
【發明內容】
[0012]本公開的目的是提供一種車輛周圍圖像顯示控制裝置、車輛周圍圖像顯示控制方法、由包含該方法的指令構成的持續性有形計算機可讀介質。在車輛周圍圖像顯示控制裝置、車輛周圍圖像顯示控制方法、由包含該方法的指令構成的持續性有形計算機可讀介質中，在使本車輛的周圍的攝影圖像對應于本車輛的運動量移動而以從上方觀察的視點進行顯示的履歷合成技術中，降低在顯示用圖像中隨著車輛的移動而本車輛附近的亮度變化圖案擴大的可能性。
[0013]在本公開的第一技術方案中，車輛周圍圖像顯示控制裝置具備:取得裝置，從對車輛的周圍進行反復攝影的車載照相機依次取得攝影圖像；亮度分析裝置，計算各攝影圖像中的多個判定區域內的各亮度變化量；履歷制作用區域決定裝置，基于上述亮度分析裝置的計算結果，選擇亮度變化量不到規定的閾值的判定區域作為履歷制作用區域，將亮度變化量為規定的閾值以上的判定區域從履歷制作用區域中排除；顯示控制裝置，使圖像顯示裝置以從上述車輛的上方俯視的視點顯示各攝影圖像中的上述履歷制作用區域內的履歷制作用圖像和車輛用圖像，根據基于從上述車輛輸入的車輛動態信息的上述車輛的運動量，使上述履歷制作用圖像相對于上述車輛用圖像的相對的配置發生變化而顯示。
[0014]在上述車輛周圍圖像顯示控制裝置中，通過計算攝影圖像中的多個判定區域內的亮度變化量，選擇亮度變化量不到規定的閾值的判定區域作為履歷制作用區域并將亮度變化量為規定的閾值以上的判定區域從履歷制作用區域中排除，能夠降低隨著車輛的移動而在顯示用圖像中本車輛附近的亮度變化圖案擴大的可能性。
[0015]在本公開的第二技術方案中，車輛周圍圖像顯示方法具備如下步驟:從對車輛的周圍進行反復攝影的車載照相機依次取得攝影圖像；計算各攝影圖像中的多個判定區域內的亮度變化量；基于上述亮度變化量的計算結果，選擇亮度變化量不到規定的閾值的判定區域作為履歷制作用區域，將亮度變化量為規定的閾值以上的判定區域從履歷制作用區域中排除；使圖像顯示裝置以從上述車輛的上方俯視的視點顯示各攝影圖像中的上述履歷制作用區域內的履歷制作用圖像和車輛用圖像，根據基于從上述車輛輸入的車輛動態信息的上述車輛的運動量，使上述履歷制作用圖像相對于上述車輛用圖像的相對的配置發生變化而顯示。
[0016]在上述車輛周圍圖像顯示方法中，通過計算攝影圖像中的多個判定區域內的亮度變化量，選擇亮度變化量不到規定的閾值的判定區域作為履歷制作用區域并將亮度變化量為規定的閾值以上的判定區域從履歷制作用區域中排除，能夠降低隨著車輛的移動而在顯示用圖像中本車輛附近的亮度變化圖案擴大的可能性。
[0017]在本公開的第三技術方案中，持續性有形計算機可讀介質具備由計算機實施的指令，該指令包括控制車輛周圍圖像的顯示的計算機實施方法，所述指令具備如下實施方法:從對車輛的周圍進行反復攝影的車載照相機依次取得攝影圖像；計算各攝影圖像中的多個判定區域內的亮度變化量；基于上述亮度變化量的計算結果，選擇亮度變化量不到規定的閾值的判定區域作為履歷制作用區域，將亮度變化量為規定的閾值以上的判定區域從履歷制作用區域中排除；使圖像顯示裝置以從上述車輛的上方俯視的視點顯示各攝影圖像中的上述履歷制作用區域內的履歷制作用圖像和車輛用圖像，根據基于從上述車輛輸入的車輛動態信息的上述車輛的運動量，使上述履歷制作用圖像相對于上述車輛用圖像的相對的配置發生變化而顯示。
[0018]在上述的持續性有形計算機可讀介質中，通過計算攝影圖像中的多個判定區域內的亮度變化量，選擇亮度變化量不到規定的閾值的判定區域作為履歷制作用區域并將亮度變化量為規定的閾值以上的判定區域從履歷制作用區域中排除，能夠降低隨著車輛的移動而在顯示用圖像中本車輛附近的亮度變化圖案擴大的可能性。
[0019]在本公開的第四技術方案中，車輛周圍圖像顯示控制裝置具備:取得裝置，從對車輛的周圍進行反復攝影的車載照相機依次取得攝影圖像；存儲器，具有保存從上述車載照相機取得的各攝影圖像的實時區域、和保存履歷圖像的履歷區域；亮度分析裝置，計算保存在上述實時區域內的各攝影圖像中的多個判定區域內的各亮度變化量；履歷制作用區域決定裝置，基于上述亮度分析裝置的計算結果，選擇亮度變化量不到規定的閾值的判定區域作為履歷制作用區域，將亮度變化量為規定的閾值以上的判定區域從履歷制作用區域中排除；顯示控制裝置，將上述履歷制作用區域內的履歷制作用圖像向存儲器的履歷區域的第I子履歷區域保存，根據基于從上述車輛輸入的車輛動態信息的上述車輛的運動量，將上述第I子履歷區域內的上述履歷制作用圖像向存儲器的履歷區域的第2子履歷區域覆蓋，使圖像顯示裝置以從上述車輛的上方俯視的視點顯示上述第2子履歷區域內的履歷圖像和上述第I子履歷區域內的履歷圖像。
[0020]在上述車輛周圍圖像顯示控制裝置中，通過計算攝影圖像中的多個判定區域內的亮度變化量，選擇亮度變化量不到規定的閾值的判定區域作為履歷制作用區域并將亮度變化量為規定的閾值以上的判定區域從履歷制作用區域中排除，能夠降低隨著車輛的移動而在顯示用圖像中本車輛附近的亮度變化圖案擴大的可能性。
【專利附圖】
【附圖說明】
[0021]關于本公開的上述目的及其他目的、特征及優點，參照附圖并通過下述詳細的記述，會變得更加明確。
[0022]圖1是有關實施方式的車輛周圍圖像顯示系統的結構圖。
[0023]圖2是表示在存儲器中的實時區域R中保存的圖像相對于車輛的位置關系的圖。
[0024]圖3是表示在存儲器中的履歷區域中保存的圖像相對于車輛的位置關系的圖。
[0025]圖4是顯示用圖像的結構圖。
[0026]圖5是控制裝置所執行的處理的流程圖。
[0027]圖6是第2子實時區域的平均亮度分布曲線圖的一例。
[0028]圖7是表示將履歷制作用區域向第I子履歷區域中的哪個區域復制的圖。
[0029]圖8A是表示在第I次的執行機會中所制作的顯示用圖像的圖。
[0030]圖8B是表示在第2次的執行機會中所制作的顯示用圖像的圖。
[0031]圖SC是表示在第3次的執行機會中所制作的顯示用圖像的圖。
[0032]圖8D是表示在第4次的執行機會中所制作的顯示用圖像的圖。
[0033]圖8E是表示在第5次的執行機會中所制作的顯示用圖像的圖。
[0034]圖8F是表示在第6次的執行機會中所制作的顯示用圖像的圖。
[0035]圖9A是表示在第I次的執行機會中將第2實時區域的圖像向第I子履歷區域復制的狀況的圖。
[0036]圖9B是表示在第2次的執行機會中將第2實時區域的圖像向第I子履歷區域復制的狀況的圖。
[0037]圖9C是表示在第3次的執行機會中將第2實時區域的圖像向第I子履歷區域復制的狀況的圖。
[0038]圖9D是表示在第4次的執行機會中將第2實時區域的圖像向第I子履歷區域復制的狀況的圖。
[0039]圖9E是表示在第5次的執行機會中將第2實時區域的圖像向第I子履歷區域復制的狀況的圖。
[0040]圖9F是表示在第6次的執行機會中將第2實時區域的圖像向第I子履歷區域復制的狀況的圖。
[0041]圖10是表示以往的存儲器中的履歷區域和實時區域的圖。
[0042]圖1lA是作為以往技術表示隨著車輛的后退而變化的合成俯瞰圖像的圖。
[0043]圖1lB是作為以往技術表示隨著車輛的后退而變化的合成俯瞰圖像的圖。
[0044]圖1lC是作為以往技術表示隨著車輛的后退而變化的合成俯瞰圖像的圖。
[0045]圖1lD是作為以往技術表示隨著車輛的后退而變化的合成俯瞰圖像的圖。
[0046]圖12A是作為以往技術表示在有由車輛引起的亮度變化圖案的情況下隨著車輛的后退而變化的合成俯瞰圖像的圖。
[0047]圖12B是作為以往技術表示在有由車輛引起的亮度變化圖案的情況下隨著車輛的后退而變化的合成俯瞰圖像的圖。
[0048]圖12C是作為以往技術表示在有由車輛引起的亮度變化圖案的情況下隨著車輛的后退而變化的合成俯瞰圖像的圖。
[0049]圖12D是作為以往技術表示在有由車輛引起的亮度變化圖案的情況下隨著車輛的后退而變化的合成俯瞰圖像的圖。
【具體實施方式】
[0050]以下，對一實施方式進行說明。如圖1所示，有關本實施方式的車輛周圍圖像顯示系統被搭載在車輛中，具備車載照相機1、控制裝置2(相當于車輛周圍圖像顯示控制裝置的一例)、圖像顯示裝置3。
[0051]車載照相機I固定搭載在車輛的后端附近，將車輛的周圍，具體而言將車輛的后方的規定范圍反復攝影(例如以1/30秒的周期)，將作為攝影的結果而得到的該規定范圍的攝影圖像的數據向控制裝置2依次輸出。
[0052]對于控制裝置2，從車載照相機I反復輸入上述攝影圖像，并且從本車輛反復輸入擋位范圍的信息、車速的信息及轉向角(或偏航角速度(Yaw Rate))的信息。
[0053]并且，控制裝置2通過執行預先設定的處理，從而作為俯瞰變換部21、圖像合成部22、車輛運動計算部23、履歷制作用區域決定部24發揮功能。
[0054]俯瞰變換部21通過對從車載照相機I輸入的攝影圖像實施周知的俯瞰變換,將該攝影圖像變換為從本車輛的上方(向正下方或斜下方)俯視的視點的俯瞰圖像。
[0055]圖像合成部22如后述那樣，將最新的攝影圖像的俯瞰圖像與過去的攝影圖像的俯瞰圖像合成，將作為合成的結果而得到的合成俯瞰圖像作為顯示用圖像向圖像顯示裝置3輸出。
[0056]車輛運動計算部23基于從本車輛輸入的擋位范圍的信息、車速的信息及轉向角(或偏航角速度)的信息，計算遵循周知的Ackerman模型的本車輛的運動(移動量及姿態變化量)。
[0057]履歷制作用區域決定部24決定將最新的攝影圖像中的哪個區域作為履歷制作用區域。作為以上那樣的結構的控制裝置2，例如也可以使用周知的微型計算機。
[0058]圖像顯示裝置3是顯示從控制裝置2輸入的顯示用圖像的裝置，配置在車內的駕駛員能夠看到所顯示的顯示用圖像(即合成俯瞰圖像)那樣的位置。
[0059]以下，對這樣的結構的車輛周圍圖像顯示系統的動作進行說明。在搭載在控制裝置2中的可寫入的存儲器(例如RAM)中，預先確保了圖2所示那樣的實時區域R及圖3所示那樣的履歷區域H。
[0060]這些實時區域R及履歷區域H內的各地址被預先分配了相對于虛擬配置的本車輛10的相對位置。在圖2、圖3中，表示這些實時區域R及履歷區域H的各地址與規定的本車輛10的位置關系。
[0061]實時區域R如后述那樣，是用來保存將由車載照相機I攝影的最新的攝影圖像的一部分俯瞰變換后的圖像的區域，被劃分為第I子實時區域Rl和第2子實時區域R2。
[0062]如圖2所示，實時區域R的各地址與本車輛10的緊接著的后方的實線矩形范圍內的路面的某個位置I對I地對應，用實時區域R的地址整體將該實線矩形范圍整體涵蓋。
[0063]并且，第I子實時區域Rl將實時區域R中的遠方側的路面的矩形區域涵蓋，第2子實時區域R2將實時區域R中的附近側的路面的矩形區域涵蓋。
[0064]履歷區域H是用來保存將車載照相機I的攝影圖像中的最新的攝影圖像和不是最新的攝影圖像這兩者俯瞰變換后的圖像的區域，被劃分為第I子履歷區域Hl和第2子履歷區域H2。
[0065]如圖3所示，履歷區域H的各地址與本車輛10的緊接著的后方的實線矩形范圍內的路面的某個位置I對I地對應，用履歷區域H的地址整體將該實線矩形范圍整體涵蓋。
[0066]并且，第I子履歷區域Hl將履歷區域H中的本車輛10的緊接著的后方的路面的矩形區域涵蓋，第I子履歷區域Hl的涵蓋范圍的相對于本車輛10的相對位置范圍與第2子實時區域R2的涵蓋范圍相同。
[0067]此外，如圖3所示，第2子履歷區域H2將履歷區域H中的不能由車載照相機I當前攝影的位置的路面的矩形范圍、即本車輛10的正下方的路面、本車輛10的前方及側方的路面的范圍涵蓋。因而，第2子履歷區域H2所保存的俯瞰圖像是將由車載照相機I攝影的攝影圖像中的不是最新的過去的攝影圖像俯瞰變換后的俯瞰圖像。
[0068]基于保存在這些實時區域R及履歷區域H中的圖像，合成圖4所示的顯示用圖像D，用圖像顯示裝置3顯示。具體而言，將第2子履歷區域H2中的俯瞰圖像、第I子實時區域Rl中的俯瞰圖像及第2子實時區域R2中的俯瞰圖像以圖4那樣的配置并進行了接合，該接合而得到的圖像為顯示用圖像D。
[0069]控制裝置2使用這樣的實時區域R、履歷區域H，將在圖5中用流程圖表示的處理反復執行(具體而言，按照每個規定的控制周期)。作為控制周期，例如可以是250毫秒。控制裝置2通過執行該圖5的處理，作為上述俯瞰變換部21、圖像合成部22、車輛運動計算部23、履歷制作用區域決定部24發揮功能。
[0070]以下，對該圖5的處理進行說明。首先，當控制裝置2開始圖5的處理時，實時區域R及履歷區域H的各自的區域內為完全不包含俯瞰圖像的數據的空(空白)的狀態，換言之，為僅包含表示空的數據的狀態。
[0071]控制裝置2在圖5的處理的各執行機會中，首先在步驟105中，基于所輸入的最新的擋位范圍信息，判定本車輛的擋位位置是否是倒擋(后退位置)，如果不是倒擋，則停止向圖像顯示裝置輸出顯示用圖像D，并將實時區域R及履歷區域H的各自的區域內的數據清空，然后結束此次的圖5的處理。
[0072]當駕駛員要使本車輛停車到停車場的停車位中時，將擋位范圍放入到R(倒擋)。于是，控制裝置2在步驟105中判定擋位位置是倒擋，向步驟110前進。
[0073]在步驟110中，從車載照相機I受理并取得I張最新的攝影圖像的輸入。接著，在步驟115中，對在之前的步驟110中取得的最新的攝影圖像實施周知的俯瞰變換。通過該俯瞰變換，將攝影圖像變換為從本車輛的上方(向正下方或斜下方)俯視的視點的俯瞰圖像。
[0074]另外，在該俯瞰變換時，如周知那樣，假定攝影圖像中的物體存在于高度零的位置(即平坦的路面)。在俯瞰變換中使用的變換式被預先記錄在控制裝置2的存儲器(例如ROM)中。
[0075]此外，由于該俯瞰圖像是將攝影圖像的像素配置通過俯瞰變換變更而成的，所以是攝影圖像的一形態。
[0076]在步驟115中，還從制作的俯瞰圖像切割出作為圖2的實時區域R的涵蓋范圍的規定的部分的俯瞰圖像，將切割出的部分中的各像素向實時區域R保存，以使其與分配給實時區域R的各個地址的相對位置一致。
[0077]更具體地講，將切割出的部分在本車輛10的前后方向上2分割后的2個區域中的距本車輛10更遠的區域(例如從本車輛10離開1.Sm以上者)的規定的范圍的圖像向第I子實時區域Rl保存，將2分割后的2個區域中的距本車輛10較近者(例如距本車輛10不到1.Sm者)的規定的范圍的圖像向第2子實時區域R2保存。
[0078]控制裝置2通過執行該步驟115的處理，作為俯瞰變換部21發揮功能。
[0079]接著，在步驟120中，以保存在第2子實時區域R2中的俯瞰圖像為對象進行亮度分析。該亮度分析是用來計算第2子實時區域R2中的多個判定區域內的亮度變化量(不是時間上的變化量而是空間上的變化量)的處理。
[0080]在本實施方式中，作為亮度分析，以在第2子實時區域R2中以縱橫矩陣狀的配置保存的像素群為對象，計算在圖6中例示那樣的平均亮度L的分布30。
[0081]圖6的曲線圖的橫軸表示向圖2的O后方前進的方向，縱軸表示各Y坐標值(沿著Y坐標軸方向的距本車輛10的距離)的平均亮度L (Y)。這里，某個Y坐標值的平均亮度L是配置在該Y坐標值的位置、在圖2中的X坐標軸方向(與Y坐標軸正交的方向，本車輛10的左右方向)上排列的像素群的平均亮度。
[0082]并且，將該第2子實時區域R2的Y坐標值的范圍(從Ocm到180cm)用距離6等分而設定6個判定區域R21?R26。并且，在判定區域R21?R26的各自中，計算上述平均亮度L(Y)的該判定區域內的變化量。
[0083]在本實施方式中，作為該變化量而采用上述平均亮度L(Y)的該判定區域內的最大值與最小值的差(亮度差)。例如，在圖6的例子中，判定區域R21的亮度差為ΛΗ1，判定區域R22的亮度差為ΛΗ2。另外，作為上述平均亮度L(Y)的該判定區域內的變化量，例如也可以使用上述平均亮度L(Y)的該判定區域內的亮度的標準偏差。
[0084]接著，在步驟125中，基于之前的步驟120中的計算結果(即，各判定區域R21?R26中的平均亮度L(Y)的變化量)，決定履歷制作用區域。控制裝置2通過執行該步驟125的處理，作為履歷制作用區域決定部24發揮功能。
[0085]步驟125中的履歷制作用區域的決定如以下這樣進行。首先，將判定區域R21?R26的全部作為履歷制作用區域。接著，將判定區域R21?R26中的距本車輛10最近的區域R21作為判定對象。
[0086]并且，判定作為判定對象的判定區域R21中的平均亮度L (Y)的變化量是否是規定的閾值以上。并且，如果是該閾值以上，則將該判定區域R21從履歷制作用區域中排除，并將判定對象改變為當前的判定對象的區域R21的下個距本車輛10較近的判定區域R22。
[0087]在這以后同樣，重復以下處理直到對判定區域21?26的全部都比較了平均亮度L(Y)的變化量與閾值，然后，結束步驟125的處理。上述處理包括:判定作為判定對象的判定區域中的平均亮度L(Y)的變化量是否是規定的閾值以上，如果是該閾值以上，則將該判定區域從履歷制作用區域中排除，并將判定對象改變為當前的判定對象的區域的下個距本車輛10較近的判定區域。
[0088]但是，在關于判定區域21?26的某個判斷為判定對象的判定區域中的平均亮度L(Y)的變化量不是該閾值以上(不到閾值)的情況下，在該時點立即結束步驟125的處理。
[0089]通過這樣的步驟125的處理，以判定區域21?26中的平均亮度L(Y)的變化量為該閾值以上的區域從判定區域21起向本車輛10的后方連續存在的量，將這些連續存在的判定區域從履歷制作用區域中排除。并且，以從距本車輛10較近側起的順序，關于判定區域21?26中的最先平均亮度L(Y)的變化量成為不到該閾值的判定區域、及比其距本車輛10更遠的判定區域，設為包含在履歷制作用區域中的狀態。
[0090]例如，在判定區域21?26的平均亮度L(Y)的變化量中的判定區域21、22、26的變化量為該閾值以上的情況下，不將判定區域21、22作為履歷制作用區域，而將判定區域23?26包含在履歷制作用區域中。
[0091]接著，在步驟130中，將判定區域21?26中的作為履歷制作用區域的區域中的俯瞰圖像向第I子履歷區域Hl復制。
[0092]具體而言，如圖7所示，對于第I子履歷區域H1，將沿著圖7的Y坐標軸方向(沿著本車輛10的前后方向，向本車輛10的后方前進的方向)的Y坐標值的范圍(從Ocm到180cm)用距離6等分,設定6個復制目標區域Hll?H16。
[0093]并且，選擇判定區域R21?R26中的作為履歷制作用區域的判定區域中的俯瞰圖像作為履歷制作用圖像，將所選擇的履歷制作用圖像向距本車輛10的距離相同的復制目標區域進行覆寫復制。在圖7的例子中，判定區域R21?R26中的僅區域R22?R26是履歷制作用區域，區域R22?R26中的俯瞰圖像分別被向涵蓋第I子履歷區域Hl中的相同位置的復制目標區域H12?H16以相同的相對配置進行復制。
[0094]接著，在步驟135中，制作顯示用圖像D。具體而言，如圖4所示，將第2子履歷區域H2、第I子實時區域R1、第2子實時區域R2如圖4的那樣接合而合成各區域H2、RU R2內的圖像，使表示本車輛10的規定的本車輛用圖像10疊加到合成后的圖像的虛擬的本車輛10的位置。
[0095]另外，在疊加了本車輛用的圖像的位置，還透過顯示第2子履歷區域H2內的俯瞰圖像(過去由車載照相機I攝影的圖像)。
[0096]作為這樣的合成及疊加的結果而得到的顯示用圖像D，每當被制作出時就從控制裝置2向圖像顯示裝置3輸入，結果，圖像顯示裝置3將該顯示用圖像D顯示給駕駛員。
[0097]駕駛員通過觀看該顯示用圖像D，能夠以將本車輛10從上方俯視那樣的視點確認本車輛10的周圍。進而，實際被本車輛10覆蓋而遮擋的部分也能夠透過本車輛10從上方看到。控制裝置2通過執行該步驟135的處理，作為圖像合成部22發揮功能。
[0098]接著，在步驟140中，基于從本車輛10輸入的各種車輛動態信息，即擋位范圍的信息、車速的信息及轉向角(或偏航角速度)的最新的信息(追加使用過去的信息)，計算遵循周知的Ackerman模型的本車輛的運動量(移動矢量及姿態變化角度)。另外，這里所述的運動量，是表示從上次的攝影圖像的取得定時(上次的圖5的處理的執行機會)起到此次的攝影圖像的取得定時(此次的圖5的處理的執行機會)為止的期間(即，之前的控制周期)中的車輛的運動(即，攝影圖像的取得間隔中的運動量)的運動量。控制裝置2通過執行該步驟140的處理，作為車輛運動計算部23發揮功能。
[0099]接著，在步驟145中，基于在之前的步驟140中計算出的本車輛的運動量，計算相對移動量，該相對移動量表示本車輛的周圍(假設為固定在路面上)相對地相對于本車輛怎樣移動。
[0100]具體而言，計算與在之前的步驟140中計算出的本車輛的運動量相反的運動。例如，當本車輛的移動矢量是(α，β)、姿態變化角度是Θ時，作為周圍相對于本車輛的相對移動量，假設移動矢量是(一 Ct , 一 β )、姿態變化角度是一 Θ。
[0101]并且，在履歷區域H內，按照如上述那樣計算出的周圍的相對移動量，使保存在該履歷區域H內的全部的像素(當然也包括履歷制作用圖像的像素)移動，以使該履歷區域H內的俯瞰圖像反映出下個顯示定時(下個圖5的處理的執行機會的步驟135的執行定時)的本車輛的周圍的配置。這樣，根據車輛的運動量，決定履歷制作用圖像相對于虛擬的車輛10的位置的相對的配置。
[0102]由此，根據該相對移動量，在第I子履歷區域Hl和第2子履歷區域Η2的邊界，俯瞰圖像的一部分從第I子履歷區域Hl移動到第2子履歷區域Η2，或從第2子履歷區域Η2移動到第I子履歷區域Η1。在本事例中，由于本車輛在后退，所以為前者。因而，隨著車輛的后退，在圖3的處理的開始最初為空的第2子履歷區域Η2內，俯瞰圖像增加。在步驟145后，圖5的I次的處理結束。
[0103]控制裝置2通過將以上那樣的圖5的處理按照每個控制周期反復執行，從車載照相機按照每個控制周期依次取得攝影圖像(步驟110)，將依次取得的攝影圖像按照每個控制周期依次向俯瞰圖像進行俯瞰變換而覆寫保存到實時區域R中(步驟115)，對于依次俯瞰變換后的結果的俯瞰圖像，按照每個控制周期依次進行亮度分析(步驟120)。在各次的亮度分析中，計算實時區域R中的多個判定區域R21?R26內的亮度變化量。
[0104]并且，控制裝置2基于亮度分析的結果，按照每個控制周期依次進行選擇多個判定區域R21?R26中的亮度變化量不到規定的閾值的判定區域作為履歷制作用區域、將亮度變化量為規定的閾值以上的判定區域從履歷制作用區域中排除的處理(步驟125)。
[0105]并且，控制裝置2將依次選擇的履歷制作用區域內的俯瞰圖像作為履歷制作用圖像，按照每個控制周期依次向第I子履歷區域Hl復制(步驟130)，使圖像顯示裝置3按照每個控制周期依次顯示將第2子履歷區域H2中的圖像、實時區域R中的圖像和本車合成后的顯示用圖像D (步驟135)，基于從車輛反復輸入的車輛動態信息，按照每個控制周期依次計算車輛10的運動量(步驟140)，通過根據計算出的運動量使圖像在履歷區域H內移動、以使復制后的履歷制作用圖像相對于本車輛10的相對的配置變化，從而按照每個控制周期依次決定該相對的配置(步驟145)。
[0106]以下，關于控制裝置2按照每個控制周期來反復進行以上那樣的圖5的處理的動作，取I個事例為例，參照圖8A?圖8F、圖9A?圖9F進行說明。
[0107]首先，駕駛員為了停車到停車位(圖8A的停車位P2)，在該停車位P2的附近使本車輛10停止，擋位位置切換為倒擋。
[0108]于是，控制裝置2在從擋位位置切換為倒擋起第I次的圖5的處理的執行機會中，在步驟105中判定擋位位置是倒擋，向步驟110前進，在步驟110中從車載照相機I取得最新的攝影圖像，在步驟115中將攝影圖像俯瞰變換，將其結果的俯瞰圖像的一部分切割出，向實時區域R覆寫保存。
[0109]此時，在記錄在第2子實時區域R2中的俯瞰圖像中，如圖8A所示，在車輛10的緊接著的后方包含有亮度變化較劇烈的亮度變化圖案圖像50。該亮度變化圖案圖像50是拍攝了因車輛10存在而在車輛10的附近發生的亮度變化(例如，通過車輛的影子、由車輛將光反射或部分地遮擋而發生的濃淡變化)的圖像。這樣的亮度變化圖案圖像50具有隨于車輛10而與車輛10 —起移動的性質。
[0110]在接著步驟115的步驟120中，對包含這樣的亮度變化圖案圖像50的第2子實時區域R2進行亮度分析。在本事例中，該亮度變化圖案圖像50包含在第2子實時區域R2中的判定區域R21中，結果，判定區域R21中的平均亮度L (Y)的變化量超過上述閾值，另一方面，判定區域R22?R26中的平均亮度L(Y)的變化量不到上述閾值。
[0111]因而，在接著的步驟125中，作為履歷制作用區域而將判定區域R21排除，僅將判定區域R22?R26選擇為履歷制作用區域。于是，在步驟130中，如圖9A所示，僅將判定區域R22?R26中的俯瞰圖像分別向復制目標區域H12?H16覆寫復制。
[0112]在接著的步驟135中，如圖8A所示，制作在當前的實時區域R中的圖像上合成第2子履歷區域H2中的圖像并進而在虛擬的本車輛10的位置透過地疊加車輛用圖像的圖像，作為顯示用圖像D。
[0113]另外，在該時點，第2子履歷區域H2為完全不包含俯瞰圖像的數據的空的狀態。因而，顯示用圖像D的第2子履歷區域H2的部分僅顯示白、黑、藍等的背景色。
[0114]在接著的步驟140中，如已經說明地那樣，計算之前的控制周期大小的期間中的車輛的運動。在本事例中，假設在該期間中車輛10筆直地后退了 24cm(相當于判定區域的前后寬度的0.8倍)。因而，在步驟145中，在履歷區域H內使圖像向前方移動與該車輛10的移動量對應的量(24cm)。這樣，根據車輛的運動量，決定履歷制作用圖像相對于虛擬的車輛10的位置的相對的配置。
[0115]然后，如果從擋位位置切換為倒擋起第2次的圖5的處理的執行機會到來，則控制裝置2從步驟105向步驟110前進，在步驟110中從車載照相機I取得最新的攝影圖像，在步驟115中將攝影圖像俯瞰變換，將其結果的俯瞰圖像的一部分切割出，向實時區域R覆寫保存。
[0116]在此時記錄在第2子實時區域R2中的俯瞰圖像中，如圖8B所示，在車輛10的緊接著的后方包含有亮度變化劇烈的亮度變化圖案圖像51。該亮度變化圖案圖像51是由于與上次的圖5的處理的執行機會中出現在第2子實時區域R2中的亮度變化圖案圖像50相同的原因而發生的圖像，所以相對于車輛10的配置與亮度變化圖案圖像50大致相同。
[0117]在接著步驟115的步驟120中，對包含這樣的亮度變化圖案圖像51的第2子實時區域R2進行亮度分析。在本事例中，假設亮度分析的結果是，各判定區域R21?R26中的平均亮度L(Y)的變化量與上述閾值的大小關系和上次的執行機會的步驟120相同。
[0118]因而，在接著的步驟125中，作為履歷制作用區域而將判定區域R21排除，僅選擇區域R22?R26作為履歷制作用區域。于是，在步驟130中，如圖9B所示，僅將判定區域R22?R26中的俯瞰圖像分別向復制目標區域H12?H16覆寫復制。
[0119]另外，通過上次的圖5的處理的執行機會的步驟145的處理，從而在上次的圖5的處理的執行機會中從第2子實時區域R2復制的俯瞰圖像移動到此次不為覆寫復制目標的復制目標區域Hll中。
[0120]在接著的步驟135中，如圖SB所示，制作在當前的實時區域R中的圖像上合成第2子履歷區域H2中的圖像并進一步透過地疊加車輛用圖像10的圖像，作為顯示用圖像D。
[0121]另外，在該時點，在上次的圖5的執行機會的步驟145中，在履歷區域H中，履歷制作用圖像的位置(相對于虛擬的車輛10的位置的相對的配置)發生變化。因而，圖像從第I子履歷區域Hl向第2子履歷區域H2移動。
[0122]但是，移動的是之前沒有復制俯瞰圖像的復制目標區域Hll的圖像(空的圖像)。因而，在該時點，第2子履歷區域H2是完全不包含俯瞰圖像的數據的空的狀態。
[0123]如果在上次的圖5的執行機會的步驟125中，判定區域R21被包含在履歷制作用區域中，則在步驟130中，判定區域R21的俯瞰圖像(包括亮度變化圖案圖像50)被復制到復制目標區域H11，在步驟145中該俯瞰圖像(包括亮度變化圖案圖像50)應該進入到第2履歷區域H2內。
[0124]如果變成這樣，則在此次的圖5的執行機會中的步驟135中，顯示用圖像中會包含亮度變化圖案圖像50，導致如以往那樣，將實際不在那里的表示亮度變化的圖像(亮度變化圖案圖像50)與車輛10的移動一起、邊移動邊持續顯示。
[0125]在本實施方式中，通過將判定區域中的平均亮度L(Y)的變化量與閾值比較，找出在車輛10的附近通過車輛10的存在而發生的亮度變化圖案圖像50，將包含找出的亮度變化圖案圖像50在內的判定區域從履歷制作用區域中排除。由此，能夠降低亮度變化圖案圖像50持續留在顯示用圖像D內而使顯示用圖像D的辨識性惡化的可能性。
[0126]在接著的步驟140中，如已經說明的那樣，計算之前的控制周期大小的期間中的車輛的運動。在本事例中，假設在該期間中車輛10筆直地后退了 45cm(相當于判定區域的前后寬度的1.5倍)。因而，在步驟145中，在履歷區域H內使圖像向前方移動與該車輛10的移動量對應的量(45cm)。這樣，根據車輛的運動量決定履歷制作用圖像相對于虛擬的車輛10的位置的相對的配置。
[0127]然后，如果從擋位位置切換為倒擋起第3次的圖5的處理的執行機會到來，則控制裝置2從步驟105向步驟110前進，在步驟110中從車載照相機I取得最新的攝影圖像，在步驟115中將攝影圖像進行俯瞰變換，將其結果的俯瞰圖像的一部分切割出，向實時區域R
覆寫保存。
[0128]在此時記錄在第2子實時區域R2中的俯瞰圖像中，如圖8C所示，在車輛10的緊接著的后方包含有亮度變化劇烈的亮度變化圖案圖像52。由于該亮度變化圖案圖像52是由于與在上次的圖5的處理的執行機會中出現在第2子實時區域R2中的亮度變化圖案圖像51相同的原因而發生的圖像，所以相對于車輛10的配置與亮度變化圖案圖像51大致相同。
[0129]在接著步驟115的步驟120中，對包含這樣的亮度變化圖案圖像52的第2子實時區域R2進行亮度分析。在本事例中，假設亮度分析的結果是，各判定區域R21?R26中的平均亮度L(Y)的變化量與上述閾值的大小關系和上次的執行機會的步驟120相同。
[0130]因而，在接著的步驟125中，作為履歷制作用區域而將判定區域R21排除，僅選擇區域R22?R26作為履歷制作用區域。于是，在步驟130中，如圖9C所示，僅將判定區域R22?R26中的俯瞰圖像分別向復制目標區域H12?H16覆寫復制。
[0131]另外，通過上次的圖5的處理的執行機會的步驟145的處理，從而在上次的圖5的處理的執行機會中從第2子實時區域R2復制的俯瞰圖像移動到此次不為覆寫復制目標的復制目標區域Hll中。
[0132]在接著的步驟135中，如圖SC所示，制作在當前的實時區域R中的圖像上合成第2子履歷區域H2中的圖像并進一步透過地疊加了車輛用圖像10的圖像，作為顯示用圖像D。
[0133]另外，在該時點，在上次的圖5的執行機會的步驟145中，在履歷區域H中履歷制作用圖像的位置(相對于虛擬的車輛10的位置的相對的配置)發生變化。并且，由此俯瞰圖像從第I子履歷區域Hl (具體而言是復制目標區域H11、H12)向第2子履歷區域H2移動。
[0134]因而，在此次的步驟135中，通過與在上次的圖5的執行機會的步驟145中在履歷區域H中變化的履歷制作用圖像的相對配置相對應的配置，將第2子履歷區域H2中的履歷制作用圖像顯示在圖像顯示裝置上。
[0135]這里也同樣地，如果在上次的圖5的執行機會的步驟125中，判定區域R21包含在履歷制作用區域中，則在步驟145中該俯瞰圖像(包括亮度變化圖案圖像51)應該進入到第2履歷區域H2內。如果不是這樣，則在此次的圖5的執行機會的步驟135中，在顯示用圖像D中包含亮度變化圖案圖像51。
[0136]但是，在本實施方式中，找出亮度變化圖案圖像51，將包含找出的亮度變化圖案圖像51在內的判定區域R21從履歷制作用區域中排除。由此，能夠降低亮度變化圖案圖像51持續留在顯示用圖像D內而使顯示用圖像D的辨識性惡化的可能性。
[0137]在接著的步驟140中，如已經說明那樣，計算之前的控制周期大小的期間中的車輛的運動。在本事例中，假設在該期間中車輛10筆直地后退了 30cm(相當于判定區域的前后寬度)。因而，在步驟145中，在履歷區域H內使圖像向前方移動與該車輛10的移動量對應的量(30cm)。這樣，根據車輛的運動量，決定履歷制作用圖像相對于虛擬的車輛10的位置的相對的配置。
[0138]然后，如果從擋位位置切換為倒擋起第4次的圖5的處理的執行機會到來，則控制裝置2從步驟105向步驟110前進，在步驟110中從車載照相機I取得最新的攝影圖像，在步驟115中將攝影圖像進行俯瞰變換，將其結果的俯瞰圖像的一部分切割出而向實時區域R覆寫保存。
[0139]在此時記錄在第2子實時區域R2中的俯瞰圖像中，如圖8D所示，在車輛10的緊接著的后方包含有亮度變化劇烈的亮度變化圖案圖像53。該亮度變化圖案圖像53是由于與在上次的圖5的處理的執行機會中出現在第2子實時區域R2中的亮度變化圖案圖像52相同的原因而發生的圖像。
[0140]但是，亮度變化圖案圖像50、51、52整體包含在判定區域R21內，相對于此，變化圖像53從判定區域R21溢出、也進入到判定區域R21中。這樣，作為變化圖像53隨著時間變化的原因，可以考慮車輛10的方向轉換、周圍的光源相對于車輛10的相對移動等。
[0141]在接著步驟115的步驟120中，對包含這樣的亮度變化圖案圖像53在內的第2子實時區域R2進行亮度分析。在本事例中，假設亮度分析的結果是，各判定區域R21、R23?R26中的平均亮度L(Y)的變化量與上述閾值的大小關系和上次的執行機會的步驟120相同，但亮度變化圖案圖像53溢出到判定區域R22內，結果判定區域R22中的平均亮度L(Y)的變化量超過了上述閾值。
[0142]因而，在接著的步驟125中，作為履歷制作用區域不僅判定區域R21、將判定區域R22也排除，僅區域R23?R26被選擇為履歷制作用區域。于是，在步驟130中，如圖9D所示，僅將判定區域R23?R26中的俯瞰圖像分別向復制目標區域H13?H16覆寫復制。
[0143]另外，通過上次的圖5的處理的執行機會的步驟145的處理，從而在上次的圖5的處理的執行機會中從第2子實時區域R2復制的俯瞰圖像移動到此次不為覆寫復制目標的復制目標區域H11、H12中。
[0144]在接著的步驟135中，如圖8D所示，制作在當前的實時區域R中的圖像上合成第2子履歷區域H2中的圖像并進一步透過地疊加了車輛用圖像10的圖像，作為顯示用圖像D。
[0145]在該時點，在上次的圖5的執行機會的步驟145中，在履歷區域H中履歷制作用圖像的位置(相對于虛擬的車輛10的位置的相對的配置)發生變化。并且，由此俯瞰圖像進一步從第I子履歷區域Hl (具體而言是復制目標區域Hll)移動到第2子履歷區域H2中。結果，在第2子履歷區域H2中，包含俯瞰圖像的區域增大。
[0146]因而，在此次的步驟135中，以與在上次的圖5的執行機會的步驟145中在履歷區域H中變化后的履歷制作用圖像的相對配置相對應的配置，將第2子履歷區域H2中的履歷制作用圖像顯示在圖像顯示裝置上。
[0147]這里也同樣地，如果在上次的圖5的執行機會的步驟125中判定區域R21包含在履歷制作用區域中，則在步驟145中該俯瞰圖像(包含亮度變化圖案圖像52)應該進入到第2履歷區域H2內。如果是這樣，則在此次的圖5的執行機會的步驟135中，在顯示用圖像D中包含亮度變化圖案圖像52。
[0148]但是，在本實施方式中，找出亮度變化圖案圖像52，并將包含找出的亮度變化圖案圖像52在內的判定區域從履歷制作用區域中排除。由此，能夠降低亮度變化圖案圖像52持續留在顯示用圖像D內而使顯示用圖像D的辨識性惡化的可能性。
[0149]在接著的步驟140中，如已經說明的那樣，計算之前的控制周期大小的期間中的車輛的運動。在本事例中，假設在該期間中車輛10筆直地后退了 36cm(相當于判定區域的前后寬度的1.2倍)。因而，在步驟145中，在履歷區域H內使圖像向前方移動與該車輛10的移動量對應的量(36cm)。這樣，根據車輛的運動量，決定履歷制作用圖像相對于虛擬的車輛10的位置的相對的配置。
[0150]然后，如果從擋位位置切換為倒擋起第5次的圖5的處理的執行機會到來，則控制裝置2從步驟105向步驟110前進，在步驟110中從車載照相機I取得最新的攝影圖像，在步驟115中將攝影圖像進行俯瞰變換，將其結果的俯瞰圖像的一部分切割出，向實時區域R
覆寫保存。
[0151]在此時記錄在第2子實時區域R2中的俯瞰圖像中，如圖8E所示，在車輛10的緊接著的后方包含有亮度變化劇烈的亮度變化圖案圖像54。該亮度變化圖案圖像54是由于與在上次的圖5的處理的執行機會中出現在第2子實時區域R2中的亮度變化圖案圖像53相同的原因而發生的圖像，配置、大小及亮度變化都大致與亮度變化圖案圖像53相同。
[0152]在接著步驟115的步驟120中，對包含這樣的亮度變化圖案圖像54的第2子實時區域R2進行亮度分析。在本事例中，假設亮度分析的結果是，各判定區域R21?R26中的平均亮度L(Y)的變化量與上述閾值的大小關系和上次的執行機會的步驟120相同。
[0153]因而，在接著的步驟125中，作為履歷制作用區域而將判定區域R21、R22排除，僅區域R23?R26被選擇為履歷制作用區域。于是，在步驟130中，如圖9E所示，僅將判定區域R23?R26中的俯瞰圖像分別向復制目標區域H13?H16覆寫復制。
[0154]另外，通過上次及上上次的圖5的處理的執行機會的步驟145的處理，從而上次及上上次的圖5的處理的執行機會中從第2子實時區域R2復制的俯瞰圖像移動到此次不為覆寫復制目標的復制目標區域Hll、H12中。
[0155]在接著的步驟135中，如圖8E所示，制作在當前的實時區域R中的圖像上合成第2子履歷區域H2中的圖像并進一步透過地疊加了車輛用圖像10的圖像，作為顯示用圖像D。
[0156]在該時點，在上次的圖5的執行機會的步驟145中，在履歷區域H中履歷制作用圖像的位置(相對于虛擬的車輛10的位置的相對的配置)發生變化。并且，由此俯瞰圖像進一步從第I子履歷區域Hl (具體而言是復制目標區域Hl 1、H12)移動到第2子履歷區域H2。結果，在第2子履歷區域H2中包含俯瞰圖像在內的區域增大。
[0157]因而，在此次的步驟135中，以與在上次的圖5的執行機會的步驟145中在履歷區域H中變化的履歷制作用圖像的相對配置相對應的配置，將第2子履歷區域H2中的履歷制作用圖像顯示到圖像顯示裝置上。
[0158]這里也同樣地，如果在上次的圖5的執行機會的步驟125中判定區域R21包含在履歷制作用區域中，則在步驟145中該俯瞰圖像(包含亮度變化圖案圖像53)應該進入到第2履歷區域H2內。如果是這樣，則在此次的圖5的執行機會的步驟135中，在顯示用圖像D中包含亮度變化圖案圖像53。
[0159]進而，如果在上上次的圖5的執行機會的步驟125中判定區域R22包含在履歷制作用區域中，則在步驟145中該俯瞰圖像(包含亮度變化圖案圖像52)應該進入到第2履歷區域H2內。如果是這樣，則在此次的圖5的執行機會的步驟135中，在顯示用圖像D中包含亮度變化圖案圖像52。
[0160]但是，在本實施方式中，找出亮度變化圖案圖像52、53，并將包含找出的亮度變化圖案圖像52、53在內的判定區域從履歷制作用區域中排除。由此，能夠降低亮度變化圖案圖像52、53持續留在顯示用圖像D內而使顯示用圖像D的辨識性惡化的可能性。
[0161]在接著的步驟140中，如已經說明那樣，計算之前的控制周期大小的期間中的車輛的運動。在本事例中，假設在該期間中車輛10筆直地后退了 30cm(相當于判定區域的前后寬度)。因而，在步驟145中，在履歷區域H內使圖像向前方移動與該車輛10的移動量對應的量(30cm)。這樣，根據車輛的運動量，決定履歷制作用圖像相對于虛擬的車輛10的位置的相對的配置。
[0162]然后，如果從擋位位置切換為倒擋起第6次的圖5的處理的執行機會到來，則控制裝置2從步驟105向步驟110前進，在步驟110中從車載照相機I取得最新的攝影圖像，在步驟115中將攝影圖像進行俯瞰變換，將其結果的俯瞰圖像的一部分切割出，向實時區域R
覆寫保存。
[0163]在此時記錄在第2子實時區域R2中的俯瞰圖像中，如圖8F所示，在車輛10的緊接著的后方包含有亮度變化劇烈的亮度變化圖案圖像55。該亮度變化圖案圖像55是由于與在上次的圖5的處理的執行機會中出現在第2子實時區域R2中的亮度變化圖案圖像54相同的原因而發生的圖像，配置、大小及亮度變化都大致與亮度變化圖案圖像54相同。
[0164]在接著步驟115的步驟120中，對包含這樣的亮度變化圖案圖像54的第2子實時區域R2進行亮度分析。在本事例中，假設亮度分析的結果是，各判定區域R21?R26中的平均亮度L(Y)的變化量與上述閾值的大小關系和上次的執行機會的步驟120相同。
[0165]因而，在接著的步驟125中，作為履歷制作用區域而將判定區域R21、R22排除，僅區域R23?R26被選擇為履歷制作用區域。于是，在步驟130中，如圖9F所示，僅將判定區域R23?R26中的俯瞰圖像分別向復制目標區域H13?H16覆寫復制。
[0166]另外，通過上次及上上次的圖5的處理的執行機會的步驟145的處理，從而上次及上上次的圖5的處理的執行機會中從第2子實時區域R2復制的俯瞰圖像移動到此次不為覆寫復制目標的復制目標區域H11、H12中。
[0167]在接著的步驟135中，如圖8F所示，制作在當前的實時區域R中的圖像上合成第2子履歷區域H2中的圖像并進一步透過地疊加了車輛用圖像10的圖像，作為顯示用圖像D。
[0168]在該時點，在上次的圖5的執行機會的步驟145中，在履歷區域H中履歷制作用圖像的位置(相對于虛擬的車輛10的位置的相對的配置)發生變化。并且，由此俯瞰圖像進一步從第I子履歷區域Hl (具體而言是復制目標區域Hll)移動到第2子履歷區域H2中。結果，在第2子履歷區域H2中，包含俯瞰圖像的區域增大。
[0169]因而，在此次的步驟135中，以與在上次的圖5的執行機會的步驟145中在履歷區域H中變化后的履歷制作用圖像的相對配置相對應的配置，將第2子履歷區域H2中的履歷制作用圖像顯示到圖像顯示裝置上。
[0170]這里也同樣地，如果在上次的圖5的執行機會的步驟125中判定區域R21包含在履歷制作用區域中，則在步驟145中該俯瞰圖像(包含亮度變化圖案圖像54)應該進入到第2履歷區域H2內。如果是這樣，則在此次的圖5的執行機會的步驟135中，在顯示用圖像D中包含亮度變化圖案圖像54。
[0171]進而，如果在上上次的圖5的執行機會的步驟125中判定區域R22包含在履歷制作用區域中，則在步驟145中該俯瞰圖像(包含亮度變化圖案圖像53)應該進入到第2履歷區域H2內。如果是這樣，則在此次的圖5的執行機會的步驟135中，在顯示用圖像D中包含亮度變化圖案圖像53。
[0172]但是，在本實施方式中，找出亮度變化圖案圖像53、54，并將包含找出的亮度變化圖案圖像53、54的判定區域從履歷制作用區域中排除。由此，能夠降低亮度變化圖案圖像53,54持續留在顯示用圖像D內而使顯示用圖像D的辨識性惡化的可能性。
[0173]在接著的步驟140中，如已經說明那樣，計算之前的控制周期大小的期間中的車輛的運動，在步驟145中，在履歷區域H內使圖像向前方移動與該車輛10的運動對應的量。這樣，根據車輛的運動量，決定履歷制作用圖像相對于虛擬的車輛10的位置的相對的配置。
[0174]然后，也在擋位位置持續是倒擋的期間中，按照每個控制周期而重復圖5的步驟105?145的處理。
[0175]如以上說明的那樣，本實施方式的控制裝置2從車載照相機I依次取得攝影圖像而進行俯瞰變換(步驟110、115)，計算俯瞰圖像中的多個判定區域R21?R26內的亮度變化量(步驟120)，基于該計算結果，選擇多個判定區域中的亮度變化量不到規定的閾值的判定區域作為履歷制作用區域，將從判定區域R21連續而亮度變化量為規定的閾值以上的判定區域從履歷制作用區域排除(步驟125)，使圖像顯示裝置3以從車輛的上方俯視的視點顯示履歷作用區域內的圖像和車輛用圖像，根據車輛的運動量，使履歷制作用區域中的圖像相對于車輛用圖像的相對的配置變化(步驟135、140、145)。
[0176]這樣，在使圖像顯示裝置以從車輛的上方俯視的視點顯示履歷制作用區域內的攝影圖像和車輛用圖像、根據車輛的運動量使履歷制作用區域中的攝影圖像相對于車輛用圖像的相對的配置發生變化的車輛周圍圖像顯示控制裝置中，通過計算攝影圖像中的多個判定區域R21?R26內的亮度變化量，選擇亮度變化量不到規定的閾值的判定區域作為履歷制作用區域，并且將亮度變化量為規定的閾值以上的判定區域從履歷制作用區域中排除，能夠降低隨著車輛的移動而在顯示用圖像中本車輛附近的亮度變化圖案擴大的可能性。
[0177]此外，控制裝置2將從車載照相機I取得的攝影圖像向規定的實時區域R保存，將基于在實時區域R內設定的多個判定區域R21?R26內的圖像的亮度變化量而選擇的履歷制作用圖像保存到履歷區域值H中的第I子履歷區域Hl，根據車輛的上述運動量，使第I子履歷區域Hl內的履歷制作用圖像向履歷區域值H中的第2子履歷區域H2移動，使圖像顯示裝置3顯示第2子履歷區域內的圖像和實時區域R內的圖像。
[0178]因而，與以往同樣，能夠使用實時區域R和履歷區域值H進行履歷合成，所以能夠抑制存儲器使用量的增大并抑制處理負荷的增大。
[0179](其他實施方式)
[0180](I)在上述實施方式中，設定將第2子實時區域R2進行6等分而得到的6個判定區域R21?R26，以這些設定的判定區域R21?R26為單位，進行亮度分析及履歷制作用區域的選擇。并且，這些判定區域R21?R26相互不重疊。
[0181]但是，作為亮度分析及履歷制作用區域的選擇的單位的多個判定區域并不限于上述那樣的區域，也可以采用范圍與相鄰的判定區域一部分重疊那樣的多個判定區域。
[0182](2)在上述實施方式中，顯示用圖像D是將第2子履歷區域H2中的圖像、實時區域R中的圖像和車輛用圖像10合成后的圖像，但也可以并不一定這樣。
[0183]例如，顯示用圖像D也可以為將第2子履歷區域H2中的圖像、第I子履歷區域Hl中的圖像、第I子實時區域Rl中的圖像和車輛用圖像10合成后的圖像。即，能夠由車載照相機I攝影的范圍也可以使用最新的攝影圖像以外的圖像顯示。
[0184]此外，顯示用圖像D也可以為僅將第2子履歷區域H2中的圖像和車輛用圖像10合成的圖像。
[0185](3)此外，在上述實施方式中，亮度分析是對俯瞰變換后的攝影圖像(即，俯瞰圖像)中進行的，但亮度分析及履歷制作用區域的選擇也可以對俯瞰變換前的攝影圖像進行。但是，前者由于判定區域為矩形，所以處理負荷較低。
[0186](4)此外，在上述實施方式中，作為各判定區域內的亮度變化量而采用上述平均亮度L(Y)的該判定區域內的變化量，但并不一定限于這樣的形態。
[0187](5)此外，在上述實施方式中，在圖5的處理的各執行機會中，進行將由步驟110取得的攝影圖像俯瞰變換后的俯瞰圖像(它也是攝影圖像的一形態)的亮度分析，根據其亮度分析結果決定履歷制作用區域。
[0188]但是，也可以并不一定是這樣。例如在圖5的處理中，也可以在從擋位位置成為倒擋起最初的執行機會中執行步驟110?145的處理，在第2次以后的執行機會中，不進行步驟120、125的處理而僅進行步驟110、115、130、135、140、145的處理。在此情況下，在第2次以后的執行機會中，將在最初的執行機會中由步驟125決定的履歷制作用區域反復使用。
[0189]在從擋位位置成為倒擋起最初的執行機會中，也可以不執行步驟130?145的處理。在此情況下，用于決定履歷制作用區域的對象的攝影圖像(俯瞰圖像)，是與實際作為履歷制作用圖像而向第I子履歷區域Hl復制的攝影圖像(俯瞰圖像)不同的攝影圖像。
[0190](6)在上述各實施方式中，車載照相機I將車輛的后方的規定范圍反復攝影，但車載照相機I也可以將車輛的前方的規定范圍反復攝影。在此情況下，在上述說明書中，將車輛的前后替換而重讀。
[0191]本公開依據實施例進行了記述，但應理解的是本公開并不限定于該實施例或構造。本公開還包含各種各樣的變形例或等價范圍內的變形。除此以外，各種各樣的組合或形態、還有在它們中包含僅一要素、其以上或其以下的其他組合或形態也包含在本公開的范疇或思想范圍中。
【權利要求】
1.一種車輛周圍圖像顯示控制裝置，其特征在于，具備: 取得裝置(110、115)，從對車輛的周圍進行反復攝影的車載照相機(I)依次取得攝影圖像； 亮度分析裝置(120)，計算各攝影圖像中的多個判定區域(R21?R26)內的各亮度變化量; 履歷制作用區域決定裝置(125)，基于上述亮度分析裝置的計算結果，選擇亮度變化量不到規定的閾值的判定區域作為履歷制作用區域，將亮度變化量為規定的閾值以上的判定區域從履歷制作用區域中排除；以及 顯示控制裝置(135、140、145)，使圖像顯示裝置(3)以從上述車輛的上方俯視的視點顯示各攝影圖像中的上述履歷制作用區域內的履歷制作用圖像和車輛用圖像，根據基于從上述車輛輸入的車輛動態信息的上述車輛的運動量，使上述履歷制作用圖像相對于上述車輛用圖像的相對的配置發生變化而顯示。
2.如權利要求1所述的車輛周圍圖像顯示控制裝置，其特征在于， 上述取得裝置(110、115)將從上述車載照相機取得的攝影圖像向存儲器中的規定的實時區域(R)保存； 上述亮度分析裝置計算保存在上述實時區域(R)內的攝影圖像的上述多個判定區域內的亮度變化量； 上述顯示控制裝置將上述履歷制作用區域內的上述履歷制作用圖像向存儲器中的履歷區域(H)中的第I子履歷區域(Hl)保存； 上述顯示控制裝置根據上述車輛的上述運動量，使上述第I子履歷區域(Hl)內的上述履歷制作用圖像向上述履歷區域中的第2子履歷區域(H2)移動； 上述顯示控制裝置使上述圖像顯示裝置顯示上述第2子履歷區域內的圖像。
3.如權利要求1或2所述的車輛周圍圖像顯示控制裝置，其特征在于， 將亮度變化量為上述閾值以上的判定區域中的、從與距上述車輛最近的位置對應的判定區域向上述車輛的后方連續存在的判定區域，從履歷制作用區域中排除； 將距上述車輛最近且亮度變化量不到上述閾值的判定區域、以及與比其距上述車輛遠的位置對應的判定區域，包含在履歷制作用區域中。
4.一種車輛周圍圖像顯示方法，其特征在于，具備如下步驟: 從對車輛的周圍進行反復攝影的車載照相機(I)依次取得攝影圖像； 計算各攝影圖像中的多個判定區域(R21?R26)內的亮度變化量； 基于上述亮度變化量的計算結果，選擇亮度變化量不到規定的閾值的判定區域作為履歷制作用區域，將亮度變化量為規定的閾值以上的判定區域從履歷制作用區域中排除； 使圖像顯示裝置(3)以從上述車輛的上方俯視的視點顯示各攝影圖像中的上述履歷制作用區域內的履歷制作用圖像和車輛用圖像，根據基于從上述車輛輸入的車輛動態信息的上述車輛的運動量，使上述履歷制作用圖像相對于上述車輛用圖像的相對的配置發生變化而顯示。
5.一種持續性有形計算機可讀介質，其特征在于，具備由計算機實施的指令，該指令包括控制車輛周圍圖像的顯示的計算機實施方法，所述指令具備如下步驟: 從對車輛的周圍進行反復攝影的車載照相機(I)依次取得攝影圖像； 計算各攝影圖像中的多個判定區域(R21?R26)內的亮度變化量； 基于上述亮度變化量的計算結果，選擇亮度變化量不到規定的閾值的判定區域作為履歷制作用區域，將亮度變化量為規定的閾值以上的判定區域從履歷制作用區域中排除； 使圖像顯示裝置(3)以從上述車輛的上方俯視的視點顯示各攝影圖像中的上述履歷制作用區域內的履歷制作用圖像和車輛用圖像，根據基于從上述車輛輸入的車輛動態信息的上述車輛的運動量，使上述履歷制作用圖像相對于上述車輛用圖像的相對的配置發生變化而顯示。
6.一種車輛周圍圖像顯示控制裝置，其特征在于，具備: 取得裝置(110、115)，從對車輛的周圍進行反復攝影的車載照相機(I)依次取得攝影圖像； 存儲器，具有:保存從上述車載照相機取得的各攝影圖像的實時區域(R)、和保存履歷圖像的履歷區域⑶； 亮度分析裝置(120)，計算保存在上述實時區域(R)內的各攝影圖像的多個判定區域(R21?R26)內的各亮度變化量； 履歷制作用區域決定裝置(125)，基于上述亮度分析裝置的計算結果，選擇亮度變化量不到規定的閾值的判定區域作為履歷制作用區域，將亮度變化量為規定的閾值以上的判定區域從履歷制作用區域中排除；以及 顯示控制裝置(135、140、145)，將上述履歷制作用區域內的履歷制作用圖像向存儲器的履歷區域(H)的第I子履歷區域(Hl)保存，根據基于從上述車輛輸入的車輛動態信息的上述車輛的運動量，將上述第I子履歷區域(Hl)內的上述履歷制作用圖像向存儲器的履歷區域(H)的第2子履歷區域(H2)覆寫，使圖像顯示裝置(3)以從上述車輛的上方俯視的視點顯示上述第2子履歷區域內的履歷圖像和上述第I子履歷區域內的履歷圖像。
【文檔編號】H04N7/18GK104429059SQ201380035388
【公開日】2015年3月18日 申請日期:2013年3月14日 優先權日:2012年7月4日
【發明者】王丙辰, 柳川博彥, 竹市真和 申請人:株式會社電裝