圖像處理設備和圖像處理方法
【專利說明】圖像處理設備和圖像處理方法
[0001]相關申請的交叉引用
[0002]本申請要求于2014年3月24日提交的日本專利申請號2014-060739的優先權的權益,其全部內容通過引用并入本文中。
技術領域
[0003]本文中描述的實施方式總體上涉及一種圖像處理設備以及一種圖像處理方法。
【背景技術】
[0004]近年來，作為一種用于防止車輛(例如，汽車)或預定的對象(例如，在路肩上的路燈)與相對地接近預定對象的對象碰撞的技術，已經要求開發一種用于預測預定對象與該對象之間的碰撞時間(TTC)的技術。例如，這種技術包括一種用于基于由監控攝像頭(例如，安裝在車輛上的攝像頭或固定安裝在路燈上的攝像頭)拾取(pick up)的圖像預測在車輛與對象之間的碰撞時間的技術。在使用由車載攝像頭拾取的圖像時，由于與使用雷達時不同的是使用數字化圖像數據，所以進行的關于對象等的接近角的判定復雜。
[0005]通常，例如，這種技術包括基于在源圖像內的對象的放大因子預測碰撞時間(TTC)的技術以及基于源圖像內的地面的位置與對象的位置預測碰撞時間(TTC)的技術。
[0006]另一方面，用于檢測在源圖像內的對象的圖像處理技術近年來明顯取得進展，其目的在于減少檢測所需要的時間，同時提高檢測精度。例如，這種對象檢測技術包括使用HOG(方向梯度直方圖)特征值的技術。
[0007]使用HOG特征值的對象檢測處理(在后文中稱為HOG處理)通過在預定的時間段內放大和縮小單個源圖像可檢測對象，從而制備多個圖像(在后文中稱為圖像金字塔)，并且使用相同尺寸的框來掃描多個圖像中的每一個。
[0008]構成圖像金字塔的多個圖像在比例因子上彼此不同，并且對象在多個圖像中被顯示成不同尺寸。因此，利用使用圖像金字塔檢測對象的技術，可通過分量圖像的比例因子，大致預測到對象的距離，在分量圖像中，掃描框和對象在圖像金字塔的分量圖像之中的尺寸上幾乎一致。
[0009]然而，圖像金字塔的每個分量圖像的比例因子是離散值，使得使用圖像金字塔檢測對象的技術難以精確地預測碰撞時間(TTC)。而且，如果用于基于在源圖像中的對象的放大因子預測TTC的技術應用于使用圖像金字塔檢測對象的技術，對象的放大因子采用異常值，使得難以精確地預測TTC。此外，當利用基于地面的位置與在源圖像中的對象的位置預測TTC的技術，使用地面的位置時，誤差在遠位置時變得非常大。
【發明內容】
[0010]鑒于以上條件，設計本發明，并且本發明的一個目標在于，提供一種圖像處理設備以及一種圖像處理方法，用于檢測包含在處理圖像內的檢測對象并且精確地預測所檢測的檢測對象的TTC (碰撞時間)。
[0011]為了解決以上問題，根據一個實施方式，圖像處理設備包括處理圖像生成單元、檢測單元以及計算單元。
[0012]處理圖像生成單元獲取由設置在車輛上的攝像頭拾取的車輛周圍的圖像，并且通過由相應的多個比例因子放縮攝像頭所拾取的圖像來生成多個處理圖像。
[0013]檢測單元根據檢測對象，通過具有預定尺寸的框(frame)掃描所述多個處理圖像中的每一個，并且使用檢測對象的字典(dict1nary)來在每個掃描位置確定似然(likelihood)。檢測單元還檢測具有比預定似然更高的似然的掃描框。所述多個處理圖像提前與相應的多個圖像距離相關聯，其中，所述多個圖像距離中的每一個圖像距離是距離車輛的預定推測距離。
[0014]計算單元根據與由檢測單元檢測的掃描框所屬的處理圖像相關聯的圖像距離，確定從車輛到檢測對象的確定的推測距離。計算單元還基于所確定的推測距離的歷史以及基于所述多個圖像距離，計算和輸出直到車輛和檢測對象彼此碰撞的時間。
[0015]通過該圖像處理設備以及該圖像處理方法，能夠檢測包含在處理圖像內的檢測對象并且精確地預測經檢測的檢測對象的TTC(碰撞時間)。
【附圖說明】
[0016]包含在本說明書內并且構成本說明書的一部分的附圖示出了本發明的實施方式，并且與以上給出的概要說明以及以下給出的實施方式的詳細說明一起用于解釋本發明的原理。
[0017]圖1為示出根據本發明的一個實施方式的圖像處理設備的一個配置實例的方框圖；
[0018]圖2為概述用于使用從由攝像頭獲取的圖像中生成的圖像金字塔來檢測包含在處理圖像內的檢測對象并且精確地預測經檢測的檢測對象的TTC的程序的流程圖，其中，由在圖1中所示的控制單元的CPU執行這些程序；
[0019]圖3為示出在由字典生成單元生成字典時設置的預定范圍的一個實例的說明圖；
[0020]圖4為示出用于檢測在自有汽車旁邊行駛的另一輛汽車的正面(front face，前面)而設置左部分、右部分以及后部分上的各個攝像頭的視線軸和投影平面的一個實例的說明圖；
[0021]圖5為示出由處理圖像生成單元生成的圖像金字塔的一個實例的說明圖；
[0022]圖6為用于描述在檢測對象是汽車時使用的掃描框(進行HOG處理的區域:檢測平面)的不圖；
[0023]圖7A為示出在焦距為f時歸一化圖像的一個實例的說明圖；
[0024]圖7B為示出在檢測對象是個人時將掃描框的高度Oh分成三種類型的方式的一個實例的說明圖；
[0025]圖8A為示出其中檢測站在地面上的個人的焦點位置圖像的一個實例的說明圖；
[0026]圖8B為用于計算在圖8A中所示的實例中的檢測框的下端Hyb的方法的示圖；
[0027]圖9為示出其中檢測漂浮在地面之上預定的高度的個人的焦點位置圖像的一個實例的說明圖；
[0028]圖10為示出在圖2的步驟S7中由TTC計算單元執行的TTC計算處理的程序的一個實例的子程序流程圖；
[0029]圖11為用于描述選擇有效距離的第一方法的示圖；
[0030]圖12為用于描述選擇有效距離的第二方法的示圖；
[0031]圖13A為示出用于描述選擇有效距離的第三方法的焦點位置圖像的一個實例的說明圖；
[0032]圖13B為用于描述計算在圖13A中所示的實例中從自有車輛到檢測對象的距離Dz的方法的示圖；
[0033]圖14為用于描述基于有效距離的TTC計算方法的示圖；
[0034]圖15為用于描述在檢測對象與自有車輛之間的相對速度下降時重新計算TTC的方法的示圖；
[0035]圖16A為在檢測框的下端是在地面之上的Dy時示出焦點位置圖像的一個實例的說明圖；以及
[0036]圖16B為用于描述在圖16A中所示的實例中使用重新計算的距離Dz’來修改在處理圖像上的檢測框的位置的方法的示圖。
【具體實施方式】
[0037]在后文中，參照附圖，描述根據本發明的實施方式的一種圖像處理設備以及一種圖像處理方法。
[0038]圖1為示出根據本發明的一個實施方式的圖像處理設備10的一個配置實例的方框圖。
[0039]圖像處理設備10包括攝像頭11、控制單元12、存儲單元13、車輛信息獲取單元14、照明系統16、喇叭17、揚聲器18以及顯示裝置19。
[0040]由CXD (電荷耦合器件)圖像傳感器或CMOS (互補金屬氧化物半導體)圖像傳感器構成的的攝像頭11通過捕捉在車輛(例如，私家車)周圍的視頻圖像來生成圖像數據，并且將圖像數據提供給控制單元12。
[0041]例如，為了在后面監控，在車輛的后車號牌附近或者在后窗的上部分中設置攝像頭11 (后置攝像頭)。而且，為了監控在車輛的側邊的狀況，在側視鏡附近設置攝像頭11 (側置攝像頭)。而且，為了監控車輛前面的狀況，在車輛的前車號牌附近或者在前窗的上部分中設置攝像頭11 (前置攝像頭)。
[0042]攝像頭11可裝有廣角鏡頭或魚眼鏡頭，以能夠進行廣角成像。如果在側視鏡附近布置能夠進行廣角成像的攝像頭11 (側置攝像頭)，那么可同時拾取在車輛前面和后面的狀況以及在車輛的側邊的狀況。而且，使用多個攝像頭11，可捕捉在車輛周圍的更大范圍的圖像。
[0043]在下面描述的一個實例中，攝像頭11裝有廣角鏡頭或魚眼鏡頭，以能夠進行廣角成像。
[0044]例如，控制單元12由配備有CPU、RAM以及ROM的微控制器構成。控制單元12的CPU將圖像處理程序以及執行該程序所需要的數據從存儲介質(例如，ROM)裝載入RAM中，并且根據該程序執行處理，以使用圖像金字塔來檢測包含在處理圖像內的檢測對象，并且精確地預測經檢測的檢測對象的TTC(碰撞時間)，其中，從由攝像頭11獲取的圖像中生成圖像金字塔。
[0045]控制單元12的RAM提供工作區域，以臨時存儲由CPU執行的程序以及相關數據。控制單元12的存儲介質(例如，ROM)存儲圖像處理程序以及為了執行該程序所需要的各種數據。
[0046]要注意的是，存儲介質(例如，ROM)可被配置為包括由CPU可讀的記錄介質，例如，磁性或光學記錄介質或半導體存儲器，并且通過網絡連接單元(未顯示)，從電子網絡中將程序和數據的一些或全部下載到這些存儲介質上。
[0047]在這種情況下，網絡連接單元支持各種信息和通信網絡協議，以適應不同形式的網絡，并且根據各種協議中合適的協議，經由電子網絡連接控制單元12和其他車輛的ECU或其他電氣設備。通過電子網絡進行的電氣連接可用于進行這種連接。電子網絡在此表示使用電信技術的廣義的信息和通信網絡，并且可為無線/有線LAN(局域網)或互聯網、電話通信網絡、光纖通信網絡、電纜通信網絡以及衛星通信網絡中的任一個。
[0048]存儲單元13是非易失性存儲器，控制單元12可從該非易失性存儲器中讀取數據以及將數據寫入該非易失性存儲器內，并且存儲使用通過拾取檢測對象所獲得的圖像來提前生成的各種信息，包括圖像字典(模型)。通過電子網絡或者通過便攜式存儲介質(例如，光盤)可更新所存儲的信息。
[0049]車輛信息獲取單元14至少獲取關于自有汽車的當前加速度信息并且將該信息輸出給控制單元12。例如，車輛信息獲取單元14可由加速度傳感器構成或者可配備有通常用于CAN(控制器局域網絡)上的車輛信息獲取功能。在本實施方式中，不需要安裝車輛信息獲取單元14。
[0050]由典型的前燈構成的照明系統16在控制單元12的控制下閃光(所謂的超車)，例如，從而將警報提供給自有車輛的外面。
[0051]喇叭17在控制單元12的控制下將警報聲音輸出到自有車輛的外面。
[0052]揚聲器18設置于自有車輛的內部。在控制單元12的控制下，揚聲器18輸出蜂鳴