移動物體位置姿態角推定裝置及移動物體位置姿態角推定方法
【技術領域】
[0001]本發明涉及一種推定移動物體的位置及姿態角的移動物體位置姿態角推定裝置及其方法。
【背景技術】
[0002]當前，已經開發了通過對三維地圖信息和魚眼鏡頭攝像機的拍攝圖像進行匹配而計算移動物體的自身位置的技術，專利文獻I公開了該技術。
[0003]在該技術中，利用設置于車輛上的魚眼鏡頭攝像機對信號機進行拍攝，根據拍攝得到的信號機圖像計算相對于車輛的仰角和水平角，在此基礎上根據信號機的發光位置坐標和高度，確定車輛的當前位置。
[0004]專利文獻1:日本特開2006 - 10328號公報
【發明內容】
[0005]然而，在上述現有技術中，存在如下問題點，即，為了推定車輛的自身位置，需要信號機，在沒有信號機的交叉路口、單行道等，無法對自身位置進行推定。
[0006]因此，本發明就是鑒于上述情況而提出的，其目的在于提供一種移動物體位置姿態角推定裝置以及移動物體位置姿態角推定方法，其即使不存在像信號機這樣的特定的裝置也能夠對移動物體的位置及姿態角進行推定。
[0007]為了解決上述課題，本發明獲取利用魚眼鏡頭拍攝移動物體的周圍環境得到的魚眼鏡頭圖像，針對魚眼鏡頭圖像的規定區域獲取畸變小的針孔圖像。并且，對移動物體的行進方向上的行駛路的彎曲度進行檢測，在檢測出的彎曲度小于規定值的情況下，選擇針孔圖像，在彎曲度大于或等于規定值的情況下，選擇魚眼鏡頭圖像。如果以上述方式選擇圖像，則進行選擇出的圖像的邊緣信息和從三維地圖數據提取出的虛擬圖像的邊緣信息之間的匹配，推定移動物體的位置及姿態角。
【附圖說明】
[0008]圖1是表示具備應用了本發明的第I實施方式所涉及的移動物體位置姿態角推定裝置的移動物體位置姿態角推定系統的結構的框圖。
[0009]圖2是表示由應用了本發明的第I實施方式所涉及的移動物體位置姿態角推定裝置進行的移動物體位置姿態角推定處理的處理順序的流程圖。
[0010]圖3是用于說明魚眼鏡頭攝像機的視場角和針孔圖像的視場角的圖。
[0011]圖4是表示由應用了本發明的第I實施方式所涉及的移動物體位置姿態角推定裝置進行的移動物體位置姿態角計算處理的處理順序的流程圖。
[0012]圖5是表示由應用了本發明的第I實施方式所涉及的移動物體位置姿態角推定裝置進行的移動物體位置姿態角計算處理的處理順序的流程圖。
[0013]圖6是表示由應用了本發明的第2實施方式所涉及的移動物體位置姿態角推定裝置進行的移動物體位置姿態角推定處理的處理順序的流程圖。
[0014]圖7是表示由應用了本發明的第3實施方式所涉及的移動物體位置姿態角推定裝置進行的移動物體位置姿態角推定處理的處理流順序的流程圖。
[0015]圖8是表示由應用了本發明的第4實施方式所涉及的移動物體位置姿態角推定裝置進行的移動物體位置姿態角推定處理的處理順序的流程圖。
[0016]圖9是表示由應用了本發明的第5實施方式所涉及的移動物體位置姿態角推定裝置進行的移動物體位置姿態角推定處理的處理順序的流程圖。
[0017]圖10是表示由應用了本發明的第6實施方式所涉及的移動物體位置姿態角推定裝置進行的移動物體位置姿態角推定處理的處理順序的流程圖。
[0018]圖11是表示具備應用了本發明的第7實施方式所涉及的移動物體位置姿態角推定裝置的移動物體位置姿態角推定系統的結構的框圖。
【具體實施方式】
[0019]以下，參照附圖對應用了本發明的第I?第7實施方式進行說明。
[0020][第I實施方式]
[0021][移動物體位置姿態角推定裝置的結構]
[0022]圖1是表示搭載有本實施方式所涉及的移動物體位置姿態角推定裝置的移動物體位置姿態角推定系統的結構的框圖。如圖1所示，本實施方式所涉及的移動物體位置姿態角推定系統具備ECU1、魚眼鏡頭攝像機2、三維地圖數據庫3、車輛傳感器組4以及導航系統5。此外，在本實施方式中，對將移動物體位置姿態角推定裝置應用于車輛上的情況進行說明。
[0023]這里，E⑶I是由ROM、RAM、運算電路等構成的電子控制單元，具備本實施方式所涉及的移動物體位置姿態角推定裝置10。此外，ECUl也可以兼用作用于其他控制的ECU。
[0024]魚眼鏡頭攝像機2例如是利用了 CCD等固體拍攝元件的攝像機，在本實施方式中，以光軸水平、且能夠拍攝車輛前方的方式設置于車輛的前保險杠上。所拍攝的魚眼鏡頭圖像發送至E⑶I。另外，魚眼鏡頭可以是視場角約為170[deg]且等距投影方式的通常的鏡頭O
[0025]三維地圖數據庫3例如存儲有包含路面顯示在內的周圍環境的邊緣等的三維位置信息。在本實施方式中，至少記錄有表示道路端部的劃分線、路緣石等的位置和其朝向的三維信息，此外除了白線、停止線、人行橫道、路面標記等路面顯示之外還包含建筑物等構造物的邊緣信息。此外，作為三維地圖數據庫3的數據格式，道路端部等的各地圖信息定義為邊緣的集合體。在邊緣為較長的直線的情況下，例如每隔Im分隔，因此不存在特別長的邊緣。在直線的情況下，各邊緣帶有表示直線的兩端點的三維位置信息。在曲線的情況下，各邊緣帶有表示曲線的兩端點和中央點的三維位置信息。
[0026]車輛傳感器組4具備GPS接收器41、加速傳感器42、轉向傳感器43、制動傳感器44、車速傳感器45、加速度傳感器46、車輪速度傳感器47以及三軸陀螺儀傳感器48。車輛傳感器組4與E⑶I連接，將利用各傳感器41?48檢測到的各種檢測值供給至E⑶I。E⑶I通過利用車輛傳感器組4的輸出值而計算車輛的大概位置，或者計算表示在單位時間內車輛行進的移動量的里程。
[0027]導航系統5可以是與搭載于通常的車輛上的導航系統相同的系統，具備數據庫，該數據庫儲存有利用鏈路和節點記錄的道路地圖信息。并且，針對由車輛的駕駛者的操作所設定的目的地，計算將駕駛時間、距離等優化后的路線，計算出的路線向駕駛者通知，并發送至E⑶I。
[0028]移動物體位置姿態角推定裝置10是進行拍攝移動物體的周圍環境得到的圖像和三維地圖數據之間的匹配而推定移動物體的位置及姿態角的裝置。移動物體位置姿態角推定裝置10通過執行儲存于ROM中的移動物體位置姿態角推定用的程序，而作為魚眼鏡頭圖像獲取部12、針孔圖像獲取部14、圖像選擇部16以及位置姿態角推定部18進行動作。
[0029]魚眼鏡頭圖像獲取部12從魚眼鏡頭攝像機2獲取魚眼鏡頭圖像，該魚眼鏡頭圖像是利用魚眼鏡頭對移動物體的周圍環境進行拍攝而得到的。在魚眼鏡頭圖像中，拍攝有移動物體的周圍環境，作為用于推定本車輛的位置及姿態角所需的路面信息，至少拍攝有表示道路端部的劃分線、路緣石。另外，除此之外，也可以拍攝有白線、停止線、人行橫道、路面標記等的路面顯不。
[0030]針孔圖像獲取部14針對魚眼鏡頭圖像的規定區域獲取畸變較小的針孔圖像。特別是，在本實施方式中，通過對利用魚眼鏡頭攝像機2拍攝得到的魚眼鏡頭圖像的規定區域進行畸變校正，而獲取畸變較小的針孔圖像。在針孔圖像中，與魚眼鏡頭圖像相同地，拍攝有移動物體的周圍環境，作為用于推定本車輛的位置及姿態角所需的路面信息，至少拍攝有表示道路端部的劃分線、路緣石。另外，除此之外，也可以拍攝有白線、停止線、人行橫道、路面標記等的路面顯不。
[0031]圖像選擇部16對移動物體的行進方向上的行駛路的彎曲度進行檢測，在檢測出的彎曲度小于規定值的情況下，選擇針孔圖像，在彎曲度大于或等于規定值的情況下，選擇魚眼鏡頭圖像。這里，行駛路的彎曲度是表示行駛路以何種程度彎曲的指標，如果行駛路較大程度地彎曲，則彎曲度的值變大，如果行駛路未彎曲，則彎曲度的值變小。
[0032]特別是，在本實施方式中，對移動物體的行進方向上的轉彎半徑進行檢測，在檢測出的轉彎半徑大于或等于規定值的情況下，判定為彎曲度小于規定值而選擇針孔圖像。另一方面，在轉彎半徑小于規定值的情況下，判定為彎曲度大于或等于規定值而選擇魚眼鏡頭圖像。
[0033]位置姿態角推定部18基于由圖像選擇部16選擇的圖像而進行與三維地圖數據的匹配，推定移動物體的位置及姿態角。特別是，進行所選擇的圖像的邊緣信息和從三維地圖數據提取出的虛擬圖像的邊緣信息之間的匹配，推定移動物體的位置及姿態角。此時，在虛擬圖像中包含有所推定的移動物體的虛擬位置和虛擬姿態角。另外，在與三維地圖數據的匹配中，基于在所選擇的圖像中拍攝有的周圍環境中的特別是表示道路端部的路面信息而進行匹配。
[0034]此外，在本實施方式中，對應用于車輛上的情況進行了說明，但只要是移動物體即可，也可以應用于飛機、船舶等。在應用于飛機、船舶的情況下，作為周圍環境，可以取代與道路相關的路面信息而是通過對地形、建筑物進行匹配，推定移動物體的位置和姿態角。
[0035][移動物體的位置姿態角推定處理的順序]
[0036]下面參照圖2的流程圖對本實施方式所涉及的移動物體的位置姿態角推定處理的順序進行說明。此外，在本實施方式中，對作為車輛的位置信息的前后方向、橫向、上下方向、作為姿態角信息的側傾、俯仰、偏轉合計6個自由度的位置和姿態角進行推定。另外，在以下所說明的移動物體的位置姿態角推定處理，例如以100msec左右的間隔連續地進行。
[0037]如圖2所示，首先在步驟SlO中，利用魚眼鏡頭攝像機2拍攝得到的影像發送至E⑶I，魚眼鏡頭圖像獲取部12獲取魚眼鏡頭圖像。
[0038]在步驟S20中，針孔圖像獲取部14對利用魚眼鏡頭攝像機2拍攝得到的影像的規定區域進行畸變校正，由此計算并獲得畸變較小的針孔圖像。由于魚眼鏡頭攝像機2的魚眼鏡頭為等距投影方式，因此在本實施方式中，以魚眼鏡頭的虛擬球面模型進行考慮，以在虛擬球面和光軸的交點處相接的平面屏幕像上再現的方式，校正畸變而計算針孔圖像。另外，如圖3所示，該針孔圖像是在魚眼鏡頭攝像機2的視場角170[deg]中，將視場角40[deg]的區域作為規定區域進行畸變校正而計算