一種基于GPS的雙目融合定位方法及裝置與流程

本發明涉及計算機視覺技術，尤其是一種實時的物體定位方法，尤其是物體在大規模的環境中進行精確定位的方法。

背景技術：

實現視覺定位一直都是無人機或者機器人智能化的技術難題。要解決無人機自主飛行的問題，首先得確認自身的位置信息。但是現在常用的視覺定位算法存在過高的計算量而無法應用于大規模的室外環境中，且其存在一定程度的誤差。無人機或者機器人在室外能夠實現精確定位都是依賴于GPS導航。但是使用GPS進行定位，物體只能被動由自身所攜帶的GPS設備發送的信息進行定位，由于GPS定位精度在理想的情況下只有2.5米，并且更新頻率較低。另外對于室內物體而言，GPS信號會因遮擋而丟失，無法實現室內定位，導致定位誤差增大，故物體并不知道自身所在的確切位置，無法實現精確定位。

技術實現要素：

本發明所要解決的技術問題是：針對上述存在的問題，提供一種基于GPS的雙目融合定位方法及裝置。本發明可適用于各種物體的自身定位，例如無人機或機器人的自定位。

本發明提供的基于GPS的雙目融合定位方法，包括：

步驟1：獲取待定位物體所在空間的三維地圖，所述三維地圖包含空間環境的圖像特征及環境中各點的地球坐標；

步驟2：獲取待定位物體的經度、緯度，根據待定位物體的經度、緯度得到待定位物體在三維地圖中的粗定位范圍；

步驟3：使用位于待定位物體上的雙目測量視覺系統拍攝待定位物體周圍的參照物的圖像，根據雙目測量系統拍攝的圖像對參照物進行三維重建得到參照物的三維圖形，在粗定位范圍中尋找與所述三維圖形匹配的區域，進而確定參照物在三維地圖中的精確定位區域。

所述步驟3進一步包括：

步驟31：雙目測量視覺系統獲取參照物的左圖像及右圖像；

步驟32：分別提取左圖像及右圖像的特征值；

步驟33：根據二者的特征值確定左圖像、右圖像之間的匹配特征點；

步驟34：利用立體視覺原理對匹配特征點進行三維重建，得到這些匹配特征點的三維坐標，將這些點進行曲面擬合得到參照物的空間三維圖形；

步驟35：在待定位物體在三維地圖中的粗定位范圍中進行圖像匹配，找到與所述空間三維圖形匹配的區域進而得到待定位物體在三維地圖中的精確定位區域。

進一步，步驟2中，利用位于待定位物體上的GPS定位裝置獲取所述經度、緯度。

進一步，步驟33中，利用極限約束算法確定左圖像、右圖像中的匹配特征點。

進一步，步驟35中，提取所述空間三維圖形的特征值，在三維地圖的粗定位區域中搜索特征值與空間三維圖形特征值匹配的區域，該區域即為待定位物體在三維地圖中的精確定位區域；提取的空間三維圖像的特征值為紋理特征值或幾何特征值，所述三維地圖包含的圖像特征包括紋理特征值及幾何特征值。

本發明還提供了一種基于GPS的雙目融合定位裝置，包括：

三維地圖獲取模塊，用于獲取待定位物體所在空間的三維地圖，所述三維地圖包含空間環境的圖像特征及環境中各點的地球坐標；

粗定位模塊，用于獲取待定位物體的經度、緯度，根據待定位物體的經度、緯度得到待定位物體在三維地圖中的粗定位范圍；

精確定位模塊，用于獲取位于待定位物體上的雙目測量視覺系統拍攝待定位物體周圍的參照物的圖像，根據雙目測量系統拍攝的圖像對參照物進行三維重建得到參照物的三維圖形，在粗定位范圍中尋找與所述三維圖形匹配的區域，進而確定參照物在三維地圖中的精確定位區域。

所述精確定位模塊進一步包括：

圖像獲取單元，用于獲取雙目測量視覺系統拍攝的參照物的左圖像及右圖像；

特征值提取單元，用于分別提取左圖像及右圖像的特征值；

匹配點獲取單元，用于根據二者的特征值確定左圖像、右圖像之間的匹配特征點；

三維終點單元，用于利用立體視覺原理對匹配特征點進行三維重建，得到這些匹配特征點的三維坐標，將這些點進行曲面擬合得到參照物的空間三維圖形；

匹配圖像獲取單元，用于在待定位物體在三維地圖中的粗定位范圍中進行圖像匹配，找到與所述空間三維圖形匹配的區域進而得到待定位物體在三維地圖中的精確定位區域。

進一步，匹配點獲取單元用于利用極限約束算法確定左圖像、右圖像中的匹配特征點。

匹配圖像獲取單元進一步用于，提取所述空間三維圖形的特征值，在三維地圖的粗定位區域中搜索特征值與空間三維圖形特征值匹配的區域，該區域即為待定位物體在三維地圖中的精確定位區域；提取的空間三維圖像的特征值為紋理特征值或幾何特征值，所述三維地圖包含的圖像特征包括紋理特征值及幾何特征值。

由于采用了上述技術方案，本發明的有益效果是：

1.采用GPS系統實現物體初始定位，可實現室外較大范圍的物體定位；

2.采用雙目測量視覺系統對物體進一步定位，使定位準確度大大提高；

3.使用圖像匹配技術在三維地圖中對物體進行定位，定位精確度更高；

4.本發明采用三維特征地圖的精確定位方式，實現了物體在三維空間位置的定位。

綜上，本發明首先利用GPS定位裝置實現對待定位物體的經、緯度數據獲取，然后利用雙目測量視覺系統實現對物體的空間位置定位，能夠實現在較大范圍內確定待定位物體的三維空間位置信息，定位精度高。

附圖說明

本發明將通過例子并參照附圖的方式說明，其中：

圖1為本發明方法的流程圖。

圖2位本發明中精確定位的流程圖。

具體實施方式

本說明書中公開的所有特征，或公開的所有方法或過程中的步驟，除了互相排斥的特征和/或步驟以外，均可以以任何方式組合。

本說明書中公開的任一特征，除非特別敘述，均可被其他等效或具有類似目的的替代特征加以替換。即，除非特別敘述，每個特征只是一系列等效或類似特征中的一個例子而已。

如圖1所示，本發明方法包括以下三個步驟：

1）獲取待定位物體所在空間，如房間，大樓的三維地圖，三維地圖中至少包含有空間環境的圖像特征，如亮度特征值、紋理特征值、幾何特征值等與圖像相關的特征值，三維地圖中還應包含有空間各個點的地球坐標，地球坐標包含經度、緯度及相對地面高度三個緯度的信息，能準確反映地球上任意一點的準確位置。

三維地圖可以根據雷達或環境光傳感器獲得的環境信息進行創建，三維地圖的獲取為現有技術，其過程并非本發明關心的內容，本發明中的三維地圖是直接拷貝已有的數據得到，作為物體定位的基本坐標系統。

2）對待定位物體進行粗定位

獲取待定位物體的經度、緯度數據，本實施例中使用安裝在待定位物體上的GPS定位裝置獲取其自身的經緯度坐標，有了待定位物體的經緯度坐標便可在三維地圖中圈定其初定位區域，即三維地圖中與待定位物體經緯度坐標相同的區域都為待定位物體的粗定位區域，通過粗定位可將待定位物體的范圍大大縮小。

3）對待定位物體進行精確定位

在粗定位的基礎上，使用雙目測量視覺系統獲取待定位物體的所在空間的周圍環境圖像，為了方便描述，本發明將周圍環境成為參照物，我們將參照物的空間位置作為待定位物體的空間位置，雖然我們知道待定位物體與參照物還存在一定的空間距離，但是在更大范圍中的定位，這一空間距離可以忽略不計。

雙目測量視覺系統為現有設備，其包含左、右兩個攝像機，兩個攝像機分別進行標定后可以確定空間中的物理點在左右攝像機拍攝的兩幅圖像（本發明中成為左圖像、右圖像）中像素點的對應關系。

本實施例采用張氏標定法來標定左右攝像機的內參數，外參數通過所設置的基線距離直接提取。以左攝像機為例說明標定過程，如下：

1）用繪圖工具繪制一個棋盤模板，A4紙打印出來，貼在一張光滑平面硬紙板上；

2）將平面模板按任意角度在鏡頭前旋轉和平移，拍攝20幅不同姿態的圖像，在拍攝過程中保持光照強度和方位不變，并不調節鏡頭以免改變參數；

3）程序讀取20幅圖像，將其顯示在同一平面內；

4）提取這20幅圖像中的所有角點，并設置圖像左上角作為標定時臨時攝像機坐標；

5）提取完20幅圖像上所有角點之后，計算出每幅圖像的平面投影矩陣，確定攝像機的參數，從而獲取到攝像機的內參數。

標定后的雙目視覺測量系統就可以用來拍攝參照物圖像。得到的參照物的圖像后，根據所述圖像對參照物進行三維重建得到參照物的三維圖形，在粗定位范圍中尋找與所述三維圖形匹配的點，進而確定參照物在三維地圖中的精確定位區域。

參見圖2，下面詳細闡述精確定位的具體方法：

1、圖像采集。首先利用左右攝像頭物體周圍的場景信息進行圖像采集，獲得左右兩幅圖像；

2、對左右圖像進行特征值提取。根據不同的情境選擇不同的特征提取方式，例如：物體小范圍定位可采用角點提取、邊提取、不變矩、Hough變換等特征提取方法進行特征提取；物體大范圍定位可采用光流法、背景差法、幀差法等特征提取方法進行特征提取。

3、尋找兩幅圖像中的匹配特征點。本實施例利用極線約束等匹配原則對左圖像中的特征點在右圖像中尋找匹配點，完成左右圖像的特征點匹配，以角點特征匹配為例，具體方法如下：

1)對左圖像A進行角點篩選，得到目標點在左圖像中的坐標；

2)對右圖像B上進行角點的檢測；

3)根據極線約束求取左圖像A的目標點在右圖像B中的極線；

4)在極線上搜索步驟2)中檢測到的角點，看哪些角點在這條極線附近，并對這些候選的角點應用角點篩選的方法得到亞像素級的目標點的坐標。

按照上述方法可以獲取多組匹配特征點。

4、根據立體視覺原理實現對這些匹配特征點進行三維重建，求得這些匹配特征點的三維坐標，將這些點進行曲面擬合，即可得到空間三維圖形，即三維點云，這些空間點都是待定位物體精確定位的候選點。

5、搜索匹配圖像區域。在三維地圖的粗定位區域中搜索與空間三維圖像的最佳匹配點，即候步驟4得到的選點形成的空間三維圖形的紋理特征值或幾何特征值等特征與三維地圖中粗定位區域中的某個區域的紋理特征值或幾何特征值相匹配，則該區域即為待定位物體在三維地圖中的精確位置。

本發明還提供了一種與上述方法步驟一一對應的軟系統。

本發明并不局限于前述的具體實施方式。本發明擴展到任何在本說明書中披露的新特征或任何新的組合，以及披露的任一新的方法或過程的步驟或任何新的組合。