基于三維視覺系統圖像特征和三維信息的運動估計方法

基于三維視覺系統圖像特征和三維信息的運動估計方法
【專利摘要】本發明公開了一種基于三維視覺系統圖像特征和三維信息的運動估計方法，該方法基于三維視覺系統實時獲取場景二維圖像信息和按二維圖像像素對應的空間三維信息；采用相鄰幀采樣間隔自適應調整方法控制相鄰幀采集間隔，根據t-1時刻和t時刻相鄰幀之間有效匹配圖像特征點對數目，自動調整t+1時刻相對t時刻的采樣間隔，在滿足三維估計準確性和可靠性的基礎上有效減少了計算量；根據當前相鄰幀二維圖像特征匹配點對數目，綜合場景二維圖像特征和三維點云信息進行三維運動估計，獲得高精度的三維運動估計，具有計算量小，應用場景限制性小等優點。
【專利說明】基于三維視覺系統圖像特征和三維信息的運動估計方法
【技術領域】
[0001]本發明涉及一種基于三維視覺系統圖像特征和三維信息的運動估計方法。
【背景技術】
[0002]高精度高可靠的三維運動估計是機器人領域的研究難點和熱點之一，其目標是實時計算出相鄰兩相鄰時刻機器人三維空間位置變化量，是機器人自定位、地圖創建、三維重建、運動跟蹤等研究的核心內容。傳統慣性導航系統原理簡單，被廣泛應用于運動估計，但是其存在漂移、誤差累計等問題，其對應運動估計的精度低、可靠性比較差。相對于慣性導航系統，基于視覺的運動估計不存在物理漂移問題，具有較高的穩定性。目前基于單目視覺的運動估計無法獲得三維相對運動的尺度信息；立體攝像機可獲得三維運動估計，但是存在計算量大、可靠性受環境和噪聲影響大、測量精度超過景深范圍后急速下降等問題。隨著三維激光測距儀、三維攝像機等三維傳感器的引入，空間環境的三維信息實時獲取成為可能。基于ICP的三維點云匹配算法開始被應用于相鄰兩幀的三維信息估計。但是由于噪聲、誤差和不匹配區域比例的增長，ICP迭代算法容易陷入局部優化解，從而該類算法僅在較小空間變換范圍內或基于較好的初始估計情況下可獲得準確的估計結果。為實現精確可靠的三維運動估計，通常采用高頻率采樣獲取相鄰幀三維信息，從而將相鄰幀空間變換限制在較小范圍；而高頻率采樣必然導致計算量巨大，難以實時應用。相對于三維激光測距儀，三維攝像機不僅可獲得場景二維彩色圖像信息，還可以獲得空間場景對應的三維信息，如Kinect、SR4000等三維攝像機等。基于此人們提出基于相鄰幀圖像的不變性特征點構成三維點集求解三維運動的初始估計，以提高ICP算法的估計性能。但是該類方法的缺陷在于嚴重依賴于特征點選擇，首先特征點集中的誤匹配點集將對三維估計初始值造成嚴重影響；其次該算法僅對圖像特征點較多的場景有效，若場景特征點集非常稀疏以致無法獲取正確可靠的初始估計值時，將直接導致算法失敗，從而無法獲得三維相對估計。
[0003]因此，如何充分利用三維視覺系統的二維彩色圖像信息和空間三維信息，實時獲取精確的三維運動信息，是本領域急需解決的技術問題。

【發明內容】

[0004]本發明所要解決的技術問題是提供一種基于三維視覺系統圖像特征和三維信息的運動估計方法，基于三維視覺系統獲取的相鄰幀的場景二維彩色圖像信息和按二維彩色圖像像素對應的空間三維信息，采用本發明的改進SIFT特征匹配算法、采樣間隔自適應調整方法和三維運動優化估計算法實現相鄰幀的快速高精度三維運動估計，具有精度高、計算量小、應用場景限制性小等突出優點。
[0005]一種基于三維視覺系統圖像特征和三維信息的運動估計方法，包括以下步驟:
[0006]步驟1:基于三維視覺系統，動態確定相鄰幀場景之間的采樣間隔Δ t ；
[0007]步驟2:按照步驟I確定的采樣間隔At，利用三維視覺系統分別在t時刻和t+1時刻獲取相鄰幀場景的二維彩色圖像It和I+1、場景對應的三維點云Dt和Dt+1 ；[0008]所述三維視覺系統可同時獲取場景的二維彩色圖像I與三維點云信息D，其中二維彩色圖像I與三維點云D按二維彩色圖像像素點一一對應，即二維彩色圖像中第U行第V列的像素點r(u，v)與三維點云Du,v(x，y, z)相對應；所述三維點云是指二維彩色圖像所有像素點對應的三維空間點集合；
[0009]步驟3:利用SIFT算法對相鄰幀場景的二維彩色圖像It和It+1進行特征點提取與匹配，得到相鄰幀場景的匹配圖像特征點對集合M ;
[0010]步驟4:剔除集合M中的誤匹配圖像特征點對，得到最終的匹配圖像特征點對集合M3;
[0011]I)基于雙向一致性檢查的誤匹配剔除；
[0012]采用歐式距離作為特征點128維向量描述子的相似性度量，對t+Ι時刻的二維彩色圖像It+1的任一圖像特征點Fit+1，依次從t時刻的二維彩色圖像It的圖像特征點中找出相匹配的特征點G，構成匹配特征點對集合M'，11和^的交集構成新的匹配圖像特征點對集合M1,以剔除非雙向一致的誤匹配圖像特征點對；
[0013]2)基于顏色一致性檢查的誤匹配剔除；
[0014]步驟a:分別提取t時刻和t+Ι時刻獲取的二維彩色圖像It和It+1的HSV空間顏色信息；
[0015]步驟b:依據I)中獲得的匹配特征點對集合M1,建立集合M1中所有特征點的HSV空間分量的索引信息；
[0016]所述索引信息是指特征點在二維彩色圖像坐標系中的坐標與該特征點的HSV空間顏色分量的對應關系；
[0017]步驟c:依據步驟b中建立的HSV空間分量索引信息和匹配特征點對集合M1，分別獲取匹配特征點對集合M1的HSV信息[Ht, St, Vt]和[Ht+1, St+1, Vt+1]，其中，[Ht, St, Vt]為M1中t時刻二維彩色圖像匹配特征點對應的HSV信息，[Ht+1, St+1, Vt+1]為M1中t+Ι時刻二維彩色圖像匹配特征點對應的HSV信息；
[0018]步驟d:對匹配特征點對集合M1中的任一特征點對[F；?Ff 進行HSV空間顏色一致性檢查處理，若同時滿足如下約束，則認為是正確匹配點對，否則認為是誤匹配點對，并從札中剔除，得到新的匹配特征點對集合M2 ；
[0019]約束判定條件如下:
[0020]
【權利要求】
1.一種基于三維視覺系統圖像特征和三維信息的運動估計方法，其特征在于，包括以下步驟: 步驟1:基于三維視覺系統，動態確定相鄰幀場景之間的采樣間隔At ; 步驟2:按照步驟I確定的采樣間隔At，利用三維視覺系統分別在t時刻和t+Ι時刻獲取相鄰幀場景的二維彩色圖像T和T+1、場景對應的三維點云Dt和Dt+1 ； 步驟3:利用SIFT算法對相鄰幀場景的二維彩色圖像It和It+1進行特征點提取與匹配，得到相鄰幀場景的匹配圖像特征點對集合M ; 步驟4:剔除集合M中的誤匹配圖像特征點對，得到最終的匹配圖像特征點對集合M3 ； 1)基于雙向一致性檢查的誤匹配剔除； 采用歐式距離作為特征點128維向量描述子的相似性度量，對t+Ι時刻的二維彩色圖像It+1的任一圖像特征點FiI依次從t時刻的二維彩色圖像It的圖像特征點中找出相匹配的特征點構成匹配特征點對集合M'，11和的交集構成新的匹配圖像特征點對集合M1,以剔除非雙向一致的誤匹配圖像特征點對； 2)基于顏色一致性檢查的誤匹配剔除； 步驟a:分別提取t時刻和t+Ι時刻獲取的二維彩色圖像It和It+1的HSV空間顏色信息； 步驟b:依據I)中獲得的匹配特征點對集合M1，建立集合M1中所有特征點的HSV空間分量的索引信息； 所述索引信息是指特征點在二維彩色圖像坐標系中的坐標與該特征點的HSV空間顏色分量的對應關系； 步驟c:依據步驟b中建立的HSV空間分量索引信息和匹配特征點對集合M1，分別獲取匹配特征點對集合M1的HSV信息[Ht, St, Vt]和[Ht+1, St+1, Vt+1]，其中，[Ht, St, Vt]為M1中t時刻二維彩色圖像匹配特征點對應的HSV信息，[Ht+1, St+1, Vt+1]為M1中t+Ι時刻二維彩色圖像匹配特征點對應的HSV信息； 步驟d:對匹配特征點對集合M1中的任一特征點對進行HSV空間顏色一致性檢查處理，若同時滿足如下約束，則認為是正確匹配點對，否則認為是誤匹配點對，并從M1中剔除，得到新的匹配特征點對集合M2 ； 約束判定條件如下:
2.根據權利要求1所述的基于三維視覺系統圖像特征和三維信息的運動估計方法，其特征在于，所述步驟I中相鄰幀場景之間的采樣間隔At的確定依據如下: 所述三維視覺系統的采樣頻率范圍為[fmin，fmax]，相鄰幀場景的動態采樣間隔At變化范圍為[Δ tmin, Δ tmax]，其中 Λ t 最小值 Λ tmin=l/fmax,最大值 Λ tMax=l/fmin ； 采樣間隔At的初始值設定為Atmin ;在運動過程中，基于t-Ι時刻和t時刻相鄰幀的匹配圖像特征點對集合M3中匹配圖像特征點對數目Num(M3)和當前采樣間隔Att,依據表I動態確定下一步采樣間隔Att+1: 表1相鄰幀之間采樣間隔Λ t動態計算
3.根據權利要求2所述的基于三維視覺系統圖像特征和三維信息的運動估計方法，其特征在于，所述步驟3利用SIFT算法對相鄰幀場景的二維彩色圖像It和It+1進行特征點提取與匹配，得到相鄰幀場景的匹配特征點對集合M的具體步驟如下: 1)對t時刻和t+Ι時刻獲取的相鄰場景的二維彩色圖像It和i+1，利用SIFT算法分別提取尺度旋轉不變特征點集合Ft和Ft+1 ； 2)對Ft的任一特征點FiS采用歐式距離作為特征點128維向量描述子的相似性度量，然后從t+Ι時刻獲取的二維彩色圖像特征點Ft+1中，依次找出與FJ匹配的特征點，構成匹配特征點對 3)對Ft中所有特征點執行步驟2)，得到匹配特征點對集合M。
4.根據權利要求1-3任一項所述的基于三維視覺系統圖像特征和三維信息的運動估計方法，其特征在于，所述步驟4誤匹配點剔除中的3)采用RANSAC算法對匹配特征點對集合仏中的誤匹配進一步剔除，得到最終的匹配特征點對集合M3的具體步驟如下: ①隨機選擇M2中的s組匹配特征點對組成隨機樣本集M3，并基于該樣本計算匹配模型H ;即使得匹配特征點對，滿足如下方程:
其中
【文檔編號】G06T7/00GK103559711SQ201310544349
【公開日】2014年2月5日 申請日期:2013年11月5日 優先權日:2013年11月5日
【發明者】余洪山, 羅堪, 藺薛菲, 王耀南, 趙科, 孫歡, 萬琴, 朱江, 段峰, 代揚 申請人:余洪山