專利名稱：一種復合式視覺導航方法與裝置的制作方法
技術領域：
本發明涉及一種機器人視覺導航領域，尤其涉及一種復合式視覺導航方法 和裝置。
背景技術：
隨著自主機器人技術的快速發展以及其應用領域的不斷拓展，人們對機器 人感知環境的能力提出了更高的要求。早期的機器人以聲納、激光測距儀和紅 外傳感器為主要的外部傳感器，而近些年來視覺傳感器以其探測范圍寬、信息 容量大和成本逐步下降等優勢，在機器人導引/導航中受到了越來越高的重視。應用于機器人導航/導引的視覺傳感器有兩種常見形式結構光視覺傳感器 和立體視覺傳感器。結構光視覺傳感器釆用一種主動式的傳感方法，不存在立 體匹配問題，適合應用在近距離的障礙物探測，速度快而且精度高。相反，立 體視覺傳感器是一種被動式的傳感方法，具有更深更廣的探測范圍，但由于遮 擋和缺乏紋理等問題帶來的立體匹配難題，至今未能很好地解決。而且運算量 較大，實現實時性的難度較大。這兩種視覺傳感器均可應用于移動機器人視覺導航。結構光視覺傳感器盡 管優勢明顯，但由于只能探測到小范圍的環境，因而機器人只能根據傳感器信 息做出避障運動規劃，也就是局部規劃。由美國運輸研究會(TRC)研制的 Helpmate機器人是一個自主式運送系統，主要在醫院等場所完成傳遞醫療記錄、 診斷樣品等任務，該系統釆用結構光視覺方式，實現躲避行人和障礙物。局部 規劃常見的問題是容易陷入"死鎖"，甚至不能到達目標；立體視覺傳感器所觀 測的范圍較廣，因而在此基礎上的全局路徑規劃成為可能。但得到的環境信息 是以觀察者為中心的2.5-D信息，而且難免出現視覺遮擋和立體誤匹配問題。
因此，由基于立體視覺的單次離線規劃是不可靠的，在機器人運動過程中，必 須根據探測的新信息做出重新規劃，而這又受到立體視覺實時性的制約。立體 視覺已經應用于美國的火星車"機遇號"和"勇氣號"，但是某些情況下還需要 地球上地面指揮人員的遙控操作。國外的學者相繼提出一些組合式的導航策略。常規的"感知-建模-規劃 -行為"是一種"慎思"式的導航方法，該方法經過了自上而下的推理，能夠 實現高層次的智能行為，但是對環境的變化反應不夠靈敏。與之截然不同的是， Brooks在他的包容式體系結構中提出了一種"行為"式的方法，它將機器人的 行為劃分為若干小的功能模塊，如"停車、跟蹤、漫游、避障"等，每個模塊 實現傳感器信息與機器人動作間的一種映射，機器人的最終行為由各行為模塊 之間的竟爭實現。但是，這種單純的"反應式行為"很難達到最佳的導航效果， 而且極易陷入"死鎖"。在"Global and regional path planners for integrated planning and navigation(A.Howard, 2005 )等文獻中報道了將兩種方式相結合的導航方法。卡耐基-梅隆大學提出了一種全局和局部規劃組合式的導航方法，但是僅 以激光測距儀這一種昂貴的外部傳感器探測環境，無法廣泛應用，具體報道可參考文獻 "Complete navigation system for goal acquisition in unknown environments" (A. Stentz, 1995)。有鑒于此，本發明的主要目的在于提供一種復合式視覺導航方法，可以實 現移動機器人更可靠地導航，簡單實用，易于實現。本發明的另一目的在于提供一種復合式視覺導航裝置，結構簡單，費用低廉。為達到上述目的，本發明的技術方案是這樣實現的一種復合式視覺導航裝置，由CCD攝像機、激光器、機械支架等組成，整 個裝置由兩部分結合而成 一個CCD攝像機和一個激光器構成結構光視覺傳感
發明內容
器，用以進行局部路徑規劃；三個CCD攝像機構成三目立體視覺傳感器，用以 進行全局路徑規劃。較佳地，該裝置中CCD攝像機和激光器具有偏航和俯仰兩個方向的旋轉自 由度，用以調節視覺傳感器的位姿。較佳地，在結構光傳感器的CCD攝像機前安裝一中心波長與激光器相對應 的干涉濾光片。較佳地，所述干涉濾光片為窄帶通干涉濾光片。一種復合式視覺導航方法，基于上述的裝置，該方法包括以下步驟a、 啟動立體視覺傳感器，進行全局規劃規劃出從當前點到目標點的最優 路徑；b、 啟動結構光視覺傳感器，在跟蹤全局路徑或向當前子目標運動的過程中， 探測是否存在與全局規劃不 一 致的環境信息，若沒探測到，則繼續按全局路徑前進，若探測到，利用局部規劃進行避障， 避障過程仍以全局規劃中的當前子目標為目標點，在兩種視覺方法探測到嚴重不一致的情況致使不能達到當前子目標點時， 返回步驟a:啟動立體視覺傳感器重新進行全局路徑規劃，做出從當前位置到 目標點的最優路徑規劃；c、 判斷到達的當前子目標是否是全局目標， 若到達的當前子目標是全局目標，導航流程結東，若到達的當前子目標不是全局目標，返回步驟b:將下一個子目標確定為 當前子目標，繼續向子目標運動并探測是否存在與全局規劃不一致的環境信息。 較佳地，步驟a進一步包括，建立環境的可視圖模型進行全局規劃。 較佳地，所述的環境的可視圖模型為環境的柵格一可視圖模型。 本發明提供的復合式視覺導航方法和裝置具有如下優點和特點1、 由結構光傳感器和立體視覺傳感器結合構成，結構簡單，費用低廉。2、 充分利用了兩種視覺傳感器的優點，將全局路徑規劃和局部路徑規劃結 合起來，相得益彰，更好地解決了機器人的視覺導航問題，實現移動機器人更
可靠地導航，引導機器人在未知環境下準確地從起始出發點自主運動至目標點， 方法簡單，易于實現。
圖1為本發明一種復合式視覺導航裝置的示意圖；圖2為本發明 一種復合式視覺導航方法的總體流程圖；圖3為機器人導航場景示意圖；圖4為全局路徑規劃示意圖；圖5為全局指導下的機器人實際運動路徑圖；圖6為未經全局指導下的機器人實際運動路徑圖。
具體實施方式
下面結合附圖對本發明再作進 一 步詳細的說明。本發明一種復合式視覺導航裝置，如圖l所示，左側虛線框內為CCD攝像 機23和激光器22組成的結構光視覺傳感器10，用以進行局部路徑規劃；為突 出激光光條的視覺特征，提高信噪比，在CCD攝像機23前安裝有一中心波長 與激光器相對應的干涉濾光片25，干涉濾光片25可為窄帶通干涉濾光片；右 側虛線框內為三個相同的CCD攝像機構成的三目立體視覺傳感器11，用以進 行全局路徑規劃；上述各個CCD攝像機和激光器具有偏航和俯仰兩個方向的旋 轉自由度，用以調節視覺傳感器的位姿。結構光傳感器10和三目立體視覺傳感 器11安放在機械支架21上。結構光傳感器10和三目立體視覺傳感器11組合 構成本裝置。本發明一種復合式視覺導航方法，如圖2所示，該方法包括以下步驟 步驟301:啟動三目立體視覺傳感器；步驟302:立體視覺傳感器獲取場景的三目圖像，根據立體匹配方法，得 到場景的深度圖像，繼而根據已標定的數學模型重構出三維場景；如何得到場景的深度圖像，并重構三維場景，現有技術中已有多種解決方
案，在此不再贅述。步驟303:機器人根據重構的結果，建立環境的可視圖模型，從而進行全 局路徑規劃根據八*最優搜索方法規劃出從當前點到目標點的最優路徑，這里 的最優路徑是一系列順次聯結的直線段，其首末端點成為路徑上的關鍵路點 (waypoint)或稱子目標點(subgoal)。 A,法可參考"Path planning for a mobile robot" ( C. Alexopoulos， 1992 ),在此不再詳述。上述的環境的可視圖模型可以是環境的柵格一可視圖模型。在該模型上， 所有柵格劃歸兩類屬性， 一類是被障礙物占有的柵格，另一類是自由的、未被 占有的柵格。對于步驟302中立體視覺的重構數據，通過一種形態學方法(參 考《圖像理解與計算機視覺》，章毓晉，2000)在柵格地圖上生成各個障礙物區 域的最小多邊形凸包，在此基礎上得到環境的柵格-可視圖模型，各凸多邊形 頂點組成八*算法的搜索空間，全局路徑規劃的結果就是聯結一系列多邊形頂點 的直線段序列。有關柵格地圖的創建方法可參考"High resolution maps from wide angle sonar" ( H. P. Moravec， 1985 ),關于可視圖的概念參考"Path planning for a mobile robot" ( C. Alexopoulos, 1992 ),在此不再贅述。步驟304:啟動結構光視覺傳感器。步驟305:確定當前子目標，并向所確定的當前子目標運動，這里所述的 當前子目標為在全局路徑規劃中，當前所要到達的子目標。步驟306:判斷結構光視覺傳感器是否探測到新的障礙物如探測到新的 障礙物，則執行步驟307,如未探測到新的障礙物，則繼續跟蹤全局路徑向當 前子目標運動，執行步驟309。這里判斷是否探測到新的障礙物的方法為結構光視覺傳感器繼續對周圍 的環境進行探測，并將當前時刻、當前位置局部坐標系下的三維數據映射到柵 格地圖上。若此時映射到的柵格單元對應可視圖中的"占有"部分，說明兩視 覺傳感器探測到的環境信息一致，此柵格單元保持原有"被占有"的屬性；反 之，若映射到的柵格單元對應可視圖中的"自由"部分，說明兩視覺傳感器探 測到的環境信息不一致(產生這種不一致的原因有立體遮擋，誤匹配，最新 出現的動態障礙物等)，此柵格單元更改原有屬性。步驟307:進行局部規劃避障采用矢量場直方圖法(VFH， Vector Field Histogram)進行有效避障，避障過程仍以全局規劃的下一個目標點為當前子目 標向前運動，VFH算法可參考"The vector field histogram-fast obstacle avoidance for mobile robots" (J. Borenstein, 1991),在此不再贅述。步驟308:根據局部路徑規劃的結果，判斷是否確認不能夠到達當前子目 標點。當兩種視覺方法探測到嚴重不一致的情況，確認不能到達當前子目標點時， 返回步驟301:啟動立體視覺傳感器重新進行全局路徑規劃，做出從當前位置 到全局目標點的最優路徑規劃。如未確認不能到達子目標，則返回步驟306，按照局部路徑規劃繼續向當 前子目標運動且結構光傳感器繼續對周圍環境進行探測。步驟309:判斷是否到達當前子目標，如達到當前子目標，執行步驟310, 如未到達當前子目標，返回步驟306，結構光傳感器繼續對周圍環境進行探測。步驟310:判斷所達到的當前子目標是否為全局目標，如到達全局目標， 流程結東；如未到達全局目標，返回步驟305:重新確定當前子目標，即將下 一子目標確定為當前子目標，并向所確定的當前子目標運動。這里判斷是否到達當前子目標、判斷所到達的當前子目標是否為全局目標， 可根據前述建立的環境的可視圖模型中包括的目標點信息進行判斷。下面再以 一 具體實施例來說明本發明。在如圖3所示的場景下對機器人的導航性能進行了測試，場地范圍約為 10mx4m，共有A、 B、 C、 D、 E、 F六個固定障礙物，G為機器人出發后在其 運動軌跡上另外放置的一個障礙物。如圖4所示，以機器人出發點為坐標原點， 建立環境坐標系。在該位置處由立體視覺三維數據構建柵格-可視圖，并進行 全局路徑規劃。注意到，障礙物F被障礙物C完全遮擋，因而立體視覺感知的 環境信息并不充分，全局路徑也并非完全可靠。
機器人將上述規劃結果傳遞至局部運動模塊，接下來機器人跟蹤此全局路 徑，并啟動結構光視覺傳感器探測環境。在從出發點到子目標點的運動過程中， 如圖5所示，在機器人的運動軌跡上放置另外一個障礙物G,該障礙物被結構 光視覺所感知，因此機器人修正原有的路徑，繞開障礙物G并到達子目標點。在穿越障礙物A E的過程中，沒有出現新的障礙物，結構光視覺探測到與全局規劃下的柵格-可視圖一致的環境信息，因而機器人簡單地跟蹤路徑。此后，結構光視覺探測到由于遮擋而未被立體視覺所探測的障礙物F，因此機器人再 次修改路徑，并最終到達目標點。若省去全局路徑規劃，僅啟動結構光視覺傳 感器和局部規劃模塊，機器人也能躲避障礙物并到達目標，運動軌跡如圖6所 示。對實驗結果進行比較可以看出，全局指導下的路徑規劃明顯優于未經全局 指導的單純局部運動規劃的結果。以上所述，僅為本發明的較佳實施例而已，并非用于限定本發明的保護范圍。
權利要求
1、 一種復合式視覺導航裝置，由CCD攝像機、激光器、機械支架等組成， 其特征在于，整個裝置由兩部分結合而成 一個CCD攝像機和一個激光器構成 結構光視覺傳感器，用以進行局部路徑規劃；三個CCD攝像機構成三目立體視 覺傳感器，用以進行全局路徑規劃。
2、 根據權利要求l所述的裝置，其特征在于，其中CCD攝像機和激光器 具有偏航和俯仰兩個方向的旋轉自由度，用以調節視覺傳感器的位姿。
3、 根據權利要求1或2所述的裝置，其特征在于，在結構光傳感器的CCD 攝像機前安裝 一 中心波長與激光器相對應的干涉濾光片。
4、 根據權利要求3所述的裝置，其特征在于，所述干涉濾光片為窄帶通干 涉濾光片。
5、 一種復合式視覺導航方法，基于權利要求l所述的裝置，其特征在于， 該方法包括以下步驟a、 啟動立體視覺傳感器，進行全局規劃規劃出從當前點到目標點的最優 路徑；b、 啟動結構光視覺傳感器，在跟蹤全局路徑或向當前子目標運動的過程中， 探測是否存在與全局規劃不一致的環境信息，若沒探測到，則繼續按全局路徑前進，若探測到，利用局部規劃進行避障， 避障過程仍以全局規劃中的當前子目標為目標點，在兩種視覺方法探測到嚴重不一致的情況致使不能達到當前子目標點時， 返回步驟a:啟動立體視覺傳感器重新進行全局路徑規劃，做出從當前位置到 目標點的最優路徑規劃；c、 判斷到達的當前子目標是否是全局目標， 若到達的當前子目標是全局目標，導航流程結東，若到達的當前子目標不是全局目標，返回步驟b:將下一個子目標確定為 當前子目標，繼續向子目標運動并探測是否存在與全局規劃不一致的環境信息。
6、 根據權利要求5所述的方法，其特征在于，步驟a進一步包括，建立環境的可視圖模型進行全局規劃。
7、 根據權力要求6所述的方法，其特征在于，所述的環境的可視圖模型為環境的柵格一可視圖模型。
全文摘要
本發明提出一種復合式的傳感器裝置，將結構光傳感器和立體視覺傳感器這兩類性能不同的傳感器相結合，結構簡單，費用低廉。本發明同時公開了一種復合式視覺導航方法，將全局和局部功能模塊有機地結合，充分利用了兩種視覺方法的長處，各自構成獨立的路徑規劃系統模塊，實現移動機器人更可靠地導航，引導機器人在未知環境下從起始出發點自主運動至目標點。
文檔編號G05D1/00GK101122800SQ20071012073
公開日2008年2月13日 申請日期2007年8月24日 優先權日2007年8月24日
發明者張廣軍, 李秀智, 魏振忠 申請人:北京航空航天大學