利用基于視覺的調整引導車輛的方法和系統的制作方法

專利名稱：利用基于視覺的調整引導車輛的方法和系統的制作方法
技術領域：
本發明涉及使用視覺調整來引導車輛的方法和系統。
背景技術：
全球定位系統(GPS)接收器己經用于為車輛導航應用提供位置數據。然而， 盡管具有差分校正的特定GPS接收器在其大部分工作時間內可具有大約10厘米 (4英寸)的一般位置誤差，大于50厘米(20英寸)的絕對位置誤差在其5%的 工作時間內普遍存在。此外，GPS信號會被建筑物、樹或其它障礙物所阻擋，這 會使得只用GPS導航的系統在特定地點或環境中變得不可靠。相應地，需要使用 一個或多個附加的傳感器來補充或加強基于GPS導航的系統，從而提高精確性和 魯棒性。

發明內容
定位接收器在求值時間窗口過程中采集車輛的初歩位置數據。山所述初歩位 置數據確定初步制導數據。視覺模塊在所述求值時間窗口過程中采集視覺數據。 由采集的視覺數據確定視覺制導數據。視覺質量估計器為所述求值時間窗口過程 中的所述視覺數據和視覺制導數據中的至少一個估計視覺質量數據。所述視覺質 量數據基于回歸路徑和密度網格點。如果所述視覺質量數據超過最小閾值，調節 器基于所述視覺制導數據將所述初歩制導數據調節為修正的制導數據，使得所述 修正的制導數據與所述視覺制導數據一起被記錄或大體同延。


圖1是根據本發明基于初步制導數據(如，初步位置數據)和視覺制導數據(如， 源于視覺的位置數據)引導車輛的系統的方框圖。
圖2是根據本發明基于初步制導數據(如，初步位置數據)和視覺制導數據(如， 源于視覺的位置數據)引導車輛的方法的流程圖。
圖3是根據本發明基于初步制導數據(如，初步位置數據)和視覺制導數據(如， 源于視覺的位置數據)的引導車輛的另一方法的流程圖。
圖4是表示諸如來自差分全球定位系統(GPS)的制導信號的位置數據的靜態定位誤差的圖表。
圖5是表示通過諸如本發明所述的視覺模塊的另一傳感器"調諧"后，諸如來
自差分全球定位系統(GPS)信號的制導信號的位置數據的定位誤差的圖表，。 圖6是基于來自視覺數據(如，單目視覺數據)的視覺制導數據引導車輛的方
法的實施例的流程圖。
圖7是基于視覺制導數據引導車輛的方法的另一實施例的流程圖。 圖8A是視覺質量估計器的各種組件或邏輯構件的方框圖。 圖8B是用于確定圖像數據或視覺數據的視覺質量數據的方法的流程圖。 圖9是在組織或分段成作物像素和非作物像素后的行作物的示范性圖像。 圖10示出了來自圖9中作物像素的強度分布。
圖11是示范性的費米(Fermi)函數，用作干草列的模板或參考強度分布。 圖12是示范性的正弦函數，用做行作物的模板或參考強度分布。 圖13是表示在所述參考強度分布和觀察的強度分布之間互相關的確定圖示。 圖14示出了與作物行的近似中心線相關聯的回歸路徑(如，回歸線)，以及與
所述回歸路徑相關聯的多個分段或窗口。
圖15A是視覺質量估計器的各種組件或邏輯構件的方框圖。
圖15B是基于來自視覺數據(如，立體視覺數據)的視覺制導數據引導車輛
的方法的一個實施例的流程圖。
圖16表示作物特征或植被的密度網格點以及與作物行相關聯的中心線。
具體實施方案
圖1是用來引導車輛的制導系統11的方框圖。可以將該制導系統11安裝在或 配置于車輛或移動機器人上。該制導系統11包括視覺模塊22和與調節器110通 信的定位接收器28。
視覺模塊22可與視覺質量估計器(20或120)相關聯。定位接收器28可與 位置質量估計器24相關聯。調節器110可以與車輛控制器25通信。依次地，該 車輛控制器25被耦合到轉向系統27。
定位接收器28可包括帶有差分校正的全球定位系統(GPS)接收器(如GPS 接收器以及用于接收由衛星或地面源發射的差分校正信號的接收器)。該定位接收 器28提供車輛的位置數據(如坐標)。該定位接收器28可將下述條件、狀態或狀 況中的一個或多個(如通過狀況信號)指示給至少調節器110或位置質量估計器 24: (1)定位接收器28被禁止的地方，(2)對于一個或多個相應的求值間隔，位 置數據無法獲得或被破壞的地方，以及(3)對于一個或多個相應的求值間隔，位 置數據被估計的精度或可靠性跌落在最小閾值以下的地方。定位接收器28為車輛 提供非常適合于全球導航或全球路徑規劃的位置數據。位置模塊26或與該位置模塊26相關聯的數據處理器由所采集的位置數據確定制導數據。制導數據指來自一個或多個與該定位接收器28相關聯的位置數據的
下列數據航向數據、航向誤差數據、偏離軌道數據、偏離軌道誤差數據、曲率
數據、曲率誤差數據、源于視覺的位置數據以及位置誤差數據。制導數據通常指
下述術語中的一個或多個初步制導數據、修正的制導數據和視覺制導數據。
在實施例中，位置模塊26可以確定制導數據以引導或轉向車輛，使得該車輛
的路線截獲一個或多個目標坐標(如，航路點)或與該目標坐標相關的路線。該
位置模塊26可以通過路線設計者、數據處理系統、無線通信設備、磁性存儲介質、光學存儲介質、電子存儲器或其它進行通信或在該目標坐標或路線上接收信息。例如，可以用路線設計或基于作物行或田地種植圖的系列坐標來表示目標坐標或路線。可以通過定位接收器28或另外的定位設備在種植種子、作物、植物或作物前體期間采集該田地種植圖。
在示范性實施例中，位置模塊26或定位接收器28用下式輸出制導數據(如，位置數據)
/7 15
其中《#，.是通過定位接收器28 (如，定位接收器
28)估計的偏離軌道誤差，以及&(，是通過該定位接收器22估計的航向誤差。
視覺模塊22可包括圖像采集系統31和圖像處理系統33。視覺模塊22或圖像采集系統31采集圖像數據或視覺數據，它們在本文通篇被視為同義的術語。視覺模塊22或圖像處理系統33從已采集的圖像數據或視覺數據中推導出視覺制導數據(如，源于視覺的位置數據)。該視覺制導數據意指一個或多個來自與該視覺模塊22相關的視覺數據的下列數據航向數據、航向誤差數據、偏離軌道數據、偏離軌道誤差數據、曲率數據、曲率誤差數據、源于視覺的位置數據、位置數據和位置誤差數據。
在一個實施例中，該視覺模塊22可以確定引導或轉向該車輛的視覺制導數據，使得該車輛的路線截獲一個或多個目標坐標(如，航路點)或與該目標坐標相關的路線。該位置模塊22可以通過路線設計者、數據處理系統、無線通信設備、磁性存儲介質、光學存儲介質、電子存儲器或其它進行通信或在該目標坐標或路線上接收信息。例如，可以用路線設計或基于采集到的作物行圖像或來自該采集圖像再現的系列坐標來表示該目標坐標或路線。在一個例子中，視覺模塊22能夠辨識帶有與大豆的約1cm和玉米的約2.4cm的一樣小的誤差的作物行位置。
在一個示范性實施例中，該視覺模塊22用下式輸出視覺制導數據(如，源于視覺的位置數據)，其中五。#—*。 是通過該視覺模塊22估計的偏離軌道
誤差以及^^—ra,。 是通過該視覺模塊22估計的航向誤差。
圖像采集系統31可以包括下列中的一個或多個(1) 一個或多個用來采集一組圖像(如，具有相同場景不同焦距設置或鏡頭調整的多個圖像，或不同視場(FOV)的多個圖像)的單目成像系統；(2)立體視覺系統(如，通過已知距離和方向分開的兩數字成像單元)，用來確定場景中物體上的點相關的深度信息或三維坐標；(3)測距儀(如激光測距儀)，用來確定在場景中物體上的點相關的測距或三維坐標；(4)雷達系統或激光雷達系統用來檢測場景中物體的速度、海拔、方向或幅度；(5)激光掃描系統(如，激光測量系統，其發出光脈沖并根據激光
發出和激光發射接收之間的時間來估計激光測量系統和該目標之間的距離)用來
確定場景中物體的距離；以及(6)成像系統，用來通過光學的微機電系統(MEMS)、自由空間光學MEMS或集成光學MEMS采集圖像。
自由空間光學MEMS使用具有一定范圍或折射率的復合半導體和材料來控制可視光、紅外、或紫外光，而集成光學MEMS使用多晶硅組件來反射、衍射、調制或控制可視光、紅外、或紫外光，MEMS可以被構造成由各種半導體制造工藝能制造的開關矩陣、鏡頭、鏡子和光柵。通過視覺模塊22或圖像采集系統31采集的圖像可以是例如彩色、單色、黑白、或灰度圖像。
視覺模塊22或源于視覺的位置數據可以對應上述圖像內物體特征的位置來支持位置數據(二維或三維坐標)的采集。該視覺模塊22非常適合使用(a)車輛周圍環境的特征或局部特征，(b)位置數據或與上述特征相關的坐標，或同時使用以便于該車輛的導航。該局部特征可以包括下面的一個或多個植物行位置、柵欄位置、建筑物位置、田地邊緣位置、邊界位置、巨石位置、巖石位置(如，大于最小閾值尺寸或體積)、土脊和溝、樹位置、作物邊緣位置、植被(如草坪)上的切割邊位置，以及參考標記。該視覺制導數據(如，源于視覺的位置數據)或局部特征的位置數據可以定期(例如周期地)用來調整(如，糾正漂移)來自定位接收器28的初步制導數據(如，初步位置數據)。
在一個例子中，參考標記可與高精度位置坐標相關聯。此外，其它局部特征可與該參考標記位置相關。當前車輛位置可與參考標記位置或局部特征的固定位置或車輛的位置相關聯。在一個實施中，該視覺模塊22可以與定位接收器28相似或大致相當的坐標或數據格式表達車輛位置的源于視覺的位置數據。
視覺模塊22可以通過狀態或數據命令將下面的一個或多個指示給至少調節器110或視覺質量估計器20: (1)視覺模塊22是否被禁止，(2)是否視覺制導數據(如，源于視覺的位置數據)在一個或多個相應的求值間隔內不可獲得，(3)是
9否該視覺制導數據(如，源于視覺的位置數據)不穩定或被破壞，以及(4)是否該圖像數據或視覺制導數據達到不符合閾值性能/可靠性水準的精確度水準、性能水準或可靠性水準。
位置質量估計器24可以包括下列設備中的一個或多個與定位接收器28相關聯的信號強度指示器、與定位接收器28相關聯的比特誤碼率指示器、用來測量信號質量、誤碼率、信號強度、或信號性能的另外的設備、信道、或為定位發送的代碼。此外，為了基于衛星定位，位置質量估計器24可包括用來確定是否足夠信號質量的最小數目的衛星信號(如來自GPS的L1頻帶上的四個或更多衛星的信號)被定位接收器28接收，以在求值間隔過程中為車輛提供可靠的位置數據。
位置質量估計器24估計初歩位置數據的質量或通過定位接收器28輸出的定位質量數據(如，Qgps)的質量。位置質量估計器24可以基于通過定位接收器28接收的每一信號分量的信號強度指示器(或誤碼率)估計初步位置數據的質量。位置質量估計器24也可以在下列因素的基礎上估計質量(1)在一地區可獲得的衛星信號的數目，(2)通過定位接收器獲得或接收到的具有足夠信號質量(如，信號強度分布)的衛星數目，和(3)是否每一個衛星信號都具有可接受的信號水準或可接受的誤碼率(BER)或誤幀率(FER)。
在一個實施例中，不同信號強度幅度與不同相應質量水準相關聯。例如，最低信號強度幅度與最低質量相關聯，中級信號質量幅度與中等質量相關聯，最高信號強度幅度與最高質量相關聯。相反地，最低誤碼率幅度與最高質量相關聯，中級誤碼率幅度與中等質量相關聯，最高誤碼率幅度與最低質量水準相關聯。
視覺質量估計器20估計由視覺模塊22輸出的視覺制導數據(如，源于視覺的位置數據)的質量。該視覺制導數據的質量可以通過視覺質量數據(如，Qws,。n)進行表達。該視覺質量估計器20可考慮在一系列時間間隔內該視覺模塊操作和獲取相應圖像所呈現的照度。該視覺質量估計器20可包括光探測器、具有頻率可選鏡頭的光探測器、 一組帶有相應頻率可選鏡頭的光探測器、電荷偶合器件(CCD)、光度計、硫化鎘電池等等。進一步地，該視覺質量估計器30包括時鐘或計時器，用來為圖像用采集時間打時間戳以及相應照度測量(如，圖像所用的照度值)。在示范性實施例中，如果該照度在低強度范圍內，則該時間間隔內具有低視覺質量；如果該照度在中強度范圍內，則該時間間隔內具有高視覺質量；以及如果該照度在高強度范圍內，該時間間隔內具有一般的視覺質量，該時間間隔內的低或高基于在高強度范圍內的已定義的子范圍。在一個例子中，前面的強度范圍相對質量可應用于光頻率對光頻率或光色基。在另一例子中，該強度范圍相對質量的對比可用于紅外線范圍頻率和紫外線范圍頻率而不同于用于可見光。
視覺質量估計可與圖像處理中的置信度測量有關。如果所需特征(如，植物行)明顯在一個或多個圖像中，則視覺質量估計器20可給相應圖像設置高圖像質量或 高置信度水準。相反地，如果所需特征(如，由于缺失作物行)在一個或多個圖
像中不明顯，則視覺質量估計器20可設置低圖像質量或低置信度水準。在一個例 子中，基于每一個列分量(如，用于該視覺模塊22的速度分量)的中級強度的絕 對差(SAD)為假定的偏航/俯仰對確定置信度水準。偏航被定義為在x-y平面中 視覺模塊22的方向，以及俯仰被定義為在通常垂直于x-y平面的x-z平面中的視 覺模塊22的方向。
如果視覺模塊不能定位或標注在圖像中參考特征或參考標記，或尚未在最大閾 值時間內標注參考標記，則視覺模塊22會警示視覺質量估計器20，其可以通過 質量劣化指示器劣化該源于視覺位置數據的質量。
通常，調節器110包括數據處理器、微控制器、微處理器、數字信號處理器、 嵌入式處理器或其它任意使用軟件指令進行編程的可編程(如，現場可編程)設 備。調節器110可與車輛控制器25相關聯。在實施例中，調節器110包括規則管 理器。調節器110的規則管理器可以將該初歩制導數據(如，初步位置數據)或 其衍生作為相應時間間隔的誤差控制信號，除非該視覺質量數據超出最小閾值水 準。如果該初步制導數據(如，初歩位置數據)和該視覺制導數據(如，源于視 覺的位置數據)差沒有超出最大容忍值，不需要任何調節。視覺加權決定來自該 視覺模塊22的視覺制導數據(如，yv/s,。n)的作用幅度。位置加權決定來自該視覺 模塊22管理的制導數據(如，位置數據)的作用幅度。混頻器14決定制導數據 (如，ygps)和視覺制導數據(如，yws,。n)對基于視覺加權和定位加權兩者的誤差 控制信號(如，y)的相應作用。在實施例中，該混頻器14可包括數字濾波器、 數字信號處理器、或布置為使用下列中一個或多個的其它數據處理器(1)視覺 制導數據加權(如，源于視覺的位置數據加權)，(2)位置數據加權，和(3)在 求值時間間隔內該位置數據和源于視覺位置數據相應作用的混合比表示。
誤差控制信號表示己估計的制導數據與實際制導數據之間的差(或誤差)，以 使該車輛對準軌道、目標坐標或目標路徑。例如，該誤差控制信號可以表示位置 數據(通過該視覺模塊22和通過該位置模塊26測量的)與該車輛的實際位置之 間的差(或誤差)。輸出這樣的誤差控制信號到該車輛控制器25以得到補償的控 制信號。該補償控制信號基于該誤差控制信號糾正轉向系統27的管理和控制。該 轉向系統27可以包括電接口用以與車輛控制器25通信。在實施例中，該電接口 包括電磁控制液壓轉向系統或其它控制液壓流體的機電設備。
在另外的實施例中，該轉向系統27包括轉向系統單元(SSU)。該SSU與航 向對時間要求相關聯，以順著期望路線或按照期望或目標路徑規劃或目標坐標轉 向或制導該車輛該航向與航向誤差(如，表示為該實際航向角度和期望航向角度之間的差)相關聯。
可以通過該視覺模塊22或定位接收器28控制該SSU以補償在該車輛估計位 置的誤差。例如，偏離軌道誤差指示或代表該車輛的實際位置(如，用GPS坐標 表示)對該車輛的期望位置(如，用GPS坐標)。該偏離軌道誤差可以用補償航 向修改該車輛的移動。但是，如果在時間或時間間隔內任意點上都沒有偏離軌道 誤差，則未補償的航向就足夠。該航向誤差是在實際車輛航向和通過該視覺模塊 22和定位接收器28的估計車輛航向之間的差。
圖2是使用視覺制導數據(如，源于視覺的位置數據)和位置數據用來引導車 輛的方法流程圖。圖2的方法在步驟S200開始。
在步驟S200，定位接收器28為與其相關的車輛采集初歩位置數據。例如， 該定位接收器28 (如，帶有差分校正的GPS接收器)可以用來確定一個或多個 時間間隔或相應時間內的車輛坐標。
在步驟S201 ，位置模塊26或定位接收器28確定與該初步位置數據相關的相 應的制導數據。制導數據包括來自采集的初歩位置數據的下列項中的一個或多個 航向數據、航向誤差數據、偏離軌道數據、偏離軌道誤差數據、曲率數據、曲率 誤差數據、和位置誤差數據。該航向數據指相對于參考方向(如磁北)的車輛的 方向(如，角取向)(如，車輛的縱向軸)。該航向誤差是實際車輛航向和目標車 輛航向之間的差。該航向誤差可與視覺模塊22、位置模塊26、車輛控制器25、 或轉向系統27中至少一個內的誤差(如，測量誤差、系統誤差、或二者都有)相 關。偏離軌道數據指示該車輛路徑位置從期望車輛路徑位置的偏移。偏離軌道誤 差指示或代表該車輛的實際位置(如，用GPS坐標表示)和該車輛的期望位置(如， 用GPS坐標表示)之間的差。該曲率是在所期望路徑上航向的改變。例如，曲率 是沿著該路徑的任意兩個參考點(如，調整點)之間到該車輛路線的正切角的變 化率。
該制導誤差信號或該位置誤差信號(如，ygps)可以表現為(1)在期望時間內 實際車輛位置和期望車輛位置之間的差，(2)在期望時間或位置上實際車輛航向 和期望車輛航向之間的差，(3)或與位置數據或制導數據相關的誤差的另一種表 達。該位置誤差信號可以被定義但不必定義為向量數據。
在步驟S202，視覺模塊22在求值時間窗口中為該車輛采集視覺數據。例如， 該視覺模塊22可以在車輛在田地中移動時以大體行進方向采集一個或多個作物行 圖像。每一個采集的圖像可與相應求值時間間隔有關。
在步驟S203，該視覺模塊22在一個或多個求值時間間隔或對應時間內確定 視覺制導數據(如，源于視覺的位置數據或視覺誤差信號)。例如，該視覺模塊22 可以采集圖像并處理采集到的圖像來確定源于視覺的位置數據。在一個例子中，該源于視覺的位置數據包括車輛的源于視覺的位置數據，其通過參考一個或多個 可視參考標記或帶有相應已知位置的特征來獲得以確定車輛的坐標。該車輛坐標 可以根據全球坐標系統或局部坐標系統進行確定。
視覺制導誤差信號或視覺誤差信號(如，yws,。 )表現為(1)在期望時間內實 際車輛位置和期望車輛位置之間的差，(2)在期望時間或位置上實際車輛航向和 期望車輛航向之間的差，(3)或與源于視覺的位置數據或視覺制導數據相關的誤 差的另一種表達。
在步驟S204，視覺質量估計器20在求值時間間隔期間估計視覺質量。該視 覺質量估計器20可以包括照度或光探測器以及用于時間戳照度測量的計時器或時 鐘以基于周圍照明條件來確定質量水準。視覺質量估計器20也可包括在處理圖像 以獲得期望特征時置信度或可靠性的測量。在處理圖像時的置信度或可靠性的測 量可以根據下列因素中的任意一個視覺模塊22的技術規范(如，分辨率)、確 認目標(如，圖像中的地標)的可靠性、估計確認目標或其中的點的位置的可靠 性、將圖像坐標或局部坐標轉換成全球坐標或源于視覺的位置數據的可靠性，該 源于視覺的位置數據在空間上和時間上與來自該定位接收器28的位置數據一致。
可以通過多種可能切換或重復使用的技術來執行步驟S204。在第一種技術中， 該視覺質量估計器20可以估計源于視覺位置數據精度的置信度和可靠性。在第二 種技術中，該視覺質量估計器20首先估計源于視覺位置數據精度的置信度水準、 可靠性水準或其它質量水準；然后，第二步，該視覺質量估計器20將該質量水準 轉換成相應的語言值。
在步驟S206，如果該視覺質量數據超過最小閾值水準，調節器110或車輛控 制器25基于該視覺制導數據(如，源于視覺的位置數據)將初歩制導數據(如， 初步位置數據)調節到修正的制導數據(如，修正位置數據)，使得該修正的制導 數據(如，修正位置數據)與該視覺制導數據(如，源于視覺的位置數據) 一起 被記錄或大體同延。例如，該調節器110或車輛控制器25可以在任意時隙或求值 時間窗口內調節初步位置數據，其中該視覺質量數據超出最小閾值水準，如果在 該視覺制導數據和初步制導數據之間的任意不等或差是實質性的。 一起被記錄或 大體同延意思是相同時間間隔的源于視覺位置數據和初步位置數據大體同延或通 過最大容忍量(如，其可以被表示為在地理坐標之間的距離、向量或以秒(或其 它單位)的分離)區分。例如，該最大容忍量可設置為從1cm到10cm范圍內的 特定距離(如，2.54厘米)。
在實施例中，調節器110基于該初步位置數據或修正位置數據發送給該車輛控 制器25誤差控制信號或使誤差控制信號可被該車輛控制器25所獲得。由此獲得 的修正位置數據或誤差控制信號可以時隙基(如，在應用時間窗期間)為單位進
13行更新。每一個時隙可在大小上與求值時間間隔相當。
調節器206可以加強修正位置數據或定位信息的可靠性和精度，定位信息通
過使用具有已校正質量作為該初步位置數據質量基準的源于視覺位置數據提供以 用作車輛導航或控制。雖然在求值時間間隔內采集該初步位置數據和源于視覺質
量數據；步驟S206到修正位置數據的調整可以用在落后該求值時間間隔或與該求
值時間間隔大致同延的應用時間間隔內。不管該求值時間間隔和該應用時間間隔
在本例中是如何定義的，在其它例子中，調節器110可以提供預測控制數據、前 饋控制數據或反饋控制數據給該車輛控制器25。
圖3的方法與圖2的方法類似，除了圖3的方法包括附加步驟S205以及將步 驟S206替換為步驟S208。相同參考號指示相同程序或步驟。
在步驟S205中，位置質量估計器24在求值時間窗口過程為該位置數據或制 導數據進行定位質量數據估計。可以通過多種可能切換或重復使用的技術來執行 歩驟S205。在第一種技術中，該位置質量估計器24可以估計或測量信號的質量、 誤碼率(如，比特誤碼率或誤幀率)、信號強度水準(如，使用dBm)、或其它質 量水準。在第二種技術中，該位置質量估計器24首先估計或測量信號質量、誤碼 率(如，比特誤碼率或誤幀率)、信號強度水準(如，使用dBm)、或其它質量水 準；第二步，該位置質量估計器24將上述信號質量數據分類成范圍、語言描述、 語言值或其它。
在歩驟S208中，如果該視覺質量數據超過最小閾值水準以及如果該定位質量 數據或制導數據小于或等于觸發閾值水準調節器110或視覺控制器25基于該視覺 制導數據(如，源于視覺的位置數據)將該初步制導數據(如，初步位置數據) 調節為修正的制導數據(如，修正位置數據)，使得該修正的制導數據與該視覺制 導數據一起被記錄或大體同延。例如該調節器110或車輛控制器25可以調節該初 歩位置數據在任意時隙或求值時間窗口內，(a)該視覺質量數據超過最小閾值的 地方，和(b)該定位質量數據小于或等于觸發閾值水準的地方或任意在該視覺制 導數據和初步制導數據之間的任意不等或差是實質性的地方。例如，該觸發閾值 水準可能是該初歩位置數據的可靠性或精度小于所需的地方，由于衛星可利用率 的缺失，或接收到的衛星信號或用來確定精確性初步位置數據的輔助播送(如， 地面參考)的低的信號質量(如低的信號強度)。該調節器206可以加強修正位置 數據或定位信息的可靠性和精度，該定位信息是通過使用具有己校正質量的該視 覺制導數據(如，源于視覺的位置數據)作為該初步制導數據(如，初歩位置數 據)質量基準來提供以用作車輛導航或控制。圖3的方法使得比圖2更多選擇性 的方式來調節到該修正位置數據，通過利用比標準(如，觸發閨值水準)更低的 位置數據質量的附加條件。
14圖4是位置數據的靜態定位誤差示意表，例如差分GPS信號。垂直軸表示距 離(如，米)誤差，其中水平軸表示時間(如，秒)。
圖5是位置數據的動態定位誤差示意表，例如在期望更新的頻率或速率"調諧" 后的差分GPS信號(如，位置數據)。垂直軸表示距離(如，米)誤差，其中水 平軸表示時間(如，秒)。圖5將最初沒有"調諧"的誤差顯示為實體圓點以及"調 諧"后的誤差顯示為圓圈。通過使用該源于視覺的位置數據有規律間隔(如，在 圖5所示的以5秒間隔或.2Hz)來調節該位置數據的方式實現調諧。
圖6表示基于視覺數據來調節位置或引導車輛的方法。圖6的方法開始于步驟 S600。
在步驟S600，定位接收器28在求值時間間隔內為車輛采集位置數據(如， 航向數據)。
在歩驟S601 ，該位置模塊26或定位接收器28根據所采集的位置數據確定該 制導數據(如，航向數據)。例如，該位置模塊26可以由在求值時間間隔期間在 第一時間和第二時間采集到的兩組坐標來確定制導數據。制導數據包括來自采集 位置數據的下列中的一個或多個航向數據，航向誤差數據，偏離軌道數據，偏 離軌道誤差數據，曲率數據，曲率誤差數據，和位置誤差信號。
該航向數據指相對于參考方向(如磁北)的車輛的方向(如，角取向)(如， 車輛的縱向軸)。該航向誤差是在實際車輛航向和目標車輛航向之間的差。該航向 誤差可能與在視覺模塊22和該位置模塊26中至少一個內的誤差(如，測量誤差) 有關。
偏離軌道數據指示該車輛路徑位置從期望車輛路徑位置的偏移。偏離軌道誤差 指示或代表該車輛的實際位置(如，用GPS坐標表示)和該車輛的期望位置(如， 用GPS坐標表示)之間的差。
該曲率是在所期望路徑上航向的改變。例如，曲率是沿著該路徑的任意兩個參 考點(如，調整點)之間到該車輛路線的正切角的變化率。
在步驟S602，視覺模塊22或圖像采集系統31在求值時間間隔期間為車輛采 集視覺數據或圖像數據。該采集的視覺數據可包括例如單目視覺數據或立體視覺 數據。
在歩驟S603，視覺模塊22或圖像處理系統33根據采集到的視覺數據確 定視覺制導數據(如，視覺航向數據)。
在步驟S604,視覺質量估計器(20、 120或220)在該求值時間間隔期 間為該視覺數據和該視覺制導數據中的至少一個估計視覺質量數據，其中該視覺 質量數據基于互相關和r平方值。該互相關是在分段中該視覺數據的觀察到強度分 布和參考強度分布之間以確定行中心位置。r平方值是在回歸路徑和該行中心位置之間。在步驟S604的視覺質量估計很適合應用于單目視覺數據(如，在步驟S602 處采集)。
在步驟S606，如果該視覺質量數據超過最小閾值水準，調節器110或控制器 基于該視覺制導數據(如，視覺導航數據)將該初步制導數據(如，預先航向數 據)調節到修正的制導數據(如，修正的導航數據)使得該修正的制導數據(如， 修正導航數據)與該視覺制導數據一起被記錄或大體同延。例如，如果該視覺質 量數據超過最小閾值以及如果在該視覺制導數據和初步制導數據之間的任意不等 或差是實質性的，則調節器110或控制器基于該視覺制導數據將該初步制導數據 調節到己修正的制導數據。
圖7的方法類似于圖6的方法，除了步驟S605替換了步驟S604。在圖6和 圖7中的相同參考數指示相同的步驟或程序。
在歩驟S605中，該視覺質量估計器(20、 120或220)在該求值時間間隔內 為該視覺數據和視覺制導數據中的至少一個估計視覺質量數據，其中該視覺質量 數據基于回歸路徑和密度網格點。步驟S605的視覺質量估計也很適合立體視覺數 據(如，在步驟S602采集的)。
圖8A是視覺質量估計器120的示范配置的方框圖。圖8A中在組件(如，70， 72， 74， 76， 78， 80， 82， 84和86)之間的互連可以表現邏輯數據路線、物理 數據路線、或二者兼有。
組織器70與強度分布模塊72通信。互相關模塊76可以接收來自再分器74、 數據存儲設備86以及強度分布模塊72的輸入數據。數據存儲設備86存儲參考強 度分布88以由互相關模塊76檢索或訪問。互相關模塊76輸出數據給估計器84。 再分器74與行中心估計器78通信。行中心估計器78和排列器80為變量求值器 82提供輸入數據。依次地，該變量求值器82輸出數據給估計器84。
視覺模塊22提供下列中的一個或多個給視覺質量估計器120:視覺數據、圖 像數據、和視覺制導數據。如這里所使用的，圖像數據和視覺數據應被認為同義 的術語。該視覺模塊22可以由采集的視覺或圖像數據來確定視覺制導數據。
在圖8A中，視覺質量估計器120被布置以估計至少一個視覺數據(或圖像數 據)的視覺質量數據以及該求值時間間隔期間的視覺制導數據。該視覺質量估計 器120可以基于互相關和r平方值來確定視覺質量數據。每一個互相關在分段中 該視覺數據的觀察到強度分布和參考強度分布之間以確定行中心位置。r平方值是 在回歸路徑和該行中心位置之間。
組織器70將采集的圖像組織成作物像素和非作物像素。強度分布模塊72基 于該作物像素的像素強度值來確定強度分布。數據存儲設備86存儲與一組作物行 或單個作物行相關聯的參考強度分布。再分配74將采集圖像再分成多個分段或重疊窗口。
通常，互相關模塊76為每一個上述分段在該強度分布(由強度分布模塊72 提供)和參考強度分布88之間確定互相關。在一個實施例中，互相關模塊76被 布置以將歸一化互相關確定為互相關。該歸一化互相關基于圖像數據中各個分段 的平均互相關。每一個分段與通過行中心估計器78確定的相應行中心位置相關聯。
再分器74與行中心估計器78通信或使得該行中心估計器78能夠獲得分段或 重疊窗口。該行中心估計器78被配置用以估計與該圖像數據的相應分段或分區有 關的行中心位置。排列器80被配置用以確定與該行中心位置有關的回歸路徑。例 如，排列器80將估計的行中心位置布置成定義作物行的位置和方向表示的回歸路 徑(如，回歸線)。
變量求值器82在回歸路徑(如，回歸線)和行中心位置之間確定r平方值。 估計器84基于確定的互相關和r平方值來確定視覺質量數據以應用于車輛控制器 25或調節器110用于車輛的轉向。該制導數據包括例如航向數據、偏離軌道數據、 和曲率數據中的至少一個。
圖8B是估計視覺數據或視覺制導數據的質量的方法。圖8B的方法丌始于歩 驟S800。
在步驟S800中，視覺模塊22或圖像處理系統33將采集到的圖像劃組織成作 物像素和非作物像素。視覺模塊22或圖像處理系統33可以使用顏色識別將采集 圖像組織或分段成作物像素和非作物像素。可以將作物像素定義為參考植物顏色 (如，綠色調)，等等。圖9提供了采集圖像到作物像素和非作物像素的組織圖示， 與步驟S800 —致。
在步驟S802中，視覺模塊22或圖像處理系統33基于該作物像素的觀察的像 素強度值來確定觀察的強度分布。例如，該視覺模塊22或該圖像處理系統33為 在作物像素和非作物像素之間的邊界確定了觀察的強度分布。在一個實施例中， 觀察的強度分布可以示出一個或多個作物邊緣或在該作物像素和非作物像素之間 的大體線性邊界。
視覺模塊22或該圖像處理系統33通過確定在觀察像素強度輪廓中的像素符 合強度標準或要求(如，植物的最小像素強度或那里相應的光頻率范圍)的方式 來確定像素屬于觀察的強度分布。像素強度可以定義為例如在單色顏色空間(如， 與植物有關的特定綠色、暗影或色調)中的像素亮度，或在RGB顏色空間內的紅、 綠和藍分量的亮度。作物像素強度通常與或被采集圖像中作物部分(如，作物表 面區域的部分)上的事件進行反射的輻照度或電磁輻射(如可見光頻帶中的一個 或多個)成比例。該作物像素的像素強度值可能符合或超出作物行植物冠層的最 小閾值強度，包括作物行的邊界，其中作物象素相鄰非作物像素。相似地，該作物像素的像素強度值可能符合或超出平放在地面或窗口上的已收獲作物材料的最小閾值強度，包括該窗口的邊界。
在步驟S804，視覺模塊22或圖像處理系統33建立了與一組作物行或單個作物行(如，干草列)相關的參考強度輪廓。該參考強度輪廓包括可以基于該植物材料是否安置在一組行中或作為一個或多個窗口來進行變化的模板。圖11示出了與窗口有關的參考強度輪廓，而圖12示出了與多個并行植物行相關的參考強度來輪廓。
在步驟S806中，視覺模塊22或視覺質量估計器(20、 120或220)將采集
的圖像再分成多個分段(如，重疊的窗口)。圖14提供了與步驟S806 —致的分段分割的圖示。
在步驟S808中，視覺質量估計器(20、 120或220)為上述分段中的每一個確定在該強度分布和參考強度分布之間的互相關。圖13提供了與步驟S808—致的確定互相關的圖示。
在步驟S810中，視覺質量估計器估計與上述分段中每一個相關的行中心位置。圖14示出了與步驟S808 —致的每一個分段相應的行中心位置。
在步驟S812中，視覺質量估計器(20、 120或220)將估計的行中心位置布置為定義作物行位置和方向表示的回歸路徑。回歸路徑可以包括基于行中心位置的分布和位置來定義的常用線性回歸路徑。例如，視覺質量估計器(20、 120或220)可以將回歸路徑設定為基于最小二乘法、加權最小二乘法、多項式擬合法、多元回歸、統計回歸技術、數學回歸技術或其它常見最小化回歸路徑和行中心位置之間距離或誤差的技術的線性方程。
在步驟S814中，視覺質量估計器(20、 120或220)確定回歸路徑和行中心位置之間的「平方值。
在歩驟S816中，視覺質量估計器(20、 120或220)基于確定的互相關和r平方值為車輛控制器或調節器轉向車輛來確定視覺質量數據。r平方值可以用來確定觀察視覺數據或觀察視覺制導數據(如，觀察的作物行位置或干草列位置)符合視覺數據或數據制導數據相應的預測模型(如，作物行位置回歸路徑)的程度。
可以通過多種可交替或累積使用的技術來執行歩驟S816。在第一種技術中，該視覺質量估計器(20、 120或220)基于下列方程來確定該r平方值r平方=1 - vm。del/vt。tal，其中v他a,是與回歸路徑(如，常用線性回歸路徑)有關的不同分
段相關的中心點變化或誤差指示，以及Vt。tai是作物行關于其平均中心位置的變化
或誤差指示。r平方值可以在從1到零的范圍內進行歸一化，使得r平方值在接近1時普遍被認為好過r平方值接近零。
在第二種技術中，置信度水準，C，或用于該視覺處理的視覺質量數據依據兩水
因素該回歸路徑的r平方值和來自模板匹配的歸一化的互相關(
^ 丄」」 ACi
廠w
crow
10
'(l - 0 "otms —re/ * r0《^隨《r cr。m一re/
r tr咖cnm _ re/cmw ^ " crow — re/ * "。
其中，r，m是來自一組分段的中間或平均互相關，r，K是參考互相關，以及r。是最小互相關。該參考互相關通常從初始參考圖像種獲取，而該最小互相關通
常由用戶確定。為了獲得高的置信度水準，需要設置兩種條件首先，在該處理中的分段(如窗口)內的作物中心必須來自大體直線或符合己知用作種植的輪廓，以及第二步，在該處理中分段的強度分布必須符合所選中的參考強度分布(如，類似于圖11或圖12中的模板)。該模板或參考分布輪廓可以適用于作物或環境中的變化。由于作物行的寬度可能隨時間改變，該模板會更新以適應該作物行。在一個實施中，可以使用該作物行空間的已用過的平均或中間值。
圖9是在組織或劃分成作物像素900和非作物像素902后的數個作物行的示范性圖像。圖9是例如圖8B的歩驟S800執行結果的展示圖。通過圖像采集系統31或視覺模塊22采集到的采集圖像首先劃分成作物像素900和非作物像素902，以及隨后被修正以去掉失真。白色或亮像素表示作物像素900，而帶點區域表示非作物像素902。如圖所示， 一個作物行被組織成處于來自圖像采集系統31或視覺模塊22的最小深度和最大深度之間的行分段904。該作物行的每一端與作物邊緣906有關。
圖10是源于圖9中作物像素900的示范性觀察強度分布。在一個例子中，每一個像素強度點910表示感興趣區域(如，接近或在作物邊緣906)內垂直線段上的作物像素的像素強度總和。在另一例中，每一個像素強度點910表示感興趣區域(如，接近作物邊緣)內單個相應作物像素的強度。在又一例中，每一個像素強度點910表示與感興趣區域(如，接近或在作物邊緣)相關的一簇作物像素的中間、平均或眾數強度。觀察的強度分布(如，圖10中)與被稱作模板(如，圖11或圖12)的參考強度分布進行比較以決定相對于參考行位置的該作物行的偏移。該參考行位置可以在例如該作物、種子、或前體被種植時建立。
圖11是用作窗口的模板或參考強度分布的示范性費米(Fermi)函數。水平軸可以被指作橫軸，而垂直軸可以被指作前軸。該橫軸通常垂直于該前軸。該前軸可以已知角度傾斜于地面或水平。該橫軸和該前軸來自圖像采集系統31面向作物行的視角，其中該作物行的縱向尺寸通常與該車輛行進的方向相平行。
參考強度分布可能基于特定應用發生改變，例如該田地是否包括橫臥在地面上的作物行、窗口或切割的植物(如，干草)。對于窗口，費米函數或其它步驟或脈沖函數可以用來表示理想的窗口強度分布如圖11所示。對于圖11中的費米函數，
g表示峰值幅度，g/2表示該峰值幅度的一半以及k值表示該窗口在峰值幅度一半處的寬度。在實施例中，圖11中的峰值幅度可能與來自圖像采集系統31的干草列的最大計算深度相關。
圖12是用做作物行的模板或參考的強度分布的示范性正弦函數。水平軸可以被指作橫軸，而垂直軸可以被指作前軸。該橫軸通常垂直于該前軸。該前軸可以巳知角度傾斜于地面或水平。該橫軸和該前軸來自圖像采集系統31面向作物行的視角，其中該作物行的縱向尺寸通常與該車輛行動的方向相平行。
該正弦函數的峰值幅度用a表示，其中w表示一個波長的周期。在實施例中，圖12中的峰值幅度可能與來自圖像采集系統31的作物行的最大計算深度相關，其中該周期，w，可與作物行寬度或相鄰作物行之間的間隔成比例。
雖然正弦函數被用作圖12的參考強度分布，在替代實施例中，脈沖串、方波、一系列脈沖函數或其它合適的函數可以用作該參考強度分布來模型化該植物作物行。進一步地，該參考強度分布在例如作物成熟的整個成長季節中可發生改變。
圖13是確定的在所述參考強度分布(如，模板T(k))和觀察的強度分布(如，強度分布l(k))之間互相關的圖示。互相關函數，r(d)，在觀察的強度分布(如，圖10)和該參考強度分布(如，圖11)之間進行計算如下
<formula>formula see original document page 20</formula>
其中r(d)是在觀察的強度分布1(K)和參考強度分布T(/c+d)之間的廣義圖像互相關函數，d定義為參考強度分布的位置，/是觀察的強度分布的中間強度。r是參考強度分布的中間強度，以及r(cfma》是圖像中任意作物行的近似中心位置。延遲cf^x對應最大相關，r(dmax)是該作物行的中心位置。在實施例中，互相關表現為置信度指數或視覺質量數據的值的因子或分量。
圖14示出了與作物行的近似中心線相關的回歸路徑924和與回歸路徑924相關的多個分段920或窗口。該回歸路徑924可以包括常用線性回歸線、或通過線性或二次方程定義的直形或曲形路線。每一個分段920與相應行中心位置922相關。如果該回歸路徑924是常用線性，其可以按相對參考軸926 (如磁北或另外的參考方向)的角度928 W)進行定義。
在圖14中，視覺模塊22、圖像處理系統33或視覺質量估計器(20、 120、或220)將視覺數據(如，采集的圖像或作物像素)分成多個分段920 (如，重疊的窗口)。分段920出現在感興趣區域(如，接近作物行)內。視覺模塊22、圖像處理系統33或該視覺質量估計器(20、 120、或220)通過回歸分析對一個或多個作物行進行檢測。
特別地，對于回歸分析，視覺質量估計器(20、 120或220)形成或估計與該行中心位置922或每一個分段920 (如，重疊的窗口)中作物行的中心相關的回歸路徑924 (如，回歸線段)以加強行探測的魯棒性。該行中心位置922 (如，點)放入回歸路徑924 (如，回歸線段)中。回歸路徑924表現作物行的位置和方向。
回歸路徑924與車輛的初始航向或觀察的路線進行比較用來為車輛控制確定制導數據(如，來計算該軌道偏離、曲率和/或航向誤差)。雖然該視覺質量估計器(20、 120或220)通常使用每作物行的至少五個分段，實質上可以使用任意數目的分段來檢測每一個采集圖像中的作物行。該視覺質量估計器(20、 120或220)可以確定r平方值、置信度水準或其它對于與回歸路徑924相關的行中心位置922有價值的數字。
圖15A是視覺質量估計器220示范性配置的方框圖。圖15A中組件(70， 90，92， 94和96)之間的互連可以變現為邏輯數據路線、物理數據路線或二者兼有。
視覺質量估計器220包括與密度網格定義器90通信的組織器70，該密度網格定義器90輸出數據給濾波器92，其為排列器94進行數據濾波。依次地，排列器94輸出數據到估計器96。
對于圖15A中的視覺質量估計器220，視覺模塊22可以包括用于采集圖像數據(如，立體圖像數據)或可視數據的立體視覺成像系統。組織器70將采集圖像數據組織成作物像素和非作物像素。密度網格定義器90基于每個網格單元或一組網格單元內的作物像素的數目來定義密度網格。例如，每一個網格單元可以用X
像素xY像素的矩陣進行定義，其中X和Y是任意正整數。雖然網格單元的密度可以被定義為在該密度網格內作物像素對全部像素的比率、分數或百分比，也存在該密度的其它定義方式。濾波器92將密度網格點定義為具有每個網格單元其值大于閾值或作物像素的最小數目的那些網格單元。排列器94基于該密度網格點配置回歸路徑。該回歸路徑表示了作物行或干草列的可能位置和可能方向(如，中心)。估計器96基于已定義的密度網格點和回歸路徑將置信度指數確定為視覺質量數據。該置信度指數應用于車輛控制器或調節器110來轉向車輛。該視覺質量估計器220可以根據多種可替換或累積使用的技術來定義該置信度指數。
21在第一種技術中，估計器96被設置用來確定關于該回歸路徑密度網格點的矩 指數以及用來基于該密度網格點的標準差的反函數確定簇指數。矩指數和簇指數 是評估密度網格點緊密度的兩種測量方式并被分布在該回歸路徑(如，回歸線) 周圍。在第二種技術中，矩指數和簇指數是根據第一種技術進行確定的，其中該 圖像數據或視覺數據包括立體圖像數據或已濾波的立體圖像數據。矩指數和簇指 數很適合于評估立體圖像數據，特別是在該立體圖像數據已經濾波為超出最小作
物高度(如，1米)后。在第三種技術中，該估計器96估計或確定置信度指數為
該矩指數和簇指數的積。例如，根據下列方程來確定置信度指數 其中Cw是通過Ca/=1-!給出的矩指數，M是圍繞該回歸線的密度網格點
M隨
的矩，以及/Wmax是最大矩，Cc是通過Cc=0.8 + M給出的簇指數，其中
,di是從回歸路徑(如，回歸線)到密度網格點的正交距離，
以及"是密度網格點到回歸路徑的中間距離，n是密度網格點的總數目，以及^表
示該密度網格點的方差。在替換實施例中，偏差來自該方差的平方根；該偏差可
以用來取代在上述方程中的方差。
圖15B是基于來自視覺數據(如，立體視覺數據)的源于視覺位置數據用來 引導車輛方法的實施例的流程圖。圖15中的方法開始于歩驟S800。
在步驟S800中，視覺模塊22、圖像處理系統33或組織器70將采集到的圖 像組織成作物像素和非作物像素。例如，該視覺模塊22、圖像處理系統33或組 織器70可以使用顏色識別來將像素分類或組織成作物像素和非作物像素。如上所 述，圖9提供了采集圖像組織成作物像素和非作物像素的示范性例子。
在歩驟S820中，視覺質量估計器220或密度網格定義器90基于每個網格單 元內作物像素的數目來定義密度網格。例如，該視覺質量估計器220可以將該作 物像素分成網格單元(如相同尺寸的矩形或六邊形單元)并計算或估計每一個網 格單元內作物像素的數目。在實施例中，濾波器92標記、標志或其它方式存儲或 指示出那些內部像素數目達到或超過特定最小數或閾值的網格單元。
在步驟S824中，視覺質量估計器220或排列器94基于該密度網格點布置回 歸路徑，其中該回歸路徑表示作物行的可能位置和可能方向(如，中心或中心線)。
在步驟S826中，視覺質量估計器220或估計器96將置信度指數確定為基于 已定義的密度網格點和該回歸路徑的視覺質量數據。該置信度指數應用于車輛控 制器25或調節器110上用于車輛轉向。圖15的方法很適合為立體視覺數據或立體視覺圖像確定置信度指數或視覺質量數據。
視覺質量模塊220可以通過使用矩指數(CM)和簇指數(Cc)的組合來確定或估
計置信度指數。回歸路徑或中心線周圍的密度網格點的矩的計算如下
以及矩指數通過下式給出: 似
cM=i—
通過該密度網格點的標準差反函數計算簇指數:
Cc = 0.8 + ^
y」6 ,. -6 w—i
圖16是具有表示作物特征或植物的作物特征點954和與作物行有關的回歸路 徑(如，中心線)的密度網格950。每一個作物特征點954可以表示一個或多個 作物像素(如，作物像素簇)。圖16的密度網格950表示與圖15A中視覺質量估 計器220和圖15B中方法相關的密度網格950的示范性例子。圖16的密度網格 950可來自于例如立體圖像。
在圖16中，每一個作物特征點954表示符合或超出最小數目、密度或閾值的 作物像素的數目。如圖所示，作物特征點Db 02和Dj分別用Xl，yi ; x2,y2 ;和 Xi,yi進行識別和定位。該密度網格950的回歸路徑952， L，(如，中心線或回歸 線)用來估計該作物行或作物特征的位置和方向(如，中心線或軸)。在替換實施 例中，該回歸路徑是估計的切割/非切割邊緣。
如果該密度網格點或作物特征點954非常接近于該回歸路徑952或在最大總 計間隔值內，該置信度指數或該視覺質量數據通常可以被接收或為高。但是，如 果該密度網格點或作物特征點954較遠地(超過最大總計間隔值)偏離該回歸路 徑952，該置信度指數或視覺質量數據為低或通常不能被接收。該最大總計間隔值 可以建立在該作物特征點954到該回歸路徑952的與正軸投影(如，正交投影) 相關距離的統計學或數學表示(例如，和、平均值、中間值、或加權平均值)基 礎上。如所示，作物特征點D!與回歸路徑之間的第一距離為d1;作物特征點D2 與回歸路徑之間的第二距離為d2;作物特征點Di與回歸路徑之間的第i距離為di。己經對優選實施例進行描述，很明顯可以作出各種修改并不背離定義在附屬權 利要求中本發明的保護范圍。
權利要求
1、一種引導車輛的方法，該方法包括在一求值時間窗口過程中基于與所述車輛相關聯的定位接收器確定所述車輛的初步制導數據；在所述求值時間窗口過程中采集來自與所述車輛相關聯的視覺模塊的視覺數據；由所述采集的視覺數據確定視覺制導數據；在所述求值時間窗口過程中估計所述視覺制導數據的視覺質量，所述視覺質量基于一回歸路徑和密度網格點；和如果所述視覺質量數據超過一最小閾值，則基于所述視覺制導數據調節所述初步制導數據至一修正的制導數據，使得所述修正的制導數據與所述視覺制導數據一起被記錄或大體同延。
2、 如權利要求l所述的方法，其中所述初歩制導數據和修正的制導數據各包括航向數據、偏離軌道數據和曲率數據中的至少一個。
3、 如權利要求4所述的方法，其中所述采集視覺數據包括通過一立體視覺成像系統采集所述視覺數據。
4、 如權利要求1所述的方法，其中所述估訃視覺質量數據包括將一采集的圖像組織成作物像素和非作物像素；在每一個網格單元內基于作物像素的數目定義一密度網格；定義密度網格點為其值超過一閾值的那些網格單元；基于所述密度網格點布置一回歸路徑，所述回歸路徑表示一作物行或一干草列的一可能位置和可能方向；和基于所述定義的密度網格點和所述回歸路徑確定一置信度指數為視覺質量數據，所述置信度指數應用于一車輛控制器或一調節器用以轉向車輛。
5、 如權利要求4所述的方法，其中所述置信度指數包括一矩指數和簇指數的積。
6、 如權利要求4所述的方法，其中所述置信度指數根據下列方程確定其中CM是由<:^=1 —!給出的矩指數，M是圍繞回歸線的所述密度網M 似脂x格點的矩，及/Wmax是最大矩，Cc是由ef=(),8 + ^給出的簇指數，其中
7、 一種用于估計車輛制導的視覺質量數據的方法，該方法包括將采集到的圖像組織成作物像素和非作物像素；在每一個網格單元內基于作物像素的數目定義一密度網格；定義密度網格點為其值超過一閾值的那些網格單元；基于所述密度網格點設置一回歸路徑，所述回歸路徑表示一作物行或一干草列的一可能位置和可能方向；和基于所述定義的密度網格點和所述回歸路徑確定置信度指數為視覺質量數據，所述置信度指數應用于一車輛控制器或一調節器用以轉向車輛。
8、 如權利要求7所述的方法，其中所述置信度指數包括確定所述回歸路徑周圍的密度網格點的一矩指數；和基于所述密度網格點的標準差的反函數確定簇指數。
9、 如權利要求7所述的方法，其中所述置信度指數包括所述矩指數和所述簇指數的積。
10、 如權利要求7所述的方法，其中所述置信度指數根據下列方程確定其中Cw是由「—〗一！提供的矩指數，/W是圍繞該回歸線的密度網格M 『點的矩，以及Mmax是最大矩，Cc是通過&,=().8 + ^提供的簇指數，其中W — 1
11、 如權利要求7所述的方法，進一步包括通過一立體視覺成像系統采集所述視覺數據。
12、 一種引導車輛的系統，所述系統包括一位置模塊，用于在求值時間窗口過程中為所述車輛確定初步制導數據；一視覺模塊，用于在所述求值時間窗口過程中采集與所述車輛相關聯的視覺數據；一圖像處理系統，用于從所述采集的視覺數據確定視覺制導數據；一視覺質量估計器，用于在所述求值時間窗口過程中估計所述視覺制導數據的視覺質量，所述視覺質量基于一回歸路徑以及密度網格點；和一調節器，用于當所述視覺質量數據超過一最小閾值時基于所述視覺制導數據調節所述初步制導數據至一修正的制導數據，使得所述修正的制導數據與所述視覺制導數據一起被記錄或大體同延。
13、 如權利要求12所述的系統，其中所述視覺質量估計器包括一組織器，用于將采集到的圖像組織成作物像素和非作物像素；一密度網格定義器，用于在每一個網格單元內基于作物像素的數目定義一密度網格；一濾波器，用于將密度網格點定義為其值超過一閾值的那些網格單元；一排列器，用于基于所述密度網格點布置一回歸路徑，所述回歸路徑表示一作物行或一干草列的一可能位置和可能方向；和一估計器，用于基于所述定義的密度網格點和所述回歸路徑確定置信度指數為視覺質量數據，所述置信度指數應用于一車輛控制器或一調節器用以轉向車輛。
14、 如權利要求12所述的系統，其中所述制導數據包括航向數據、偏離軌道數據和曲率數據中的至少一個。
15、 一種用于估計車輛制導的視覺質量數據的系統，該系統包括一組織器，用于將采集的圖像組織成作物像素和非作物像素；一密度網格定義器，用于在每一個網格單元內基于作物像素的數目定義一密度網格；一濾波器，用于將密度網格點定義為其值超過一閾值的那些網格單元；一排列器，用于基于所述密度網格點布置一回歸路徑，所述回歸路徑表示一作物行或一窗口的一干草列的可能方向；和一估計器，用于基于所述定義的密度網格點和所述回歸路徑確定置信度指數為視覺質量數據，所述置信度指數應用于一車輛控制器或一調節器用以轉向車輛。
16、 如權利要求15所述的系統，其中，所述估計器被布置用以確定所述回歸路徑周圍的密度網格點的矩指數以及用以基于所述密度網格點的標準差的反函數確定簇指數。
17、 如權利要求15所述的系統，其中所述置信度指數包括一所述矩指數和所述簇指數的積。
18、 如權利要求15所述的系統，其中所述置信度指數根據下列方程確定其中Cw是由^ ， M提供的矩指數，M是圍繞該回歸線的密度網格點的矩，以及^14^是最大矩，Cc是通過^=0.8 + ^ 提供的簇指數，其中<formula>formula see original document page 5</formula>
19、如權利要求15所述的系統，進一步包括:用來采集所述圖像數據的立體視覺成像系統。
全文摘要
在求值時間窗口過程中確定車輛的初步制導數據。視覺模塊(22)采集所述求值時間窗口過程中的視覺數據。根據所述采集到的視覺數據確定視覺制導數據。視覺質量估計器(20，120或220)為所述求值時間窗口過程中的所述視覺數據和視覺制導數據中的至少一個估計視覺質量數據。所述視覺質量數據基于回歸路徑和密度網格點。如果所述視覺質量數據超過最小閾值，調節器(110)基于所述視覺制導數據將所述初步制導數據調節為修正的制導數據使得所述修正的制導數據與所述視覺制導數據一起被記錄或大體同延。
文檔編號G05D1/00GK101681167SQ200880017636
公開日2010年3月24日 申請日期2008年5月29日 優先權日2007年5月31日
發明者特倫斯·丹尼爾·皮克特, 約翰·富蘭克林·里德, 韓·書峰 申請人:迪爾公司