專利名稱：果蔬采摘點微調定位方法
技術領域：
本發明涉及農業機器人領域，特別是涉及一種果蔬采摘點微調定位方法。
背景技術：
近年來，國內外在現代農業技術領域中對果蔬采摘機器人的研究成為熱點，但是 真正達到代替人類完成采摘任務還有相當大的差距。最重要的問題有兩方面一是采摘機 器人工作在非結構環境中，由于受自然光照、生物多樣性等不穩定因素影響，目標與背景成 多元信息疊加，果實與莖葉顏色的相近性，都成為果實特征信息提取的難點；二是采摘對象 空間位置隨機分布且個體差異較大，對采摘機器人末端執行器的定位精度要求很高。這些 問題成為農業機器人發展中技術上的瓶頸。能夠在復雜非結構環境下，準確提取收獲目標 采摘點是影響農業采摘機器人產業化推廣的關鍵技術之一。目前國內外采摘機器人采摘目標定位，大部分采用一次遠景定位方式，采摘抓取 誤差較大。近幾年采用近景二次精確定位的方式提高采摘精度的方法已經開始被研究，荷 蘭E. J. VAN等人在采摘機器人末端安裝視覺傳感器進行目標近景定位，但是其三維重建算 法比較復雜、耗時，不能滿足機器人實時性要求。因此通過簡單快速的末端微調定位方法， 提高采摘機器人精度具有重要意義。
發明內容
(一 )要解決的技術問題本發明要解決的技術問題是提供一種用于果蔬采摘機器人末端閉環定位方法，以 精確定位果蔬采摘切割點，實現機械臂采摘過程中的二次微調精確定位，提高采摘機器人 作業可靠性。( 二 )技術方案為解決上述技術問題，提供一種依照本發明實施方式的果蔬采摘點微調定位方 法，其包括步驟S1，利用采摘機器人采集果蔬抓取區域近景三維位置信息，獲得第一次定位數 據；S2，根據所述第一次定位數據，采摘機械臂控制器控制采摘末端執行器運動到所 述第一次定位數據所限定的空間某一點，該點使得攝像機能正對果蔬上端區域拍攝到采摘 點全景清晰圖像；S3，采摘機械臂控制器觸發攝像機采集當前圖像，并對采集到的圖像進行處理得 到采摘點圖像坐標；S4，將上述采摘點圖像坐標轉化為采摘點空間三維坐標；S5，根據采摘點空間三維坐標，采摘機械臂控制器控制采摘末端執行器由當前位 置運動至該空間三維坐標對應的位置，完成采摘點定位。優選地，在步驟S3中，通過以下步驟對采集到的圖像進行處理得到采摘點圖像坐標S3-1，將當前彩色圖像G通道由Sobel算子進行邊緣檢測，將灰度突變較大點處R、 G、B值分別置為O ；S3-2，將步驟S3-1所得彩色圖像由RGB空間向HSV空間轉化；S3-3，根據背景和果蔬在HSV空間中H、S通道色彩差異，去除部分噪聲干擾；S3-4，通過面積、矩形度判斷提取黃瓜目標區域，取其中心線最上端邊界像素為采 摘分割點，從而確定其以像素為單位的圖像坐標(u，ν)。優選地，在步驟S4中，通過以下步驟將采摘點圖像坐標轉 化為空間三維坐標S4-1，通過下式將采摘點圖像坐標轉化為攝像機坐標系下的坐標值.少=/舛V-/少
ζ = d其中d為采摘點當前位置距攝像機坐標系χ-y平面的物理距離，lx0>lxl>ly0>lyl為 攝像機內部參數，通過攝像機標定唯一確定，(X，1, ζ)為采摘點在攝像機坐標系下的坐標 值；S4-2，通過下式將采摘點攝像機坐標系下的坐標值轉化為空間三維坐標，
<formula>formula see original document page 4</formula>其中(x，y，z)為采摘點在攝像機坐標系下的坐標值，(XW、YW、ZW)為采摘點空間三 維坐標，R、t分別為攝像機坐標系向空間三維坐標系變換的旋轉矩陣和平移向量。(三)有益效果本發明通過二次精確定位，微調校正機械臂末端運動誤差，使得機器人目標定位 系統形成閉環，從而精確定位采摘分割點，準確切割采摘果實，提高采摘機器人工作可靠 性。
圖1是依據本發明實施方式的果蔬采摘點微調定位裝置示意圖；圖2是依據本發明實施方式的果蔬采摘點微調定位方法中的攝像機坐標系、空間 三維坐標系和圖像坐標系。其中，1 攝像機；2 切刀；3 手爪。
具體實施例方式下面結合附圖和實施例，對本發明的具體實施方式
作進一步詳細描述。以下實施 例用于說明本發明，但不用來限制本發明的范圍。如圖1所示采摘機器人二次微調定位裝置，采用彩色微型CXD攝像機1采集黃瓜 抓取區域近景位置信息，將其安裝于機械臂末端切刀2及手爪3正上方。如圖2所示由攝 像機光心0與χ、y、ζ軸組成攝像機坐標系，由\、\、Zw軸組成空間三維坐標系，U、ν軸組成圖像坐標系。在采摘過程中，根據采摘機器人第一次定位數據，采摘機械臂控制器使得采摘末端執行器向目標點運動到空間某一點，該點使得攝像機能相距固定距離正對黃瓜上端區域 進行拍攝。此時在攝像機坐標系下，采摘目標黃瓜距離攝像機光心χ-y面距離約為d，即分 割點ζ向坐標值約為d，采摘機械臂控制器觸發攝像機開始采集當前一幀圖像，通過目標提 取算法，最后確定采摘點圖像坐標位置。目標提取算法需要針對溫室復雜光線環境下采摘目標色彩特征，提取果實與果柄 分割點。具體步驟為1)將當前幀彩色圖像G通道由Sobel算子進行邊緣檢測，將灰度突變較大點處R、 G、B值分別置為O ；2)將1)所得彩色圖像由RGB空間向HSV空間轉化；3)通過地面、天空、葉片、黃瓜等在HSV空間中H、S通道色彩差異，去除部分噪聲 干擾；4)通過面積、矩形度判斷提取黃瓜目標區域，取其中心線最上端邊界像素為采摘 分割點，從而確定其以像素為單位的圖像坐標。由于采摘機械臂工作于空間三維坐標系，以物理長度為運動單位，因而根據攝像 頭采集圖像采摘分割點位置微調機械臂末端空間坐標，需要將所得分割點圖像坐標向空間 三維坐標轉化。通過攝像機針孔成像原理可得，當采摘點當前位置距攝像機坐標系x-y平面物理
距離為常數，即z = d時，得
<formula>formula see original document page 5</formula>
其中Ix0、Ix1、Iy0、Iy1為攝像機內部參數，可以通過攝像機標定可以唯一確定(x,y， z)為分割點在攝像機坐標系下坐標值；則可以根據分割點圖像坐標(U，ν)得到(X，y，z), 實現圖像坐標與攝像機坐標變換。機械臂采摘過程中，各關節轉角可由關節編碼器測量得到，末端執行器在空間三 維坐標系位置姿態已知，因為攝像機與采摘機械臂末端固定連接，所以攝像機坐標與世界 坐標系轉化參數矩陣已知。其中R、t分別為攝像機坐標系向空間三維坐標系變換的旋轉矩 陣和平移向量。
<formula>formula see original document page 5</formula>因此可得XW、YW、ZW分割點空間三維坐標，據此位置信息，機械臂控制器第二次對機 械臂末端運動進行規劃，由當前位置向(XW、YW、ZW)點運動，使得末端切刀能夠采摘分割點處 準確切割果柄，完成采摘，從而校正系統總體誤差，使得抓取分割更加準確。由以上實施例可以看出，本發明實施例針對溫室非結構環境下，基于近景彩色圖 像黃瓜采摘分割點提取識別方法，通過一種坐標轉化方法計算分割點在世界坐標下三維坐標值，從而求解采摘末端沿果實軸向位移微調補償，并將位移補償向采摘機械臂控制器反 饋，控制機械臂末端執行器的微調運動，實現采摘過程的二次精確微調定位。本發明采摘分 割點提取方法實現了溫室復雜光環境下的目標提取；具有很強的通用性，容易移植到其他 設備；空間三維坐標求解算法簡單、容易實現；硬件成本低廉。 以上所述僅是本發明的優選實施方式，應當指出，對于本技術領域的普通技術人員來說，在不脫離本發明技術原理的前提下，還可以做出若干改進和變型，這些改進和變型 也應視為本發明的保護范圍
權利要求
一種果蔬采摘點微調定位方法，其特征在于，所述定位方法包括步驟S1，利用采摘機器人采集果蔬抓取區域近景三維位置信息，獲得第一次定位數據；S2，根據所述第一次定位數據，采摘機械臂控制器控制采摘末端執行器運動到所述第一次定位數據所限定的空間某一點，該點使得攝像機能正對果蔬上端區域拍攝到采摘點全景清晰圖像；S3，采摘機械臂控制器觸發攝像機采集當前圖像，并對采集到的圖像進行處理得到采摘點圖像坐標；S4，將上述采摘點圖像坐標轉化為采摘點空間三維坐標；S5，根據采摘點空間三維坐標，采摘機械臂控制器控制采摘末端執行器由當前位置運動至該空間三維坐標對應位置，完成定位。
2.如權利要求1所述的果蔬采摘點微調定位方法，其特征在于，在步驟S3中，通過以下 步驟對采集到的圖像進行處理得到采摘點圖像坐標S3-1，將當前彩色圖像G通道由Sobel算子進行邊緣檢測，將灰度突變較大點處R、G、B 值分別置為0 ；S3-2，將步驟S3-1所得彩色圖像由RGB空間向HSV空間轉化；S3-3，根據背景和果蔬在HSV空間中H、S通道色彩差異，去除部分噪聲干擾；53-4，通過面積、矩形度判斷提取黃瓜目標區域，取其中心線最上端邊界像素為采摘分 割點，從而確定其以像素為單位的圖像坐標(u，v)。
3.如權利要求1所述的果蔬采摘點微調定位方法，其特征在于，在步驟S4中，通過以下 步驟將采摘點圖像坐標轉化為空間三維坐標54-1，通過下式將采摘點圖像坐標轉化為攝像機坐標系下的坐標值<formula>formula see original document page 2</formula>其中d為采摘點當前位置距攝像機坐標系X-y平面的物理距離，lx0>lxl>ly0>lyl為攝像 機內部參數，通過攝像機標定唯一確定，(x,y,z)為采摘點在攝像機坐標系下的坐標值；S4-2，通過下式將采摘點攝像機坐標系下的坐標值轉化為空間三維坐標， <formula>formula see original document page 2</formula>其中(x，y，z)為采摘點在攝像機坐標系下的坐標值，(XW、YW、XW)為采摘點空間三維坐 標，R、t分別為攝像機坐標系向空間三維坐標系變換的旋轉矩陣和平移向量。
全文摘要
本發明公開了一種果蔬采摘點微調定位方法，其包括步驟利用采摘機器人采集果蔬抓取區域近景位置信息，獲得第一次定位數據；根據所述第一次定位數據，控制采摘末端執行器運動到空間某一點；攝像機采集當前圖像，并對采集到的圖像進行處理得到采摘點圖像坐標；將上述采摘點圖像坐標轉化為采摘點空間三維坐標；根據采摘點空間三維坐標，采摘機械臂控制器控制采摘末端執行器由當前位置運動至該空間三維坐標對應的位置，完成采摘點定位。本發明通過二次精確定位，微調校正機械臂末端運動誤差，使得機器人目標定位系統形成閉環，從而精確定位采摘分割點，準確切割采摘黃瓜果實，提高采摘機器人工作可靠性。
文檔編號G06K9/00GK101807247SQ20101013089
公開日2010年8月18日 申請日期2010年3月22日 優先權日2010年3月22日
發明者馮青春, 張俊雄, 李偉, 紀超, 袁挺 申請人:中國農業大學