基于機器視覺的農業agv玉米行間導航基準線提取方法
【專利摘要】本發明公開了一種基于視覺導航的農業AGV玉米行間導航基準線提取方法，包括玉米根莖圖像的預處理；采用自適應最大類間方差法分割根莖圖像和濾波，獲取玉米根莖感興趣區域（ROI）；利用垂直投影法生成玉米根莖輪廓特征點，對輪廓特征點進行峰值點檢測和判別，生成玉米根莖峰值特征點，最后運用最小二乘法擬合玉米根莖峰值特征點，生成玉米行線，并以此作為導航基準線。本發明為小型農業AGV在玉米行間自主導航提供了一種新的導航基準線識別方法，與傳統的視覺導航算法相比，不僅增強了圖像處理的實時性，降低了運算的復雜度，也提高了農業AGV的魯棒性。
【專利說明】
基于機器視覺的農業AGV玉米行間導航基準線提取方法
技術領域
[0001] 本發明設及一種基于機器視覺的農業AGV玉米行間導航基準線提取方法，屬于機 器視覺和圖像處理領域。 技術背景
[0002] 隨著精準農業概念的提出，智能農業生產方法和管理受到廣泛關注。農機自主導 航領域逐漸成為研究熱點，農業機械自主導航在農田耕作、農藥噴灑、水稻插秩和作物收割 等方面被廣泛應用。農業機器人視覺導航中，圖像處理和分析算法是視覺導航的關鍵領域。 當前的農業視覺導航主要集中在大田環境中相機位置高于農業作物的情況，運種方法主要 是通過相機獲取農田圖像的作物行或者田壟等信息，采用2G-R-B算法提取綠色特征，然后 對圖像灰度化和二值化分割處理，再利用邊緣檢測算子等對邊緣進行檢測，得到作物行邊 緣線，最后根據hou曲變換擬合成直線。傳統方法一方面存在算法過于復雜、計算量較大和 實時性行不夠等問題，另一方因為農作物的葉片生長無明顯規律，當兩行作物葉子相互交 錯，遮擋了±地產生成無法正常提取導航基準線等問題。因此，傳統的導航算法只適用于低 矮的小麥、水稻、蔬菜和早期的玉米等作物，無法滿足在高桿作物的中后期視覺導航。
[0003] 另外，玉米等高桿作物中后期的病蟲害防治，目前主要靠人工和飛機噴灑農藥，人 工施藥對人危害較大，飛機施藥又面臨陳本高昂、施藥不均和載藥量少等限制。對于在大田 作物中采用小型農業AGV視覺導航在玉米行間進行施藥作業和玉米病蟲害的管理，可W解 決上述存在的問題，而在此領域研究力度還不夠，相關導航算法更是幾乎空白。
【發明內容】
[0004] 本發明提供一種基于機器視覺的小型農業AGV玉米行間導航基準線提取方法，用 于小型農業AGV在中后期的玉米或高桿作物的病蟲害管理和防治作業，能夠適用于小型農 業AGV在大田條播玉米等高桿作物的行間自主導航，并且快速地檢測導航基準線，實現小型 農業AGV的導航定位，提高導航的實時性和魯棒性。
[0005] 本發明通過W下技術方案實現上述目的：
[0006] -種基于機器視覺的農業AGV玉米行間導航基準線提取方法，其特征在于，包括W 下步驟：
[0007] 步驟一:對玉米根莖圖像進行預處理；
[000引步驟二:采用自適應最大類間方差法分割玉米根莖圖像和濾波去噪，獲取玉米根 莖感興趣區域(R0I);
[0009] 步驟Ξ:利用垂直投影法生成玉米根莖輪廓特征點；
[0010] 步驟四：對玉米根莖輪廓特征點進行峰值點檢測和判別，生成玉米根莖峰值特征 占 .
[0011] 步驟五:運用最小二乘法擬合玉米根莖峰值特征點，生成玉米行線，并W此作為導 航基準線。
[0012] 所述的基于機器視覺的農業AGV玉米行間導航基準線提取方法，其特征在于，步驟 一所述的玉米根莖圖像預處理的方法為:利用改進的超綠特征算法提取玉米根莖的綠色區 域，再通過灰度化處理，獲得玉米根莖的二維分量圖像。
[0013] 所述的基于機器視覺的農業AGV玉米行間導航基準線提取方法，其特征在于，所述 改進的超綠特征算法，具體為：用相機在玉米田間采樣若干玉米作物行的圖像，利用公式 (1)計算每張圖像的G分量系數α:
[0014]
奸）
[0015] 式中，α表示G值系數，Gr (X，y)表示坐標為(X，y)像素點的像素值，Gr (G)、Gr (R)和 Gr(B)分別表示G分量、R分量和B分量的單通道像素值；
[0016] 利用公式（1)計算每張樣本圖像，當aG(x，y)的值大于R(x，y)和B(x，y)的和時，說 明此處像素的G分量顯著，保留G分量值；當aG(x，y)的值小于R(x，y)和B(x，y)時，則認為此 處的G值分量不顯著，并將該處的R-G-B分量值分別置為白色，即RGB顏色空間中的單通道分 量的最大值1;再對所有的樣本圖像的α求取平均值，W此平均值作為G分量的系數。
[0017] 所述的基于機器視覺的農業AGV玉米行間導航基準線提取方法，其特征在于，步驟 二所述的采用自適應最大類間方差法分割玉米根莖圖像和濾波去噪，具體為:利用自適應 最大類間方差法(0TSU)算法按灰度級把圖像的灰度數分成兩部分，使每部分之間的灰度差 異最小，而兩部分之間灰度值差異最大，通過計算方差自動選取闊值，尋找合適的灰度級別 來分割根莖圖像。
[0018] 所述的基于機器視覺的農業AGV玉米行間導航基準線提取方法，其特征在于，步驟 二所述的濾波去噪是采用中值濾波消除細小噪聲和采用形態學開運算消除大面積噪聲。
[0019] 所述的基于機器視覺的農業AGV玉米行間導航基準線提取方法，其特征在于，所述 的中值濾波的濾波子窗口大小為6*6。
[0020] 所述的基于機器視覺的農業AGV玉米行間導航基準線提取方法，其特征在于，所述 的形態學開運算是用圓形結構元素為100的結構因子對圖像進行先腐蝕后膨脹處理。
[0021] 所述的基于機器視覺的農業AGV玉米行間導航基準線提取方法，其特征在于，步驟 Ξ所述的垂直投影法生成玉米根莖輪廓特征點，具體為:利用公式(2)，沿著圖像的列方向， 取每列的像素值之和作為新的縱坐標，圖像的列向量為行坐標，生成玉米根莖輪廓特征點 圖像；
[0022] )
[0023] 式中Μ、Ν分別表示圖像像素的列和行尺寸；i，j分別表示圖像像素的行和列；I (i， j)表示W圖像左上角為坐標原點，沿著圖像的列方向，每列的像素值相加的和。
[0024] 所述的基于機器視覺的農業AGV玉米行間導航基準線提取方法，其特征在于，步驟 四所述的對玉米根莖輪廓特征點進行峰值點檢測和判別，生成玉米根莖峰值特征點，具體 包括W下步驟：
[0025]步驟9.1沿j方向，從左到右對根莖輪廓點進行掃描，設定相鄰峰值點距離的闊值， 生成較為離散的玉米根莖峰值點簇，同時消除闊值內相鄰較近的小波峰噪聲，存儲矩陣 Smax 中；
[00%]步驟9.2W圖像中屯、的處為分割線，分別建立左右兩個空矩陣，左邊記為L，右 邊記為R;
[0027] 步驟9.3將圖像中生成的峰值點簇分別存儲到L和R矩陣中，分別對L和R矩陣進行 二次特征點判斷：在L矩陣中，將圖像左上角設定坐標原點，沿j方向從左向右，依次掃描各 個特征點，對Smax中的特征點進行判別，當出現兩個特征點Smax( j ) <Smax ( j +1 )時，將Smax( j +1 ) 設定為空；在R矩陣正好相反，坐標原點在圖像的右上方，沿j從右往左的方向掃描，當Smax (j ) <Smax( j + 1 )時，將Smax( j )設定為空，即剔除明顯偏離較大的偽特征點。
[0028] 所述的基于機器視覺的農業AGV玉米行間導航基準線提取方法，其特征在于，步驟 五所述的運用最小二乘法擬合峰值特征點，具體為:對獲取的玉米根莖峰值特征點，采用最 小二乘法快速擬合玉米根莖峰值特征點，生成玉米行線，并W此作為導航基準線。
[0029] 本發明的優點是：
[0030] 本發明方法是對傳統的超綠特征算法中的G值系數先求樣本平均值，可實時地將 玉米植株根莖部綠色特征提取出來，提高了算法的魯棒性;基于垂直投影圖，找出玉米根莖 峰之點，僅對峰之點數據進行篩選處理，可較為準確地提取出玉米根莖特征點，并剔除大塊 的玉米葉片噪聲的影響，降低了運算量，縮短了運行時間；另外，采用基于已知點的最小二 乘法擬合提取出的作物行特征點，減少了計算量和占用內存，不僅提高了實時性，而且降低 了算法的復雜度。
【附圖說明】
[0031 ]圖1為本發明的玉米根莖檢測算法流程圖。
[0032] 圖2為本發明G值系數為1.8的圖像。
[0033] 圖3為本發明G值系數為1.9的圖像。
[0034] 圖4為本發明0TSU處理后的圖像。
[0035] 圖5為本發明形態學處理后的圖像。
[0036] 圖6為本發玉米莖桿點輪廓。
[0037] 圖7為本發明的離散點簇圖像。
[0038] 圖8為本發明特征檢測效果圖。
[0039] 圖9為本發明剔除噪聲特征點后的圖像。
[0040] 圖10為本發明導航基準線圖。
【具體實施方式】
[0041] 為了便于理解和說明本發明的目的、方法和優勢，W下結合附圖，通過本發明的實 施例進一步詳細和系統地將本發明的方法完整地描述清楚。
[0042] 本實施例在實際玉米田間環境，用于小型AGV(Automated Guided Vehicle)在大 田中后期的玉米田間病蟲害管理和防治作業。
[0043] 如圖1所示，所述的檢測玉米行間的導航基準線方法包括W下內容：
[0044] 室外實驗于2015年7月在河南省鶴壁市竣縣玉米示范區中進行，大田作物中玉米 行距65-80cm。導航基準線與農業AGV前進的方向之間的夾角為導航角，導航角的大小又決 定了導航基準線的準確性。為了判斷提取的導航基準線準確性，為此人工擬合出導航基準 線作為衡量基準，判斷該算法提取出的基準線的準確率。人工擬合主要是在農業AGV行走之 前，W小車開始行走的原點為坐標原點，對現場建立人工坐標系，測量行間的玉米根莖坐 標，并計算出斜率，最后解算出基準線方程，得到擬合后的人工導航基準線。經過多次實驗 證明，當農業AGVWlm/s速度行駛，導航角度偏差在±2°范圍內，不會撞擊到玉米植株。
[0045] -種基于機器視覺的農業AGV玉米行間導航基準線提取方法，包括W下步驟：
[0046] 步驟一:對玉米根莖圖像進行預處理；
[0047] 就是利用改進的超綠特征算法提取玉米根莖的綠色區域，再通過灰度化處理，獲 得玉米根莖的二維分量圖像。
[0048] 改進的超綠特征算法，是在提取玉米根莖的綠色區域之前，先用相機在玉米田間 采樣若干玉米作物行的圖像，計算每張圖像的G分量系數值，求取G分量的均值系數，將G值 系數帶入W下公式：
[0049]
[0050] 式中，α表示G值系數，Gr (X，y)表示坐標為(X，y)像素點的像素值，Gr (G)、Gr (R)和 Gr(B)分別表示G分量、R分量和B分量的單通道像素值。
[0051] 利用公式（1)計算每張樣本圖像，當aG(x，y)的值大于R(x，y)和B(x，y)的和時，說 明此處像素的G分量顯著，保留G分量值。當aG(x，y)的值小于R(x，y)和B(x，y)時，則認為此 處的G值分量不顯著，并將該處的R-G-B分量值分別置為白色（即RGB顏色空間中的單通道分 量的最大值1)。求取α的均值，可W大大提高超綠特征算法的魯棒性和實時性。實驗處理了 50幅樣本圖片后，計算出α的均值為1.9。圖2和圖3分別為G值系數分別為1.8和1.9時的圖像 噪聲檢測效果圖，從圖中看出當α為1.9時效果最好，如果繼續用α為2.0作為G值系數，就會 造成過渡提取，腐蝕玉米根莖區域。
[0052] 步驟二:采用自適應最大類間方差法分割玉米根莖圖像和濾波去噪，獲取玉米根 莖感興趣區域；
[0053] 就是利用自適應最大類間方差法(0TSU)算法按灰度級把圖像的灰度數分成兩部 分，使每部分之間的灰度差異最小，而兩部分之間灰度值差異最大，通過計算方差自動選取 闊值，尋找合適的灰度級別來分割圖像，處理之后用中值濾波消除細小噪聲和采用形態學 開運算消除大面積噪聲。。
[0054] 中值濾波去除細小噪聲的濾波子窗口大小為6*6，處理后的結果如圖4所示，玉米 植株清晰可見;形態學開運算，其特征進一步在于用圓形結構元素為100的結構因子對圖像 進行先腐蝕后膨脹處理。由于濾波之后仍有雜草和枯枝等大面積噪聲，如果運些噪聲不去 除，影響整個導航系統的實時性和精確性，采用形態學運算中的開運算可W大面積噪聲的 噪聲，不會影響植株的莖桿部分。用圓形結構元素為100的結構因子對圖像進行先腐蝕后膨 脹處理，最終得到較為理想的處理效果，如圖5所示。
[0055] 步驟Ξ:利用垂直投影法生成玉米根莖輪廓特征點；
[0056] 利用公式(2)，沿著圖像的列方向，取每列的像素值之和作為新的縱坐標，圖像的 列向量為行坐標，生成玉米根莖輪廓特征點圖像。
[0化7]
[005引式中Μ、Ν分別表示圖像像素的水平和縱向尺寸；i，j分別表示圖像像素的行和列；I (i，j)表示W圖像左上角為坐標原點，沿著圖像的列方向，每列的像素值相加的和，如圖6所 示。將計算結果的特征點圖像放到原圖中，峰值點正好落在玉米根莖的外輪廓。另外，經過 前期預處理后的圖像任然可能會有部分葉片噪聲伸向行間，而經過垂直投影變換后，基本 不會影響根莖輪廓和定位。原因在于玉米葉片與根莖相連處沿列縱向像素值較少，假如產 生的噪聲較大，如果大于一定闊值，運用特征點值比較法剔除，舍去偽值。
[0059] 步驟四：對玉米根莖輪廓特征點進行峰值點檢測和判別，生成玉米根莖峰值特征 點;包括W下步驟：
[0060] 步驟9.1沿j方向，從左到右對根莖輪廓點進行掃描，設定相鄰峰值點距離的小闊 值，目的是為了得到較為分散的離散點簇和玉米根莖的定位點，同時去除了玉米根莖皮等 引起的小波峰噪聲，如圖7所示，數字標記為玉米根莖特征定位點，存儲到特征點矩陣Smax 中。
[0061] 步驟9.2W圖像中屯、的處為分割線，分別建立左右兩個空矩陣，左邊記為L，右 邊記為R。
[0062] 步驟9.3由相機成像特點可知，距離相機鏡頭焦距較近的成像尺寸較大，反之較 小，而垂直投影變換正好符合此原則。將距離鏡頭近而投影值非常小的偽特征點舍去。將圖 像中生成的峰值點簇分別存儲到L和R矩陣中，對L和R矩陣進行二次特征點判斷。WL矩陣為 例，將圖像左上角設定坐標原點，沿j方向從左向右，依次掃描各個特征點，對Smax中的特征 點進行判別，當出現兩個特征點Smax( j )<Smax( j + 1 )時，將Smax( j + 1 )設定為空。在R矩陣正好相 反，坐標原點在圖像的右上方，沿j從右往左的方向掃描，當Smax( j ) <Smax( j + 1 )時，將Smax( j ) 設定為空，即剔除明顯偏離較大的偽特征點，如圖8(與圖7相比坐標原點順時針旋轉90°)中 標記的2點、5點。圖8中的11點雖為玉米根莖定位點，但是玉米植株相對于正常中期后的其 它玉米植株根莖非常細小，且莖桿也并非豎直狀，當其作垂直投影變換時，在垂直方向白色 區域較少，黑色較多（即1少，0多），因此投影值相對于10特征點較低。在大田環境中，此情況 的玉米根莖相對較少，不影響整體的特征點判斷和識別，處理后的結果如圖9所示。
[0063] 步驟五:運用最小二乘法擬合玉米根莖峰值特征點，生成玉米行線，并W此作為導 航基準線，本發明中求得的兩條導航基準線斜率分別為kl = -1.3610，k2 = 1.0147,擬合結 果如圖10所示。
【主權項】
1. 一種基于機器視覺的農業AGV玉米行間導航基準線提取方法，其特征在于，包括W下 步驟： 步驟一:對玉米根莖圖像進行預處理； 步驟二:采用自適應最大類間方差法分割玉米根莖圖像和濾波去噪，獲取玉米根莖感 興趣區域； 步驟=:利用垂直投影法生成玉米根莖輪廓特征點； 步驟四：對玉米根莖輪廓特征點進行峰值點檢測和判別，生成玉米根莖峰值特征點； 步驟五:運用最小二乘法擬合玉米根莖峰值特征點，生成玉米行線，并W此作為導航基 準線。2. 根據權利要求1所述的基于機器視覺的農業AGV玉米行間導航基準線提取方法，其特 征在于，步驟一所述的玉米根莖圖像預處理的方法為:利用改進的超綠特征算法提取玉米 根莖的綠色區域，再通過灰度化處理，獲得玉米根莖的二維分量圖像。3. 根據權利要求2所述的基于機器視覺的農業AGV玉米行間導航基準線提取方法，其特 征在于，所述改進的超綠特征算法，具體為：用相機在玉米田間采樣若干玉米作物行的圖 像，利用公式(1)計算每張圖像的G分量系數a:(I) 式中，a表示G值系數，GrU,y)表示坐標為(x，y)像素點的像素值，Gr(G) ,Gr(R)和Gr(B) 分別表示G分量、R分量和B分量的單通道像素值； 利用公式（1)計算每張樣本圖像，當aG(x，y)的值大于R(x，y)和B(x，y)的和時，說明此 處像素的G分量顯著，保留G分量值；當aG(X，y)的值小于R(X，y)和B(X，y)時，則認為此處的G 值分量不顯著，并將該處的R-G-B分量值分別置為白色，即RGB顏色空間中的單通道分量的 最大值1;再對所有的樣本圖像的a求取平均值，W此平均值作為G分量的系數。4. 根據權利要求1所述的基于機器視覺的農業AGV玉米行間導航基準線提取方法，其特 征在于，步驟二所述的采用自適應最大類間方差法分割玉米根莖圖像和濾波去噪，具體為： 利用自適應最大類間方差法算法按灰度級把圖像的灰度數分成兩部分，使每部分之間的灰 度差異最小，而兩部分之間灰度值差異最大，通過計算方差自動選取闊值，尋找合適的灰度 級別來分割根莖圖像。5. 根據權利要求1所述的基于機器視覺的農業AGV玉米行間導航基準線提取方法，其特 征在于，步驟二所述的濾波去噪是采用中值濾波消除細小噪聲和采用形態學開運算消除大 面積噪聲。6. 根據權利要求5所述的基于機器視覺的農業AGV玉米行間導航基準線提取方法，其特 征在于，所述的中值濾波的濾波子窗口大小為6*6。7. 根據權利要求5所述的基于機器視覺的農業AGV玉米行間導航基準線提取方法，其特 征在于，所述的形態學開運算是用圓形結構元素為100的結構因子對圖像進行先腐蝕后膨 脹處理。8. 根據權利要求1所述的基于機器視覺的農業AGV玉米行間導航基準線提取方法，其特 征在于，步驟=所述的垂直投影法生成玉米根莖輪廓特征點，具體為:利用公式(2)，沿著圖 像的列方向，取每列的像素值之和作為新的縱坐標，圖像的列向量為行坐標，生成玉米根莖 輪廓特征點圖像；式中M、N分別表示圖像像素的列和行尺寸；i，j分別表示圖像像素的行和列；I (i，j)表 示W圖像左上角為坐標原點，沿著圖像的列方向，每列的像素值相加的和。9. 根據權利要求8所述的基于機器視覺的農業AGV玉米行間導航基準線提取方法，其特 征在于，步驟四所述的對玉米根莖輪廓特征點進行峰值點檢測和判別，生成玉米根莖峰值 特征點，具體包括W下步驟： 步驟9.1沿j方向，從左到右對根莖輪廓點進行掃描，設定相鄰峰值點距離的闊值，生成 較為離散的玉米根莖峰值點簇，同時消除闊值內相鄰較近的小波峰噪聲，存儲矩陣Smax中； 步驟9.2W圖像中屯、的1/2處為分割線，分別建立左右兩個空矩陣，左邊記為L，右邊記 為R; 步驟9.3將圖像中生成的峰值點簇分別存儲到L和R矩陣中，分別對L和R矩陣進行二次 特征點判斷：在L矩陣中，將圖像左上角設定坐標原點，沿j方向從左向右，依次掃描各個特 征點，對Smax中的特征點進行判別，當出現兩個特征點S"ax( j ) <S"ax( j + 1 )時，將S"ax( j + 1 )設定 為空；在R矩陣正好相反，坐標原點在圖像的右上方，沿j從右往左的方向掃描，當Smax(j)< Smax( j + 1 )時，將Smax( j )設定為空，即剔除明顯偏離較大的偽特征點。10. 根據權利要求1所述的基于機器視覺的農業AGV玉米行間導航基準線提取方法，其 特征在于，步驟五所述的運用最小二乘法擬合峰值特征點，具體為:對獲取的玉米根莖峰值 特征點，采用最小二乘法快速擬合玉米根莖峰值特征點，生成玉米行線，并W此作為導航基 準線。
【文檔編號】G06T7/00GK105989601SQ201511023698
【公開日】2016年10月5日
【申請日】2015年12月30日
【發明人】宋宇, 劉永博, 劉路, 朱德泉, 焦俊, 方健
【申請人】安徽農業大學