67] 3. IBP神經網絡分類
[0068] 所述反向傳播人工神經網絡分類是提取圖像中每個碎片的顏色特征和紋理特征， 并利用訓練好的神經網絡將其分為蘋果、樹葉、樹枝和背景4類。
[0069] 具體過程為:B巧巾經網絡的輸入數據為各個圖像碎片的色彩平均值、方差、灰度均 值、標準差、平滑度和賭(R，G，B，Var，m，R，e )，其維度為8。BP神經網絡的輸出主要分為4類： 蘋果、樹葉、樹枝、背景。因此建立的BP神經網絡是一個八輸入四輸出結構的簡單分類系統， 采用單隱層經典的BP神經網絡S層拓撲結構，即隱層的傳遞函數采用雙極性S函數TANSIG， 輸出層采用線性函數PURELIN，通過試湊法將隱層節點數定為12,其拓撲結構如圖6所示。
[0070] 為了使建立的BP神經網絡發揮出應有的分類效果，需要對其進行必要的訓練。所 述反向傳播人工神經網絡訓練是分別取蘋果、樹葉、樹枝和背景的圖像碎片若干并分別提 取其顏色特征和紋理特征作為神經網絡輸入，運些碎片對應的類別編號作為神經網絡輸 出，然后進行多次訓練并選取訓練誤差最小的網絡作為最終用于分類的網絡。
[0071] 具體過程為:采集蘋果、樹葉、樹枝、背景四種圖像碎片各60個并計算其色彩平均 值、方差、灰度均值、標準差、平滑度和賭W作為BP神經網絡的輸入數據;同時建立對應的類 別標簽作為訓練的輸出數據，對該網絡進行20次訓練，選取訓練誤差最小的網絡作為最終 分類網絡來對圖像進行分類，其分類效果如圖7所示。從圖7中可W看出，該網絡將圖像碎片 分為四類，圖中紅色碎片表示蘋果，綠色碎片表示樹葉，灰色碎片表示樹枝，黑色碎片表示 背景。
[0072] 3.2碎片位置關系修正
[0073] 根據碎片之間的位置關系濾除錯誤分類W修正分類結果并確定蘋果的位置，所述 濾除錯誤分類是將孤立的或者只有一個蘋果碎片與之相鄰的蘋果碎片作為錯誤分類的碎 片并予W濾除。
[0074] 樹枝和樹葉區域識別的小范圍偏差對蘋果采摘的影響較小，而目標蘋果的誤判則 會給目標的定位和識別帶來了較大的干擾，因此需要濾除非目標區域的干擾。類似圖6中較 小紅色區域的被誤判區域具有面積小、位置孤立的特點。由于誤判區域的相鄰碎片區域通 常沒有或很少存在同類的區域，因此誤判區域空間位置的孤立性是誤判區域區別于其他區 域的重要特征。
[0075] 為了描述不同碎片在二維空間中的關系，碎片之間的位置關系是采用區域鄰接圖 描述的圖像碎片之間的鄰接關系，首先需要建立一個區域鄰接圖（Region Adjacency Graph, RAG)來表達不同碎片區域之間的鄰接關系。區域鄰接圖是一個NXN的二值矩陣，其 中N為圖像碎片的個數。若P為一幅區域鄰接圖，其中P(i，j) = l，（i，j = l，2,3…N)，則表示 第i個圖像碎片與第j個圖像碎片相鄰，若為0則不相鄰，具體鄰接圖生成方式如圖8所示。
[0076] 根據區域鄰接圖的描述，統計每個誤判的蘋果碎片區域周圍相鄰的同類碎片的個 數。根據多幅圖像的統計結果，得出絕大多數誤判的蘋果碎片周圍相鄰的同類碎片個數為0 或1個。因此在實驗中通過統計每幅圖像中蘋果碎片相鄰同類碎片的個數，將個數為0或1的 碎片作為誤判碎片濾除減少干擾。
[0077] 最后對蘋果碎片進行閉運算使相鄰的蘋果碎片連成一體再進行孔桐填充，其中閉 運算的結構元素為3X3的正方形；接著計算每個蘋果連通區的中屯、W確定蘋果的中屯、位 置。
[0078] 在本說明書的描述中，參考術語"一個實施例"、"一些實施例"、"示意性實施例"、 "示例"、"具體示例"、或"一些示例"等的描述意指結合該實施例或示例描述的具體特征、結 構、材料或者特點包含于本發明的至少一個實施例或示例中。在本說明書中，對上述術語的 示意性表述不一定指的是相同的實施例或示例。而且，描述的具體特征、結構、材料或者特 點可W在任何的一個或多個實施例或示例中W合適的方式結合。
[0079] 盡管已經示出和描述了本發明的實施例，本領域的普通技術人員可W理解:在不 脫離本發明的原理和宗旨的情況下可W對運些實施例進行多種變化、修改、替換和變型，本 發明的范圍由權利要求及其等同物限定。
【主權項】
1. 一種基于分水嶺和神經網絡的蘋果采摘機器人夜間圖像識別方法，其特征是，包括 以下步驟： 在夜間通過人工光源輔助照明采集蘋果果園中的彩色圖像，采用改進的分水嶺算法沿 圖像邊緣將圖像碎片化，所述改進的分水嶺算法是將分水嶺算法的輸入變為所采集彩色圖 像的梯度圖像并對梯度圖像采用3X3模板進行中值濾波和開閉濾波以平滑噪聲，然后提取 每個碎片的顏色特征和紋理特征，再建立反向傳播人工神經網絡并利用已知類別碎片的特 征量進行訓練，接著利用訓練好的神經網絡根據每個碎片的特征量進行分類，最后根據碎 片之間的位置關系濾除錯誤分類以修正分類結果并確定蘋果的位置。2. 根據權利要求1所述的基于分水嶺和神經網絡的蘋果采摘機器人夜間圖像識別方 法，其特征是，在夜間通過人工光源輔助照明采集蘋果果園中的彩色圖像的具體過程為:首 先在夜間以白色LED燈作為人工輔助照明光源，選用CMOS彩色攝像頭對目標果實進行拍攝 完成圖像采集。3. 根據權利要求1所述的基于分水嶺和神經網絡的蘋果采摘機器人夜間圖像識別方 法，其特征是，所述改進的分水嶺算法的改進部分為： a) 彩色圖像梯度計算：和灰度圖像的梯度計算相比，彩色圖像的梯度計算把關于單一 灰度的計算轉換成三維的向量計算，彩色圖像在點(x，y)上的梯度定義公式如下：其中，R、G、B分別是點(x，y)處的顏色分量；？，分別是沿RGB彩色空間的R、G、B軸的 單位向量；I 分別是彩色圖像在點(X，y)處沿X和y方向的梯度向量。 b) 采用中值濾波和形態學的開閉濾波相結合的方法對梯度圖像進行濾波:采用3X3正 方形模板對彩色圖像的梯度圖像進行中值濾波后，再采用3X3的正方形結構元素對其進行 開閉濾波。4. 根據權利要求3所述的基于分水嶺和神經網絡的蘋果采摘機器人夜間圖像識別方 法，其特征是，所述圖像碎片化是以改進分水嶺算法檢測的邊緣為基礎將圖像分為大小不 一的碎片。5. 根據權利要求1所述的基于分水嶺和神經網絡的蘋果采摘機器人夜間圖像識別方 法，其特征是， 所述顏色特征是為圖像碎片內像素點在RGB顏色空間的顏色平均值和方差;所述紋理 特征是為圖像碎片內所有像素灰度直方圖的統計特征，包括:灰度均值，標準差，平滑度， 熵。6. 根據權利要求1所述的基于分水嶺和神經網絡的蘋果采摘機器人夜間圖像識別方 法，其特征是， 所述反向傳播人工神經網絡訓練是分別取蘋果、樹葉、樹枝和背景的圖像碎片若干并 分別提取其顏色特征和紋理特征作為神經網絡輸入，這些碎片對應的類別編號作為神經網 絡輸出，然后進行多次訓練并選取訓練誤差最小的網絡作為最終用于分類的網絡;所述反 向傳播人工神經網絡分類是提取圖像中每個碎片的顏色特征和紋理特征，并利用訓練好的 神經網絡將其分為蘋果、樹葉、樹枝和背景4類。7. 根據權利要求1所述的基于分水嶺和神經網絡的蘋果采摘機器人夜間圖像識別方 法，其特征是，所述碎片之間的位置關系是采用區域鄰接圖描述的圖像碎片之間的鄰接關 系。8. 根據權利要求1所述的基于分水嶺和神經網絡的蘋果采摘機器人夜間圖像識別方 法，其特征是，所述濾除錯誤分類是將孤立的或者只有一個蘋果碎片與之相鄰的蘋果碎片 作為錯誤分類的碎片并予以濾除。
【專利摘要】本發明公開了一種基于分水嶺和神經網絡的蘋果采摘機器人夜間圖像識別方法，該方法在夜間通過人工光源輔助照明采集蘋果果園中的彩色圖像，采用改進的分水嶺算法沿圖像邊緣將圖像碎片化，提取每個碎片的顏色特征和紋理特征，再建立反向傳播人工神經網絡并利用己知類別碎片的特征量進行訓練，接著利用訓練好的神經網絡根據每個碎片的特征量進行分類，最后根據碎片之間的位置關系濾除錯誤分類以修正分類結果并確定蘋果的位置。本發明通過將圖像碎片化并對碎片進行分類的方法識別夜間蘋果，能有效抑制人工光源造成的光照不均、陰影和反光現象對蘋果識別的影響，并提高識別蘋果的完整度和定位精度。
【IPC分類】G06K9/62
【公開號】CN105718945
【申請號】CN201610035900
【發明人】趙德安, 劉曉洋, 賈偉寬, 陳玉, 姬偉
【申請人】江蘇大學
【公開日】2016年6月29日
【申請日】2016年1月20日