一種激光掃描與機器視覺相結(jié)合的果實識別定位方法
【專利摘要】本發(fā)明公開了一種激光掃描與機器視覺相結(jié)合的果實識別定位方法，利用激光掃描不受光照條件的影響且同時獲得距離、反射率、坐標多信息的特點，在掃描生成的反射率圖中，利用反射率顯著差異而形成的清晰輪廓將果實與枝葉進行區(qū)分，根據(jù)彩色圖像與反射率圖中特征點的顏色特征差異將反射率相近的成熟果實和未成熟果實進行區(qū)分，根據(jù)深度圖中多個相互重疊果實所處的距離不同將成熟目標果實從與之相重疊果實中區(qū)分出來。本發(fā)明將激光掃描獲得的反射率、深度、坐標等多信息與機器視覺的彩色圖像信息相結(jié)合，綜合實現(xiàn)成熟目標果實與枝葉、未成熟果實、相重疊果實的區(qū)分和定位，方法簡單快速，實時性與實用性強，可應(yīng)用于株上果實的識別定位。
【專利說明】一種激光掃描與機器視覺相結(jié)合的果實識別定位方法
所屬【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及農(nóng)業(yè)機器人領(lǐng)域，特別涉及一種激光掃描與機器視覺結(jié)合的果實識別定位方法。
【背景技術(shù)】
[0002]在機器人采摘中，果實的識別與定位是關(guān)鍵技術(shù)難題。目前普遍利用機器視覺來進行果實的識別與定位，但機器視覺對光照條件敏感，背光、逆光等條件均會造成圖像中的果實邊緣信息提取的困難與錯誤，而補光等措施的效果受到實際光照條件的嚴格限制。同時，對普遍存在的果實相重疊情況，在機器視覺圖像中難以判別，僅能通過復(fù)雜算法處理來進行有限分割，其實時性與準確性嚴重不足。少數(shù)利用多光譜技術(shù)進行果實識別，其精度與實時性難以保證，且無法滿足重疊果實區(qū)分與果實定位的需要。近年來國內(nèi)外開展了以激光為光源的三維視覺傳感器開發(fā)(劉兆祥等，蘋果采摘機器人三維視覺傳感器設(shè)計，農(nóng)業(yè)機械學報，2010，41，2:171?175;1 Dewa Made SUBRATA 等，3_D Vision Sensorfor Cherry Tomato Harvesting Robot, JARQ,1997: 257-264 ；Kanae Tanigakia 等，Cherry-harvesting robot,Computer and Electronics in Agriculture, 2008:65?72.),利用果樹對激光的反射差異實現(xiàn)果實識別，利用激光三角測量原理實現(xiàn)果實定位，但對于成熟果實和未成熟果實的反射率相近等情況，由于信息的不足而難以做出正確判斷。
【發(fā)明內(nèi)容】
[0003]本發(fā)明提供一種激光掃描與機器視覺相結(jié)合的果實識別定位方法，實現(xiàn)對成熟目標果實的準確識別和定位。
[0004]為了解決以上技術(shù)問題，本發(fā)明采用的具體技術(shù)方案包括以下步驟:
步驟一，利用激光掃描儀(I)通過三維掃描同時獲得前方場景的反射率(3)、坐標(4)和距離(5)信息，同時由相機(2)獲得前方場景的彩色圖像(6)；
步驟二，將反射率(3)和坐標(4)信息相結(jié)合得到前方場景的反射率圖(7)，將坐標(4)和距離(5)信息相結(jié)合得到前方場景的深度圖(7)；
步驟三，根據(jù)反射率圖(7)中的果實(9)與枝(10)、葉(11)輪廓形狀的圓度等特征，將果實(9)與枝(10)、葉(11)進行區(qū)分；
步驟四，將彩色圖像(6)與反射率圖(7)進行匹配，根據(jù)彩色圖像(6)與反射率圖(7)中特征點(12)的顏色不同將成熟果實(13)和未成熟果實(14)進行區(qū)分，區(qū)分的依據(jù)為:當果實為番茄果實時，成熟果實(13)與未成熟果實(14)的顏色分別為青白和紅；當果實為柑橘時，成熟果實(13)與未成熟果實(14)的顏色分別為青和橘黃；當果實為桃時，成熟果實
(13)與未成熟果實(14)的顏色分別為青和桃紅。
[0005]步驟五，根據(jù)深度圖(8)不同果實所處的不同距離，將成熟目標果實(15)從各個相重疊果實(17)中區(qū)分出來；
步驟六，根據(jù)深度圖(8)中成熟目標果實(15)的距離(5)與坐標(4)信息，實現(xiàn)對成熟目標果實(15)進行定位。
[0006]所述果實(9)為番茄、柑橘、桃果實中的任一種。
[0007]本發(fā)明的工作原理如下:激光掃描儀(I)的三維掃描不受光照條件的影響，在掃描生成的反射率圖(7)中，反射率具有顯著差異的果實(9)與枝(10)、葉(11)間可形成清晰輪廓并進行區(qū)分；將相機(2)獲得的彩色圖像(6)與反射率圖(7)匹配，可根據(jù)彩色圖像
(6)與反射率圖(7)中特征點(12)的顏色特征差異將反射率(3)相近的成熟果實(13)和未成熟果實(14)進行區(qū)分；在激光掃描所獲得的深度圖(8)中，根據(jù)多個相互重疊的果實(9)所處的距離不同可以將成熟目標果實(15)從各個相重疊果實(17)中區(qū)分出來。
[0008]本發(fā)明具有有益效果。本發(fā)明結(jié)合利用激光掃描獲得的反射率、深度、坐標等多信息與機器視覺的彩色圖像信息，綜合實現(xiàn)成熟目標果實與枝葉、未成熟果實、相重疊果實的區(qū)分和定位，識別和定法準確，方法簡單快速，實時性與實用性強。
【專利附圖】
【附圖說明】
[0009]圖1為本發(fā)明的方法流程圖。
[0010]圖2為本發(fā)明的果實識別定位示意圖。
[0011]圖3為番茄生長狀態(tài)示意圖。
[0012]圖中:1.激光掃描儀，2.相機，3.反射率，4.坐標，5.距離，6.彩色圖像，7.反射率圖，8.深度圖，9.果實，10.枝，11.葉，12.特征點，13.成熟果實，14.未成熟果實，15.成熟目標果實，16.采摘機器人，17.相重疊果實。
【具體實施方式】
[0013]下面結(jié)合附圖和具體實施例，對本發(fā)明的技術(shù)方案做進一步詳細說明。
[0014]圖1展示了本發(fā)明的方法流程圖。
[0015]以番茄為例，本發(fā)明的實施過程如下:
(1)激光掃描不受光照條件的影響，激光掃描儀I通過三維掃描，同時獲得前方場景的反射率3、坐標4和距尚5信息，由于番爺果實9與番爺枝10、番爺葉11的反射率具有顯著差異，從而可在反射率圖7中形成清晰輪廓，從而將番茄果實9與番茄枝10、番茄葉11進行區(qū)分，如圖3所示；
(2)針對成熟番爺果實13和未成熟番爺果實14的反射率3相近的情況，由相機2獲得彩色圖像6，并通過彩色圖像6與反射率圖7的匹配，根據(jù)彩色圖像6與反射率圖7中特征點12的顏色特征差異將成熟番茄果實13和未成熟番茄果實14進行區(qū)分；
(3)對多個番茄果實相重疊的情況，由于在激光掃描所獲得的深度圖8中不同番茄果實處于不同的距離，可以將成熟目標番茄果實15從各個相重疊番茄中區(qū)分出來。
[0016]本發(fā)明的具體識別定位的過程如下:
(1)激光掃描儀I通過三維掃描同時獲得前方場景的反射率3、坐標4和距離5信息，同時由相機2獲得前方場景的彩色圖像6 ；
(2)將反射率3和坐標4信息相結(jié)合得到前方場景的反射率圖7，將坐標4和距離5信息相結(jié)合得到前方場景的深度圖7 ；
(3)根據(jù)反射率圖7中的番茄果實9與番茄枝10、番茄葉11輪廓形狀的圓度等特征，將番茄果實9與番茄枝10、番茄葉11進行區(qū)分；
(4)將彩色圖像6與反射率圖7進行匹配，根據(jù)彩色圖像6與反射率圖7中特征點12的顏色特征差異將(半)紅色成熟番茄果實13和青白未成熟番茄果實14進行區(qū)分；
(5)根據(jù)深度圖8不同果實所處的不同距離，將成熟目標番茄果實15從各個相重疊番茄果實17中區(qū)分出來；
(6)根據(jù)深度圖8中成熟目標番茄果實15的距離5與坐標4信息，對成熟目標番茄果實15進行定位,引導(dǎo)米摘機器人16完成對成熟目標番爺果實15的米摘,如圖2所不。
【權(quán)利要求】
1.一種激光掃描與機器視覺相結(jié)合的果實識別定位方法，其特征在于包括以下步驟: 步驟一，利用激光掃描儀(I)通過三維掃描同時獲得前方場景的反射率(3)、坐標(4)和距離(5)信息，同時由相機(2)獲得前方場景的彩色圖像(6); 步驟二，將反射率(3)和坐標(4)信息相結(jié)合得到前方場景的反射率圖(7)，將坐標(4)和距離(5)信息相結(jié)合得到前方場景的深度圖(7)； 步驟三，根據(jù)反射率圖(7)中的果實(9)與枝(10)、葉(11)輪廓形狀的圓度等特征，將果實(9)與枝(10)、葉(11)進行區(qū)分； 步驟四，將彩色圖像(6)與反射率圖(7)進行匹配，根據(jù)彩色圖像(6)與反射率圖(7)中特征點(12)的顏色不同將成熟果實(13)和未成熟果實(14)進行區(qū)分； 步驟五，根據(jù)深度圖(8)不同果實所處的不同距離，將成熟目標果實(15)從各個相重疊果實(17)中區(qū)分出來； 步驟六，根據(jù)深度圖(8)中成熟目標果實(15)的距離(5)與坐標(4)信息，實現(xiàn)對成熟目標果實(15)進行定位。
2.如權(quán)利要求1所述的一種激光掃描與機器視覺相結(jié)合的果實識別定位方法，其特征在于:所述果實(9)為番茄、柑橘、桃果實中的任一種。
3.如權(quán)利要求1所述的一種激光掃描與機器視覺相結(jié)合的果實識別定位方法，其特征在于所述步驟四中，將成熟果實(13)和未成熟果實(14)進行區(qū)分的依據(jù)為:當果實為番茄果實時，成熟果實(13)與未成熟果實(14)的顏色分別為青白和紅；當果實為柑橘時，成熟果實(13)與未成熟果實(14)的顏色分別為青和橘黃；當果實為桃時，成熟果實(13)與未成熟果實(14)的顏色分別為青和桃紅。
【文檔編號】G06K9/46GK103544493SQ201310505701
【公開日】2014年1月29日 申請日期:2013年10月24日 優(yōu)先權(quán)日:2013年10月24日
【發(fā)明者】劉繼展, 賈允毅, 席寧 申請人:江蘇大學