本技術涉及采摘控制領域,尤其涉及一種菠蘿采摘控制方法、相應的裝置、電子設備及計算機可讀存儲介質。
背景技術:
1、菠蘿是我國重要的南方特色熱帶水果之一,國內種植面積在100萬畝左右,年總產量逐步攀升至200萬噸,是廣東、海南等地的重要支柱性產業。目前菠蘿的采收方式以人工采摘為主,需要耗費大量的人工資源,導致采摘作業周期所耗費的成本占了菠蘿生產總成本50%以上。因此研究智能的全自動菠蘿采摘機器人有助于提高生產效率,降低人工成本。
2、當前大部分的菠蘿采摘機器人主要依賴于單一的視覺傳感器來識別和定位成熟果實,通過圖像處理技術來識別菠蘿的大小、顏色和成熟度。然而,僅依賴于視覺傳感器,在果園結構化、動態化的環境里存在一些局限性。尤其是在果園的強光條件或低光照條件下,攝像頭的性能可能會大打折扣,導致其難以精準地獲取果實在三維空間中的位置。
3、綜上所述,適應現有技術中在果園的強光條件或低光照條件下,攝像頭的性能可能會大打折扣,導致其難以精準地獲取果實在三維空間中的位置等問題,本技術人出于解決該問題的考慮作出相應的探索。
技術實現思路
1、本技術的目的在于解決上述問題而提供一種菠蘿采摘控制方法、相應的裝置、電子設備及計算機可讀存儲介質。
2、為滿足本技術的各個目的,本技術采用如下技術方案:
3、適應本技術的目的之一而提出的一種菠蘿采摘控制方法,包括:
4、響應菠蘿采摘指令,地圖測繪機器人獲取各個傳感器數據,其中,所述傳感器數據包括激光雷達點云數據、雙目相機視覺數據以及i?mu數據;
5、所述地圖測繪機器人采用預設的地圖構建算法根據所述激光雷達點云數據、雙目相機視覺數據以及i?mu數據,確定菠蘿采摘作業地圖,采用預設的語義分割算法在所述菠蘿采摘作業地圖中劃分出采摘作業機器人的可行駛區域、菠蘿植株以及待采摘菠蘿相對應的定位特征點;
6、所述采摘作業機器人根據所述菠蘿采摘作業地圖、所述可行駛區域、菠蘿植株以及待采摘菠蘿相對應的定位特征點,采用預訓練的菠蘿檢測模型對所述菠蘿采摘作業地圖進行目標檢測,確定所述菠蘿采摘作業地圖中的待采摘菠蘿邊框圖像;
7、所述采摘作業機器人對所述待采摘菠蘿邊框圖像進行三維體素重建,確定所述待采摘菠蘿相對應的點云數據,根據所述待采摘菠蘿相對應的點云數據計算確定所述待采摘菠蘿相對應的質心坐標;
8、所述采摘作業機器人基于最小外界矩形算法根據所述質心坐標計算確定所述待采摘菠蘿相對應的位姿角度,驅動所述采摘作業機器人的夾爪框住所述待采摘菠蘿進行采摘,以完成采摘作業機器人的采摘控制。
9、可選的,所述地圖測繪機器人采用預設的地圖構建算法根據所述激光雷達點云數據、雙目相機視覺數據以及i?mu數據,確定菠蘿采摘作業地圖的步驟,包括:
10、所述地圖構建算法是基于fast-l?io?2算法框架進行改進的;
11、接收激光雷達點云數據、雙目相機視覺數據、i?mu數據以及gps數據,采用預設的eskf算法融合所述i?mu數據以及gps數據,以確定gps位置;
12、采用預設的ekf算法處理i?mu數據計算i?mu位姿,根據計算出的i?mu位姿,使用反向傳播對激光雷達點云數據去畸變,然后根據激光雷達傳感器以及雙目相機相對應的外參,將rgb信息補充至所述激光雷達點云數據中,隨后使用預設的i?ekf算法計算機器人位姿;
13、檢測當前幀到上一關鍵幀的所述地圖測繪機器人的位姿變化是否超過預設閾值,若超過,則創建關鍵幀,否則輸出當前位姿;
14、若創建關鍵幀,則進行局部地圖的優化,使用scan-context算法檢測是否回環,若沒有檢測到回環,則使用kd-tree算法篩選臨近關鍵幀構建局部地圖,使用因子圖進行局部地圖優化;若檢測到回環,則提取回環隊列使用因子圖進行回環矯正并更新全局地圖,隨后輸出當前幀的位姿,并等待下一幀數據的接收。
15、可選的,所述采摘作業機器人對所述待采摘菠蘿邊框圖像進行三維體素重建,確定所述待采摘菠蘿相對應的點云數據,根據所述待采摘菠蘿相對應的點云數據計算確定所述待采摘菠蘿相對應的質心坐標的步驟,包括:
16、基于卡爾曼濾波器對所述激光雷達點云數據進行處理,以去除噪聲和雜點;
17、對所述激光雷達點云數據進行分割以及聚類,并進行網格渲染,完成三維重建,確定所述待采摘菠蘿相對應的點云數據;
18、計算確定所述待采摘菠蘿相對應的點云數據中所有點的平均值,以確定待采摘菠蘿的質心坐標。
19、可選的,所述采摘作業機器人根據所述菠蘿采摘作業地圖、所述可行駛區域、菠蘿植株以及待采摘菠蘿相對應的定位特征點的步驟之后,包括:
20、所述采摘作業機器人接收所述地圖測繪機器人傳輸的所述可行駛區域、菠蘿植株以及待采摘菠蘿相對應的定位特征點以及菠蘿采摘作業地圖;
21、所述采摘作業機器人通過雙目相機獲取菠蘿采摘環境圖像,采用預設的eskf算法融合采摘作業機器人相對應的i?mu數據以及gps數據以確定準確的經緯度信息,根據該經緯度信息選取所述菠蘿采摘環境圖像的關鍵幀,并提取所述關鍵幀的orb特征點,采用pnp算法對orb特征點進行位姿估計,以確定所述采摘作業機器人的位姿;
22、基于菠蘿采摘作業地圖,在所述可行駛區域內尋找最近的作業區域,生成代價地圖,并采用a*算法計算出最近的行駛路徑;
23、若在所述行駛路徑上檢測到障礙物,將更新所述代價地圖并使用a*算法重新生成路徑直到到達采摘區域,然后控制所述采摘作業機器人的機械臂對準待采摘菠蘿進行采摘,以完成對菠蘿的采摘控制。
24、可選的,采用預訓練的菠蘿檢測模型對所述菠蘿采摘作業地圖進行目標檢測,確定所述菠蘿采摘作業地圖中的待采摘菠蘿邊框圖像的步驟,包括:
25、將所述菠蘿采摘環境圖像輸入至已訓練至收斂狀態的菠蘿檢測模型,通過邊框回歸,得到帶有置信度的待采摘菠蘿識別框;
26、將所有待采摘菠蘿識別框內的圖像進行圖像二值化處理得到灰度圖,對所述灰度圖進行全局閾值分割以確定閾值圖像;
27、對所述閾值圖像進行閉運算以保證菠蘿信息的完整性,采用索貝爾算子獲取菠蘿的邊緣輪廓,以確定所述待采摘菠蘿邊框圖像。
28、可選的,所述采摘作業機器人基于最小外界矩形算法根據所述質心坐標計算確定所述待采摘菠蘿相對應的位姿角度,驅動所述采摘作業機器人的夾爪框住所述待采摘菠蘿進行采摘的步驟,包括:
29、確定所述待采摘菠蘿相對應的點云數據以及位姿角度,基于所述待采摘菠蘿相對應的點云數據以及位姿角度,驅動所述采摘作業機器人的機械臂的夾爪框住所述待采摘菠蘿;
30、當夾爪框住菠蘿后,氣泵向夾爪內充氣,使其膨脹以自適應地包裹住不同大小和形狀的菠蘿,其中,所述夾爪采用并排四指氣動柔性材料;
31、所述夾爪沿著末端坐標系的y軸側旋轉45度,掰斷果實與根莖的連接處。將采摘后的菠蘿放入果實收集框內。
32、可選的,所述菠蘿檢測模型的基礎網絡架構為yolov8模型,所述最小外界矩形算法為m?i?narearect算法。
33、適應本技術的另一目的而提供的一種菠蘿采摘控制裝置,包括:
34、數據獲取模塊,設置為響應菠蘿采摘指令,地圖測繪機器人獲取各個傳感器數據,其中,所述傳感器數據包括激光雷達點云數據、雙目相機視覺數據以及i?mu數據;
35、采摘地圖確定模塊,設置為所述地圖測繪機器人采用預設的地圖構建算法根據所述激光雷達點云數據、雙目相機視覺數據以及i?mu數據,確定菠蘿采摘作業地圖,采用預設的語義分割算法在所述菠蘿采摘作業地圖中劃分出采摘作業機器人的可行駛區域、菠蘿植株以及待采摘菠蘿相對應的定位特征點;
36、菠蘿邊框確定模塊,設置為所述采摘作業機器人根據所述菠蘿采摘作業地圖、所述可行駛區域、菠蘿植株以及待采摘菠蘿相對應的定位特征點,采用預訓練的菠蘿檢測模型對所述菠蘿采摘作業地圖進行目標檢測,確定所述菠蘿采摘作業地圖中的待采摘菠蘿邊框圖像;
37、質心坐標確定模塊,設置為所述采摘作業機器人對所述待采摘菠蘿邊框圖像進行三維體素重建,確定所述待采摘菠蘿相對應的點云數據,根據所述待采摘菠蘿相對應的點云數據計算確定所述待采摘菠蘿相對應的質心坐標;
38、采摘控制模塊,設置為所述采摘作業機器人基于最小外界矩形算法根據所述質心坐標計算確定所述待采摘菠蘿相對應的位姿角度,驅動所述采摘作業機器人的夾爪框住所述待采摘菠蘿進行采摘,以完成采摘作業機器人的采摘控制。
39、適應本技術的另一目的而提供的一種電子設備,包括中央處理器和存儲器,所述中央處理器用于調用運行存儲于所述存儲器中的計算機程序以執行本技術所述菠蘿采摘控制方法的步驟。
40、適應本技術的另一目的而提供的一種計算機可讀存儲介質,其以計算機可讀指令的形式存儲有依據所述菠蘿采摘控制方法所實現的計算機程序,該計算機程序被計算機調用運行時,執行相應的方法所包括的步驟。
41、相對于現有技術,本技術針對現有技術中在果園的強光條件或低光照條件下,攝像頭的性能可能會大打折扣,導致其難以精準地獲取果實在三維空間中的位置等問題,本技術包括但不限于如下有益效果:
42、其一,本技術通過融合來自激光雷達、立體攝像頭、i?mu傳感器和gps傳感器等各種傳感器的數據,它可以創建高精度的菠蘿田三維地圖,從而實現菠蘿的高精度識別和定位,顯著提高了菠蘿采摘過程的效率和精度,特別是在大規模農業環境中,它通過提供在復雜農業場景中更可靠、更有效的解決方案來解決當前技術的局限性,針對菠蘿獨特的形狀和表面紋理,這種集成帶來了更高的識別成功率,確保在各種田間條件下準確檢測菠蘿;
43、其二,本技術采用氣動柔性夾爪并用旋扭的方式摘下菠蘿,與傳統的機械抓手相比,機器人系統中的溫和采摘機制具有顯著的優勢,特別是對于菠蘿等水果作物,傳統的夾具常常會施加過大的力,有損壞菠蘿果實和末端執行器作業半徑范圍內的果實的風險。相比之下,本技術的氣動柔性夾具采用柔和的材料和受控的扭轉運動,旨在降低這種風險。這種方法對菠蘿特別有益,因為它可以最大限度地減少對水果外部和植物本身的擦傷和損害,從而確保更高的質量和產量。同時保證了末端執行器的安全,不會對農民工人造成傷害;
44、其三,本技術的菠蘿采摘作業機器人的識別系統采用了輕量化設計,這種簡化的方法提高了系統的效率和響應能力。通過減少計算負載,菠蘿采摘作業機器人可以在田間更快速、更精確地完成操作,這對于菠蘿采摘的動態環境至關重要。這樣的設計選擇不僅提高了整體性能,而且還可以通過減少處理單元的壓力來延長機器人的使用壽命;
45、其四,本技術采用了多機器人協作方法,與傳統的單一采摘機器人作業的模式相比具有明顯的技術優勢。首先使用專用測繪機器人創建高精度菠蘿田地圖,然后通過ros本地網絡與多個采摘機器人實時共享這些數據,從而可以更準確、更高效地定位和采摘菠蘿。該方法提高了整體收割效率和精準性,同時提供了適合不同規模農業作業的可擴展解決方案;
46、進一步的,本技術通過采用分層式控制系統框架,集成多種傳感器和控制終端,降低了各個層級間的耦合性,降低后期系統修改升級的成本;
47、本技術通過采用電子控制方式,通過機器人操作系統(robot?operat?i?ngsystem,ros),實現多個機器人之間的實時通信。同時,ros可以對實時數據進行處理和決策,這對于動態化的農業環境至關重要。