一種基于在線置信度判別的目標抓捕點預測方法與流程

本發明屬于圖像處理與計算機視覺領域，涉及一種基于在線置信度判別的目標抓捕點預測方法。

背景技術：

視覺是機器人與外部環境交互的重要途徑，而機械臂的抓取操作則是機器人的重要操作手段。隨著多自由度機械臂技術的日益發展和多關節手爪靈活度的不斷提高，機械臂能夠更加靈活有效的完成絕大多數的目標抓取任務。傳統意義上，機械臂對目標進行抓取操作時，待抓捕目標通常置于單一、整潔的臺面上，且機械臂手眼相機視場中往往只有單一物體。但在實際操作中，上述條件很難得到滿足，因此如何在復雜操作環境下中快速、有效地在多個物體中識別待抓捕物體具有重要的研究意義。

機械臂的抓取操作是機械臂最基本，也是最重要的一項能力。給定目標的抓捕位置后，機械臂通過規劃自身路徑達到指定的抓捕位置，進而完成抓捕操作。對平行式二指手爪而言，其抓捕操作通過縮小兩平行手爪的距離實現。但上述的“抓捕點預測+手爪抓捕”的框架在實際應用中主要面臨兩個問題：

1、此框架只是被動的對圖像進行反應，當待抓捕物體的當前姿態或角度不適合抓捕時，只能用置信度較低的抓捕點位置進行抓捕，此時無法保證抓捕成功率。

2、針對復雜環境下的多物體抓捕任務，單純根據檢測特征對物體進行抓捕有可能造成“先抓下方物體、后抓上方物體”的局面，增加了抓捕難度。

針對第一個問題，現有改進仍然主要集中對抓捕點預測算法本身，通過增大訓練數據集、采用更強性能的預測器使得算法在極端環境下依然能夠得到較為精度的抓捕點預測位置，但仍屬于被動的預測方法，無法有效提高抓捕成功率。因此發展一種能夠適應復雜環境下的多物體抓取需求，并能夠通過機械臂與目標的交互，使物體達到更有利于抓捕的位置，有十分重要的意義。

技術實現要素：

要解決的技術問題

為了避免現有技術的不足之處，本發明提出一種基于在線置信度判別的目標抓捕點預測方法，彌補復雜環境下，現有的抓捕點預測算法無法很好地選擇目標抓捕點的不足。

技術方案

一種基于在線置信度判別的目標抓捕點預測方法，其特征在于步驟如下：

步驟1、目標識別：采用edgeboxes方法預測手眼相機實時圖像中所有可能包含物體的區域；

步驟2、目標包圍盒對齊：采用multi-thresholdingstraddlingexpansion算法，利用圖像中的局部顏色、邊緣等特征，將預測區域的邊界對齊，對步驟1的結果進行優化，；

步驟3、抓捕點預測：采用cornellgraspdetectiondataset數據集訓練卷積神經網絡，對步驟2的結果進行抓捕點的預測，得到預測物體oi的抓捕點位置

步驟4、抓捕點在線判別：

以置信度表示當前抓捕點與理想抓捕點的偏置度，置信度越高，表示當前抓捕位置越理想。運動方向為使物體達到最優抓捕狀態所需要的機械臂移動方向，具體方法為：

1、對步驟2已預測識的物體oi，采用ransac方法從已有的3d模型庫中選擇具有最高匹配精度的物體模型ci和其對應姿態ai；

2、將3d模型ci中的真實抓捕點g1,g2分別投影至二維成像平面，其中g1,g2分別表示三維空間中的坐標投影后的二維坐標為

3、計算當前預測抓捕點的置信度f∈(0,1]，定義為：f＝2/(1+exp(dist(p,g)))，其中dist(p,g)表示預測抓捕點與真實抓捕點的位置偏置，定義為：

若預測抓捕點與真實抓捕點完全重合，其置信度為1，隨著抓捕點相對距離的逐漸增大，置信度逐漸減小；

4、將機構臂在世界坐標系中的三維運動簡化為繞物體的一維旋轉運動，機械臂旋轉平面與工作臺平面平行，旋轉角度θ定義為：

步驟5：按照當前抓捕點的置信度和機械臂的旋轉角度，機械臂達到修正后的抓捕狀態。

重復步驟3～步驟5，得到置信度更高的抓捕點位置預測結果。

有益效果

本發明提出的一種基于在線置信度判別的目標抓捕點預測方法，基于cnn(convolutionalneuralnetworks)方法，通過與傳統目標抓捕點預測方法的比較，進一步驗證了本算法在復雜環境適應性、目標抓捕點預測精度上的優勢，有廣泛的應用前景。該方法能夠對當前抓捕條件進行在線預測，并通過機械臂自身運動使待抓捕目標的姿態發生改變，以達到更好地抓捕條件。

與現有技術相比，本發明具有以下有益效果：

1.運行速度快，無明顯延遲，能夠滿足實時抓捕和在線判別的時間復雜度要求；

2.具備自主判別能力，并能夠通過機構臂與待抓捕物體的接觸改變目標形態，從而達到更好地抓捕條件；

本發明的方法易于實現，其應用價值主要體現在以下幾個方面：

1.可以在保證抓捕點預測精度的前提下，顯著提升目標抓取在復雜操作環境下的成功率，從而有助于其實際應用；

2.能夠根據檢測結果實現對機械臂端對端的控制，因此本發明可以方便地嵌入現有的機械臂系統，無須對原系統進行適應性修改。

附圖說明

圖1為本發明的流程圖；

圖2為本發明的目標識別效果圖；

圖3為本發明的抓捕點預測效果圖，其中，(a)為抓捕點初始預測結果，(b)為抓捕點二次預測結果。

具體實施方式

現結合實施例、附圖對本發明作進一步描述：

本發明為一種基于在線判別的目標抓捕點預測方法，其主要由目標識別、目標包圍盒對齊、抓捕點預測、抓捕點在線判別、機械臂運動路徑規劃和抓捕點二次預測六部分構成。

該方法具體包括步驟如下：

1.目標識別

為避免傳統基于滑窗搜索的算法時間效率低下的問題，采用基于似物采樣性的目標識別方法。首先提取手眼相機的實時成像結果，對于當前圖像，采用edgeboxes方法[1]預測圖像中所有可能包含物體的區域。

[1]c.l.zitnickandp.dollár,"edgeboxes:locatingobjectproposalsfromedges,"incomputervision–eccv2014,ed:springer,2014,pp.391-405.

2.目標包圍盒對齊

對于目標預測區域，若其與目標真實包圍盒的重疊部分占其并集的比例超過50％，即認為該目標得到正確檢測。因此，目標識別結果與真實值存在一定的偏差，采用multi-thresholdingstraddlingexpansion算法[2]，利用圖像中的局部顏色、邊緣等特征，將預測區域的邊界對齊，以達到更好的目標預測精度。

[2]x.chen,h.ma,x.wang,andz.zhao,"improvingobjectproposalswithmulti-thresholdingstraddlingexpansion,"inproceedingsoftheieeeconferenceoncomputervisionandpatternrecognition,2015,pp.2587-2595.

3.抓捕點預測

對于多物體的抓捕任務，除利用傳統的檢測特征外，結合深度傳感器輸出的每個物體的深度信息，將深度信息作為確定物體抓捕順序的重要參考；進一步，通過cornellgraspdetectiondataset數據集訓練卷積神經網絡，實現抓捕點的預測，預測的抓捕點位置表示為

4.抓捕點在線判別

傳統的抓捕點預測算法只能針對當前的場景預測抓捕物體的抓捕點位置，其預測精度容易受復雜背景干擾的影響，是一種被動的預測方法。因此，將在線判別引入抓捕點的預測中，除每一個抓捕點的預測位置外，算法還會返回當前抓捕點的置信度和運動方向，置信度表明當前抓捕點與理想抓捕點的偏置度，置信度越高，表示當前抓捕位置越理想。運動方向為使物體達到最優抓捕狀態所需要的機械臂移動方向。具體算法為：

1)根據步驟2已識別出的物體oi，采用ransac(randomsampleconsensus)方法從已有的3d模型庫中選擇具有最高匹配精度的物體模型ci和其對應姿態ai，算法對遮擋和傳感器噪聲具有魯棒性；

2)將3d模型ci中的真實抓捕點g1,g2分別投影至二維成像平面，其中g1,g2分別表示三維空間中的坐標投影后的二維坐標為

3)計算當前預測抓捕點的置信度f∈(0,1]，定義為：f＝2/(1+exp(dist(p,g)))，其中dist(p,g)表示預測抓捕點與真實抓捕點的位置偏置，定義為：

此時，若預測抓捕點與真實抓捕點完全重合，其置信度為1，隨著抓捕點

相對距離的逐漸增大，置信度逐漸減小。

4)考慮到物體通常置于光潔平整的工作臺上，將機構臂在世界坐標系中的三維運動簡化為繞物體的一維旋轉運動，機械臂旋轉平面與工作臺平面平行。旋轉角度θ定義為：

5.機械臂運動路徑規劃

根據當前抓捕點的置信度和機械臂的旋轉角度，機械臂自主規劃其自身運動路徑，達到修正后的抓捕狀態。

6.抓捕點二次預測

由于已經通過機械臂的相對運動改變了手眼相機與物體的相對位置狀態，此時重新按照步驟3對物體進行抓捕點檢測，能夠得到置信度更高的抓捕點位置預測結果。