植株三維點云的葉桿分離方法
【專利摘要】本發明公開了一種植株三維點云的葉桿分離方法，包括：(1)獲取待分離植株的葉片樣本的三維點云，經降噪處理后確定若干個葉片樣本關鍵點；(2)計算各個葉片樣本關鍵點的三維特征描述矢量；(3)獲取待分離植株的三維點云，經降噪處理后確定若干個植株關鍵點，并采用三維區域增長算法將植株關鍵點劃分至若干個獨立區域；(4)針對每一個獨立區域，根據各葉片樣本關鍵點的三維特征描述矢量對當前獨立區域進行霍夫投票，并根據投票結果判斷當前獨立區域是否為葉片，進而完成植株三維點云的葉桿分離。本發明解決了莖桿遠小于葉片寬度、且葉片的平均法向量變化小于葉柄處法向量變化的植株的葉桿分離，且分離過程簡潔、速度快、易于實現。
【專利說明】植株三維點云的葉桿分離方法
【技術領域】
[0001] 本發明涉及三維點云分割【技術領域】，尤其涉及一種植株三維點云的葉桿分離方 法。
【背景技術】
[0002] 幾個世紀以來，作物育種的目的一直是培育出產量更高、更適合抵抗各種不利環 境條件、營養價值更高的品種并且能利用現有耕地滿足全世界對更多和更好糧食品種的需 求。在作物育種過程中，無論采用什么樣的育種技術，生物學家們都需要觀測作物的表型。 而一直以來，作物表型的觀察與測量是一個費時費力的高成本工作。很多育種工作為了完 成作物表型的觀測任務，往往將本應貫穿在整個作物生長過程中全過程觀測簡化為最后的 產出比對。可見，作物生長信息的精確快速測量已成為作物育種工作的一個重要的瓶頸。隨 著三維技術的發展，我們已有可能采用三維技術，獲取作物的三維點云數據并建立三維作 物模型，在三維作物模型上自動完成所需的表型觀測。
[0003] 當我們獲取作物的三維點云數據后，通常我們需要把作物葉片和作物的莖桿分 開處理。作物葉片和莖桿的分離在常規的三維點云處理中，屬于三維點云自動分割領域。 DouiIIard在2011年，針對三維LIDAR數據，首先提取數據的地面信息，通過地面信息的提 取，將位于一個地平面上的不同物體分離開來。JanKnopp在2011年，采用隱含形態模型 (ImplicitShapeModle,ISM)與最小割算法（Min-Cut)相結合的方法，將嵌入一個場景復 雜某個特定物體分離出來。上述研宄中，或是只側重于物體的分離，無需識別。或是側重于 將同一物體從不同場景中的分離出來。而植株體的葉桿分離的不同點在于：植物的葉與莖 桿有明顯的形態差異，同一植株的不同的葉子之間和莖桿之間都只是相似，而不是完全相 同；我們最終希望能夠從三維植株點云中識別并分離出葉子。
[0004] 本發明提出了一種簡易的葉桿分離方法，即三維區域增長與三維霍夫投票相結合 的方法完成葉桿分離。
【發明內容】
[0005] 針對現有技術的不足，本發明提供了一種植株三維點云的葉桿分離方法。
[0006] -種植株三維點云的葉桿分離方法，包括：
[0007] (1)獲取待分離植株的葉片樣本的三維點云，經降噪處理后確定若干個葉片樣本 關鍵點；
[0008] (2)計算各個葉片樣本關鍵點的三維特征描述矢量；
[0009] (3)獲取待分離植株的三維點云，經降噪處理后確定若干個植株關鍵點，并采用三 維區域增長算法將植株關鍵點劃分至若干個獨立區域；
[0010] (4)針對每一個獨立區域，根據各葉片樣本關鍵點的三維特征描述矢量對當前獨 立區域進行霍夫投票，并根據投票結果判斷當前獨立區域是否為葉片，進而完成植株三維 點云的葉桿分離。
[0011] 本發明中給的葉桿分離是指將葉子從桿莖上分離下來。
[0012] 本發明的葉桿分離方法適用于細桿植株，即植株的莖桿直徑相對于葉片的寬度來 說要小很多，而且植株莖桿和葉片沒有明顯的顏色差異，如茶樹苗期、辣椒、番茄等，無法采 用顏色作為葉桿分離的指標。
[0013] 本發明中選取植株點云的關鍵點作為識別基礎，首先采用區域增長算法將植株關 鍵點劃分至獨立區域，然后以獨立區域為單位進行識別，確定各個獨立區域為葉片或桿莖， 大大提高了葉桿分離的效率。
[0014] 所述步驟（1)、（3)中進行降噪處理時，均采用統計異常點去除法去掉相應的離散 點。使葉片更平滑并使桿莖部分更加稀疏，有利于三維區域增長分離植株部件更加準確。
[0015] 采用三維體元網格過濾法確定葉片樣本關鍵點或植株關鍵點。可以在葉片出現因 配準而引起的多層葉片問題時，有效去除或避免多層葉片所引起的識別錯誤的問題。
[0016] 所述步驟（2)中通過如下步驟計算葉片樣本關鍵點的三維特征描述矢量：
[0017] (2-1)計算各葉片樣本關鍵點的三維快速點特征直方圖描述矢量，并根據得到的 三維快速點特征直方圖描述矢量計算葉片樣本的矢量描述中心；
[0018] (2-2)計算當前葉片樣本關鍵點的三維快速點特征直方圖描述矢量與矢量描述中 心的相對位置關系矢量，并將該相對位置關系矢量轉換到局部參考坐標系下作為當前葉片 樣本關鍵點的三維特征描述矢量；
[0019] 所述的局部參考坐標系由當前葉片樣本關鍵點與其鄰域點的距離加權協方差矩 陣的三個特征向量構建。
[0020] 局部參考坐標系的構建具體參見如下文獻：Federico TombarijSamueleSaltijandLuigiDiStefano，UniqueSignaturesofHistogramsfor LocalurfaceDescription.ECCV2010。PartIII，LNCS6313,pp. 356 - 369, 2010〇
[0021] 其中，各葉片樣本關鍵點的三維快速點特征直方圖描述矢量以及矢量描述中心均 采用現有方法計算得到。
[0022] 所述步驟（3)通過如下方法將植株關鍵點劃分至獨立區域：
[0023] (3-1)計算各個植株關鍵點的曲率和法向量，將各個植株關鍵點按照曲率大小排 序；
[0024] (3-2)初始化一個獨立區域，在未進行劃分的植株關鍵點中選取曲率最小的移動 至獨立區域，并以該曲率最小的植株關鍵點作為種子；
[0025] (3-3)在預設鄰域內確定與該種子幾何距離最近、且未進行劃分的植株關鍵點作 為鄰域點，并計算該鄰域點與種子的法向量的夾角；
[0026] (3-4)將所述的夾角與預設的角度閾值進行比較，并根據比較結果進行如下操 作：
[0027] 若夾角小于預定的角度閾值，則認為該鄰域點與種子是同一區域，將該鄰域點劃 分至獨立區域中，并進行如下操作：
[0028] (a)若該鄰域點的曲率小于或等于預設的曲率閾值，則以該鄰域點作為種子，返回 步驟（3-3);
[0029] (b)若該鄰域點的曲率大于預設的曲率閾值，則返回步驟（3-2);
[0030] 否則，直接返回步驟（3-2)。
[0031] 每次返回步驟（3-2)時都會重新初始化一個獨立區域，通過若干次循環將所有的 植株關鍵點均劃分至相應的區域中。實際上初始化得到的獨立區域并不能確定該獨立區域 的最終包含的植株關鍵點，需要不斷將滿足夾角滿足條件的關鍵點劃分至該獨立區域，完 成增長。未進行劃分的植株關鍵點指沒有被劃分至相應的獨立區域的植株關鍵點。
[0032] 對于每個獨立區域，增長時均從未進行劃分的植株關鍵點中曲率最小的植株關鍵 點作為增長的起點，進而使增長時從點云中最平的點開始，有利于把成片的較平整的獨立 區域連在一起。
[0033] 采用三維區域增長算法進行區域增長后，可能出現因采樣噪聲等引起的個別植株 關鍵點的所屬區域與周圍點有明顯不同。為避免該情況，在區域增長結束后，還采用三維均 值濾波法對三維點云進行降噪。
[0034] 鄰域大小閾值可根據葉片的實際大小和葉片表面的實際平滑程度來選取。作為優 選，所述的鄰域為直徑為〇. 5cm?Icm的圓形區域，所述圓形區域以種子為圓心。
[0035] 具體實現時，首先計算所選鄰域內任意兩個相鄰的植株關鍵點的法向量的角度 差，然后再求和后除以相鄰的植株關鍵點的對數，即得到角度差的平均值。
[0036] 在采用三維區域增長算法時，至少需要一個相鄰的法向量變化角度域值（即角度 域值）。由于不同數據獲取方法所獲取的點云密度不一，所述的角度閾值根據所選鄰域內， 相鄰植株關鍵點的法向量之間的夾角設定，作為優選，為所選鄰域內，所有相鄰的植株關鍵 點的法向量的夾角的平均值的〇. 9?I. 1倍。因此，本方法適用于葉柄處的法向量變化角 度大于葉片平均法向量角度變化的植株。
[0037] 所述的曲率閾值根據所選鄰域范圍內，相鄰的植株關鍵點的曲率變化量設定，作 為優選，所述的曲率閾值為所選鄰域范圍內，相鄰的植株關鍵點的曲率變化量的平均值的 2?3倍。
[0038] 不同類型的植物及不同的數據獲取方法，有不一樣的點云數據的特點。因此，對于 由特定一種方法得到的特定生長期的某類植株點云，需要通過實驗，選擇一個較好的閾值 系數。以相鄰空間點的平均幾何參數變化為系數選擇的基準點，有利于盡快找到較理想的 域值。
[0039] 所述步驟（4)中針對每一個獨立區域：
[0040] (4-1)計算當前獨立區域中各個植株關鍵點的三維特征描述矢量；
[0041] (4-2)針對當前獨立區域中的每個植株關鍵點，進行如下操作：
[0042] (4-21)確定所有葉片樣本關鍵點的三維特征描述矢量與當前植株關鍵點的三維 特征描述矢量的距離，以距離最近的葉片樣本關鍵點的三維特征描述矢量作為標準矢量；
[0043] (4-22)根據該標準矢量反推出當前獨立區域的中心位置，即由標準矢量，可得到 該標準矢量相對于原葉片中心的位置關系V，由該位置關系V可計算出相對于當前三維特 征描述矢量所對應的獨立區域的葉片中心位置，并在該中心位置上的權重加1 ;
[0044] (4-3)統計各個中心位置的權重作為該中心位置的投票結果，若存在投票結果大 于預設的投票閾值的中心位置，則認為當前獨立區域為葉片；
[0045] 否則，認為當前獨立區域為桿莖。
[0046] 本發明中針對每一個關鍵點（包括葉片樣本關鍵點或植株關鍵點）可以理解為對 應的一系列原始點云的特征表示。因此，當一個獨立區域為葉片，即認為該獨立區域中所有 植株關鍵點對應的三維點云均為葉片。
[0047] 本發明中為桿莖的獨立區域可能是桿莖也可能是葉片，若是葉片，則為誤判，誤判 的概率直接影響到該方法的分離率。
[0048] 本發明中定義分離率為所分離葉片數量占植株上所有面積大于ICM的葉片數量 的比例。太小的葉片沒有完全展開的葉片不在本算法的考慮范圍內。例如，一個植物有10 片葉子，10片都分咼出來了，貝 1J分咼率為100%。如果只分咼出9. 5片，貝Ij分咼率為95%。
[0049] 投票閾值可根據實際分離的植株的種類進行調整，通常通過計算待分離植株的典 型葉片的投票值而得到，即可事先針對比較特殊的葉片（如采樣效果不是太好的葉片），計 算一次投票值，作為投票閾值。
[0050] 本發明的有益效果：
[0051] (1)本發明解決了在葉柄部有顯著法向量變化，柄部法向量變化大于葉片平均法 向量變化的葉桿分離問題。
[0052] (2)本發明不需要采用點云的顏色信息即可完成植株點云數據的葉桿分離，可適 用于大部分的三維掃描儀數據。
【具體實施方式】
[0053] 下面將結合具體實施例以及對比例對本發明的植株三維點云的葉桿分離方法進 行詳細說明。
[0054] 選取辣椒苗、茶樹各1株為例來說明實施方式不同的植株作為待分離植株，采集 三維點云數據。這2株待分離植株的三維點云的數量分別為：18576、18655個。
[0055] 實施例1
[0056] 本實施例的植株三維點云的葉桿分離方法包括如下步驟：
[0057] (1)獲取待分離植株的葉片樣本的三維點云，采用統計異常點去除法去掉相應的 離散點，以對獲取的三維點云進行降噪處理，經降噪處理后采用三維體元網格過濾法確定 若干個葉片樣本關鍵點。
[0058] 采用統計異常點去除法去掉葉片表面的離散噪聲點，使葉片更平滑；葉柄在使用 了統計異常點去除法后，會使葉柄處的點更少，使之在形態上更細，有利于三維區域增長分 離作物部件更加準確。
[0059] 采用三維體元網格過濾法確定若干個葉片樣本關鍵點，之后以關鍵點作為判定依 據，可以有效減小甚至去除多層葉片引起的誤判問題。
[0060] (2)計算各個葉片樣本關鍵點的三維特征描述矢量，具體如下：
[0061] (2-1)計算各葉片樣本關鍵點的三維快速點特征直方圖描述矢量，并根據得到的 三維快速點特征直方圖描述矢量計算葉片樣本的矢量描述中心；
[0062] (2-2)計算當前葉片樣本關鍵點的三維快速點特征直方圖描述矢量與矢量描述中 心的相對位置關系矢量，并將該相對位置關系矢量轉換到局部參考坐標系下作為當前葉片 樣本關鍵點的三維特征描述矢量；
[0063] 本實施例中局部參考坐標系由當前葉片樣本關鍵點與其鄰域點的距離加權協方 差矩陣的三個特征向量構建。
[0064] (3)獲取待分離植株的三維點云，并采用與步驟（1)相同的方法進行降噪處理并 確定若干個植株關鍵點；然后采用三維區域增長算法將植株關鍵點劃分至若干個獨立區 域。
[0065] 通過如下操作進行劃分：
[0066] (3-1)計算各個植株關鍵點的曲率和法向量，將各個植株關鍵點按照曲率大小排 序；
[0067] (3-2)初始化一個獨立區域，在未進行劃分的植株關鍵點中選取曲率最小的移動 至獨立區域，并以該曲率最小的植株關鍵點作為種子；
[0068] (3-3)在預設鄰域內確定與該種子幾何距離最近、且未進行劃分的植株關鍵點作 為鄰域點，并計算該鄰域點與種子的法向量的夾角；
[0069] (3-4)將所述的夾角與預設的角度閾值進行比較，并根據比較結果進行如下操 作：
[0070] 若夾角小于預定的角度閾值，則認為該鄰域點與種子是同一區域，將該鄰域點劃 分至獨立區域中，并進行如下操作：
[0071] (a)若該鄰域點的曲率小于或等于預設的曲率閾值，則以該鄰域點作為種子，返回 步驟（3-3);
[0072] (b)若該鄰域點的曲率大于預設的曲率閾值，則返回步驟（3-2);
[0073] 否則，直接返回步驟（3-2)。
[0074] 通過區域增長算法進行區域劃分后，大部分的葉片已完整的分離開了。但仍無法 知道每個分離的區域是葉還是桿，因此還需要進一步判定。
[0075] (4)針對每一個獨立區域，根據各葉片樣本關鍵點的三維特征描述矢量對當前獨 立區域進行霍夫投票，并根據投票結果判斷當前獨立區域是否為葉片，進而完成植株三維 點云的葉桿分離。具體通過如下步驟實現：
[0076] (4-1)計算當前獨立區域中各個植株關鍵點的三維特征描述矢量；
[0077] (4-2)針對當前獨立區域中的每個植株關鍵點，進行如下操作：
[0078] (4-21)確定所有葉片樣本關鍵點的三維特征描述矢量與當前植株關鍵點的三維 特征描述矢量的距離，以距離最近的葉片樣本關鍵點的三維特征描述矢量作為標準矢量；
[0079] (4-22)根據該標準矢量反推出當前獨立區域的中心位置，并在該中心位置上的權 重加1 ;
[0080] (4-3)統計各個中心位置的權重作為該中心位置的投票結果，若存在投票結果大 于預設的投票閾值的中心位置，則認為當前獨立區域為葉片。
[0081] 本實施例中采用最不典型葉片的投票值作為三維霍夫投票的投票閾值。
[0082] 其中，預設鄰域、角度閾值、曲率閾值和投票閾值與待分離植株的葉片寬度與莖桿 直徑的比有關。
[0083] 本實施例中當待分離植株為辣椒苗時，鄰域為25mm2 (直徑），角度閾值為0. 20,曲 率閾值為〇. 08,投票閾值為45。
[0084] 本實施例中當待分離植株為茶樹時，鄰域為25mm2 (直徑）角度閾值為0. 10,曲率 閾值為〇. 03,投票閾值為40。
[0085] 本實施例中對于不同植株的分離率和分離時間（完成分離所用的時間）如表1所 示。表1還列出了采用其他方法時，對應的分離率和分離時間。
[0086] 表I
[0087]
【權利要求】
1. 一種植株三維點云的葉桿分離方法，其特征在于，包括： (1) 獲取待分離植株的葉片樣本的三維點云，經降噪處理后確定若干個葉片樣本關鍵 占 . (2) 計算各個葉片樣本關鍵點的三維特征描述矢量； (3) 獲取待分離植株的三維點云，經降噪處理后確定若干個植株關鍵點，并采用三維區 域增長算法將植株關鍵點劃分至若干個獨立區域； (4) 針對每一個獨立區域，根據各葉片樣本關鍵點的三維特征描述矢量對當前獨立區 域進行霍夫投票，并根據投票結果判斷當前獨立區域是否為葉片，進而完成植株三維點云 的葉桿分尚。
2. 如權利要求1所述的植株三維點云的葉桿分離方法，其特征在于，所述步驟（1)、（3) 中進行降噪處理時均采用統計異常點去除法去掉相應的離散點。
3. 如權利要求2所述的植株三維點云的葉桿分離方法，其特征在于，采用三維體元網 格過濾法確定葉片樣本關鍵點或植株關鍵點。
4. 如權利要求3所述的植株三維點云的葉桿分離方法，其特征在于，所述步驟（2)中通 過如下步驟計算葉片樣本關鍵點的三維特征描述矢量： (2-1)計算各葉片樣本關鍵點的三維快速點特征直方圖描述矢量，并根據得到的三維 快速點特征直方圖描述矢量計算葉片樣本的矢量描述中心； (2-2)計算當前葉片樣本關鍵點的三維快速點特征直方圖描述矢量與矢量描述中心的 相對位置關系矢量，并將該相對位置關系矢量轉換到局部參考坐標系下作為當前葉片樣本 關鍵點的三維特征描述矢量； 所述的局部參考坐標系由當前葉片樣本關鍵點與其鄰域點的距離加權協方差矩陣的 三個特征向量構建。
5. 如權利要求1?4中任意一項權利要求所述的植株三維點云的葉桿分離方法，其特 征在于，所述步驟（3)通過如下方法將植株關鍵點劃分至獨立區域： (3-1)計算各個植株關鍵點的曲率和法向量，將各個植株關鍵點按照曲率大小排序； (3-2)初始化一個獨立區域，在未進行劃分的植株關鍵點中選取曲率最小的移動至獨 立區域，并以該曲率最小的植株關鍵點作為種子； (3-3)在預設鄰域內確定與該種子幾何距離最近、且未進行劃分的植株關鍵點作為鄰 域點，并計算該鄰域點與種子的法向量的夾角； (3-4)將所述的夾角與預設的角度閾值進行比較，并根據比較結果進行如下操作： 若夾角小于預定的角度閾值，則認為該鄰域點與種子是同一區域，將該鄰域點劃分至 獨立區域中，并進行如下操作： (a) 若該鄰域點的曲率小于或等于預設的曲率閾值，則以該鄰域點作為種子，返回步驟 (3-3)； (b) 若該鄰域點的曲率大于預設的曲率閾值，則返回步驟（3-2); 否則，直接返回步驟（3-2)。
6. 如權利要求5所述的植株三維點云的葉桿分離方法，其特征在于，所述的鄰域大小 閾值根據葉片的實際大小和葉片表面的實際平滑程度設定。
7. 如權利要求6所述的植株三維點云的葉桿分離方法，其特征在于，所述的角度閾值 為所選鄰域內，相鄰的植株關鍵點的法向量的角度差的平均值的0. 9?1. 1倍。
8. 如權利要求7所述的植株三維點云的葉桿分離方法，其特征在于，所述的曲率閾值 為所選鄰域范圍內，相鄰的植株關鍵點的曲率變化量的平均值的2?3倍。
9. 如權利要求8所述的植株三維點云的葉桿分離方法，其特征在于，所述步驟（4)中針 對每一個獨立區域： (4-1)計算當前獨立區域中各個植株關鍵點的三維特征描述矢量； (4-2)針對當前獨立區域中的每個植株關鍵點，進行如下操作： (4-21)確定所有葉片樣本關鍵點的三維特征描述矢量與當前植株關鍵點的三維特征 描述矢量的距離，以距離最近的葉片樣本關鍵點的三維特征描述矢量作為標準矢量； (4-22)根據該標準矢量反推出當前獨立區域的中心位置，并在該中心位置上的權重加 1 ; (4-3)統計各個中心位置的權重作為該中心位置的投票結果，若存在投票結果大于預 設的投票閾值的中心位置，則認為當前獨立區域為葉片； 否則，認為當前獨立區域為桿莖。
【文檔編號】G06T7/00GK104484873SQ201410713753
【公開日】2015年4月1日 申請日期:2014年11月28日 優先權日:2014年11月28日
【發明者】方慧, 張昭, 何勇, 劉飛 申請人:浙江大學