專利名稱::基于圖像的植物三維形態測量與重建方法及系統的制作方法
技術領域:
:本發明涉及基于圖像的三維建模
技術領域:
,尤其涉及一種基于圖像的植物三維形態測量與重建方法及系統。
背景技術:
:農業是中國國民經濟的基礎。農業信息化是本世紀農業發展的重要標志,也是農業現代化的重要組成部分。在農業信息化實施過程中,農業通過信息化可以獲得倍增效益。信息業可以通過對農業的信息軟硬件服務形成農業信息產業,最終形成農業與信息業雙臝的良好局面。現代農業在農業生產、流通等各個環節都離不開信息服務,農業信息已經涉及到了農業生產、流通的方方面面,加之信息本身的增效作用,使得農業信息服務的各環節都會有效益產生。隨著農業信息化技術的快速發展,新興的虛擬現實技術在農業領域也越來越多地得到應用,特別值得一提的是,虛擬農業已經成為我國農業發展的一個重要趨勢,虛擬農業不但可以將農業作物數字化,而且還能夠為科研者提供方便的交互性操作與觀察等,對于推動農業發展有著巨大的作用。隨著虛擬現實技術的發展,它對模型的需求曰益增大。基于圖像的三維重建方法以其快速便捷的優勢在虛擬現實技術中被廣泛應用。基于圖像的三維重建是虛擬現實的一個重要研究方向,其主要目的是通過相機拍攝得到的圖像,捕獲相機內外參數并重建拍攝目標物體的三維模型。該方法與傳統的三維建模方法相比,例如三維模型軟件或者激光掃描儀等,具有成本低、自動化程度高等特點,且模型基本符合拍攝目標物體的幾何結構。傳統的農業領域中獲取作物形態數據的手段單一、不準確、不便捷,并且通常對植物體存在不同程度的損傷,因此具有很大局限性。
發明內容本發明的目的是提供一種基于圖像的植物三維形態測量與重建方法及系統,該方法及系統將現代計算機視覺技術、數字圖像處理技術、多角度圖像立體匹配、計算機圖形技術與現代農業科學和生產過程相結合,可根據農業主要作物快速、準確、無損的數據獲取需求,面向主要作物的三維形態獲取與重建以及在此基礎上的主要農學參數的測量和計算,設計相應數據獲取方法,以克服現有技術的不足。為實現上述目的,本發明釆用如下技術方案。本發明一種實施方式提供了一種基于圖像的植物三維形態測量與重建方法,該方法包括步驟51.在垂直方向不同位置獲得兩幅目標對象的圖像;52.獲取拍攝所述圖像的拍攝源的內部參數;53.從所述圖像中提取所述目標對象的二維輪廓信息或二維骨智#自.木i口w,54.通過極線約東算法,對所述輪廓或骨架進行特征匹配;55.根據所述內部參數以及特征匹配的結果,計算所述目標對象的三維形態結構數據;56.通過樣條曲線、曲面擬合生成所述輪廓或骨架的三維模型,最終得到所述目標對象的三維模型。其中,步驟S2中的內部參數包括所述拍攝源的主點坐標(ii(),V()),及歸一化焦距(^,Sy),所述歸一化焦距通過整合所述拍攝源的焦距與水平、豎直方向的像元間距得到。其中,步驟S3中提取所述目標對象的二維輪廓信息通過Harris算法實現葉片角點特征提取,其角點提取的響應函數為c(aj^axA/a+;i2)A、義2分別為所述圖像像素的平均梯度矩陣的特征值。6進行描述,并以特征向量歐氏距離作為步驟S4中的匹配準則。其中,步驟S3中提取所述目標對象的二維骨架信息通過Hilditch算法實現骨架特征提取,其限制條件為(1)Po為白點,即P『1;(2)環繞Po周圍的8個點當中,黑點個數大于2小于6,即2気Po)S6;(3)S(P0)=1,其中S(P。)表示Po周圍的8個點以P2、P3、p4、...P8、Pi、P2為順序時這些點的值從0到1的變化的次數;(4)P,、P3、P7任意一點的值為0,或者以Pi為中心的8個點的S(P0不等于1,即P!XP3XP產0或S,l;(5)Pi、P3、Ps任意一點的值為0,或者以P3為中心的8個點的S(P3)不等于1,即P^P^P^O或S(P3)#1。其中,步驟S4中,匹配方法包括步驟Al.設第一圖中某特征點1與第二圖中對應極線上的特征點分別求歐氏距離,取歐氏距離最小點丁2;A2.若所述最小的歐氏距離小于設定的閾值,則將T2作為T!的候選匹配點,執行步驟S3,否則執行步驟A6;A3.以所述T2為特征點,設T2與第一圖中對應極線上的特征點分別求歐氏距離,取歐氏距離最小點丁3;A4.若所述最小的歐氏距離小于設定的閾值,則將丁3作為丁2的候選匹配點,否則執行步驟A6;A5.若所述Ti及T3為相同的點,則!\與T2匹配成功,否則丟棄T2,返回步驟A1;A6.返回Al進行第一圖中下一個特征點的匹配,并刪除L點。其中,步驟S5中三維形態結構數據的計算公式為x=bx5y(u廣uo)/(3x(v廣V2));<formula>formulaseeoriginaldocumentpage8</formula>b為拍攝兩幅圖像時拍攝源的垂直位差,(Ul,Vl)、(u2,v2)分別為特征點在以像素為單位的圖像坐標系中的坐標。本發明另一實施方式提供了一種基于圖像的植物三維形態測量與重建系統,該系統包括圖像釆集單元,用于在垂直方向不同位置獲得兩幅目標對象的圖像;標定單元,用于獲取拍攝所述圖像的拍攝源的內部參數;特征提取單元,用于從所述圖像中提取所述目標對象的二維輪廓信息或二維骨架信息;特征匹配單元,用于通過極線約東算法,對所述輪廓或骨架進行特征匹配;計算單元,用于根據所述內部參數以及特征匹配的結果,計算所述目標對象的三維形態結構數據;重建單元,用于通過樣條曲線、曲面擬合生成所述輪廓或骨架的三維模型,并最終得到所述目標對象的三維模型。本發明的方法及系統將現代計算機視覺技術、數字圖像處理技術、多角度圖像立體匹配、計算機圖形技術與現代農業科學和生產過程相結合,根據農業主要作物快速、準確、無損的數據獲取需求,面向主要作物的三維形態獲取與重構以及在此基礎上的主要農學參數的測量和計算設計相應數據獲取方法,對開發實用工具具有重要的實際意義和廣闊的應用前景。圖i為依照本發明一種實施方式的基于圖像的植物三維形態測量與重建方法流程圖2為依照本發明一種實施方式的SIFT算法原理圖;圖3為依照本發明一種實施方式的特征匹配流程圖;圖4為依照本發明一種實施方式的基于圖像的植物三維形態測量與重建方法框圖5為本發明實施例中的圖像釆集原理圖;圖6為本發明實施例中的相機標定的標定板;圖7為依照本發明實施例的黃瓜葉片模型的網格模型和紋理映射模型;圖8為依照本發明實施例的玉米三維骨架模型。具體實施例方式本發明提出的基于圖像的植物三維形態測量與重建方法及系統,結合附圖和實施例說明如下。本發明提供一種基于圖像的植物三維形態測量與重建方法,包括將相應的軟件系統裝入計算機,植物三維形態的測量是通過處理每個視角的圖像,利用立體視覺技術進行三維信息的計算;植物三維形態的重建即利用計算得到的三維信息,通過曲線擬合、紋理映射、光照控制等步驟重建出真實的三維模型。如圖l所示,依照本發明一種實施方式的基于圖像的植物三維形態測量與重建方法包括步驟51.將拍攝源分別固定于垂直方向上距離b的不同位置處,獲得兩幅目標對象的清晰有效的圖像;52.獲取拍攝源的內部參數;53.特征提取,即從圖像中提取目標對象的二維輪廓信息或二維骨架信息,要經過圖像的分割、灰度化、二值化、角點檢測、邊緣檢測等相關運算;54.特征匹配,即通過極線約東算法,設定匹配準則,對輪廓或骨架進行特征匹配;55.根據內部參數以及特征匹配的結果,計算目標對象的三維形態結構數據;56.通過樣條曲線、曲面擬合生成輪廓或骨架的三維模型,最終得到目標對象的三維模型。其中,與拍攝源內部幾何和光學特性有關的參數為拍攝源的內部參數(包括焦距、光心、扭曲因子等),而圖像平面的位置和相對于某個坐標系的轉向為外參數,本發明步驟S2中只需獲得拍攝源的內部參數,包括主點坐標(Uo,V0),及歸一化焦距(3X,5y),歸一化焦距通過整合拍攝源的焦距f與水平、豎直方向的像元間距(dx,dy)得到。在圖像上定義直角坐標系(u,v),u,v分別是像素在數列中的列數與行數,所以,(u,v)是以像素為單位的圖像坐標系的坐標。由于(11,V)只表示像素位于數組中的列數與行數,并沒有用物理單位表示出該像素在圖像中的位置,因而,需要再建立以物理單位表示的圖像坐標系。該坐標系以圖像內某一點Ch為原點,x軸與y軸分別與圖像u軸與v軸平行,在x,y坐標系中,原點Oi定義在相機光軸與圖像平面的交點,該點一般位于圖像中心處,但由于相機制作的原因,也會有些偏離。若O,在u,v坐標系中的坐標為(Uo,V。),每個像素在x軸與y軸方向上的物理尺寸為dx、dy,取^二f/dx,3y=f/dy。步驟S3中提取目標對象的二維輪廓信息是通過改進的Harris算法實現葉片角點特征提取,考慮Harris算法對噪聲的敏感和計算的復雜性,本發明給出了新的角點提取的響應函數在圖像I上計算每個像素的平均梯度矩陣-.其中,〈〉表示二維卷積,A、^分別是對圖像水平和豎直方向上求偏導,即4=,人=#,"是個二維權值矩陣,矩陣元素由二維高斯函數構成,即w-exp(-^^)。"豐)=VA=〈/,《〉.〈",W〉-〈/^,W〉'化/y,W〉,定義的角點響應函假設矩陣M的特征值分別為&數如下C(xj^Ax^/CA+A),當角點響應函數的取值是局部極大值且大于一定的閾值時,則認為是角點。通過設定不同的閾值和局部窗口的大小,能夠得到不同的角點特征,閾值越大,提取的角點越少。由于在不同方位拍攝圖像的亮度會有所不同,這樣給匹配帶來一定的難度,在匹配中,本方法利用了極線約東和模板匹配的方法,并在特征點的描述中利用了SIFT(ScaleInvariantFeatureTransform,尺度不變特征變換)特征描述子的方法,以獲得良好的匹配效果。具體釆用8*8=64維的特征向量,在每個特征點周圍釆用9*9的窗口,如圖2所示,圖中,黑色表示檢測的角點,然后將80個像素分成8個區域,每個區域再用八個方向的幅值表示,最終形成64維的特征向量。將64維的特征描述子的長度歸一化以進一步消除光照變化的影響,同時為了提高算法對非線性光照變化的魯棒性,限制經過歸一化后向量的每個元素的值不超過0.3(經驗值),即如果超過0.3,則賦值該元素的值為0.3。提取目標對象的二維骨架信息過程首先將圖像進行分割、二值化處理,再通過改進的Hilditch算法實現骨架特征提取。首先將二值圖像進行標記,需要細化的部分標記為l,背景標記為O。如表l所示,本發明的方法在考慮每個點周圍8個相鄰的點的同時,還考慮了8個點各自周圍的情況,并根據點與點之間的關聯情況對Hilditch算法的限制條件進行了重新設定表l:Po周圍8個點以及這8個點相關聯的25個點的區域圖尸"4尸9尸/3尸/尸S尸23尸j尸0戶7尸"尸"尸5尸"11<table>tableseeoriginaldocumentpage12</column></row><table>考慮25個點的區域,可在研究P。周圍8個點情況的同時,還能夠研究這8個點各自周圍點的關聯情況。例如當只考慮Po周圍8個點時,Po、P2、P3、P4為白點,其余點為黑點時,這時Po是不能去除的,因為從Po環繞的8個點的情況來分析,Po為橫向拓補點,而當考慮25個點的區域時,還發現Pn、P12、P13、P14、P15、P16、Pn點也為白點,那么可以認為Po是縱向結構上多余點像素,可以去除。通過上述過程實現骨架特征點的提取。其限制條件為(1)P。為白點,即P『1;(2)環繞Po周圍的8個點當中,黑點個數大于2小于6,即2(3)S(P0)=1,其中S(Po)表示Po周圍的8個點以P2、P3、P4、...P8、Pi、P2為順序時這些點的值從0到1的變化的次數;(4)Pi、P3、P7任意一點的值為0,或者以P!為中心的8個點的S(PO不等于l,即P^P,p產o或S,l;(5)Pt、P3、Ps任意一點的值為0,或者以P3為中心的8個點的S(P3)不等于1,即P^P^p^o或S(P3)#1。步驟S4中,特征匹配方法具體包括以下步驟Al.設第一圖中某特征點Ti與第二圖中對應極線上的特征點分別求歐氏距離,取歐氏距離最小點T2;A2.若該最小的歐氏距離小于設定的閾值,則將T2作為I^的候選匹配點,執行步驟S3,否則執行步驟A6;A3.以T2為特征點,設T2與第一圖中對應極線上的特征點分別求歐氏距離,取歐氏距離最小點T3;A4.若該最小的歐氏距離小于設定的閾值,則將丁3作為丁2的候選匹配點,否則執行步驟A6;A5.若T!及T3為相同的點,則Ti與丁2匹配成功,否則丟棄T2,返回步驟A1;A6.返回Al進行第一圖中下一個特征點的匹配,并刪除T!點。步驟S5中三維形態結構數據的計算是根據特征匹配的結果和拍攝源的內部參數來進行的,計算公式為x=bx3y(u廣uo)/(3x(v!-V2));y=bx(Vl-Vo)/(Vl-v2);z4x3y/(v廣V2);(Ul,Vl)、(u2,v2)分別為特征點在以像素為單位的圖像坐標系中的坐標,求出所有空間點的三維坐標,就可以根據樣條曲線插值算法重建空間三維模型,實現模型重構,進而利用空間任意兩點間的距離公式計算出兩點間的距離從而實現三維空間測量。如圖4所示,依照本發明一種實施方式的基于圖像的植物三維形態測量與重建系統包括圖像釆集單元,用于在垂直方向不同位置獲得兩幅目標對象的圖像;標定單元,用于獲取拍攝圖像的拍攝源的內部參數;特征提取單元,用于從所述圖像中提取所述目標對象的二維輪廓信息或二維骨架信息;特征匹配單元,用于通過極線約東算法,設定匹配準則,對輪廓或骨架進行特征匹配;計算單元,用于根據內部參數以及特征匹配的結果,計算目標對象的三維形態結構數據;重建單元,用于通過樣條曲線、曲面擬合生成所述輪廓或骨架的三維模型,最終得到目標對象的三維模型。實施例i本實施例以黃瓜為研究對象提出的一種基于圖像的植物三維形態測量與重建方法,適用于類似黃瓜的主要以葉片為主的植物的三維形態的測量與重建。具體步驟如下Sl.圖像釆集,如圖5所示,給出了圖像釆集的原理圖,在拍攝時,首先將作為拍攝源的相機固定在一個三腳架上,然后拍攝一幅圖52.相機標定,圖6給出了本實施例制定的相機標定板,在不同的方位拍攝該標定板的圖像,通過角點提取算法,獲得方格的角點。再根據標定板的幾何尺寸和角點在圖像中的坐標,通過最小二乘法解方程,最終獲得相機的內參數。計算的相機內參數矩陣如下—760.2020309.11—0743.955401.3200153.特征提取,利用圖像分割首先將葉片從圖像中分割出來,再利用特征提取算法,提取葉片邊緣和中脈的角點特征,釆用改進的Harris算法,角點提取的響應函數為C(x,>0=AxA2+A2)。54.特征匹配,具體包括以下步驟Al.設第一圖中某特征點1與第二圖中對應極線上的特征點分別求歐氏距離,取歐氏距離最小點丁2;A2.若該最小的歐氏距離小于設定的閾值,則將T2作為^的候選匹配點,執行步驟S3,否則執行步驟A6;A3.以T2為特征點,設T2與第一圖中對應極線上的特征點分別求歐氏距離,取歐氏距離最小點丁3;A4.若該最小的歐氏距離小于設定的閾值,則將丁3作為丁2的候選匹配點,否則執行步驟A6;A5.若T,及T3為相同的點,則^與T2匹配成功,否則丟棄T2,返回步驟A1;A6.返回Al進行第一圖中下一個特征點的匹配,并刪除T!點。55.特征點三維信息的計算,在圖5中取G的坐標系為世界坐標系,若任何空間點P的坐標在C,坐標系下為(x,乂z),那么在G坐標系02127222為(x,7-、z)。由中心攝影的比例關系能夠得到<formula>formulaseeoriginaldocumentpage15</formula>其中t/。,V。A,^為相機的內部參數(X,V,),(M2,V2)分別為A與/2的圖像坐標。通過解上面的方程組,得到<formula>formulaseeoriginaldocumentpage15</formula>S6.葉片模型的重建,利用樣條曲線插值上述計算的三維特征點形成葉片的基本輪廓模型,最后再利用三角網格化、紋理映射、光照控制等技術形成真實的葉片模型。圖7分別給出了黃瓜葉片模型的網格模型和紋理映射模型。實施例2本實施例以玉米為研究對象,提出了一種基于圖像的植物三維形態測量與重建方法,適用于類似玉米的主要以莖、桿為主的植物的三維形態的測量與重建。與實施例1不同之處在于S3.特征點提取,提取玉米的二維骨架信息過程首先將玉米圖像進行分割、二值化處理,在通過改進的Hilditch算法實現骨架特征提取,首先將二值圖像進行標記,需要細化的部分標記為l,背景標記為0。如表1所示,本發明的方法在考慮每個點周圍8個相鄰的點的同時,還考慮了8個點各自周圍的情況,并根據點與點之間的關聯情況15對Hilditdl算法的限制條件進行了重新設定<table>tableseeoriginaldocumentpage16</column></row><table>考慮25個點的區域,可在研究Po周圍8個點情況的同時,還能夠研究這8個點各自周圍點的關聯情況。例如當只考慮Po周圍8個點時,Po、P2、P3、P4為白點,其余點為黑點時,這時Po是不能去除的,因為從P。環繞的8個點的情況來分析,Po為橫向拓補點,而當考慮25個點的區域時,還發現Pn、P12、P13、P14、P15、P16、Pn點也為白點,那么可以認為Po是縱向結構上多余點像素,可以去除。通過上述過程實現骨架特征點的提取。其限制條件為(1)P。為白點,即Po:l;(2)環繞Po周圍的8個點當中,黑點個數大于2小于6,即2^N(Po)免(3)S(P0)=1,其中S(P。)表示Po周圍的8個點以P2、P3、P4、...P8、Pi、P2為順序時這些點的值從0到1的變化的次數;(4)P!、P3、P7任意一點的值為0,或者以P!為中心的8個點的S(P!)不等于1;即PiXP3xp產o或S(PO化(5)P!、P3、Ps任意一點的值為0,或者以Ps為中心的8個點的S(P3)不等于1;即P^p^p^o或S(P3)#1。圖8給出了玉米的三維骨架模型。以上實施方式僅用于說明本發明,而并非對本發明的限制,有關
技術領域:
的普通技術人員,在不脫離本發明的精神和范圍的情況下,還可以做出各種變化和變型,因此所有等同的技術方案也屬于本發明的范疇,本發明的專利保護范圍應由權利要求限定。權利要求1、一種基于圖像的植物三維形態測量與重建方法,該方法包括步驟S1.在垂直方向不同位置獲得兩幅目標對象的圖像;S2.獲取拍攝所述圖像的拍攝源的內部參數;S3.從所述圖像中提取所述目標對象的二維輪廓信息或二維骨架信息;S4.通過極線約束算法,對所述輪廓或骨架進行特征匹配;S5.根據所述內部參數以及特征匹配的結果,計算所述目標對象的三維形態結構數據;S6.通過樣條曲線、曲面擬合生成所述輪廓或骨架的三維模型,最終得到所述目標對象的三維模型。2、如權利要求l所述的基于圖像的植物三維形態測量與重建方法,其特征在于,步驟S2中的內部參數包括所述拍攝源的主點坐標(u0,vo),及歸一化焦距(3X,3y),所述歸一化焦距通過整合所述拍攝源的焦距與水平、豎直方向的像元間距得到。3、如權利要求l所述的基于圖像的植物三維形態測量與重建方法,其特征在于,步驟S3中提取所述目標對象的二維輪廓信息通過Harris算法實現葉片角點特征提取,其角點提取的響應函數為其中,A、A分別為所述圖像像素的平均梯度矩陣的特征值。4、如權利要求3所述的基于圖像的植物三維形態測量與重建方法,其特征在于,利用64維特征向量對所述提取的角點進行描述,并以特征向量歐氏距離作為步驟S4中的匹配準則。5、如權利要求l所述的基于圖像的植物三維形態測量與重建方法,其特征在于,步驟S3中提取所述目標對象的二維骨架信息通過Hilditch算法實現骨架特征提取,其限制條件為(1)Po為白點,即P『1;(2)環繞Po周圍的8個點當中,黑點個數大于2小于6,即2^N(Po)$6;(3)S(P。)=1,其中S(Po)表示Po周圍的8個點以P2、P3、P4、...P8、Pi、P2為順序時這些點的值從0到1的變化的次數;(4)P!、P3、P7任意一點的值為0,或者以Pi為中心的8個點的S(P0不等于1,即P產P3xp尸0或S(P0^1;(5)P!、P3、P5任意一點的值為0,或者以Ps為中心的8個點的S(P3)不等于1,即PiXP3xp5=o或S(P3)#1。6、如權利要求1或4所述的基于圖像的植物三維形態測量與重建方法,其特征在于,步驟S4中,匹配方法包括步驟Al.設第一圖中某特征點T,與第二圖中對應極線上的特征點分別求歐氏距離,取歐氏距離最小點TV,A2.若所述最小的歐氏距離小于設定的閾值,則將T2作為^的候選匹配點,執行步驟S3,否則執行步驟A6;A3.以所述T2為特征點,設T2與第一圖中對應極線上的特征點分別求歐氏距離,取歐氏距離最小點丁3;A4.若所述最小的歐氏距離小于設定的閾值,則將T"乍為T2的候選匹配點,否則執行步驟A6;A5.若所述T,及T3為相同的點,則^與T2匹配成功,否則丟棄T2,返回步驟A1;A6.返回Al進行第一圖中下一個特征點的匹配,并刪除Ti點。7、如權利要求1或2所述的基于圖像的植物三維形態測量與重建方法,其特征在于,步驟S5中三維形態結構數據的計算公式為x=bx3y(u廣uoy(3x(v廣V2));y=bx(Vl-Vo)/(Vl-V2);z=bx3y/(Vl-v2);其中,b為拍攝兩幅圖像時拍攝源的垂直位差,(W,V。、(ll2,V2)分別為特征點在以像素為單位的圖像坐標系中的坐標。8、一種基于圖像的植物三維形態測量與重建系統,該系統包括圖像釆集單元,用于在垂直方向不同位置獲得兩幅目標對象的圖標定單元,用于獲取拍攝所述圖像的拍攝源的內部參數;特征提取單元,用于從所述圖像中提取所述目標對象的二維輪廓信息或二維骨架信息;特征匹配單元,用于通過極線約束算法,對所述輪廓或骨架進行特征匹配;計算單元,用于根據所述內部參數以及特征匹配的結果,計算所述目標對象的三維形態結構數據;重建單元,用于通過樣條曲線、曲面擬合生成所述輪廓或骨架的三維模型,并最終得到所述目標對象的三維模型。全文摘要本發明涉及一種基于圖像的植物三維形態測量與重建方法及系統,該方法包括步驟在垂直方向不同位置獲得兩幅目標對象的圖像;獲取拍攝源的內部參數;從圖像中提取目標對象的二維輪廓信息或二維骨架信息;通過極線約束算法,對輪廓或骨架進行特征匹配;根據內部參數以及特征匹配的結果,計算目標對象的三維形態結構數據;通過樣條曲線、曲面擬合生成輪廓或骨架的三維模型,最終得到目標對象的三維模型。本發明的方法及系統根據農業主要作物快速、準確、無損的數據獲取需求,面向主要作物的三維形態獲取與重構以及在此基礎上的主要農學參數的測量和計算設計相應數據獲取方法,對開發實用工具具有重要的實際意義和廣闊的應用前景。文檔編號G06T17/00GK101639947SQ200910091619公開日2010年2月3日申請日期2009年8月26日優先權日2009年8月26日發明者溫維亮,肖伯祥,趙春江,郭新宇,陸聲鏈申請人:北京農業信息技術研究中心