專利名稱：一種基于直線的目標模型的制作方法
技術領域：
本實用新型涉及圖像處理技術，具體地說是一種基于直線的目標模型。
技術背景可以獲得位姿信息的視覺方法有許多，典型的有雙目或多目立方體視 覺，基于模型的單目視覺等。基于模型的單目視覺是指僅利用一臺攝像機 拍攝單張照片來進行定位工作。因其僅需一臺視覺傳感器，所以該方法結 構簡單，同時還避免了立體視覺中的視場小，立體匹配困難等問題。其前 提條件是物體的幾何模型已知。當前基于模型單目視覺定位的模型特征分為點、直線與曲線等幾類。 相對來說，對基于點特征的單目視覺定位方法研究較多，而基于直線特征 的單目視覺定位方法現在研究的還比較少。而且，在某些特定的環境中， 直線特征定位方法比點特征定位方法具有一定的優勢。直線特征的優勢表現在以下幾方面(1)自然環境的圖像包含很多的直線特征。(2)在圖像 上直線特征比點特征的提取精度更高。(3)直線特征抗遮擋能力比較強。 同時相對于更高級的幾何特征(曲線、橢圓等)，直線特征也具有優勢，具 體表現在以下幾方面(1)在周圍自然環境的圖像中，直線比其他的高級 幾何特征更常見，同時也更容易提取。(2)直線的數學表達式更簡單，處 理起來效率更高。因此綜合來看，采用直線特征進行視覺定位在某些方面 具有其它特征所不具有的優勢，在實現高精度、實時自主定位方面有著廣 泛的應用前景。直線特征定位研究集中在三方面(1)基于直線的合作目標設計(2) 直線定位算法(3)迭代求解方法。(1) 基于直線的合作目標設計目前，合作目標的設計多是基于點的設計，基于直線的合作目標設計 研究很少。直線在圖像處理方面具有優勢，因此基于直線的合作目標設計 在實際應用中具有一定的應用價值。(2) 直線定位算法目前，理論上研究最多的是利用三線定位的問題，即 perspective-three-line,以下簡稱(P3L)問題。對于P3L問題，大部分學者 通過圖像直線和攝像機光心構成的解釋平面的法
且不和光心共面，進而建立由三條直線構成的三個非線性方程，其數學模 型可以描述如下假設攝像機坐標系和物體坐標系之間的旋轉矩陣為W,對空間直線、已知其在物體坐標系下的方向矢量為、經過旋轉變換到攝像機坐標系下，有S,^'。由數學模型得到關于旋轉矩陣i 的關系式為 ^'^^=(),因此只要通過三條直線的投影方程，就能通過解方程組得到w矩 陣的三個參量，即可以求得^矩陣。這種方法有效地解決了使用直線特征如 何進行視覺定位的問題，其中的不足之處是非線性方程組復雜，定位誤差 較大。(3)求解方法目前，求解的方法主要有兩種， 一種是解析解， 一種是數值解。對于 解析解(閉式解)方法，Dhome (文獻1: M.Dhome, M.Richetic,J.-T丄apreste, and GRives, "Determination of the attitude of 3-D objects from a single perspective view," IEEE Trans.Pattern Anal.Machine Intell，vol.l l，no.l2, pp. 1266-1278,1989 )和Chen (文獻2: H.Chen, "Pose determination from line to plane correspondences: existence solution and closed form solutions," IEEE Trans.Pattern Anal.Machine Intell, vol 13， no.6 pp.530-541.)由空間任意三條 線通過建立特殊的模型坐標系推導出一個八次多項式，這個八次多項式可 以由閉式解的方法來確定物體的位姿。Radu Horaud (文獻3 : Horaud .R.Conio.B丄eboullcux O and Lacolle，B, "An analytic solution for the perspective 4-point Problem,，，Computer Vision Graphics and image processing, vol 47, no.l, pp. 33-44, 1989)對于非共面的三條直線得到一個四次多項式， 最后也可以由迭代的方法通過閉式解的方式確定物體的位姿。解析解方法 的弱點是多解問題，定位誤差大。許多學者提出來各種不同的迭代方法來 解決解析解的多解問題，也就是數值解方法。對于數值解方法，Yuan(文 獻4: J S-C Yuan. "A general photogrammetric method for determining object position and orientation, "IEEE Transactions on Robotics and Automation, vol. 5，no.2 ，pp.129 142)建議把旋轉矩陣R參數從T參數中分離出來，集中計 算旋轉矩陣R參數。旋轉矩陣R是通過正交矩陣來表示，解是通過六個二 次多項式的公共根來表示，這個公共根通過牛頓迭代梯度法得到，然而作 者注意到在使用牛頓迭代梯度法時會出現局部最優解。Lowe(文獻5: D Lowe. "Three-dimensional Object Recognition from Single Two-dimensional Images," Artificial Intelligence,vol 31，pp.355~395,1987.)使用牛頓迭代法估計 物體相對于攝像機的方向和位置參數，和Yuan (4)的方法一樣，Lowe注 意到牛頓迭代法的 一 些問題，并且在以后的文章中他研究了怎樣處理初值 和穩定性問題。Liu(文獻6: YLiu ， T S Huang , O D Faugeras. "Determination of camera location from 2-D to 3-D line and point correspondences," IEEE Trans.Pattem Anal.Machine Intell， vol 12，no l，pp.28 37 ,1990 )使用交替迭代 法來求解視覺參數，旋轉矩陣以歐拉角來表示，并且作者把誤差功能函數 線性化，他們注意到當三個歐拉角比30度小的時候這種方法工作起來效果 好。Thai Quynh Phong (文獻7: Thai quynh phong, "Object Pose from 2-D to 3-D Point and Line Correspondences,,'International Joural of Computer Vision, vol 15,pp.225畫243，簡)使用最優區域優化方法求解。Stephane (文 獻9: Stephane Christy and Radu Horaud, "Iterative Pose Computation from Line Correspondences," Computer Vision and Image Understanding, vol 73， no.l,pp.l37-144, 1999)使用接近于真值的初值來進行迭代，使用迭代算法 對弱透視投影和平行透視投影下的位姿進行估計，并通過討論中間過程中 幾何矩陣的秩，對目標上直線的布置提出了一些約束。這些方法可以應用 在三條以上直線定位的情況。然而，數值解方法在優化過程中容易出現局 部極小值，并不能保證解的唯一性；且計算量大，迭代時間長，不適合應 用在實時系統中。 實用新型內容為了克服上述不足，本實用新型的目的是提供一種基于直線的目標模 型，這個模型圖像處理方便、選線更加自由、抗遮擋能力強、定位精度高。 并針對模型上的直線設計了一種定位方法。這種定位方法計算精度高、實 時性強。為了實現上述目的，本實用新型的技術方案是為四棱錐模型，配設 一放置底面；所述放置底面為四個分體正方形拼合成一個整體正方形結構， 所述四個分體正方形在顏色上為黑白相間設置，底面上四個分體正方形的 交線為位于底面中心、且相交的四條直線；所述四棱錐結構由四條底邊和 四條側邊共八條直線構成，四棱錐模型的四個側面在顏色上為黑白相間設 置；所述四棱錐模型繞整體正方形底面軸心旋轉45度放置在底面上，四棱 錐的側面和底面的整體正方形在顏色上亦為黑白相間設置；其中在所述四棱錐模型上的、十二條用于提取的直線中選取交于兩點的三條直線構成三十二種布線組合的合作目標；交于兩點的三條直線的 兩個交點與攝像機光心的距離不相等。本實用新型原理本實用新型采用四棱錐目標模型的四個側面及放置底面涂上黑白相間 的顏色，能夠增加圖像的對比度，更易于提取直線。同時，四棱錐合作目 標上具有三十二種布線組合，可以根據定位場合的不同選取任意一組直線 特征組合進行定位，合作目標的選線更加自由。合作目標具有三十二種布 線組合使合作目標的抗遮擋能力增強。合作目標上具有三十二種布線組合,
增加了信息的冗余，信息的冗余可以提高定位精度。四棱錐合作目標的擺放位置是以正方形底面繞四棱錐軸心旋轉45度。經過大量的實驗驗證，這 種擺放位置比其他擺放位置具有較高的定位精度。 與現有技術相比，本實用新型更具有如下優點1. 圖像處理更容易。四棱錐的四個側面黑白相間，增加了圖像對比度， 直線提取更方便。2. 抗遮擋能力強。直線特征本身比點特征具有更強的抗遮擋能力。同 時，三十二種直線特征組合也增加了目標模型的抗遮擋能力。3. 選線更加自由。四棱錐模型上有三十二種直線特征組合，可以根據 不同的場合需要，i選取不同的直線組合定位，使得選線更加自由。4. 精度高。四棱錐模型上有三十二種直線特征組合，信息的冗余可以 提高定位精度。5. 定位算法數學公式簡單、實時性強。本實用新型使用具有特殊幾何 位置關系的直線組建立定位數學模型，直線之間的特殊位置關系能夠簡化 求解算法。數學模型更簡單，并且采用步長加速法基于幾何意義搜索，迭 代次數少，節省了計算時間，所以提高了系統的實時性。
圖1-1是本實用新型一個實施例的四棱錐模型設計的側視圖。 圖l-2是四棱錐模型設計的俯視圖。 圖2本實用新型定位原理示意圖(如三條直線定位)。 圖3是本實用新型求解方法示意圖。M實施方式
以下結合附圖和實例對本實用新型作進一步詳細說明。如圖1-1、 1-2所示，四棱錐模型的放置底面為四個正方形拼合成一 個整體正方形結抅，這四個分體正方形在顏色上是黑白相間設置，底面上 四個分體正方形的交線形成在底面中心相交的四條直線，正方形黑白相間 的顏色使四條交線的圖像處理更容易。四棱錐模型以正方形底面繞軸心旋 轉45度放置在底面上。四棱錐模型由四條底邊和四條側邊共八條直線組成。四棱錐模型的 四個側面是黑白相間的顏色，使四條側邊的圖像處理更簡單。四棱錐的側 面和底面的正方形同時也構成黑白相間的顏色，使四棱錐模型四條底邊的 圖像處理更方便。因此，在四棱錐模型上共有十二條便于提取的直線。從 十二條直線中選取一組交于兩點的三條直線(其中兩個交點與攝像機光 心的距離不相等)，進行合作目標的位置與姿態計算。在這十二條直線中，交于兩點的三條直線(其中兩個交點與攝像機
光心的距離不相等)的組合共有三十二種。可以根據不同場合的需要，選 取其中的任意 一 種直線組合進行定位。使用 一 臺攝像機攝取該合作目標的 圖像，在圖像中提取出交于兩點的三條直線的圖像直線方程，再由以下敘 述的定位算法，就可以實現合作目標的位置與姿態計算。
下面介紹由任意一組交于兩點的三條直線(其中兩個交點與攝像機 光心的距離不相等)進行定位的方法，見圖2,假設空間直線Li (i=l，2，3) 的單位方向向量是V《Ai,Bi,d)。設三條直線的兩個交點為第 一交點p2,第二 交點p3,其中第一交點P2在圖像上的投影為q2(x2，y2,z2),第二交點仍在圖 像上的投影為q3(x3，y3，z3)。第一交點p2,第二交點仍的坐標分別為 (k2x2，k2y2，k2Z2)， (k3x3,k3y3，k3z3),其中k2，k3為待定系數。設空間直線Li在圖 像平面的投影為圖像直線li。其直線方程為aiXl+biyi+Ci=0，那么圖像直線 li上的任意一點為ti(Xi，yi,f)，圖像直線lj的方向向量為Vi(-bi，ai,O)。已知空間 模型的幾何約束為第一交點P2與攝像機光心的距離大于第二交點仍與攝 像機光心的距離。第一交點P2和第二交點P3的距離為a,式為|p2p3|=a。 空間三條直線中第一條直線L,和第二條直線L2之間的夾角為a,第二條直 線L2和第三條直線L3夾角為p,第一條直線L,和第三條直線L3之間的夾 角為Y。見圖3。
垂直于解釋平面的法向量Nr(Nu，Ni2,Ni3)，可以利用圖像直線上的一點ti 與攝像機光心o的連線的方向向量o^和圖像直線的方向向量Vi的叉乘得到， 已知
W,=(X,>v /)，V,. =(—6, 0),則有tV, =v,x0,, =0,/ 6,/ c,)
對于第一條直線LG其向量的模為l，得到
第一條直線"位于由圖像直線li和光心所構成的解釋平面上，得到
由第一條直線L,和第二條直線L2之間的夾角為a約束條件，得到 44+ "2=cos(a) (3)
第一條直線L！的方向向量Ai，B,，Q用第二條直線L2的方向向量 A2,B2，C2表達出來
<formula>formula see original document page 8</formula>
其中:
<formula>formula see original document page 8</formula>
(4)
對于第二條直線L2:第二條直線L2的方向向量由第一交點p2,第二: 點p3表示為:
<formula>formula see original document page 8</formula>
(5)
由約束條件第一交點p2和第二交點P3的距離為a，式lp2P3—a，得到: (&3z3 - A2z2)2 +(^3少3 - &2ty2)2 +(A:3x3 - A2x2)2 = a2 ( 6)
整理(6)式得
(7)<formula>formula see original document page 8</formula>
由約束條件(第一交點P2與攝像機光心的距離大于第二交點p3與攝像 機光心的距離)，所以等式(7)取負號，得到
<formula>formula see original document page 8</formula>( 8 )
把等式(8)代入等式(5)，等式(5)可以寫成關于一個變量b的表 達式，設為等式(9):
<formula>formula see original document page 9</formula>(9)
對于第三條直線L3:其向量的模為l,得到
<formula>formula see original document page 9</formula> (10)
第三條直線Ll位于由圖像直線l3和光心所構成的解釋平面上:
<formula>formula see original document page 9</formula> ( 11 )
以及第三條直線L3和第二條直線L2之間的夾角為(3約東條件, 44+S3S2+C3C2 =cos(p) ( 12 )
得到:
第三條直線L3的方向向量A3,B3，C3用第二條直線L2的方向向量 A2，B2,C2表達出來<formula>formula see original document page 9</formula> (13)
其中<formula>formula see original document page 9</formula>
把等式(9)代入等式(4)，則等式(4)可以寫成關于一個變量k2的表達 式，設為等式(14):<formula>formula see original document page 9</formula>
其中:
(<formula>formula see original document page 9</formula>
<formula>formula see original document page 10</formula>
把等式(9)代入等式(13),則等式(13)可以寫成關于一個變量k2的表 達式，設為等式(15):<formula>formula see original document page 10</formula> 其中
<formula>formula see original document page 10</formula>由第一條直線L,和第三條直線L3之間的夾角為Y的約束條件，得到<formula>formula see original document page 10</formula>把等式(14X 15 )代入等式(16),得到關于一個變量k2的表達式f(k2)=0。 (2)迭代方法
針對變量k2的求解，設計了一種基于幾何意義和步長加速法的迭代方
法，即第一交點P2與攝像機光心O的距離和第一交點P2在圖像上的投影為
q2(X2,y2,Z2)的距離的比值的求解中基于幾何意義的迭代方法如下
見圖3,在第一條直線L:所在的解釋平面S,和第二條直線L2所在的解 靣S2之間的交線^上設定一個起始點p2i,在第二條直線L2所在的解
釋平面S2和第三條直線L3所在的解釋平面S3之間的交線J4上找到與起始
點p力距離為長度a的終止點p3i。起始點p2i，終止點p3i連接構成第二條迭 代直線L2i。經過起始點pi在解釋平面St上找到一條和第二條迭代直線L2i 成角度a的第一條迭代直線L,i。經過終止點w在解釋平面S3上找到一條 和第二條迭代直線L2,成角度卩的第三條迭代直線L3i。隨著起始點p力與攝 像機光心o之間距離的不斷增大，第一條迭代直線Lu和第三條迭代直線L3i 之間的夾角不斷增大，當它們之間的夾角滿足已知值Y,起始點P2i迭代到 正確位置，整個迭代過程結束。
(787.887 0 (M 0 787.887 0
實例:已知攝像機的內參數矩陣為<formula>formula see original document page 11</formula>， 攝像機的視場角 是36x36度。四棱錐模型上一組交于兩點的三條直線(其中兩個交點與 攝像機光心的距離不相等)在圖像平面的圖像直線為li (i=l，2，3)。三條圖 像直線li的方向向量分別為v"0.1970, 0.1970,0) , v2(-0.1970,0,0), v3(0， 0.1970,0)。
由以上敘述的定位算法可以計算出四棱錐合作目標正確的位置和姿態 為T(0,0，S50)， R(O，O,O)。因此，由任意一組交于兩點的三條直線(其中兩 個交點與攝像機光心的距離不相等)可以實現合作目標位置和姿態的計算。
總之，本實用新型設計了一種四棱錐目標模型，黑白相間的側面及放 置底面設計能夠增加圖像對比度，使直線提取更容易；四棱錐目標模型上 有三十二組直線特征組合，增加了目標模型的抗遮擋能力，選線更加自由； 同時也能增加信息量，提高定位精度。由特殊配置直線組的特殊位置關系 建立定位數學模型，表達式簡單，更易于求解；采用基于幾何意義并結合 步長加速法進行求解，巧妙地避免了非線性優化問題，避免了出現局部極 小值，求解穩定，并提高了計算效率，使系統具有很高的實時性。
權利要求1. 一種基于直線的目標模型，其特征在于為四棱錐模型，配設一放置底面；所述放置底面為四個分體正方形拼合成一個整體正方形結構，所述四個分體正方形在顏色上為黑白相間設置，底面上四個分體正方形的交線為位于底面中心、且相交的四條直線；所述四棱錐結構由四條底邊和四 條側邊共八條直線構成，四棱錐模型的四個側面在顏色上為黑白相間設置； 所述四棱錐模型繞整體正方形底面軸心旋轉45度放置在底面上，四棱錐的 側面和底面的整體正方形在顏色上亦為黑白相間設置。
2. 按照權利要求l所述基于直線的目標模型，其特征在于其中交 于兩點的三條直線的兩個交點與攝像機光心的距離不相等。
專利摘要本實用新型公開一種三維物體定位的目標模型，用四棱錐模型定位能夠獲得精確的三維物體的深度和姿態信息。四棱錐目標模型的四個側面及放置底面是黑白相間的顏色，四棱錐目標模型上含有十二條直線，四棱錐目標模型以正方形底面繞軸心旋轉45度擺放。結合模型，設計了一種定位算法。對于四棱錐目標模型上任意三條交于兩點的直線(其中兩個交點與攝像機光心的距離不相等)，根據直線之間的角度信息和直線的長度信息，建立定位數學模型。對該模型，基于幾何意義并結合步長加速法進行求解。本實用新型具有圖像處理容易、抗遮擋能力強、選線自由、定位精度高、定位算法簡單和實時性強的優點。
文檔編號G06K9/32GK201037936SQ20062015356
公開日2008年3月19日 申請日期2006年12月8日 優先權日2006年12月8日
發明者付雙飛, 靜 周, 楓 朱, 歐錦軍, 秦麗娟, 郝穎明 申請人:中國科學院沈陽自動化研究所