專利名稱：一種機器人延伸手眼標定方法
技術領域：
本發明涉及機器人延伸手眼標定技術，尤其涉及 一種機器人延伸手眼標定方法。
背景技術：
在實際應用中，機器人手臂上常需加裝特定工件或操作工具等對象，以實 現自主裝配或自動對接等任務。如空間站對接的地面模擬實驗中，通過在兩機 器人手臂上安裝兩個對接艙工件來實現模擬，而機器手臂的作用是在眼攝像機 的導引下驅動對接艙實現對接任務。所述對接任務實現的前提是精確標定機器 人手臂上的對接艙等對象與眼攝像機的空間關系。所述安裝在機器人手臂上的 對接艙等對象稱為延伸手，相應的，將標定延伸手和眼攝像機之間的空間關系 的方法稱為延伸手眼標定。通常，機器人手臂上的眼攝像機只能拍攝到眼攝像 機對面的場景，而無法拍攝到延伸手的圖像，因此，不能釆用眼看延伸手的方 式實現延伸手與眼攝像機之間空間關系的標定。
現有技術中， 一般釆用觸點法(Product manuals, ABB Robot Documentation-IRB 1400 M2004, 2005)進行延伸手眼標定，所述觸點法通過人眼觀察，使延伸 手上的某一點多次(一般為三次以上)碰觸空間中某一固定點，并使機器人在 任意兩方向做正交運動，實現機器人延伸手眼的標定，該方法簡單易行，但由 于存在人為因素，標定精度難以保證，且在該方法中，往往需要沿固定路徑反 復對延伸手眼進行標定。另外，還可釆用高精度的外部三維坐標測量設備，如 電子經緯儀對(周富強、張廣軍，現場雙經緯儀三維坐標測量系統[J].機械工程 學報，Vol.40， No.l， 2004， pp.165-169)實現機器人延伸手眼的標定，但該方 法成本高，且不適于現場標定。
發明內容
有鑒于此，本發明的主要目的在于提供一種機器人延伸手眼標定方法，該 方法應用成本低，易于操作，且能夠增強現場標定的便捷性和可靠性。 為達到上述目的，本發明的技術方案是這樣實現的
本發明提供了 一種機器人延伸手眼標定方法，調整中介標定靶標與機器人 上的眼攝像機的空間位置，將中介標定靶標充滿眼攝像機視場；設置輔助攝像 機，將中介標定靶標與機器人上的延伸手同時包含在輔助攝像機視場內，該方
法進一步包括
A、 通過眼攝像機拍攝的包含中介標定靶標的圖像，計算眼攝像機坐標系 與中介標定靶標坐標系之間的空間轉換關系；通過輔助攝像機拍攝的包含中介 標定靶標和延伸手的圖像，分別計算輔助攝像機坐標系與中介標定靶標坐標系 之間的空間轉換關系、以及延伸手坐標系與輔助攝像機坐標系之間的空間轉換 關系；
B、 根據計算得到的眼攝像機坐標系與中介標定靶標坐標系之間的空間轉 換關系、輔助攝像機坐標系與中介標定靶標坐標系之間的空間轉換關系、以及 延伸手坐標系與輔助攝像機坐標系之間的空間轉換關系，計算眼攝像機坐標系 與延伸手坐標系之間的空間轉換關系。
其中，步驟B具體為先根據計算得到的輔助攝像機坐標系與中介標定靶 標坐標系、以及延伸手坐標系與輔助攝像機坐標系之間的空間轉換關系，計算 延伸手坐標系與中介標定靶標坐標系之間的空間轉換關系；再根據計算得到的 延伸手坐標系與中介標定靶標坐標系之間的空間轉換關系、以及眼攝像機坐標 系與中介標定靶標坐標系之間的空間轉換關系，計算延伸手坐標系與眼攝像機 坐標系之間的空間轉換關系。
步驟B具體為根據計算得到的眼攝像機坐標系與中介標定靶標坐標系之 間的空間轉換關系、輔助攝像機坐標系與中介標定靶標坐標系之間的空間轉換 關系、以及延伸手坐標系與輔助攝像機坐標系之間的空間轉換關系，直接計算
眼攝像機坐標系與延伸手坐標系之間的空間轉換關系。
輔助攝像機拍攝圖像之前進一步包括標定并存儲輔助攝像機的內參數。 所述計算眼攝像機坐標系與中介標定靶標坐標系之間的空間轉換關系具體
為
al、提取所述眼攝像機拍攝的包含中介標定靶標的圖像中中介標定靶標的 一定數量的特征點；
bl、根據所提取的特征點相應的空間坐標及圖像坐標計算眼攝像機坐標系 與中介標定靶標坐標系之間的空間轉換關系。
所述計算輔助攝像機坐標系與中介標定靶標坐標系之間的空間轉換關系具 體為
a2、提取所述輔助攝像機拍攝的包含中介標定靶標和延伸手的圖像中中介 標定靶標的一定數量的特征點；
b2、根據所提取的特征點相應的空間坐標及圖像坐標計算輔助攝像機坐標 系與中介標定靶標坐標系之間的空間轉換關系。
所述計算延伸手坐標系與輔助攝像機坐標系之間的空間轉換關系具體為
a3、使用基于矩形平面特征的衍生特征點生成方法，提取延伸手上空間矩 形的一定數量的衍生特征點；
b3、根據所提取的衍生特征點相應的空間坐標及圖像坐標，計算延伸手坐 標系與輔助攝像機坐標系之間的空間轉換關系。
本發明提供的機器人延伸手眼標定方法，通過設置輔助攝像機，并進行相 關計算即實現了機器人延伸手眼的標定，應用成本低，易于操作，適用于現場 標定，且增強了現場標定的便捷性；整個標定過程中，無需人工參與，增強了 延伸手眼標定的可靠性。本發明中使用基于矩形平面特征的衍生特征點生成方 法提取一定數量的延伸手的特征點，彌補了延伸手上特征點較少的缺點，進一 步增強了延伸手眼標定的精確性。
圖1為本發明所述方法中所使用的組件位置關系示意圖2為本發明機器人延伸手眼標定方法流程示意圖3為本發明空間矩形及其對應的透視投影圖像關系示意圖。
具體實施例方式
本發明的基本思想是設置輔助攝像機；分別計算輔助攝像機坐標系與延 伸手坐標系以及輔助攝像機坐標系與中介靶標坐標系之間的空間轉換關系；計 算眼攝像機坐標系與中介靶標坐標系之間的空間轉換關系；之后，根據計算出 的上述空間轉換關系計算得到眼攝像機坐標系與延伸手坐標系之間的空間轉換 關系，即實現了機器人延伸手眼的標定。
以下通過具體實施例結合附圖詳細說明本發明機器人延伸手眼標定方法的 實現。
圖i為本發明所述方法中所使用的組件位置關系示意圖，如圖i所示，在 機器人手臂上安裝眼攝像機no及延伸手iio，并合理放置中介標定靶標120，
使中介標定靶標120充滿眼攝像機130視場；合理擺入輔助攝像機140并調整 所述輔助攝像機140的位置，使機器人的延伸手110和中介標定靶標120同時 位于輔助攝像機140視場內。其中， 一旦延伸手IIO、眼攝像機130、中介標定 耙標120、以及輔助攝像機140的空間位置確定后，則在整個處理過程中，需 保持延伸手110、眼攝像機130、中介標定靶標120以及輔助攝像機140的空間 位置不變。之后，執行圖2所示的本發明機器人延伸手眼標定方法，如圖2所 示，該方法包括
步驟201:眼攝像機拍攝中介標定靶標的圖像，計算眼攝像機坐標系與中 介標定靶標坐標系之間的空間轉換關系。
其中， 一般拍攝一幅中介標定靶標的圖像即可實現本發明，但是，在實際 應用中，也可能需要拍攝多幅所述圖像，這里不再贅述。
其中，計算空間轉換關系的方法可以為首先，提取所拍攝圖像中中介標
定靶標上的特征點，計算其圖像坐標及其在中介標定靶標坐標系中的空間坐標， 之后使用與步驟206中的計算延伸手坐標系與輔助攝像機坐標系之間空間轉換 關系的方法相同的方法，計算眼攝像機坐標系與中介標定靶標坐標系之間的空 間轉換關系。其中，所述提取特征點可以使用現有技術中相應的特征點提取方 法，這里不再贅述。其中，特征點的圖像坐標為該像點在圖像坐標系中的二維 像坐標，特征點的空間坐標為該特征點在中介標定靶標坐標系中的三維物坐標。
另外，在實際應用中，也可以使用其它計算眼攝像機坐標系與中介標定靶 標坐標系之間空間轉換關系的方法，這里不再贅述。
其中，設眼攝像機坐標系與中介標定靶標坐標系之間的空間轉換關系為
(Rc。， Tc。)。
進一步的，眼攝像機坐標系A - 以及中介標定靶標坐標系O。 - X。凡Z。可以
在實際應用中任意設定，例如，可以使用如圖1所示的建立方法，眼攝像機坐
標系。。,U^以眼攝像機的光軸為Zc軸，以光心為原點W,之后，在與4軸垂 直且過原點的平面中設定Xc軸與幾軸；中介標定靶標坐標系0。-X。凡Z。，以該靶
標左上角的頂點為原點o。，以矩形的兩條邊為x。軸及y。軸，用右手定則得到z。 軸，其中，x。軸、y。軸、z。軸的方向如圖1所示。其中，如何建立坐標系不影
響本步驟中需實現的最終目的，但是，會對計算過程的復雜程度產生影響。
步驟202:標定并存儲輔助攝像機的內參數。
其中，具體標定輔助攝像機的內參數的方法可釆用Zhang的攝像機標定方 法(A flexible new technique for camera calibration[J]. IEEE Trans. Pattern Analysis and Machine Intelligence. 2000， 22(11): 1330-1334.),也可以釆用其它標定輔助攝 像機內參數的方法，這里不再贅述。
步驟203:輔助攝像機拍攝包含中介標定靶標和機器人延伸手的圖像。
其中， 一般拍攝一幅包含中介標定靶標和機器人延伸手的圖像即可實現本 發明，但是，在實際應用中，也可能需要拍攝多幅所述圖像，這里不再贅述。
步驟204:計算輔助攝像機坐標系與中介標定靶標坐標系之間的空間轉換
關系。
其中，上述計算空間轉換關系的方法可以為首先，提取步驟203中所拍
攝的圖像中中介標定靶標上的特征點，計算其圖像坐標及其在中介標定靶標坐
標系中的空間坐標，之后，使用與步驟206中的計算空間轉換關系方法相同的 方法，計算輔助攝像機坐標系與中介標定靶標坐標系之間的空間轉換關系。其 中，所述提取特征點可以使用現有技術中相應的特征點提取方法，這里不再贅述。
在實際應用中，也可以使用其它計算輔助攝像機坐標系與中介標定靶標坐 標系之間空間轉換關系的方法，這里不再贅述。
其中，設輔助攝像機坐標系與中介標定靶標坐標系之間的空間轉換關系為 T )。
另夕卜，輔助攝像機坐標系 e -x。。_y。。^以及中介標定靶標坐標系o。 - w。可以 在實際應用中任意設定，例如，可以使用如圖1所示的建立方法，輔助攝像機
坐標系0。e-^,H以攝像機的光心為原點Oac，以光軸為Z。c軸，之后，在與Zac 軸垂直且過原點的平面中設定X。c軸與y。c軸，使其分別與圖像的X軸與y軸平
行。其中，x。c軸、；v軸、z。c軸的方法如圖l所示；中介標定靶標坐標系o。-x。凡z。 的建立在步驟201中已進行描述，這里不再贅述。其中，如何建立中介標定靶 標坐標系不影響本步驟中需實現的最終目的，但是，會對計算過程的復雜程度
產生影響。
步驟205:計算延伸手坐標系與輔助攝像機坐標系之間的空間轉換關系。 其中，可使用現有技術中的相關方法計算所述空間轉換關系，例如，基于
延伸手對象本身的幾何特征信息，即可完成延伸手坐標系與輔助攝像機坐標系
之間空間轉換關系，也即(R^， T,)的標定。
但是，由于延伸手本身所包含的顯式特征點較少，因此，如在計算過程中， 只提取少量的顯式特征點，將會影響延伸手眼標定的精度，因此，為了達到更 高的標定精度，可以使用基于矩形平面特征的衍生特征點生成方法，進行衍生
特征點的提取，之后，利用所提取到的衍生特征點及其對應像點計算所述坐標
系之間的空間轉換關系。其中，提取衍生特征點的方法為提取步驟203中拍
攝的圖像中延伸手上的空間矩形AAAA對應的透視投影圖像AAAA的4個 頂點，使用基于矩形特征的衍生特征點生成方法，得到一定數量的空間矩形平 面上點的空間坐標及其對應的圖像坐標，所述點即為衍生特征點，之后，存儲
空間點A、 A、 A、 A和對應的像點A、 A、 A、 A以及衍生出的一定組數 的標定點對。所述空間點以及空間點所對應的像點均可稱為衍生特征點， 一個 空間點與其對應的像點組成一對標定點對，也可以認為每個衍生特征點均包
含其對應的空間坐標及圖像坐標。根據基于矩形平面特征的衍生特征點生成方 法，可以獲得任意數量的標定點對，在本方法中，只需取其中一定數量的標定 點對進行運算。其中，點的空間坐標為該點的三維物坐標，而該點對應的圖像 坐標為二維像坐標；所述衍生特征點以及標定點對的數量取決于本發明的標定 方法所希望達到的精度， 一般情況下，所提取的衍生特征點的數量越多，本發 明所述標定方法的精度越高。
下面，通過舉例詳細說明所述基于矩形特征的衍生特征點生成方法
圖3為空間矩形AAAA及其對應的透視投影圖像AAAA關系示意圖。 如圖3所示，A為空間矩形AAAA的對角線交點，A)為透視投影圖像 AAAA的對角線交點。由射影幾何不變量原理可知，兩直線的交點是透視投 影不變量，即/ 。為p。的透視投影不變量。
若空間矩形A/^AA的邊長已知，則可計算出點iV p2、 P3、 P4、 Po的 空間坐標，其對應像點a、 p;、 a、 a、 a的圖像坐標也可精確提取。其中， 具體如何提取A、 P2、 A、 p4、 p。等所述對應像點的圖像坐標，可以使用Chen D.所提出的相應的圖像坐標提取方法(Chen D.、 Wang Y.， A New Sub Pixel Detector for Grid Target Points in Camera Calibration, Optical Information Processing, Proceedings of the SPIE, Volume 6027， pp. 675-680, 2005. C Harris, M. Stephen, A Combined Corner and Edge Detection, in Proc. of 4th Alvey Vision
Conference, Manchester, UK， pp. 147-151， 1988 )。
當上述空間坐標以及圖像坐標確定后，任取空間矩形AAAA對角線AP3 上一點p,其對應的透視投影為圖像對角線AA上的點P 。 P'的圖像坐標可通 過圖像處理的方法獲得。于是，A、 /V A、 P共線四點的交比定義為
對應的A，/^，/ 。，p四點的交比為
基于共線四點的交比為透視投影不變量的結論，由共線四點交比不變的性 質可得
o o! ， p3, , /7)=, / ;, a ， p')
基于上式即可求得/ 點的空間坐標。以此類推，可以獲得空間矩形AAAA 對角線p3和p2A上任意點的空間坐標及其對應像點的圖像坐標。
根據上述得到的 一定數量的衍生特征點的空間坐標及其對應的圖像坐標， 即可計算延伸手坐標系與輔助攝像機坐標系之間的空間轉換關系。具體計算方 法為
首先建立延伸手坐標系，延伸手坐標系可根據實際情況任意建立，在本實 施方案中，將延伸手上空間矩形的兩條鄰邊作為延伸手坐標系a - 的&軸與
k軸，^軸為該平面的法向，方向由右手法則定出。因此，空間矩形平面上點 的坐標皆有 =0。于是，記空間矩形平面上^點的齊次坐標為^=[& k if, 在輔助攝像機像平面上對應的像點/的齊次坐標為1& = [" v if,則有如下關
系
其中，H = Ak r2 r。J， n， ^分別為正交旋轉矩陣i ^的第一、第二列矢 <formula>formula see original document page 12</formula>為輔助攝像機內參數矩陣，A, A為
橫軸和縱軸的尺度因子，("。，v。)為主點坐標，s為任意非零比例因子。
將獲得的一個衍生特征點代入式^i二H]^中消去s后，可得兩個關于^， r2
和1_的方程，分別記為/;(乂) = 0和/2") = 0，其中x二(^^^^^^w^)。 則由N個衍生特征點可得到2N個方程構成的線性超定方程組
<formula>formula see original document page 12</formula>利用線性最小二乘法可求得n， 5和1_的線性解。進一步，引入R^的正 交約東
/z6(x
構造如下目標函數:
=<formula>formula see original document page 12</formula>其中，似,，/ = 1,2，...,6為任意正實數。
利用Levenberg-Marquardt非線性優化算法，并以^ , r2和T。ee的線性解為初 值，可求得q， 5和1_的最優解。進一步地，由^=^>^2，可求得延伸手坐標 系與輔助攝像機坐標系之間的空間轉換關系(R_, T_)。
進一步的，除了使用上述基于矩形平面特征的衍生特征點生成方法外，還
可以基于六邊形、圓形等幾何圖形的平面特征提取衍生特征點，其原理與所述 基于矩形平面特征的衍生特征點生成方法相似，這里不再贅述。
步驟206:由步驟201、 204以及205中得到的各個空間轉換關系計算得到 延伸手坐標系與眼攝像機坐標系之間的空間轉換關系，即實現了延伸手眼的標
由步驟201中得到的(R^，；。)，步驟204中得到的(R^ T_),步驟205 中得到的(R_ T_)，可得<formula>formula see original document page 13</formula>,計算得到最終的延
伸手坐標系與眼攝像機坐標系之間的空間轉換關系(R￡e,TJ 。
其中，本步驟也可分成兩個步驟，即可根據步驟204與步驟205得到的 所述空間轉換關系計算得到延伸手坐標系與中介標定靶標坐標系之間的空間轉 換關系，之后，再根據計算得到的延伸手坐標系與中介標定靶標坐標系之間的 空間轉換關系與步驟201中所述空間轉換關系計算得到最終的延伸手坐標系與 眼攝像機坐標系之間的空間轉換關系(R^T。J。具體為首先計算
<formula>formula see original document page 13</formula>
,從而得到
(Rw,TJ，實現延伸手眼的標定。
在圖2所示的延伸手眼標定方法中，步驟201可以在步驟206之前隨意調 整執行順序，另外，步驟204與步驟205可以交換執行順序，步驟202與步驟 203也可以交換執行順序。
另外，步驟202為可選步驟。
以上所述，僅為本發明的較佳實施例而已，并非用于限定本發明的保護范
權利要求
1、一種機器人延伸手眼標定方法，其特征在于，調整中介標定靶標與機器人上的眼攝像機的空間位置，將中介標定靶標充滿眼攝像機視場；設置輔助攝像機，將中介標定靶標與機器人上的延伸手同時包含在輔助攝像機視場內，該方法進一步包括A、通過眼攝像機拍攝的包含中介標定靶標的圖像，計算眼攝像機坐標系與中介標定靶標坐標系之間的空間轉換關系；通過輔助攝像機拍攝的包含中介標定靶標和延伸手的圖像，分別計算輔助攝像機坐標系與中介標定靶標坐標系之間的空間轉換關系、以及延伸手坐標系與輔助攝像機坐標系之間的空間轉換關系；B、根據計算得到的眼攝像機坐標系與中介標定靶標坐標系之間的空間轉換關系、輔助攝像機坐標系與中介標定靶標坐標系之間的空間轉換關系、以及延伸手坐標系與輔助攝像機坐標系之間的空間轉換關系，計算眼攝像機坐標系與延伸手坐標系之間的空間轉換關系。
2、 根據權利要求l所述的機器人延伸手眼標定方法，其特征在于，步驟B 具體為先根據計算得到的輔助攝像機坐標系與中介標定靶標坐標系、以及延 伸手坐標系與輔助攝像機坐標系之間的空間轉換關系，計算延伸手坐標系與中介標定靶標坐標系之間的空間轉換關系；再根據計算得到的延伸手坐標系與中介標定靶標坐標系之間的空間轉換關系、以及眼攝像機坐標系與中介標定靶標 坐標系之間的空間轉換關系，計算延伸手坐標系與眼攝像機坐標系之間的空間轉換關系。
3、 根據權利要求l所述的機器人延伸手眼標定方法，其特征在于，步驟B具體為根據計算得到的眼攝像機坐標系與中介標定靶標坐標系之間的空間轉 換關系、輔助攝像機坐標系與中介標定靶標坐標系之間的空間轉換關系、以及 延伸手坐標系與輔助攝像機坐標系之間的空間轉換關系，直接計算眼攝像機坐 標系與延伸手坐標系之間的空間轉換關系。
4、 根據權利要求1至3任一項所述的機器人延伸手眼標定方法，其特征在于，輔助攝像機拍攝圖像之前進一步包括標定并存儲輔助攝像機的內參數。
5、 根據權利要求1至3任一項所述的機器人延伸手眼標定方法，其特征在于，所述計算眼攝像機坐標系與中介標定靶標坐標系之間的空間轉換關系具體為al、提取所述眼攝像機拍攝的包含中介標定靶標的圖像中中介標定靶標的 一定數量的特征點；bl 、根據所提取的特征點相應的空間坐標及圖像坐標計算眼攝像機坐標系 與中介標定靶標坐標系之間的空間轉換關系。
6、 根據權利要求1至3任一項所述的機器人延伸手眼標定方法，其特征在 于，所述計算輔助攝像機坐標系與中介標定靶標坐標系之間的空間轉換關系具 體為a2、提取所述輔助攝像機拍攝的包含中介標定靶標和延伸手的圖像中中介 標定靶標的一定數量的特征點；b2、根據所提取的特征點相應的空間坐標及圖像坐標計算輔助攝像機坐標 系與中介標定靶標坐標系之間的空間轉換關系。
7、 根據權利要求1至3任一項所述的機器人延伸手眼標定方法，其特征在 于，所述計算延伸手坐標系與輔助攝像機坐標系之間的空間轉換關系具體為a3、使用基于矩形平面特征的衍生特征點生成方法，提取延伸手上空間矩 形的一定數量的衍生特征點；b3、根據所提取的衍生特征點相應的空間坐標及圖像坐標，計算延伸手坐 標系與輔助攝像機坐標系之間的空間轉換關系。
全文摘要
本發明提供了一種機器人延伸手眼標定方法，在該方法中，設置輔助攝像機，分別計算輔助攝像機坐標系與延伸手坐標系之間的空間轉換關系、以及輔助攝像機坐標系與中介靶標坐標系之間的空間轉換關系；計算眼攝像機坐標系與中介靶標坐標系之間的空間轉換關系；之后，根據計算出的上述空間轉換關系計算得到眼攝像機坐標系與延伸手坐標系之間的空間轉換關系，即實現了機器人延伸手眼的標定。本發明提供的機器人延伸手眼標定方法應用成本低，易于操作，且能夠增強現場標定的便捷性和可靠性。
文檔編號B25J9/16GK101186038SQ20071017900
公開日2008年5月28日 申請日期2007年12月7日 優先權日2007年12月7日
發明者孫軍華, 張廣軍, 明 高, 魏振忠 申請人:北京航空航天大學