基于直線自動檢測的可見光與激光傳感器外部標定方法
【專利摘要】本發明公開了一種基于直線自動檢測的可見光與激光傳感器外部標定方法，該方法設計一個特定的直線特征可見的立體標定靶；提取可見光圖像中立體標定靶表面的直線特征，獲取立體標定靶表面直線特征的激光點云數據，通過直線擬合和擬合直線相交的方法提取標定靶上直線特征的激光數據；利用提取到的標定靶表面直線特征上的激光點數據求解可見光傳感器坐標系與激光器坐標系之間的旋轉矩陣和平移向量的值，將激光傳感器采集的深度距離數據標定到可激光傳感器采集到的可見光圖像。本發明的優點是：能夠得到準確、穩定的標定結果，算法實現的復雜度較低，標定效率高。
【專利說明】
基于直線自動檢測的可見光與激光傳感器外部標定方法
技術領域
[0001] 本發明涉及激光傳感技術，特別涉及一種基于利用立體標定靶獲取特征直線自動 檢測的可見光與激光傳感器進行外部標定方法。
【背景技術】
[0002] 可見光傳感器可以獲得場景或物體的紋理細節信息，卻無法獲取其三維結構信 息；而激光掃描儀在機器立體視覺中起著越來越重要的作用，但是卻因不能獲取物體表面 的紋理信息，而導致無法重現逼真的真實場景。利用可見光與激光傳感器的外部標定將可 見光所獲得的物體表面紋理信息映射到利用激光重建了的三維模型上，就能夠重建出場景 的真實三維效果。激光掃描儀與可見光的標定被廣泛的用于移動機器人視覺、文物保護、地 形地貌重建等。
【發明內容】
[0003] 本發明的目的是提供一種基于直線自動檢測的可見光與激光傳感器外部標定方 法，能準確地將激光傳感器采集到的深度信息標定到可見光圖像，獲取可見光圖像中場景 或物體的深度距離坐標，得到更為準確、穩定的標定結果。
[0004] 為了解決上述技術問題，本發明采用以下技術方案。基于直線自動檢測的可見光 與激光傳感器外部標定方法，其步驟包括：
[0005] 1)設計一個具有直線特征可見的立體標定靶；
[0006] 2)利用所述光源裝置的可見光傳感器與激光傳感器分別獲取所述立體標定靶的 可見光圖像與激光數據；
[0007] 3)利用Hough變換提取可見光圖像中所述立體標定靶表面的直線特征；
[0008] 4)通過直線擬合和擬合直線相交的方法，提取立體標定靶上直線特征的激光數 據；
[0009] 5)利用提取到的立體標定靶表面直線特征上的激光點數據，求解可見光傳感器坐 標系與激光傳感器坐標系之間的旋轉矩陣和平移向量；
[0010] 6)根據旋轉矩陣和平移向量，將激光傳感器采集的深度距離數據標定到可激光傳 感器采集到的可見光圖像上，完成標定。
[0011] 進一步，所述求解可見光傳感器坐標系與激光傳感器坐標系之間的旋轉矩陣和平 移向量的方法為：
[0012] 1)將兩個峰值點之間的數據擬合成直線，求出每兩條直線的交點，求出的四條直 線的三個交點就是用于計算的直線點對；
[0013] 2)提取出的立體標定靶上直線特征的激光數據；
[0014] 3)將求出的直線點對代入下式：
[0015] aXwhi+aYwh2+ah3+bXwh4+bYwh5+bh6-Xwh7-Ywh8-h9 = 0 ；
[0016] 4)求出H矩陣，然后根據[ri r2 T==A^1H求出打~^~^其中六為相機內部參數矩陣；
[0017] 5)再根據旋轉矩陣R的性質可知r3 = ri Xr2;得出R和T之后對其進行優化，將R進行 正交化;得到可見光傳感器坐標系與激光傳感器坐標系之間的旋轉矩陣和平移向量的值。
[0018] 本發明的方法能夠得到更為準確、穩定的標定結果，算法實現的復雜度較低。而且 當在相機已標定完成的情況下，還具有便于實現的優點，標定立方體可以隨處放置，從而使 得標定可以非常方便的完成。
【附圖說明】
[0019] 圖1是本發明的外部標定示意圖；
[0020]圖2a是可見光傳感器的標定板影像圖；
[0021 ]圖2b是激光傳感器掃描立體標定靶的深度距離數據示意圖；
[0022] 圖3是本發明實施例的立體標定靶表面的直線特征圖；
[0023] 圖4是本發明實施例的立體標定靶表面直線特征的激光點云數據圖；
[0024] 圖5是本發明實施例的激光數據圖；
[0025] 圖6是本發明實施例采集到的激光點數據坐標在可見光圖像中的標定結果。
[0026]圖中：1.光源裝置，2.立體標定靶。
【具體實施方式】
[0027] 以下結合附圖和實施例對本發明作進一步說明。參見圖1至圖6,基于直線自動檢 測的可見光/激光傳感器外部標定方法，下面使用立體標定靶標定實驗進行說明：
[0028] 1)如圖1所示，設置一個含有可見光傳感器和激光傳感器的光源裝置1，并且可見 光傳感器和激光傳感器的光軸平行，將立體標定靶2放置在光源裝置1的可視范圍內，且兩 個設備獲取同一個場景中立體標定靶2的數據；
[0029] 2)如圖2a所示，通過可見光傳感器獲取立體標定靶2的圖像信息，并通過激光傳感 器獲取立體標定靶2的距離信息，如圖2b所示，光源裝置1獲取的立體標定靶2圖像及光源裝 置1獲取的立體標定靶2深度距離數據；
[0030] 3)通過檢測圖像的邊緣，然后利用Hough變換提取直線方程，并結合實際情況對直 線角度范圍進行規范，只提取角度范圍為[30,85]和[95，170]的直線，檢測出五條直線之后 對其進行排序，得到五條直線的排序，然后將用在后續計算的中間三條棱的直線方程提取 出來，提取出的直線特征結果如圖3所示；
[0031] 4)將放置了立體標定靶2的場景激光數據與沒有放置立體標定靶2的場景激光數 據對應點進行相減，當相減的值大于一個設定的閾值時，該點即為標定立方體上的激光數 據，獲取到的立體標定靶2表面直線特征的激光點云數據如圖4所示；
[0032] 5)對于棱上的激光點通過直線擬合以及擬合直線相交的方法進行提取。考慮到激 光點的峰值點并不一定落在棱上，故將兩個峰值點之間的數據擬合成直線，最后求出每兩 條直線的交點，求出的四條直線的三個交點就是用于計算的直線點對;提取出的立體標定 靶2上直線特征的激光數據如圖5所示;將求出的直線點對代入下式：
[0033] aXwhi+aYwh2+ah3+bXwh4+bYwh5+bh6-Xwh7-Ywh8-h9 = 0 ；
[0034] 求出H矩陣，然后根據[ri r2 T]=A 1H求出!1、^、!'，其中4為相機內部參數矩陣;再 根據旋轉矩陣R的性質可知r3 = riXr2。得出R和T之后對其進行優化，將R進行正交化;得到 激光傳感器坐標系與可見光激光器坐標系之間的旋轉矩陣R和平移向量T的值為：
[0035]
[0036] 6)將步驟4)中獲取的立體標定靶2表面直線特征的激光點云數據帶入到可見光傳 感器標定的外部參數和內部參數矩陣計算，可得上述激光點云數據在可見光圖像中的標定 結果如圖6所示。從圖中可以看出，激光點云數據中的各激光點能夠非常好的標定到可見光 圖像中，并能夠非常直觀的反映出立體標定靶2在圖中的立體輪廓。
【主權項】
1. 基于直線自動檢測的可見光與激光傳感器外部標定方法，包括一個立體標定靶和光 源裝置，所述光源裝置由可見光傳感器和激光傳感器構成，其特征在于，其步驟包括： 1) 設計一個具有直線特征可見的立體標定靶； 2) 利用所述光源裝置的可見光傳感器與激光傳感器分別獲取所述立體標定靶的可見 光圖像與激光數據； 3) 利用Hough變換提取可見光圖像中所述立體標定靶表面的直線特征； 4) 通過直線擬合和擬合直線相交的方法，提取立體標定靶上直線特征的激光數據； 5) 利用提取到的立體標定靶表面直線特征上的激光點數據，求解可見光傳感器坐標系 與激光傳感器坐標系之間的旋轉矩陣和平移向量； 6) 根據旋轉矩陣和平移向量，將激光傳感器采集的深度距離數據標定到可激光傳感器 采集到的可見光圖像上，完成標定。2. 根據權利要求1所述的基于直線自動檢測的可見光與激光傳感器外部標定方法，其 特征在于，所述求解可見光傳感器坐標系與激光傳感器坐標系之間的旋轉矩陣和平移向量 的方法為： 1) 將兩個峰值點之間的數據擬合成直線，求出每兩條直線的交點，求出的四條直線的 三個交點就是用于計算的直線點對； 2) 提取出的立體標定靶上直線特征的激光數據； 3) 將求出的直線點對代入下式： 31Xwhi+&Ywh2+&h3+bXwh4+bYwh5+bh6_Xwh7 _Ywh8_h9 - 0; 4) 求出Η矩陣，然后根據[ri r2 Τ]=Α4Η求出^2、!'，其中4為相機內部參數矩陣； 5) 再根據旋轉矩陣R的性質可知r3 = n X r2;得出R和T之后對其進行優化，將R進行正交 化;得到可見光傳感器坐標系與激光傳感器坐標系之間的旋轉矩陣和平移向量的值。
【文檔編號】G06T7/00GK105844658SQ201610392801
【公開日】2016年8月10日
【申請日】2016年6月6日
【發明人】陳震, 張聰炫, 楊小平, 江少鋒, 危水根
【申請人】南昌航空大學