專利名稱：基于攝像機和三維激光雷達的外部參數標定方法及系統的制作方法
技術領域：
本發明涉及攝像機和三維激光雷達技術，尤指一種基于攝像機和三維激光雷達的外部參數標定方法及系統。
背景技術：
目前，由于可見光攝像機的探測范圍寬、信號豐富，在車輛環境感知的過程中得到了廣泛的應用，但它易受外界因素影響，存在目標缺失、模糊等問題。近些年來，隨著激光雷達的逐步發展，使用激光雷達測距已得到廣泛應用，激光雷達具有測距原理簡單，測量精度高、速度快，不受外界光照條件的影響等優點，其提供的距離信息和攝像機的色彩信息具有很強的互補性，因此融合兩者的信息成為當今的研究熱點。這種融合方式可以應用到很多場合，例如環境感知、障礙檢測、機器人導航、三維重建和紋理映射等。
通常攝像機坐標系和激光雷達坐標系的轉換關系，可以采用公式(1)表示 mc＝Rml+t(1) 其中，mc為攝像機坐標系的點，ml為激光雷達坐標系的點，標定的目的就是確定旋轉矩陣R和平移向量t的值，將二者的坐標統一到同一個坐標系中。
近年來，在攝像機和激光雷達系統外部參數標定方面有很多研究成果，其中，QiLong Zhang較早研究了攝像機和二維激光雷達的標定方法，具體是通過攝像機和二維激光雷達觀測平面棋盤格時的不同“視圖”，根據特征的約束條件可以求解出外部參數，建立起激光雷達每個測量值和攝像機中心到標定靶面的距離之間的幾何約束關系，由于用到的激光雷達是二維的，因此可以假設z軸坐標為0，從而簡化計算模型，采用非線性方法進一步優化R、t。
劉大學等特制了一塊標定板，在黑色的平面上制作兩個白色等腰直角三角形，頂點的位置精確已知，通過激光在黑色平面上不反射、在白色平面上反射的特點，實現雷達數據點和圖像像素點的匹配，就可以實現R、t的標定。
在攝像機和三維激光雷達外部參數標定方面，D.Scaramuzza將三維激光雷達采集的距離圖像進行變換，使場景自然邊緣更清晰突出；再提取邊緣線條與攝像機拍攝的相片中檢測出來的邊緣相匹配；最后，通過選擇自然場景中，人工選擇攝像機圖像和三維激光雷達的距離圖像的對應點，就可以實現外部參數的標定，這種標定的方法稱作自標定。
Ranjith Unnikrishnan采用棋盤格作為靶標，進行標定攝像機以及和三維激光雷達的外部參數，并對結果進行全局優化，得到了很好的效果，但是這種方法沒有考慮從不同靶標平面計算所得中間量的誤差的影響。
上述所提到的各種方法都沒有考慮到對標定結果中測量誤差進行準確的估計，從而導致對外部參數旋轉矩陣R的標定不夠準確。
發明內容
有鑒于此，本發明的主要目的在于提供一種基于攝像機和三維激光雷達的外部參數標定方法及系統，使標定結果的準確性得到提高。
為達到上述目的，本發明的技術方案是這樣實現的 本發明提供了一種基于攝像機和三維激光雷達的外部參數標定方法，該方法包括 根據三維激光雷達坐標系原點到不同位置靶標平面的垂線方向，從三維激光雷達坐標系轉換到攝像機坐標系的轉換關系中測量誤差的協方差，并根據三維激光雷達坐標系原點到不同位置靶標平面的垂線方向的測量誤差的協方差，得到轉換關系中測量誤差的協方差中含有攝像機測量噪聲的方差與三維激光雷達測量噪聲的方差的平方和的算式； 將得到的所有攝像機測量噪聲的方差與三維激光雷達測量噪聲的方差的平方和的倒數作為加權系數，標定出具有最大似然估計的旋轉矩陣。
上述方案中，所述轉換關系中的測量誤差的協方差的計算，具體為根據攝像機坐標系和三維激光雷達坐標系中的原點到不同位置靶標平面的垂線方向，得到垂線方向從三維激光雷達坐標系到攝像機坐標系的具有測量誤差的轉換關系，然后對測量誤差進行協方差計算； 其中，所述根據三維激光雷達坐標系原點到不同位置靶標平面的垂線方向，具體為計算三維激光雷達坐標系下的靶標平面方程的參數，根據平面方程的參數，得到三維激光雷達坐標系原點到不同位置靶標平面的垂線方向。
上述方案中，所述三維激光雷達坐標系原點到不同位置靶標平面的垂線方向的測量誤差的協方差的計算，具體為根據三維激光雷達坐標系原點到不同位置靶標平面的垂線方向，計算三維激光雷達坐標系原點到不同位置靶標平面的垂線方向的測量誤差的協方差； 其中，所述三維激光雷達坐標系原點到不同位置靶標平面的垂線方向，具體為標定靶標相對于攝像機坐標系的外部參數，根據標定的外部參數，得到攝像機坐標系原點到不同位置靶標平面的垂線方向。
上述方案中，所述計算三維激光雷達坐標系下的靶標平面方程的參數，具體為 通過三維激光雷達掃描到靶標時，落在靶標平面上的掃描點的坐標，進行三維激光雷達數據處理，得到三維激光雷達坐標系下靶標平面方程的參數。
上述方案中，所述標定靶標相對于攝像機坐標系的外部參數，具體為通過建立靶標平面的特征點和對應圖像平面上的點之間的關系，計算出攝像機的內參數矩陣，標定靶標相對于攝像機坐標系的外部參數。
上述方案中，所述得到具有最大似然估計的旋轉矩陣后，該方法進一步包括將求解出的旋轉矩陣的值作為初始值，并根據攝像機坐標系中原點到不同位置靶標平面的距離，將靶標平面的點對應攝像機拍攝的圖像平面的距離作為待最小化的目標函數，求解旋轉矩陣的全局最優值。
本發明還提供了一種基于攝像機和三維激光雷達的外部參數標定系統，該系統包括 第一計算模塊，用于根據三維激光雷達坐標系中的原點到不同位置靶標平面的垂線方向的測量誤差的協方差，以及各個垂線方向從三維激光雷達坐標系轉換到攝像機坐標系的轉換關系的測量誤差的協方差，得到轉換關系中測量誤差的協方差中含有攝像機測量噪聲的方差與三維激光雷達測量噪聲的方差的平方和的算式； 旋轉矩陣模塊，用于將第一計算模塊得到的所有攝像機測量噪聲的方差與三維激光雷達測量噪聲的方差的平方和的倒數，作為加權系數，標定出具有最大似然估計的旋轉矩陣。
上述方案中，所述系統進一步包括 第一協方差模塊，用于根據三維激光雷達坐標系原點到不同位置靶標平面的垂線方向，計算三維激光雷達坐標系原點到不同位置靶標平面的垂線方向的測量誤差的協方差； 第二協方差模塊，計算轉換關系模塊提供的轉換關系中測量誤差的協方差； 轉換關系模塊，用于根據攝像機坐標系和三維激光雷達坐標系中的原點到不同位置靶標平面的垂線方向，計算垂線方向從三維激光雷達坐標系到攝像機坐標系的具有測量誤差的轉換關系； 優化模塊，用于將旋轉矩陣模塊標定的旋轉矩陣的值作為初始值，并根據攝像機坐標系中原點到不同位置靶標平面的距離，將靶標平面的點對應攝像機拍攝的圖像平面的距離作為待最小化的目標函數，求解旋轉矩陣的全局最優值。
上述方案中，所述系統進一步包括 第一垂線方向模塊，用于根據靶標相對于攝像機坐標系的外部參數，得到攝像機坐標系原點到不同位置靶標平面的垂線方向； 第二垂線方向模塊，用于根據三維激光雷達坐標系下的靶標平面方程的參數，得到三維激光雷達坐標系原點到不同位置靶標平面的垂線方向。
上述方案中，所述系統進一步包括 第一距離模塊，用于根據第一外部參數標定模塊提供的外部參數，得到攝像機坐標系原點到不同位置靶標平面的距離； 第一外部參數標定模塊，用于建立靶標平面的特征點和對應圖像平面上的點之間的關系，計算出攝像機的內參數矩陣，提供靶標相對于攝像機坐標系的外部參數給第一垂線方向模塊； 平面方程的參數模塊，用于進行三維激光雷達數據處理，提供三維激光雷達坐標系下靶標平面方程的參數給第二垂線方向模塊。
本發明提供的基于攝像機和三維激光雷達的外部參數標定方法及系統，通過對三維激光雷達坐標系原點到不同位置靶標平面垂線方向的誤差的協方差的計算，以及垂線方向從三維激光雷達坐標系轉換到攝像機坐標系的轉換關系中測量誤差的協方差的計算，將轉換關系中測量誤差的協方差轉換為含有攝像機測量噪聲的方差與三維激光雷達測量噪聲的方差的平方和的算式，將所有攝像機測量噪聲的方差與三維激光雷達測量噪聲的方差的平方和的倒數作為加權系數，標定出具有最大似然估計的旋轉矩陣。由于本發明在標定過程中考慮了測量誤差對待標定旋轉矩陣的影響，且誤差的計算采用最大似然估計的方法，從而使得標定旋轉矩陣的結果更加準確，提高了外部參數標定結果的準確性。
圖1為本發明實現基于攝像機和三維激光雷達的外部參數標定方法的流程示意圖； 圖2為本發明中攝像機坐標系、三維激光雷達坐標系和靶標平面的位置關系圖； 圖3為本發明實現基于攝像機和三維激光雷達的外部參數標定系統的結構示意圖。
具體實施例方式 本發明的基本思想是根據三維激光雷達坐標系原點到不同位置靶標平面垂線方向的測量誤差的協方差，以及垂線方向從三維激光雷達坐標系轉換到攝像機坐標系的轉換關系中測量誤差的協方差，得到轉換關系中測量誤差的協方差中含有攝像機測量噪聲的方差與三維激光雷達測量噪聲的方差的平方和的算式，將得到的所有攝像機測量噪聲的方差與三維激光雷達測量噪聲的方差的平方和的倒數作為加權系數，標定出具有最大似然估計的旋轉矩陣。
下面結合附圖及具體實施例對本發明再做進一步的詳細說明。
本發明實現基于攝像機和三維激光雷達的外部參數標定方法，如圖1所示，包括以下步驟 步驟101攝像機拍攝不同位置棋盤格靶標的圖像，建立靶標平面的特征點和對應圖像平面上的點之間的關系，計算出攝像機的內參數矩陣A，從而標定靶標相對于攝像機坐標系的外部參數旋轉矩陣Rc和平移向量tc。
根據張正友等人提出的基于平面靶標的攝像機標定方法，要求攝像機在兩個以上不同的方位拍攝同一個平面靶標，攝像機和平面靶標都可以自由移動，無需知道運動參數。在標定過程中，假設攝像機的內部參數不變，在不同角度拍攝靶標時，只有外部參數改變，通過攝像機拍攝不同位置棋盤格靶標的圖像，提取棋盤格靶標上方格的角點作為特征點，建立靶標點和對應圖像點之間的關系，從而計算出攝像機的內參數和靶標相對于攝像機坐標系的外部參數。
具體的，通過以平面棋盤格作為靶標，攝像機拍攝靶標在不同位置的圖像，提取棋盤格靶標上方格的角點作為靶標平面的特征點，建立靶標平面的特征點和對應圖像平面上的點之間的關系，計算出攝像機的內參數，從而標定靶標相對于攝像機坐標系的外部參數Rc和tc。標定過程如下所述 首先，求解單應矩陣H 設靶標平面的特征點
相應的圖像平面上的點
二者的映射關系如公式(2)所示 公式(2)中，s是尺度因子，rc1、rc2分別為靶標平面的特征點從靶標平面坐標系變換到圖像坐標系的旋轉矩陣Rc的前兩列，tc是相應的平移向量；A為攝像機內參數，
其中，αx、αy分別是圖像坐標系中u軸和v軸的尺度因子，u0、v0是光學中心，γ是u軸和v軸不垂直因子，很多情況下，令γ＝0。
令H＝A[rc1 rc2 tc]，則公式(2)可以簡寫成公式(3) 令
其中，h1T、h2T、h3T表示H矩陣的三個列向量的轉置，圖像平面上的點和靶標平面的特征點的映射關系可以寫成公式(4)的形式 根據拍攝的每幅圖像上的n個點，采用最小二乘法可以求解出每幅圖像所對應的矩陣Hi，i＝1，2，...。
其次，根據得到的所有圖像的H矩陣，求解中間向量b 令B＝A-TA-1，則 將上述矩陣寫成向量形式，如公式(5)所示 b＝[B11 B12 B22 B13 B23 B33]T (5) 那么，就有公式(6)所示關系式存在 其中，hi＝[hi1 hi2 hi3]T，hj＝[hj1 hj2 hj3]T，i和j均表示第幾幅圖像，i＝1，2，...；j＝1，2，...； vij＝[hi1hj1 hi1hj2+hi2hj1 hi2hj2 hi3hj1+hi1hj2 hi3hj2+hi2hj3 hi3hj3]T 將所有vij組成矩陣V，V是2n×6的矩陣，其中，n＝1，2，...；存在公式(7)所示關系式 Vb＝0 (7) 通過公式(7)可以求解出b。
最后，根據b可以分解出攝像機的內參數矩陣A，并根據A-1求解Rc，tc 根據b分解出攝像機的內參數具體為將b利用Cholesky矩陣分解算法求解出A-1，再求逆得到A； 標定每幅圖像的外部參數tc為 rc1＝λA-1h1 rc2＝λA-1h2 rc3＝rc1×rc2 tc＝λA-1h3 (8) 其中λ＝1/||A-1h1||＝1/||A-1h2||，所以標定的外部參數中的旋轉矩陣為 Rc＝[rc1 rc2 rc3](9) 步驟102將三維激光雷達數據進行處理，得到三維激光雷達坐標系下靶標平面方程的參數a、b、c、d； 具體的，三維激光雷達的坐標系如下以三維激光雷達的俯仰旋轉軸中心為原點，z軸垂直于地面向上，x軸水平向右，y軸指向三維激光雷達前方，x、y、z三軸滿足右手坐標系法則。當三維激光雷達掃描到靶標時，落在靶標平面上的掃描點坐標為(xli，yli，zli)； 三維激光雷達對此掃描點的讀數為(ρ，α，θ)，其中ρ為距離值，α和θ分別為水平和俯仰掃描角，則該掃描點的空間坐標為 xli＝ρcosα，yli＝ρsinαcosθ，zli＝ρsinαsinθ 靶標的平面方程可以用公式(10)表示 αx+by+cz+d＝0，且a2+b2+c2+d2＝1 (10) 將掃描點坐標代入靶標的平面方程，采用最小二乘法可以求出在三維激光雷達坐標系下靶標平面方程的參數a、b、c、d。
步驟103根據步驟101中得到的Rc和tc，得到攝像機坐標系原點到不同位置靶標平面的垂線方向和距離； 如圖2所示，以第i個靶標平面為例，攝像機坐標系的原點Oc到第i個靶標平面的距離為λc，i，垂線方向為γc，i；三維激光雷達坐標系原點Ol到第i個靶標平面的距離為λl，i，垂線方向為γl，i； 根據步驟101中得到的Rc和tc，攝像機坐標系原點到第i個靶標平面的垂線方向和距離為 R3，c，i是旋轉矩陣Rc，i的第三列，攝像機坐標系原點到不同位置靶標平面的垂線方向可以寫成如下形式 Γc＝[γc，1 γc，2…γc，n] (12) 其中，Γc為3×n矩陣，這里n為靶標平面放置次數，即“圖像-距離”對數。
步驟104根據步驟102中得到的a、b、c、d，得到三維激光雷達坐標系原點到不同位置靶標平面的垂線方向； 根據步驟102中得到的a、b、c、d，以第i個靶標平面為例，三維激光雷達坐標系原點到第i個靶標平面的垂線方向通過下式計算 三維激光雷達坐標系原點到不同位置靶標平面的垂線方向和距離可以寫成如下形式 Γl＝[γl，1 γl，2…γl，n] (15) Λl＝[λl，1 λl，2…λl，n]T(16) 其中，Γl為3×n矩陣，n為“距離-圖像”對數。
步驟105計算三維激光雷達坐標系原點到不同位置靶標平面的垂線方向的測量誤差的協方差； 具體的，以第i個靶標平面為例，從三維激光雷達數據中計算所得的γl，i也不是靶標平面垂線方向的真值，有誤差Δγl，i，即 (γl，i)true＝γl，i+Δγl，i(17) Δγl，i是測量誤差，是符合高斯分布的隨機變量，位于和(γl，i)true相切的平面內，則協方差為 其中，σl，i2為三維激光雷達測量噪聲的方差。
步驟106計算各個垂線方向從三維激光雷達坐標系變換到攝像機坐標系的包含攝像機測量誤差的轉換關系； 具體的，根據攝像機坐標系和三維激光雷達坐標系中，原點到各個不同位置靶標平面的垂線方向，以第i個靶標平面為例，將三維激光雷達坐標系中的垂線方向轉換到攝像機坐標系中，可以用下式表示 (γc，i)true＝A(γl，i)true(19) AAT＝I (20) 由于攝像機在圖像采集、處理過程中存在各種各樣的誤差，因此實際測量結果可以用下式表示 γc，i＝A(γl，i)ture+Δγc，i (21) 其中，i＝1，2，3，...，γc，i是根據攝像機實際拍攝圖像所計算的結果，Δγc，i是測量誤差，是符合高斯分布的隨機變量，位于和(γc，i)true相切的平面內。
步驟107對轉換關系中的測量誤差進行協方差計算，得到轉換關系中的測量誤差的協方差中含有攝像機測量噪聲的方差與三維激光雷達測量噪聲的方差的平方和的算式； 具體的，對公式(21)中的隨機變量Δγc，i的協方差進行計算，得到 其中，σc，i2為攝像機測量噪聲的方差。
根據公式(17)和公式(21)，可得 γc，i＝A(γl，i+Δγl，i)+Δγc，i (23) γc，i＝Aγl，i+AΔγl，i+Δγc，i(24) 根據公式(18)和公式(22)，對上式(24)中包含隨機變量的各項進行協方差計算，不難得到 步驟108將得到的所有攝像機測量噪聲的方差與三維激光雷達測量噪聲的方差的平方和的倒數作為加權系數，標定出具有最大似然估計的旋轉矩陣；具體的，參考Shuster證明的如果加權系數ai選為
則形如
的問題等價于最大似然估計問題。
則上式(25)中，令
則標定具有最大似然估計的旋轉矩陣R的過程可以寫成下面公式(26) 其中∑為對角矩陣，對角元素分別為加權系數ai，i＝1，2，3...，Λl可由公式(16)得到。
求解R可以采用OPP(Orthogonal Procrustes Problem)問題的解法。不難得出 R＝V′U′T (27) 其中V′和U′是Λl∑ΓcT進行奇異值分解的結果，即
可選的，所述方法進一步包括步驟109將標定的旋轉矩陣作為初始值，并根據攝像機坐標系中原點到不同位置靶標平面的距離，將靶標平面的點對應攝像機拍攝的圖像平面的距離作為待最小化的目標函數，通過迭代求解全局最優值； 具體的，通過上述步驟101至步驟108，求解出的旋轉矩陣R的值，可以將這個值作為初始值，并根據攝像機坐標系中原點到不同位置靶標平面的距離，將靶標平面的點對應攝像機拍攝的圖像平面的距離作為待最小化的目標函數，通過迭代求解全局最優值。
設xl，i為三維激光雷達坐標系的第i幅圖像中靶標平面上的點的坐標矩陣 其中m是點的數量，全局優化的目標函數可以寫成如下形式 其中xl，i(j)是3×1向量，m＝m(i)是點的數量，t為三維激光雷達坐標系轉換到攝像機坐標系的平移向量。
通過迭代三維激光雷達坐標系的每幅圖像中靶標平面上的點的坐標，求解出優化后的R。
基于上述方法，本發明還提出基于攝像機和三維激光雷達的外部參數標定系統，如圖3所示，該系統包括第一計算模塊31、旋轉矩陣模塊32；其中， 第一計算模塊31，用于根據三維激光雷達坐標系中的原點到不同位置靶標平面的垂線方向的測量誤差的協方差，以及各個垂線方向從三維激光雷達坐標系轉換到攝像機坐標系的轉換關系的測量誤差的協方差，得到轉換關系中測量誤差的協方差中含有攝像機測量噪聲的方差與三維激光雷達測量噪聲的方差的平方和的算式； 旋轉矩陣模塊32，用于將第一計算模塊31得到的所有攝像機測量噪聲的方差與三維激光雷達測量噪聲的方差的平方和的倒數，作為加權系數，標定出具有最大似然估計的旋轉矩陣； 所述外部參數標定系統進一步包括第一協方差模塊33、第二協方差模塊34、轉換關系模塊35、第一垂線方向模塊36、第二垂線方向模塊37；其中， 第一協方差模塊33，用于根據三維激光雷達坐標系原點到不同位置靶標平面的垂線方向，計算三維激光雷達坐標系原點到不同位置靶標平面的垂線方向的測量誤差的協方差，并提供給第一計算模塊31； 第二協方差模塊34，用于計算轉換關系模塊35提供的轉換關系中測量誤差的協方差，并提供給第一計算模塊31； 轉換關系模塊35，用于根據攝像機坐標系和三維激光雷達坐標系中的原點到不同位置靶標平面的垂線方向，計算垂線方向從三維激光雷達坐標系到攝像機坐標系的具有測量誤差的轉換關系； 第一垂線方向模塊36，用于根據標定的靶標相對于攝像機坐標系的外部參數Rc和tc，得到攝像機坐標系原點到不同位置靶標平面的垂線方向； 第二垂線方向模塊37，用于根據三維激光雷達坐標系下的靶標平面方程的參數，得到三維激光雷達坐標系原點到不同位置靶標平面的垂線方向； 進一步的，該系統還包括第一外部參數標定模塊38，用于建立靶標平面的特征點和對應圖像平面上的點之間的關系，計算出攝像機的內參數矩陣，從而提供靶標相對于攝像機坐標系的外部參數Rc和tc給第一垂線方向模塊36； 進一步的，該系統還包括第一距離模塊39，用于根據第一外部參數標定模塊38提供的外部參數Rc和tc，得到攝像機坐標系原點到不同位置靶標平面的距離； 進一步的，該系統還包括平面方程的參數模塊40，用于進行三維激光雷達數據處理，提供三維激光雷達坐標系下靶標平面方程的參數a、b、c、d給第二垂線方向模塊37； 進一步的，該系統還包括優化模塊41，用于將旋轉矩陣模塊32標定的旋轉矩陣的值作為初始值，并根據第一距離模塊39得到的攝像機坐標系中原點到不同位置靶標平面的距離，將靶標平面的點對應攝像機拍攝的圖像平面的距離作為待最小化的目標函數，通過迭代求解全局最優值。
以上所述，僅為本發明的較佳實施例而已，并非用于限定本發明的保護范圍，凡在本發明的精神和原則之內所作的任何修改、等同替換和改進等，均應包含在本發明的保護范圍之內。
權利要求
1.一種基于攝像機和三維激光雷達的外部參數標定方法，其特征在于，該方法包括
根據三維激光雷達坐標系原點到不同位置靶標平面的垂線方向，從三維激光雷達坐標系轉換到攝像機坐標系的轉換關系中測量誤差的協方差，并根據三維激光雷達坐標系原點到不同位置靶標平面的垂線方向的測量誤差的協方差，得到轉換關系中測量誤差的協方差中含有攝像機測量噪聲的方差與三維激光雷達測量噪聲的方差的平方和的算式；
將得到的所有攝像機測量噪聲的方差與三維激光雷達測量噪聲的方差的平方和的倒數作為加權系數，標定出具有最大似然估計的旋轉矩陣。
2.根據權利要求1所述的方法，其特征在于，所述轉換關系中的測量誤差的協方差的計算，具體為根據攝像機坐標系和三維激光雷達坐標系中的原點到不同位置靶標平面的垂線方向，得到垂線方向從三維激光雷達坐標系到攝像機坐標系的具有測量誤差的轉換關系，然后對測量誤差進行協方差計算；
其中，所述根據三維激光雷達坐標系原點到不同位置靶標平面的垂線方向，具體為計算三維激光雷達坐標系下的靶標平面方程的參數，根據平面方程的參數，得到三維激光雷達坐標系原點到不同位置靶標平面的垂線方向。
3.根據權利要求1或2所述的方法，其特征在于，所述三維激光雷達坐標系原點到不同位置靶標平面的垂線方向的測量誤差的協方差的計算，具體為根據三維激光雷達坐標系原點到不同位置靶標平面的垂線方向，計算三維激光雷達坐標系原點到不同位置靶標平面的垂線方向的測量誤差的協方差；
其中，所述三維激光雷達坐標系原點到不同位置靶標平面的垂線方向，具體為標定靶標相對于攝像機坐標系的外部參數，根據標定的外部參數，得到攝像機坐標系原點到不同位置靶標平面的垂線方向。
4.根據權利要求2所述的方法，其特征在于，所述計算三維激光雷達坐標系下的靶標平面方程的參數，具體為
通過三維激光雷達掃描到靶標時，落在靶標平面上的掃描點的坐標，進行三維激光雷達數據處理，得到三維激光雷達坐標系下靶標平面方程的參數。
5.根據權利要求3所述的方法，其特征在于，所述標定靶標相對于攝像機坐標系的外部參數，具體為通過建立靶標平面的特征點和對應圖像平面上的點之間的關系，計算出攝像機的內參數矩陣，標定靶標相對于攝像機坐標系的外部參數。
6.根據權利要求1所述的方法，其特征在于，所述得到具有最大似然估計的旋轉矩陣后，該方法進一步包括將求解出的旋轉矩陣的值作為初始值，并根據攝像機坐標系中原點到不同位置靶標平面的距離，將靶標平面的點對應攝像機拍攝的圖像平面的距離作為待最小化的目標函數，求解旋轉矩陣的全局最優值。
7.一種基于攝像機和三維激光雷達的外部參數標定系統，其特征在于，該系統包括
第一計算模塊，用于根據三維激光雷達坐標系中的原點到不同位置靶標平面的垂線方向的測量誤差的協方差，以及各個垂線方向從三維激光雷達坐標系轉換到攝像機坐標系的轉換關系的測量誤差的協方差，得到轉換關系中測量誤差的協方差中含有攝像機測量噪聲的方差與三維激光雷達測量噪聲的方差的平方和的算式；
旋轉矩陣模塊，用于將第一計算模塊得到的所有攝像機測量噪聲的方差與三維激光雷達測量噪聲的方差的平方和的倒數，作為加權系數，標定出具有最大似然估計的旋轉矩陣。
8.根據權利要求7所述的系統，其特征在于，所述系統進一步包括
第一協方差模塊，用于根據三維激光雷達坐標系原點到不同位置靶標平面的垂線方向，計算三維激光雷達坐標系原點到不同位置靶標平面的垂線方向的測量誤差的協方差；
第二協方差模塊，計算轉換關系模塊提供的轉換關系中測量誤差的協方差；
轉換關系模塊，用于根據攝像機坐標系和三維激光雷達坐標系中的原點到不同位置靶標平面的垂線方向，計算垂線方向從三維激光雷達坐標系到攝像機坐標系的具有測量誤差的轉換關系；
優化模塊，用于將旋轉矩陣模塊標定的旋轉矩陣的值作為初始值，并根據攝像機坐標系中原點到不同位置靶標平面的距離，將靶標平面的點對應攝像機拍攝的圖像平面的距離作為待最小化的目標函數，求解旋轉矩陣的全局最優值。
9.根據權利要求8所述的系統，其特征在于，所述系統進一步包括
第一垂線方向模塊，用于根據靶標相對于攝像機坐標系的外部參數，得到攝像機坐標系原點到不同位置靶標平面的垂線方向；
第二垂線方向模塊，用于根據三維激光雷達坐標系下的靶標平面方程的參數，得到三維激光雷達坐標系原點到不同位置靶標平面的垂線方向。
10.根據權利要求7、8或9的系統，其特征在于，所述系統進一步包括
第一距離模塊，用于根據第一外部參數標定模塊提供的外部參數，得到攝像機坐標系原點到不同位置靶標平面的距離；
第一外部參數標定模塊，用于建立靶標平面的特征點和對應圖像平面上的點之間的關系，計算出攝像機的內參數矩陣，提供靶標相對于攝像機坐標系的外部參數給第一垂線方向模塊；
平面方程的參數模塊，用于進行三維激光雷達數據處理，提供三維激光雷達坐標系下靶標平面方程的參數給第二垂線方向模塊。
全文摘要
本發明公開了一種基于攝像機和三維激光雷達的外部參數標定方法，通過根據三維激光雷達坐標系原點到不同位置靶標平面的垂線方向的測量誤差的協方差，及垂線方向從三維激光雷達坐標系轉換到攝像機坐標系的轉換關系中測量誤差的協方差，得到轉換關系中測量誤差的協方差中含有攝像機測量噪聲的方差與三維激光雷達測量噪聲的方差的平方和的算式；將得到的所有測量噪聲的方差的平方和的倒數作為加權系數，標定出具有最大似然估計的旋轉矩陣；本發明同時還公開了一種基于攝像機和三維激光雷達的外部參數標定系統；由于標定過程中考慮了測量誤差對待標定旋轉矩陣的影響，對旋轉矩陣的標定結果中測量誤差采用最大似然估計的算法，使標定結果更加準確。
文檔編號G06T7/00GK101699313SQ20091023529
公開日2010年4月28日 申請日期2009年9月30日 優先權日2009年9月30日
發明者付夢印, 楊建 , 孟紅 申請人:北京理工大學