可見光相機與紅外相機的參數聯合標定方法及裝置的制造方法
【技術領域】
[0001] 本發明實施例設及相機參數標定技術，尤其設及一種可見光相機與紅外相機的參 數聯合標定方法及裝置。
【背景技術】
[0002] 在多光譜攝影測量、遙感W及目標監視等應用中，由于可見光相機可W獲得豐富 的紋理信息，紅外熱像儀可W獲得溫度信息，因此使可見光相機與紅外相機的聯合測量獲 得了廣泛應用。
[0003] 現有技術中，首先設計和制作一張帶有發熱裝置的平面標定板，然后通過該標定 板采集可見光圖像和紅外圖像對應信息，最后利用傳統的標定方法獲得相機參數。
[0004] 然而，為了獲取相機參數需要專口設計并制作標定板，將增加獲取相機參數的人 力及物料成本。
【發明內容】
[0005] 本發明提供一種可見光相機與紅外相機的參數聯合標定方法及裝置，W實現無需 標定板即可實現相機參數的標定，降低相機參數標定的人力及物料成本。
[0006] 第一方面，本發明實施例提供了一種可見光相機與紅外相機的參數聯合標定方 法，包括：
[0007] 對可見光圖像和紅外圖像進行邊緣檢測，得到可見光邊緣圖像W及紅外邊緣圖 像；
[000引利用尺度不變特征轉換算法SIFT獲取所述可見光邊緣圖像和紅外邊緣圖像的至 少四組匹配點對；
[0009] 根據所述至少四組匹配點對、所述可見光相機的內參矩陣W及所述紅外相機的內 參矩陣確定外參矩陣。
[0010] 第二方面，本發明實施例還提供了一種可見光相機與紅外相機的參數聯合標定裝 置，包括：
[0011] 邊緣檢測單元，用于對可見光圖像和紅外圖像進行邊緣檢測，得到可見光邊緣圖 像W及紅外邊緣圖像；
[0012] 匹配點對獲取單元，用于利用尺度不變特征轉換算法SIFT獲取所述邊緣檢測單元 得到的所述可見光邊緣圖像和紅外邊緣圖像的至少四組匹配點對；
[0013] 外參矩陣確定單元，用于根據所述匹配點對獲取單元獲取的所述至少四組匹配點 對、所述可見光相機的內參矩陣W及所述紅外相機的內參矩陣確定外參矩陣。
[0014] 本發明通過對可見光圖像和紅外圖像進行邊緣檢測，并利用尺度不變特征轉換算 法SIFT,獲取邊緣檢測得到的可見光邊緣圖像和紅外邊緣圖像的至少四組匹配點對，進而 無需通過標定板即可得到可見光邊緣圖像與紅外邊緣圖像中的匹配點對，最后根據所述至 少四組匹配點對、所述可見光相機的內參矩陣W及所述紅外相機的內參矩陣確定外參矩 陣，實現在不使用標定板的前提下，確定外參矩陣，進而降低相機參數的標定成本。此外，現 有技術中由于標定板的位置需要與相機焦距相適應，因此當相機焦距發生變化時，需要調 整標定板W及相機的位置，操作繁瑣。本發明中當相機(可見光相機或紅外相機）的焦距發 生變化時，無需調整相機位置即可確定外參矩陣，提高參數標定的效率。
【附圖說明】
[0015] 圖1為本發明實施例一中的可見光相機與紅外相機的參數聯合標定方法的流程 圖；
[0016] 圖2是本發明實施例二中的可見光相機與紅外相機的參數聯合標定方法的流程 圖；
[0017] 圖3是本發明實施例=中的可見光相機與紅外相機的參數聯合標定方法的流程 圖；
[0018] 圖4是本發明實施例四中的可見光相機與紅外相機的參數聯合標定方法的流程 圖；
[0019] 圖5是本發明實施例五中的可見光相機與紅外相機的參數聯合標定裝置的結構示 意圖。
【具體實施方式】
[0020] 下面結合附圖和實施例對本發明作進一步的詳細說明。可W理解的是，此處所描 述的具體實施例僅僅用于解釋本發明，而非對本發明的限定。另外還需要說明的是，為了便 于描述，附圖中僅示出了與本發明相關的部分而非全部結構。
[0021 ]實施例一
[0022] 圖1為本發明實施例一提供的一種可見光相機與紅外相機的參數聯合標定方法的 流程圖，本實施例可適用于對可見光相機及紅外相機的參數進行標定的情況，該方法可W 由具有數據處理能力的終端來執行，終端如個人電腦(Personal Computer,PC)、筆記本電 腦、平板電腦等，該方法具體包括如下步驟：
[0023] Sl 10、對可見光圖像和紅外圖像進行邊緣檢測，得到可見光邊緣圖像W及紅外邊 緣圖像。
[0024] 對可見光圖像進行邊緣檢測時，可采用基于查找的邊緣檢測或者基于零穿越的邊 緣檢測。基于查找的邊緣檢測方法通過尋找圖像一階導數中的最大和最小值來檢測邊界， 通常是將邊界定位在梯度最大的方向。基于零穿越的邊緣檢測方法通過尋找圖像二階導數 零穿越來尋找邊界，通常將拉普拉斯化aplacian)過零點或者非線性差分表示的過零點確 定為邊界。
[0025] 可通過基于多尺度形態學的紅外圖像邊緣檢測方法等方法在對紅外圖像進行邊 緣檢測。通過邊緣檢測得到的圖像用于表示原圖像的邊緣輪廓，輪廓線由輪廓線上的像素 點組成。
[0026] S120、利用尺度不變特征轉換算法SIFT獲取可見光邊緣圖像與紅外邊緣圖像重合 部分的至少四組匹配點對。
[0027] 尺度不變特征轉換（Scale-invariant feature transform,SIFT)是一種計算機 視覺的算法，用于偵測與描述影像中的局部性特征，例如在空間尺度中尋找極值點，并提取 出極值點的位置、尺度W及旋轉不變量。具體可通過下述操作進行實施：
[0028] (1)尺度空間極值檢測:捜索所有尺度上的圖像位置。通過高斯微分函數來識別潛 在的對于尺度和旋轉不變的興趣點。
[0029] (2)特征點定位:在每個候選的位置上，通過一個擬合精細的模型來確定位置和尺 度。特征點的選擇依據于它們的穩定程度。
[0030] (3)方向確定：基于圖像局部的梯度方向，分配給每個特征點位置一個或多個方 向。所有后面的對圖像數據的操作都相對于特征點的方向、尺度和位置進行變換，從而提供 對于運些變換的不變性。
[0031] (4)特征點描述:在每個特征點周圍的鄰域內，在選定的尺度上測量圖像局部的梯 度。運些梯度被變換成一種表示，運種表示允許比較大的局部形狀的變形和光照變化。
[0032] 首先獲取可見光邊緣圖像和紅外邊緣圖像重合的部分，然后分別根據尺度不變特 征轉換算法對可見光邊緣圖像與紅外邊緣圖像重合的部分進行尺度不變特征轉換，得到可 見光邊緣圖像對應的特征點描述信息W及紅外邊緣圖像對應的特征點描述信息。根據轉換 后得到的可見光邊緣圖像對應的特征點描述信息W及紅外邊緣圖像對應的特征點描述信 息確定匹配點對。每組匹配點對由可見光邊緣圖像中的一個點和紅外邊緣圖像中的一個點 組成，運兩個點具有共同的方向、尺度和位置。
[0033] S130、根據至少四組匹配點對、可見光相機的內參矩陣W及紅外相機的內參矩陣 確定外參矩陣。
[0034] 為了方便描述設定紅外相機為Cl和可見光相機為C2，C2相對于Cl的旋轉矩陣為R， 平移向量t，被攝物體上的某一點P的世界坐標為(Xw，Yw，Zw)，點P在兩個相機的像平面中所 成的像點分別為Pl，P2，Pl的像素坐標為(山，Vl )，P2的像素坐標為(U2，V2 )。
[0035] 假設Cl的攝像機坐標系與世界坐標系重合，貝化2的攝像機坐標系與世界坐標系的 關系可用C2相對于Cl的旋轉矩陣R和平移向量t來表示（即公式一），公式一給出了從不同視 角獲取包含同一場景的兩幅圖像之間的幾何變換關系，亦可稱為基于攝像機運動參數的圖 像變換模型：
[0037]其中，K功紅外相機Cl的內參矩陣，K2為可見光相機C2的內參矩陣，R表示攝像機C2 相對于攝像機Cl旋轉矩陣;t表示攝像機C2相對于攝像機Cl的位移向量，[R t]為外參矩陣，R 為3 X 3矩陣，t為1 X 3矩陣，Zci，Zc2分別表示點P到攝像機Cl，C2像平面的距離，該距離為焦距 與物距之和，其中物距可通過使用測量工具（如皮尺等）測量得到，也可通過超聲波傳感器 等用于測量距離的傳感器獲取。
[003引假設S120得到的四組匹配特征點對的特征點坐標分別為(xi，yi)，（x/，y/ )，（X2， 72)，（X2' ,y2' )，（X3,y3)，（X' 3,y3')，（X4,y4)，（X' 4,y4')，且Xi辛X2辛X3辛X4，yi辛y2辛y3辛y4, ^豐義}!豐1^ 3豐乂 豐3"^豐33'豐3^。
[0039]已知紅外相機的內參矩陣Ki和可見光相機的內參矩陣K2，分別為：
[0041] 其中，fcxi為紅外相機像平面中U軸方向的尺度因子，fcyl為紅外相機像平面中V軸 方向的尺度因子，（Cxl，Cyl)表示紅外相機的像平面的中屯、點坐標。
[0042] fcx2為可見光相機像平面中U軸方向的尺度因子，fcy2為可見光相機像平面中V軸方 向的尺度因子，（Cx2，Cy2 )表示可見光相機的像平面的中屯、點坐標。
[00創將Ki和拉代入公式一中，得到公式一的展開式為：
[0045] (i = l，2,3，...，N)(公式二）
[0046] N為大于等于4的整數。由于R為3 X 3矩陣，t為1 X 3矩陣，因此共有12個未知量。每