一種擴展小孔成像模型的魚眼相機矯正與標定方法
【技術領域】
[0001] 本發明具體設及一種擴展小孔成像模型的魚眼相機矯正與標定方法，屬于計算機 視覺W及計算機圖形學領域。
【背景技術】
[0002] 在機器視覺、全景攝影、安防監控W及虛擬現實等領域，魚眼相機由于其超寬的視 場范圍（一般達到甚至超過180° )，得到越來越廣泛的應用。但是，魚眼相機存在嚴重的 桶形崎變，導致其使用受限。如圖1所示，該是一幅用魚眼相機拍攝的實際場景圖，它覆蓋 了半空間的場景，但是，由于崎變的存在，其中空間直線的成像已經不再是直線。
[0003] 截止到現在，對魚眼相機矯正與標定的研究很多，主要可分為基于硬件測量和基 于圖像處理算法等兩類方法。基于硬件測量的方法，通過硬件裝置測量特定空間點的位置 坐標，建立空間點與相應圖像點之間的關系，從而求解魚眼相機的模型參數。此類方法需要 額外的測量裝置、成本較高，而且對裝置的測量精度有較高要求。基于圖像處理算法的方法 又可W分為基于單幅圖像和基于多幅圖像的方法。其中，基于單幅圖像的方法，其理論根據 是直線的投影仍然是直線，它通過"把崎變后的直線恢復為直線"的過程來確定崎變參數， 此類方法雖然靈活，但是實現復雜、計算量大，并且相機標定困難。而基于多幅圖像的方法 是目前的研究熱點，它通過從不同角度拍攝多幅模板圖像來求取投影模型參數，實現簡單， 但是當投影模型簡單時，其矯正與標定的精度較差，而當投影模型復雜時，又會大大增加模 型參數求解的難度。
[0004] 小孔成像模型相對其他投影模型實現簡單、易于標定，并且符合人眼視覺效果。本 發明屬于基于多幅圖像的矯正與標定方法的范疇，通過從不同角度拍攝多幅魚眼模板圖， 求取小孔成像模型的參數。但是，由于小孔成像模型適用的視場范圍遠小于180° (-般適 用于90°左右視場范圍），而魚眼相機具有超寬的視場角（一般達到甚至超過180° )，不 能夠簡單的使用小孔成像模型進行魚眼相機的矯正與標定。
【發明內容】
[0005] 為了克服上述技術的不足，本發明提出了一種擴展小孔成像模型的魚眼相機矯正 與標定方法。該方法在小孔成像模型矯正的基礎上，結合直線擬合W及自然鄰點插值算法， 實現對整個魚眼相機的矯正與標定，并得到符合人眼視覺效果的矯正結果圖。具體包括如 下步驟：
[000引步驟1)對魚眼相機進行開窗處理，設置窗口的視場范圍；
[0007] 步驟2)使用開窗后的相機，從不同的角度拍攝棋盤模板圖，得到一序列的模板圖 像；
[000引步驟扣通過角點檢測，提取模板圖像中特征點的像素坐標，建立空間點和圖像點 之間的關系；
[0009] 步驟4)在提取到所有的特征點后，通過LM算法求參數，實現對相機的矯正與標 定；
[0010] 步驟5)根據已經測量得到的相機參數，對拍攝的實物圖進行崎變的矯正；
[0011] 步驟6)在小孔成像模型矯正的基礎上，結合直線擬合W及自然鄰點插值算法，擴 展矯正的視場范圍。
[0012] 對含有模板的魚眼圖像進行基于小孔成像模型的矯正，然后對矯正結果中同一直 線上的特征點進行直線擬合。
[0013] 獲得經過擬合的特征點坐標后，使用插值算法，求取圖像上除特征點W外像素的 新的坐標位置。
[0014] 擴展小孔成像模型適用視場范圍的基本原理是直線的投影仍然是直線，在小孔成 像模型的基礎上，結合直線擬合W及自然鄰點插值，把矯正的視場范圍擴大，包括基于小孔 模型的崎變矯正、特征點直線擬合W及自然鄰點插值。
[0015] 本發明和現有技術相比所具有的有益效果：此方法不僅具備易于標定、適合人眼 觀看效果等，同時能夠實現魚相機超寬視場范圍的矯正與標定。測試結果表明，此方法擴展 了小孔成像模型的應用范圍，能夠實現魚眼相機的矯正與標定。并且，單次矯正的視場范圍 達到130°，通過移動點陣模板的位置，可W得到魚眼相機不同區域的矯正結果，從而實現 魚眼相機整個成像區域的矯正與標定。
【附圖說明】
[0016] 圖1為魚眼相機拍攝的場景圖；
[0017] 圖2為本發明擴展小孔成像模型的魚眼相機矯正與標定方法流程圖；
[001引圖3-1為魚眼拍攝的實物圖；
[0019] 圖3-2為矯正結果示意圖，視場范圍85° ;
[0020] 圖4-1為魚眼拍攝的實物圖；
[0021] 圖4-2矯正結果示意圖，視場范圍100° ;
[0022] 圖5為使用開窗85°的小孔模型對整個魚眼圖像矯正的結果示意圖；
[0023] 圖6-1為的原始Voronio圖；
[0024] 圖6-2為的插入X后新的Voronio圖；
[00巧]圖7為本的非等間隔點陣模板示意圖；
[0026] 圖8-1為的魚眼非等間隔點狀模板圖像；
[0027] 圖8-2為圖8-1的小孔矯正結果示意圖；
[0028] 圖9-1為圓形點模板的特征點檢測圖；
[0029] 圖9-2為圖9-1特征點檢測結果示意圖；
[0030] 圖10為的直線擬合與自然鄰點插值算法矯正結果圖；
[0031] 圖11為實際場景矯正結果圖；
[0032] 圖12-1為的點陣模板處于魚眼圖下方示意圖；
[0033] 圖12-2為圖12-1的矯正結果示意圖；
[0034] 圖12-3為圖1的矯正結果示意圖。
【具體實施方式】
[0035] 為使本發明的上述目的、特征和優點能夠更加明顯易懂，結合附圖和具體實施方 式對本發明作進一步詳細的說明。
[0036] 通過小孔成像模型將空間中的點投影到圖像平面，投影公式可寫為
[0037] S?m=A? [R|t] ?M (1)其中，s是一個比例常數，M: 〇(，Y，Z)為空間點的 坐標（單位：毫米mm)，m:(u，v)為投影在圖像平面上的點的坐標（單位：像素pixel)，A為 相機內參（投影）矩陣，[R|t]為相機旋轉-平移矩陣。
[0038] 內參數矩陣A不依賴場景的視圖，對于某一個相機只要焦距固定，就不再改變（要 對相機進行標定，需要求取A;在接下來的分析中，把相機的標定統一到矯正中）。而旋 轉-平移矩陣[R|t]被稱作外參數矩陣，它用來描述相機相對于一個固定場景的運動，即 [R|t]將空間點化Y，幻的坐標變換到某個坐標系上，該個坐標系相對于相機來說是固定 不變的。該個坐標系為相機坐標系，（x，y，z)為相機坐標系上的點，單位mm。
[003引因此，引入（x，y，z)為中間變量，式（1)中的坐標系變換（旋轉平移；[R|t])可W寫為
[0040] [x，y，z]T=R- D(，Y，Z]T+t 似
[0041] 通過小孔模型的投影變換，式（2)中的相機坐標經過投影（投影矩陣;A)可W表 示為
[0042]
(3)
[004引其中，（cx，cy)是相機的基準點（即光學中心通常在圖像的中心單位pixeU， (fx,fy)是Wpixel為單位的焦距。
[0044] 對于魚眼相機，存在比較嚴重的崎變，主要是徑向形變，也會有輕微的切向形變。 但是，根據魚眼鏡頭桶形崎變的特點，在魚眼圖像的中間區域崎變較小，可W采用低階的多 項式擬合其崎變參數。式（3)中引入崎變，得到如下表達式
[0045]
(4)
[004引其中，（x"，y")為崎變后的相機坐標，r2=x'2+y2，ki和k2是徑向崎變系數，Pi和P2是切向崎變系數。
[0047] 在得到了具體的投影方程后，使用最小均方誤差準則，求解式（5)達到最小的解。
[004引
巧）
[0049]其中，K為采集的含模板的圖像的張數，L表示每幅圖像上特征點的個數（L=mXn，m、n分別表示模板圖像的一行、一列中含有的特征點個數），mu是第i幅圖像的第j 個特征點的圖像坐標，/h(《,，/,.，,4A，/c.^，Pi，P,，M,^.)是根據相機投影模型由空間坐標My投影 得到的坐標。具體求解參數時，選擇收斂性強的Levenberg-Marqua化(LM)算法。
[0050] 如圖2所示，一種擴展小孔成像模型的魚眼相機矯正與標定方法包括如下步驟：
[0051] 步驟1)對魚眼相機進行開窗處理，設置中屯、85°視場范圍的窗口；
[0052] 步驟2)使用開窗后的相機，從不同的角度拍攝棋盤模板圖，得到一序列的模板圖 像；
[005引步驟扣通過角點檢測，提取模板圖像中特征點的像素坐標，建立空間點和圖像點 之間的關系；
[0054]步驟4)在提取到所有的特征點后，通過LM算法求取式妨中的參數，實現對相機 的矯正與標定。對于實際的一款魚眼相機，得到其崎變參數ki= -0. 2856,k2= 0. 0881;p1 =4.61X1(T4,P2= -5.03X1(T4。可W看出，切向崎變系數Pi和P2較小，而徑向崎變系數 ki和k2較大，說明魚眼相機的切向崎變較小，幾乎可W忽略，而徑向崎變是魚眼相機的主要 崎變，該與實際的情況相符合；
[005引步驟W根據已經測量得到的相機參數，對拍攝的實物圖進行崎變的矯正；矯正結 果如圖3-2所示，由W上矯正結果可W看出，圖3-1中由于崎變導致的彎曲，在經過矯正后 得到了很好的修正，符合人眼觀看效果。
[0056] 如圖4-1所示，重復步驟1)至步驟5)，開窗拍攝視場范圍達到100°的魚眼圖，求 解此時小孔模型中的參數，最后得到圖4-2的矯正結果。由圖4-2的邊緣部分可W看出，使 用此小孔模型對超過90°視場范圍的圖像進行矯正時，其中間部分矯正結果較好，但是邊 緣部分的直線沒有被矯正，矯正結果仍然存在很大殘余誤差。
[0057]接下來，使用開窗85°得到的小孔模型，對整個魚眼圖像進行矯正處理，得到如圖 5所示的矯正結果圖。由圖5可W看出，魚眼圖像的中屯、區域巧5°視場范圍內）的矯正結 果較好，邊緣部分沒有得到很好的矯正。
[0058] 綜合W上矯正結果，可W看出，此