一種紅外雙目相機自適應極線校正方法
【專利摘要】本發明公開了一種紅外雙目相機自適應極線校正方法，僅需兩幅紅外圖像作為輸入，首先對紅外雙目圖像進行預處理以實現對比度增強；對兩幅紅外圖像分別提取SIFT特征點，并匹配得到匹配點；在處理誤匹配時，采用改進的基于近鄰度的離群點檢測思想去除誤匹配點；利用引入混沌優化思想和遺傳算法中雜交思想的改進粒子群算法，進行全局尋優，得到兩個變換矩陣；對兩幅紅外圖像分別根據對應的變換矩陣進行像素映射，即可得到校正后的雙目圖像。實驗證明，該方法能適應絕大多數場景，具有很高的校正精度和自適應性。
【專利說明】一種紅外雙目相機自適應極線校正方法
【技術領域】
[0001] 本發明屬于計算機視覺領域，具體涉及一種紅外雙目相機自適應極線校正方法。
【背景技術】
[0002] 雙目立體視覺技術廣泛應用在機器人車輛導航和目標檢測領域。隨著紅外成像技 術的成熟，所獲得的紅外圖像質量越來越高，紅外波段的立體視覺技術也越來越受到關注。 在滿足極線約束的理想狀態下，雙目圖像平面的極線互相平行，因此在立體匹配時，搜索只 需要沿著水平方向，大大提高了匹配效率。然而在實際應用中，雙目相機的光軸通常處于非 平行模式下，甚至可能誤差很大，得到的雙目圖像即不滿足極線約束。極線校正的目的就是 通過變換矩陣，將非理想的雙目圖像變換成滿足極線約束的理想立體圖像對。
[0003] 立體圖像極線校正分為有相機標定和無相機標定兩種方法。文獻（Fusiello A, Trucco E, Verri A. A compact algorithm for rectification of stereo pairs [J]. Machine Vision and Applications, 2000, 12 (I) : 16-22)提出一種簡單的有相機標定 方法，精度和速度都比較好，但是依賴于標定得到的相機參數。相機標定一般利用已知 形狀、尺寸的標定物（如棋盤格）作為拍攝對象，但在紅外圖像中場景紋理特征很少， 標定物中的點、線等細節缺失，常規方法下根本無法進行標定。因此紅外雙目極線校正 需利用無相機標定方法。文獻（Hartley R I.Theory and practice of projective rectification[J]. International Journal of Computer Vision, 1999, 35(2):115-127) 總結了極線校正的理論，將其中一個變換矩陣近似為剛體變換，剩余的自由度通過變換后 對應點視差最小得至丨J〇 文獻（Loop C, Zhang Z. Computing rectifying homographies for stereo vision[C]· Computer Vision and Pattern Recognition, 1999. IEEE Computer Society Conference on. IEEE, 1999, I)提出了基于基本矩陣分解的立體圖像極線校正 方法，但該方法過分依賴于基本矩陣的精度，穩定性得不到保證。文獻（Isgro F, Trucco E.Projective rectification without epipolar geometry[C]· Computer Vision and Pattern Recognition, 1999. IEEE Computer Society Conference on. IEEE, 1999, L )提出 了一種無需基本矩陣的極線校正方法，該方法只依賴于對應點的坐標，但在校正過程中非 線性優化選取的初始值缺乏可信度，采用金字塔結構的優化過程計算量很大。
【發明內容】
[0004] 本發明針對紅外雙目相機標定困難的問題，提出了一種適用于無相機標定的紅外 雙目相機極線校正方法，在校正過程中，只需要兩幅紅外雙目圖像作為輸入，不需要使用 者參與中間過程，自適應性強，精度高。
[0005] 為解決上述技術問題，本發明一種紅外雙目相機自適應極線校正方法，包括以下 步驟：
[0006] 步驟一：計算投影變換矩陣氏、H2的具體形式，這里采用Gluckman的極線校正 模型（詳見文獻 Gluckman J, Nayar S K. Rectifying transformations that minimize resampling effects[C]. Computer Vision and Pattern Recognition, 2001. CVPR2001. Proceedings of the2001IEEE Computer Society Conference on.IEEE, 2001, I:I-Ill-I-117vol. I)。
[0007] 步驟二：為解決紅外圖像對比度差、噪聲大的缺點，對兩幅紅外雙目圖像分別進行 直方圖均衡化預處理，以實現圖像增強。預處理之后的紅外雙目圖像為L、1 2。
[0008] 步驟三：對兩幅紅外圖像分別提取SIFT特征點，并進行特征點匹配。匹配時采用 最短歐氏距離匹配法。為滿足該發明自適應的要求，通過多次試驗，確定統一的距離比例閾 值th。
[0009] 步驟四：去除誤匹配點。匹配過程中誤匹配很難避免，而哪怕是一對誤匹配的出 現，對校正結果也有很大的影響。本發明提供一種改進的基于近鄰度的離群點檢測思想，來 去除誤匹配。得到的N對匹配點為（IIi li, m2i), i = 1，…，N。
[0010] 步驟五：根據校正后雙目圖像的極線方程，利用引入混沌優化思想和遺傳 算法中雜交思想的改進粒子群算法（詳見文獻柏連發，韓靜，張毅，等.采用改 進梯度互信息和粒子群優化算法的紅外與可見光圖像配準算法[J].紅外與激光工 程，2012, 41 (1) : 248-254.)，進行全局尋優，計算兩個變換矩陣的值；得到變換矩陣后，分 別對兩幅圖像進行像素位置映射，即可得到極線校正后的紅外雙目圖像。
[0011] 本發明與現有技術相比，其顯著優點：（1)本發明首次實現了紅外雙目立體視覺 系統的極線校正技術，彌補了這一空白，解決了紅外雙目系統標定困難、匹配時不能沿單一 水平方向搜索的問題；（2)針對匹配時存在的誤匹配問題，在分析了不同誤匹配點對校正 效果的影響后，提出一種非常簡單有效的誤匹配去除方法：對傳統基于近鄰度的離群點檢 測方法提出改進，只保留k均值平均距離最小的部分匹配點，保留比例為P，并通過實驗觀 察得出了 P的最佳取值；(3)將投影變換矩陣的求解問題轉化為一個最小化平方和問題，并 采用粒子群算法來進行求解，粒子群算法簡單、速度快，但存在容易陷入局部極值的問題， 為提高粒子群算法全局尋優能力，引入混沌優化思想和遺傳算法中雜交思想。本發明方 法既能跟好地解決誤匹配問題，具有較高的魯棒性，又能適應絕大多數的紅外場景，在校正 過程中不需要使用者參與，自適應性強，同時還能降低極線校正過程的計算量，提高校正速 度。
【專利附圖】
【附圖說明】
[0012] 圖1是本發明方法流程圖。
[0013] 圖2是待校正的紅外雙目立體視覺系統拍攝得到的雙目圖像，（a)為左圖，（b)為 右圖。
[0014] 圖3是預處理后的紅外雙目圖像，（a)為左圖，（b)為右圖。
[0015] 圖4是分別對兩幅紅外圖像提取SIFT特征點，并按照最短歐式距離匹配法得到的 匹配點情況。
[0016] 圖5是去除誤匹配后的結果。
[0017] 圖6是校正之后的紅外雙目圖像，（a)為校正后左圖，標出了匹配點的位置，（b)為 校正后右圖，畫出了每個匹配點出的極線。 圖7是校正后圖像變形程度度量。
【具體實施方式】
[0018] 由于紅外圖像分辨率低、噪聲大，與可見光圖像相比更容易出現誤匹配，本發明 利用改進的近鄰度離群點檢測思想來去除誤匹配點，避免現有方法中的迭代過程。同時 Gluckman的極線校正模型未知參數個數少，計算過程簡單，利用改進粒子群算法即可達到 全局尋優的目的。
[0019] 本發明方法包括以下步驟：
[0020] 步驟一：根據Gluckman的極線校正模型，求解投影變換矩陣H^H2的具體形式；在 Gluckman的極線校正模型中，雙目圖像的極線校正過程可以分為4個步驟，每個步驟實際 上也是對投影變換矩陣的分解，因此投影變換矩陣氏、H 2的具體形式可以由這4個步驟得 出：
[0021] 步驟1 :將兩幅圖像的坐標原點平移到圖像中心點。由于實際使用的是兩個型號 參數一致的紅外相機，因此可以認為得到的兩幅圖像大小一致，即對雙目圖像而言，它們的 平移變換矩陣相同，表示為：
[0022]
【權利要求】
1. 一種紅外雙目相機自適應極線校正方法，其特征在于，包括以下步驟： 步驟一，根據Gluckman的極線校正模型，計算投影變換矩陣的具體形式； 步驟二，對采集得到的紅外雙目圖像，分別進行直方圖均衡化預處理操作，預處理得到 的紅外雙目圖像分別為Ii、I2; 步驟三，對圖像Ii、12分別提取SIFT特征點，并進行特征點匹配，匹配時采用最短歐式 距離匹配法，其距離比例閾值取th ; 步驟四，針對匹配過程中產生的誤匹配點，利用改進的基于近鄰度的離群點檢測思想 去除誤匹配點，去除誤匹配后得到Μ對匹配點為（ηιπ，ηι2?), i = 1，"·，Μ ; 步驟五，根據校正后雙目圖像的極線方程，利用引入混沌優化思想和遺傳算法中雜交 思想的改進粒子群算法，進行全局尋優，計算兩個變換矩陣的值；得到變換矩陣后，分別對 兩幅圖像進行像素位置映射，即可得到極線校正后的紅外雙目圖像。
2. 如權利要求1所述的紅外雙目相機自適應極線校正方法，其特征在于：所述步驟四 中利用改進的基于近鄰度的離群點檢測思想去除誤匹配點的具體方法為：對圖像Ii、1 2進 行SIFT特征點匹配得到N對初始匹配點為（nn，n2i)，i = 1，···，Ν，其中采用Ay = | (ηι) y_(n2)y|計算每一對匹配點的垂直視差，記所有匹配點的垂直視差集合為ΛΥ= {Ayi，… ，AyN};對ΛΥ中每個點，計算該點的k近鄰平均距離，記為該點的近鄰度，近鄰度越大的 點是誤匹配點的可能性越大；把所有點按照近鄰度由小到大排序，近鄰度過大的點直接拋 棄，只保留近鄰度較小的部分，保留比例為P，保留下來的部分都是正確匹配點；k的取值為 6-8, P的取值為80%。
3. 如權利要求1所述的紅外雙目相機自適應極線校正方法，其特征在于：所述步驟三 中th的取值為0.5-0. 6。
【文檔編號】G06T7/00GK104240229SQ201410284944
【公開日】2014年12月24日 申請日期:2014年6月23日 優先權日:2014年6月23日
【發明者】張毅, 柏連發, 吳磊, 韓靜, 岳江, 王博, 左金輪, 趙北, 祁偉 申請人:南京理工大學