專利名稱：可見光和熱紅外圖像序列自動配準方法
技術領域：
本發明涉及一種圖像序列自動配準方法，特別是涉及一種可見光和熱紅外圖像序列自動配準方法。
背景技術：
文獻“TorabiA, Masse G, Bilodeau G-A, et al. Feedback scheme for thermal-visible video registration, sensor fusion, and people tracking. In !Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition-fforkshop, 2010,15 22. ”公開了一種基于運動目標軌跡和運動目標剪影的可見光-熱紅外圖像序列配準方法。該方法首先基于RANSAC軌跡匹配使得軌跡對應點和兩類傳感器運動前景重疊最大來估計變換模型參數；然后，在配準參數的基礎上，對兩類傳感器的檢測結果進行sum規則融合，并基于融合檢測結果對可見光-熱紅外序列分別進行跟蹤，根據剪影重疊率判斷是否需要再次配準，對于需要再次配準的情況，基于融合檢測的運動軌跡和剪影對同步序列進行配準和修正。該方法需要較好的運動檢測結果，但在觀測背景復雜，場景中目標的運動檢測結果均較差時，該方法的配準會出現較大誤差，并且無法適應存在頻繁運動的擁擠場景。
發明內容
為了克服現有的可見光-熱紅外圖像序列配準方法配準精度差的不足，本發明提供一種可見光和熱紅外圖像序列自動配準方法。該方法利用圖像像素的歸一化光流時序特征和三層逐步精細化的相似性度量方法選取候選同名點對。歸一化光流時序特征，針對圖像像素的運動時序特征，而非針對整個運動目標，在計算時僅需要目標局部信息，不易受到的陰影、遮擋、目標部分出現及目標擁擠環境等問題的影響。可以解決復雜監控環境下的可見光-熱紅外圖像序列自動配準問題，提高可見光-熱紅外圖像序列配準的精度。本發明解決其技術問題所采用的技術方案是一種可見光和熱紅外圖像序列自動配準方法，其特點是包括以下步驟步驟一、對輸入的可見光和熱紅外同步圖像序列，使用迭代Lucas-Kanade金字塔光流算法對可見光和熱紅外圖像序列計算各幀圖像的光流向量；在光流向量濾波、光流時間序列篩選的基礎上，使用運動方向和運動模值兩類信息，提取具有平移、旋轉、尺度不變性的圖像像素的歸一化光流時序特征。分別對可見光圖像序列和熱紅外圖像序列中的圖像像素使用迭代Lucas-Kanade 金字塔光流法計算光流向量；設圖像序列像素點(i，j)在第t幀圖像的X和y方向的光流向量用dx(i，j, t)和dy(i，j, t)表示，通過公式⑴獲得t時刻像素點(i，j)運動向量的模值，r(i,j,t)=批(ij J))2 + (dy(i,j,t)f(I)通過公式⑵計算出t時刻像素點(i，j)運動向量的方向角，
權利要求
1.一種可見光和熱紅外圖像序列自動配準方法，其特征在于包括以下步驟步驟一、對輸入的可見光和熱紅外同步圖像序列,使用迭代Lucas-Kanade金字塔光流算法對可見光和熱紅外圖像序列計算各幀圖像的光流向量；在光流向量濾波、光流時間序列篩選的基礎上，使用運動方向和運動模值兩類信息，提取具有平移、旋轉、尺度不變性的圖像像素的歸一化光流時序特征；分別對可見光圖像序列和熱紅外圖像序列中的圖像像素使用迭代Lucas-Kanade金字塔光流法計算光流向量；設圖像序列像素點(i，j)在第t幀圖像的X和y方向的光流向量用4(1，]_，0和i(i，j，t)表示，通過公式⑴獲得t時刻像素點(i，j)運動向量的模值，=抓(iJJ))2 + (dy(ij,t)f(I)通過公式(2)計算出t時刻像素點(i，j)運動向量的方向角，
2.根據權利要求I所述的可見光和熱紅外圖像序列自動配準方法，其特征在于所述閾值e_thd的取值是O. I。
3.根據權利要求I所述的可見光和熱紅外圖像序列自動配準方法，其特征在于所述低閾值low_thd取值為O. 05。
4.根據權利要求I所述的可見光和熱紅外圖像序列自動配準方法，其特征在于所述高閾值hgh_thd取值為O. 95。
5.根據權利要求I所述的可見光和熱紅外圖像序列自動配準方法，其特征在于所述 Manhattan距離的取值范圍是
。
全文摘要
本發明公開了一種可見光和熱紅外圖像序列自動配準方法，用于解決現有的可見光-熱紅外圖像序列配準方法配準精度差的技術問題。技術方案是采用圖像像素的歸一化光流時序特征和三層逐步精細化的相似性度量方法進行可見光和熱紅外同步圖像序列間的候選同名點對選取，用圖像像素的運動時序特征代替運動目標的整體特征。有效的克服了運動檢測不精確帶來的問題，提高了算法的魯棒性，使其可用于具有頻繁運動的擁擠監控環境情況下的圖像序列配準，提高了圖像序列配準的精度，其相對于基準數據的平均像素誤差從現有技術的[2.03，6.9]像素降低到2個像素以內。
文檔編號G06T7/00GK102609945SQ20121002755
公開日2012年7月25日 申請日期2012年2月9日 優先權日2012年2月9日
發明者仝小敏, 余瑞, 張秀偉, 張艷寧, 楊濤 申請人:西北工業大學