一種稀疏和稠密特征匹配結合的圖像配準方法
【技術領域】
[0001] 本發明涉及一種稀疏和稠密特征匹配結合的圖像配準方法，屬于圖像處理技術領 域。
【背景技術】
[0002] 圖像配準是遙感領域中的一個根本性和挑戰性問題，也是很多廣泛應用（包含地 形重建、環境監測、變化探測、圖像鑲嵌、圖像融合及地圖更新等）中的一個先決條件。
[0003] 圖像配準旨在建立不同時間不同視角或通過不同探測器獲取同一場景的兩幅圖 像之間像素的對應關系。配準問題可依據具體應用和數據形式分為剛性或非剛性。剛性配 準（僅涉及少量參數）相對容易，且已得到了廣泛研究。相比而言，非剛性配準較為困難， 由于潛在非剛性變換模型通常無法事先獲知且較為復雜，難以建模。盡管如此，非剛性配準 對遙感圖像而言仍非常重要，因為遙感圖像通常存在一些因地貌變化或成像視角變換導致 的局部非剛性形變，而這些形變無法基于簡單剛性模型實現"精確配準"。
[0004] 一種早期廣泛使用的非剛性圖像配準算法為光流法。其直接通過最小化像素間灰 度的差異來計算一個全局稠密的位移場，通常適用于對兩幅非常相似的圖像進行配準，例 如視頻序列中的相鄰幀圖像。光流法的典型假設包含光照恒定，以及像素位移場應具有分 段光滑性。然而，由于光照變化、視角變換和噪聲干擾，像素灰度值往往變得不太可靠。近 年來，Liu等人提出了可容忍高度類內變化的SIFT流配準算法。與光流法匹配像素灰度值 不同的是，SIFT流算法匹配圖像中稠密采樣像素的SIFT描述子。該算法在復雜場景情況 下展現出令人滿意的配準效果，但對大尺度縮放和旋轉的魯棒性依然較差。
[0005] 然而，各種局部魯棒特征的涌現與發展為圖像配準帶來了新的解決途徑。這類方 法通過匹配從圖像中提取出的局部特征信息，估計稀疏特征位置之間的空間變換函數并用 其來擬合圖像對之間的真實幾何變換關系，從而實現對原始圖像的配準。這類方法中采用 的特征可由不同層次的簡單幾何實體來描述，包括點、線段、輪廓和區域等。通常，較高層次 的特征很難被準確地提取；點特征是最簡單的特征形式，同時也是最常見的特征形式，由于 高層次特征例如線和輪廓可被描述為點的集合。從這層意義上來說，配準問題可簡化為找 出兩個提取的特征點集之間的對應關系及潛在的空間變換。這種基于特征的方法對典型表 觀變化和場景位移具有較強的魯棒性，且在正確實施的情況下，擁有更快的速度。他們在剛 性場景（例如：在圖像拼接領域）和輕度非剛性場景（例如：在醫學成像領域）匹配中取 得了很大成就，但在處理高度非剛性（例如：在地形重建領域）情形時無法取得滿意效果。 其本質在于這里配準是通過對稀疏特征匹配進行插值得到，而不是通過計算所有像素之間 的對應關系得到，當真實匹配為非剛性且變換模型未知時就會帶來問題。
【發明內容】
[0006] 為了解決現有技術的不足，本發明提供了一種稀疏和稠密特征匹配結合的圖像配 準方法，能夠針對包含未知非剛性運動的遙感圖像，獲得精確的像素間對比的匹配。
[0007] 本發明為解決其技術問題所采用的技術方案是：提供了一種稀疏和稠密特征匹配 結合的圖像配準方法，包括以下步驟：
[0008] (1)建立基于局部線性約束的稀疏特征匹配能量函數：
[0009] (1-1)采用特征探測法推斷得到待配準的兩個圖像的假定匹配集 ，\與y。分別表示待配準的兩幅圖像中特征點空間位置的二位列向量；所 述假定匹配集S包含錯誤匹配和正確匹配，其中正確匹配根據帶匹配的兩個圖像之間的幾 何變換Z確定，即如果（xn，yn)是一個正確的匹配，則yn=Z(xn)是一個正確的匹配；
[0010](1-2)初始位置加位移函數v將定義變換Z:z(X) =x+v(X)，其中V在函 數空間Η中模擬，所述函數空間Η為向量值的再生核希爾伯特空間，通過矩陣值的核 r:R2XR2-R2X2與對角線高斯核' ·/定義得到，其中R為實數空間，I為 單位矩陣，XJPXj為再生核希爾伯特空間實數空間中兩個特征點的空間位置，β為高斯窗 參數，參數β為設置值，其范圍為〇.〇1~1，則變換Ζ通過以下形式表示：
[0011]
>
[0012] 其中，X表示任意一個圖像點的空間位置，(^表示一個2Χ1維待求解的向量系數；
[0013] (1-3)利用對角元素{ρη}組成的對角矩陣Ρ指出匹配可信度，對角矩陣Ρ中的任 意元素pne[0, 1]為〇到1之間的實數，當Pn= 1時表示（Xn，yn)為一個正確的匹配，當Pn =0時表示（xn，yn)為一個錯誤的匹配；
[0014] (1-4)創建大小為NXN的權值矩陣W，且使當Xj不屬于X,的Q鄰域時，W中的元 素0,X滿Q鄰域指歐氏距離最近的Q個元素；在約束
F通過代價函
〖小化基于局部線性約束的重構誤差，并采用最小二乘求解 出w，得到以下能量函數：
[0015]
[0016] 其中，參數1\表示確定性退火的溫度，該參數用于結合退火速率參數r用于逐步 求解能量函數，η表示對錯誤匹配的懲罰，λ表示正則化參數基于局部線性約束的正則化 參數，參數?\、η和λ均為設置值，！\初始值的范圍為0. 05~5,η的范圍為〇. 01~1， λ的范圍為100~10000;
[0017] (2)建立基于SIFT流的能量函數：
[0018]用m表示圖像像素的網格坐標，u(m)表示位移向量，第一幅圖像中的點m對應第 二幅圖像中的點m+u(m)，Si(X)和s2(x)分別為兩幅圖像逐像素采樣的SIFT特征，集合e包 含四鄰域系統中所有空間鄰域，則基于稠密像素SIFT配準的能量函數為：
[0019]
[0020] 其中，t和d為兩個截斷L1范數的閾值，γ表示保持位移場平滑性的權重，α表 示保持位移場連續性的權重，m和q表示圖像像素的網格坐標，dOn)或uVq)表示對應位 移向量的第i個分量，這里t設為sjx)與s2(x)差值的中位數；d、γ和α均為設置值，d 的范圍為4~400，γ的范圍為0. 05~0. 5，α的范圍為〇. 2~20;
[0021] (3)將基于局部線性約束的稀疏特征匹配能量函數和基于SIFT的能量函數整合， 得到稀疏和稠密特征匹配結合的圖像配準能量函數：
[0022]
[0023] 其中，L表示評價像素的總數，δ表示設置的控制稀疏和稠密匹配平衡的正數參 數，ε表示所有四鄰域的集合；
[0024] (4)解答能量函數，執行圖像配準：
[0025] (4-1)首先提取稀疏和稠密特征匹配結合的圖像配準能量函數ε3(Ρ，V，u)中與ν 相關的項，得到以下能量函數：
[0026] " V ，-嘆 ￡ "
[0027]其中，X = (χ1; · · ·，xN)T，Y = (y1; · · ·，yN)T，K e ^以且尤辦=e-難-·νΙ，. C表示格拉姆矩陣，為位移函數ν的系數矩陣，VeRW且％ = = ^ :，U= (Ul，. . .，ι〇τ表示尺寸為LX2的流場，為弗羅貝尼斯范數；
[0028] (4-2)通過確定性退火步驟解答位移函數ν:
[0029](4-2-1)初始化參數1\、r和λ，設置迭代次數；
[0030] (4-2-2)初始化Ρ=I，C= 0;
[0031] (4-2-3)通過計算式（5)的極值完成用當前位移函數ν更新匹配可信度，得到匹配 可信度的閉合形式為：
[0032]
[0033] 通過公式（6)更新ρη;
[0034] (4-2-4)通過以下線性方程式更新C:
[0035]
[0036](4-2-5)重復步驟（4-2-3)和（4-2-4)直到...，結束交替更新；
[0037] (4-2-6)減少1\和λ，若未達到預設的迭代次數或能量函數ε4(P，C)未收斂，則 返回步驟（4-2-3);否則進入步驟（4-2-7);
[0038] (4-2-7)結束確定性退火步驟；
[0039] (4-4)提取稀疏和稠密特征匹配結合的圖像配準能量函數e3(P，v，U)中與u相關 的項，得到以下能量函數：
[0040]
[0041] (4-5)利用SIFT流算法修改公式（8)中從Σmγ| |u(m) | | 濟Σmγ| |ν(m)-u(m) | |2 的小位移項以解答u;
[0042] (4-6)通過u執行圖像配準。
[0043] 步驟（1-2)所述的高斯窗參數β設置為0· 1。
[0044]步驟（1-4)中，?\= 0· 5,η= 〇· 1，λ= 1〇〇〇。
[0045]步驟（2)中，d= 40，γ= 0· 005，α= 2。
[0046] 本發明基于其技術方案所具有的有益效果在于：
[0047](1)本發明的稀疏和稠密特征匹配結合的圖像配準方法，針對遙感圖像存在地形 起伏導致非剛性形變的問題，對點匹配進行局部線性約束，能夠在圖像變換后保護特征集 中的局部結構，從而提高圖像配準精度；
[0048] (2)本發明的稀疏和稠密特征匹配結合的圖像配準方法，將稀疏和稠密特征匹配 相結合，得到一種新的數學模型，新模型包含兩個變量：非剛性幾何變換和離散位移流場， 前者適用于稀疏匹配流，我們引入了局部線性約束以調整變換，使得該問題是適定的，后者 適用于稠密匹配流，采取與SIFT流相似的模型，同時采用置信傳播算法優化求解；
[0049] (3)本發明的稀疏和稠密特征匹配結合的圖像配準方法，在理想情況下，這兩個變 量是一致的，但同時求解這兩個變量非常困難，我們采用迭代的策略固定一個變量求解另 一變量，使得求解變得相對容易，并且同時可以避免陷入不理想的局部最優解；
[0050] (4)本發明的稀疏和稠密特征匹配結合的圖像配準方法，同時具有基于稀疏特征 匹配的高效的優點，以及基于稠密特征匹配的精確的優點。
【具體實施方式】
[0051] 下面結合實施例對本發明作進一步說明。
[0052] 本發明提供了一種稀疏和稠密特征匹配結合的圖像配準方法，包括以下步驟：
[0053] (1)建立基于局部線性約束的稀疏特征匹配能量函數：
[0054] (1-1)采用特征探測法推斷得到待配準的兩個圖像的假定匹配集 $ :?(?，")匕，\與yn分別表示待配準的兩幅圖像中特征點空間位置的二位列向量；所 述假定匹配集S包含錯誤匹配和正確匹配，其中正確匹配根據帶匹配的兩個圖像之間的幾 何變換Z確定，即如果（xn，yn)是一個正確的匹配，則yn=Z(xn)是一個正確的匹配；
[0055](1-2)初始位置加位移函數v將定義變換Z: Z(X)=χ+ν(X)，其中v在函 數空間Η中模擬，所述函數空間Η為向量值的再生核希爾伯特空間，通過矩陣值的核 Γ:R2XR2-R2X2與對角線高斯核r(.W,) =e"m·/定義得到，其中R為實數空間，I為 單位矩陣，XJPXj為再生核希爾伯特空間實數空間中兩個特征點的空間位置，β為高斯窗 參數，參數β為設置值，其范圍為0.01~1，則變換Ζ通過以下形式表示：
[0056]
[0057] 其中，X表示任意一個圖像點的