專利名稱：基于模擬退火的無序圖像拓撲有序化匹配方法
技術領域：
本技術涉及計算機視覺中的三維場景重建領域，特別是涉及圖像中局部不變特征 的匹配問題。
背景技術：
目前在三維重建領域內，特征點匹配技術大多基于全搜索策略，即計算任意兩幅
圖像間的特征點匹配關系，Schaffalitzky和Zisserman在文獻Multi-view matching for unordered image sets (ECCV, vol. 1,卯.414-431, 2002.)中針對三維場景重建問題提出 了一種完整的特征點匹配技術。該技術利用不變描述子檢測圖像的不變特征區域，建 立哈希表存儲兩兩視圖間的初始匹配，使用貪婪算法構建圖像間的匹配關系圖，并根 據圖中的每一個連通分量(即有相關內容的若干幅圖)找出至少25條圖中特征點的連 通軌跡，這種特征點匹配技術在只有幾幅圖像的小規模三維場景重建時效果較好，但 是當重建的場景規模需要幾十幅到上百幅圖像時，利用傳統方法處理時計算時間復雜 度為0("2)。即必須計算任意兩幅圖像間的匹配關系。例如采用IOO幅圖像進行重建， 以兩視圖匹配為基本計算單位，則計算量為/W2 = /^。
發明內容
現有技術采用了基于全搜索策略的特征點匹配方法，其計算時間復雜度為0(^2, 為了進一步提高效率，降低匹配計算的復雜度，本發明提供一種基于模擬退火的無序 圖像拓撲有序化匹配方法，較之傳統的方法，能夠明顯降低計算的復雜度并提高效率。
本發明解決其技術問題所采用的技術方案包括以下步驟 1.利用局部不變特征粗配數量作為圖像內容相關度定量描述
針對通過互聯網、圖像數據庫或者是電子攝像設備拍攝得到的無序圖像集，首先 從圖論的角度分析問題并給出描述無序圖像間相關度的數學模型，我們定義完全無向
加權圖(？= <五,r〉，其中定義節點集合r對應無序圖像集，即利用節點來作為圖像的
抽象表示，并保證一一對應；^為加權圖中邊的集合，我們這么定義￡中邊的集合的 每一條邊一條邊e表示該條邊的兩個節點v,和巧所對應的兩幅圖像間圖像內容的 關聯性，每一條邊被賦予如下的權重
二 w(v^v》=yk^wre — /wa/c/n>7g — wwm6er(vf，v ) (1)上式表示連接圖像節點V,和"的邊的權重被定義為兩幅圖像間局部不變特征點的匹
2. 把圖像內容相關度的和作為分組有序化代價函數
根據上面定義的完全無向加權圖，圖像的分組就相當于對應加權圖的割集C，而 由該割集得到的連通子圖對應分組得到的圖像子集，這樣，圖像分組有序化問題可以 看作是一個最優化問題，而對應的代價函數可以定義為割集C (假設C中有X條邊) 所對應的邊的權重和
r(C) = J>") = Zw(v,,v》 (2)
i ,力
當代價函數取得一個極小值，即割集所占的邊的權重和取得一個極小值，對應連通子 圖所占的圖像的邊的權重和極大值，這就意味著不同子場景的圖像分別被聚類到了一
起，為了后續計算方便，我們給出公式(2)中代價函數的另一種對偶的表述形式
M 1G| |G,.|向
r(C) = J>(G,) = XZZ ，A) (3)
'=1 '=i ./=!"川
上式中，G,表示圖像子集；" 、 W表示加權無向圖的節點；W(G,)表示圖像子集G,的權 重，即該圖像子集所對應的連通子圖的所有的邊的權重累加和。如上所述，我們把圖 像分組的問題抽象成一個最優化問題，并給出了相應的代價函數。
3. 利用模擬退火算法求解出有序化代價函數的極值，得到圖像分組 模擬退火算法的關鍵在于預選策略(proposal strategy),預選策略的好壞會直接影
響算法的效率和計算代價，在圖像分組問題中，預選策略的設計需要考慮兩個因素
一是圖像分組的具體形式，即哪些圖像被劃分在一起；二是分組的數量，即劃分的圖 像子集數量。考慮這兩點因素我們給出以下的具體最優化步驟
(1) 對無序圖像集進行隨機分組，每個子集包含兩幅圖像(當無序圖像數量為偶數 時，每個子集包含兩幅圖像，若數量為奇數，則有一個子集包含三幅圖像)；
(2) 計算每個子集G,的權重『(G,)，以及相應的平均子集權重^，即所有子集的權
重的平均值；
(3) 隨機選擇兩個權重低于平均權重『的圖像子集G,和G;，在G,和《中分別隨 機選擇兩幅圖像經行交換，重復該步驟直到&次，產生得到新的圖像分組C'，(原
有的圖像分組標記為C4，重復次數&的設置隨后說明)；(4)計算以下公式的值，以此作為接受新的圖像分組C'并加以保存的概率，(其中
溫度/;的值的設置隨后說明)艮P-<formula>formula see original document page 6</formula>
(5) 隨機選擇兩個圖像子集，如果兩圖像子集間的圖像相關度高于某個閾值f (該 值的設置方法隨后說明)，則合并這兩個圖像子集，重復該步驟直到圖像分組數量 降低到iV,.，若達不到五則重新選擇兩個圖像子集重復本步驟；
(6) 重復步驟(2) ~ (5)直到溫度r,降低到7>。
在算法迭代初始時，圖像分組數量7/,和&被設置為^ 和&， (A^—般設置為初始 圖像子集個數的的二分之一，&一般設置在300-400次之間)隨著迭代的進行，這兩 個參錄會隨著退火溫度因子的降低而不斷降低到的最終值 和&。 (iV/—般設置為 50-100次之間，S/—般設置在20-30度之間)即是說，這兩個參數是溫度或者迭代次 數/的函數，其形式不受限制，其最簡單的情況可以為(其中/為總的迭代次數，大 小一般在40-50次)<formula>formula see original document page 6</formula>此外，r,同樣也是迭代次數/的函數形式與公式(5)類似，由以下公式給出<formula>formula see original document page 6</formula>第5步中的閾值五的設置為兩個圖像子集的平均邊權重(即圖像子集G,內所有邊 的均值^)的較大者，即<formula>formula see original document page 6</formula>在內層循環中，圖像子集間進行交換從而使得圖像子集雙方的整體權重和得以提 高；在外層循環中，相關度較高的圖像子集得以合并在一起，即盡量把針對同一子場 景的圖像聚合到一起。這兩個步驟結合在一起最后使得整個無序化圖像集合可以按照 內容相關度有序地分成若干組。
4.在組內利用最小生成樹算法得到組內圖像間的樹形匹配結構
得到圖像集的分組結果后，針對每一個圖像分組內部，利用步驟3中分組時已經 產生的部分圖像間的兩兩匹配結果，把上一步中(即步驟3)沒有計算的兩兩匹配關 系標記為關聯度為零，按照圖像名稱將無序圖像以字典序排序，以次序列作為行和列，生成一個矩陣，即鄰接匹配矩陣，矩陣第i行和第j列對應的元素設置為第i幅(字典
序)圖像和第j幅圖像的兩兩匹配點絕對數量，最后利用PRIM最小生成樹算法根據
上述的鄰接匹配矩陣產生組內圖像的樹形結構匹配關系。
本發明的有益效果是傳統的匹配技術采用的是窮舉策略，必須計算任意兩幅圖
像間的相關度，如果需要處理一個共有n幅無序圖像的場景重建問題，n幅圖像的兩 兩匹配計算次數將達到《次，也就是說，如果以一次兩視圖間匹配計算為基本操作，
那么對應的匹配時間復雜度將為
0(Cn2) = 0("("-1)/2)sO("2) (6) 而有序化匹配技術把無序圖像有序化問題抽象成為了一個最優化問題，并且利用 模擬退火算法，通過隨機采樣的方式逐步尋找出準最優解，即可得到的圖像分組，其 分組的過程中不會計算所有的兩兩匹配關系，也就是說，新方法的計算時間復雜度達 不到0(n2)。大量實現的統計結果表明，新方法的計算量只有原有方法的20% 70%之 間不等。
圖像匹配在粗配階段完成后，三維重建還需要進行精配的步驟(即去除誤匹配步 驟，通過檢査每兩幅圖像間的匹配正確性去除錯誤的局部不變特征匹配)。假設處理含 有w幅圖像的無序圖像集合，采用新方法對無序圖像集合完成分組有序化后，我們可 以得到每個圖像子集內利用采樣得到的不完全匹配矩陣生成樹形匹配關系。，假設結果 得到《組圖像子集，則后續的精配時間復雜度可以近似為
0 2X2卜豐.",(",-1)/2)aO("("-l)/2-李0(C"2)/尺 (7)
而現有粗配方法因為采用全搜索策略，完成粗配后，并沒有對無序圖像進行分組 有序化，則后續的精配方法也必須采用全搜索策略去檢查匹配的正確性。其計算的時 間復雜度仍為O(w勺，因此，新的有序化匹配方法能夠降低粗配的計算量，而且能夠減 少后續的精配步驟的計算量，使計算效率上有明顯的提高。
下面結合實施例對本發明進一步說明。
具體實施例方式
1.利用局部不變特征粗配數量作為圖像內容相關度定量描述 通過互聯網下載共46幅圖像，并利用0-45之間的整數對這46幅圖像進行編碼標記，見圖l，利用局部不變特征描述子和高維特征點匹配搜索算法來求取兩視圖匹配的特征 點匹配數量，即w(e)。
2. 把圖像內容相關度的和作為分組有序化代價函數 把發明內容中的公式3作為分組有序化代價函數。
3. 利用模擬退火算法求解出有序化代價函數的極值，得到圖像分組 把46幅圖像集合作為輸入數據，后按照下屬步驟執行
(1) 把46幅圖像中隨機挑選兩幅圖像組成一組，重復該步驟直到所有的無序圖像集 中圖像全部形成分組，結果供得到23個圖像子集，注意，46幅圖像雖然按照順 序標注序號，但是該序號只是用作圖像的標識符，因此，在按照此步驟打亂順 序后，可以看作是無序的圖像集合。
(2) 計算每個圖像子集的權重以及所有子集的平均權重，圖像子集的權重為該子集 內任意兩幅圖像間的特征點匹配數量的累加和。平均權重為所有子集權重的平 均值。
(3) 按照均勻分布概率，隨機地在所有的子集中挑選兩個子集，在兩個子集中同樣 按照均勻分布概率，分別在兩個子集中隨機地選出兩幅圖像，并加以交換，重 復該步驟&次，由原來的圖像分組C,得到預選的圖像分組C'。
(4) 計算以下公式的值，作為接受該預選圖像分組C,的概率，進行一次0-l概率實 驗，若結果為接受，則選擇作為C,作為新圖像分組C,+,，反之，則維持原有圖 像分組不變
exp[-(『(C')-『(C,))/7;] (8)
(5) 按照均勻分布概率隨機選擇兩個圖像子集Gi和Gj，仍按照均勻分布概率隨機地 從兩個子集中選出兩幅圖像尸,和巧，同時利用步驟(l)中的算法計算這兩幅圖 像間的局部不變特征點匹配數量，如果A和P/的匹配情況達到或者超出這兩幅 圖像與所屬子集中其他的圖像的匹配數量的平均值，則合并這兩個圖像子集， 重復該步驟步驟直到圖像分組數量降低到
(6) 重復步驟(2) ~ (5)直到溫度r,降低到7>。
在算法迭代初始時，圖像分組數量M的初始值被設置為23組；圖像交換迭代 次數&的初始值被設置為400次；對應的迭代最終值A^和5>被設置為50次，》被設置在20度即是說，迭代總次數/被設置為50次；參數7V,和&隨著迭代
次數i的增長，按照如下數列通項式逐步減小<formula>formula see original document page 9</formula>
4.在組內利用最小生成樹算法得到組內圖像間的樹形匹配結構 得到圖像集的分組結果后，針對每一個圖像分組內部，利用分組時己經產生的部 分圖像間的兩兩匹配結果，以圖像標識符(可以按照任何順序，本例中采用數字編號， 所以按照從小達到順序排序)作為行和列索引序號，給出一個匹配矩陣，第i行和第j 列的元素對應為第i幅圖像和第j幅圖像這兩幅圖像的匹配數量，匹配數量由上述分組 計算過程中產生并加以記錄，為由于分組過程中不會計算所有的兩幅圖像間的兩量匹 配關系，所以對于還沒有計算的兩兩匹配關系，可以把關聯度標記為零，最后利用最 小生成樹算法(可以采用任意的生成樹算法，這里采用克魯斯卡爾算法)根據該不完 全鄰接表產生組內圖像的樹形結構匹配關系。
5,=柳=s,(s,/s。)
權利要求
1、基于模擬退火的無序圖像拓撲有序化匹配方法，其特征在于包括下述步驟第一步，利用局部不變特征粗配數量作為圖像內容相關度定量描述針對無序圖像集，給出描述無序圖像間相關度的數學模型，定義完全無向加權圖G＝<E，V>，其中定義節點集合V對應無序圖像集，E為加權圖中邊的集合，定義E中邊的集合的每一條邊e表示該條邊的兩個節點vi和vj所對應的兩幅圖像間圖像內容的關聯性，每一條邊被賦予如下的權重w(e)＝w(vi，vj)＝feature_matching_number(vi，vj)上式表示連接圖像節點vi和vj的邊的權重被定義為兩幅圖像間局部不變特征點的匹配數量；第二步，把圖像內容相關度的和作為分組有序化代價函數根據上面定義的完全無向加權圖，圖像的分組就相當于對應加權圖的割集C，對應的代價函數為<maths id="math0001" num="0001" ><math><![CDATA[ <mrow><mi>W</mi><mrow> <mo>(</mo> <mi>C</mi> <mo>)</mo></mrow><mo>=</mo><munderover> <mi>Σ</mi> <mrow><mi>i</mi><mo>=</mo><mn>1</mn> </mrow> <mrow><mo>|</mo><mi>G</mi><mo>|</mo> </mrow></munderover><mi>w</mi><mrow> <mo>(</mo> <msub><mi>G</mi><mi>i</mi> </msub> <mo>)</mo></mrow><mo>=</mo><munderover> <mi>Σ</mi> <mrow><mi>i</mi><mo>=</mo><mn>1</mn> </mrow> <mrow><mo>|</mo><mi>G</mi><mo>|</mo> </mrow></munderover><munderover> <mi>Σ</mi> <mrow><mi>j</mi><mo>=</mo><mn>1</mn> </mrow> <mrow><mo>|</mo><msub> <mi>G</mi> <mi>i</mi></msub><mo>|</mo> </mrow></munderover><munderover> <mi>Σ</mi> <mrow><mi>k</mi><mo>=</mo><mi>j</mi><mo>+</mo><mn>1</mn> </mrow> <mrow><mo>|</mo><msub> <mi>G</mi> <mi>i</mi></msub><mo>|</mo> </mrow></munderover><mi>w</mi><mrow> <mo>(</mo> <msub><mi>v</mi><mi>j</mi> </msub> <mo>,</mo> <msub><mi>v</mi><mi>k</mi> </msub> <mo>)</mo></mrow> </mrow>]]></math></maths>上式中，K為C中邊的條數，Gi表示圖像子集；vj、vk表示加權無向圖的節點；w(Gi)表示圖像子集Gi的權重，即該圖像子集所對應的連通子圖的所有的邊的權重累加和；第三步，利用模擬退火算法求解出有序化代價函數的極值，得到圖像分組，包括以下步驟(1)對無序圖像集進行隨機分組，每個子集包含兩幅圖像，若無序圖像數量為奇數，則有一個子集包含三幅圖像；(2)計算每個子集Gi的權重W(Gi)，以及相應的平均子集權重W，即所有子集的權重的平均值；(3)隨機選擇兩個權重低于平均權重W的圖像子集Gi和Gj，在Gi和Gj中分別隨機選擇兩幅圖像經行交換，重復該步驟直到Si次，產生得到新的圖像分組C’，原有的圖像分組標記為Ck；(4)計算以下公式的值，以此作為接受新的圖像分組C’并加以保存的概率，即exp[-(W(C′)-W(Ck))/Ti](5)隨機選擇兩個圖像子集，如果兩圖像子集間的圖像相關度高于閾值E，則合并這兩個圖像子集，重復該步驟直到圖像分組數量降低到Ni，若達不到E則重新選擇兩個圖像子集重復本步驟；(6)重復步驟(2)～(5)直到溫度Ti降低到Tf；第四步，在組內利用最小生成樹算法得到組內圖像間的樹形匹配結構得到圖像集的分組結果后，針對每一個圖像分組內部，利用分組時已經產生的部分圖像間的兩兩匹配結果，把上一步中沒有計算的兩兩匹配關系標記為關聯度為零，按照圖像名稱將無序圖像以字典序排序，以次序列作為行和列，生成一個矩陣，即鄰接匹配矩陣，矩陣第i行和第j列對應的元素設置為第i幅圖像和第j幅圖像的兩兩匹配點絕對數量，最后利用PRIM最小生成樹算法根據上述的鄰接匹配矩陣產生組內圖像的樹形結構匹配關系。
2、根據權利要求1所述的基于模擬退火的無序圖像拓撲有序化匹配方法，其特征在于所述的圖像分組數量M和&在算法迭代初始時被設置為A^和&， A^為初始圖像子集個數的的二分之一，&為300~400次，隨著迭代的進行，這兩個 參數會隨著退火溫度因子的降低而不斷降低到的最終值iV/和》，A^為50-100次， 》為20-30度，iV,.=，=
3、根據權利要求1所述的基于模擬退火的無序圖像拓撲有序化匹配方法，其特 征在于所述的閾值￡的設置為兩個圖像子集的平均邊權重的較大者，即五-max(V(e),,其中圖像子集內所有邊w(e)的均值c
全文摘要
本發明公開了一種基于模擬退火的無序圖像拓撲有序化匹配方法，利用局部不變特征粗配數量作為圖像內容相關度定量描述，把圖像內容相關度的和作為分組有序化代價函數，利用模擬退火算法求解出有序化代價函數的極值，得到圖像分組，在組內利用最小生成樹算法得到組內圖像間的樹形匹配結構。本發明的計算量只有現有技術的20％～70％，計算效率有明顯的提高。
文檔編號G06T7/00GK101540061SQ20091002197
公開日2009年9月23日 申請日期2009年4月10日 優先權日2009年4月10日
發明者何周燦, 曾修遠, 恒 楊, 慶 王, 雯 王 申請人:西北工業大學