一種基于改進型surf算法的圖像快速拼接方法
【專利摘要】本發明公開了一種基于改進型SURF算法的圖像快速拼接方法，改進了現有的角點提取方法以及角點的特征描述方法，再去除提取出角點的誤匹配，實現多幅圖像的快速拼接。首先，采用改進的FAST算法提高提取角點，FAST算法提取角點運算速度較快，改進后，穩定性也更好；其次，對角點特征的描述采用SURF描述與LBP描述相結合，這樣也能夠提高角點匹配的速度；然后，采用RANSAC方法去除誤匹配，提高準確度，得到較為準確的變換矩陣從而進行快速拼接；最后，根據得到的匹配點對，計算出待拼接圖像到參考圖像的變換參數，采用漸入漸出法，完成圖像拼接。
【專利說明】-種基于改進型SURF算法的圖像快速拼接方法
【技術領域】
[0001] 本發明涉及一種基于改進型SURF(SpeedUpRobustFeature,加速魯棒特征）算 法的圖像快速拼接方法，適用于遙感圖像處理、醫學圖像分析、繪圖學、大場景視頻監控和 超分辨率重構等領域。
【背景技術】
[0002] 圖像拼接技術是數字圖像處理研究的熱門方向之一，在軍事和民用方面都有廣泛 的應用。在人們的實際生活應用中，所需要的場景往往超過數碼相機、監控攝像機等的視角 范圍。為了得到高分辨率，同時大視角的圖像，人們不得不采用各種昂貴的鏡頭和相機，這 樣會導致成本的大大提高。所謂圖像拼接技術，就是將數張有重疊部分的圖像（可能是不 同時間、不同視角或者不同傳感器獲得的）拼接成一幅大型的無縫高分辨率圖像的技術。
[0003] 圖像拼接的過程主要包括圖像獲取、圖像預處理、圖像配準和圖像融合。其中，圖 像配準是圖像拼接的關鍵技術。近年來，隨著人們對于圖像的分析和理解更加深入，圖像配 準所利用的圖像特征也從圖像的低級特征發展到利用高級特征。
[0004]目前，圖像拼接的主要問題在于，無法找到一種能夠很好兼顧速度和拼接質量 的算法。RichardSzeliksi提出了基于運動的全景圖像拼接模型，模型利用L-M算法 (Levenberg-Marquardt算法，非線性最小二乘算法）求出圖像之間的幾何變換關系進行配 準，成為圖像拼接的經典算法。此后，有各種特征描述符被不斷提出，如LBP(LocalBinary Patterns，局部二值模式）算法、SIFT(Scale-invariantfeaturetransform，尺度不變特 征轉換）算法、SURF(SpeedUpRobustFeature，加速魯棒特征）算法、HOG(Histogramof OrientedGradient,方向梯度直方圖）算法等，這些特征描述符在用于圖像配準時，各有優 勢和不足。
【發明內容】
[0005] 發明目的：本發明所要解決的技術問題是針對現有技術的不足，提供一種基于改 進型SURF算法的圖像快速拼接方法。
[0006] 本發明公開了一種基于改進型SURF算法的圖像快速拼接方法，包括以下步驟：
[0007] 步驟1，檢測參考圖像和待拼接圖像兩幅圖像中的角點；
[0008] 步驟2,對兩幅圖像檢測的角點進行特征描述，然后進行特征點匹配；
[0009] 步驟3,對匹配得出的特征點對，去除誤匹配，得到優化后的特征點對；
[0010] 步驟4,計算變換矩陣；
[0011] 步驟5,對兩幅圖像進行融合。
[0012] 采用改進的FAST算法進行角點檢測，包括：在圖像中選取一個像素點P，判斷像素 點P是否是興趣點的像素；判斷像素點P是否為興趣點的方法為：令選取的像素點灰度值 為Ip，圖像灰度閾值T，在像素點P周圍，以4個像素為半徑畫圓，在該圓圓周上得到16個像 素點；如果在16個像素點中存在N個連續的點，它們的灰度值大于Ip+T或者小于Ip-T時， 則判定該像素點P為興趣點，N為大于等于12的自然數；
[0013] 先將選中像素的上下左右四個點的像素值與Ip進行比較，如果至少存在三個像素 值不大于Ip+T或者不小于Ip-T時，得判斷該點不是興趣點，否則檢查所有16個像素并判斷 N個連續像素是否符合標準；
[0014] 采用史托馬斯算法得到每個角點的分數，令λ，Ρλ2為角點結構張量矩陣A的 兩個最大特征值，計算最小值min(λλ2)，以此作為分數，令（X，y)為偏移量，I為圖像灰 度，Ix和Iy為圖像灰度I的偏導數，角點位置的協方差矩陣為A'在得到每個角點的評分 后按照的得分高低順序對角點序列進行排序，排序完成后按順序循環比較兩個角點之間的 距離，如果兩個角點的距離小于期望的角點間距離，則保留Shi-Tomasi得分高的角點，期 望的距離不小于10像素；
[0015] 獲取最終的改進FAST角點。
[0016] 步驟2中，采用改進的SURF算法對兩幅圖像進行特征描述，包括以下步驟：
[0017] 創建一個以興趣點為中心的矩形區域，矩形的方向為興趣點的方向，將每個區域 劃分為兩個以上的3X3的子區域，對于每個子區域，用5X5間隔采樣計算Haar小波響應， 令dx為Haar小波在X方向上響應，dy為該響應在y方向上的響應，對響應的dx和dy采用 高斯加權，得出每個子區域中小波響應dx和dy的和組成第一組特征向量，同時把強度響應 絕對值的總和添加進特征描述；
[0018] 得到每個子分解區域的四個描述，用矢量V表示為V= (Σ4,Edy，Σ|dx|，Σ|dy|)，所有3X3的區域描述子的個數為36,即36維的描述。
[0019] 步驟2中，采用改進的LBP算法對兩幅圖像進行特征描述，包括以下步驟：
[0020] 采用檢測窗口檢測，對于圖像單元中的每一個像素點，取其相鄰的連續16個點作 為采樣點，對于單個像素點而言，當中心點的像素大于一個鄰近點的像素值，則將該臨近點 值設為〇,反之可以設為1，從而得到了一個16位的二進制數；對所有像素位置加權求和獲 取該檢測窗口的LBP編碼值；將這16位數據依次進行循環左移操作，每次左移對應產生16 個新的數據，在其中找到最大一個，作為最終的編碼數據。
[0021] 步驟2中，先判斷LBP紋理特征是否符合要求，然后通過計算歐式距離和比較最佳 匹配次最佳匹配來查找匹配點，通過兩級匹配，保留180?220個角點，包括以下步驟：
[0022] 設定一個歐式距離最大值MAX，分別從參考圖像和待拼接圖像中選擇一個角點，采 用LBP紋理特征分別對兩個角點計算每個位的差異，選取一個閾值為2,若位差異大于閾值 2,則重新再從參考圖像中選取角點計算每個位差異，當在參考圖像中選取的角點與待匹配 圖像每個位差異不大于閾值2時，計算這兩個角點描述的歐式距離平方和，若歐式距離平 方和小于當前已得出的最佳匹配，則令小于當前最佳歐式距離平方和的點作為當前最佳匹 配，當前最佳匹配初始值MX;不然，則令大于當前最佳歐式距離平方和但小于第二最小歐 式距離平方和的點設為第二最佳匹配點，第二最佳匹配點初始值為MAX;如此將參考圖像 中的每一個特征點與待拼接圖像中的特征點進行比較，分別得出最佳和第二佳匹配點；若 得到的最佳和第二佳歐式距離平方和之比小于閾值，則該點對為匹配點對，否則判定該點 對不是匹配點對。
[0023] 步驟3中，設定采樣次數N，每次采樣隨機抽取兩個匹配點對共4個點，其中在參考 圖像上選取兩個特征點，在待匹配圖像上選取對應的兩個特征點；如果同一圖像中選取的 兩個點不相關，則重新選取，如果相關，則根據選取的兩個匹配點對計算單應性矩陣；然后 計算滿足單應性矩陣匹配點的個數，若滿足單應性矩陣的匹配點數量不為最大，則重新選 取匹配點對；若為最大，則通過計算匹配點超距離，判斷內點和外點，設定外點是誤匹配，并 去除；設定內點被認為是正確匹配，予以保留，剩下的角點，用來融合參考圖像和待拼接圖 像。
[0024] 步驟4中，根據由步驟3得到的4對匹配點對，利用已有的OpenCV函數庫，求得透 視變換所需的單應性矩陣。
[0025] 有Γi=HXi,其中Γi= (X，iy，i1)T，Xi =(Xiyi 1)τ 是兩對齊次坐標， 通過4對匹配點對，求得變換矩陣H。
[0026] 在角點提取時米用改進的FAST算法（FeaturesfromAcceleratedSegment Test，加速分割檢測特征）提高提取速度，實驗證明該算法的速度比傳統角點提取更快，通 過對該算法的改良提高了其提取的角點的穩定性。對角點特征的描述采用了 3X3的SURF 描述與LBP結合，與LBP結合描述是為了提高角點匹配的速度。特征點對去除誤匹采用 RANSAC(RandomSampleConsensus,隨意抽樣一致性）去除誤匹配提高匹配的準確率。根 據得到的匹配點對，計算出待拼接圖像到參考圖像的變換參數，采用漸入漸出法拼接圖像， 也就是在拼接圖像中的重疊區域，又參考圖像漸漸過渡到待拼接圖像，保持視覺上的平滑 和一致性。
【專利附圖】
【附圖說明】
[0027] 下面結合附圖和【具體實施方式】對本發明做更進一步的具體說明，本發明的上述和 /或其他方面的優點將會變得更加清楚。
[0028] 圖1基于改進型SURF算法的圖像快速拼接方法總流程圖。
[0029] 圖2改進的FAST算法提取角點流程圖。
[0030] 圖3改進的SURF算法匹配流程圖。
[0031] 圖4去除誤匹配角點流程圖。
[0032] 圖5參考圖像與待拼接圖像融合流程圖。
[0033] 圖6改進的SURF算法匹配結果圖。
[0034] 圖7拼接結果圖。
【具體實施方式】
[0035] 本發明公開了一種基于SURF算法的圖像快速拼接方法，采用改進的FAST算法，對 參考圖像和待拼接圖像提取角點。FAST算法提取角點運算速度較快，經過本方法改進后，其 穩定性也得以提高。本方法采用SURF描述與LBP描述相結合的方法，來描述角點特征，這 樣也能夠提高角點匹配的速度。本方法采用RANSAC方法去除誤匹配，提高準確度，得到較 為準確的變換矩陣。最后，采用漸入漸出法，完成參考圖像與待拼接圖像的快速拼接。
[0036] 將角點定義為在某一個像素點周圍鄰域內有足夠數量的像素點與該像素點處于 不同的區域。在實際灰度圖中，存在足夠多的像素點灰度值大于或者小于角點的灰度值。選 擇圓形區域作為模板并考察圓的中心點是否為角點。
[0037] 參照圖1，基于改進型SURF算法的圖像快速拼接方法。分別對參考圖像和待拼接 圖像，采用改進的FAST方法檢測角點。然后，采用改進的SURF方法對兩幅圖像檢測的角點 進行特征點匹配。對匹配得出的特征點對，采用RANSAC方法去除誤匹配，得到更加精確的 特征點對。根據得到的精確特征點對，計算出變換矩陣。最后采用漸入漸出法，融合出完整 的圖像。
[0038] 參照圖2,對參考圖像和待拼接圖像分別提取角點。首先按照基本FAST方法進行 角點檢測。然后，計算上一步驟得到的每一個角點的Shi-Tomasi得分。根據每一個角點的 得分，按高低順序排序，循環比較兩個角點之間的距離。如果角點之間的距離不符合期望， 則認為是不顯著角點，在此去除。去除鄰域內不顯著的角點后，得到較為精確的角點。
[0039] 參照圖3,對參考圖像和待拼接圖像中由上一步驟檢測出的角點進行匹配。首先， 設定一個歐式距離最大值MAX。分別從參考圖像和待匹配圖像中選擇一個角點。采用LBP 紋理特征分別對兩個角點計算每個位的差異。選取一個閾值為2。若位差異大于閾值，則重 新再參考圖像中選取角點計算每個位差異。當在參考圖像中選取的角點與待匹配圖像每個 位差異不大于閾值2時，計算這兩個角點描述的歐式距離平方和。若歐式距離平方和小于 當前已得出的最佳匹配，則令小于當前最佳歐式距離平方和的點作為當前最佳匹配，默認 值為MX;不然，則令大于當前最佳歐式距離平方和但小于第二最小歐式距離平方和的點 設為第二最佳匹配點，默認值為MAX。如此將參考圖像中的每一個特征點與待拼接圖像中的 特征點進行比較，分別得出最佳和第二佳匹配點。若得到的最佳和第二佳歐式距離平方和 之比小于閾值，則該點對為匹配點對；不然認為未找到匹配點對。
[0040] 參照圖4,去除誤匹配的角點。當待匹配點對多于4對時，能夠進行有效的去除誤 匹配操作。設定一個采樣次數N，每次采樣隨機抽取兩個匹配點對（在參考圖像上選取兩 個特征點，在待匹配圖像上選取對應的兩個特征點），共4個點。如果同一圖像中選取的兩 個點不相關，則重新選取。如果相關，則根據選取的兩個匹配點對計算單應性矩陣。然后計 算滿足單應性矩陣匹配點的個數。若滿足單應性矩陣的匹配點數量不為最大，則重新選取 匹配點對；若為最大，則通過計算匹配點超距離，判斷"內點"和"外點"。外點被認為是誤匹 配，予以去除；而內點被認為是精確匹配，予以保留。剩下的角點，才被用來融合參考圖像和 待拼接圖像。
[0041] 參照圖5,計算變換矩陣并采用漸入漸出法進行圖像融合。首先根據精確的特征點 對求解變換矩陣。通過4對配對點，可求得變換矩陣。待匹配圖像與變換矩陣相乘，然后與 參考圖像進行拼接。拼接采用漸入漸出法，對參考圖像和變換后的待拼接圖像重疊區域的 每一個像素值依照其距離重疊區域邊緣的遠近分別加權，計算每個拼接圖像重疊區域每個 位置的像素值加權和，作為融合圖像該點像素值。這樣能夠使兩幅圖像的融合更加平滑。 [0042]本發明中首先，通過檢測出圖像中的角點，為后續的特征描述和特征匹配創造條 件。角點的檢測包括以下步驟：
[0043]LFAST角點檢測
[0044] (1)在圖像中選取一個像素點"P"，設該像素點灰度值為IP，該像素為要判斷是否 是興趣點的像素。
[0045] (2)根據具體情況設定圖像灰度閾值T。
[0046] (3)在像素點P周圍選取16個像素點，使這16個點形成半徑為3的圓。
[0047] (4)在16個像素點中存在N個連續的點，它們的灰度值大于Ip+T或者小于Ip-T 時，該像素點P為興趣點。
[0048] (5)為提高算法執行速度，先將選中像素的上下左右四個點的像素值像素（設為 II，15, 19, 113)的值與Ip進行比較。顯然，一般至少有四個像素應該滿足使興趣點存在的 閾值標準。
[0049] (6)如果至少存在四個像素值II，15, 19, 113不大于Ip+T或者不小于Ip-T時，得 出該點不是興趣點。在這種情況下，像素點P不可能為興趣點。否則，如果至少有3個像素 大于Ip+T或者小于Ip-T,然后檢查所有16個像素并判斷12個連續像素是否符合標準。
[0050] (7)依照以上做法遍歷每個像素點。
[0051] 按照以上方法會得到大量角點，這些角點會在局部圖像中分布過于密集。選取其 中特征描述特點更強的角點，有利于快速精確的實現后續的特征點配對過程。
[0052] 2.解決局部角點密集問題
[0053]Harris角點（哈里斯角點）計算中的二階矩陣，又稱為結構張量矩陣。Shi-Tomasi 算法（史托馬斯算法）是基于Harris角點計算方法的優化。采用Shi-Tomasi算法得 到每個角點的分數，令\1和λ2為角點結構張量矩陣A的兩個最大特征值，計算最小值 min(λi，λ2)，以此作為分數，令（x，y)為偏移量，I為圖像灰度，Ix和Iy為圖像灰度I的偏 導數，角點位置的協方差矩陣為A'貝U，公式為：
【權利要求】
1. 一種基于改進型SURF算法的圖像快速拼接方法，其特征在于，包括以下步驟： 步驟1，檢測參考圖像和待拼接圖像兩幅圖像中的角點； 步驟2,對兩幅圖像檢測的角點進行特征描述，然后進行特征點匹配； 步驟3,對匹配得出的特征點對，去除誤匹配，得到優化后的特征點對； 步驟4,計算變換矩陣； 步驟5,對兩幅圖像進行融合。
2. 根據權利要求1所述的方法，其特征在于：采用改進的FAST算法進行角點檢測，包 括：在圖像中選取一個像素點P，判斷像素點P是否是興趣點的像素；判斷像素點P是否為 興趣點的方法為：令選取的像素點灰度值為IP，圖像灰度閾值T,在像素點P周圍，以4個像 素為半徑畫圓，在該圓圓周上得到16個像素點；如果在16個像素點中存在N個連續的點， 它們的灰度值大于IP+T或者小于IP-T時，則判定該像素點P為興趣點，N為大于等于12的 自然數； 先將選中像素的上下左右四個點的像素值與IP進行比較，如果至少存在三個像素值不 大于IP+T或者不小于IP-T時，得判斷該點不是興趣點，否則檢查所有16個像素并判斷N個 連續像素是否符合標準； 采用史托馬斯算法得到每個角點的分數，令^和^為角點結構張量矩陣A的兩個最 大特征值，計算最小值min(入i，A2)，以此作為分數，令（x，y)為偏移量，I為圖像灰度，Ix 和Iy為圖像灰度I的偏導數，角點位置的協方差矩陣為A'在得到每個角點的評分后按照 的得分高低順序對角點序列進行排序，排序完成后按順序循環比較兩個角點之間的距離， 如果兩個角點的距離小于期望的角點間距離，則保留Shi-Tomasi得分高的角點，期望的距 離不小于10像素； 獲取最終的改進FAST角點。
3. 根據權利要求2所述的方法，其特征在于，步驟2中，采用改進的SURF算法對兩幅圖 像進行特征描述，包括以下步驟： 創建一個以興趣點為中心的矩形區域，矩形的方向為興趣點的方向，將每個區域劃分 為兩個以上的3X3的子區域，對于每個子區域，用5X5間隔采樣計算Haar小波響應，令dx 為Haar小波在x方向上響應，dy為該響應在y方向上的響應，對響應的dx和dy采用高斯加 權，得出每個子區域中小波響應dx和dy的和組成第一組特征向量，同時把強度響應絕對值 的總和添加進特征描述； 得到每個子分解區域的四個描述，用矢量v表示為v=(Edx，Edy，E|dx|，E|dy|)， 所有3X3的區域描述子的個數為36,即36維的描述。
4. 根據權利要求3所述的方法，其特征在于：步驟2中，采用改進的LBP算法對兩幅圖 像進行特征描述，包括以下步驟： 采用檢測窗口檢測，對于圖像單元中的每一個像素點，取其相鄰的連續16個點作為采 樣點，對于單個像素點而言，當中心點的像素大于一個鄰近點的像素值，則將該臨近點值設 為0,反之可以設為1，從而得到了一個16位的二進制數；對所有像素位置加權求和獲取該 檢測窗口的LBP編碼值；將這16位數據依次進行循環左移操作，每次左移對應產生16個新 的數據，在其中找到最大一個，作為最終的編碼數據。
5. 根據權利要求4所述的方法，其特征在于：步驟2中，先判斷LBP紋理特征是否符合 要求，然后通過計算歐式距離和比較最佳匹配次最佳匹配來查找匹配點，通過兩級匹配，保 留180?220個角點，包括以下步驟： 設定一個歐式距離最大值MAX，分別從參考圖像和待拼接圖像中選擇一個角點，采用LBP紋理特征分別對兩個角點計算每個位的差異，選取一個閾值為2,若位差異大于閾值2， 則重新再從參考圖像中選取角點計算每個位差異，當在參考圖像中選取的角點與待匹配圖 像每個位差異不大于閾值2時，計算這兩個角點描述的歐式距離平方和，若歐式距離平方 和小于當前已得出的最佳匹配，則令小于當前最佳歐式距離平方和的點作為當前最佳匹 配，當前最佳匹配初始值MAX;不然，則令大于當前最佳歐式距離平方和但小于第二最小歐 式距離平方和的點設為第二最佳匹配點，第二最佳匹配點初始值為MAX;如此將參考圖像 中的每一個特征點與待拼接圖像中的特征點進行比較，分別得出最佳和第二佳匹配點；若 得到的最佳和第二佳歐式距離平方和之比小于閾值，則該點對為匹配點對，否則判定該點 對不是匹配點對。
6.根據權利要求5所述的方法，其特征在于：步驟3中，設定采樣次數N，每次采樣隨 機抽取兩個匹配點對共4個點，其中在參考圖像上選取兩個特征點，在待匹配圖像上選取 對應的兩個特征點；如果同一圖像中選取的兩個點不相關，則重新選取，如果相關，則根據 選取的兩個匹配點對計算單應性矩陣；然后計算滿足單應性矩陣匹配點的個數，若滿足單 應性矩陣的匹配點數量不為最大，則重新選取匹配點對；若為最大，則通過計算匹配點超距 離，判斷內點和外點，設定外點是誤匹配，并去除；設定內點被認為是正確匹配，予以保留， 剩下的角點，用來融合參考圖像和待拼接圖像。
【文檔編號】G06T5/50GK104376548SQ201410626230
【公開日】2015年2月25日 申請日期:2014年11月7日 優先權日:2014年11月7日
【發明者】董小舒, 秦晅, 卞志國, 盧旻昊, 劉超, 李嵐俊 申請人:中國電子科技集團公司第二十八研究所