專利名稱：全景圖合成方法及裝置的制作方法
技術領域：
本發明涉及圖像合成技術領域，特別是涉及一種全景圖合成方法及裝置。
背景技術：
目前，隨著移動設備技術的飛速發展，移動設備的各項功能也越來越人性化，但 是，目前移動設備終端照相機只能實現對單張圖片的拍攝，在使用普通移動設備照相機來 獲取視野的場景圖像時，必須調節相機的焦距，通過縮放鏡頭才可以攝取完整的場景，因為 相機的分辨率是一定的，拍攝的場景越大分辨率越低，因此按照上述方法獲取的照片的分 辨率會非常低；為了獲取高分辨率的場景照片就需要通過縮放相機鏡頭來減小拍攝的視 野，但這又得不到完整的場景照片。在上述場景下，用戶雖然可以直接通過專門相機拍攝獲取場景的全景圖像，但是 均需要昂貴的硬件來支持，不適用于普通用戶。如果普通用戶想拍攝全景普片，只能拍攝一張低 分辨率的單張全景圖片，或者拍 攝多張高分辨率的非全景圖片，使得用戶在使用移動設備終端照相機時，在上述場景下不 能滿足用戶的需要。因此，現有技術中存在由于移動設備終端照相機的視角和大小的局限， 不能獲得高分辨率的大視野圖片的問題。
發明內容
本發明提供一種全景圖合成方法及裝置，以解決現有技術中由于移動設備終端照 相機的視角和大小的局限，不能獲得高分辨率的大視野圖片的問題。本發明提供一種全景圖合成方法，用于移動設備照相機，包括獲取同一場景的多個原始圖像，對多個原始圖像進行折疊變化和坐標變換，確定 多個原始圖像的重疊區域；建立多個原始圖像的數學模型，將多個原始圖像的重疊區域對準，并將多個原始 圖像轉換到參考圖像的坐標系下；根據參考圖像的坐標系獲取多個原始圖像之間的空間變換關系，選擇合適的圖像 合成策略，完成圖像的合成。本發明還提供了一種全景圖合成裝置，設置于移動設備照相機，包括圖像獲取模塊，用于獲取同一場景的多個原始圖像；圖像預處理模塊，用于對多個原始圖像進行折疊變化和坐標變換，確定多個原始 圖像的重疊區域；圖像配準模塊，用于建立多個原始圖像的數學模型，將多個原始圖像的重疊區域 對準，并將多個原始圖像轉換到參考圖像的坐標系下；圖像合成模塊，用于根據參考圖像的坐標系獲取多個原始圖像之間的空間變換關 系，選擇合適的圖像合成策略，完成圖像的合成。本發明有益效果如下
通過對多個單張圖像進行配準等操作，將一系列單張圖片合稱為一幅全景圖像， 解決了現有技術中由于移動設備終端照相機的視角和大小的局限，不能獲得高分辨率的大 視野圖片的問題，能夠在不降低圖像分辨率的條件下獲取大視野范圍的場景照片，本發明 實施例利用相機處理器進行自動匹配，構造一個無縫的、高清晰的圖像，它具有比單個圖像 更高的分辨率和更大的視野，能夠更好的滿足移動設備用戶的需求。
圖1是本發明實施例的全景圖合成裝置的結構示意圖；圖2是本發明實施例的全景圖像拼接流程的示意圖；圖3是本發明實施例的圖像配準模塊處理流程的示意圖；圖4是本發明實施例的RANSAC算法的詳細流程圖；圖5是本發明實施例的幾何距離示意圖；圖6是本發明實施例的圖像合成算法示意圖；圖7是本發明實施例的全景圖合成方法的流程圖。
具體實施例方式為了解決現有技術中由于移動設備終端照相機的視角和大小的局限，不能獲得高 分辨率的大視野圖片的問題，本發明提供了一種全景圖合成方法及裝置，通過移動設備照 相機將所拍不同角度及大小的圖片實現全景拼接，將一組相互間重疊部分的圖像序列進行 空間匹配對準，經過采樣合成后形成一幅包含各圖像序列信息的寬視角場景的、完整的、高 清晰的新圖像。以下結合附圖以及實施例，對本發明進行進一步詳細說明。應當理解，此處 所描述的具體實施例僅僅用以解釋本發明，并不限定本發明。裝置實施例根據本發明的實施例，提供了一種全景圖合成裝置，設置于移動設備照相機，圖1 是本發明實施例的全景圖合成裝置的結構示意圖，如圖1所示，根據本發明實施例的全景 圖合成裝置包括圖像獲取模塊10、圖像預處理模塊12、圖像配準模塊14、圖像合成模塊16 四部分。以下對上述各個模塊進行詳細說明。圖2是本發明實施例的全景圖像拼接流程的示意圖，如圖2所示，圖像獲取模塊10 獲取圖像1和圖像2后，發送給圖像預處理模塊12進行拼湊預處理，隨后，圖像配準模塊14 進行圖像配準，圖像合成模塊16進行圖像合成，最終獲取目標全景圖。從圖2所示的全景圖像拼接流程示意圖可以看出，圖像的獲取是圖像處理的第一 步，圖像獲取模塊10用于獲取同一場景的多個原始圖像。也就是說，圖像獲取模塊10主要 用來獲取所要拍攝的圖片，為實現獲取圖像的目的，需要相應的攝像頭裝置，包括攝像頭、 以及驅動裝置。在開啟攝像頭后，將攝像頭采集到的圖像信息傳送到圖像預處理模塊12，然 后圖像預處理模塊12對采集到的圖像信息進行分析處理，驗證圖像信息的有效性。需要說 明的是，在實際應用中，由于圖像獲取的方式不同會導致輸入原始圖像的不同，最終使用的 圖像拼接方法也會不同。圖像預處理的目的是保證圖像配準的精度，圖像預處理模塊12用于對多個原始 圖像進行折疊變化和坐標變換，確定多個原始圖像的重疊區域；具體地，圖像預處理模塊12對多個原始圖像進行圖像處理的基本操作，建立圖像的匹配模板，對圖像進行預訂變換、 以及提取圖像的特征點集合，確定多個原始圖像的重疊區域，其中，圖像處理的基本操作包 括直方圖處理、以及圖像的平滑濾波，預訂變換包括以下至少之一傅里葉變換、小波變 換、伽柏變換。也就是說，圖像預處理模塊12需要對原始圖像做一些折疊變化和坐標變換，包括 圖像處理的基本操作(例如，直方圖處理、圖像的平滑濾波等)、建立圖像的匹配模板、對圖 像進行某種變換(例如，傅立葉變換、小波變換、Gabor變換等)以及提取圖像的特征集合 等操作，圖像預處理模塊12進行初略定位，找到大致的重疊區域，縮小匹配范圍，提高圖像 合成速度。拼接圖像的質量主要依賴圖像的配準精度，圖像配準模塊14用于建立多個原始 圖像的數學模型，將多個原始圖像的重疊區域對準，并將多個原始圖像轉換到參考圖像的 坐標系下；圖像配準的核心問題是尋找一個變換，找到待拼接圖像中的模板或特征點在參考 圖像中對應的位置，根據模板或者圖像特征之間的對應關系，可以計算出數學模型中的各 參量值，從而建立兩幅圖像的數學模型，使圖像間相互重疊部分對準，將待拼接圖像轉換到 參考圖像的坐標系，以此構成完整的圖像。精確配準的關鍵是要有很好地描述兩幅圖像之 間的轉換關系的數學模型。圖像配準模塊14依據相似性度量來決定圖像間的變換參數，使從不同傳感器、不 同視角、不同時間獲取的同一場景的兩幅或多幅圖像變換到同一坐標系下，在像素層上得 到最佳匹配的過程。具體實現方法為本發明實施例首先改進了 Harris角點檢測算法，有 效提高所提取特征點的速度和精度。然后利用相似測度歸一化互相關(normalized cross correlation，簡稱為NCC)，通過雙向最大相關系數匹配的方法提取出初始特征點對，用隨 機采樣法(Random SampleConsensus，簡稱為RANSAC)來剔除偽特征點對，實現特征點對的 精確匹配。最后用正確匹配特征點對實現圖像的配準。圖3是本發明實施例的圖像配準模塊處理流程的示意圖，如圖3所示，圖像配準模 塊14需要對獲取的圖像進行特征提取、特征匹配、變換模型參數估計、圖像重新采樣和變 換等操作，下面對圖像配準模塊14的操作進行詳細的說明。圖像配準模塊14具體包括建立子模塊、第一提取子模塊、第二提取子模塊、獲取 子模塊、以及轉換子模塊。具體地建立子模塊，用于獲取多個原始圖像中匹配模板或特征點集合在參考圖像中對應 的位置，根據位置計算數學模型中的各參量值，建立多個原始圖像的數學模型；第一提取子模塊，用于通過特定方式提取多個原始圖像的特征點；也就是說，第一 提取子模塊可以根據圖像性質提取適用于該圖像配準的幾何或灰度特征，優選地，在本發 明實施例中，特征點為角點。在現有技術中，角點檢測算法主要分為基于邊緣和基于灰度兩類提取算法，由于 前者對邊緣的提取依賴性比較大，如果檢測到的邊緣發生錯誤或是邊緣線發生中斷，則會 對角點提取結果造成較大影響，基于灰度的提取算法主要是通過計算局部范圍內灰度和梯 度變化劇烈的極大點來達到檢測目的，無需進行邊緣提取，因而在實際中得到了廣泛應用。 在現有技術中，最具代表性的幾種角點檢測包括=Moravec算子角點檢測、Forstner算子角點檢測、Susan檢測算法、Harris角點檢測算法。其中，Harris角點檢測算法在一致性和有 效性方面均具有優良的性能以及所提取的興趣點被證明具有旋轉、平移不變性、穩定性好 等優點。Harris角點檢測算法是利用圖像的灰度變化率確定角點，該算法通過計算一個與 圖像的自相關函數相聯系的矩陣M的特征值，即自相關函數的一階曲率來判定該點是否為 角點，如果兩個曲率值都高，那么就認為該點是角點。Harris角點檢測算法定義了任意方向上的自相關值E(u，ν)為E (u ,v) = [u ν ]M U 公式 1M =
CBIx、Iy分別為圖像X，y方向的梯度值，w(x, y)為高斯濾波器，其中 表示卷積運 算。M是2X2的對稱矩陣，因此必然存在2個特征值入工和λ2，特征值反映了圖像像素的 特征性，即如果點(X，y )是一特征點，那么關于這個點的M矩陣的2個特征值都是正值，并 且它們是以(x，y)為中心的區域中的局部最大值，則特征點可用評價函數表示為R = Det (M) -kTrace2 (M)公式 3其中Det (M) = A1A 2、Trace (M) = A^A2, Det 為矩陣的行列式，Trace 為矩陣 的跡(矩陣對角線元素的和)。設定一個合理的閾值T，當實際由公式3計算出來的R大于 該閾值時，則表示找到了一個角點，否則就不是。特征點一般是局部范圍內的極大興趣值對 應的像素點。因此，在計算完各點的R值后，要進行非極大值抑制，提取原始圖像中所有局 部興趣值最大的點。其中k是一實驗值，一般取k = 0. 04 0. 06。從上述Harris角點檢測過程可以看出，現有技術中原始的Harris角點檢測具有 單一閾值設定、定位精度低以及實時性差等缺陷，本發明實施例對現有技術中Harris角點 檢測算法進行了改進。從而在圖像中提取出盡可能多又定位精確的點特征，同時加快提取 角點的速度。具體地，本發明實施例改進的Harris角點檢測算法包括如下處理步驟1，對圖像的每一個點計算其在橫向和縱向的一階導數以及兩者的乘積，得到 3幅新的圖像。在圖像處理中，利用3X3卷積核與原圖像做卷積求得原圖像每一點的偏導 數。在實際應用中，為了減少圖像噪聲對提取角點的影響，可以對這3幅圖像進行高斯濾 波。步驟2，根據角點響應函數式計算原圖像上對應的每個像素的R值。原始Harris 角點檢測算法的角點響應函數式中的k值是一個經驗常數，使用起來隨意性較大，造成角 點提取可靠性的降低，在圖片狀況不一的情況下，容易影響到角點提取的準確性。考慮到R 實質是角點檢測信號，行列式的值大、跡的值小為角點信號，反之為邊緣信號的特點。因此 本發明實施例采用如下比值法計算角點響應函數
^ Det(M)R= -—公式 4
Trace(M) + ε為了避免矩陣跡有時可能為零，因此在分母中補加很小的數ε ；與原始Harris角
Γ I I
=e 2σ2 x V 公式 2 IxIv ι點檢測算法中提出的響應函數相比，它避免參數k的選取，減少了 k選擇的隨機性，具有實 用性，可靠性好，準確度高。步驟3，選取局部極值點現有技術中的做法是選擇一個適當的閾值，然后將興趣 值大于該閾值的像元作為特征像元，興趣值小于閾值的像元則被篩選掉。上述處理雖然簡 單易實現，但單一閾值的選取對于非均質圖像來說可能導致部分特征點也被篩選掉。為了 克服這一缺陷，本發明實施例采用圖像中窗口內抑制非最大的方式結合閾值的設定來進行 特征點的篩選。具體步驟為在圖像中選取一個適當的窗口，將窗口中興趣值最大的像元保 留，而將窗口中其余像元刪去，移動窗口對整幅圖像的進行篩選。局部極值點的數目往往很 多，根據要求設定一合理的閾值選出興趣值最大的若干個點作為最后的結果。另外，為了加 快提取的速度，可以采用邊界模板將對匹配作用不大的邊界角點排除。步驟4，亞像素角點定位本發明實施例通過采用二次多項式 ax2+by2+cxy+dx+ey+f = R(χ, y)來逼近角點反應函數R來實現角點的亞像素級精確位置。 用已經檢測出來的角點周圍的像素點可以建立含有a f6個未知量的超定方程組，運用最 小二乘法求解這個超定方程組，亞像素級角點對應的是二次多項式的極大值點。表1為采用不同方法進行角點提取的比較表 權利要求
一種全景圖合成方法，用于移動設備照相機，其特征在于，包括獲取同一場景的多個原始圖像，對所述多個原始圖像進行折疊變化和坐標變換，確定所述多個原始圖像的重疊區域；建立所述多個原始圖像的數學模型，將所述多個原始圖像的所述重疊區域對準，并將所述多個原始圖像轉換到參考圖像的坐標系下；根據所述參考圖像的坐標系獲取所述多個原始圖像之間的空間變換關系，選擇合適的圖像合成策略，完成圖像的合成。
2.如權利要求1所述的方法，其特征在于，對所述多個原始圖像進行折疊變化和坐標 變換，確定所述多個原始圖像的重疊區域包括對所述多個原始圖像進行圖像處理的基本操作，建立圖像的匹配模板，對圖像進行預 訂變換，提取圖像的特征點集合，確定所述多個原始圖像的重疊區域，其中，所述圖像處理 的基本操作包括直方圖處理、以及圖像的平滑濾波，所述預訂變換包括以下至少之一傅 里葉變換、小波變換、伽柏變換。
3.如權利要求2所述的方法，其特征在于，所述建立所述多個原始圖像的數學模型包括獲取所述多個原始圖像中所述匹配模板或所述特征點集合在所述參考圖像中對應的 位置，根據所述位置計算所述數學模型中的各參量值，建立所述多個原始圖像的數學模型。
4.如權利要求3所述的方法，其特征在于，將所述多個原始圖像的所述重疊區域對準， 并將所述多個原始圖像轉換到參考圖像的坐標系下包括通過特定方式提取所述多個原始圖像的特征點；利用相似測度歸一化相互關NCC，通過雙向最大相關系數匹配方法提取初始特征點對；通過隨機采樣法隨機抽樣一致性RANSAC剔除偽特征點對，獲取精確匹配的特征點對； 根據投影變換矩陣對所述多個原始圖像進行逆向映射變換，將所述多個原始圖像轉換 到所述參考圖像的坐標系下，并根據所述精確匹配的特征點對進行圖像的配準。
5.如權利要求4所述的方法，其特征在于，所述特征點為角點，所述特定方式為角點檢 測算法；所述通過特定方式提取所述多個原始圖像的特征點包括對所述多個原始圖像中每個原圖像中的每一點計算該點在橫向和縱向的一階導數，并 計算橫向一階導數和縱向一階導數的乘積，獲取與每個原圖像對應的3幅新的圖像，利用 3X3卷積核與所述原圖像進行卷積，獲取所述原圖像每一點的偏導數，并對所述3幅新的 圖像進行高斯濾波；根據角點響應函數式即公式1計算所述原圖像上對應的每個像素的R值，
6.如權利要求5所述的方法，其特征在于，所述利用相似測度歸一化相互關NCC，通過 雙向最大相關系數匹配方法提取初始特征點對包括 根據公式2建立一個相似測度NCC，
7.如權利要求6所述的方法，其特征在于，在根據公式2建立一個相似測度NCC之前， 所述方法還包括采用7X7的中值濾波器將所述圖像進行平滑，并將原圖像與經過濾波的圖像相減的 結果作為操作對象。
8.如權利要求6所述的方法，其特征在于，所述RANSAC包括重復N次隨機采樣，其中，N大于等于1 ；隨機選取4對匹配點，線性地計算所述投影變換矩陣，其中，所述4對匹配點應保證樣 本中的任意三點不在同一直線上；計算每個匹配點經過所述投影變換矩陣變換后到對應匹配點的距離；根據內點距離小于距離閾值t的原則計算所述投影變換矩陣的內點，選取一個包含內 點最多的點集，并在此內點域上重新計算所述投影變換矩陣，其中，所述內點為滿足估計參 數的點。
9.如權利要求8所述的方法，其特征在于，根據所述參考圖像的坐標系獲取所述多個 原始圖像之間的空間變換關系，選擇合適的圖像合成策略，完成圖像的合成包括根據公式3和公式4計算兩圖像重疊區域中像素點的灰度值f(x，y)，
10.一種全景圖合成裝置，設置于移動設備照相機，其特征在于，包括圖像獲取模塊，用于獲取同一場景的多個原始圖像；圖像預處理模塊，用于對所述多個原始圖像進行折疊變化和坐標變換，確定所述多個 原始圖像的重疊區域；圖像配準模塊，用于建立所述多個原始圖像的數學模型，將所述多個原始圖像的所述 重疊區域對準，并將所述多個原始圖像轉換到參考圖像的坐標系下；圖像合成模塊，用于根據所述參考圖像的坐標系獲取所述多個原始圖像之間的空間變 換關系，選擇合適的圖像合成策略，完成圖像的合成。
11.如權利要求10所述的裝置，其特征在于，所述圖像預處理模塊具體用于對所述多個原始圖像進行圖像處理的基本操作，建立圖像的匹配模板，對圖像進行預 訂變換、以及提取圖像的特征點集合，確定所述多個原始圖像的重疊區域，其中，所述圖像 處理的基本操作包括直方圖處理、以及圖像的平滑濾波，所述預訂變換包括以下至少之 一傅里葉變換、小波變換、伽柏變換。
12.如權利要求11所述的裝置，其特征在于，所述圖像配準模塊具體包括建立子模塊，用于獲取所述多個原始圖像中所述匹配模板或所述特征點集合在所述參 考圖像中對應的位置，根據所述位置計算所述數學模型中的各參量值，建立所述多個原始 圖像的數學模型；第一提取子模塊，用于通過特定方式提取所述多個原始圖像的特征點；第二提取子模塊，用于利用相似測度歸一化相互關NCC，通過雙向最大相關系數匹配方 法提取初始特征點對；獲取子模塊，用于通過隨機采樣法隨機抽樣一致性RANSAC剔除偽特征點對，獲取精確 匹配的特征點對；轉換子模塊，用于根據投影變換矩陣對所述多個原始圖像進行逆向映射變換，將所述 多個原始圖像轉換到所述參考圖像的坐標系下，并根據所述精確匹配的特征點對進行圖像 的配準。
13.如權利要求12所述的裝置，其特征在于，所述特征點為角點，所述特定方式為角點檢測算法。
14.如權利要求13所述的裝置，其特征在于，所述第一提取子模塊具體用于對所述多個原始圖像中每個原圖像中的每一點計算該點在橫向和縱向的一階導數，并 計算橫向一階導數和縱向一階導數的乘積，獲取與每個原圖像對應的3幅新的圖像，利用 3X3卷積核與所述原圖像進行卷積，獲取所述原圖像每一點的偏導數，并對所述3幅新的 圖像進行高斯濾波；根據角點響應函數式即公式5計算所述原圖像上對應的每個像素的R值，Det(M)K--；----公式 5，Trace(M) + ε其中，Det(M) = X1X2，Trace(M) = λ ^ λ 2，M是2 X 2的對稱矩陣，λ工禾口入2為] 的 2個特征值，ε為小值數；在原圖像中選取一個適當的窗口，將所述窗口中興趣值最大的像元保留，將所述窗口 中其他像元刪除，移動所述窗口對整幅原圖像進行篩選，并根據預先設置的閾值將興趣值 最大的若干個點選取為局部極值點，并采用邊界模板將匹配作用低的邊界角點排除；采用二次多項式aX2+by2+CXy+dX+ey+f = R(χ, y)進行角點的亞像素定位。
15.如權利要求14所述的裝置，其特征在于，所述第二提取子模塊具體用于根據公式6建立一個相似測度NCC，
16.如權利要求15所述的裝置，其特征在于，所述獲取子模塊具體用于 重復N次隨機采樣，N大于等于1 ；隨機選取4對匹配點，線性地計算所述投影變換矩陣，其中，所述4對匹配點應保證樣 本中的任意三點不在同一直線上；計算每個匹配點經過所述投影變換矩陣變換后到對應匹配點的距離； 根據內點距離小于距離閾值t的原則計算所述投影變換矩陣的內點，選取一個包含內 點最多的點集，并在此內點域上重新計算所述投影變換矩陣，其中，所述內點為滿足估計參 數的點。
17.如權利要求16所述的裝置，其特征在于，所述圖像合成模塊具體用于 根據公式7和公式8計算兩圖像重疊區域中像素點的灰度值f(x，y)，
全文摘要
本發明公開了一種全景圖合成方法及裝置。該方法包括獲取同一場景的多個原始圖像，對多個原始圖像進行折疊變化和坐標變換，確定多個原始圖像的重疊區域；建立多個原始圖像的數學模型，將多個原始圖像的重疊區域對準，并將多個原始圖像轉換到參考圖像的坐標系下；根據參考圖像的坐標系獲取多個原始圖像之間的空間變換關系，選擇合適的圖像合成策略，完成圖像的合成。借助于本發明的技術方案，能夠在不降低圖像分辨率的條件下獲取大視野范圍的場景照片。
文檔編號G06T5/50GK101984463SQ20101052805
公開日2011年3月9日 申請日期2010年11月2日 優先權日2010年11月2日
發明者劉冬梅 申請人:中興通訊股份有限公司