一種全景圖像融合方法及融合裝置的制造方法
【技術領域】
[0001] 本發明涉及圖像處理技術領域，特別涉及一種全景圖像融合方法及融合裝置。
【背景技術】
[0002] -般情況下相鄰攝像機由于采集時間和旋轉角度差異等原因，對于獲取的相鄰視 場的圖像之間有部分重疊區域。在理想狀況下，相鄰視場的重疊區域的亮度以及顏色應該 是相同的。但是由于拍攝角度及拍攝時間的不同而導致光照條件等拍攝環境發生了一定的 改變，加之不同的攝像機內部成像的細微差異；同一場景在相鄰圖像上的顏色和亮度通常 會有差異，導致其重疊區域常呈現出明暗強度及變形程度的差異，給相鄰圖像拼接帶來麻 煩。并且，由于相鄰像素間不僅僅是簡單的平移關系，還包括旋轉、反射關系。如果只將圖 像的重疊區域簡單地疊加起來，會發現拼接而成的圖像中邊界的痕跡非常明顯、以及出現 重疊區域模糊和失真現象，嚴重影響了全景圖像的視覺效果。目前對圖像拼接結果的要求 是不能看到兩幅圖像在拼接過程中留下的痕跡。為了消除簡單疊加造成的影響，實現圖像 的無縫拼接；為了減少拼接處顏色和亮度的不連續性，盡力避免重疊區域出現圖像模糊、重 影、明顯的分界等缺陷；必須對圖像的重疊區域進行平滑處理，以提高圖像的質量。現有技 術中采用圖像融合方法來處理重疊區域。圖像融合方法是在圖像拼接過程中調整配準圖像 的像素值的處理過程，能將一系列圖像正確的拼接在一起，且拼接后不會看出拼接的痕跡， 使融合后的圖像盡可能地平滑清晰、過渡自然。
[0003] 目前常見的圖像重疊區域的融合方法包括：取平均值法、漸入濺出法、基于面積加 權的全景融合算法（即加權平均法）以及多分辨率融合法等。其中，取平均值法對于數據量 較大、有不規則的重疊區域的全景圖像、會導致最終的拼接圖像中存在較為明顯的拼接痕 跡。漸入濺出法對重疊區域、特別是不規則的重疊區域內圖像顏色、亮度的平滑效果較差。 加權平均法雖然能使重疊區域平滑過渡、并消除拼接痕跡，但對于不規則的重疊區域則很 難有效地進行融合。分辨率融合法是先將圖像分解成一系列具有不同分辨率、頻率特性及 方向特性的子帶圖像，然后在每個分解的頻率域上將圖像重疊邊界附近加權平均，最后將 所有頻率上的圖像拼合成一幅全景圖像。由于分辨率融合法運算量太大，特別地、不規則的 重疊區域更是增加了運算難度和時間，不能達到圖像融合的實時性要求。
[0004] 因而現有技術還有待改進和提高。
【發明內容】
[0005] 鑒于上述現有技術的不足之處，本發明的目的在于提供一種全景圖像融合方法及 融合裝置，以解決現有技術對于不規則的重疊區域的圖像存在融合效果較差的問題。
[0006] 為了達到上述目的，本發明采取了以下技術方案： 一種全景圖像融合方法，其包括： A、將需要融合的圖像投影到全景模板中，提取圖像的原始像素值，并識別出圖像之間 的重疊區域在全景模板中的位置； B、 將所述重疊區域的邊界集合化，計算出重疊區域內像素點的權重； C、 將所述原始像素值和對應像素點的權重進行加權求和、獲得重疊區域內像素點在全 景模板中的像素值。
[0007] 所述的全景圖像融合方法中，所述需要融合的圖像包括第一圖像和第二圖像，所 述步驟A具體包括： A1、將第一圖像和第二圖像通過投影變換矩陣投影到全景模板中，并提取第一圖像和 第二圖像的原始像素值和掩膜函數； A2、計算第一圖像和第二圖像的掩膜函數的交集、獲得第一圖像和第二圖像的重疊區 域的掩膜函數，以確定所述重疊區域在全景模板中的位置。
[0008] 所述的全景圖像融合方法中，所述步驟B具體包括： B1、獲取第一圖像和第二圖像掩膜的邊界函數； B2、根據第一圖像和第二圖像的邊界函數獲取重疊區域的第一邊界和第二邊界的函 數，以確定第一邊界和第二邊界的集合所包含的元素； B3、計算出重疊區域內像素點到第一邊界和第二邊界的最短距離，并計算出重疊區域 內像素點在兩幅圖像中的權重。
[0009] 所述的全景圖像融合方法中，在所述步驟C之后還包括： D、 將全景模板中的像素值傳輸至全景生成服務器端生成拼接融合后的全景圖像。
[0010] 所述的全景圖像融合方法中，在所述步驟A中， 第一圖像在全景模板中的掩膜函數AA(JT)的公式為：
，其中，X表示全景模板P中任意的像素點，A表示第一圖 像； 第二圖像在全景模板中的掩膜函數的公式為：
其中，B表示第二圖像； 第一圖像與第二圖像的重疊區域的掩膜函數_為__|:的公式為：
[0011] 所述的全景圖像融合方法中，在所述步驟B1中，第一圖像掩膜的邊界函數EA (X) 和第二圖像掩膜的邊界函數EB (X)的公式分別為：
9
[0012] 所述的全景圖像融合方法中，在所述步驟B2中，第一邊界的函數Eacd(X)和第二 邊界函數Eabd(X)的公式分別為：
[0013] 所述的全景圖像融合方法中，在所述步驟B3中，重疊區域內任意像素點到第一邊 界的最短距離dA的公式為：
重疊區域內任意像素點到第二邊界的最短距離dB的公式為：
9 其中，K表示重疊區域內的任意像素點，acd表示第一邊界上所有像素點的集合，abd表 示第二邊界上所有像素點的集合； 重疊區域內任意像素點在第一圖像和第二圖像中的權重wl(K)、w2(K)的公式分別為：
[0014] 所述的全景圖像融合方法中，重疊區域內任意像素點在全景模板中的像素值P(K) 的公式為：
[0015] 所述的全景圖像融合方法中，所述需要融合的圖像為多個，包括第一圖像至第N 圖像，所述步驟A具體包括：將需要融合的N幅圖像投影到全景模板中，提取每幅圖像的原 始像素值，并對圖像之間的所有重疊區域用集合表示。
[0016] 所述的全景圖像融合方法中，所述步驟B具體包括： B11、對其中重疊的任意兩幅圖像進行一次融合，對這兩幅圖像的重疊區域內的每個像 素點求得其在這兩幅圖像中的權重wh(K)、w2i(K); B12、將一次融合后的圖像和與其重疊的任一圖像進行二次融合，對這兩幅圖像的重疊 區域內的每個像素點求得其在這兩幅圖像中的權重wl2 (K)、w22 (K); B13、將二次融合后的圖像和與其重疊的任一圖像進行三次融合，對這兩幅圖像的重疊 區域內的每個像素點求得其在這兩幅圖像中的權重wl3(K)、w23(K);以此類推，直至將N-2 次融合后的圖像和與其重疊的最后一幅圖像進行N-1次融合，對這兩幅圖像的重疊區域內 的每個像素點求得其在這兩幅圖像中的權重wlNiOO、w2Ni(K)。
[0017] 所述的全景圖像融合方法中，所述步驟c具體包括： 〇11、根據權重￥11〇()、￥21〇()、￥12〇()、￥2 2〇()、￥13〇()、￥23〇()直至￥1^〇()、￥2^〇()， 計算出各重疊區域內像素點的像素值； C12、分別計算出在全景模板中各像素點在第一圖像至第N圖像中的權重wl(KrwN(K);獲得重疊區域內任意像素點在全景模板中的像素值。
[0018] -種全景圖像融合的融合裝置，其包括： 重疊區域識別模塊，用于將需要融合的圖像投影到全景模板中，提取圖像的原始像素 值，并識別出圖像之間的重疊區域在全景模板中的位置； 權重計算模塊，用于將所述重疊區域的邊界集合化，計算出重疊區域內像素點的權 重； 像素值計算模塊，用于將所述原始像素值和對應像素點的權重進行加權求和、獲得重 疊區域內像素點在全景模板中的像素值。
[0019] 相較于現有技術，本發明提供的全景圖像融合方法及融合裝置，將需要融合的圖 像投影到全景模板中，提取圖像的原始像素值，并識別出圖像之間的重疊區域在全景模板 中的位置；將所述重疊區域的邊界集合化，計算出重疊區域內像素點的權重；對所述原始 像素值和對應像素點的權重進行加權求和、獲得重疊