專利名稱：一種全景視頻融合方法、系統及視頻處理設備的制作方法
技術領域：
本發明屬于視頻處理技術領域，尤其涉及一種全景視頻融合方法、系統及視頻處 理設備。
背景技術：
視頻的實質是隨時間變化的圖像序列。全景視頻生成的基礎是全景圖像生成。與 一般全景圖像生成技術不同的是，全景視頻生成中的全景圖像生成算法的實時性一般要求 較高。目前，全景圖像的生成一般采取兩類方式第一類是利用廣角鏡頭或全景反射光 學鏡頭生成全景圖像；第二類是利用普通相機獲取的多個視角的圖像經過變換、拼接、融合 為一個包含各視角圖像內容的大視場全景圖像。在第二類方式中，由于相機獲取的多個視角的圖像之間存在視場大小、方向、亮 度、色彩等方面的差異，一般需要通過兩個步驟才能夠將這些圖像拼接為一幅無縫全景圖 像。第一個步驟是對各個圖像進行投影變換，將它們變換到一個統一的視場中；第二個步驟 是對變換后的各個圖像在它們的公共視場交疊區域進行色彩和亮度的一致性調整，消除圖 像拼接的馬賽克效應，即消除全景圖像中的拼接痕跡。目前對全景圖像中的公共視場交疊區域進行色彩和亮度的一致性調整的技術主 要有下面幾種方式平均值法在兩幅圖像的公共視場重疊區中的像素顏色值是兩幅圖像的顏色值的 平均值。最佳縫合線法在兩幅圖像的公共重疊區域中，尋找出兩幅圖像中那些顏色值和 鄰域幾何結構最相似的點作為縫合線，在縫合線的一側只取其中的一幅圖像的內容，以實 現兩幅圖像的全景拼接。多分辨融合法采用拉普拉斯金字塔型分解、或小波分解將圖像分解為多分辨的 形式，然后在不同分辨級上進行圖像融合，最后將融合后的不同分辨級圖像進行多分辨合 成。漸入漸出法在兩幅圖像的公共重疊區域中，為每一個像素點計算出一個混合加 權系數，該混合加權系數在公共重疊區域中隨位置的不同具有漸變過渡特性，將兩幅圖像 中對應的像素按照混合加權系數進行顏色值加權疊加，以使公共區域的色彩和亮度在兩幅 圖像之間呈現出逐漸過渡的特點。該方法也稱為阿爾法混合法。在上述色彩和亮度的一致性調整方式中，漸入漸出法不僅可以得到無縫漸變的全 景圖像，而且在融合過程中運算相對簡單，可以快速實現，因此使用廣泛。漸入漸出法的關 鍵是混合加權系數的定義和計算。目前的方法中，混合加權系數的計算方式主要包括①沿 圖像的其中一維坐標方向計算混合系數，該方法的主要問題是，在圖像重疊區域邊界的另 外一維坐標方向上會出現明顯的拼接痕跡；②圖像四邊形重疊區域的面積加權法，該方法 假設兩幅圖像的重疊區域為四邊形，首先找出四邊形四個頂點的位置，計算公共區域中的任意像素點與這四個頂點形成的四個三角形的面積，并以此為基礎計算出混合系數。后一 種方法雖然可以克服前面方法的缺點，但它只能對重疊區域為四邊形的情況進行計算，使 得它的使用范圍受到限制。現有漸入漸出融合技術生成全景圖像時，存在無法對公共視場重疊區域為任意幾 何形狀時的情況進行有效融合的問題，以及由于公共視場重疊區域的形狀不同的原因造成 的融合算法不統一的問題。
發明內容
本發明實施例的目的在于提供一種基于圖像融合的全景視頻融合方法，旨在使視 頻融合過程與視場的具體幾何形狀無關，并最終生成無縫全景視頻。本發明實施例是這樣實現的，一種全景視頻融合方法，包括以下步驟步驟al，利用待融合的η個攝像機分別各采集一幅數字視頻圖像，并分別計算采
集到的η幅圖像到全景視場的投影變換，得到η幅圖像的數字化全景鑲嵌視場Vp V2.....
Vn ；其中，所述全景視場由η路視頻中的任意一路視頻的視場在空間坐標方向上進行延拓后 得到；步驟a2，根據步驟al的計算得到的η幅圖像的數字化全景鑲嵌視場\、V2.....
Vn計算所述η幅圖像的全景整體視場Vp ；步驟a3，對所述全景整體視場Vp中的每一個像素點，計算覆蓋所述像素點的所有 的鑲嵌視場的相異視場邊界集合Esk ；步驟a4，計算所述像素點到所述每一個相異視場邊界集合Esk的距離，并進一步根 據計算得到的距離分別計算所述像素點針對于所述每一個相異視場邊界集合Esk相關聯的 鑲嵌視場的融合加權系數Wsk ；步驟a5，根據步驟a4的計算結果計算待融合的η個攝像機的數字化全景鑲嵌視場 V1、V2.....Vn的融合加權系數圖W1、W2.....Wn;步驟a6，計算η個攝像機的數字化全景鑲嵌視場力、V2.....Vn的全景鑲嵌圖T^
TT ·
12、. . . > In ,步驟a7，結合步驟a5計算得到的η個攝像機的數字化全景鑲嵌視場V1J2.....Vn
的融合加權系數圖和步驟a6計算得到的全景鑲嵌圖I\、T2.....Tn，根據如下公式計算瞬時
全景視頻圖像ΤΡ:7；(X) = (X)7； (X)),其中X為全景視場中的像素點。
k=\本發明實施例還提供了一種全景視頻融合系統，包括η路攝像機視頻圖像采集單元，用于采集η路攝像機的瞬時視頻圖像；視場投影變換單元，用于計算待融合的η路攝像機視場到全景視場的投影變換，
并計算這η路攝像機視場的數字化全景鑲嵌視場\、\.....Vn ；其中，所述全景視場由η路
視頻中的任意一路視頻的視場在空間坐標方向上進行延拓后得到；融合加權系數圖計算單元，用于計算全景鑲嵌視場VpV2.....Vn的融合加權系數
圖 H··、wn;鑲嵌圖運算單元，用于對η個攝像機實時采集的瞬時視頻圖像，在投影變換到全景鑲嵌視場后，計算它們在全景視場中的鑲嵌圖I\、T2.....Τη；全景視頻合成單元，用于根據視場融合系數圖Wp W2.....Wn,以及全景鑲嵌圖1\、
T2.....Tn，根據如下公式計算瞬時全景視頻圖像Tp 7； (X) = (X) 7； (X)),其中X為全景視場中的像素點。
k=\本發明實施例還提供了一種包括如上所述的全景視頻融合系統的全景視頻處理 設備。本發明實施例中，全景視頻融合技術的計算過程分為融合系數計算過程、以及全 景視頻合成過程兩個階段；融合系數的計算與攝像機視場的具體幾何形狀、以及攝像機之 間重疊視場的具體幾何形狀無關，且在攝像機參數不變的情況下只需要計算一次；全景視 頻生成過程中不再需要計算融合系數，因此該過程可以快速并行實現。本發明技術可將具 有視場連通的η路攝像機的分立視頻快速融合為無縫整體全景視頻。
圖IA和圖IB是本發明實施例提供的η路視頻的全景視頻融合方法的實現流程 圖；圖2是本發明實施例提供的數字化全景視場中的像素點X、全景基準視場Vb、全景 鑲嵌視場vk、以及全景鑲嵌視場Vk的區域掩模圖Rk的示意圖；圖3是本發明實施例提供的像素點X的3X3鄰域N(X)的示意圖；圖4是本發明實施例提供的在三個鑲嵌視場Vsl、Vs2、Vs3的共同視場重疊區域中的 像素點xs，以及對應于Xs的相異視場邊界Esl、Es2、Es3示意圖；圖5是本發明實施例提供的η路視頻的全景視頻融合系統的結構原理圖。
具體實施例方式為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對 本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，并 不用于限定本發明。本發明實施例可將具有視場連通的η路攝像機的分立視頻快速融合為無縫整體 全景視頻。本發明實施例中，2路攝像機是視場連通的含義是指該2路攝像機的視場在空 間上存在公共重疊區域；視場連通的η路攝像機是指從η路攝像機中取出任意的2路，一 定可以在該η路攝像機中找到一個攝像機序列，該序列的首攝像機是此2路中的其中1路， 該序列的尾攝像機是此2路中的另外1路，該序列中間的攝像機是該η路攝像機中除此2 路攝像機之外的其它路攝像機，且在該序列中的任意相鄰的2個攝像機是視場連通的。本發明實施例中，全景視頻融合技術將計算過程分為融合系數計算過程、以及全 景視頻合成過程兩個階段，整個視頻融合的過程基于圖像融合。一旦η路攝像機的內外參 數，以及攝像機之間的相對位置確定后，融合系數就確定了，只有在上述成像條件發生改變 后，才需要重新計算融合系數。在全景視頻合成過程中，由于不再計算融合系數，因此可以 大大降低運算負荷，另外，由于在全景視頻合成過程中，每一個像素點的融合都可以獨立完 成，不需要周圍像素點的信息，因此融合過程可以并行實現，從而在原理上保證了本發明全
8景視頻融合方法對計算實時性的要求。在本發明實施例中除了假設η路待融合視頻是視場連通的，還假設其中的每個攝 像機視場到全景視場的投影變換矩陣已經得到。現有技術中投影變換矩陣的獲取方法有多種，其中基于尺度不變特征變換(SIFT) 的特征匹配點提取和匹配點對的RANSAC提純方法的投影矩陣計算方法是較佳的一種，它 可以利用公共視場重疊區域的圖像特征點對，自動計算出兩個連通視場之間的投影變換矩 陣，此處不再一一列舉。η路視頻的全景視頻融合中，可以將其中1路視頻的視場作為全景 基準視場，并在空間坐標方向上進行延拓后作為全景視場，然后尋找到其它攝像機的視場 到該全景基準視場的投影變換矩陣。由于本發明實施例已假設η路攝像機是視場連通的， 因此可以用前述方法經適當擴展計算出各攝像機到全景基準視場的投影變換矩陣，此處不 再一一列舉。下面結合實施例對本發明全景視頻融合方法的原理進行詳細描述。圖IA和圖IB示出了本發明實施例提供的η路視頻的全景視頻融合方法的實現流 程，其中，步驟SlOl到步驟S105是融合系數計算過程，步驟S106到步驟S108是全景視頻 合成過程。詳述如下。在步驟SlOl中，對待融合的η個攝像機中的每1個攝像機采集1幅數字視頻圖像，
分別計算這η幅圖像到全景視場的投影變換，得到它們的數字化全景鑲嵌視場VpV2.....
Vn ；并分別用區域掩模圖禮、R2.....Rn來表示鑲嵌視場\、V2.....\。圖2是本發明實施
例提供的數字化全景視場中的像素點X、全景基準視場Vb、全景鑲嵌視場Vk、以及全景鑲嵌 視場Vk的區域掩模圖Rk的示意圖。對應于全景鑲嵌視場Vk的掩模圖Rk的計算如公式(1)，
,、il, XeVk^(Χ) = |0 χ“， k = 1 ， 2 ， . . . ， η
(1)公式⑴中，X = (x, y)，是全景視場中像素點的空間位置坐標。在步驟S102中，計算全景整體視場Vp Vp = V1 U V2 U . . . U Vn其中，U是集合的并運算符號，全景整體視場Vp的掩模圖Rp的計算如公式(2)，
_ /樸ft χ ⑵公式(1)中的Rk (X)、公式(2)中的Rp (X)可以理解為集合的指示函數，表示元素X 是否屬于該集合。因此掩模圖Rk、Rp可以表示像素點的集合。其中，Rp是所有η個鑲嵌視 場的掩模圖Rk，k = 1，2，...，η的并集。附圖2是本發明實施例提供的數字化全景視場中 的像素點X、全景基準視場Vb、全景鑲嵌視場Vk、以及全景鑲嵌視場Vk的區域掩模圖Rk的示 意圖。在步驟S103中，對全景整體視場中的每一個像素點，計算覆蓋該像素點的所有的 鑲嵌視場的相異視場邊界集合Esk。計算過程詳述如下假設給定像素點Xs e Vp,并定義鑲嵌視場Vsk的掩模圖Rsk為
,,il, XeFsit 剛 I(X)= ο, χ《
若Rsk(Xs) = 1，則鑲嵌視場Vsk覆蓋像素點Xs。假定共有m個鑲嵌視場Vsl、Vs2、. Vsm覆蓋點Xs，則xs e Vsl η Vs2 η ... η Vsm，并且這些鑲嵌視場的掩模圖分別為Rs1、Rs2、. Rsffl ；定義針對像素點Xs的局部全景視場Vsd為 局部全景視場Vsd對應的掩模圖Rsd的計算如公式(3) 則關于Xs的鑲嵌視場集合Vsl、Vs2、. Esffl的計算如公式(4)，
相關的相異視場邊界集合Es1、Es2、 在公式(4)中，k = 1，2，. . .，m, Π是連乘積運算符，Σ是累加和運算符。N⑴是 X的以X為中心的3X3鄰域，是一個由9個元素組成的集合，請參閱附圖3，其中在公式⑷ 中的X5 = XS。Esk(X)可以看成是集合Esk的指示函數。圖4是本發明實施例提供的在三個 鑲嵌視場Vsl、Vs2、Vs3的共同視場重疊區域中的像素點Xs，以及對應于\的相異視場邊界Esl、
Es2、Egg /J、眉、ο在步驟S104中，計算像素點Xs到相異視場邊界集合Esl、Es2.....Esffl的距離dsl、
ds2.....dsm，并根據距離dsl、ds2.....dsm，分別計算Xs針對于鑲嵌視場Vsl、Vs2.....Vsm的融
合加權系數wsl、ws2、. . .、Wsm0具體如下距離dsk(Xs)，k = 1，2，· · ·，m，的具體計算如公式(5) 公式(5)中，min{ · }是求集合中最小元素的運算，Rsk是鑲嵌視場Vsk的掩模圖，
也可以看成是Vsk的像素點集合，I IXs-XiI I是公共重疊區域中的點Xs到相異邊界集合中的 點Xi之間的距離運算。假設Xs= (x, y), Xi = (Xi，yi)，采用歐氏距離，則具體距離的計算 如公式(6) 在公式(5)中，dsk(Xs)的實質是一種點到集合之間的距離。dsk(Xs)定義為點\到 集合Esk中與其距離最近的點之間的距離。由dsk(Xs)，k = 1，2，. . .，m計算Xs針對于鑲嵌 視場Vsk的融合加權系數wsk，k= 1,2,... ,m如公式(7)
(7)在步驟S103和S104中，若m = 1，即像素點X e Vp只被1個視場Vs覆蓋時，則 在步驟S105中，計算待融合的η個攝像機的鑲嵌視場V1J2.....Vn的融合加權系CN 101931772 A
說明書6/7頁
數圖Wi、W2.....Wn。計算公式如公式(8)所示 在公式(8)中，U、η分別是集合的并、交運算符；公式(8)中，第1個式子的條件 是像素點X只被視場Vk覆蓋；第2個式子的條件是像素點X被m > 2個視場覆蓋，且Vk 是這m個視場中的其中一個；第3個式子的條件是視場Vk不覆蓋像素點X。公式(8)第2 個式子中的Wsk(X)由所述步驟S103和S104中的公式⑷、(5)、(7)計算得到。使用公式⑶對所有X e Vp計算的對應于全景鑲嵌視場Vp V2.....Vn的W1⑴、
W2(X).....Wn(X)稱為融合加權系數圖。融合加權系數圖在η個攝像機的內部參數和攝像
機之間相對視場參數不變的情況下保持不變，因此，融合加權系數圖在全景視頻融合中只 需要計算1次，除非攝像機的內外參數發生變化后，需要重新計算。存儲計算出的融合加權系數圖WpW2.....Wn,以便后續查表使用。步驟S106 對η個攝像機實時采集的圖像投影變換到全景鑲嵌視場\、\.....Vn,
計算它們在全景視場中的鑲嵌圖TpT2.....τη。本發明中所述的待融合圖像和融合后的全景圖像都是數字圖像，由于數字圖像具 有離散的特點，在圖像投影變換到全景視場后得到的鑲嵌圖中，某些像素點可能是空缺的， 因此需要使用圖像插值方法補全那些空缺的像素點。現有技術中，圖像的插值方法有多種， 其中的雙線性插值方法是較佳的一種，此處不再一一列舉。應當注意的是，步驟S106的運算與前述計算各個融合加權系數圖W1J2.....Wn的
運算無直接關系，可以獨立進行步驟S106的運算。步驟S107 根據視場融合系數圖W^W2.....Wn,以及全景鑲嵌圖I\、T2.....Tn，計
算瞬時全景視頻圖像，計算公式如公式(9)所示 步驟S108 重復循環執行步驟S106和步驟S107即可得到融合后的全景視頻。所述公式(1)-(9)的計算過程中，并未涉及η個攝像機視場、攝像機的全景鑲嵌視 場、以及全景鑲嵌視場的公共視場重疊區域的具體幾何形狀。因此本發明所述的視頻融合 方法是一種與視頻圖像視場具體幾何形狀，以及視場重疊區域具體幾何形狀無關的方法， 是一種通用的融合方法。本發明所述全景視頻融合方法非常適合解決這類多攝像機，且公 共重疊區域具有非規則幾何形狀的全景視頻融合問題。本領域普通技術人員可以理解實現上述各實施例提供的方法中的全部或部分步 驟可以通過程序指令及相關的硬件來完成，所述的程序可以存儲于一計算機可讀取存儲介 質中，該存儲介質可以為ROM/RAM、磁盤、光盤等。圖5示出了本發明實施例提供的全景視頻融合系統的結構原理，為了便于描述， 僅示出了與本實施例相關的部分。此全景視頻融合系統可以為內置于全景視頻處理設備中的軟件單元、硬件單元或軟硬件結合的單元。參照圖5，η路攝像機視頻圖像采集單元51，用于采集η路攝像機的瞬時視頻圖 像；視場投影變換單元52，用于計算待融合的η路攝像機視場到全景視場的投影變換，并計
算這η路攝像機視場的數字化全景鑲嵌視場Vp V2.....Vn ；融合加權系數圖計算單元53，
用于計算全景鑲嵌視場\、\.....Vn的融合加權系數圖WpW2.....Wn ；融合加權系數圖存
儲單元54，存儲計算出的融合加權系數圖WpW2.....Wn，以便后續查表使用；鑲嵌圖運算單
元55，用于對η個攝像機實時采集的瞬時視頻圖像，在投影變換到全景鑲嵌視場后，計算它
們在全景視場中的鑲嵌圖1\、T2.....Τη。全景視頻合成單元56，用于根據視場融合系數圖
W1^ff2.....Wn,以及全景鑲嵌圖1\、T2.....Tn,計算瞬時全景視頻圖像Τρ。其中，上述各模塊進行全景視頻參數運算及融合運算的原理如上文所述，此處不 再贅述。本發明實施例中，全景視頻融合的過程基于圖像融合，具體地，計算待融合的η路 攝像機視場到全景視場的投影變換，并計算這η路攝像機視場的數字化全景鑲嵌視場Vp
V2.....Vn ；計算全景鑲嵌視場\、\.....Vn的融合加權系數圖U.....Wn ；對η路攝像
機實時采集的圖像投影變換到全景鑲嵌視場，計算它們在全景視場中的鑲嵌圖1\、T2.....
Tn ；根據視場融合系數圖WpW2.....Wn,以及全景鑲嵌圖 \、Τ2.....τη，計算瞬時全景視頻。
本發明提供的全景視頻融合技術的計算過程分為融合系數計算過程、以及全景視頻合成過 程兩個階段；融合系數的計算與攝像機視場的具體幾何形狀、以及攝像機之間重疊視場的 具體幾何形狀無關，且在攝像機參數不變的情況下只需要計算一次；全景視頻合成過程中 不再需要計算融合系數，因此該過程可以快速并行實現。本發明實施例解決了現有融合方 法在m(n路攝像機的共同公共重疊視場區域、且重疊區域幾何形狀為任意時，無
法很好地對該共同公共重疊視場區域的m路視頻圖像進行全景融合的問題，實現了一種通 用的將具有視場連通的η路攝像機的分立視頻快速融合為無縫整體全景視頻的方法。以上所述僅為本發明的較佳實施例而已，并不用以限制本發明，凡在本發明的精 神和原則之內所作的任何修改、等同替換和改進等，均應包含在本發明的保護范圍之內。
權利要求
一種全景視頻融合方法，其特征在于，包括以下步驟步驟a1，利用待融合的n個攝像機分別各采集一幅數字視頻圖像，并分別計算采集到的n幅圖像到全景視場的投影變換，得到n幅圖像的數字化全景鑲嵌視場V1、V2、...、Vn；其中，所述全景視場由n路視頻中的任意一路視頻的視場在空間坐標方向上進行延拓后得到；步驟a2，根據步驟a1的計算得到的n幅圖像的數字化全景鑲嵌視場V1、V2、...、Vn計算所述n幅圖像的全景整體視場VP；步驟a3，對所述全景整體視場VP中的每一個像素點，計算覆蓋所述像素點的所有的鑲嵌視場的相異視場邊界集合Esk；步驟a4，計算所述像素點到每一個相異視場邊界集合Esk的距離，并進一步根據計算得到的距離分別計算所述像素點針對于所述每一個相異視場邊界集合Esk相關聯的鑲嵌視場的融合加權系數wsk；步驟a5，根據步驟a4的計算結果計算待融合的n個攝像機的數字化全景鑲嵌視場V1、V2、...、Vn的融合加權系數圖W1、W2、...、Wn；步驟a6，計算n個攝像機的視頻圖像在所述數字化全景鑲嵌視場V1、V2、...、Vn中的全景鑲嵌圖T1、T2、...、Tn；步驟a7，結合步驟a5計算得到的n個攝像機的數字化全景鑲嵌視場V1、V2、...、Vn的融合加權系數圖和步驟a6計算得到的全景鑲嵌圖T1、T2、...、Tn，根據如下公式計算瞬時全景視頻圖像TP <mrow><msub> <mi>T</mi> <mi>p</mi></msub><mrow> <mo>(</mo> <mi>X</mi> <mo>)</mo></mrow><mo>=</mo><munderover> <mi>Σ</mi> <mrow><mi>k</mi><mo>=</mo><mn>1</mn> </mrow> <mi>n</mi></munderover><mrow> <mo>(</mo> <msub><mi>W</mi><mi>k</mi> </msub> <mrow><mo>(</mo><mi>X</mi><mo>)</mo> </mrow> <msub><mi>T</mi><mi>k</mi> </msub> <mrow><mo>(</mo><mi>X</mi><mo>)</mo> </mrow> <mo>)</mo></mrow><mo>,</mo> </mrow>其中X為全景視場中的像素點。
2.如權利要求1所述的方法，其特征在于，步驟a2中通過以下公式計算所述η幅圖像 的全景整體視場Vp 其中，U是集合的并運算符號。
3.如權利要求1所述的方法，其特征在于，所述步驟a3具體為假設給定像素點Xs e Vp,并定義鑲嵌視場Vsk的掩模圖Rsk為 二則若Rsk(Xs) = 1，則鑲嵌視場Vsk覆蓋像素點Xs，假定共有m個鑲嵌視場Vsl、Vs2..... ，其中，η是集合的交運算符號；并且這些鑲嵌視場的掩模圖分別為Rsl、Rs2.....Rsffl ；定義針對所述像素點Xs的局部全景視場Vsp為 所述局部全景視場Vsp對應的掩模圖Rsp的計算公式如下 R (X)-J1' Χ《則關于所述Xs的鑲嵌視場集合Vsl、vs2.....Vsffl相關的相異視場邊界集合Es1、Es2.....Esffl的計算公式如下2若Kk⑷ Π RAX>)=1,且1 < Yj Rsk (Xi) <9 ,則 Esk(Xs) = 1，否則 Esk (Xs)= Χ,^(Χ,)0，其中，k= 1，2，...，m，Π是連乘積運算符，Σ是累加和運算符，N (X)是X的以X為中心的 3X3鄰域，是一個由9個元素組成的集合。
4.如權利要求1所述的方法，其特征在于，在所述步驟a4中，所述像素點到所述每一個 相異視場邊界集合的距離dsk根據如下公式計算得到 dsk (Xs) = min {I I Xs-Xi I I，Xi e EsJ，X.s e f)L Rsk其中，k = 1，2，. . .，m，min{ · }是求集合中最小元素的運算，Rsk是鑲嵌視場Vsk的掩 模圖，也可以看成是Vsk的像素點集合，I IXs-XiI I是公共重疊區域中的點Xs到相異邊界集 合中的點&之間的距離運算；假設Xs= (X，y)，Xi= (Xi，yi)，采用歐氏距離，則具體距離的 計算公式如下|X 廠 X,|| = V(x-x,)2+(少-少,)2其中，dsk(Xs)的實質是一種點到集合之間的距離，dsk(Xs)定義為點Xs到集合Esk中與其距離最近的點之間的距離；在所述步驟a4中，所述像素點針對于所述每一個相異視場邊界集合Esk相關聯的鑲嵌視場的融合加權系數的計算過程如下/γ、_ 心(Xy) wsk I1^vJ _ T=T^~, 、 ’ k = 1, 2, . . . , m。
5.如權利要求4所述的方法，其特征在于，所述步驟a5具體通過如下公式計算得到待融合的η個攝像機的數字化全景鑲嵌視場Vp V2.....Vn的融合加權系數圖‘1,Wk (X) 二 (X), X € 門；:丨 Kw,且 K4 6 化丨義2,…,Vsm} 0,XiVk其中，U、η分別是集合的并、交運算符；第ι個式子的條件是像素點χ只被視場Vk覆 蓋；第2個式子的條件是像素點X被m > 2個視場覆蓋，且Vk是這m個視場中的其中一個； 第3個式子的條件是視場Vk不覆蓋像素點X。
6.一種全景視頻融合系統，其特征在于，包括η路攝像機視頻圖像采集單元，用于采集η路攝像機的瞬時視頻圖像；視場投影變換單元，用于計算待融合的η路攝像機視場到全景視場的投影變換，并計算這η路攝像機視場的數字化全景鑲嵌視場V1J2.....Vn ；其中，所述全景視場由η路視頻中的任意一路視頻的視場在空間坐標方向上進行延拓后得到；融合加權系數圖計算單元，用于計算全景鑲嵌視場\、\.....Vn的融合加權系數圖W”W。、· · ·、Wn \鑲嵌圖運算單元，用于對η個攝像機實時采集的瞬時視頻圖像，在投影變換到全景鑲嵌視場后，計算它們在全景視場中的鑲嵌圖Ι\、Τ2.....Τη；全景視頻合成單元，用于根據視場融合系數圖Wp W2.....Wn,以及全景鑲嵌圖TpT2.....Tn，根據如下公式計算瞬時全景視頻圖像Tp 其中X為全景視場中的像素點。
7.如權利要求6所述的全景視頻融合系統，其特征在于，還包括融合加權系數圖存儲單元，用于所述存儲融合加權系數圖計算單元計算出的融合加權 系數圖 Α、ν2、...、Wn。
8.如權利要求6所述的全景視頻融合系統，其特征在于，所述融合加權系數圖計算單元具體通過以下方式計算得到全景鑲嵌視場Vp V2.....Vn的融合加權系數圖Wp W2..... 首先通過以下公式計算所述η幅圖像的全景整體視場Vp Vp = V1 U V2 U . . . U Vn，其中，U是集合的并運算符號；然后對所述全景整體視場Vp中的每一個像素點，通過以下公式計算覆蓋所述像素點的 所有的鑲嵌視場的相異視場邊界集合Esk 假設給定像素點Xs e Vp,并定義鑲嵌視場Vsk的掩模圖Rsk為 則若Rsk(Xs) = 1，則鑲嵌視場Vsk覆蓋像素點Xs，假定共有m個鑲嵌視場Vsl、Vs2.....Vsm覆蓋點Xs，則Xs e Vsl η vs2 η ... η Vsm，其中，η是集合的交運算符號；并且這些鑲嵌視場的掩模圖分別為Rsl、Rs2.....Rsffl ；定義針對所述像素點Xs的局部全景視場Vsp為Vsp = Vsl U Vs2 U . . . U Vsffl所述局部全景視場Vsp對應的掩模圖Rsp的計算公式如下 則關于Xs的鑲嵌視場集合vsl、Vs2.....Vsffl相關的相異視場邊界集合Esl、Es2.....Esffl的計算公式如下 若 否則 ，其中，k= 1，2，...，m，Π是連乘積運算符，Σ是累加和運算符，N (X)是X的以X為中心的 3X3鄰域，是一個由9個元素組成的集合；再根據如下公式計算得到所述像素點到所述每一個相異視場邊界集合的距離dsk dsk (Xs) = min {I I Xs-Xi I I，Xi e EsJ，X., e QL 氣,其中，k = 1，2，. . .，m，min{ · }是求集合中最小元素的運算，Rsk是鑲嵌視場Vsk的掩 模圖，也可以看成是Vsk的像素點集合，I IXs-XiI I是公共重疊區域中的點Xs到相異邊界集 合中的點&之間的距離運算；假設Xs= (X，y)，Xi= (Xi，yi)，采用歐氏距離，則具體距離的 計算公式如下 其中，dsk(Xs)的實質是一種點到集合之間的距離，dsk(Xs)定義為點Xs到集合Esk中與 其距離最近的點之間的距離；再根據如下公式計算得到所述像素點針對于所述每一個相異視場邊界集合Esk相關聯的鑲嵌視場的融合加權系數wSk \As) - ^^Γ~7ΓΤΤ ‘ k = 1, 2, . . . , m ；λ,=Λ'(Χ、)最后通過如下公式計算得到待融合的η個攝像機的數字化全景鑲嵌視場V1J2.....Vn的融合加權系數圖ι,叫-U』%(X)= < (X)，Xe Ail1 Vsi,&Vke{VsVVs2,-;Vsm} 0,X^VkS其中，U、η分別是集合的并、交運算符；第ι個式子的條件是像素點χ只被視場Vk覆 蓋；第2個式子的條件是像素點X被m > 2個視場覆蓋，且Vk是這m個視場中的其中一個； 第3個式子的條件是視場Vk不覆蓋像素點X。
9. 一種全景視頻處理設備，其特征在于，包括如權利要求6至8任一項所述的全景視頻 融合系統。
全文摘要
本發明適用于視頻處理技術領域，提供了一種全景視頻融合方法，包括以下步驟計算待融合的n路攝像機視場到全景視場的投影變換，并計算這n路攝像機視場的數字化全景鑲嵌視場V1、V2、...、Vn；計算全景鑲嵌視場V1、V2、...、Vn的融合加權系數圖W1、W2、...、Wn；對n路攝像機實時采集的圖像投影變換到全景鑲嵌視場，計算它們在全景視場中的鑲嵌圖T1、T2、...、Tn；根據視場融合系數圖W1、W2、...、Wn，以及全景鑲嵌圖T1、T2、...、Tn，計算瞬時全景視頻。本發明提供的全景視頻融合技術的原理與攝像機視場的具體幾何形狀、以及攝像機之間重疊視場的具體幾何形狀無關，且在攝像機參數不變的情況下只需要計算一次，因此該過程可以快速并行實現。
文檔編號H04N5/262GK101931772SQ201010258078
公開日2010年12月29日 申請日期2010年8月19日 優先權日2010年8月19日
發明者楊烜, 裴繼紅, 謝維信 申請人:深圳大學