基于圍繞漸變拼縫區域平面掃描的視頻拼接方法
【技術領域】：
[0001] 本發明屬于圖像信息處理領域，涉及視頻拼接方法，尤其涉及基于圍繞漸變拼縫 區域平面掃描的視頻拼接方法。
【背景技術】
[0002] 圖像視頻拼接是計算機視覺學科的一個重要研宄方向，受到了廣泛的關注和深入 的研宄。其中，圖像拼接已經是一個較成熟的研宄領域，目前已有一系列針對不同應用需求 的理論和方法被各國學者提出，并取得了良好的實驗效果。而視頻拼接的問題規模和復雜 度都遠高于圖像拼接，限于相關理論基礎和硬件設備的處理能力，相關研宄還處在起步階 段。
[0003] 對于一組已完成配準的圖像，傳統的圖像拼接方法首先在重疊區域選擇一條最優 拼縫，然后沿拼縫對圖像進行融合完成不同圖像之間的平滑過渡。但當源圖像之間存在視 差時，即由于各臺相機的光心不完全重合造成的同一場景在不同攝像機拍攝中的成像差 異，通過投影變換映射到同一觀察平面的各路圖像并不能完全重合，即存在結構偏差。為消 除結構偏差，研宄者們提出了包括平面掃描在內的一系列方法。平面掃面方法在尋找最優 拼縫之前先通過多次假設被拍攝場景的深度并比較不同深度下圖像的匹配程度，得到重疊 區域局部的深度信息，再根據深度信息投影圖像到觀察平面，配合后續的拼縫選擇和圖像 融合，完成帶有視差情況下的圖像拼接。
[0004] 與圖像拼接相比，視頻拼接對算法運行速度的要求較高，且需要相保證相鄰幀之 間一致性。圖像拼接中的平面掃描方法并不滿足上述要求，因此不能直接應用于視頻拼接。 而且考慮到圖像或視頻幀融合時拼縫兩側的圖像主要取自不同的源圖像，只有靠近拼縫的 區域才會同時用到兩幅源圖像的信息，因此求解整個重疊區域的深度信息是不必要的。在 視頻拼接中有效利用這一點，能夠顯著加快拼接速度。
【發明內容】
[0005] 本發明針對視頻拼接中多攝像機光心不重合造成的視差問題，提出了一種基于圍 繞漸變拼縫區域平面掃描的視頻拼接方法，其能夠在保持視頻幀間一致性的前提下消除視 差的影響，完成快速高質量的視頻拼接。本發明所采用的策略是結合視頻拼接中的漸變拼 縫和平面掃描，將平面掃描的范圍縮減到拼縫附近的窄帶狀區域，再將所得拼縫位置的偏 移信息線性擴散到重疊區域的其它部分，據此對視頻幀作變形并融合以完成當前幀的拼 接。
[0006] 本發明首先利用已有的攝像機標定信息矯正相鄰的兩幅視頻幀，然后基于重疊區 域的圖像信息與前一幀的拼縫，得到當前幀的拼縫位置，再在圍繞拼縫的窄帶狀區域運行 平面掃描，最后根據平面掃描所得結果對圖像進行形變并融合。
[0007] 具體地，本發明采用的技術方案是：
[0008] 一種基于圍繞漸變拼縫區域平面掃描的視頻拼接方法，包括以下步驟：
[0009] SI.沿基線方向矯正相鄰的兩幅視頻幀，將兩幅圖像之間的二維偏移關系簡化到 水平方向；
[0010] S2.在Sl中得到的矯正后圖像的重疊區域運行基于圖像差異和潛在匹配不確定 性的漸變拼縫選擇算法；
[0011] S3.以在S2中得到的漸變拼縫為中心取一定寬度的窄帶狀區域，在該區域運行平 面掃描算法，得到拼縫位置的像素偏移；
[0012] S4.將S3中得到的拼縫位置的像素偏移線性擴散到重疊區域的其他部分，并根據 整個重疊區域的偏移對圖像進行形變。
[0013] S5.融合重疊區域的圖像，并與非重疊區域的圖像組合得到當前一組視頻幀的拼 接圖像。
[0014] 進一步地，所述步驟Sl的具體方法包括：
[0015] 對于兩臺已完成標定的攝像機，其內參數矩陣1，K2，以及兩攝像機之間的旋轉矩 陣R= [ri，r2,r3]和平移向量T已知，則被拍攝場景中的一點P在兩相機坐標系中坐標Xa 與Xe2的關系為
[0016] Xci =RXC2+T
[0017] 圖像矯正需要將兩相機坐標系變換為新的具有平行光軸的兩個虛擬相機坐標系 下，兩虛擬相機坐標系的基向量在第一臺攝像機坐標系下的表述均為：
【主權項】
1. 一種基于圍繞漸變拼縫區域平面掃描的視頻拼接方法，其特征在于包括w下步驟：
51. 沿基線方向矯正相鄰的兩幅視頻帖，將兩幅圖像之間的二維偏移關系簡化到水平 方向；
52. 在S1中得到的矯正后圖像的重疊區域運行基于圖像差異和潛在匹配不確定性的 漸變拼縫選擇算法； 53. W在S2中得到的漸變拼縫為中屯、取一定寬度的窄帶狀區域，在該區域運行平面掃 描算法，得到拼縫位置的像素偏移；
54. 將S3中得到的拼縫位置的像素偏移線性擴散到重疊區域的其他部分，并根據整個 重疊區域的偏移對圖像進行形變；
55. 融合重疊區域的圖像，并與非重疊區域的圖像組合得到當前一組視頻帖的拼接圖 像。
2. 根據權利要求1所述的基于圍繞漸變拼縫區域平面掃描的視頻拼接方法，其特征在 于：所述步驟S1的具體方法包括： 對于兩臺已完成標定的攝像機，其內參數矩陣Ki，K2,W及兩攝像機之間的旋轉矩陣R=b，r2，r3]和平移向量T已知，則被拍攝場景中的一點P在兩相機坐標系中坐標而1與X。 的關系為 Xci= RXc2+t 圖像矯正需要將兩相機坐標系變換為新的具有平行光軸的兩個虛擬相機坐標系下，兩 虛擬相機坐標系的基向量在第一臺攝像機坐標系下的表述均為：
其中11 ?II表示取向量模；則兩虛擬相機坐標系的旋轉矩陣均為Rv=by,IVig，平 移向量分別為0與T;則P點在兩虛擬相機坐標系中的坐標Xva，Xvc2與對應的原攝像機坐標 系中的坐標Xci，Xc2之間的變換關系為：
設P點在兩攝像機的圖像坐標系中的坐標分別為Xi= (x^yi，l)T，X2= ^2,72，1)了，則 有：
其中，與Z分別為點P在兩攝像機坐標系中的深度坐標，是未知量；上式等價于：
其中，-表示等比關系；設兩虛擬攝像機的內參數矩陣均為Kv，則兩虛擬攝像機的圖像 坐標Xvi= (X…1)T，Xy2= (Xy2，yY2, 1)T與對應的真實攝像機的圖像坐標Xi，X2之間變換 關系為：
使用上