專利名稱：一種基于多攝像機的視頻實時拼接方法
技術(shù)領(lǐng)域：
本發(fā)明屬于智能交通的視頻監(jiān)控領(lǐng)域，是基于計算機視覺的監(jiān)控范圍擴展技術(shù)。
背景技術(shù)：
目前的拼接技術(shù)主要應(yīng)用在交通行業(yè)的視頻實時監(jiān)控領(lǐng)域，研究也主要集中在對 攝像機位置相對固定的交通監(jiān)控視頻的拼接上。算法相對比較成熟的是對靜態(tài)圖像的拼 接，視頻拼接技術(shù)主要利用視頻圖像幀間的相關(guān)性，拼接過程中涉及到大量的計算，這就需 要在保證畫面質(zhì)量的前提下，選取一種快速的匹配算法，以減少整個視頻拼接的計算量，提 高視頻拼接速度。關(guān)于視頻拼接原理和方法國內(nèi)外已有不少的論文發(fā)表，但是現(xiàn)在還沒有 通用的能夠達到實時處理速度的視頻拼接軟件以及產(chǎn)品出現(xiàn)。
發(fā)明內(nèi)容
本發(fā)明的目的是提供一種基于多攝像機的視頻實時拼接方法，以解決視頻單幀圖 像拼接計算量大以及視頻拼接速度慢等技術(shù)問題。本發(fā)明所述的一種基于多攝像機的視頻實時拼接方法，硬件是基于多攝像機的交 通監(jiān)控視頻拼接裝置，主要包括處理器、視頻采集模塊、電源模塊、顯示模塊和存儲模塊，其 步驟如下步驟1、啟動操作，獲取同步多路視頻數(shù)據(jù)；步驟2、對同一時刻的幀圖像進行預(yù)處理把彩色圖像變成256灰度的灰度圖像， 并對圖像采用直方圖均衡的方法進行圖像增強處理；步驟3、采用SURF算法進行對應(yīng)幀圖像特征點的提??；步驟4、采用最近鄰匹配法、隨機抽樣一致性匹配算法求出視頻初始對應(yīng)幀間的單 應(yīng)性矩陣；步驟5、求解視頻初始k幀的最優(yōu)單應(yīng)性矩陣步驟5-1、確定拼接圖像的重疊區(qū)域按照圖像的透視映射關(guān)系，根據(jù)單應(yīng)性矩陣得到保留特征點在另一對應(yīng)幀圖像的 匹配點；如果計算出的匹配點沒有落在圖像內(nèi)，說明這一點并不在兩幅圖像的重疊區(qū)內(nèi)，反 之，如果特征點映射前后都落在圖像內(nèi)，說明它處在重疊區(qū)內(nèi)；用這種方法遍歷一遍，即對 一幅圖像中所有保留特征點進行透視映射變換，得到映射對應(yīng)特征點確定的區(qū)域。取以另 一幅圖像的邊緣為邊界，取重疊區(qū)的最小內(nèi)接多邊形作為重疊區(qū)域；步驟5-2、求取前k幀對應(yīng)幀拼接圖像重疊區(qū)域的相似度相似度測度由歸一化協(xié)方差相關(guān)函數(shù)來定義，如下公式1所述
w h
C(A，I2) =
ZZ[J1 (h Ji)~h(h，7i)JX Vi(h Ji)~h(h，h)
1
w h r_-I" I \ w n _
ZZ[A(A，義)-A(hJi)\ x ZZ[J2(hJ2)-h(h，h)
w h
)n=0
I w=0w=0
式中，w，k為重疊區(qū)的寬高。顯然，相似度C取值范圍是(_1，1)，取值越大說明重 疊區(qū)相關(guān)程度越高；步驟5-3、確定前k幀的最優(yōu)單應(yīng)性矩陣對連續(xù)前k幀重疊區(qū)域相似度值求極大值，把相關(guān)性最高的圖像幀的單應(yīng)性矩陣 作為最優(yōu)的單應(yīng)性矩陣，并將其作為后繼幀的單應(yīng)性矩陣；步驟6、根據(jù)最優(yōu)的單應(yīng)性矩陣進行后繼視頻幀場景的拼接；步驟7、輸出拼接后的視頻。如上步驟2所述的圖像灰度化是利用下式加權(quán)平均法的公式進行變換，把彩色圖 像變成256灰度級別的灰度圖像 f (i, j) = 0. 3*R(i，j) +0. 59*G(i，j) +0. 11*B(i，j)。如上步驟2所述對圖像進行非線性拉伸來增加圖像灰度值的動態(tài)范圍，增加對比 度是采用直方圖均衡化，其步驟步驟2-1、統(tǒng)計圖像中灰度級為k的像素個數(shù)為nk ；步驟2-2、計算直方圖中應(yīng)變量的值pk = nk/(MXN)；步驟2-3、計算累計直方圖中應(yīng)變量的值sk =E pk ；步驟2-4、確定映射對應(yīng)關(guān)系尋找i (i = 0，1，~，L)使其滿足i/L((按四舍五入 取正整數(shù))與sk最為接近；步驟2-5、將原圖像中灰度級為k的象素的值改為i ；其中L是灰度層次數(shù)，MXN是圖像尺寸。上述步驟3所述采用SURF算法進行對應(yīng)幀特征點的提取包括步驟3-1、尺度空間極值檢測，以初步確定特征點位置和所在尺度；在原始圖像 上，通過擴大方框的大小形成不同尺度的圖像金字塔，構(gòu)造方框濾波模板；構(gòu)建尺度空間的 圖像金字塔，形成金字塔形的三 維像素空間；計算每一點的delta值；所述的計算每一點的delta值方法如下Hessian 矩陣為
權(quán)利要求
1. 一種基于多攝像機的視頻實時拼接方法，硬件是基于多攝像機的交通監(jiān)控視頻拼接 裝置，主要包括處理器、視頻采集模塊、電源模塊、顯示模塊和存儲模塊；其步驟如下 步驟1、啟動操作，獲取同步多路視頻數(shù)據(jù)；步驟2、對同一時刻的幀圖像進行預(yù)處理把彩色圖像變成256灰度的灰度圖像，并采 用直方圖均衡方法對圖像進行增強處理；步驟3、采用SURF算法進行對應(yīng)幀特征點的提??；步驟4、采用最近鄰匹配法、隨機抽樣一致性匹配算法對視頻圖像對應(yīng)幀的特征點對進 行匹配；步驟5、求解視頻初始k幀的最優(yōu)單應(yīng)性矩陣 步驟5-1、確定拼接圖像的重疊區(qū)域按照圖像的透視映射關(guān)系，根據(jù)單應(yīng)性矩陣得到保留特征點在另一對應(yīng)幀圖像的匹配 點；如果計算出的匹配點沒有落在圖像內(nèi)，說明這一點并不在兩幅圖像的重疊區(qū)內(nèi)，反之， 如果特征點映射前后都落在圖像內(nèi)，說明它處在重疊區(qū)內(nèi)；用這種方法遍歷一遍，即對一幅 圖像中所有保留特征點進行透視映射變換，得到映射對應(yīng)特征點確定的區(qū)域；取以另一幅 圖像的邊緣為邊界，取重疊區(qū)的最小內(nèi)接多邊形作為重疊區(qū)域； 步驟5-2、求取前k幀對應(yīng)圖像拼接重疊區(qū)域的相似度 相似度測度由歸一化協(xié)方差相關(guān)函數(shù)來定義，如下公式1所述
2.根據(jù)權(quán)利要求1所述的一種基于多攝像機的視頻實時拼接方法，所述的圖像灰度化 是利用下式加權(quán)平均法的公式進行變換，把彩色圖像變成256灰度級別的灰度圖像f (i, j) = 0. 3*R(i，j)+0. 59*G(i，j)+0. ll*B(i，j)。
3.根據(jù)權(quán)利要求1所述的一種基于多攝像機的視頻實時拼接方法，對圖像進行增強處 理，采用直方圖均衡方法來擴大圖像灰度的動態(tài)范圍，其步驟步驟2-1統(tǒng)計圖像中灰度級為k的像素個數(shù)為nk ； 步驟2-2計算直方圖中應(yīng)變量的值pk = nk/(MXN)； 步驟2-3計算累計直方圖中應(yīng)變量的值sk =E pk ；步驟2-4確定映射對應(yīng)關(guān)系尋找i (i = 0，1，~，L)使其滿足i/L，與sk最為接近； 步驟2-5將原圖像中灰度級為k的象素的值改為i ；其中L是灰度層次數(shù)，MXN是圖像尺寸。
4.根據(jù)權(quán)利要求1所述的一種基于多攝像機的視頻實時拼接方法，所述采用SURF算法 進行對應(yīng)幀特征點的提取包括步驟3-1、尺度空間極值檢測，以初步確定特征點位置和所在尺度；在原始圖像上，通 過擴大方框的大小形成不同尺度的圖像金字塔，構(gòu)造方框濾波模板；構(gòu)建尺度空間的圖像 金字塔，形成金字塔形的三維像素空間；計算每一點的delta值；所述的計算每一點的delta值方法如下Hessian矩陣為 (D ,D )
5.根據(jù)權(quán)利要求1所述的一種基于多攝像機的視頻實時拼接方法，采用最近鄰匹配 法、隨機抽樣一致性匹配算法對視頻圖像對應(yīng)幀的特征點對進行匹配，包括步驟4-1、最近鄰匹配法，對源圖像每一個特征點，計算其與對應(yīng)幀圖像匹配特征點的 距離；采用優(yōu)先k-d樹進行優(yōu)先搜索，查找每個特征點的2個近似最近鄰特征點；把特征點 的最近鄰距離與次近鄰距離的比值作為特征點間是否匹配的依據(jù)；如果比值小于某個比例 閾值，則接受這一對匹配點；步驟4-2、隨機抽樣一致性匹配算法，重復(fù)采樣n次，隨機取出4組對應(yīng)點對組成一個樣 本，并計算單應(yīng)性矩陣H;步驟4-3、單應(yīng)性矩陣的計算公式令I(lǐng)是空間中一個平面，它在兩個視點下的成像分別記為II、12，[x y 1]T G Ip [X Y 1]T G I2是任意一對對應(yīng)點，則圖像L和圖像12變換關(guān)系可用公式L = kHX 12表示，具體為
全文摘要
本發(fā)明公開了一種基于多攝像機的視頻實時拼接方法，其步驟如下獲取同步多路視頻數(shù)據(jù)；對同一時刻的幀圖像進行預(yù)處理把彩色圖像變成灰度圖像；進行圖像增強處理，采用直方圖均衡方法擴大圖像灰度的動態(tài)范圍；采用SURF算法進行對應(yīng)幀特征點的提??；采用最近鄰匹配法、隨機抽樣一致性匹配算法求出視頻對應(yīng)幀圖像間匹配特征點對；求解視頻初始k幀的最優(yōu)單應(yīng)性矩陣根據(jù)匹配后的特征點對確定拼接重疊區(qū)域；把重疊區(qū)域相似度最大的幀對應(yīng)的單應(yīng)性矩陣作為最優(yōu)的單應(yīng)性矩陣，據(jù)此進行后繼視頻幀場景的拼接；輸出拼接后的視頻。本發(fā)明可以減少視頻幀單幀圖像拼接的計算量并提高交通監(jiān)控視頻拼接速度，達到實時處理效果。
文檔編號H04N7/18GK102006425SQ20101058739
公開日2011年4月6日 申請日期2010年12月13日 優(yōu)先權(quán)日2010年12月13日
發(fā)明者孔濤, 張春雨, 李斌, 汪林, 蔡勝昔, 蔡蕾, 齊彤巖 申請人:交通運輸部公路科學(xué)研究所