專利名稱：一種基于自適應邊緣匹配及局部流處理算法的視頻一致性監測技術的制作方法
技術領域：
本發明涉及一種基于自適應邊緣匹配及局部流處理算法的視頻一致性監測技 術，是一種數字圖像處理的技術，是一種數字圖像識別及匹配的技術。
背景技術：
在電視臺播出系統中，為了提高系統的可靠性和穩健性，關鍵性設備常常做主 備方案即為關鍵設備提供一個備用設備。主設備和備用設備都為控制系統所控制。例 如，一旦主播設備發生意外，控制系統會自動切換到備播設備并將備播信號切出，保持 了播出信號的連續性和穩定性。
該系統可高效處理人為因素、意外斷電等其它不可預知的情況發生導致的播出事 故。但在實際播出過程中，也可能存在播出通道原因導致的播出信號出現亂序、丟幀、 黑場、綠場、靜幀、甚至兩路信號完全不一致等錯誤，對于此類的播出事故，需要人為 手動的進行主備播切換，以保證系統的可靠性和穩定性。人為手動的主備播切換雖然可 以解決這些問題，但是需要工作人員長時間持續監視，效率低下，容易產生工作疲勞。另外，在傳輸信道中信號也可能被某些非法信號所篡改，從而導致最終用戶接 收到了非法信號。例如，非法邪教組織可能通過破壞電視信號傳輸網絡或發射非法衛星 信號等形式播出非法言論。對于這類事故，現在沒有高效的技術手段進行檢測，也只能 靠人力監測或排查來完成，效率低、實時響應性差且容易產生工作疲勞。實際上，上述兩種情況都可通過一種視頻一致性監測技術來高效、精確、實時 的解決。對于第一種情況，在切換臺之前，可先將主備路信號送入一個視頻一致性監 測模塊，以完成對兩路信號視頻內容的分析、匹配，如果兩路信號內容一致則不進行切 換，如果兩路信號內容不一致則自動進行主備路切換并報警。對于第二種情況，可采用 機頂盒來接收播出信號，并將其和源信號一并送入一個視頻一致性監測模塊，如果兩路 信號內容僅存在時延，說明信號播出正常，如果兩路信號內容不一致性，說明傳輸信道 存在問題，應馬上報警并處理。因此，在實際應用中，開發設計一種高效、精確、自適 應、實時的視頻一致性監測技術就成為了解決上述問題的一個核心問題。
發明內容
針對現有技術的缺陷，本發明的目的是提出一種基于自適應邊緣匹配及局部流 處理算法的視頻一致性監測技術。本發明采用幾何變換計算信噪比的方法解決了自適應 閾值的估算問題。同時采用邊緣檢測、多閾值邊緣匹配的方法解決了對源視頻和目標視 頻的精確匹配，在此基礎上采用局部流處理算法和偏移量遞歸復用相結合的方法高效、 快速的解決了后續視頻幀的一致性匹配。本發明的目的是這樣實現的一種基于自適應邊緣匹配及局部流處理算法的視 頻一致性監測技術，首先對參考幀序列和檢測幀序列的緩沖環初始化，其中，所述參考幀序列是源信號幀序列，所述檢測幀序列是播出幀序列；所述技術包括如下步驟
確定關鍵幀對接收的參考幀序列和檢測幀序列進行時間戳對齊、確定檢測步長， 在確定的步長中將檢測幀序列的第一幀確定為關鍵幀；
確定初步匹配的相似度閾值；所述相似度閾值等于信噪比值閾值； 進行初次匹配在參考幀序列中初步篩選出和關鍵幀相匹配的初次匹配幀，并計 算其和關鍵幀的信噪比值、獲取兩個幀的偏移量，如果該值大于相似度閾值則進入下一 步，否則將偏移量設置為無效并設置視頻不一致標志，而后開始等待對下一個關鍵幀的 確定；
獲得連續、單像素的圖像邊緣，并將其作為圖像的特征邊緣； 對獲得的特征邊緣進行多閾值匹配，如果匹配則進入下一步，否則將偏移量設置為 無效并設置視頻不一致標志，而后開始等待對下一個關鍵幀的檢測；
對關鍵幀的后續幀進行快速檢測，如果后續幀全部匹配，設置視頻一致性標志得到 最終的一致性監測結果，開始等待下一個關鍵幀的檢測；如果后續幀不匹配，則將偏移 量設置為無效并設置視頻不一致標志，而后開始等待對下一個關鍵幀的檢測。所述監測技術進一步包括有偏移量遞歸復用的步驟對下一個關鍵幀的檢測， 如果上次檢測偏移量有效，則由偏移量直接得到初次匹配幀并進入獲取圖像邊緣的步 驟，否則進入確定相似度閾值的步驟。所述獲得連續、單像素的圖像邊緣是用小波模極大值算法對初步匹配幀和關鍵 幀進行邊緣檢測獲得。所述對關鍵幀的后續幀進行快速檢測是判斷關鍵幀的后續幀序列是否與匹配幀 的后續幀序列一致。所述相似度閾值是由幾何變換自適應計算確定。本發明產生的有益效果是檢測高效、準確、實時；其監測范圍包括輕微馬 賽克、嚴重馬賽克、3秒其它畫面、亮度過高、綠底、靜幀、延時30幀、延時20幀、延 時10幀、錯亂幀序、丟幀、加幀、彩條、黑場、錯播、停播、臺標、時鐘等。即使在圖 像質量比較差的環境下，也可獲得較為理想的監測效果。本發明首先利用幾何變換計算 得到自適應閾值，并通過該閾值進行初次篩選，而后利用小波模極大值邊緣檢測算法及 多閾值邊緣匹配算法進行二次精確匹配，最后采用局部流處理算法對關鍵幀的后續幀進 行快速一致性檢測，以判斷其后續幀是否與匹配幀的后續幀一致，從而得到最終的一致 性監測結果。在上述流程的基礎上，本發明采用了偏移量遞歸復用算法，既提升了檢測 效率又可獲得非常穩定的監測偏移量輸出。測試表明，使用基于本發明設計開發的視頻 一致性監測模塊，在磁帶信號、同一信號源經由不同鏈路、同一信號源經由不同解碼器 等不同的測試場景下都能實時的獲得比較理想的監測效果，說明了本發明有效性和實用 性。利用該技術不僅可以降低勞動強度、節省勞動成本，還可以大大提升工作效率，高 效實時的完成對不同場景下多路信號的一致性監測，極大的提升了系統的可靠性和穩健 性。
下面結合附圖和實施例對本發明做進一步解釋。
圖1是本發明實施例一所述技術的過程框圖； 圖2是本發明實施例一所述小波變換突變檢測示意圖3是本發明實施例一所述小波變換模極大值邊緣檢測提取的特征邊緣示意圖。
具體實施方式
實施例一
本實施例中為了實現對兩路信號的實時監控，特別設計了分段匹配的架構來滿足要 求。具體可以這樣描述監測模塊中有兩個緩沖環——參考緩沖環和待檢測緩沖環，分 別用來存儲主播信號的連續幀和備播信號的連續幀，等到滿足條件時才開始對緩沖環中 檢測步長段內的視頻幀序列進行段內一致性檢測，否則繼續存儲視頻幀而不進行檢測，
直到滿足條件。待檢測緩沖段內的首幀稱為關鍵幀記為Λ·，
首先對是關鍵幀進行檢測及匹配，而后對段內的后續幀進行快速檢測，從而最終實現段 內兩路信號的一致性監測。下面對本實施例中涉及到的相關技術點介紹如下
小波模極大值邊緣檢測，即小波變換的模極大值多尺度邊緣檢測。一般地，平滑函
數的能量集中在低頻段，所以平滑函數可看成低通濾波器的系統響應函數。從而， /(χ)與錢勾的卷積衰減了/(χ)的高頻信息，而不改變低頻部分，從而平 滑了/(I)。
定義妒/0^> = /車供(0 W7ZM =(2)
這Qrf
貝丨J W1jTCs，X) — fm(s ——S 一，
dbcdx:
3 2 d7& 7 d7 爐 Χβ^ —義*(忍 2 X-^ 二 ^ 2 C/"*^sX(3)
OOC敘
小波變換和:均分別與函數/00被代(ι)平滑后的一階和二階導數
成正比。而函數/(JC)的一階導數的極值點對應于二階導數的零點，同時也是函數/(χ) 本身的拐點，且一階導數的絕對值的極大值對應于函數的突變，而極小值則與緩變點相 對應。對于固定尺度《s,的局部極大值點對應于/(Jt)的突變點，W7Ji^的
零交叉點對應于的拐點，如圖2所示為小波變換突變檢測示意圖。因此，如果
選擇小波函數為平滑函數的一階導數，則由小波變換的絕對值的極大值點(模
極大值點)可以檢測到信號的突變點。小波變換的模極大值點對應于圖像的突變點。邊 緣點是圖像的一類突變點，因而，可以通過檢測小波變換的模極大值點來確定圖像的邊 緣。由于小波變換位于各個尺度上，每個尺度上的小波變換都提供了一定的邊緣信息， 故稱之為即多尺度邊緣。下面簡要介紹一種多尺度邊緣檢測算法
6(1)求出每一個尺度I=I^PijiJ)上可能的邊緣巧={巧敘《# .
(2)對巧進行鏈接處理，得到尺度f上的邊緣&=C^( M ，并令 J=J
(3)針對尺度乂的每一個邊緣點(緣》0，把4在以點(HjBI)為中心的3X3區域里 所有可能的邊緣點均標成尺度上的候選邊緣點。(4)對尺度上的所有候選邊緣點進行鏈接處理，得到尺度:Jj^上的邊緣~， 并令/"-1..
(5)重復步驟(3)與(4)，直到J = I .邊緣乓就是綜合得到的圖像邊緣。圖3是本實施例中采用小波變換模極大值邊緣檢測提取的邊緣示意圖，其中黑 色的像素點表示為邊緣特征點，白色為平坦區域不作為邊緣特征點。本實施例所述技術的過程如圖1所示，其步驟如下
初始化及預處理的步驟用于完成參考幀序列(相當于源信號幀序列)和檢測幀序 列(相當于播出幀序列)的緩沖初始化，并自動進行時間戳對齊，關鍵檢測幀(以下稱 為關鍵幀)位置、檢測步長的計算；
計算相似度閾值的步驟用于由幾何變換自適應計算相似度閾值，并將該閾值作為 初次匹配的相似度閾值，這里的相似度閾值實際上是峰值信噪比閾值；
初次匹配的步驟用于在參考幀序列中初步篩選出和關鍵幀相匹配的匹配幀，并 計算其和關鍵幀的信噪比，獲取兩個幀的偏移量，如果該值大于相似度閾值則進入下一 步，否則將偏移量設置為無效并設置視頻不一致標志，而后開始等待對下一個關鍵幀的 檢測，進入偏移量遞歸復用的步驟；
邊緣檢測的步驟用于由小波模極大值算法對初步匹配幀和關鍵幀進行邊緣檢測， 獲得連續、單像素的圖像邊緣，并將其作為圖像的特征邊緣(特征點)，以進行更高 效、更準確的邊緣一致性判別；
二次精確匹配的步驟用于由多閾值邊緣匹配算法，對提取的特征邊緣進行多閾值 匹配，以精確判別關鍵幀和匹配幀是否真正匹配，如果匹配則進入下一步，否則將偏移 量設置為無效并設置視頻不一致標志，而后開始等待對下一個關鍵幀的檢測，并進入偏 移量遞歸復用的步驟；
局部流處理的步驟用于完成對關鍵幀的后續幀進行快速檢測，其作用是矯正并判 斷關鍵幀的后續幀序列是否與匹配幀的后續幀序列一致，如果后續幀全部匹配，則計算 偏移量并設置視頻一致性標志得到最終的一致性監測結果，并開始等待下一個關鍵幀的 檢測，進入偏移量遞歸復用的步驟，否則將偏移量設置為無效并設置視頻不一致標志， 而后并開始等待對下一個關鍵幀的檢測，并進入偏移量遞歸復用的步驟；
偏移量遞歸復用的步驟用于對下一個關鍵幀的檢測，如果上次檢測偏移量有效， 則由偏移量直接得到匹配幀并進入邊緣檢測的步驟，否則進入計算相似度閾值的步驟； 實施例二
本實施例是實施例一的改進，是實施例一關于計算相似度閾值的步驟的細化。本實施例所述的計算方法是采用幾何變換的方法。圖像的幾何變換，即圖像的旋轉和縮放， 也是一種對圖像進行重采樣的過程，在這個過程中不可避免的要造成圖像質量的損失， 而峰值信噪比(PSNR)可以作為這種損失的一個度量，信噪比越大說明損失越少，信噪
比越小說明損失越大。自適應閾值是采用這樣的策略計算得到的先對關鍵幀Λ進行 縮小，接著進行等倍數的放大得到了一個二次降質的圖像^，然后計算Λ和Λ的信
噪比，將此信噪比作為Λ的相似度閾值。由于對不同的關鍵幀都進行了這樣的操作，可
到不同的相似度閾值，從而也就實現了閾值的自適應計算，大大提升了檢測的魯棒性， 無需設定固定的閾值，也提高了模塊的應用性。實施例三
本實施例是實施例一的改進，是實施例一關于初次匹配的步驟和二次精確匹配的步 驟的細化。實際上，通過初次匹配和二次精確匹配也就是使用相似度閾值和邊緣匹配相 結合的雙層匹配的方法來完成匹配。通過初次匹配的篩選，可高效快速的得到一個候選 匹配關鍵幀，而后僅對這個候選匹配幀進行運算量非常復雜的邊緣檢測及匹配處理，在 保持匹配精度的基礎上，大大提升了匹配效率。實施例四
本實施例是實施例一所述的二次精確匹配的步驟中所采用的匹配算法是多閾值特征 邊緣匹配的方法。實際上，邊緣匹配過程中涉及到參考幀特征點數JVr、關鍵幀特征點數&、兩
者相匹配特征點數 三個相關性參數。只有當這些相關數滿足特定的關系式時，才能 判定兩者相匹配。這些關系式包括
權利要求
1.一種基于自適應邊緣匹配及局部流處理算法的視頻一致性監測技術，首先對參考 幀序列和檢測幀序列的緩沖環初始化，所述參考幀序列是源信號幀序列，所述檢測幀序 列是播出幀序列；其特征在于，所述監測技術包括如下步驟確定關鍵幀對接收的參考幀序列和檢測幀序列進行時間戳對齊、確定檢測步長， 在確定的步長中將檢測幀序列的第一幀確定為關鍵幀；確定初步匹配的相似度閾值；所述相似度閾值等于信噪比值閾值；進行初次匹配在參考幀序列中初步篩選出和關鍵幀相匹配的初次匹配幀，并計 算其和關鍵幀的信噪比值、獲取兩個幀的偏移量，如果該值大于相似度閾值則進入下一 步，否則將偏移量設置為無效并設置視頻不一致標志，而后開始等待對下一個關鍵幀的 確定；獲得連續、單像素的圖像邊緣，并將其作為圖像的特征邊緣；對獲得的特征邊緣進行多閾值匹配，如果匹配則進入下一步，否則將偏移量設置為 無效并設置視頻不一致標志，而后開始等待對下一個關鍵幀的檢測；對關鍵幀的后續幀進行快速檢測，如果后續幀全部匹配，設置視頻一致性標志得到 最終的一致性監測結果，開始等待下一個關鍵幀的檢測；如果后續幀不匹配，則將偏移 量設置為無效并設置視頻不一致標志，而后開始等待對下一個關鍵幀的檢測。
2.權利要求1所述的基于自適應邊緣匹配及局部流程算法的視頻一致性監測技術， 其特征在于，所述監測技術進一步包括有偏移量遞歸復用的步驟對下一個關鍵幀的檢 測，如果上次檢測偏移量有效，則由偏移量直接得到初次匹配幀并進入獲取圖像邊緣的 步驟，否則進入確定相似度閾值的步驟。
3.權利要求1所述的基于自適應邊緣匹配及局部流程算法的視頻一致性監測技術，其 特征在于，所述獲得連續、單像素的圖像邊緣是用小波模極大值算法對初步匹配幀和關 鍵幀進行邊緣檢測獲得。
4.權利要求1所述的基于自適應邊緣匹配及局部流程算法的視頻一致性監測技術，其 特征在于，所述對關鍵幀的后續幀進行快速檢測是判斷關鍵幀的后續幀序列是否與匹配 幀的后續幀序列一致。
5.權利要求1所述的基于自適應邊緣匹配及局部流程算法的視頻一致性監測技術，其 特征在于，所述相似度閾值是由幾何變換自適應計算確定。
6.權利要求1所述的基于自適應邊緣匹配及局部流程算法的視頻一致性監測技術，其 特征在于，所述對獲得的特征邊緣進行多閾值匹配的關系式包括K1 < mm(JVr, Nk) ZmssiNrs Ν。<Κ K,<NJNr<K4K5<Nm/Nk<K6其中&為參考幀特征邊緣數、為關鍵幀特征邊緣數、I為兩者相匹配特征邊緣TOinOVr,的兩者特征邊緣數的比值，其取值范圍為
；I1稱為最小特征比閾值，表示兩者特征邊緣數的比值至少要大于該值，否則兩者不 匹配，其取值范圍為
；I2稱為最大特征比閾值，表示兩者特征邊緣數的比值不能大于該值，其取值設定為1 ；Nm /Nr表示兩者相匹配特征邊緣數與參考幀特征邊緣數的比值，其取值范圍為
Ij稱為參考幀最小特征比閾值，表示匹配特征邊緣數與參考幀特征邊緣數的比值至 少要大于該值，否則兩者不匹配，其取值范圍為
;^4稱為參考幀最大特征比閾值，表示匹配特征邊緣數與參考幀特征邊緣數的比值不 能大于該值，其取值設定為1;JVbi/^jt表示兩者相匹配特征邊緣數與檢測幀特征邊緣數的比值，其取值范圍為
&稱為檢測幀最小特征比閾值，表示匹配特征邊緣數與檢測幀特征邊緣數的比值至 少要大于該值，否則兩者不匹配，其取值范圍為
;^K6稱為檢測幀最大特征比閾值，表示匹配特征邊緣數與檢測幀特征邊緣數的比值不 能大于該值，其取值設定為1。
全文摘要
本發明涉及一種基于自適應邊緣匹配及局部流處理算法的視頻一致性監測技術，是一種數字圖像識別及匹配技術。所述技術包括如下步驟初始化及預處理的步驟；計算相似度閾值的步驟；初次匹配的步驟；邊緣檢測的步驟；二次精確匹配的步驟；局部流處理的步驟；偏移量遞歸復用的步驟。本發明采用幾何變換自適應的得到相似度閾值，并以此為閾值完成初次匹配，而后采用邊緣檢測及多閾值邊緣匹配的方法實現了二次精確匹配，在此基礎上采用局部流處理算法和偏移量遞歸復用技術高效、快速的解決了后續視頻幀的一致性匹配問題。
文檔編號H04N17/00GK102014296SQ20101058223
公開日2011年4月13日 申請日期2010年12月10日 優先權日2010年12月10日
發明者商同, 姚威, 尚秀勇, 曾國卿, 李智鵬, 王光友, 王雨, 鄧偉, 鄭凱, 韓東東 申請人:北京中科大洋科技發展股份有限公司