基于零檢測和矢量濾波的幀頻提升算法的制作方法

專利名稱：基于零檢測和矢量濾波的幀頻提升算法的制作方法
技術領域：
本發明涉及一種幀頻提升算法。特別是涉及一種提高了運動估計精度并且算法簡 潔，易于硬件實現的基于零檢測和矢量濾波的幀頻提升算法。
背景技術：
幀頻提升處理的目的是解決畫面閃爍的問題。其基本原理是根據像素在時間和空 間上的相關性，通過數字處理的方法基于原有的幀生成新的幀，并以更高的幀頻顯示新的 視頻流。幀頻提升處理的關鍵問題就是如何基于原始幀來重構新幀。所謂幀頻提升算法， 就是通過原有的幀重構新幀的方法。目前常用的幀頻提升的算法有靜態插值、運動自適應和運動補償三種。其中靜態 算法結構參數確定兩場信息以固定的方式聯系，與視頻內容無關，如幀復制、時空中值、時 空線性濾波等等，其主要缺點是對時域運動的恢復性能較弱，如幀復制會形成運動軌跡的 顫抖甚至倒退，線性濾波會在運動物體邊緣形成多輪廓產生運動模糊；運動自適應算法根 據處理區域運動與否運動幅度如何而動態調整算法結構和參數，在不同的場合選擇較優的 信息組合方式，如系數自適應線性濾波、模板自適應切換中值濾波等，需要在多套系數或濾 波結構間切換，采用硬切換方式會在圖像中引入切換虛像，而軟切換又使其性能接近于靜 態線性濾波，削弱了自適應的優點，同時運動檢測的可靠性也會影響該算法結果；運動補償 根據運動矢量值將兩場中的對應區域精確聯系，合成相應的時域內插值。這三類算法之中 運動補償的效果最佳。運動補償算法考慮了像素點的運動情況，在單純線性插幀的基礎上做出了相應的 運動補償，所以它在處理運動圖像的時候也可得到良好的效果。該類算法首先需要對待插 入幀的相鄰原始幀內相關像素點的運動情況做出估計(即計算相關像素點的運動矢量)， 然后再根據運動矢量做線性插補。運動補償幀頻提升分為運動估計和運動補償兩個階段， 首先根據運動估計算法得到當前塊的運動矢量V，再根據運動矢量從參考幀和當前幀中找 到相應的塊插值得到運動補償數據。運動補償式幀頻提升的算法關鍵在于運動估計。此處的運動估計與MPEG等壓縮 標準中編碼運動估計有所不同MPEG中的運動估計旨在利用連續幀間的高相關區域來減 少顯示幀的差別，因而生成的運動矢量不用與真實的運動矢量完全一致；而在幀頻變換中 運動信息是進行恰當線性內插的關鍵，因此需要最為精確的運動估計。運動估計技術可以分為以下幾種方法參數模型運動估計，非參數模型運動估計 以及貝葉斯(Bayesian)運動估計。上述方法中，塊匹配運動估計的方法從提出至今已有近 20年的歷史。塊匹配運動估計的方法用規則的像素塊劃分圖像節省了額外的比特開銷；編 碼器實現并行處理，提高了運算速度；算法的復雜度相對其它方法較低，簡單高效、額外開 銷小同時便于硬件實現，這些優點使得塊匹配運動估計的方法成為當前應用最廣泛的視頻 壓縮、圖像格式轉換運動估計技術，被包括H. 26X、MPEG. 1，MPEG. 2和MPEG. 4在內的絕大多 數視頻編碼標準所采用。
塊匹配算法的基本原理是將圖像序列的每一幀化分成NXN固定大小的基本塊 (block)，并認為宏塊內所有像素的位移量都相同，然后以每個基本塊為匹配單元。將當前 圖像中的基本塊在前一幅圖像中的一個特定搜索區域中搜索，依據某一匹配準則得到最 佳匹配塊，以這個最佳匹配塊作為當前圖像基本塊的預測塊，匹配塊與當前塊的相對位移 矢量即為運動矢量。動偏移量的估值算法就是塊匹配算法(block matching algorithm, BMA)。在目前的塊匹配算法中，全搜索法(FS)具有最高的搜索精度。全搜索法(Full Search Method,FS)也稱為窮盡搜索法。此算法最簡單、可靠，找到的必為全局最優點。FS 通過對搜索窗內的所有點進行搜索，可以達到最佳匹配，但是算法的計算量巨大，不利于實 時實現，尤其是在視頻電話、會議電視、無線通信等實時視頻通信應用中。因此研究者們又 提出了多種快速搜索算法，比較有代表性的算法是三步搜索法(TSS)和菱形搜索算法(DS)等。三步搜索法(TSS)是T. KOGA等人提出的，由于簡單、性能良好等特點，為人們所 重視。TSS算法采用了一種循環迭代的搜索策略來搜索MBD (Minimum Block Difference) 點，即最小誤差點。該算法以搜索窗寬度的一半作為初始搜索步長，每次循環確定新的MBD 點并將搜索步長減半直至等于1，得到最終的MBD點。若最大搜索長度為7，搜索精度取1 個像素，則步長為4，2，1，僅需三步即可滿足需要，因此得名三步法。TSS算法是基于一種串 行處理的思想，為了保證算法的效率和收斂性.搜索模板和搜索步長只能由大到小依次變 化。即先進行粗定位。再逐步聚焦到精確的位置。TSS第1步搜索步長過大，影響中心點附 近小運動估計效果，容易陷入局部最優。而且第一步較大時會誤導搜索方向，而超分辨率運 動集中在中心點的周圍。因此三步搜索法的這個不足使其運動估計精度明顯下降。菱形搜索算法效果較好，它首先使用大菱形LDSP進行搜索，當最優點位于菱形中 心時，再使用小菱形SDSP完成最后的搜索過程。但DSA算法不適合對小運動塊的搜索。對 于實際運動矢量較大(全局最小值偏離搜索區中心)，而塊匹配誤差平面在近中心區域存 在局部最小值的塊，該算法不能求出正確的運動矢量，且偏離正確運動矢量的位移較大。

發明內容
本發明所要解決的技術問題是，提供一種能夠通過數字格式轉換的方法把眾多格 式的輸入信號轉換成特定格式的輸出信號，從而在數字域上實現多種輸入信號到顯示終端 之間的無縫連接的基于零檢測和矢量濾波的幀頻提升算法。本發明所采用的技術方案是一種基于零檢測和矢量濾波的幀頻提升算法，包括 有如下步驟第1步驟將圖像數據分別進行幀存、幀延時以及送入運動估計單元；第2步驟將幀存后的數據分別送入后向運動補償單元和自適應運動補償單元；第3步驟將幀延時后的數據經幀存后分別送入前向運動補償單元和自適應運動 補償單元，同時將幀延時后的數據送入運動估計單元；第4步驟將運動估計后的數據依次進行零檢測、運動矢量緩存以及矢量濾波后分 別送入前向運動補償單元和后向運動補償單元；第5步驟將前向運動補償單元和后向運動補償單元的數據均送入自適應運動補償單元；第6步驟在自適應運動補償單元中通過公式fn(x, y) = Qfmc (x,y) + (l-a)favg(x,y)計算出匹配參數，然后以運動補償和時域均值的加權值作為濾波器輸出，式中， favg(x, y)是指幀平均值，匹配參數α是由運動塊的匹配程度決定的。所述的運動估計單元中采用三步搜索算法，包括如下步驟第1步搜索參考幀中大小為7X7的窗口的中心點和周圍的8個頂點，得出與當前 塊最為匹配的塊；第2步以第1步搜索得到的最小MBD誤差點為中心，搜索窗縮小為5X5的LDSP 大菱形模板窗口，搜索其周圍的8個頂點，得出與當前塊最為匹配的塊；第3步以第2步搜索得到的最小誤差點為中心，搜索窗縮小為3X3的SDSP小菱 形模板，搜索其周圍的4個頂點，得出與當前塊最為匹配的塊。所述的零檢測是在計算得到一個塊的運動矢量&，,)=(、， )后，用Sad(vx，vy)
與Sad(0，0)做比較，如果兩者之差小于一個閾值參數μ，直接中止搜索提前結束運動估 計；若宏塊之間的差別大于判定閾值，要做進一步搜索，所述的閾值參數P選擇為時空相 鄰塊最小絕對差值和值。所述的矢量濾波是以一個塊的運動矢量P0cj0 二 (、，、)為中心，加上鄰近塊的8 個運動矢量，可以組成一個3X3的濾波器。根據這個濾波器，可以得到修正后的運動矢量 其中，W表示的是3X3的濾波器窗口。本發明的基于零檢測和矢量濾波的幀頻提升算法，不僅提高了運動估計精度并且 算法簡潔，易于硬件實現。通過引入零檢測和矢量濾波器對運動矢量進行修正，可以進一步 提高運動估計的搜索速度和搜索精度。運動補償過程采用了自適應的加權濾波算法，可以 有效地消除噪聲的影響，減小運動補償的插值誤差，提高了圖像的質量。


圖1是本發明的方法流程圖； 圖2是本發明的三步搜索算法示意圖。
具體實施例方式下面結合實施例和附圖對本發明的基于零檢測和矢量濾波的幀頻提升算法做出 詳細說明。如圖1所示，本發明的基于零檢測和矢量濾波的幀頻提升算法，包括有如下步驟第一步驟將圖像數據分別進行幀存、幀延時以及送入運動估計單元；在確定初始搜索點后，就需要對運動矢量進行精確定位了。因為初始搜索點的確 定就已經保證了對最優點的粗定位，所以在這里只需進行進一步的細定位就行了。本發明采用三步搜索算法，算法原理如圖2所示。將三步搜索中三步步長調整為3，2和1，這樣搜 索范圍為士6。經過調整的三步搜索算法具體如下第1步搜索參考幀中大小為7X7的窗口的中心點和周圍的8個頂點，得出與當前 塊最為匹配的塊；第2步以第1步搜索得到的最小MBD誤差點為中心，搜索窗縮小為5X5的LDSP 大菱形模板窗口，搜索其周圍的8個頂點，得出與當前塊最為匹配的塊；第3步以第2步搜索得到的最小誤差點為中心，搜索窗縮小為3X3的SDSP小菱 形模板，搜索其周圍的4個頂點，得出與當前塊最為匹配的塊。比較三種算法的搜索點數，FS算法需要搜索255個點，TSS算法需要搜索9+8+8 = 25個點，而本發明提出的ITSS算法(三步搜索算法)最壞的情況只是9+8+4 = 21個點。 可見搜索相同位置的點，ITSS算法比TSS算法搜索步數減少了，相應的硬件實現代價大大 降低。而且，改進的三步搜索算法ITSS能夠改進傳統的三步搜索TSS的中心點附近運動估 計效果，因此提高了運動估計精度。第二步驟將幀存后的數據分別送入后向運動補償單元和自適應運動補償單元；第二步驟將幀延時后的數據經幀存后分別送入前向運動補償單元和自適應運動 補償單元，同時將幀延時后的數據送入運動估計單元；第四步驟將運動估計后的數據依次進行零檢測、運動矢量緩存以及矢量濾波后分 別送入前向運動補償單元和后向運動補償單元；所述的零檢測是可以通過預先計算當前塊與前一幀相同位置塊的匹配誤差，并
與預設的閾值比較來實現零運動塊預判斷。在計算得到一個塊的運動矢量？(y) =0^,、)
后，用Sad(Vx，Vy)與Sad(0，0)做比較，如果兩者之差小于一個閾值參數μ，則意味著這兩個 宏塊間相似度非常高，此時判定當前宏塊沒有任何運動，屬于靜止塊，從而直接中止搜索提 前結束運動估計，減少了搜索次數，從而達到較高的搜索性能；若宏塊之間的差別大于判定 閾值，說明當前宏塊與(0，0)矢量處的宏塊差別較大，這是由宏塊中的運動信息所造成的， 此時必然存在宏塊的相對運動，因此需要做進一步搜索，所述的閾值參數μ選擇為時空相 鄰塊最小絕對差值和(SAD)值。所述的矢量濾波是以一個塊的運動矢量？(,，,)二 (、,、)為中心，加上鄰近塊的8 個運動矢量，可以組成一個3X3的濾波器。根據這個濾波器，可以得到修正后的運動矢量 廠(”). 其中，W表示的是3X3的濾波器窗口。因為8X8的塊在估算運動矢量時不是很可靠，所以，需要使用鄰近塊的運動矢量 來對計算出的運動矢量進行一定的修正，以提高運動矢量的準確性。通過上述計算，可以提 高運動估計的搜索速度和搜索精度，有效降低出現局部最優點的可能。第五步驟將前向運動補償單元和后向運動補償單元的數據均送入自適應運動補 償單元；第六步驟本發明將幀平均引入到運動補償之中，通過線性加權來提高算法的廣泛適應性，如公式所示fn(x, y) = Qfmc (x,y) + (l-a)favg(x,y)式中，favg(x, y)是指幀平均值，匹配參數α是由運動塊的匹配程度決定的。本算法中匹配參數α是由用于運動補償的兩個像素點的差值Dif計算得出的。首 先我們須引入一個閾值ε，當差值Dif大于閾值ε時，取α =0;當小于閾值ε時，根據 公式α = (ε-Dif)/ε計算出匹配參數，然后以運動補償和時域均值的加權值作為濾波器 輸出。這種方法是由運動補償原理得到的，理想情況下，如果運動矢量完全正確，那么用于 運動補償的兩個像素點值是相同的。在一定程度上來說，當兩者存在差值，差值越大，說明 運動矢量估計越不準確。
權利要求
一種基于零檢測和矢量濾波的幀頻提升算法，其特征在于，包括有如下步驟第1步驟將圖像數據分別進行幀存、幀延時以及送入運動估計單元；第2步驟將幀存后的數據分別送入后向運動補償單元和自適應運動補償單元；第3步驟將幀延時后的數據經幀存后分別送入前向運動補償單元和自適應運動補償單元，同時將幀延時后的數據送入運動估計單元；第4步驟將運動估計后的數據依次進行零檢測、運動矢量緩存以及矢量濾波后分別送入前向運動補償單元和后向運動補償單元；第5步驟將前向運動補償單元和后向運動補償單元的數據均送入自適應運動補償單元；第6步驟在自適應運動補償單元中通過公式fn(x，y)＝αfmc(x，y)+(1 α)favg(x，y)計算出匹配參數，然后以運動補償和時域均值的加權值作為濾波器輸出，式中，favg(x，y)是指幀平均值，匹配參數α是由運動塊的匹配程度決定的。
2.根據權利要求1所述的基于零檢測和矢量濾波的幀頻提升算法，其特征在于，所述 的運動估計單元中采用三步搜索算法，包括如下步驟第1步搜索參考幀中大小為7X7的窗口的中心點和周圍的8個頂點，得出與當前塊最 為匹配的塊；第2步以第1步搜索得到的最小MBD誤差點為中心，搜索窗縮小為5X5的LDSP大菱 形模板窗口，搜索其周圍的8個頂點，得出與當前塊最為匹配的塊；第3步以第2步搜索得到的最小誤差點為中心，搜索窗縮小為3X3的SDSP小菱形模 板，搜索其周圍的4個頂點，得出與當前塊最為匹配的塊。
3.根據權利要求1所述的基于零檢測和矢量濾波的幀頻提升算法，其特征在于，所述的零檢測是在計算得到一個塊的運動矢量^0cj0 =0^,、)后，用Sad(vx,vy)與Sad(0，0)做比較，如果兩者之差小于一個閾值參數μ，直接中止搜索提前結束運動估計；若宏塊之間 的差別大于判定閾值，要做進一步搜索，所述的閾值參數μ選擇為時空相鄰塊最小絕對差 值和值。
4.根據權利要求1所述的基于零檢測和矢量濾波的幀頻提升算法，其特征在于，所述 的矢量濾波是以一個塊的運動矢量P0^ =(、，、)為中心，加上鄰近塊的8個運動矢量，可以組成一個3X3的濾波器。根據這個濾波器，可以得到修正后的運動矢量1^，,) 其中，W表示的是3 X 3的濾波器窗口。
全文摘要
一種基于零檢測和矢量濾波的幀頻提升算法，包括有如下步驟將圖像數據分別進行幀存、幀延時以及送入運動估計單元；將幀存后的數據分別送入后向運動補償單元和自適應運動補償單元；將幀延時后的數據經幀存后分別送入前向運動補償單元和自適應運動補償單元，同時將幀延時后的數據送入運動估計單元；將運動估計后的數據依次進行零檢測、運動矢量緩存以及矢量濾波后分別送入前向運動補償單元和后向運動補償單元；將前向運動補償單元和后向運動補償單元的數據均送入自適應運動補償單元；6.在自適應運動補償單元中計算出匹配參數，然后以運動補償和時域均值的加權值作為濾波器輸出。本發明不僅提高了運動估計精度并且算法簡潔，易于硬件實現，提高了圖像的質量。
文檔編號H04N7/26GK101895762SQ201010241758
公開日2010年11月24日 申請日期2010年7月30日 優先權日2010年7月30日
發明者史再峰, 羅韜 申請人:天津大學