專利名稱：一種基于運動檢測與特征提取的綜合性視頻處理方法
技術領域：
本發明涉及圖像處理技術領域，尤其是涉及一種基于運動檢測與特征提取的綜合性視頻處理方法。
背景技術：
數字視頻編碼系統通常由視頻采集、視頻前處理、視頻編碼、碼流傳輸四部分構成。其中視頻采集、視頻前處理、視頻編碼都會對視頻質量產生重大影響。
在視頻系統中，還可以集成視頻智能分析模塊。該模塊分析輸入的視頻信號，再輸出可被人所識別和接受的信息。常用的智能視頻分析應用有移動偵測、車牌識別、人臉識別、周界檢測等。
模擬視頻信號由于采用了隔行掃描技術，會造成圖像的運動部分出現邊緣鋸齒， 嚴重影響圖像質量，可通過運動補償等方式去除隔行效應。通常的做法是靜止部分保持不動，對運動部分進行幀內或幀間插值，從而可以有效保持靜止部分的圖像細節，同時去除運動部分的邊緣鋸齒。
噪聲也會對圖像質量產生嚴重影響，因此需要進行去噪以便為編碼器提供良好的視頻源。對噪聲可以采用幀內或幀間的方式進行去除。幀內去噪僅使用同一幀內的數據， 通過去高頻等方式去除噪聲。幀間去噪則將相鄰的一系列幀結合起來處理，從而可以取得更好的去噪效果。實際操作時，可將兩種方式相結合，即對圖像的運動部分做幀內去噪，靜止部分做幀間去噪。
在視頻編碼環節，編碼器通過運動搜索和運動補償產生參考圖像，將參考圖像與當前采集圖像做差分后產生殘差圖像，再對殘差編碼。而運動搜索及補償環節通常會占用大量的處理器資源，可達到編碼總消耗的50%以上。
在當前的視頻處理系統中，還可集成智能分析模塊。常用的智能分析應用有移動偵測、車牌定位與識別、人臉檢測、流量檢測等。智能分析可廣泛應用于智能交通、商鋪看家、庫房安全、監獄等領域。
在以往的視頻處理系統中，以上各個部分通常是獨立的，將各個模塊串聯構成一個大的處理系統。但由于視頻處理系統中數據量很大，計算量也很大，這樣的一個系統會消耗大量的處理器資源，影響實時性，并導致系統變得更復雜。發明內容
為了克服現有技術的上述缺點，本發明提供了一種基于運動檢測與特征提取的綜合性視頻處理方法，將特征提取與運動檢測模塊作為公用模塊，提取出圖像的紋理、顏色、 梯度、統計等特征，并結合運動檢測，將運動檢測與特征提取結果應用于去隔行、去噪、視頻編碼、智能分析中，從而可以有效減少運算量，提高系統實時性，并降低系統復雜性和硬件成本。
本發明解決其技術問題所采用的技術方案是一種基于運動檢測與特征提取的綜合性視頻處理方法，包括如下步驟 第一步、讀取當前視頻幀的一個塊；第二步、提取常用的圖像特征，并根據后續應用的需要記錄一項或多項特征，這些特征供各個后續模塊公用；第三步、通過對第二步得到的一項或多項特征的選取與比較，判斷當前塊是否為運動塊，并將判斷結果作為輸入提供給后續模塊公用；第四步、去隔行如果當前塊為靜止塊，則當前塊保持不動；如果當前塊為運動塊，則通過幀內插值去除隔行效應；第五步、去噪如果當前塊為靜止塊，則將去隔行后的塊與參考塊做幀間去噪；如果當前塊為運動塊，則做幀內去噪；第六步、編碼在編碼器側，如果當前塊為靜止塊，則取運動矢量為0，然后取殘差進行編碼；如果當前塊為運動塊，則根據運動量大小或其他常用特征進行處理； 第七步、智能分析；第八步、重復第一步，直至處理完當前視頻幀。
與現有技術相比，本發明的積極效果是通過一個公共的特征提取模塊，將提取到的圖像特征信息應用到后續的多個模塊中，從而可以有效改善圖像質量，降低處理器資源占用，提高運算的實時性，降低硬件成本和系統復雜性，有利于在同一個處理器上實現綜合的一體式處理業務。
具體實施方式
本發明專利涉及到在視頻采集、編碼、智能分析的過程中，對數字視頻信號進行去隔行、去噪、編碼、智能分析等多種處理與應用。
一種基于運動檢測與特征提取的綜合性視頻處理方法，包括如下步驟第一步、讀取當前視頻幀的一塊數據，塊大小沒有嚴格要求，對標清及以下圖像的塊取 4x4或8x8 ；對高清圖像的塊取4x4或8x8或16x16 ； 第二步、對常用特征進行提取常用特征包括當前塊與參考塊取差分后的SAD (summary of absolute difference, 即，絕對誤差和)、當前塊的顏色特征、當前塊的梯度變化特征、當前塊的邊緣復雜度特征、 當前塊的統計特征等。其中，參考塊可取前一個輸出幀或背景幀上同一位置上的塊，背景幀通常可以通過一定的算法產生，并通過不斷讀取新的數據獲得更新。
這些特征，可以根據后續應用的需要記錄一項或多項。例如要進行車牌定位，就可以對每個塊記錄其顏色特征，通過顏色判斷車牌的可能存在區域。對特征的提取，不限于以上所提及的幾種，所涉及的應用，也不限于以上提到的幾種。
第三步、判斷當前塊是否為運動塊通過對一項或多項特征的選取與比較，可判斷該塊是否為運動塊。為精細起見，也可以對運動量做分級，例如分為大、中、小三種運動量，也可分為更多級。運動檢測的結果作為輸入提供給去隔行、去噪、編碼、智能分析模塊使用。
第四步、去隔行如果該塊為靜止塊，則該數據塊保持不動，從而可以有效保留圖像細節。如果該塊為運動塊，則通過幀內插值去除隔行效應。具體操作時可以選取一場數據，用該場數據插值出另一場數據。
第五步、去噪對去隔行之后的數據再做去噪處理。
(1)如果該塊為靜止塊，則將去隔行后的塊與參考塊做幀間去噪，可采用的方式為幀間加權濾波，濾波公式如下P(i，j) = Pref (i, j) * Wref + Pcur (i, j) * Wcur ；其中，Pref (i, j)為參考塊像素值，Wref為參考塊權值，Pcur (i, j)為當前塊塊像素值，Wcur為當前像素加權值，i，j為像素坐標。Pcur (i, j) ^P Pref (i, j)滿足約束Pcur (i，j) + Pref (i,j) = 1。通常對靜止塊，可選Pcur (i，j)為0.8，小運動量時選為0.5，中運動量時選0.3，大運動量時選0。
(2)如果該塊為運動塊，則做幀內去噪。可以采用中值濾波、頻域濾波，也可以采用滑窗法加權，即以該數據塊為中心，逐像素移動窗口，窗口大小與該數據塊相同，將窗口中的數據與該塊數據做比較，根據比較結果選取不同的權值進行加權。
第六步、編碼在編碼器側，當判斷該塊為靜止塊后，可直接取運動矢量為0，然后取殘差進行編碼。如果該塊為運動塊，可根據運動量大小進行不同處理。對小運動量、中運動量，可直接在0矢量附近進行運動搜索，尋找最佳匹配點。如果為大運動量，可以直接進行幀內預測而不再使用幀間預測。也可根據其他特征，如顏色、邊緣紋理等特征，選取適當的運動搜索區域后再進行搜索。
第七步、智能分析對于智能分析應用，可以根據對該塊的特征提取結果進行進一步的分析和應用。具體如下對于移動偵測，則預先構造一個二值圖像幀。如果該塊為運動塊，則在該幀的對應位置上置“1”，表示該位置為一運動塊。如該塊為靜止塊，則該位置置為“0”，表示該位置為靜止塊。這樣逐塊掃描后形成二值圖像，對該圖像進行處理可完成移動偵測。
做車牌識別時，則可根據該塊的紋理、顏色特征進行進一步的識別判斷，做車牌的初步定位。
其他類型的智能分析應用也可以采用類似的處理方式。即由特征提取模塊提供塊特征，再由智能分析模塊對提取到的特征進行進一步分析處理，并最終輸出結果。
第八步、回到第一步，進行下一個塊的處理。如此循環，直到處理完一幀。
權利要求
1.一種基于運動檢測與特征提取的綜合性視頻處理方法，其特征在于，包括如下步驟第一步、讀取當前視頻幀的一個塊；第二步、提取常用的圖像特征，并根據后續應用的需要記錄一項或多項特征，這些特征供各個后續模塊公用；第三步、通過對第二步得到的一項或多項特征的選取與比較，判斷當前塊是否為運動塊，并將判斷結果作為輸入提供給后續模塊公用；第四步、去隔行如果當前塊為靜止塊，則當前塊保持不動；如果當前塊為運動塊，則通過幀內插值去除隔行效應；第五步、去噪如果當前塊為靜止塊，則將去隔行后的塊與參考塊做幀間去噪；如果當前塊為運動塊，則做幀內去噪；第六步、編碼在編碼器側，如果當前塊為靜止塊，則取運動矢量為0，然后取殘差進行編碼；如果當前塊為運動塊，則根據運動量大小或其他常用特征進行處理；第七步、智能分析；第八步、重復第一步，直至處理完當前視頻幀。
2.根據權利要求1所述的基于運動檢測與特征提取的綜合性視頻處理方法，其特征在于所述常用的圖像特征包括當前塊與參考塊取差分后的SAD、當前塊的顏色特征、當前塊的梯度變化特征、當前塊的邊緣復雜度特征、當前塊的統計特征。
3.根據權利要求2所述的基于運動檢測與特征提取的綜合性視頻處理方法，其特征在于所述參考塊可取前一個輸出幀或背景幀上同一位置上的塊。
4.根據權利要求1所述的基于運動檢測與特征提取的綜合性視頻處理方法，其特征在于在第三步所述判斷當前塊是否為運動塊時，還可以對運動量進行分級。
5.根據權利要求1所述的基于運動檢測與特征提取的綜合性視頻處理方法，其特征在于所述幀內去噪的方法包括中值濾波、頻域濾波或滑窗法加權。
6.根據權利要求5所述的基于運動檢測與特征提取的綜合性視頻處理方法，其特征在于所述滑窗法加權是指以當前塊為中心，逐像素移動窗口，窗口大小與當前塊相同，將窗口中的數據與當前塊的數據做比較，根據比較結果選取不同的權值進行加權。
全文摘要
本發明公開了一種基于運動檢測與特征提取的綜合性視頻處理方法，屬于圖像處理技術領域。通過特征提取與運動檢測，將提取到的圖像特征信息應用到后續的多個模塊中，從而可以有效改善圖像質量，降低處理器資源占用，提高運算的實時性，降低硬件成本和系統復雜性，有利于在同一個處理器上實現綜合的一體式處理業務。
文檔編號G06T7/00GK102496165SQ20111040257
公開日2012年6月13日 申請日期2011年12月7日 優先權日2011年12月7日
發明者李汶隆, 李紅波 申請人:四川九洲電器集團有限責任公司