專利名稱：一種視頻編解碼體系結構的制作方法
技術領域：
本發明涉及一種視頻編解碼體系結構，屬于多媒體通信領域。
技術背景視頻監控技術正在沿著數字化、網絡化、智能化的方向發展。視頻編解碼技 術是視頻監控的實現基礎和關鍵技術，視頻監控在不斷發展的同時，對應用于安 防領域的視頻編解碼技術的要求也在不斷提高。但目前國內外還沒有專門針對視 頻監控應用的音視頻壓縮編碼標準，現有的國際信源編碼標準如MPEG-2、 MPEG-4、 H. 264等無法完全滿足安防的特殊需求。目前視頻監控設備種類繁多，采用的視頻壓縮傳輸標準以及傳輸協議不統一， 行業用戶采用了不同開發商的產品而只能構成一個個信息孤島，難以互連成更大 規模的網絡。采用統一的音視頻編解碼標準是不同系統互通的基礎，制定面向安 防的自主音視頻標準AVS-S將是實現標準統一的最好途徑之一，對于規范安防視 頻監控核心技術、推動安防監控產業的健康可持續性發展具有非常重要的意義。 發明內容本發明的目的是提供一種視頻序列編解碼體系結構，該體系結構通過對感興 趣區域編解碼和/或在不同光照條件下的對視頻源的編解碼，并且包括增強視頻 序列圖像信息安全性的編解碼，既保證感興趣區域圖像質量的問題，又適應不同 光照條件和天氣狀況下的圖像編碼問題，以及編碼信息的安全性問題。實現本發明目的采用的技術方案是: 一種視頻編解碼體系結構包括對感興趣 區域編解碼和/或在不同光照條件下的對視頻源的編解碼，并且包括增強視頻序列圖像信息安全性的編解碼。所述對感興趣區域的編解碼包括以下歩驟 (2-1)以計算機可讀格式提供數字圖像數據，包括關于像素的數值和坐標的數 據；(2-2)選擇輸入數字圖像的感興趣區域、背景區域和過渡帶區域，該輸入數字圖像是從輸入視頻中去除了時域冗余而得到的幀圖像； (2-3)根據至少三個優先級對輸入數字圖像數據進行優先級劃分，劃分方法為:對輸入的視頻或圖像數據根據用戶信息或者其它區域分割算法，確定感興趣區 域、過渡帶區域和背景區域的坐標范圍，感興趣區域的數字圖像數據比感興趣 區域以外區域的數字圖像數據具有更高的優先級，或者感興趣區域的數字圖像 數據和過渡帶區域的數字圖像數據具備相同的優先級，過渡帶區域的數字圖像 數據比背景區域的數字圖像數據具有更高的優先級；感興趣區域內部的數字圖 像數據以宏塊為單位，優先級高低相間，其中感興趣區域內部的優先級高低相 間指的是包括但不限于采用小塊相間的方法，即區域中每個小塊的優先級與相 鄰的縱向和橫向的小塊的不同，但與斜向上的小塊相同；(2-4)按照優先級的設定，分別對各個區域的預測變換后的數據進行分級量化， 不同區域的量化系數的選擇依照優先級進行，并對變換后的圖像數據進行量化 操作，變換方法包括離散余弦變換和小波變換；對于不同區域的量化系數的選 擇依照優先級進行的方法為量化系數的等級總數和優先級的等級總數相等， 量化系數的順序從高到低排列，優先級的順序從低到高排列，并且兩個集合---一對應；或者量化系數的順序從低到高排列，優先級的順序從高到低排列，并 且兩個集合一一對應；然后可按照一般的視頻/圖像編碼系統對數字信號進行編 解碼，包含運動估計單元、預測單元、變換單元、量化單元、熵編碼單元等， 其中在量化單元需根據步驟(3)產生的量化值對各個區域的數據進行分級量化； (2-5)在輸出碼流中記錄感興趣區域的位置信息、過渡帶寬度信息以及各個區 域的優先級數據。所述在不同光照條件下的對視頻源的編解碼包括以下步驟 (3-1)通過時間的觸發設定，將19: 00到次閂7: OO設置為夜間序列編解碼方 式，將7: 00到19: OO設置為白天序列編解碼方式，或者判斷變換編解碼后的系數統計分布來進行選擇，當變換域碼率大于一個事先設定的值時就采用夜間序列編解碼方式，其他變換域碼率值則用白天序列編解碼方式；(3-2)白天序列編解碼方式通過將編解碼出來的碼流在現有視頻編解碼標準基 礎之上進行編解碼，用來編解碼白天場景(即光線較好時)圖象；夜間序列編 解碼方式根據離散余弦變換后系數的特性以及人眼視覺特性將系數塊矩陣劃分 為若干個頻帶，頻帶代表不同大小的系數頻率，也代表不同類型的系數頻率， 對不同頻帶分別采用不同的量化參數進行標量量化。所述通過利用脆弱性水印技術增強視頻圖像序列的安全性，主要包括水印的 嵌入和水印的提取兩個步驟，其中通過對分塊離散余弦變換DCT系數中幅值最大 的AC系數進行修改,來實現水印的嵌入，嵌入水印的算法歩驟如下(4-l)將圖像進行8X8分±央，然后對每塊進行DCT變換，經過JPEG量化表量化， 得到分塊的DC和AC系數；(4-2)采取{-1， 1}偽隨機序列作為嵌入的水印信息，生成的水印長度L=ImgW* ImgH/64，其中，ImgW表示圖像寬度，ImgH表示圖像高度；(4-3)對于圖像中的每一塊，找到AC系數中的最大幅值的位置，并記錄下來，用 于嵌入水印信息，即每一塊最多嵌入偽隨機序列中的一比特，嵌入水印時，針對 不同特性的塊嵌入不同強度的水印信息。 以下是水印嵌入式子F' (i,j) =F(i，j) +a 'W(i) (1) 其中W(i)是生成的水印信息，d是一個比例因子，根據塊特性的不同而自適 應調整大小，這里將其與AC系數的方差以及塊的平均亮度聯系起來。根據人眼視 覺特性，如果對比較暗及平滑區域的塊修改AC系數，結果將影響塊的結構，人眼 容易識別出來。綜合考慮算法的不可感知性和魯棒性，a根據塊的方差和所要嵌 入位置AC系數的大小動態選取a =0. 5* log[F(i, 1)* var(F(i， 2 : 64))] 如果a <0，就令a =0，因為如果a 〈0，就表示此塊可能是比較暗的平滑區域， 就不嵌入水印。相應地，對于活動性比較強的塊，對應的值就很大，嵌入的水印信 息強度就會大一些；所述水印的提取，根據水印嵌入的算法,對嵌有水印的圖像進行8X8 DCT變 換，然后量化，提取AC系數幅值最大的值F" (i， j)，利用相關性計算 T =lnEF" (i, j)*W(i) (3) 當T〉Tg,我們就可以判斷該圖像含有水印信息，Tg可以根據實驗獲得，由于 輸出響應的峰值比較高，Tg的選擇有很大的冗余度。 本發明具有以下優點l.采用基于區域的編碼技術，可根據用戶對圖像不同區域的不同感興趣程 度，靈活控制這些圖像區域的編碼質量，對感興趣區域(如人臉、車牌、車型等)采用高精度圖像編碼方式；對非感興趣區域(如背景區域)采用低精度圖像編碼 方式能夠滿足由于安防監控的特殊性，某些應用中需要對某個特殊區域進行特殊 編碼的需求；2. 采用全天候信號編碼技術，可以在不同的光照條件下對安防監控的視頻源 進行編碼時，都能夠具有比較穩定的編碼效率。3. 采用安全性技術，可以利用脆弱性水印技術增強視頻圖像序列的安全性；4. 本編解碼體系結構通過采用以上技術，既能實現編碼技術對現有視頻編碼 標準的改進，又可以滿足安防監控應用對視頻編碼的特殊要求。
圖1為視頻序列編碼體系結構的示意框圖。 圖2為區域劃分示意圖。圖3為采用分頻帶量化算法的8x8塊頻帶分割示意圖。 圖4為DCT域水印嵌入流程圖。
具體實施方式
一種視頻序列編解碼體系結構，該體系結構包括對感興趣區域編解碼和/或 在不同光照條件下的對視頻源的編解碼，并且包括增強視頻序列圖像信息安全性 的編解碼，如圖l所示。對感興趣區域(ROI)編解碼包括以下步驟(1) 以計算機可讀格式提供數字圖像數據，包括關于像素的數值和坐標的數據；(2) 選擇輸入的視頻或數字圖像的感興趣區域、背景區域和過渡帶區域，該輸 入的視頻或數字圖像是從輸入視頻中去除了時域冗余而得到的幀圖像。對輸入 的視頻或圖像數據根據用戶信息或者其它區域分割算法，確定感興趣區域、過 渡帶區域和背景區域的坐斷范圍。 一般說來，三個部分中，最外的是背景區域， 最內的是感興趣區域，居中的是過渡帶區域，過渡帶區域連接背景區域和感興 趣區域，區域劃分如圖2所示。(3) 根據至少三個優先級對輸入的視頻或數字圖像數據進行優先級劃分，劃分 方法為對輸入的視頻或圖像數據根據用戶信息或者其它區域分割算法，確定感 興趣區域、過渡帶區域和背景區域的坐標范圍，感興趣區域的視頻或數字圖像數 據比感興趣區域以外區域的視頻或數字圖像數據具有更高的優先級，或者感興趣 區域的視頻或數字圖像數據和過渡帶區域的視頻或數字圖像數據具備相同的優先級，過渡帶區域的視頻或數字圖像數據比背景區域的視頻或數字圖像數據具有 更高的優先級；感興趣區域內部的數字圖像數據以宏塊為單位，優先級高低相間， 其中感興趣區域內部的優先級高低相間指的是包括但不限于采用小塊相間的方 法，即使區域中每個小塊的優先級與相鄰的縱向和橫向的小塊的不同，但與斜向 上的小塊相同。設背景區域的優先級參數為IMP1，設過渡帶區域的優先級參數 為IMP2，感興趣區域的優先級參數為頂P3和[MP4，其中頂P 1 = 1; ( I )IMP1《頂P2 (II)頂P2《頂P3 (III)頂P3《IMP4; (IV)式(II)取小于符號時，過渡帶區域編碼質量優于背景區域編碼質量；取等 于符號時，過渡帶區域編碼質量等于背景區域編碼質量。式(III)取小于符號時，感興趣區域編碼質量優于過渡帶區域編碼質量；取 等于符號時，感興趣區域編碼質量等于過渡帶區域編碼質量。式(IV)取小于符號時，感興趣區域內部存在兩種不同的優先級；取等于符 號時，感興趣區域內部優先級一致。(4)按照優先級的設定，分別對各個區域的預測變換后的數據進行分級量化，不同區域的量化系數的選擇依照優先級進行，并對變換后的圖像數據進行量化操作，變換方法包括離散余弦變換和小波變換；對于不同區域的量化系數的選 擇依照優先級進行的方法為量化系數的等級總數和優先級的等級總數相等， 量化系數的順序從高到低排列，優先級的順序從低到高排列，并且兩個集合一 一對應；或者量化系數的順序從低到高排列，優先級的順序從高到低排列，并 且兩個集合一一對應。其中由于在接口輸入中每幀初始量化值在編碼器中已經確定，所以背景區 域的量化值QP1為已知；過渡帶的量化值QP2，感興趣區域中深色宏塊的量化 值QP3和白色宏塊的量化值QP4通過下述方法計算得到QP3定義為QP3 = QP1/IMP3，其中IMP3為已知的量，因此QP3也間接 的為已知量。QP4定義為QP4 = QP1/IMP4，其中IMP4為已知的量，因此QP4也間接的為已知量。QP2定義為QP2=(QP1-QP3)* dis/(width+l)+ QP3，其中，dis為過渡帶區 域宏塊到感興趣區域邊界的距離，width為過渡帶區域的寬度。然后可按照一般的視頻/圖像編解碼系統對數字信號進行編解碼，包含運動 估計單元、預測單元、變換單元、量化單元、熵編碼單元等，其中在量化單元需根據歩驟(3)產生的量化值對各個區域的數據進行分級量化；(5)在輸出碼流中記錄感興趣區域的位置信息、過渡帶寬度信息以及各個區的優先級數據。在不同光照條件下的對視頻源的編解碼包括以下步驟(1) 通過時間的觸發設定，將19: 00到次閂7: 00設置為夜間序列編碼方式， 將7: 00到19: OO設置為白天序列編碼方式，或者判斷變換編碼后的系數統計 分布來進行選擇，當變換域碼率大于一個事先設定的值時就采用夜間序列編碼 方式，其他變換域碼率值則用白天序列編碼方式；(2) 白天序列編碼方式通過將編碼出來的碼流在現有視頻編碼標準基礎之上進 行編解碼，用來編碼白天場景(即光線較好時)圖象；夜間序列編碼方式夜間監 控序列相對于白天序列具有較多的高頻噪點，編碼后碼率仍然比較大，根據離散 余弦變換后系數的特性以及人眼視覺特性將系數塊矩陣劃分為若干個頻帶，頻帶 代表不同大小的系數頻率，也代表不同類型的系數頻率。現有AVS標準中變換 系數塊大小為8x8。如圖3所示8x8塊分為兩個頻帶區域，對他們分別采用不同 的量化參數進行標量量化。設灰色塊區域的量化參數為QPl,白色區域量化參數 為QP2，則令QP2二QPl+8。這樣可以有效的減少量化后高頻端的非零數，從而降 低編碼比特率，并且有效的保存了視覺敏感信息。通過利用脆弱性水印技術增強視頻圖像序列的安全性，采用對量化后的DCT 域進行數字水印的嵌入,可以降低算法復雜度，以滿足實時性要求。如圖4所示為 一種現有的DCT域水印嵌入流程圖，其具體實施原理及歩驟為經過DCT變換 得到量化后的各系數，對于交流系數而自'，它表示圖像的變化情況，幅值最大的位 置，意味著此位置所含的信息量最多,對應于空域塊中的主要結構信息。通過大量 實驗發現，經過多種攻擊以后，此位置的值仍然是幅值最大，由此可見幅值最大的 位置具有良好的魯棒性。根據這個特點，如果把水印加在這個位置，再根據人眼視覺特性，在保證水印具有一定不可感知性的條件下，選擇合適的水印強度，將兩者 結合起來可能會使水印有比較好的魯棒性。通過對分塊DCT系數中幅值最大的AC系數進行修改，來實現水印的嵌入。嵌 入水印的算法歩驟如下(1) 將圖像進行8X8分塊，然后對每塊進行DCT變換，經過JPEG量化表量化， 得到分塊的DC和AC系數；(2) 采取{_1， 1}偽隨機序列作為嵌入的水印信息，生成的水印長度L=ImgW* ImgH/64，其中，ImgW表示圖像寬度，ImgH表示圖像高度；(3) 對于圖像中的每一塊，找到AC系數中的最大幅值的位置，并記錄下來，用 于嵌入水印信息。即每一塊最多嵌入偽隨機序列中的一比特。嵌入水印時，針對 不同特性的塊嵌入不同強度的水印信息。以下是水印嵌入式子F' (i,j) =F(i,j) +a .W(i) (1)這里采取了 cox的擴頻通信原理[l],其中W(i)是生成的水印信息，a是一個 比例因子，根據塊特性的不同而自適應調整大小，這里將其與AC系數的方差以及 塊的平均亮度聯系起來。根據人眼視覺特性，如果對比較暗及平滑區域的塊修改 AC系數，結果將影響塊的結構，人眼容易識別出來。綜合考慮算法的不可感知性 和魯棒性，a根據塊的方差和所要嵌入位置AC系數的大小動態選取 a =0. 5* log[F(i, 1)* var(F(i， 2 : 64))]如果a 〈0,就令a =0，因為如果a 〈0，就表示此塊可能是比較暗的平滑區域， 就不嵌入水印。相應地，對于活動性比較強的塊,對應的值就很大，嵌入的水印信 息強度就會大一些。水印的提取的具體實現方法根據水印嵌入的準則，對嵌有水印的圖像進行8X8 DCT變換，然后量化，提取 AC系數幅值最大的值F" (i， j)，利用相關性計算 T =lnEF〃 (i， j)*W(i) (3) 當T〉Tg，我們就可以判斷該圖像含有水印信息。其中，Tg可以根據實驗獲得。 由于輸出響應的峰值比較高，Tg的選擇有很大的冗余度。
權利要求
1.一種視頻編解碼體系結構，其特征在于該體系結構包括對感興趣區域的編解碼和/或在不同光照條件下的對視頻源的編解碼，并且包括增強視頻序列圖像信息安全性的編解碼。
2. 根據權利1要求所述的一種視頻編解碼體系結構，其特征在于對感興趣區 域的編解碼包括以下歩驟(2-1)以計算機可讀格式提供數字圖像數據，包括關于像素的數值和坐標的數 據；(2-2)選擇輸入數字圖像的感興趣區域、背景區域和過渡帶區域，該輸入數字 圖像是從輸入視頻中去除了時域冗余而得到的幀圖像；(2-3)根據至少三個優先級對輸入數字圖像數據進行優先級劃分，劃分方法為 對輸入的視頻或圖像數據根據用戶信息或者其它區域分割算法，確定感興趣區 域、過渡帶區域和背景區域的坐標范圍，感興趣區域的數據比感興趣區域以外 區域的數據具有更高的優先級，或者感興趣區域數據和過渡帶區域的像數據具 備相同的優先級，過渡帶區域的數據比背景區域的數據具有更高的優先級；感 興趣區域內部的數據以宏塊為單位，優先級高低相間，其中感興趣區域內部的 優先級高低相間指的是包括但不限于采用小塊相間的方法，即區域中每個小塊 的優先級與相鄰的縱向和橫向的小塊的不同，但與斜向上的小塊相同； (2-4)按照優先級的設定，分別對各個區域的預測變換后的數據進行分級量化， 不同區域的量化系數的選擇依照優先級進行，并對變換后的圖像數據進行量化 操作，變換方法包括離散余弦變換和小波變換；對于不同區域的量化系數的選 擇依照優先級進行的方法為量化系數的等級總數和優先級的等級總數相等， 量化系數的順序從高到低排列，優先級的順序從低到高排列，并且兩個集合一 一對應；或者量化系數的順序從低到高排列，優先級的順序從高到低排列，并 且兩個集合一一對應；然后可按照一般的視頻/圖像編碼系統對數字信號進行編 碼，包含運動估計單元、預測單元、變換單元、量化單元、熵編碼單元等，其 中在量化單元需根據步驟(2-3)產生的量化值對各個區域的數據進行分級量化: (2-5)在輸出碼流中記錄感興趣區域的位置信息、過渡帶寬度信息以及各個區 域的優先級數據。
3. 根據權利要求1所述的一種視頻編解碼體系結構，其特征在于在不同光照條 件下的對視頻源的編解碼包括以下歩驟(3-1)通過時間的觸發設定，將19: OO到次閂7: OO設置為夜間序列編碼方式， 將7: 00到19: OO設置為白天序列編碼方式，或者判斷變換編碼后的系數統計 分布來進行選擇，當變換域碼率大于一個事先設定的值時就采用夜間序列編碼 方式，其他變換域碼率值則用白天序列編碼方式；(3-2)白天序列編解碼方式通過將編解碼出來的碼流在現有視頻編解碼標準基 礎之上進行編解碼，用來編解碼白天場景圖象；夜間序列編解碼方式根據離散余 弦變換后系數的特性以及人眼視覺特性將系數塊矩陣劃分為若干個頻帶，頻帶代 表不同大小的系數頻率，也代表不同類型的系數頻率，對不同頻帶分別采用不同 的量化參數進行標量量化。
4. 根據權利要求1所述的一種視頻編解碼體系結構，其特征在于通過利用脆弱 性水印技術增強視頻圖像序列的安全性，包括水印的嵌入和水印的提取，其中通 過對分塊DCT系數中幅值最大的AC系數進行修改，來實現水印的嵌入，嵌入水 印的算法歩驟如下(4-l)將圖像進行8X8分塊,然后對每塊進行DCT變換，經過JPEG量化表量化， 得到分塊的DC和AC系數；(4-2)采取{-1， 1H為隨機序列作為嵌入的水印信息，生成的水印長度L=ImgW* ImgH/64,其中，ImgW表示圖像寬度，ImgH表示圖像高度；(4-3)對于圖像中的每一塊，找到AC系數中的最大幅值的位置，并記錄用于嵌入 水印信息，即每--塊最多嵌入偽隨機序列中的一比特，嵌入水印時，針對不同特 性的塊嵌入不同強度的水印信息；水印嵌入式子為F' (i， j) =F(i， j) +a .W(i) (1)，其中W(i)是生成的水印信息，a是一個比例因子，a根據塊的方差和所要 嵌入位置AC系數的大小動態選取a=0. 5* log[F(i, 1)* var(F(i,2 :64))]，如 果a〈0,就令a^;所述水印的提取，根據水印嵌入的算法，對嵌有水印的圖像進 行8X8 DCT變換，然后量化，提取AC系數幅值最大的值F" (i， j)，利用相關性計 算T =ln!]F〃 (i， j)*W(i)。
全文摘要
本發明公開了一種視頻編解碼體系結構，該體系結構包括對感興趣區域編解碼和/或在不同光照條件下的對視頻源的編解碼，并且包括增強視頻序列圖像信息安全性的編解碼。通過對圖像不同區域的不同感興趣程度，靈活控制不同區域的編碼質量。根據不同的光線和不同的天氣條件下，采用不同的量化、變換、熵編碼方法，支持全天候的編碼。通過利用脆弱性水印技術增強視頻圖像序列的安全性。本視頻編解碼體系結構既解決了傳統編碼方式的不足，又保證感興趣區域圖像質量的問題，適應不同光照條件和天氣狀況下的圖像編碼問題，以及編碼信息的安全性問題。
文檔編號H04N7/26GK101309410SQ20081004832
公開日2008年11月19日 申請日期2008年7月8日 優先權日2008年7月8日
發明者瓊 劉, 明 李, 牟曉弦, 胡瑞敏 申請人:武漢大學