專利名稱：跨層交互式圖像質量連續可調的實時視頻編解碼方法
技術領域：
本發明屬于數字圖像處理領域和多媒體消息服務技術領域，具體為一種跨層交互式圖像質量靈活連續可調的實時視頻編解碼方法。
背景技術：
視頻信號以其內容的豐富性、直觀性，使其在交通管理、安防保衛等諸多領域有著廣泛的應用需求。目前的視頻編解碼系統大多基于MPEG2、H. ^4、JPEG2000等技術，在具體應用時會有以下一些不足。首先，系統的可調分辨率多為Dl、CIF等標準格式，因為不同格式在長寬維度上的尺寸為2的倍數關系，所以編碼后的碼流速率呈現階梯性，不具備分辨率及碼流速率可任意連續調整的靈活性。如JPEG2000碼流的漸進傳輸結構所支持的縮放比例只能是在長寬維度上同時進行的2的冪次方縮放，如1/2、1/4等，故無法完成Dl至HALF Dl的分辨率調離
iF. ο其次，多數系統的編碼參數如分辨率、壓縮比等的調整需要重新加載固件才能完成，因此會損失加載固件時間段內的視頻信息，造成視頻傳輸和解碼的中斷，不具備圖像質量調整的連續性。另外，多數系統的編碼參數控制需要在碼流傳輸管道基礎上有一個附加的邏輯控制信道，用于編碼參數的傳遞和確認，制約了圖像質量調整的實時性和連續性。
發明內容
技術問題為了解決上述問題，本發明給出一種跨層交互式圖像質量連續可調的實時視頻編解碼方法。可做到壓縮視頻分辨率在不高于D1，包括且不限于D1、4CIF、HALF Dl、CIF、QCIF等各種標準格式的任意分辨率靈活調整，同時壓縮視頻流的場頻及壓縮比亦可靈活連續調整，使得壓縮后的視頻碼流速率具備了可以連續變化的特點，由此可以最大程度快速適應信道傳輸帶寬的變化。技術方案本發明的層交互式圖像質量連續可調的實時視頻編解碼方法，包括視頻編碼端和視頻解碼端兩個部分，所述視頻編碼端編碼過程如下
a.每場/幀圖像壓縮前，編碼端檢查是否收到解碼端發來的圖像質量控制指令，獲得其中的編碼控制參數，若未收到則維持原編碼控制參數；
b.模擬視頻信號經視頻解碼器，轉換為Dl分辨率的數字視頻碼流；
c.數字視頻碼流經過像素抽取模塊，完成符合圖像質量控制要求的視頻分辨率的調
整；
d.分辨率調整后的數字視頻碼流經過JPEG2000編碼模塊，完成符合圖像質量控制要求的場頻調整和壓縮比調整下的壓縮編碼；
e.JPEG2000碼流合并編碼控制參數，構成流媒體數據幀發送到視頻解碼端； 所述視頻解碼端的解碼過程如下Φ解碼端收到編碼端發
來的流媒體數據幀后，碼流解幀分析模塊首先提取其中的編碼控制參數，作為當前解碼參數，同時檢查其與前次發出的圖像質量控制指令中的參數是否相同，若不同則再次向編碼端發送控制指令；
②將收到的JPEG2000碼流數據送到JPEG2000解碼模塊，完成實時解碼和播放；
③解碼端在需要改變圖像質量時，向編碼端發出圖像質量控制指令及其參數取值。所述視頻編碼端步驟a和視頻解碼端步驟①、步驟③中圖像質量控制指令，其中的編碼控制參數包括但不僅限于圖像分辨率、場頻及壓縮比。所述步驟c的視頻分辨率，格式為不高于Dl “720X576”分辨率，包括且不限于 DU4CIF “704X 576”、HALF Dl "704X288", CIF “352 X 288”、QCIF “ 176 X 144” 五種標準格式的任意分辨率，且分辨率格式的調整在收到圖像控制指令的當前場/幀生效。所述步驟d的場頻調整在收到圖像控制指令的當前場/幀生效。所述步驟d的壓縮比調整在收到圖像控制指令的當前場/幀生效。所述步驟e和視頻解碼端步驟①中的流媒體數據幀為當前場/幀編碼控制參數合并當前場/幀JPEG2000編碼數據，其支持但不僅限于TCP、UDP、PPP等傳輸層協議。有益效果進入JPEG2000編碼模塊之前的視頻碼流經過預處理，可以實現視頻分辨率尺寸在長寬維度上的任意連續調整，同時JPEG2000編碼的場頻、壓縮比亦可靈活連續調整，使得編碼碼流具備了可以連續變化的特點，從而可以最大程度快速適應信道傳輸帶寬的變化。在編碼后將編碼參數附加于編碼碼流，構成流媒體數據幀傳遞至解碼端，其結構可支持多種傳輸層協議，因而實現了圖像質量的跨層交互控制功能。并且圖像質量的控制參數均于當前場/幀圖像數據壓縮時生效，實現了系統編解碼的實時性和連續性。解碼端可做到對于壓縮視頻流的實時解碼和播放，并在需要改變圖像質量時，向編碼端發出實時圖像質量控制指令。
圖1是本發明視頻編碼系統輸出的流媒體數據的幀結構圖； 圖2是本發明視頻編碼系統的優選實施方式的電路方框圖； 圖3是本發明視頻解碼系統的優選實施方式的電路方框圖。
具體實施例方式本發明包括視頻編碼端和視頻解碼端兩個部分，所述視頻編碼端的編碼步驟如下
a.每場/幀圖像壓縮前，編碼端檢查是否收到解碼端發來的圖像質量控制指令，獲得其中的編碼控制參數，若未收到則維持原編碼控制參數；
b.模擬視頻信號經視頻解碼器，轉換為Dl(720X576)分辨率的數字視頻碼流；
c.數字視頻碼流經過像素抽取模塊，完成符合圖像質量控制要求的視頻分辨率的調
整；
d.分辨率調整后的數字視頻碼流經過JPEG2000編碼模塊，完成符合圖像質量控制要求的場頻調整和壓縮比調整下的壓縮編碼；e. JPEG2000碼流合并編碼控制參數，組成流媒體數據幀發送到視頻解碼端。所述視頻解碼端的解碼過程如下
①解碼端收到編碼端發來的流媒體數據幀后，碼流解幀分析模塊首先提取其中的編碼控制參數，作為當前解碼參數，同時檢查其與前次發出的圖像質量控制指令中的參數是否相同，若不同則再次向編碼端發送控制指令；
②將收到的JPEG2000碼流數據送到JPEG2000解碼模塊，完成實時解碼和播放；
③解碼端在需要改變圖像質量時，向編碼端發出圖像質量控制指令及其參數取值。所述視頻編碼端步驟a和視頻解碼端步驟①、③中圖像質量控制指令的編碼控制參數包括但不僅限于圖像分辨率、場頻及壓縮比。所述視頻編碼端步驟c的視頻分辨率格式為不高于D1，包括且不限于D1、4CIF、 HALF D1、CIF、QCIF等五種標準格式的任意分辨率，且分辨率格式的調整在收到圖像控制指令的當前場/幀生效。所述視頻編碼端步驟d的場頻調整和壓縮比調整在收到圖像控制指令的當前場/ 幀生效。所述視頻編碼端步驟e和視頻解碼端步驟①中的流媒體數據幀為當前場/幀編碼控制參數合并當前場/幀JPEG2000編碼數據，其支持但不僅限于TCP、UDP、PPP等傳輸層協議。作為本發明的一種優選方案，所述視頻編碼端的視頻像素抽取模塊，可以選用硬件芯片，如現場可編程門陣列(FPGA)、數字信號處理芯片(DSP)實現。作為本發明的另一種優選方案，所述視頻編碼端和解碼端的JPEG2000編碼及解碼模塊，可以選用硬件芯片，如現場可編程門陣列(FPGA)、數字信號處理芯片(DSP)或專用芯片ADV212實現。作為本發明的又一種優選方案，所述視頻編碼端和解碼端的JPEG2000編碼及解碼模塊，可以基于計算機的軟件實現。作為本發明的再一種優選方案，所述視頻解碼端的視頻播放，可以基于計算機的軟件實現。作為本發明進一步的優選方案，所述視頻解碼端的視頻播放，可以采用基于硬件方案的像素補場、填充模塊及視頻編碼器芯片實現。圖像質量控制指令的確認方式為將編碼參數附加于編碼碼流中構為流媒體數據幀，其幀結構可以支持多種傳輸層協議，實現了圖像質量的跨層交互控制功能。并且圖像質量的控制參數均于當前場/幀圖像數據壓縮時生效，實現了系統圖像質量調整的實時性和連續性。解碼端可做到對于壓縮視頻流的實時解碼和播放，并在需要改變圖像質量時，向編碼端發出實時圖像質量控制指令。下面結合
其中的一個實施例，如圖2、圖3所示，視頻編碼端和視頻解碼端包括以下步驟
視頻編碼端包括以下步驟
1)每場/幀圖像壓縮前，編碼端檢查是否收到解碼端發來的圖像質量控制指令，獲得其中的編碼控制參數，并將參數在前場/幀圖像壓縮結束后立刻配置到像素抽取模塊和 JPEG2000壓縮模塊，若未收到則維持原編碼控制參數，不用重新配置；
52)模擬視頻信號進入視頻編碼器，通過模數轉換，輸出為Dl分辨率符合ITU-RBT. 601 標準的16-bit YCrCb 4:2:2格式，且具有獨立行、場同步信號的數字視頻碼流；
3)數字視頻碼流通過DSP芯片TMS320DM6437的視頻處理前端接口(VPFE)進入芯片內部，然后送至像素抽取模塊根據所設的分辨率參數完成視頻碼流在長寬維度上的數據抽取，實現視頻碼流向不高于Dl的任意分辨率格式的調整，變換分辨率之后的視頻碼流通過 DSP芯片的視頻處理后端數字接口(VPBE)輸出至ADV212芯片；
4)JPEG2000硬件編解碼芯片ADV212根據所設的場頻調整和壓縮比調整參數，完成視頻碼流的JPEG2000壓縮編碼；
5)TMS320DM6437通過外部存儲器接口(EMIF)將ADV212壓縮后的JPEG2000碼流讀入， 并將本場/幀的編碼參數放在JPEG2000碼流數據之前，構幀成流媒體數據幀發送到視頻解碼端。視頻解碼端包括以下步驟
1)解碼端收到編碼端發來的流媒體數據幀后，TMS320DM6437首先提取其中的編碼控制參數，作為當前解碼參數，同時檢查其與前次發出的圖像質量控制指令中的參數是否相同， 若不同則再次向編碼端發送控制指令；
2)TMS320DM6437通過外部存儲器接口(EMIF)將流媒體數據中的JPEG2000碼流部分數據送給JPEG2000硬件編解碼芯片ADV212，完成JPEG2000解碼；
3)因為本方案采用硬件視頻播放的方式，所以解碼后的數字視頻碼流若為非Dl格式分辨率或標準場頻，則需要進行場/幀像素的填充補場操作，才能為后續的視頻編碼器識別。故將上一步的JPEG2000碼流通過TMS320DM6437的視頻處理前端接口(VPFE)進入芯片內部，送至像素填充補場模塊，完成視頻分辨率恢復至Dl格式和場頻的調整；
4)調整后的視頻數字碼流經過DSP芯片TMS320DM6437的視頻處理后端接口(VPBE)送至視頻編碼器，轉換成為模擬視頻信號輸出。5)解碼端在需要改變圖像質量時，向編碼端發出圖像質量控制指令及其參數取值。
權利要求
1.一種跨層交互式圖像質量連續可調的實時視頻編解碼方法，包括視頻編碼端和視頻解碼端兩個部分，其特征在于所述視頻編碼端編碼過程如下a.每場/幀圖像壓縮前，編碼端檢查是否收到解碼端發來的圖像質量控制指令，獲得其中的編碼控制參數，若未收到則維持原編碼控制參數；b.模擬視頻信號經視頻解碼器，轉換為Dl分辨率的數字視頻碼流；c.數字視頻碼流經過像素抽取模塊，完成符合圖像質量控制要求的視頻分辨率的調整；d.分辨率調整后的數字視頻碼流經過JPEG2000編碼模塊，完成符合圖像質量控制要求的場頻調整和壓縮比調整下的壓縮編碼；e.JPEG2000碼流合并編碼控制參數，構成流媒體數據幀發送到視頻解碼端；所述視頻解碼端的解碼過程如下①解碼端收到編碼端發來的流媒體數據幀后，碼流解幀分析模塊首先提取其中的編碼控制參數，作為當前解碼參數，同時檢查其與前次發出的圖像質量控制指令中的參數是否相同，若不同則再次向編碼端發送控制指令；②將收到的JPEG2000碼流數據送到JPEG2000解碼模塊，完成實時解碼和播放；③解碼端在需要改變圖像質量時，向編碼端發出圖像質量控制指令及其參數取值。
2.根據權利要求1所述的跨層交互式圖像質量連續可調的實時視頻編解碼方法，其特征在于所述視頻編碼端步驟a和視頻解碼端步驟①、步驟③中圖像質量控制指令，其中的編碼控制參數包括但不僅限于圖像分辨率、場頻及壓縮比。
3.根據權利要求1所述的跨層交互式圖像質量連續可調的實時視頻編解碼方法，其特征在于所述步驟c的視頻分辨率，格式為不高于01“720\576”分辨率，包括且不限于01、 4CIF “704X 576”、HALF Dl “704X 288”、CIF "352X 288QCIF “ 176X 144” 五種標準格式的任意分辨率，且分辨率格式的調整在收到圖像控制指令的當前場/幀生效。
4.根據權利要求1所述的跨層交互式圖像質量連續可調的實時視頻編解碼方法，其特征在于所述步驟d的場頻調整在收到圖像控制指令的當前場/幀生效。
5.根據權利要求1所述的跨層交互式圖像質量連續可調的實時視頻編解碼方法，其特征在于所述步驟d的壓縮比調整在收到圖像控制指令的當前場/幀生效。
6.根據權利要求1所述的跨層交互式圖像質量連續可調的實時視頻編解碼方法，其特征在于所述步驟e和視頻解碼端步驟①中的流媒體數據幀為當前場/幀編碼控制參數合并當前場/幀JPEG2000編碼數據，其支持但不僅限于TCP、UDP、PPP等傳輸層協議。
全文摘要
本發明公開一種跨層交互式圖像質量連續可調的實時視頻編解碼方法，具體包括視頻編碼端和視頻解碼端兩部分。編碼端首先根據接收到的圖像質量控制指令確定本場/幀圖像數據的編碼參數；然后根據指定參數完成數字視頻信號的JPEG2000編碼；再將編碼后的數據與參數組成流媒體數據幀發送到解碼端。解碼端首先根據收到流媒體數據幀中的編碼參數判斷前次圖像控制指令是否需要重發，并完成當前參數下的解碼和播放，在需要改變圖像質量時可向編碼端發出新的圖像控制指令。采用本系統的視頻圖像質量在分辨率、場頻、壓縮比上做到了靈活連續可調，可以最大程度快速適應信道傳輸帶寬的變化，且控制指令可以做到跨層交互。
文檔編號H04N7/26GK102427531SQ20111031613
公開日2012年4月25日 申請日期2011年10月18日 優先權日2011年10月18日
發明者王剛, 陳曉曙 申請人:東南大學