專利名稱：基于功耗模型的最優化可伸縮視頻傳輸和解碼系統的制作方法
技術領域：
本發明屬于視頻壓縮編碼與無線傳輸技術領域，設計了適用于智能手機等移動設備的可伸縮視頻編解碼與無線傳輸方法。本發明根據網絡帶寬和移動終端可用功率實時優化可伸縮碼流參數來保證最佳的視頻質量。
背景技術：
在可伸縮視頻編碼的解碼模塊中，是分解為七個基本的解碼模塊進行的，即熵解碼，邊信息準備，反量化和逆變換，參考信息更新，幀內預測，運動補償和去塊。首先比特流被送入到熵解碼模塊，以獲得邊信息和量化后的變換系數等；然后解碼器使用解析過的信息來初始化必要的解碼數據結構，即邊信息準備。塊類型，參考圖，預測模式，運動矢量，將被計算并填入到相應的數據結構中作進一步的使用。反量化和逆變換模塊接著把量化轉移系數轉換成塊殘差系數。在目標層，解碼殘差可以被歸結為預測樣本，用幀內預測或者運動補償來重構信號。最后，去塊濾波器被用來消除由基于塊的混合變換編碼結構引入的塊效應。由于可以通過把即時復雜度要求映射為處理器功耗來得到功耗模型，因此獲得復雜度模型是很有必要的。為了準確的獲得幀解碼復雜度，可以把視頻解碼器分解成7個解碼模塊，每一個解碼模塊都有一個特殊的復雜度單元(CU)來解決這一解碼模塊所要求的基本操作。一個固定CU所要求的平均循環數或者為常數，或者可以由一個簡單的線性預測器容易的獲得。由于有限的電池能量供應是流行移動視頻應用中的一個關鍵問題。相比其它服務如音頻播放，短信等，視頻解碼通常要求更多的能量，這是由于其復雜的計算操作和緩沖區內戲劇性的數據傳輸。對于采用先進視頻編碼標準，如H.264/AVC及其可伸縮擴展的高清晰度(HD)視頻解碼來說，電池能量的短缺是一個更為嚴重的問題。一般來說，在視頻解碼中有兩個主要的能量消耗源。一個是內存傳輸，另一個是CPU周期工作。因此獲得可伸縮視頻解碼的功耗是關鍵和必須的，功耗可以表示為所需視頻解碼復雜度的函數(就每秒循環數來說)，即P = φ (C)；這里P和C分別表示視頻解碼的功耗和計算復雜度，φ 0抽象了功耗和復雜度的關系。而對于ARM處理器下可伸縮視頻解碼的功耗模型為穴I t) =^(C(q, t))=\C(q,ty+k2 ，這里C為解碼復雜度，k1 k2為參數。論文名H. 264/AVC baseline profile decoder complexity analysis,其月干丨J : IEEETrans. Circuits and Systems for Video Technology,年份2003 年，第 13 其月，704 頁至716頁，論述了在視頻解碼中的兩個主要的消耗源，即內存傳輸和CPU周期工作，但是沒有考慮其它部分的功耗。論文名Power -rate-distortion analysis for wireless video communication under energy constraints，期干丨J :IEEE Trans. Circuit and Sys. for Video Technology, 年份2005年，第15期，645頁至659頁，說明了解碼功耗可以用解碼復雜度的函數來表示， 但只是在一個固定的平臺上實現，而且這種關系是確定的，無法自適應解碼環境變化。
論文名A dynamic voltage scaled microprocessor system,期干丨 J :IEEE Journal of Solid-State Circuits，年份2000 年，第 35 期，1571 頁至 1580 頁，提出了為了節省能量而廣泛使用的動態電壓/頻率調整方案。論文名:Performance analysis of SVC,期干丨J :IEEE Trans. Circuit and Sys. for Video Technology，年份2007年，第17期，1194頁至1203頁，論述了由于SVC的單環解碼設計，SVC的解碼復雜度與H. 264/AVC解碼解碼復雜度相差不大，并分析了解碼性能，沒有采用剩余能量模型。
發明內容
本發明為功率受限的無線移動終端提供最優化視頻傳輸和解碼系統，保證終端視頻的最佳質量，包括實時帶寬偵聽，實時終端功率檢測，實時功率率失真優化，以及實時視頻服務器和終端通信。本發明的技術方案該系統包括視頻服務器，移動終端天線，網絡帶寬檢測電路，終端功率檢測電路， 功率率失真優化電路，視頻服務器與終端對等通信，以及可伸縮視頻解碼電路。視頻服務器存儲大量的可伸縮視頻，包括不同的視頻內容，幀率，幅度值等等。移動終端天線提供和視頻服務器的通信鏈接，可以使用WiFi，或者3G/4G蜂窩網網絡檢測電路和終端天線連接，實時偵聽有效網絡帶寬并提供給終端功率檢測電路。該電路可以整合入天線模塊，擴展當前軟件驅動來控制偵聽頻率。終端功率檢測電路可以使用電池傳感器來檢測終端電池容量，繼而得出可用功率。類似與網絡檢測電路，可以通過擴展軟件驅動來控制功率檢測的精度和頻率。從端功率檢測電路出來的信號通過功率率失真優化電路計算并計算最優化視頻參數，即前述的實時功率和網絡帶寬將會被功率率失真模塊使用來計算最優化視頻參數。 最優化參數反饋至視頻服務器進行碼流提取。在功率率失真優化電路中，結合了我們下面提出的可伸縮視頻解碼功率模型，根據帶寬和可用功率，來計算最優化視頻參數，例如視頻幀率，幅值等。可伸縮視頻解碼的功耗是關鍵和必須的，功耗可以表示為所需視頻解碼復雜度的函數(就每秒循環數來說)，即P = φ (C)；這里P和C分別表示視頻解碼的功耗和計算復雜度，φ()抽象了功耗和復雜度的關系。而對于ARM處理器下可伸縮視頻解碼的功耗模型為Kq，t) =^(C(q, t))=\C(q,ty+k2 ，這里C為解碼復雜度，k1; 1 為參數。該功率率失真模塊可以使用獨立硬件電路，譬如FPGA，或者終端控制器譬如ARM 9，或者終端信號處理器，譬如ARM Cortex, DSP,來實現。可伸縮視頻解碼器用來進行可伸縮視頻解碼，可以使用專用硬件解碼器，或者基于嵌入時平臺的軟件解碼器，用來進行視頻解碼和播放。本發明的有益效果是通過實時帶寬偵聽，實時功率檢測，實時功率率失真優化以及視頻服務器和終端通信，實現可伸縮性視頻的最優傳輸和解碼。本發明能夠提供提供最佳視頻質量，有效控制無線終端功率消耗，提供視頻傳輸實時優化，支持不同無線終端以及不同無線網絡接入。
附圖1是本發明的結構示意圖。
具體實施例方式下面結合具體實施例和附圖詳細闡述本發明，但本發明并不局限于具體實施例。實施例1.使用dell optiplex 360作為視頻服務器，無線路由CISCO WRVS 4400作為網絡代理，提供無線接入(802. lla/b/g/n)。2.使用智能手機平臺TI 0MAP3 EVM作為移動終端。3.實現擴展天線驅動支持帶寬檢測，每1秒檢測一次獲取實時網絡帶寬(比特每秒 bps)。4.使用電池感應器檢測終端可用功率，每10秒檢測一次獲取當前電池容量(毫安時 mAh)。5.實現功率率失真模塊，基于終端控制器的底層協議C/ASM，實時計算最優化參數，計算時間0.5毫秒。6.實現基于ARM平臺的實時可伸縮視頻解碼模塊，實時解碼可伸縮視頻碼流，達到30幀每秒。7.結合前述的可伸縮視頻解碼功率模型，視覺感知模型以及碼率模型，輸入網絡帶寬100千比特每秒GAps)，可用平均功率500毫瓦(mW)，計算得出最佳視頻幀率為15幀每秒(fps)和信號幅度控制參數2。8.將最佳視頻參數反饋至視頻服務器來提取對應可伸縮視頻碼流。9.提取碼流通過無線網絡傳輸至終端利用視頻解碼器解碼和實時播發。
權利要求
1. 一種基于功耗模型的最優化可伸縮視頻傳輸和解碼系統，該系統包括視頻服務器、 移動終端天線、網絡帶寬檢測電路、終端可用功率檢測電路、功率率失真優化電路以及視頻解碼器電路，其特征在于視頻服務器存儲大量的可伸縮視頻；移動終端天線提供和視頻服務器的通信鏈接，通過WiFi或者3G/4G蜂窩網絡； 網絡帶寬檢測電路和移動終端天線連接，實時偵聽有效網絡帶寬并提供給終端功率檢測電路；從端功率檢測電路出來的信號通過功率率失真優化電路計算并計算最優化視頻參數；該功率率失真模塊使用獨立硬件電路；視頻解碼器用來進行可伸縮視頻解碼，使用專用硬件解碼器，或者基于嵌入時平臺的軟件解碼器。
全文摘要
本發明屬于視頻壓縮編碼與無線傳輸技術領域，提供了一種適用于智能手機等移動設備的可伸縮視頻編解碼與無線傳輸方法。其特征是根據移動設備當前可用功率和接收網絡帶寬，結合本發明提出的可伸縮視頻解碼功率模型，視覺感知模型和視頻碼率模型，得出最優化視頻參數，例如視頻幀率，信號幅度。最優視頻參數由無線終端反饋至服務器，或者網絡接入點來提取對應的可伸縮視頻碼流。該提取的碼流通過無線網絡傳輸至移動設備進行解碼和播放。本發明可以根據無線終端的當前功率和接入帶寬實時調節視頻傳輸，并保證最優的視頻質量。
文檔編號H04N7/26GK102209242SQ20111013791
公開日2011年10月5日 申請日期2011年5月26日 優先權日2011年5月26日
發明者王潔, 王洪玉, 馬展 申請人:大連理工大學