專利名稱：低碼率視頻超分辨率重構的編碼裝置和解碼裝置的制作方法
技術領域：
本發明涉及一種視頻處理領域的技術，具體是一種低碼率視頻超分辨率重構 的編碼裝置和解碼裝置。
背景技術：
低碼率視頻的傳輸和編解碼技術是當前信息科學領域的研究熱點，該技術應 用基礎廣泛，如手機電視、視頻監控、遠程醫療、車輛無人駕駛等；在軍事領域， 該方面也有著的巨大的應用價值，比如空中無人偵査、海底無線視頻傳輸、遙感 成像、敵意干擾環境下的視頻傳送等。隨著大量視頻應用不斷涌現以及高分辨率 顯示設備的普及，市場對低碼率視頻的質量要求也越來越高，然而作為公有資源 的"傳輸帶寬"總是相對緊缺的，因而在低碼率條件(例如200kbps或更低)條 件下得到高質量的圖像質量是上述視頻應用不變的追求。
現有的成熟的視頻壓縮標準有MPEG-4、 H. 261、 H. 263、 H. 264，以及AVS等， 這些編碼的共同特征是基于混合編碼技術，即通過運動補償加上變換編碼的技 術。其中運動補償利用了視頻信息在時間和空間的相關性，而變換編碼技術應用 了視頻圖像在頻域的能量集中特性。這些編解碼系統中，編碼和解碼對應的圖像 尺寸相同，解碼算法的設計目標是盡可能逼真地復原編碼端的圖像。由于低碼率 的限制，他們不能直接獲得高于編碼器所提供的圖像分辨率。
除了上述技術之外，還有一種視頻處理技術超分辨率圖像重構技術，該技 術可以從低分辨率圖像重構出高分辨率的圖像，該技術有以下三個方向基于多 幅靜態圖像樣本的超分辨率重構技術、基于圖像成像模型的求逆的方法研究、利 用圖像的概率統計模型進行超分辨率重構。
基于多幅靜態圖像樣本的超分辨率重構技術是通過匹配算法找出同一目標 對象的各個像素在不同圖像樣本中的對應關系，經過象素數據的融合重構出高分 辨率的圖片。由于該算法假設多幅圖片所反映的物體對象是靜態的或基本靜止， 不同圖像樣本之間的差別由物體的整體平移和旋轉兩個參數描述，這些限制條件
使這一類算法應用領域相對較窄、且對于不同的圖像性能不穩定，另外所提出的 算法運算量大，難以應用于高度動態的和實時的視頻編解碼技術中。該技術適用 于遙感照片、照片修復等準靜態的對實時要求低的領域；
基于圖像成像模型的求逆的方法研究是通過在正則化條件下對模型方程求 逆，重構出原始的高分辨率圖像，由于這一類超分辨率重構技術需要求逆的方程 一般是非線性和病態的，圖像重構需要通過大量的迭代搜索運算實現。此外該算 法的性能受正則化約束的選擇影響大。這些問題同樣使得它難以應用在實時解碼 的視頻播放系統。
經對現有技術文獻的檢索發現，王濤等人在2007年小波分析和模式識別國 際會議上發表的《automatic super resolution image reconstruction based on hybrid MAP-POCS》(《基于MAP和P0CS的自動化圖像超分辨率重構》)中提到的 基于最大后驗概率(MAP)和凸集投影(POCS)算法相結合的超分辨率重建方法， 具體來說，首先使用APEX算法對升采樣后的參考圖像去巻積，以得到點擴散函 數(PSF)和對原始高分辨率圖像的近似，然后建立Huber-Markov隨機場圖像先 驗模型，用MAP方法對非齊次控制參數進行估計，最后通過迭代運算對病態過程 進行正則化處理。該方法可以應用在仿真圖像、實際視頻序列和實際衛星圖像的 超分辨率重建上。相比雙線性內插等傳統方法，MAP-POCS混合重建方法可以保 證銳利的邊緣，準確的紋理和對PSNR的改進。這一方法依賴已知的先驗概率模 型，但由于視頻數據的高度動態和多樣性，先驗概率模型與實際差異較大，使得 該方法需要不斷迭代以達到復原圖像質量的提升，因而計算量巨大，難以應用在 實時視頻圖像處理上。
發明內容
本發明針對上述現有技術的不足，提出了一種低碼率視頻超分辨率重構的編 碼裝置和解碼裝置，在按照一般視頻編碼標準進行編碼的同時，對原始圖像首先 得到一些針對超分辨率重構的輔助碼流，以對解碼端的超分辨率重構進行指引和 對人眼感興趣區域進行更進一歩的矯正，以減少視頻解碼端超分辨率重構復雜 度，同時提高超分辨率重構的精度。
本發明是通過以下技術進行實現的。
本發明涉及一種低碼率視頻超分辨率重構的編碼裝置，包括降采樣模塊、 標準視頻編碼器、第一標準視頻解碼器、圖像特征分析模塊、超分辨率重構輔助
碼流生成模塊、第一超分辨率重構模塊、碼流合成模塊，其中
降采樣模塊、圖像特征分析模塊、超分辨率重構輔助碼流生成模塊均接收一
部分輸入編碼裝置的原始高分辨率圖像序列；
降采樣模塊將原始高分辨率圖像序列進行時間和空間的降采樣，得到低分辨
率圖像序列；
標準視頻編碼器將低分辨率圖像序列進行編碼得到標準視頻碼流，并傳輸到 第一標準視頻解碼器；
第一標準視頻解碼器將標準視頻碼流解碼得到低分辨率圖像序列，并傳輸給 第一超分辨率重構模塊；
第一超分辨率重構模塊將低分辨率圖像序列以及由超分辨率重構輔助碼流 生成模塊輸入的超分辨率重構輔助碼流，進行超分辨率重構得到超分辨率重構后 的圖像序列；
圖像特征分析模塊將原始高質量圖像序列和超分辨率重構后的圖像序列進 行比較，得到重構效果分析數據，并傳輸給超分辨率重構輔助碼流生成模塊；
超分辨率重構輔助碼流生成模塊利用原始高分辨率圖像序列數據，并結合來 自于圖像特征分析模塊的重構效果分析數據，生成超分辨率重構輔助碼流，并傳 輸給第一超分辨率重構模塊，當超分辨率重構效果滿足設定指標時(指標包括輔 助碼流的碼率和重構后的圖像質量)，將超分辨率重構輔助碼流傳輸給碼流合成 模塊；
碼流合成模塊將超分辨率重構輔助碼流和標準視頻碼流混合生成混合視頻 碼流輸出。
所述超分辨率重構輔助碼流生成模塊，包括分區域統計信息估計模塊、矯 正信息編碼模塊、輔助碼流編碼模塊，其中
分區域統計信息估計模塊接收原始高質量圖像序列分析得到圖像統計信息， 矯正信息編碼模塊接收原始高質量圖像序列，并根據輸入的重構效果分析數據生 成圖像矯正信息，將圖像矯正信息和圖像統計信息通過輔助碼流編碼模塊壓縮編 碼得到超分辨率重構輔助碼流。
所述第一超分辨率重構模塊，包括超分辨率預重構模塊、重構碼流解碼器、 圖像矯正器，其中
重構碼流解碼器將輸入到超分辨率重構模塊的超分辨率重構輔助碼流分割
成圖像統計信息和圖像矯正信息，并分別傳輸給超分辨率預重構模塊和圖像矯正 器；
超分辨率預重構模塊根據圖像統計信息，對由第一標準視頻解碼器得到的低 分辨圖像序列進行超分辨率預重構，得到超分辨率預重構后的圖像序列，并傳輸
給圖像矯正器；
圖像矯正器根據的圖像矯正信息，對超分辨率預重構后的圖像序列的指定區 域進行矯正后得到超分辨率重構后的圖像序列。
所述圖像特征分析模塊對超分辨率重構質量的評價包含兩部分內容輔助碼 流比特率在整個混合碼流(標準壓縮碼流和超分辨率重構輔助碼流)的比重和超 分辨率重構后圖像的質量，其中超分辨率后圖像質量的評價是根據超分辨后圖像 和原始高分辨圖像之間的殘差來評估的，并且著重考慮人眼感興趣區域的重構質
所述圖像特征分析模塊，包括比較器、過濾器、人眼敏感區域分析模塊， 其中
比較器將原始高質量圖像序列和超分辨率重構后的圖像序列進行比較得到 殘差數據，并將殘差數據傳輸給過濾器；
人眼敏感區域分析模塊通過分析原始高質量圖像序列得到人眼敏感區域信 息，并將該信息傳輸給過濾器；
過濾器根據人眼敏感區域信息和殘差數據得到重構效果分析數據。
所述碼流合成模塊，在視頻標準或視頻文件封裝格式支持的情況下，碼流合 成模塊將輔助碼流嵌入到標準視頻標準或視頻文件的可擴展域。
本發明中，超分辨率重構輔助碼流生成模塊生成超分辨率重構輔助碼流是一 個反饋過程，反饋過程具體如下
首先，超分辨率重構輔助碼流生成模塊根據輸入的原始高質量圖像序列和重 構效果分析數據生成超分辨率重構輔助碼流；
然后，標準視頻編碼器輸出的標準視頻碼流經過第一標準視頻解碼器后得到 低分辨率的圖像序列，連同上述超分辨率重構輔助碼流一起輸入到第一超分辨率 重構模塊，得到經過超分辨率重構后的圖像序列；
其次，原始高質量圖像序列和超分辨率重構后的圖像序列被輸入到圖像特征 分析模塊，分析圖像重構的效果得到重構效果分析數據；
最后，重構效果如果不滿足設定的要求(包括輔助碼流的碼率和重構后的圖 像質量)，則重復上述操作，將重構效果分析數據輸入到超分辨率重構輔助碼流 生成模塊，生成新的超分辨率重構輔助碼流；如果滿足要求，則將超分辨率重構 輔助碼流輸出，通過碼流合成模塊，和標準視頻碼流進行合成后輸出。
本發明還涉及一種低碼率視頻超分辨率重構的解碼裝置，包括碼流分割器、 第二標準視頻解碼器、第二超分辨率重構模塊，其中
碼流分割器將混合視頻碼流分割為標準視頻壓縮碼流和超分辨率重構輔助 碼流，并將標準視頻壓縮碼流傳輸給第二標準視頻解碼器，將超分辨率重構輔助 碼流傳輸給第二超分辨率重構模塊；
第二標準視頻解碼器將標準視頻壓縮碼流解碼得到低分辨率的圖像序列，并 將低分辨率的圖像序列傳輸給第二超分辨率重構模塊；
第二超分辨率重構模塊根據超分辨率重構輔助碼流里提供的圖像統計信息 對低分辨率的圖像序列進行超分辨率重構，并根據超分辨率重構輔助碼流里提供 的圖像矯正信息對超分辨率重構后的圖像進行矯正，得到在時間和空間上更高分 辨率的圖像序列。
所述第二超分辨率重構模塊，其結構與編碼器中的第一超分辨率重構模塊相同。
與現有技術相比，本發明具有如下有益效果
1、 本發明利用了編碼裝置部分提供的針對超分辨率重構的輔助碼流，來提 高對低分辨視頻進行超分辨率重構的效率和精度，有效地利用編碼裝置和解碼裝 置日益增強的運算能力達到通信帶寬節省的目標；
2、 本發明的編碼裝置中，包含了預解碼和預超分辨率重構的反饋過程，以 檢驗超分辨率重構的效果，并根據超分分辨重建的效果，必要時進行對相應的矯 正，大大增強了超分辨率重構對高度動態和多樣性的視頻圖像進行重構的適應能 力；
3、 本發明的編碼裝置中，對重構效果進行評估時，同時考慮了超分辨率重 構輔助碼流的碼率在整個視頻碼流中的比重和重構后的圖像質量，人眼敏感趣區 域分析模塊在圖像質量的評價和圖像的矯正中優先考慮人眼感興趣區域，使輔助 碼流對重構圖像主觀質量的提升更加有效；
4、 本發明編碼裝置和解碼裝置中，兼容標準的視頻編碼方案，在編碼裝置
和解碼裝置用到標準視頻解碼器可以作為黑盒形式，可以對其內部不做修改，生 成的輔助碼流可以嵌入在一般視頻編碼標準或視頻文件封裝格式的擴展域，用本 發明編碼裝置得到的視頻碼流，也可以為一般的標準視頻解碼器所接受。
圖1是本發明中低碼率視頻超分辨率重構的編碼裝置的系統結構框圖2是本發明的編碼裝置中第一超分辨率重構模塊的結構框圖3是本發明的編碼裝置中圖像特征分析模塊的結構框圖4是本發明的編碼裝置中超分辨率重構輔助碼流生成模塊的結構框圖5是本發明中低碼率視頻超分辨率重構的解碼裝置的系統結構框圖。
具體實施例方式
下面結合附圖對本發明的實施例作詳細說明本實施例在以本發明技術方案 為前提下進行實施，給出了詳細的實施方式和具體的操作過程，但本發明的保護 范圍不限于下述的實施例。
如圖1所示，本實施例涉及一種低碼率視頻超分辨率重構的編碼裝置，包 括降采樣模塊、標準視頻編碼器、第一標準視頻解碼器、圖像特征分析模塊、 超分辨率重構輔助碼流生成模塊、第一超分辨率重構模塊、碼流合成模塊，其中
降采樣模塊、圖像特征分析模塊、超分辨率重構輔助碼流生成模塊均接收一 部分輸入編碼裝置的原始高分辨率圖像序列，本實施例中原始圖像序列取分辨率
為704X576，幀率為30fps的RGB格式的圖像序列;
降采樣模塊將原始高分辨率圖像序列進行時間和空間的降采樣，得到分辨率 為352X288，幀率為30fpsRGB的低分辨率圖像序列；
標準視頻編碼器為H. 264視頻編碼器，H. 264視頻編碼器將由降采樣模塊輸 出的分辨率為352X288，幀率為30fps,RGB格式的低分辨率圖像序列進行編碼 得到分辨率為352X288，幀率為30fps的H. 264格式的標準視頻碼流，并傳輸 到第一標準視頻解碼器；
第一標準視頻解碼器為H. 264視頻解碼器，H. 264視頻解碼器將標準視頻碼 流(H. 264標準視頻碼流)解碼得到分辨率為352X288，幀率為30fps的RGB格 式的圖像序列，并傳輸給第一超分辨率重構模塊；
第一超分辨率重構模塊將分辨率為352X288，幀率為30fps， RGB格式的低 分辨率的圖像序列以及由超分辨率重構輔助碼流生成模塊輸入的超分辨率重構
輔助碼流，進行超分辨率重構得到分辨率為704X576，幀率為30fps的RGB格 式的圖像序列，并根據輔助碼流里提供的圖像矯正信息，對超分辨率重構后的圖 像的指定區域進行矯正，包括直接修正某些區域的像素值、對輪廓區域的銳化等， 對應的矯正區域和矯正方法都從輔助碼流直接得到；
圖像特征分析模塊將原始高分辨率圖像序列和超分辨率重構后的圖像序列 進行比較，得到重構效果分析數據，并傳輸給超分辨率重構輔助碼流生成模塊；
超分辨率重構輔助碼流生成模塊利用原始高分辨率圖像序列數據，并結合來 自于圖像特征分析模塊的重構效果分析數據，生成超分辨率重構輔助碼流，并傳 輸給第一超分辨率重構模塊，當超分辨率重構效果滿足設定指標時(指標包括輔 助碼流的碼率和重構后的圖像質量)，將超分辨率重構輔助碼流傳輸給碼流合成 模塊；
碼流合成模塊將超分辨率重構輔助碼流和標準視頻碼流混合生成混合視頻 碼流輸出。
如圖2所示，所述第一超分辨率重構模塊，包括超分辨率預重構模塊、重 構碼流解碼器、圖像矯正器，其中
重構碼流解碼器將輸入到超分辨率重構模塊的超分辨率重構輔助碼流分割 成圖像統計信息和圖像矯正信息，并分別傳輸給超分辨率預重構模塊和圖像矯正 器；
超分辨率預重構模塊根據圖像統計信息，對由第一標準視頻解碼器得到的低 分辨圖像序列進行超分辨率預重構，得到超分辨率預重構后的圖像序列，并傳輸 給圖像矯正器；
圖像矯正器根據的圖像矯正信息，對超分辨率預重構后的圖像序列的指定區 域進行矯正后得到超分辨率重構后的圖像序列。
如圖3所示，所述圖像特征分析模塊，包括比較器、過濾器、人眼敏感區 域分析模塊，其中
比較器將原始高質量圖像序列和超分辨率重構后的圖像序列進行比較得到 殘差數據，并將殘差數據傳輸給過濾器；
人眼敏感區域分析模塊通過分析原始高質量圖像序列得到人眼敏感區域信 息，并將該信息傳輸給過濾器；
過濾器根據人眼敏感區域信息和殘差數據得到重構效果分析數據，并傳輸給超分辨率重構輔助碼流生成模塊。
如圖4所示，所述超分辨率重構輔助碼流生成模塊，包括分區域統計信息 估計模塊、矯正信息編碼模塊、輔助碼流編碼模塊，其中-
分區域統計信息估計模塊接收原始高質量圖像序列分析得到圖像統計信息， 矯正信息編碼模塊接收原始高質量圖像序列，并根據輸入的重構效果分析數據生 成圖像矯正信息，將圖像矯正信息和圖像統計信息通過輔助碼流編碼模塊壓縮編 碼得到超分辨率重構輔助碼流。
本實施例中，超分辨率重構輔助碼流生成模塊生成超分辨率重構輔助碼流是 一個反饋過程，反饋過程具體如下
首先，超分辨率重構輔助碼流生成模塊根據輸入的原始高質量圖像序列和重 構效果分析數據生成超分辨率重構輔助碼流；
然后，標準視頻編碼器輸出的標準視頻碼流經過第一標準視頻解碼器后得到 低分辨率的圖像序列，連同上述超分辨率重構輔助碼流一起輸入到第一超分辨率 重構模塊，得到經過超分辨率重構后的圖像序列；
其次，原始高質量圖像序列和超分辨率重構后的圖像序列被輸入到圖像特征 分析模塊，分析圖像重構的效果得到重構效果分析數據；
最后，重構效果如果不滿足設定的超分辨率重構效果指標(包括輔助碼流的 碼率和重構后的圖像質量)，則重復上述操作，將重構效果分析數據輸入到超分 辨率重構輔助碼流生成模塊，生成新的超分辨率重構輔助碼流；如果滿足要求， 則將超分辨率重構輔助碼流輸出，通過碼流合成模塊，和標準視頻碼流進行合成 后輸出。本實施例中，預定的超分辨率重構的指標為輔助碼流碼率在混合碼流 碼率中的比重在10%以下；跟原始高分辨圖像對比，超分辨率重構后的圖像的 PSNR在35以上，其中人眼感興趣區域圖像的PSNR在38以上。
如圖5所示，本實施例還涉及一種低碼率視頻超分辨率重構的解碼裝置，包 括碼流分割器、第二標準視頻解碼器、第二超分辨率重構模塊，其中
碼流分割器將混合視頻碼流分割為超分辨率重構輔助碼流和H.264標準視 頻壓縮碼流，并將H.264標準視頻壓縮碼流傳輸給第二標準視頻解碼器，將超分 辨率重構輔助碼流傳輸給第二超分辨率重構模塊；
第二標準視頻解碼器是H. 264標準視頻解碼器，H. 264標準視頻解碼器將分 辨率為352X288，幀率為30fps的H. 264標準視頻壓縮碼流解碼得到分辨率為
352X288，幀率為30fps的RGB格式的圖像序列，并傳輸給第二超分辨率重構模 塊；
第二超分辨率重構模塊根據超分辨率重構輔助碼流里提供的圖像統計信息 對分辨率為352X288，幀率為30fps， RGB格式的圖像序列進行超分辨率重構，得 到分辨率為704X576，幀率為30fps的RGB格式的圖像序列，并根據超分辨率 重構輔助碼流里提供的圖像矯正信息對超分辨率重構后的圖像進行必要的矯正 后輸出。
本實施例中，利用編碼裝置部分提供的不超過整體碼率20%的輔助碼流來提 高低碼率視頻超分辨率重構的效率和精度，解碼裝置部分利用編碼端所提供的極 少量的輔助碼流，來指導解碼端的超分辨率重構，與一般視頻超分辨率"盲"重 構相比，由于減少了大量的迭代搜索匹配，明顯減少了超分辨率重構算法復雜度， 計算量縮減在50%以上，提高了重構效率，同時也增強了超分辨率重構對高度動 態和多樣化的視頻圖像數據的適應能力，提高了重構精度，與一般低碼率視頻編 解碼系統相比，在碼率提高不超過20%的情況下，可以將圖像的輸出分辨提高4 倍以上；編碼裝置部分利用帶超分辨率重構的預解碼閉環反饋構造出極少量的超 分辨率重構輔助碼流，并且利用編碼模塊中的人眼感興趣區域分析模塊，著重對 人眼敏感區域的超分辨率重構進行引導和矯正，進一步提高視頻解碼輸出的主觀 質量。
權利要求
1、一種低碼率視頻超分辨率重構的編碼裝置，其特征在于，包括降采樣模塊、標準視頻編碼器、第一標準視頻解碼器、圖像特征分析模塊、超分辨率重構輔助碼流生成模塊、第一超分辨率重構模塊、碼流合成模塊，其中降采樣模塊、圖像特征分析模塊、超分辨率重構輔助碼流生成模塊均接收一部分輸入編碼裝置的原始高分辨率圖像序列；降采樣模塊將原始高分辨率圖像序列進行時間和空間的降采樣，得到低分辨率圖像序列；標準視頻編碼器將低分辨率圖像序列進行編碼得到標準視頻碼流，并傳輸到第一標準視頻解碼器；第一標準視頻解碼器將標準視頻碼流解碼得到低分辨率圖像序列，并傳輸給第一超分辨率重構模塊；第一超分辨率重構模塊將低分辨率圖像序列以及由超分辨率重構輔助碼流生成模塊輸入的超分辨率重構輔助碼流，進行超分辨率重構得到超分辨率重構后的圖像序列；圖像特征分析模塊將原始高質量圖像序列和超分辨率重構后的圖像序列進行比較，得到重構效果分析數據，并傳輸給超分辨率重構輔助碼流生成模塊；超分辨率重構輔助碼流生成模塊利用原始高分辨率圖像序列數據，并結合來自于圖像特征分析模塊的重構效果分析數據，生成超分辨率重構輔助碼流，并傳輸給第一超分辨率重構模塊，當超分辨率重構效果滿足設定指標時，將超分辨率重構輔助碼流傳輸給碼流合成模塊；碼流合成模塊將超分辨率重構輔助碼流和標準視頻碼流混合生成混合視頻碼流輸出。
2、 根據權利要求1所述的低碼率視頻超分辨率重構的編碼裝置，其特征是， 所述超分辨率重構輔助碼流生成模塊，包括分區域統計信息估計模塊、矯正信 息編碼模塊、輔助碼流編碼模塊，其中分區域統計信息估計模塊接收原始高質量圖像序列分析得到圖像統計信息， 矯正信息編碼模塊接收原始高質量圖像序列，并根據輸入的重構效果分析數據生成圖像矯正信息，將圖像矯正信息和圖像統計信息通過輔助碼流編碼模塊壓縮編 碼得到超分辨率重構輔助碼流。
3、 根據權利要求1或2所述的低碼率視頻超分辨率重構的編碼裝置，其特 征是，所述超分辨率重構輔助碼流生成模塊，其生成超分辨率重構輔助碼流是一 個反饋過程，反饋過程具體如下首先，超分辨率重構輔助碼流生成模塊根據輸入的原始高質量圖像序列和重 構效果分析數據生成超分辨率重構輔助碼流；然后，標準視頻編碼器輸出的標準視頻碼流經過第一標準視頻解碼器后得到 低分辨率的圖像序列，連同上述超分辨率重構輔助碼流一起輸入到第一超分辨率 重構模塊，得到經過超分辨率重構后的圖像序列；其次，原始高質量圖像序列和超分辨率重構后的圖像序列被輸入到圖像特征 分析模塊，分析圖像重構的效果得到重構效果分析數據；最后，重構效果如果不滿足設定的要求，則重復上述操作，將重構效果分析 數據輸入到超分辨率重構輔助碼流生成模塊，生成新的超分辨率重構輔助碼流； 如果滿足要求，則將超分辨率重構輔助碼流輸出，通過碼流合成模塊，和標準視 頻碼流進行合成后輸出。
4、 根據權利要求1所述的低碼率視頻超分辨率重構的編碼裝置，其特征是， 所述第一超分辨率重構模塊，包括超分辨率預重構模塊、重構碼流解碼器、圖 像矯正器，其中重構碼流解碼器將輸入到超分辨率重構模塊的超分辨率重構輔助碼流分割 成圖像統計信息和圖像矯正信息，并分別傳輸給超分辨率預重構模塊和圖像矯正器；超分辨率預重構模塊根據圖像統計信息，對由第一標準視頻解碼器得到的低 分辨圖像序列進行超分辨率預重構，得到超分辨率預重構后的圖像序列，并傳輸給圖像矯正器；圖像矯正器根據的圖像矯正信息，對超分辨率預重構后的圖像序列的指定區 域進行矯正后得到超分辨率重構后的圖像序列。
5、 根據權利要求1所述的低碼率視頻超分辨率重構的編碼裝置，其特征是， 所述圖像特征分析模塊，包括比較器、過濾器、人眼敏感區域分析模塊，其中比較器將原始高質量圖像序列和超分辨率重構后的圖像序列進行比較得到殘差數據，并將殘差數據傳輸給過濾器；人眼敏感區域分析模塊通過分析原始高質量圖像序列得到人眼敏感區域信 息，并將該信息傳輸給過濾器；過濾器根據人眼敏感區域信息和殘差數據得到重構效果分析數據。
6、 根據權利要求1或5所述的低碼率視頻超分辨率重構的編碼裝置，其特 征是，所述圖像特征分析模塊對超分辨率重構質量的評價包含兩部分內容輔助 碼流比特率在整個混合碼流的比重和超分辨率重構后圖像的質量，其中超分辨率 后圖像質量的評價是根據超分辨后圖像和原始高分辨圖像之間的殘差來評估的， 并且著重考慮人眼感興趣區域的重構質量。
7、 根據權利要求1所述的低碼率視頻超分辨率重構的編碼裝置，其特征是， 所述碼流合成模塊，在視頻標準或視頻文件封裝格式支持的情況下，碼流合成模 塊將輔助碼流嵌入到標準視頻標準或視頻文件的可擴展域。
8、 一種低碼率視頻超分辨率重構的解碼裝置，其特征在于，包括碼流分 割器、第二標準視頻解碼器、第二超分辨率重構模塊，其中-碼流分割器將混合視頻碼流分割為標準視頻壓縮碼流和超分辨率重構輔助 碼流，并將標準視頻壓縮碼流傳輸給第二標準視頻解碼器，將超分辨率重構輔助 碼流傳輸給第二超分辨率重構模塊；第二標準視頻解碼器將標準視頻壓縮碼流解碼得到低分辨率的圖像序列，并將低分辨率的圖像序列傳輸給第二超分辨率重構模塊；第二超分辨率重構模塊根據超分辨率重構輔助碼流里提供的圖像統計信息 對低分辨率的圖像序列進行超分辨率重構，并根據超分辨率重構輔助碼流里提供的圖像矯正信息對超分辨率重構后的圖像進行矯正，得到在時間和空間上更高分 辨率的圖像序列。
全文摘要
一種視頻處理領域的低碼率視頻超分辨率重構的編碼裝置和解碼裝置，本發明中，編碼裝置部分提供輔助碼流來提高低碼率視頻超分辨率重構效率和精度，解碼裝置部分利用編碼端提供的極少量的輔助碼流，來指導解碼端的超分辨率重構，編碼裝置部分利用帶超分辨率重構的預解碼閉環反饋構造出極少量的超分辨率重構輔助碼流，并且利用編碼模塊中的人眼感興趣區域分析模塊，著重對人眼敏感區域的超分辨率重構進行引導和矯正，進一步提高視頻解碼輸出的主觀質量。本發明與一般視頻超分辨率“盲”重構相比明顯減少了超分辨率重構復雜度，提高了重構效率，同時增強了超分辨率重構對高度動態和多樣化的視頻圖像數據的適應能力，提高了重構精度。
文檔編號G06T7/00GK101345870SQ20081004248
公開日2009年1月14日 申請日期2008年9月4日 優先權日2008年9月4日
發明者劉佩林, 吉 孔, 應忍冬, 廖夢新, 張云斐 申請人:上海交通大學