將后處理視為在解碼器中執行的視頻編碼的制作方法

專利名稱：將后處理視為在解碼器中執行的視頻編碼的制作方法
技術領域：
本申請案大體上是針對多媒體數據處理，且更明確地說，是針對使用后解碼器處理 技術來對視頻進行編碼。
背景技術：
對將高分辨率多媒體數據傳輸到顯示裝置(例如，手機、計算機和PDA的顯示裝 置)存在不斷增長的需求。為最佳地檢視某些多媒體數據(例如，體育、視頻、電視廣 播饋入和其它此些圖像)而需要高分辨率(本文用來指示査看某些所需細節和特征所需 要的分辨率的術語)。提供高分辨率多媒體數據通常需要增加發送到顯示裝置的數據的 量，這是需要較多通信資源和傳輸帶寬的過程。
空間可縮放性是用以增強分辨率的典型方法，其中高分辨率信息(明確地說，高頻 率數據)經編碼目-作為增強層而傳輸到較低分辨率數據的基礎層。然而，空間可縮放性 效率較低，因為此些數據具有類似噪聲的統計特征且具有較差的編碼效率。另外，空間 可縮放性是高限制性的，因為上取樣分辨率在創建/編碼增強層時已預先確定。因此，需 要其它方法來克服空間可縮放性和此項技術中已知的其它分辨率增強方法的不足。

發明內容
本文中描述的設備和方法中的每一者均具有若干方面，所述方面中并無單個方面單 獨負責其理想的屬性。在不限制本發明的范圍的情況下，現將簡要論述本發明較突出的 特征。在考慮此論述后，且明確地說，在閱讀題為"具體實施方式
"的章節后，將理解 本發明的特征如何提供對多媒體數據處理設備和方法的改進。
在一個方面，處理多媒體數據的方法包含識別后處理技術的指示符；對第一多媒 體數據進行編碼以形成第一經編碼數據；處理所述第一經編碼數據以形成第二多媒體數 據，所述處理包括通過應用由所述指示符識別的所述后處理技術來對所述第一經編碼數 據進行解碼；將所述第二多媒體數據與所述第一多媒體數據進行比較以確定比較信息； 以及基于差異信息而產生第二經編碼數據。比較以確定比較信息可包含確定指示所述第 二多媒體數據與所述第一多媒體數據之間的差異的差異信息。所述第一多媒體數據編碼 可包含對所述第一多媒體數據進行下取樣和壓縮以形成所述第一經編碼數據。
可使用各種后處理技術，例如包含上取樣、應用噪聲減少技術以減少第二多媒體數據中的噪聲以及應用強化第一多媒體圖像的至少一個特征的增強技術。所述增強技術可 包含應用包括增強對應于第一多媒體圖像中的皮膚特征的皮膚信息的增強技術。所述方 法可進一步包括將第二經編碼數據和第一經編碼數據傳輸到(例如)終端裝置。所述方 法可進一步包括使用第二經編碼數據來對第一經編碼數據進行解碼。對第一經編碼數據 進行解碼以形成第二多媒體圖像可包含使用直方圖均衡、使用邊緣增強技術和/或使用視 頻復原。可確定關于各種規模的數據的差異信息，包含通過區塊、宏區塊或促進此方法 的特定實施例的另一大小的數據。所述差異信息包括低分辨率經編碼數據中的現存信息 的一組關系；此組關系可包括等式、包含經量化殘差系數的數量和位置的決策邏輯， 和/或包括模糊邏輯規則的決策邏輯。
在另一實施例中， 一種用于處理多媒體數據的系統包含編碼器，其經配置以識別
后處理技術的指示符，il進一步經配置以對第一多媒體數據進行編碼從而形成第一經編
碼數據；第一解碼器，其經配置以處理所述第一經編碼數據從而形成第二多媒體數據， 所述處理包括對所述第一經編碼數據進行解碼以及應用由所述指示符識別的所述后處 理技術；以及比較器，其經配置以確定比較信息，所述編碼器進一步經配置以基于差異 信息而產生第二經編碼數據，其中所述第二經編碼數據隨后用于對所述第一經編碼數據 進行解碼。所述比較信息可包括指示所述第一多媒體數據與所述第二多媒體數據之間的 差異的差異信息。所述編碼器可經配置以通過對所述第一多媒體數據進行下取樣且壓縮 所得的經下取樣的數據來對所述第一經編碼數據進行編碼。所述第一解碼器配置可包 含上取樣過程和解壓縮過程，用以產生經編碼的圖像；以及數據存儲裝置，其中保存 用于形成第二多媒體圖像的解碼技術的指示符。所述后處理技術進一步包括噪聲濾波模 塊，其經配置以減少第二多媒體數據屮的噪聲。在一些實施例中，所述后處理技術包括 強化第二多媒體數據的特征的增強技術。
在另一實施例中， 一種用于處理多媒體數據的系統包含用于識別后處理技術的指 示符的裝置；用于對第一多媒體數據進行編碼以形成第一經編碼數據的裝置用于處理 所述第一經編碼數據以形成第二多媒體數據的裝置，所述處理包括對所述第一經編碼數 據進行解碼以及應用由所述指示符識別的所述后處理技術；用于將所述第二多媒體數據 與所述第一多媒體數據進行比較以確定比較信息的裝置；以及用于基于所述比較信息而 產生第二經編碼數據的裝置。
在另一實施例中， 一種機器可讀媒體包括用于處理多媒體數據的指令，當執行時，
所述指令致使機器識別后處理技術的指示符；對第一多媒體數據進行編碼以形成第一
經編碼數據；處理所述第一經編碼數據以形成第二多媒體數據，所述處理包括對所述第
8一經編碼數據進行解碼以及應用由所述指示符識別的所述后處理技術；將所述第二多媒 體數據與所述第一多媒體數據進行比較以確定比較信息；以及基于差異信息而產生第二 經編碼數據。
在另一實施例中， 一種用于處理多媒體數據的系統包含終端裝置，其經配置以接收 第一經編碼多媒體數據，所述第一經編碼多媒體是從第一多媒體數據產生的，所述終端 裝置進一步經配置以接收第二經編碼數據，所述第二經編碼數據包括表示第一多媒體數 據的像素與第二多媒體數據的對應像素之間的差異的信息，其中通過對所述第一多媒體 數據進行編碼目.接著使用還用于所述終端裝置的解碼器中的后處理技術對所述經編碼 的第一多媒體數據進行解碼來形成所述第二多媒體數據，所述終端裝置包括解碼器，其 經配置以對所述第二經編碼數據進行解碼，且使用來自所述經解碼的第二經編碼數據的 信息對所述第一經編碼數據進行解碼。
在另一實施例中， 一種處理多媒體數據的方法，所述方法包含在終端裝置中接收 第一經編碼多媒體，所述第一經編碼多媒體是從第一多媒體數據產生的在所述終端裝 置中接收第二經編碼數據，所述第二經編碼數據包括表示通過將第一多媒體數據與第二 多媒體數據進行比較而產生的差異的信息，通過對所述第一多媒體數據進行編碼且接著 使用還用于所述終端裝置的解碼器中的后處理技術對所述經編碼的第一多媒體數據進 行解碼來形成所述第二多媒體；對所述第二經編碼數據進行解碼以產生差異信息；以及 使用所述差異信息對所述第一經編碼數據進行解碼。


圖1是說明用于傳遞多媒體的通信系統的框圖。 圖2是說明用于對多媒體進行編碼的通信系統的特定組件的框圖。 圖3是說明用于對多媒體進行編碼的通信系統的特定組件的另一實施例的框圖。 圖4是說明用于對多媒體進行編碼的特定組件的另一實施例的框圖。 圖5是說明具有經配置以用于對多媒體數據進行編碼的處理器的編碼裝置的框圖。 圖6是說明具有經配置以用于對多媒體數據進行編碼的處理器的編碼裝置的另一實 施例的框圖。
圖7是說明對多媒體數據進行編碼的過程的流程圖。 圖8是說明內插濾波器系數因子的實例的表。
圖9是說明用以指定將在解碼器處執行的后處理操作的類型及其參數的指示符的表。圖10是說明通過重新映射多媒體數據的至少一部分的像素亮度值來對多媒體數據 進行編碼的過程的流程圖。
圖11是具有經配置以在編碼前修改多媒體數據的預處理器的編碼裝置的框圖。
具體實施例方式
在以下描述中，給出具體細節以提供對所描述的方面的全面理解。然而，所屬領域 的技術人員將理解，可在沒有這些具體細節的情況下實踐所述方面。舉例來說，電路可 能以框圖的形式展示，以便不會在不必要的細節方面使所述方面模糊。在其它情況下， 可能不詳細地展示眾所周知的電路、結構和技術，以便不會使所述方面模糊。
本文中對"一個方面"、"一方面"、"一些方面"或"某些方面"以及使用術語"實 施例"的類似短語的提及意味著結合所述方面而描述的特定特征、結構或特性中的一者 或一者以上可包含在至少一個方面中。在本說明書中各處出現此些短語未必全部指代同 一方面，也不是與其它方面相互排斥的單獨或替代方面。此外，描述可通過一些方面而 不是通過其它方面展現的各種特征。類似地，描述可能是對一些方面而不是其它方面的 要求的各種要求。
如本文中所使用的"多媒體數據"或僅"多媒體"是廣義術語，其包含視頻數據(其 可包含音頻數據)、音頻數據或視頻數據和音頻數據兩者，且還可包含圖形數據。如本 文中所使用的"視頻數據"或"視頻"是廣義術語，其指代含有文本信息或圖像信息和 /或音頻數據的圖像的序列。
為了將所需的高分辨率多媒體數據提供給一個或一個以上顯示裝置，空間可縮放性 和上取樣算法通常包含圖像或邊緣增強技術，所述技術使用邊緣檢測接著使用線性或自 適應(有時為非線性)濾波過程。然而，無法通過具有高百分比的置信度的這些機制來 檢測在編碼器處在壓縮和下取樣期間丟失的關鍵和細微細節邊緣，或者在解碼和上取樣 期間無法有效地重新創建關鍵和細微細節邊緣。本文中所描述的方法和系統的某些特征 包含用以識別與由于壓縮而丟失的多媒體數據的細節有關的信息的過程。其它特征與通 過使用此信息在經解碼的多媒體數據中復原此些細節有關。進一步關于圖l到圖7來描 述和說明此處所介紹的此些系統和方法。在一個示范性實施例中，為了促進對多媒體數 據進行編碼的過程，編碼方法可使用與后處理或解碼過程(例如，在顯示裝置處)有關 的信息來對多媒體數據進行編碼，以解決由特定的編碼和/或解碼過程(例如，在編碼器 中實施的下取樣和/或在解碼器中實施的上取樣算法)產生的數據不一致。
在一個實例中，首先對多媒體數據進行編碼(例如，下取樣和壓縮)，從而形成隨后將被傳輸到至少一個顯示裝置的經壓縮數據。使用解碼器的已知解碼和上取樣算法來 對經編碼數據的拷貝進行解壓縮和上取樣，且將所得數據與原始接收到的(未經壓縮的) 多媒體數據進行比較。將原始多媒體數據與經解壓縮的經上取樣的數據之間的差異表示 為"差異信息"。并入后處理技術(例如，下取樣和上取樣濾波器)中的增強過程可移 除噪聲、增強特征(例如，皮膚、面部特征、指示"快速移動"對象的數據中的快速改 變區)，或減小所產生的差異信息中的熵。將差異信息編碼為"輔助信息"。輔助信息還 被傳輸到解碼器，在解碼器處，輔助信息用以增強在編碼期間可能已經降級的經解碼圖 像的細節。可接著將經增強的圖像呈現在顯示裝置上。
圖1是用于傳遞流式傳輸或其它類型的多媒體數據的通信系統10的框圖。此技術 可應用于數字傳輸設施12中，數字傳輸設施12將數字經壓縮多媒體數據傳輸到許多顯 示裝置或終端16。由傳輸設施12接收的多媒體數據可以是數字視頻源，例如，數字電 纜饋入或經數字化的模擬高信號/比源。在傳輸設施12中處理視頻源，并將其調制到載 波上以供在網絡14上傳輸到一個或一個以上終端16。
網絡14可以是適合傳輸數據的任一類型的有線或無線網絡，包含以太網、電話(例 如，POTS)、電纜、電力線和光纖系統和/或無線系統中的一者或一者以上，其中無線系 統包括以下系統中的一者或一者以上碼分多址(CDMA或CDMA2000)通信系統、 頻分多址(FDMA)系統、正交頻分多重(orthogonal frequency division multiple, OFDM) 接入系統、例如GSM/GPRS (通用無線分組業務)/EDGE (增強型數據GSM環境)的 時分多址(TDMA)系統、TETRA (陸地中繼無線電)移動電話系統、寬帶碼分多址 (WCDMA)系統、高數據速率(lxEV-DO或lxEV-DO黃金多播)系統、IEEE 802.11 系統、MediaFLOTM系統、DMB系統或DVB-H系統。舉例來說，所述網絡可以是蜂窩 式電話網絡、例如因特網的全球計算機通信網絡、廣域網、城域網、局域網和衛星網絡， 以及這些和其它類型網絡的部分或組合。
從網絡14接收經編碼的多媒體數據的每一終端16可以是任一類型的通信裝置，包 含(但不限于)無線電話、個人數字助理(PDA)、個人計算機、電視機、機頂盒、桌 上型、膝上型或掌上型計算機(PDA)、視頻/圖像存儲裝置(例如盒式磁帶錄像機(video cassette recorder, VCR)、數字錄像機(DVR)等)以及這些和其它裝置的部分或組合。
圖2是說明用于對多媒體進行編碼的數字傳輸設施12中的通信系統的特定組件的
框圖。傳輸設施12包含多媒體源26，多媒體源26經配置以基于其(例如)從存儲裝置
接收到或以其它方式可以使用的多媒體，將多媒體數據提供給編碼裝置20。編碼裝置
20 (至少部分地)基于與解碼算法有關的信息來對多媒體數據進行編碼，所述解碼算法
11隨后用于或可用于例如終端16的下游接收裝置中。
編碼裝置20包含用于對多媒體數據進行編碼的第一編碼器21。第一編碼器21將經 編碼的多媒體數據提供給通信模塊25，用于傳輸到終端16中的一者或一者以上。第一 編碼器21還將經編碼數據的拷貝提供給解碼器22。解碼器22經配置以對經編碼的數據 進行解碼，且應用優選還在接收裝置中的解碼過程中使用的后處理技術。解碼器22將 經解碼的數據提供給比較器23。
識別指示符以供解碼器22使用，所述指示符指示后處理技術。如在前述句子中使 用的"識別"指解碼器保存、存儲、選擇或可以使用指示符。在一些實施例中，所述指 示符可保存或存儲在解碼器22的存儲器裝置中，或保存或存儲在與解碼器22通信的另 一裝置中。在一些實施例中，所述指示符可選自多個指示符，每一指示符指示后處理技 術。在一些實施例中，在不知道接收裝置中的解碼器所使用的具體處理技術的情況下， 解碼器22還可使用其它已知或典型的處理技術。
解碼器22可經配置以執行一種或一種以上后處理技術。在一些實施例中，解碼器 22經配置以基于指示使用哪一技術的輸入而使用多種后處理技術中的一者。通常，由于 用于對多媒體數據進行編碼的第一編碼器21中所使用的壓縮和下取樣過程，以及用于 對多媒體數據進行解碼的解碼器22中所使用的解壓縮和上取樣過程，經解碼的數據將 可能與原始多媒體數據至少有些不同(且從原始多媒體數據降級)。比較器23經配置以 接收并比較原始多媒體數據與經解碼的多媒體數據，且確定比較信息。比較信息可包含 通過將原始多媒體數據與經解碼的多媒體數據進行比較而確定的任何信息。在一些實施 例中，比較數據包括兩個數據組中的差異且被稱為"差異信息"。舉例來說，可在逐幀 基礎上產生差異信息。還可在逐區塊基礎上進行所述比較。本文中所提及的區塊可從一 個像素的"區塊"(lxl)變化為MxN任意大小的像素"區塊"。區塊的形狀未必是正方 形的。
"差異信息"表示由于編碼/解碼過程而在終端16處顯示的多媒體數據中看見的圖像 降級。比較器23將比較信息提供給第二編碼器24。在第二編碼器24中對比較信息進行 編碼，且將經編碼的"輔助信息"提供給通信模塊25。通信模塊25可將包括經編碼多 媒體和經編碼輔助信息的數據18傳輸到終端裝置16 (圖1)。終端裝置中的解碼器使用 使用所述"輔助信息"來將增強添加(例如，將細節添加)到在編碼和解碼期間受到影 響或降級的經解碼的多媒體數據。這增強了接收到的經編碼多媒體數據的圖像質量，目. 使得可將較高分辨率的經解碼圖像呈現在顯示裝置上。在一些實施例中，可將第一編碼 器21和第二編碼器24實施為單個編碼器。后處理技術可包括增強多媒體數據中的某些特征(例如，皮膚和面部特征)的一種 或一種以上技術。將經編碼的差異信息傳輸到接收裝置。接收裝置使用輔助信息將細節 添加到經解碼的圖像，以補償在編碼和解碼期間受到影響的細節。因此，可將較高分辨 率和/或較高質量的圖像呈現在接收裝置上。
將差異信息識別為主要經編碼位流中的輔助信息。可用戶數據或"填充符(filler)" 分組來使經編碼數據的大小適合于經編碼媒體數據的傳輸協議分組大小(例如，IP數據 報或MTU)的大小以輸送輔助信息。在一些實施例中，可將差異信息識別為低分辨率 經編碼數據中的現存信息的一組關系(例如，等式、決策邏輯、經量化殘差系數的數目 和位置、模糊邏輯規則)，且可將進入這些關系中的索引編碼為輔助信息。由于并非所 有差異信息都必定被編碼且可將此信息的格式簡化為關系的査詢表的索引，所以對元數 據進行編碼器輔助的上取樣更高效地編碼，且利用接收裝置中的信息以減小需要被傳輸 的信息的熵。
還預期所描述的編碼裝置20的其它配置。舉例來說，圖3說明使用一個編碼器31 替代兩個編碼器(如圖2中所示)的編碼裝置30的替代實施例。在此實施例中，比較 器23將差異信息提供給單個編碼器31以用于編碼。編碼器31將經編碼的多媒體數據 (例如，第一經編碼數據)和經編碼的輔助信息(例如，第二經編碼數據)提供給通信 模塊25以用于傳輸到終端16。
圖4是說明圖2和圖3中所示的系統的一部分(明確地說是編碼器21、解碼器40 和比較器23)的實例的框圖。解碼器40經配置以用于對經編碼的多媒體數據進行解碼， 且應用接收終端16 (圖1)中所使用的后處理技術。可在本文中所描述的編碼器(例如， 圖2和圖3中所說明的解碼器22)中實施解碼器40的功能性。解碼器22從編碼器21 接收經編碼的多媒體數據。解碼器40中的解碼器模塊41對經編碼的多媒體數據進行解 碼，且將經解碼的數據提供給解碼器40中的后處理模塊。在此實例中，后處理模塊包 含噪聲抑制器(denoiser)模塊42和數據增強器模塊43。
通常假定視頻序列中的噪聲為加性白高斯。然而，視頻信號在時間和空間上都高度 相關。因此，通過在時間上和空間上利用其白度，有可能從信號部分移除噪聲。在一些 實施例中，噪聲抑制器模塊42包含時間降噪，例如，卡爾曼(Kalman)濾波器。噪聲 抑制器模塊42可包含其它降噪過程，例如，小波收縮濾波器和/或小波維納(Wiener) 濾波器。小波是用以使給定信號定位在空間域和比例縮放域兩者中的一類功能。小波后 面的基礎理念是分析不同標度或分辨率下的信號，使得小波表示的小幅改變產生原始信 號的對應的小幅改變。還可將小波收縮或小波維納濾波器應用為噪聲抑制器41。小波收縮降噪可涉及小波變換域中的收縮，且通常包括三個步驟線性正向小波變換、非線性 收縮降噪和線性反向小波變換。維納濾波器是MSE最優線性濾波器，其可用以改進因 加性噪聲和混亂而降級的圖像。在一些方面，降噪濾波器是基于(4,2)雙正交三次B樣條 小波濾波器((4, 2) bi-orthogonal cubic B-spline wavelet filter)的一方面的。
噪聲抑制器模塊42將經降噪的經解碼數據提供給數據增強器模塊43。數據增強器 模塊43可經配置以增強被認為是檢視(例如)皮膚、面部特征和快速改變數據(例如， 對于與體育事件相關聯的多媒體數據)所需要的數據的某些特征。數據增強器模塊的主 要功能是在數據的重放或消耗期間提供圖像或視頻增強。典型的圖像增強包含銳化、色 域/飽和度/色調改進、對比度改進、直方圖均衡和高頻加強。關于增強皮膚特征，存在 若干膚色檢測方法。 一旦在圖像中識別到具有膚色的區域，就可修改對應于此區域的色 度分量以改進色調，從而適合所需的調色板。
關于改進面部特征，如果在面部特征中檢測到振鈴噪聲(ringing noise)(例如通過 膚色檢測而識別到)，那么可應用去振鈴(de-ringing)濾波器和/或適當的平滑/噪聲減少 濾波器來使這些假象減到最小，且執行上下文/內容選擇性圖像增強。視頻增強包含閃爍 減少、幀速率提高等。在視頻中的一組幀上發送平均亮度的指示符可幫助與閃爍減少有 關的解碼器/后解碼器/后處理。閃爍常由DC量化造成，DC量化導致在原始存在的具有 相同發光條件/亮度的那些幀上平均亮度等級有波動的經重構的視頻。閃爍減少通常涉及 鄰接幀的平均亮度(例如，DC直方圖)的計算，以及應用平均濾波器，以使每一幀的 平均亮度返回到在所述幀上所計算出的平均亮度。在此情況下，差異信息可以是待應用 于每一幀的經預計算的平均亮度偏移。數據增強器模塊43將經增強的經解碼多媒體數 據提供給比較器23。
圖5是說明具有經配置以用于對多媒體數據進行編碼的處理器51的編碼裝置50的 實例的框圖。編碼裝置50可在傳輸設施(例如，數字傳輸設施12 (圖l))中實施。編 碼裝置50包含存儲媒體58，其經配置以與處理器51通信且經配置以與通信模塊59通 信。在一些實施例中，處理器51經配置以便以與圖2中所說明的編碼器20類似的方式 對多媒體數據進行編碼。處理器51使用第一編碼器模塊52對接收到的多媒體數據進行 編碼。接著使用解碼器模塊53對經編碼的多媒體進行解碼，解碼器模塊53經配置以使 用在終端16(圖1)中實施的至少一種后處理技術來對多媒體數據進行解碼。處理器51 使用噪聲抑制器模塊55來移除經解碼的多媒體數據中的噪聲。處理器51可包含數據增 強器模塊56，其經配置以增強經解碼的多媒體數據，以用于例如面部特征或皮膚的預定 特征。通過比較器模塊54來確定經解碼的(且經增強的)多媒體數據與原始多媒體數據之間的差異，比較器模塊54產生表示經解碼的多媒體數據與原始多媒體數據之間的差異的差異信息。通過第二編碼器57對經增強的差異信息進行編碼。第二編碼器57產生提供給通信模塊59的經編碼的輔助信息。經編碼的多媒體數據也被提供給通信模塊59。將經編碼的多媒體數據和輔助信息兩者傳送到顯示裝置(例如，圖1的終端16)，顯示裝置使用輔助信息來對多媒體數據進行解碼以產生經增強的多媒體數據。
圖6是說明具有經配置以用于對多媒體數據進行編碼的處理器61的編碼裝置60的另一實施例的框圖。此實施例可以類似于圖5的方式來對多媒體數據進行編碼，只是處理器61含有對多媒體數據和差異信息兩者進行編碼的一個編碼器62。接著通過通信模塊59將經編碼的多媒體數據和輔助信息兩者傳送到顯示裝置(例如，圖1中的終端16)。顯示裝置中的解碼器接著使用輔助信息對多媒體數據進行解碼，以產生經增強的分辨率數據并顯示此數據。
下文列出可在解碼器中實施的某些后處理技術的實例，然而，對這些實例的描述并不意味著使本發明限于僅所描述的那些技術。如上文所述，解碼器22可實施許多后處理技術中的任一者來識別差異信息并產生對應的輔助信息。
色度處理
后處理技術的一個實例是色度處理，其涉及與待顯示的多媒體數據的色度有關的操作。色彩空間轉換是一個這樣的實例。典型的壓縮操作(解碼、解塊等)和一些后處理操作(例如，獨立于色度來修改由亮度或Y分量表示的強度的功能，例如，直方圖均衡)發生在YCbCr或YUV域或色彩空間中，而顯示器通常在RGB色彩空間中操作。在后處理器和顯示處理器中執行色彩空間轉換以解決此差異。如果維持相同的位深度，那么RGB與YCC/YUV之間的數據轉換可能導致數據壓縮，因為當R、 G和B中的強度信息變換為Y分量時，R、 G和B中的強度信息的冗余減少，從而導致源信號的相當大的壓縮。因此，任何基于后處理的壓縮都將潛在地在YCC/YUV域中操作。
色度子取樣涉及對亮度(的數量表示)比對色彩(的數量表示)實施較多的分辨率的實踐。色度子取樣在許多視頻編碼方案(模擬和數字)中使用且還在JPEG編碼中使用。在色度子取樣中，將亮度和色度分量形成為經伽馬校正的(三色激勵的)R'G'B'分量的加權和，而不是線性的(三色激勵的)RGB分量的加權和。通常將子取樣方案表達為三部分比率(例如，4:2:2),但有時也表達為四個部分(例如，4:2:2:4)。所述四個部分是(按其相應的次序)第一部分亮度水平取樣參考(最初，在NTSC電視系統中為3.579 MHz的倍數)；第二部分Cb和Cr (色度)水平因子(相對于第一數字)；與第二
15數字相同(除了為零時，零指示Cb和Cr被垂直地2:l子取樣)的第三部分以及如果 存在的話，與亮度數字相同的第四部分(指示a"鍵(key)"分量)。后處理技術可包含 色度上取樣(例如，將4:2:0數據轉換為4:2:2數據)或下取樣(例如，將4:4:4數據轉 換為4:2:0數據)。通常對4:2:0視頻執行低到中等位速率壓縮。如果源多媒體數據具有 比4:2:0高的色度(例如，4:4:4或4:2:2)，那么可在后處理操作期間將其下取樣到4:2:0、 編碼、傳輸、解碼且接著上取樣回到原始色度。在顯示裝置處，當變換為RGB以供顯 示時，使色度復原到其完整的4:4:4比率。解碼器22可配置有此些后處理操作以重復可 能發生在下游顯示裝置處的解碼/處理操作。 圖形操作
與圖形處理有關的后處理技術也可在解碼器22中實施。 一些顯示裝置包含圖形處 理器，例如，支持多媒體和2D或3D游戲的顯示裝置。圖形處理器的功能性可包含像 素處理操作，可合適地應用所述操作中的一些(或全部)操作以改進視頻質量或可將所 述操作中的一些(或全部)操作潛在地并入包含壓縮/解壓縮的視頻處理中。
a混合
a混合是兩個場景之間的轉變中或GUI上的現存屏幕上的視頻的重疊中通常使用的 操作，a混合是也可在解碼器22中實施的像素操作后處理技術的一個實例。在a混合中， 色碼中的a的值在從O.O到l.O的范圍內，其中O.O表示完全透明的色彩，而1.0表示完 全不透明的色彩。為了 "混合"，使從圖片緩沖器讀取到的像素乘以"a"。使從顯示緩 沖器讀取到的像素乘以--個負a。將上述兩者加在一起并顯示結果。視頻內容含有各種 形式的轉變效應，包含從/到黑色或其它均勻/恒定色彩的淡化轉變(fade transition)、 場景之間的交叉淡化(cross fade)以及內容的類型之間的接合點(例如，動畫到商業視 頻等)。H.264標準具有使用用于轉變的幀數目或POC (圖片序號)來傳送a值以及對 開始和停止點的指示符的規定。還可指定用于轉變的均勻色彩。
轉變區域可能難以編碼，因為其并非突然的場景改變，在突然的場景改變中，可將 新場景的開始(第一幀)編碼為I幀，且將隨后的幀編碼為預測幀。由于解碼器中通常 所使用的運動估計/補償技術的性質，可將運動作為數據塊來跟蹤，且恒定的亮度偏移被 吸收到殘差中(加權預測可在某一程度上解決此問題)。交叉淡化具有較大的問題，因 為亮度發生改變且正被跟蹤的運動并非真實的運動，而是從一個圖像到另一圖像的逐漸 切換，從而導致較大的殘差。這些較大的殘差在量化(低位速率的進程)后導致大規模 運動和區塊假象(blocking artifact)。對界定轉變區域的完整圖像進行編碼且指定a混合
配置以影響淡化/交叉淡化將導致轉變的無假象重放和壓縮效率/比率的改進或位速率的
16減小，以相對于引起區塊假象的情況而獲得類似或較佳的知覺/視覺質量。
在編碼器處知曉解碼器的a混合能力可促進將轉變效應編碼為元數據而不是通過常規編碼將位花費在較大的殘差上。除了a值之外，此些元數據的一些實例還包含進入解碼器/后處理器處所支持的一組轉變效應(例如，縮放、旋轉、漸隱和淡化)中的索弓l。透明度
"透明度"是可包含在編碼裝置20的解碼器22中的另一相對簡單的后處理像素操作。在透明度過程中，從顯示緩沖器讀出像素值，且從圖片緩沖器讀出另一像素值(待顯示的幀)。如果從圖片緩沖器讀出的值匹配透明度值，那么將從顯示緩沖器讀取的值寫入顯示器。否則，將從圖片緩沖器讀取的值寫入顯示器。
視頻按比例縮放(x2、 /2、 /4、任意比例)
視頻按比例縮放("按比例放大(叩scaling)"或"按比例縮小(downscaling)")的
意圖通常是在將以一種信號格式或分辨率傳達的信息遷移到另一不同信號格式或分辨率的同時，保存同樣多的原始信號信息和質量。視頻按比例縮放在二 (2)或四(4)倍的按比例縮小中起作用，且通過像素值的簡單求平均來執行。按比例放大涉及內插濾波器，且可在兩個軸上進行。對Y值執行雙三次內插，且對色度值執行最近相鄰濾波。舉例來說，可通過以下等式來計算Y的內插值
Y[i ^-Y[i-3，j] + 9Y[卜l，j] + 9Y[i + l,j]-Y[i + 3，j]
16 等式i
對于一行中的每一內插的Y,以及
Yfi "-Y[i,j-3] + 9Y[i,j-l]+9Y[i，j + l]-Y[i，j + 3〗
16 等式2
對于一列中的每一內插的Y。
從并排比較，雙線性和雙三次內插方案展示非常小的可視差異。雙三次內插導致稍
微較清晰的圖像。必須建立較大的線緩沖器，以便進行雙三次內插。所有的雙三次濾波
器都是一維的，其中系數僅視縮放比率而定。在一個實例中，8個位足以對系數進行編
碼以保證圖像質量。僅需將所有的系數編碼為不帶正負號的，且用電路可能難以對正負
號進行編碼。對于雙二次內插，系數的正負號始終為[-++-]。
圖8展示對于給定比例縮放因子的濾波器的各種選擇。圖8中列出的比例縮放因子是在移動裝置中最常遇到的比例縮放因子的實例。對于每一比例縮放因子，可基于檢測 到的邊緣的類型和所需的滾降(roll off)特征來選擇濾波器的不同相位。對于某些紋理
和邊緣區域， 一些濾波器比其它濾波器更好地起作用。基于實驗結果和視覺評估得出濾
波器分接頭(filtertap)。在一些實施例中，在接收器(解碼器/顯示器驅動器)處的適度 復雜的按比例縮放器可在區塊/小片(tile)基礎上自適應性地在濾波器之間進行選擇。 在知道接收器的按比例縮放器中的特征的情況下，編碼器可指示(基于與原始的比較) 針對每一區塊選擇濾波器中的哪一者(例如，提供進入濾波器表格中的索引)。此方法 可以是對解碼器通過邊緣檢測對適當的濾波器作出決策的替代方案。此方法使解碼器中 的處理循環和功率減到最少，因為其并不必執行與邊緣檢測相關聯的決策邏輯(例如， 消耗許多處理器循環的修剪和定向操作)。 伽馬校正
伽馬校正、伽馬非線性、伽馬編碼或常簡稱為伽馬是用以對視頻或靜態圖像系統中 的亮度或三色激勵值進行編碼和解碼的非線性操作的名稱，且其也是可在解碼器22中 實施的另一后處理技術。伽馬校正控制圖像的整體光亮度。未經適當校正的圖像可能看 起來變白了或者太暗。嘗試準確地再現色彩還需要對伽馬校正有些了解。改變伽馬校正 的量不僅改變光亮度，而且改變紅對綠對藍的比率。在最簡單的情況下，伽馬校正由以
下冪定律表達式定義
其中輸入和輸出值是非負實值，通常在例如o到1的預定范圍內。通常將7〈i的情
況稱為伽馬壓縮，且將7〉M爾為伽馬擴展。在解碼器后處理包含伽馬校正的實施方案中，
可在解碼器22中實施對應的伽馬后處理技術6通常，在LCD面板內的模擬域中進行伽 馬校正。通常，抖動(dithering)在伽馬校正之后進行，盡管在一些情況下，首先執行 抖動。
直方圖均衡
直方圖均衡是使用像素值的直方圖來修改圖像中的像素的動態范圍的過程。通常， 圖像中的信息并非均勻地分布在可能的值范圍上。可通過用圖表表示像素的數目(y軸) 與每一像素的光亮度(例如，對于八位單色圖像為從0到255) (x軸)的關系以形成圖 像直方圖，來說明圖像的此像素強度頻率分布。圖像直方圖展示圖像內有多少像素落入
18各種光亮度等級邊界中的圖形表示。動態范圍是直方圖的占據部分的寬度的測量值。通常，具有較小動態范圍的圖像也具有較低的對比度，且具有較大動態范圍的圖像具有較高的對比度。使用映射操作(例如，直方圖均衡、對比度或伽馬調整或者另一重新映射操作)可改變圖像的動態范圍。當圖像的動態范圍減小時，可使用較少的位表示(并編碼)所得的"展平"圖像。
可對像素強度范圍(例如，像素光亮度值的范圍)執行動態范圍調整。盡管通常對整個圖像執行，但還可對圖像的一部分(例如，所識別的表示所述圖像的一部分的像素強度范圍)進行動態范圍調整。在一些實施例中，圖像可具有兩個或兩個以上所識別的部分(例如，通過不同的圖像主題內容、空間位置或通過圖像直方圖的不同部分而區分)，且可單獨地調整每一部分的動態范圍。
直方圖均衡可用以增加圖像的局部對比度，尤其當圖像的可用數據由接近的對比度值表示時。通過此調整，可使強度更好地分布在直方圖上。此情形允許較低局部對比度的區域獲得較高的對比度，而不影響整體對比度。直方圖均衡通過有效地展開像素強度值來實現此目的。所述方法在具有都為亮或都為暗的背景與前景的圖像中有用。
盡管直方圖均衡改進了對比度，但其也降低了圖像的壓縮效率。在一些編碼方法中，在編碼之前可使用直方圖均衡特性的"反向"特性來大體改進壓縮效率。在反向直方圖均衡過程中，重映射像素光亮度值以減小對比度；所得的圖像直方圖具有較小的(經壓縮的)動態范圍。在此過程的一些實施例中，可在對圖像進行編碼前得出每一圖像的直方圖。多媒體圖像中的像素的亮度范圍可經按比例縮放，以有效地將圖像直方圖壓縮到較窄的亮度值范圍。因此，可減小圖像的對比度。當壓縮此圖像時，由于較低/較小的亮度值范圍，編碼效率高于無直方圖壓縮的情況下的編碼效率。當在終端裝置處對所述圖像進行解碼時，在所述終端裝置上運行的直方圖均衡過程將圖像的對比度復原到原始分布。在一些實施例中，編碼器可保存(或接收)識別用于終端裝置處的解碼器中的直方圖均衡算法的指示符。在此情況下，編碼器可使用直方圖均衡算法的反向算法來改進壓縮效率，且接著將足夠的信息提供給解碼器以用于對比度的復原。
圖11說明編碼裝置1120的實施例，其可在對多媒體數據進行編碼之前減小多媒體數據的動態范圍，以便使用較少的位來對多媒體數據進行編碼。在圖11中，多媒體源1126將多媒體數據提供給編碼裝置1120。編碼裝置1120包含預處理器1118,其接收多媒體數據且減小所述多媒體數據中所含的至少一個圖像的動態范圍。所得的數據"壓縮"減小了多媒體數據的大小，且相應地減少了需要編碼的多媒體數據的量。將所得的數據提供給編碼器1121。編碼器1121對經調整的多媒體數據進行編碼，且將經編碼的數據提供給通信模塊 1125，以用于傳輸到如圖1中所說明的終端裝置16 (例如，手持機)。在一些實施例中， 還將與動態范圍調整相關聯的信息提供給編碼器1121。可將所述信息保存在編碼裝置 1121中作為指示對像素強度范圍進行的修改的指示符。如果提供了與動態范圍調整相關 聯的信息(或指示符)，那么編碼器H21還可對此信息進行編碼，并將其提供給通信模 塊1125，以用于傳輸給終端裝置16。隨后，終端裝置16在顯示圖像之前重新映射(擴 展)所述圖像的動態范圍。在一些實施例中，例如圖2的編碼器21的編碼器可經配置 以執行此預處理動態范圍調整。在一些實施例中，除了其它編碼實施例(包含本文中例 如參考圖1到圖9所描述的編碼實施例)之外，還可執行預處理動態范圍調整。
圖9中說明用以指定將在解碼器處執行的后處理操作的類型以及所述后處理操作的 參數的元數據(或指示符)。用于按比例縮放的選項是圖9中所描述的用于內插濾波器 的不同系數組。功能指定符是圖9中所說明的表的第2列中所列出的一組后處理功能的 索引。編碼器可從此組選擇產生待編碼的差異信息的最小熵的功能(在區塊基礎上)。 任選地，選擇標準還可以是最高質量的，質量是通過一些客觀手段(例如，PSNR、SSIM、 PQR等)來測量的。另外，對于每一指定的功能，基于用于此功能的方法而提供一組選 項。舉例來說，使用邊緣檢測方法(例如， 一組索伯爾(Sobel)濾波器或者3x3或5x5 高斯掩模)，接著使用高頻加強，邊緣增強可在回路外發生。在一些實施例中，使用回 路內解塊器電路，邊緣增強可在回路內發生。在后者情況下，回路內解塊期間所使用的 邊緣檢測方法用以識別邊緣，且對由解塊濾波器進行的常規低通濾波的補充功能將是用 以增強邊緣的銳化濾波器。類似地，直方圖均衡具有在全范圍的強度值或部分強度值上 均衡的選項，且伽馬校正具有用于抖動的選項。
圖7說明通過編碼結構(例如，編碼裝置20(圖2)、編碼裝置30(圖3)、編碼裝 置40 (圖4)和編碼裝置50 (圖5))對多媒體數據進行編碼的過程70的實例。在狀態 71處，所述過程保存后處理技術的指示符。舉例來說，所述后處理技術可在顯示裝置(例 如，終端16 (圖l))的解碼器中使用。元數據還可在不具體知曉接收顯示裝置處所執 行的后處理技術(如果有的話)的情況下，指示眾所周知或普遍的處理技術。在狀態72 處，對接收到的第一多媒體數據進行編碼以形成第一經編碼多媒體數據。
在狀態73處，通過對第一經編碼多媒體數據進行解碼且應用由所述指示符識別的
后處理技術，過程70產生第二多媒體數據。所述后處理技術可以是本文中所描述的后
處理技術中的一者或另一后處理技術。在狀態74處，過程70將第二多媒體數據與第一
多媒體數據進行比較以確定比較信息。所述比較信息可以是指示所述第二多媒體數據與
20所述第一多媒體數據之間的差異的差異信息。在狀態75處，過程70接著對所述比較信息進行編碼以形成輔助信息(第二經編碼數據)。隨后可將輔助信息和經編碼的多媒體數據傳送到顯示裝置，所述顯示裝置可使用所述輔助信息對多媒體數據進行解碼。
圖10是說明通過在對多媒體數據進行編碼之前減小至少一部分多媒體數據的像素亮度強度范圍來對多媒體數據進行編碼(例如，由圖11的編碼器1120執行)的過程1000的流程圖。在狀態1005處，過程IOOO識別多媒體數據中的像素亮度強度范圍。舉例來說，如果多媒體數據包括圖像，那么過程IOOO可識別或確定所述圖像的像素強度范圍。如果多媒體數據包括圖像序列(例如，視頻)，那么可針對所述圖像中的一者或一者以上而識別像素強度范圍。舉例來說，像素強度范圍可以是圖像中含有卯％(或者，例如，95%或99%)亮度值的像素的亮度值的范圍。在一些實施例中，如果圖像序列中的圖像是類似的，那么可針對所述圖像序列中的所有(或至少許多)圖像而識別相同的像素強度范圍。在一些實施例中，可識別兩個或兩個以上圖像的像素亮度強度范圍并求其平均值。
在狀態1010處，過程IOOO修改多媒體數據的一部分以減小像素亮度強度范圍。通常，圖像的像素亮度值集中在可用強度范圍的一部分上。減小(或重新映射)像素值以覆蓋較小的范圍可大大地減少圖像中的數據量，這促進了較高效率的數據編碼和傳輸。減小像素亮度強度范圍的實例包含"反向"直方圖均衡、伽馬校正或將來自"全"范圍(例如，對于八位圖像為0到255)的亮度值重新映射到原始強度范圍的僅一部分的減小的范圍。
在狀態1015處，過程IOOO對經修改的多媒體數據進行編碼以形成經編碼的數據。可將經編碼的數據傳輸到對經編碼的數據進行解碼的終端裝置16 (圖1)。終端裝置中的解碼器執行用于擴展多媒體數據的強度范圍的過程。舉例來說，在一些實施例中，解碼器執行直方圖均衡、伽馬校正或另一圖像重新映射過程，以在像素強度范圍上擴展多媒體數據的像素值。所得的經擴展的多媒體數據可看起來類似于其原始外觀，或者至少在終端裝置的顯示器上檢視起來令人愉快。在一些實施例中，可產生指示強度范圍減小的指示符、對其進行編碼并將其傳輸到終端裝置。終端裝置中的解碼器可使用所述指示符作為用于對接收到的多媒體數據進行解碼的輔助信息。
注意，可將所述方面描述為過程，將所述過程描繪為流程圖、流程圖表、結構圖或框圖。雖然流程圖可將所述操作描述為循序過程，但可并行或同時執行所述操作中的許多操作。另外，可重新排列所述操作的次序。當過程的操作完成時，所述過程終止。過程可對應于方法、函數、程序、子例行程序、子程序等。當過程對應于函數時，其終止
21對應于所述函數返回到調用函數或主函數。
所屬領域的技術人員還應明白，可在不影響裝置的操作的情況下，重新布置本文中所揭示的裝置的一個或一個以上元件。類似地，可在不影響裝置的操作的情況下，組合本文中所揭示的裝置的一個或一個以上元件。所屬領域的技術人員將理解，可使用多種不同技術和技法中的任一者來表示信息和信號。所屬領域的技術人員將進一步了解，可將結合本文中所揭示的實例而描述的各種說明性邏輯區塊、模塊和算法步驟實施為電子硬件、固件、計算機軟件、中間件、微碼或其組合。為了清楚地說明硬件與軟件的這種可互換性，上文已經大體上根據各種說明性組件、區塊、模塊、電路和步驟的功能性描述了各種說明性組件、區塊、模塊、電路和步驟。將此功能性實施為硬件還是軟件取決于特定應用和強加于整個系統的設計限制。熟練的技術人員可針對每個特定應用以不同的方式來實施所描述的功能性，但此類實施決策不應被解釋為導致與所揭示方法的范圍偏離。
結合本文所揭示的實施例而描述的方法或算法的步驟可直接在硬件中、在由處理器執行的軟件模塊中或在所述兩者的組合中實施。軟件模塊可駐存在RAM存儲器、快閃存儲器、ROM存儲器、EPROM存儲器、EEPROM存儲器、寄存器、硬盤、可移除盤、CD-ROM或此項技術中已知的任何其它形式的存儲媒體中。示范性存儲媒體耦合到處理器，使得處理器可從存儲媒體讀取信息和向存儲媒體寫入信息。在替代方案中，存儲媒體可與處理器成 一 體式。處理器和存儲媒體可駐存在專用集成電路(Application SpecificIntegrated Circuit, ASIC)中。ASIC可駐存在無線調制解調器中。在替代方案中，處理器和存儲媒體可作為離散組件駐存在無線調制解調器中。
另外，可用以下裝置來實施或執行結合本文所揭示的實施例而描述的各種說明性邏輯區塊、組件、模塊和電路通用處理器、數字信號處理器(DSP)、專用集成電路(ASIC)、現場可編程門陣列(FPGA)或其它可編程邏輯裝置、離散門或晶體管邏輯、離散硬件組件或其經設計以執行本文所述的功能的任一組合。通用處理器可以是微處理器，但在替代方案中，處理器可以是任一常規處理器、控制器、微控制器或狀態機。處理器還可實施為計算裝置的組合，例如DSP與微處理器的組合、多個微處理器、結合DSP核心的一個或一個以上微處理器或任何其它此類配置。
提供對所揭示實例的先前描述是為了使所屬領域的技術人員能夠制作或使用所揭
示的方法和設備。所屬領域的技術人員將容易明白對這些實例的各種修改，且可在不脫
離所揭示的方法和設備的精神或范圍的情況下，將本文所界定的原理應用于其它實例，
且可添加額外元件。對所述方面的描述既定為是說明性的，且不限制權利要求書的范圍。
權利要求
1. 一種處理多媒體數據的方法，所述方法包括識別后處理技術的指示符；對第一多媒體數據進行編碼以形成第一經編碼數據；處理所述第一經編碼數據以形成第二多媒體數據，所述處理包括通過應用由所述指示符識別的所述后處理技術來對所述第一經編碼數據進行解碼；將所述第二多媒體數據與所述第一多媒體數據進行比較，以確定比較信息；以及基于所述比較信息而產生第二經編碼數據。
2. 根據權利要求1所述的方法，其中所述確定比較信息的比較包括確定指示所述第 二多媒體數據與所述第一多媒體數據之間差異的差異信息。
3. 根據權利要求2所述的方法，其中所述第一多媒體數據編碼包括對所述第一多媒體數據進行下取樣和壓縮以形成所述第一經編碼數據。
4. 根據權利要求2所述的方法，其中所述后處理技術包括上取樣。
5. 根據權利要求2所述的方法，其中所述后處理技術包括應用噪聲減少技術來減少 所述第二多媒體數據中的噪聲。
6. 根據權利要求2所述的方法，其中所述后處理技術包括應用強化第一多媒體圖像的至少一個特征的增強技術。
7. 根據權利要求6所述的方法，其中應用增強技術包括增強對應于所述第一多媒體圖像中的皮膚特征的皮膚信息。
8. 根據權利要求7所述的方法，其進一步包括將所述第一經編碼數據和所述第二經編 碼數據傳輸到終端裝置。
9. 根據權利要求2所述的方法，其中對所述第一經編碼數據進行解碼以形成第二多媒 體圖像包括使用直方圖均衡。
10. 根據權利要求2所述的方法，其中對所述經編碼數據進行解碼以形成第二多媒體圖 像包括使用邊緣增強。
11. 根據權利要求2所述的方法，其中對所述經編碼數據進行解碼以形成第二多媒體圖 像包括使用視頻復原。
12. 根據權利要求2所述的方法，其中在區塊基礎上確定所述差異信息。
13. 根據權利要求2所述的方法，其中所述差異信息包括低分辨率經編碼數據中的一組 關系。
14. 根據權利要求13所述的方法，其中所述組關系包括等式。
15. 根據權利要求13所述的方法，其中所述組關系包括決策邏輯，所述決策邏輯包含 經量化殘差系數的數量和位置。
16. 根據權利要求13所述的方法，其中所述組關系決策邏輯包括模糊邏輯規則。
17. —種用于處理多媒體數據的系統，其包括編碼器，其經配置以識別后處理技術的指示符，且進一步經配置以對第一多媒體數據進行編碼以形成第一經編碼數據；第一解碼器，其經配置以處理所述第一經編碼數據以形成第二多媒體數據，所述 處理包括對所述第一經編碼數據進行解碼以及應用由所述指示符識別的所述后處 理技術；以及比較器，其經配置以將所述第一多媒體數據與所述第二多媒體數據迸行比較以確 定比較信息；所述編碼器進一步經配置以基于所述比較信息而產生第二經編碼數據。
18. 根據權利要求17所述的系統，其中所述比較信息包括指示所述第一多媒體數據與 所述第二多媒體數據之間差異的差異信息。
19. 根據權利要求17所述的系統，其中所述編碼器經配置以通過對所述第一多媒體數據進行下取樣且對所述所得的經下取樣的數據進行壓縮來對所述第一經編碼數據 進行編碼。
20. 根據權利要求17所述的系統，其中所述第一解碼器配置包括上取樣過程和解壓縮過程，用以產生經編碼的圖像，以及數據存儲裝置，用以在其中保存用于形成第二多媒體圖像的解碼技術的指示符。
21. 根據權利要求17所述的系統，其中所述后處理技術進一步包括噪聲濾波模塊，所 述噪聲濾波模塊經配置以減少所述第二多媒體數據中的噪聲。
22. 根據權利要求17所述的系統，其中所述后處理技術包括強化所述第二多媒體數據 的特征的增強技術。
23. 根據權利要求22所述的系統，其進一步包括通信模塊，所述通信模塊經配置以將 所述第一經編碼數據和所述第二經編碼數據信息傳輸到第二解碼器，所述第二解碼 器使用輔助信息來對所述第一經編碼數據進行解碼。
24. —種用于處理多媒體數據的系統，其包括用于識別后處理技術的指示符的裝置；用于對第一多媒體數據進行編碼以形成第一經編碼數據的裝置； 用于處理所述第一經編碼數據以形成第二多媒體數據的裝置，所述處理包括對所述第一經編碼數據進行解碼以及應用由所述指示符識別的所述后處理技術；用于將所述第二多媒體數據與所述第一多媒體數據進行比較以確定比較信息的裝置；以及用于基于差異信息而產生第二經編碼數據的裝置。
25. 根據權利要求24所述的系統，其中所述比較裝置確定包括指示所述第二多媒體數 據與所述第一多媒體數據之間差異的差異信息的比較信息。
26. 根據權利要求25所述的系統，其中所述編碼裝置包括編碼器。
27.根據權利要求25所述的系統，其中所述解碼裝置包括解碼器。
28. 根據權利要求25所述的系統，其中所述比較裝置包括比較器模塊，所述比較器模 塊經配置以確定所述第一多媒體數據與所述第二多媒體數據之間的差異信息。
29. —種機器可讀媒體，其包含存儲在上面的指令，其中所述指令可在一個或一個以上 機器上執行，且其中所述指令包括用于識別后處理技術的指示符的指令；用于對第一多媒體數據進行編碼以形成第一經編碼數據的指令；用于處理所述第一經編碼數據以形成第二多媒體數據的指令，所述處理包括對所述第一經編碼數據進行解碼以及應用由所述指示符識別的所述后處理技術；用于將所述第二多媒體數據與所述第一多媒體數據進行比較以確定比較信息的 指令以及用于基于差異信息而產生第二經編碼數據的指令。
30. 根據權利要求29所述的機器可讀媒體，其中所述比較信息包括指示所述第二多媒體數據與所述第一多媒體數據之間差異的差異信息。
31. —種用于處理多媒體數據的系統，其包括終端裝置，其經配置以接收第一經編碼多媒體數據，所述第一經編碼多媒體是從 第一多媒體數據產生的，所述終端裝置進一步經配置以接收第二經編碼數據，所述 第二經編碼數據包括表示所述第一多媒體數據與第二多媒體數據之間差異的信息， 其中通過對所述第一多媒體數據進行編碼且接著使用后處理技術對所述經編碼的 第一多媒體數據進行解碼來形成所述第二多媒體數據，所述終端裝置包括解碼器， 所述解碼器經配置以對所述第二經編碼數據進行解碼，且使用來自所述經解碼的第 二經編碼數據的信息對所述第一經編碼數據進行解碼。
32. —種處理多媒體數據的方法，所述方法包括在終端裝置中接收第一經編碼多媒體，所述第一經編碼多媒體是從第一多媒體數 據產生的在所述終端裝置中接收第二經編碼數據，所述第二經編碼數據包括表示通過將所 述第一多媒體數據與第二多媒體數據進行比較而產生的差異的信息，所述第二多媒 體是通過對所述第一多媒體數據進行編碼且接著使用還在所述終端裝置的解碼器中使用的后處理技術對所述經編碼的第一多媒體數據進行解碼而形成的 對所述第二經編碼數據進行解碼以產生所述差異信息；以及使用所述差異信息對所述第一經編碼數據進行解碼。
全文摘要
本申請案包含用于基于編碼器輔助的后處理來處理多媒體數據以在接收器處產生增強質量的多媒體數據的裝置和方法。在一個方面，處理多媒體數據包含識別后處理技術的指示符；對第一多媒體數據進行編碼以形成第一經編碼數據；處理所述第一經編碼數據以形成第二多媒體數據，所述處理包括對所述第一經編碼數據進行解碼以及應用由所述指示符識別的所述后處理技術；將所述第二多媒體數據與所述第一多媒體數據進行比較，以確定指示所述第二多媒體數據與所述第一多媒體數據之間差異的差異信息；以及基于所述差異信息而產生第二經編碼數據。
文檔編號H04N7/26GK101491102SQ200780027133
公開日2009年7月22日 申請日期2007年7月19日 優先權日2006年7月20日
發明者維賈雅拉克希米·R·拉溫德朗 申請人:高通股份有限公司