專利名稱：用于比特深度可分級的視頻編解碼器的色調映射的制作方法
技術領域：
本發明總體上涉及可分級的視頻編解碼器。
背景技術：
可分級的視頻編解碼器能夠根據用戶喜歡的服務類型而將不同的圖像 質量級別傳遞給不同的用戶。與較高質量的視頻服務相比，較低質量的視 頻服務便宜。
在可分級的視頻編解碼器中，將較低的比特深度稱為基線層，而將較 高的比特深度稱為增強層。比特深度越大，視頻質量就越好。
在可分級的視頻編解碼器中，可以將編碼器和解碼器作為一個單元來 提供。在一些情況下，僅提供了編碼器，而在另一些情況下，僅提供了解 碼器。可分級的視頻編解碼器使得系統能夠至少對基線層進行操作。因此， 在低成本的系統中，可以僅采用基線層，而在較高成本的更為高級的系統 中，可以采用增強層。
從基線層推導出增強層是有利的。為了實現該目的，可以利用逆色調
映射(inverse tone mapping)來將基線層的比特深度增加到增強層的比特深 度。在一些情況下，例如，基線層可以是每像素8比特，而增強層可以是 每像素IO、 12或更多比特。
圖1是根據本發明一個實施例的編碼器和解碼器系統的示意性圖示； 圖2是根據本發明另一實施例的編碼器和解碼器系統的圖示；以及 圖3是本發明另一實施例的系統圖示。
具體實施例方式
參考圖l,可分級的視頻編解碼器包括編碼器10，編碼器10可以通過視頻傳輸或視頻存儲14而與解碼器12進行通信。圖1示出了一個編解碼 器的編碼器、以及另一個編解碼器的解碼器。
舉例而言，網絡計算機可以通過網絡與另一計算機進行通信。每個計 算機可以具有包括編碼器和解碼器兩者的編解碼器，從而可以在一個節點 上對信息進行編碼，通過網絡將編碼后的信息傳輸到另一節點，然后所述 另一節點對編碼后的信息進行解碼。
圖1中所示的編解碼器是可分級的視頻編解碼器(SVC)。這意味著它 能夠使用不同的比特深度來對信息進行編碼和/或解碼。視頻源16和26可 以連接到編碼器IO。視頻源16可以使用N-比特的視頻數據，而視頻源26 可以提供M-比特的視頻數據，這里，比特深度M大于比特深度N。在其它 實施例中，可以提供具有兩個以上比特深度的兩個以上的源。
在每種情況下，將來自視頻源的信息提供給編碼器。在具有較低比特 深度的視頻源16的情況下，將該信息提供給基線編碼器18。在具有較高比 特深度的視頻源26的情況下，采用增強層編碼器28。
然而，為了在增強層編碼中使用，對在B處的來自基線編碼器18的經 過基線解碼的信息進行逆色調映射，以將它的比特深度增加到M個比特。 這樣，在一個實施例中，將解碼后的N-比特視頻提供給逆色調映射單元20。 逆色調映射20增加比特深度，并產生了到增強層編碼器28的M-比特輸出。 解碼后的流B還被提供給色調映射推導24。色調映射推導24還從M -比特 的視頻源26接收信息。色調映射推導24的輸出用于逆色調映射20。
同時，在A處的來自編碼器18的經過編碼的輸出被輸出至視頻傳輸或 視頻存儲14。
作為將解碼后的流B用于色調映射推導器24的結果，可以減小在增強 層編碼器28中的編碼殘差，因為編碼器28中的更好的預測，在一些情況 下這提高了編碼效率。
圖1的編碼器例如符合H.264 (先進視頻編解碼器(AVC)和MPEG-4 第10部分)壓縮標準。H.264標準已經由聯合視頻工作組(JVT)制定， 該聯合視頻工作組包括ITU-T SG16 Q.6 (也稱為VCEG (視頻編碼專家組)) 和ISO-IECJTC/SC29/WG11 (2003)(也稱為MPEG (運動圖像專家組))。 舉幾個例子，化264被設計為應用在數字1￥廣播、直播衛星視頻、數字用戶線視頻、交換式存儲媒體、多媒體消息、數字地面TV廣播以及遠程視頻 監控等領域中。
盡管一個實施例可以符合H.264視頻編碼，但是本發明并不局限于此。 相反，這些實施例可以用于各種視頻壓縮系統，包括MPEG-2 (ISO/正C 13818-1 (2000)MPEG-2，可從瑞士日內瓦的國際標準化組織獲得該ISO/IEC 13818-1 (2000) MPEG畫2)以及VC1 (SMPTE421M (2006)，可從SMPTE White Plains, NY， 10601獲得該SMPTE 421M (2006))。
編碼器通過視頻傳輸或視頻存儲14提供信息，以供解碼器使用。可提 供的信息可以包括基線(BL)層視頻流、逆色調映射(ITM)信息、來自 自適應濾波24的濾波器抽頭(filter tap)以及增強層(EL)視頻流。該信 息中的一些可以包含在分組報頭中。例如，逆色調映射(ITM)信息和濾波 器抽頭信息可以在分組化數據傳輸中在合適的報頭中提供。
一旦在解碼器12中接收到合適的信息，基線解碼器30就解碼該信息， 以便由顯示器32顯示N-比特視頻。然而，如果作為替代提供了增強層裝置， 則可以提供較高比特深度的顯示器40。(通常，不會包括兩個顯示器)。使 用逆色調映射單元34將N-比特的基線解碼器輸出轉換為M-比特視頻，還 向逆色調映射單元34提供與在編碼器10中進行的逆色調映射相關的ITM 信息。
視頻解碼器是自推導式(self-deriving)的，這是因為使用解碼器可獲 得的信息來進行編碼。解碼器可以訪問該相同的信息來對編碼后的信息進 行解碼，而無需從編碼器搜索該信息。
通常，可以采用任何類型的色調映射來增加基線層視頻的比特密度， 包括基于塊的逆縮放以及分段的逆線性映射。
圖1中的色調映射推導24尋找在較高/較低比特深度視頻之間的關系。 通常，通過編碼器端的原始高比特深度視頻和原始較低比特深度視頻的統 計特征，推導該映射關系。
使用較低比特深度N輸入的像素x以及較高比特深度M輸入的相同位 置的像素y來建立查詢表(LUT)。借助于"相同位置"，旨在查詢在來自 源16和26的兩個圖像中的相同位置處的像素。
對于在較低比特深度輸入中的每個像素&以及在較高比特深度輸入中的相同位置的像素yi，令 sumk-=I 一)
numk+= D I 一) 那么，第j湘LUT[j]=sumj/numj。
如果(numj=0)，則LUT[j]是LUT[j-]和LUT[j+]的加權平均，其中如 果可以獲得j.和j+，則j.和j+是第j項的最接近的非零鄰居。
不使用較低比特深度的源16的輸入像素，而是將來自基層編碼器18
的經解碼的輸出像素與較高比特深度的源26的輸入一起使用來得到映射
LUT。像素z是解碼后的較低比特深度N輸出，而相同位置的輸入像素y
是較高比特深度M輸入。對于在較低比特深度的解碼后輸出中的每個像素
Zi以及在較高比特深度輸入中的相同位置的像素yi，令 sumk —=不乂 I (一
numk+= I (")
那么，第j項LUT[j]-sumj/numj。
如果(numj=0),則LUT[j]是LUT[j.]和LUT[j+]的加權平均，其中如
果可以獲得j.和j+，則j-和j+是第j項的最接近的非零鄰居。
在圖2中，內容自適應技術推導出色調映射LUT，該內容自適應技術 使用內容分析和濾波42。像素z是解碼后的較低比特深度N輸出，而相同 位置的輸入像素y來自于較高比特深度M。如果在目標像素z的周圍鄰域 中不存在邊緣像素，則可以用濾波后的像素f來替代該目標像素z，以推導 出色調映射LUT。
對于在較低比特深度的解碼后的輸出中的每個像素&以及在較高比特 深度輸入中的相同位置的像素yi，如果在Xi的鄰域中不存在邊緣像素，則: 設置fl = filter (Xi) sumk-=I (/,="
numk+= $ I 第j項LUT。]=sumj/numj。
如果(numj-0)，則LUT[j]是LUT[j.]和LUT[j+]的加權平均，其中如果可以獲得j-和j + ，貝U j.和j+是第j項的最接近的非零鄰居。
在一個實施例中，將Sobd邊緣算子用于內容分析和濾波42。假定目
標像素Z:
1_2-r匿-i01 —二2-1 o-力-1-2—
000五—V-_202—10 110一l
12i_10101 2210
目標像素z的邊緣度量(EM)用公式表示為以下等式中的加權與其3 X3鄰域NH9(z)的巻積，如EM(z) = |NH9(z)*E_h| + |NH9(z)*E—v|+ |NH9(z)*E—P45| + |NH9(z)*E—N45|。
對于很多應用而言，使用兩個方向E—v和E_h就足夠了。在45度上的 檢測進一歩改善了邊緣檢測，但是帶來了更大的計算復雜度。
對于邊緣檢測，可以使用其它內容分析技術，例如Canny算法和基于 導數的算法。
在圖2中，使用來自鄰域像素的濾波器支持(filter support)來對目標 像素進行濾波。在一些實施例中，可以將線性濾波器或平均濾波器與邊緣 檢測器一起使用。
鄰域的定義可以與在諸如SVC和H.264等通用視頻編碼標準中的指定 的塊大小的定義自然對齊。舉例而言，所述塊大小可以是4X4、 8X4、 4 X8和8X8。利用該對齊，色調映射推導24是內容自適應的并且是基于塊 的。盡管可以使用3X3鄰域，但也可以使用其它鄰域像素。
可以分別基于亮度通道和色度通道來推導色調映射表。亮度LUT可以 用于亮度像素的映射，色度LUT可以用于色度像素的映射。在一些方案中， Cb通道和Cr通道兩者共享一個色度表，或者可以分別使用Cb和Cr各自 的表。
在一些實施例中，使用色調映射關系，以便借助于使用較低比特深度 的解碼后像素和較高比特深度的相同位置的輸入像素來預測較高比特深度 的像素。通過使用較低比特深度的解碼后像素取代較低比特深度的輸入像 素，在一些實施例中可以減小編碼殘差并且實現更好的編碼效率。
內容自適應技術利用相鄰像素產生濾波后的像素，作為未經濾波的解 碼后像素的替代，以推導出色調映射關系。借助于鄰域分析，消除了另一邊界上的像素，以便在一些實施例中產生更為平滑的像素并且更好地預測 較高比特深度的像素。這樣，在一些情況下實現了更加有效的編碼效率。 由于在視頻解碼器端獲得的自推導，因此在一些實施例中不需要將額外的 開銷從視頻編碼器端發送到視頻解碼器端。
參考圖3，在一個實施例中，圖1和圖2中所示的編碼器和解碼器可以 是圖形處理器112的一部分。在一些實施例中，圖1和圖2中所示的編碼 器和解碼器可以用硬件實現，而在其它實施例中，它們可以用軟件或固件 來實現。在軟件實現的情況下，相關代碼可以存儲在任何合適的半導體、 磁存儲器或光存儲器中，包括主存儲器132。因此，在一個實施例中，源代 碼139可以存儲在機器可讀介質中，例如存儲在主存儲器132中，以便由 諸如處理器100或圖形處理器112等處理器執行。
計算機系統130可以包括硬盤驅動器134和可移動介質136，它們通過 總線104耦合到芯片組內核邏輯110。在一個實施例中，該內核邏輯可以耦 合到圖形處理器112 (經由總線105)和主處理器100。圖形處理器112還 可以通過總線106耦合到幀緩沖器114。幀緩沖器114可以通過總線107耦 合到顯示器屏幕118，顯示器屏幕118進而通過總線108耦合到諸如鍵盤或 鼠標120之類的常規組件。
圖1和圖2中所示的塊可以構成硬件或軟件組件。在軟件組件的情況 下，該圖可以表示可存儲在諸如半導體集成電路存儲器、光存儲設備或磁 存儲設備之類的機器可讀介質中的指令序列。在牝情況下，所述指令可由 計算機或基于處理器的系統執行，所述計算機或基于處理器的系統從存儲 器中得到所述指令并執行所述指令。在一些情況下，所述指令可以是固件, 其可以存儲在合適的存儲介質中。上述指令的執行結果是最終顯示在顯示 器屏幕上的圖像質量得到了改善。
本說明書通篇引用的"一個實施例"或"實施例"意思是結合該實施 例所述的特定特征、結構或特性可以包括在本發明范圍內包含的至少一種 實現方式中。這樣，出現的短語"一個實施例"或"在實施例中"并非一 定指的是同一實施例。此外，所述特定特征、結構或特性可以用除所述的 特定實施例之外的其它合適形式來替代，并且所有這些形式都包含在本申 請權利要求的范圍內。 '雖然已經針對有限數量的實施例描述了本發明，但是本領域技術人員 應該意識到從中得到的各種修改和變型。目的在于使所附的權利要求覆蓋 落入本發明的真實精神和范圍之內的所有這些修改和變型。
權利要求
1、一種方法，包括使用解碼后的較低比特深度的視頻來進行逆色調映射，以便用于較高比特深度的編碼。
2、 如權利要求1所述的方法， 比特深度。
3、 如權利要求2所述的方法，提供給增強層編碼器。
4、 如權利要求l所述的方法，
5、 如權利要求1所述的方法， 頻來進行色調映射推導。
6、 如權利要求1所述的方法， 出來進行逆色調映射。包括增加編碼后的基線層視頻信息的包括將所述比特深度增加的視頻信息包括使用自推導式解碼。 包括使用解碼后的較低比特深度的視包括使用基線層編碼器的解碼后的輸包括:
7、 如權利要求1所述的方法，包括使用在較低比特深度的視頻和較 高比特深度的視頻中相同位置的像素來進行色調映射推導。
8、 如權利要求l所述的方法，包括使用在較低比特深度的視頻中的 經濾波的像素來進行色調映射推導。
9、 如權利要求1所述的方法，包括在逆色調映射之前，對所述解碼 后的較低比特深度的視頻進行濾波。
10、 如權利要求9所述的方法，包括使用對相鄰像素的分析來進行逆色調映射。
11、 如權利要求10所述的方法，包括使用所述相鄰像素以及在所述 較低比特深度的視頻和較高比特深度的視頻中相同位置的像素來建立色調 映射査詢表。
12、 一種裝置，包括較低比特深度的編碼器，其具有編碼后的視頻輸出和解碼后的視頻輸 出；以及設備，其使用來自所述解碼后的視頻輸出的視頻來增加編碼后的視頻 信息的比特深度。
13、 如權利要求12所述的裝置，其中，所述設備包括逆色調映射。
14、 如權利要求12所述的裝置，其中，所述裝置是編碼器。
15、 如權利要求12所述的裝置，其中，所述裝置包括解碼器。
16、 如權利要求15所述的裝置，其中，所述解碼器是自推導式的。
17、 如權利要求12所述的裝置，包括耦合到所述設備的基線編碼器。
18、 如權利要求13所述的裝置，包括耦合到所述濾波器的增強層編 碼器。
19、 如權利要求12所述的裝置，包括用于對所述解碼后的視頻輸出 進行濾波的濾波器。
20、 如權利要求19所述的裝置，包括逆色調映射和色調映射推導，其中，所述濾波器的輸出耦合到所述逆色調映射和所述色調映射推導。
21、 一種視頻編碼器，包括 基線層編碼器，其具有解碼后的輸出； 逆色調映射，其耦合到所述解碼后的輸出；以及 增強層編碼器，其耦合到所述逆色調映射。
22、 如權利要求21所述的編碼器，包括耦合到所述基線層編碼器的 色調映射推導，所述色調映射推導耦合到所述逆色調映射并且耦合到增強 層視頻源。
23、 如權利要求22所述的編碼器，其中，所述逆色調映射推導使用在 基線層視頻和增強層視頻中的像素來建立色調映射查詢表。
24、 如權利要求22所述的編碼器，所述逆色調映射使用在所述基線層 視頻和所述增強層視頻中的相同位置的像素。
25、 如權利要求23所述的編碼器，所述逆色調映射推導使用在所述基 線層視頻和所述增強層視頻中的相鄰像素來建立色調映射查詢表。
26、 如權利要求21所述的編碼器，包括耦合到所述解碼后的輸出的
27、 如權利要求26所述的編碼器，其中，所述逆色調映射耦合到所述 濾波器的輸出。
28、 如權利要求27所述的編碼器，包括耦合到所述濾波器的所述輸 出的色調映射推導。
29、 一種視頻解碼器，包括 基線層解碼器；以及 .自推導式增強層解碼器，其耦合到所述基線層解碼器。
30、 如權利要求29所述的解碼器，包括耦合到所述基線層解碼器的 增強層解碼器。
31、 如權利要求30所述的解碼器，包括位于所述增強層解碼器與所述基線解碼器之間的內容分析和濾波。
全文摘要
本發明公開了用于比特深度可分級的視頻編解碼器的色調映射。可分級的視頻編解碼器可以使用經解碼的較低比特深度的視頻來進行色調映射和色調映射推導，從而將較低比特深度的視頻轉換為較高比特深度的視頻。該轉換還可以使用經濾波的較低比特深度的視頻來進行色調映射和色調映射推導。
文檔編號H04N7/26GK101577828SQ20091013275
公開日2009年11月11日 申請日期2009年4月16日 優先權日2008年4月16日
發明者L·徐, Y-J·秋, 洪 江 申請人:英特爾公司