對高動態范圍圖像編碼和/或對比特流解碼的方法和設備的制造方法
【專利摘要】本發明一般地涉及對圖像進行編碼的方法和設備。所述方法包含：對根據圖像所確定(11)的背光圖像進行編碼(12)；通過用背光圖像的解碼版本劃分圖像，來獲得(13)殘差圖像；通過對殘差圖像進行色調映射，來獲得(16)經色調映射的殘差圖像；以及對經色調映射的殘差圖像進行編碼(19)。本發明還涉及對比特流進行解碼的方法和設備，所述比特流表示通過用背光圖像分割圖像而計算出的殘差圖像。
【專利說明】
對高動態范圍圖像編碼和/或對比特流解碼的方法和設備
技術領域
[0001] 本發明一般地設及圖像/視頻編碼和解碼。具體地，本發明的技術領域設及對像素 值屬于高動態范圍的圖像進行編碼/解碼。
【背景技術】
[0002] 本部分旨在向讀者介紹現有技術的各個方面，其可能與下面所描述和/或所要求 保護的本發明的各個方面有關。相信該討論對于向讀者提供背景信息W便于更好地理解本 發明的各個方面是有幫助的。因此，應當理解的是，運些陳述要從運個角度來閱讀，而不作 為對現有技術的承認。
[0003] 低動態范圍圖像化DR圖像)是亮度值用有限數量(最常見的是8或10)的比特來表 示的圖像。該有限的表示不允許正確地擅染小信號變化(特別是在暗的和亮的亮度范圍 中）。在高動態范圍圖像化DR圖像）中，擴充信號表示，W便維持信號在其整個范圍內的高準 確度。在HDR圖像中，像素值通常W浮點格式(針對每個分量，32比特或16比特，即浮點或半 浮點）來表示，最常見的格式是ope址XR半浮點格式(針對每個RGB分量16比特，即針對每個 像素48比特），或者W具有長表示(通常至少16比特)的整數來表示。
[0004] 對HDR圖像進行編碼的典型的方法是減小圖像的動態范圍，W便通過傳統的編碼 方案(最初被配置為對LDR圖像進行編碼)對圖像進行編碼。
[0005] 根據第一種方法，對所輸入的皿R圖像應用色調映射算子，然后通過諸如JPEG/ JPEG200或MPEG-2、針對視頻的H. 264( "Advanced video coding for generic audiovisual Services", SERIES H:AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Recommendation ITU-T H.264,TeIecommunication Standardization Sector of ITU， 2012年I月）等傳統的8-10比特深度編碼方案，對經色調映射的圖像進行編碼。然后，對經解 碼的圖像應用逆色調映射算子，并且在所輸入的圖像與經解碼和逆色調映射的圖像之間計 算殘差圖像。最后，通過第二傳統的8-10比特深度編碼方案對殘差圖像進行編碼。
[0006] 該第一方法在低動態范圍圖像可W通過傳統裝置進行解碼和顯示運個意義上是 向后兼容的。
[0007] 然而，該第一種方法使用兩個編碼方案，并且將輸入圖像的動態范圍限定為傳統 編碼方案的動態范圍的兩倍（16-20比特）。而且，運種方法有時會導致與所輸入的HDR圖像 具有較弱相關性的低動態范圍圖像。運導致圖像的低的編碼性能。
[000引根據第二種方法，根據所輸入的HDR圖像的亮度分量來確定背光圖像。然后，通過 用背光圖像劃分所輸入的HDR圖像來獲得殘差圖像，并且對背光圖像和殘差圖像二者直接 進行編碼。
[0009]對所輸入的皿R圖像進行編碼的運種特定方法不與傳統裝置(其不能夠對高動態 范圍進行解碼和/或顯示）向后兼容。
【發明內容】
[0010] 本發明通過一種對圖像進行編碼的方法來著手解決現有技術的一些弊端，所述方 法包含：
[0011] -對根據圖像所確定的背光圖像進行編碼；
[0012] -通過用背光圖像的解碼版本劃分圖像，來獲得殘差圖像；
[0013] -通過對殘差圖像進行色調映射，來獲得經色調映射的殘差圖像；W及
[0014] -對經色調映射的殘差圖像進行編碼。
[0015] 運提供可視的殘差圖像，即，在所得到的殘差圖像相當好地且與圖像中的原始場 景相比一致地、藝術地擅染經色調映射的場景的意義上的殘差圖像。因此，該方法是向后兼 容的，因為可視的殘差圖像可W通過不能夠處理高動態范圍的傳統裝置進行解碼和/或顯 /J、- O
[0016] 而且，因為分別對在空間上高度相關（W及與相同序列的圖像中的其他圖像在時 間上相關）的經色調映射的殘差圖像(低動態范圍圖像)和背光圖像進行編碼，所W通過運 樣的方法對高動態范圍圖像進行編碼導致高效的編碼方案。因此，由于經色調映射的殘差 圖像的高壓縮比率和用W對背光圖像進行編碼的少量數據，能夠得到編碼增益。
[0017] 根據實施例，對殘差圖像進行色調映射包含根據殘差圖像的像素值的伽馬校正或 化Og校正。
[0018] 使得沒有暗信息和亮信息的損失的伽馬校正和化Og校正導致根據殘差圖像和背 光圖像的HDR圖像的高精度的重構。而且，伽馬校正和化Og校正避免在所重構的HDR圖像和 可視的殘差圖像二者中的輪廓不清的(flat)剪切區域。
[0019] 根據實施例，根據圖像獲得背光圖像包含：
[0020] -根據圖像的亮度分量來獲得背光圖像;W及
[0021] -用圖像的平均亮度值來調制背光圖像。
[0022] 用圖像的平均亮度值來調制背光圖像改善圖像和殘差圖像之間的全局亮度相干 性，例如圖像中的亮區域在殘差圖像中顯得亮，而圖像中的暗區域在殘差圖像中顯得暗。
[0023] 根據實施例，根據圖像獲得背光圖像還包含：
[0024] -在調制背光圖像之前，通過背光圖像的平均值使背光圖像規格化。
[00巧]運允許獲得圖像的中間灰度一致(mid-gray-at-one)的背光圖像。
[0026] 根據實施例，所述方法還包含:在進行編碼之前，縮放殘差圖像。
[0027] 運使從殘差圖像獲得的圖像的平均灰度處于用于進行查看和編碼二者的足夠的 值。
[0028] 根據實施例，所述方法還包含:在進行編碼之前，剪切殘差圖像。
[0029] 剪切殘差圖像確保有限數量的比特，并且允許使用傳統的編碼/解碼方案對其進 行編碼。而且，編碼/解碼方案與現有的基礎結構(編解碼器、顯示器、分配信道等)是向后兼 容的，因為僅具有低動態范圍（典型地，8-10比特）的殘差圖像可W在運樣的基礎結構上傳 送W顯示圖像的低動態范圍版本。可W在專用基礎結構上的側容器(side container)中攜 帶包含背光數據的小比特流，W分發圖像(即皿姻像)的原始版本。
[0030] 根據本發明的另一方面，本發明設及一種對來自比特流的圖像進行解碼的方法， 所述方法包含：
[0031] -通過至少部分地對比特流進行解碼，來獲得背光圖像和經解碼的殘差圖像，W及
[0032] -通過將經解碼的殘差圖像乘W背光圖像，來獲得經解碼的圖像；
[0033] 其特征在于，在將經解碼的殘差圖像乘W背光圖像之前，對經解碼的殘差圖像進 行逆色調映射。
[0034] 根據本發明的另一方面，本發明設及實現上述方法的對圖像進行編碼的設備W及 對比特流進行解碼的設備。
[0035] 根據下面結合附圖進行的對優選實施例的描述，本發明的特定性質W及本發明的 其它目標、優點、特征和使用將會變得明顯。
【附圖說明】
[0036] 將參照W下附圖來描述實施例：
[0037] -圖1示出根據本發明的實施例的對圖像I進行編碼的方法的步驟的框圖；
[0038] -圖2示出根據本發明的實施例的方法的步驟的框圖；
[0039] -圖3示出根據本發明的實施例的方法的步驟的框圖；
[0040] -圖4示出根據本發明的實施例的方法的步驟的框圖；
[0041] -圖5示出根據本發明的實施例的對表示通過用背光圖像劃分圖像而計算出的殘 差圖像的比特流進行解碼的方法的步驟的框圖；
[0042] -圖6示出根據本發明的實施例的設備的架構的示例；W及
[0043] -圖7示出根據本發明的實施例的通過通信網絡進行通信的兩個遠程設備。
【具體實施方式】
[0044] 下文中將參照示出本發明的實施例的附圖來更全面地描述本發明。然而，本發明 能夠W許多替代形式來實施，并且不應當被理解為局限于在本文中所闡述的實施例。因此， 雖然本發明易受到各種修改和替代形式的影響，但是其特定實施例通過附圖中的示例來示 出，并且將在本文中詳細地描述。然而，應當理解的是，無意將本發明限制于所公開的具體 形式，而是相反地，本發明覆蓋落入由權利要求所限定的本發明的精神和范圍內的所有修 改、等同物W及替代物。在附圖的描述的各處，相似的標號指代相似的元件。
[0045] 在本文中所使用的術語僅用于描述具體實施例的目的，并且不旨在限制本發明。 如在本文中所使用的那樣，單數形式的"一"、"一個"和"該"意指也包括復數形式，除非上下 文清楚地指示不是如此。還要理解的是，術語"包含"、"包含有"、"包括"和/或"包括有"在本 說明書中使用時指定所陳述的特征、整數、步驟、操作、元件和/或組件的存在，但是不排除 一個或多個其它特征、整數、步驟、操作、元件、組件和/或其分組的存在或添加。此外，當元 件被稱為"響應于"或"連接到"另一元件時，它可W直接地響應于或連接到所述其它元件， 或者可W存在中間元件。相反，當元件被稱為"直接響應于"或"直接連接到"其它元件時，貝U 不存在中間元件。如在本文中所使用的那樣，術語"和/或"包括相關聯的所列出的項目中的 一個或多個的任意和所有的組合，并且可W簡寫為7"。
[0046] 應當理解的是，雖然術語第一、第二等可W在本文中被用于描述不同的元件，但是 運些元件不應當受限于運些術語。運些術語僅用于區分一個元件與另一元件。例如，第一元 件可W被稱為第二元件，并且相似地，第二元件可W被稱為第一元件，而不脫離本公開的教 導。
[0047] 雖然一些圖包括通信路徑上的箭頭W示出通信的主要方向，但是應當理解的是， 通信也可W在與所示箭頭相反的方向上進行。
[0048] -些實施例參照框圖和操作流程圖來描述，其中每個框表示電路元件、模塊或者 包含用于實現特定邏輯功能的一個或多個可執行指令的部分代碼。還應當注意的是，在其 它實施中，在框中所標記的功能可W不按照所示出的次序進行。例如，取決于所設及的功 能，相繼示出的兩個框實際上可W基本上同時地執行，或者運些框有時可W相反的次序來 執行。
[0049] 在本文中所提到的"一個實施例"或"實施例"意指結合實施例所描述的具體特征、 結構或特性能夠包括在本發明的至少一種實現方式中。在本說明書中各處出現的短語"在 一個實施例中"或"根據實施例"未必全部指相同的實施例，而單獨的或替代的實施例也未 必與其它實施例相互排斥。
[0050] 在權利要求中出現的標號僅是作為例示，而不應對權利要求的范圍有限定效果。
[0051] 雖然沒有明確描述，但是所呈現的實施例和變型可W W任意組合或子組合來采 用。
[0052] 本發明針對對圖像進行編碼/解碼進行描述，但是擴展至對圖像序列（視頻)進行 編碼/解碼，因為序列中的每個圖像如下所述那樣地被順序地編碼/解碼。
[0053] 圖1示出根據本發明的實施例的對圖像I進行編碼的方法的步驟的框圖。
[0054] 在步驟10中，模塊IC獲得要編碼的圖像I的亮度分量L(并且可能地，至少一個色彩 分量C(i))。
[0055] 例如，當圖像I屬于色彩空間(X，Y，Z)時，通過分量Y的變換f (.)來獲得亮度分量L， 例如 L = f(Y)。
[0056] 當圖像I屬于色彩空間（R，G，B)時，例如在709全域(gamut)中，通過由下式給出的 線性組合來獲得亮度分量^
[0057] L = O. 2127. R+0.7152.G+0.0722. B
[0058] 在步驟11中，模塊BAM根據圖像I的亮度分量L來確定背光圖像Bal。
[0059] 根據步驟11的實施例，如圖2所示，模塊BI將背光圖像Ba確定為由下式給出的形狀 函數如的加權線性組合：
[0060] Ba=SwiWi (1)
[0061 ]其中ai是加權系數。
[0062] 因此，根據亮度分量L確定背光圖像Ba在于，找到最佳加權系數(并且可能地，在事 先未知的情況下找到最佳形狀函數)W便使背光圖像Ba適合亮度分量L。
[0063] 有很多眾所周知的方法用W找到加權系數ai。例如，可W使用最小均方方法使背 光圖像Ba與亮度分量L之間的均方誤差最小化。
[0064] 本發明不限于用W獲得背光圖像Ba的任何特定方法。
[0065] 可W注意到，形狀函數可W是顯示背光的真實物理響應（例如由Lm)構成，然后每 個形狀函數對應于對一個L邸的響應），或者可W是純數學結構W便最佳地適合亮度分量。
[0066] 根據該實施例，從步驟11輸出的背光圖像Bal是由等式(1)給出的背光圖像Ba。
[0067] 根據步驟11的實施例，如圖3所示，模塊BM用通過模塊化獲得的圖像I的平均亮度 值Lmean對背光圖像Ba(由等式(1 )給出）進行調制。
[0068] 根據該實施例，從步驟11輸出的背光圖像Bal是經調制的背光圖像。
[0069] 根據實施例，模塊化被配置為計算在整個亮度分量L上的平均亮度值Lmean。
[0070] 根據實施例，模塊化被配置為通過下式計算平均亮度值Lmean
[0071]
[0072] 其中0是小于1的系數，E(X)是亮度分量L的數學期望值(平均）。
[0073] 該最后的實施例是有利的，因為其避免平均亮度值Lmean被具有極高值的一些像素 (當圖像I屬于圖像序列時，其通常導致非常討厭的時間平均亮度不穩定)所影響。
[0074] 本發明不限于用于計算平均亮度值Lmean的特定實施例。
[0075] 根據該實施例的變型，如圖4所示，模塊N通過背光圖像Ba(由等式（1)給出）的平均 值E(Ba)來使其規格化，從而得到圖像(如果圖像I屬于圖像序列，則針對所有圖像）的中間 灰度一致的背井:閣像化。ray:
[0076]
[0077] 然后，模塊BM被配置為用圖像L的低空間頻率版本Lif、通過使用W下關系對中間灰 度一致的背光圖像Bagray進行調制：
[007引 Bamod * CStmod 丄 If a. Bagray (2)
[0079] 其中CStmod是調制系數，并且a是小于1的另一調制系數，典型地化/3。
[0080] 根據該變型，從步驟11輸出的背光圖像Bal是由等式(2)給出的經調制的背光圖像 B過皿od O
[0081] 可W注意到，調制系數CStmDd被調諧W獲得殘差圖像的好看的亮度，并且高度依賴 于獲得背光圖像的處理。例如，對于通過最小均方獲得的背光圖像，CStmDd -1.7。
[0082] 實際上，按照線性，用W調制背光圖像的所有運算都作為將背光系數ai變換為新 的系數幾的巧巿巧子而府用于背光系數ai，從而得到：
[0083]
[0084] 在步驟12中，確定從步驟11輸出的背光圖像Bal所需的數據通過編碼器ENCl被編 碼，并且被添加到比特流BF中，該比特流BF可被存儲在本地或遠程存儲器中和/或通過通信 接口傳送(例如傳送至總線或者在通信網絡或廣播網絡上傳送）。
[0085] 例如，當使用已知的非自適應的形狀函數時，要編碼的數據受限于加權系數曰1或 馬，但是例如有稍微最佳的數學結構W便更好地適合的情況下，形狀函數如也可W是未知的 先驗，然后被編碼在比特流BF中。因此，所有加權系數曰1或錢（并且可能地，形狀函數如)被編 碼在比特流BF中。
[0086] 有利地，在被編碼之前，對加權系數ai或渾進行量化，W減小比特流BF的大小。
[0087] 在步驟13中，通過用背光圖像的解碼版本寡苗劃分圖像，來計算殘差圖像Res。
[0088] 有利地，使用背光圖像的解碼版本簽苗擬確保在編碼器和解碼器兩側的相同的背 光圖像，從而導致最終的經解碼的圖像.1'的更好的精度。
[0089] 更準確地，通過背光圖像的解碼版本來劃分從模塊IC獲得的圖像I的亮度分量 L(并且可能地，每個色彩分量C( i))。該劃分逐像素地進行。
[0090] 例如，當圖像I的分量R、G、或B表示在色彩空間(R，G，B)中時，如下那樣地獲得分量 RRes、GRes 和BRes :
[0091]
[0092] 例如，當圖像I的分量X、Y或Z表示在色彩空間（X，Y，Z)中時，如下那樣地獲得分量 XRes、Zr。。，
[0093]
[0094] 根據實施例，在步驟14中，通過解碼器DECl至少部分地對比特流BF進行解碼，由此 獲得背光圖像的解碼版本.衰為。
[00M]如前面所解釋的那樣，獲得作為步驟11的輸出的背光圖像所需的一些數據已經被 編碼(步驟12)并且然后通過至少部分地對比特流BF進行解碼來獲得。
[0096] 在上面所給出的示例之后，然后獲得加權系數爲(并且可能地，形狀函數菊)作為 步驟14的輸出。
[0097] 然后，在步驟15中，模塊BAG根據加權系數爲W及一些已知的非自適應的形狀函數 或形狀函數窮，通過下式生成背光圖像的解碼版本蘇:
[009引
[0099] 在步驟16中，模塊TMO對殘差圖像Res進行色調映射，W得到可視的殘差圖像Resv。
[0100] 因為殘差圖像Res的動態范圍過高并且因為該殘差圖像Res的解碼版本示出過于 明顯的偽像，所W可能出現殘差圖像Res可能不可視的情況。對殘差圖像進行色調映射補救 運些缺點中的至少一個。
[0101] 本發明不限于任何特定的色調映射算子。該唯一的條件是色調映射算子應當是可 逆的。
[0102] 例如，可^使用由1?6；[]111日'(1(1?6；[]111日'(1,6.、51日'4,]\1.、化；[1'167,?.和。61'"6'(1日， J.，"Photographic tone reproduction for digital images,"ACM Transactions on Graphics 21(2002年7月））或者Boitard,R.、Bouatouch,K.、Cozot,R.、Thoreau,D.、 Gruson,A.(Boitard,R.,Bouatouch,K.,Cozot,R.,Thoreau,D.,&Gruson,A.(2012) ? Temporal coherency for video tone mapping. In A.M.J.van Eijk,C.C.Davis , S.M.Hammel,&A.K.Majumdar(Eds.),Proc.SPIE 8499,Applications of Digital Image Processing(p.84990D-84990D-10))所定義的色調映射算子。
[0103] 在步驟19中，可視的殘差圖像Resv通過編碼器ENC2被編碼在比特流F中，比特流F 可W被存儲在本地或遠程存儲器中和/或通過通信接口（例如在總線上或者通過通信網絡 或廣播網絡)傳送。
[0104] 根據步驟16的實施例，對殘差圖像進行色調映射包含根據殘差圖像的像素值的伽 馬校正或化Og校正。
[0105] 然后，例如通過下式給出可視的殘差圖像Resv:
[0106] ReSv=A.Res 丫
[0107] 其中A是常量值，丫是例如等于1/2.4的伽馬曲線的系數。
[0108] 替代地，例如通過下式給出可視的殘差圖像Resv:
[0109] Resv=a. ln(Res+b)+c
[0110] 其中a、b和C是所確定的化Og曲線的系數，使得0和I為不變量，并且當按照在IW下 的伽馬曲線被延長時，SLog曲線的導數在1中是連續的。因此，a、b和C是參數丫的函數。
[0111] 根據實施例，伽馬-SLog曲線的參數丫被編碼在比特流BF中。
[0112] 對殘差圖像Res應用伽馬校正，拉起(pull up)暗區但不降低足夠的高光W避免亮 像素發光(burning)。
[0113] 對殘差圖像Res應用化Og校正降低足夠的高光但不拉起暗區。
[0114] 然后，根據步驟16的優選實施例，模塊TMO根據殘差圖像Res的像素值，應用伽馬校 正或化Og校正。
[0115] 例如，當殘差圖像Res的像素值在闊值（等于1) W下時，應用伽馬校正，否則應用 化Og校正。
[0116] 按照結構，取決于圖像I的亮度，可視的殘差圖像Resv通常具有或多或少地接近于 1的平均值，使得使用上述伽馬-SLog組合特別有效。
[0117] 根據方法的實施例，在步驟17中，在進行編碼(步驟19)之前，模塊SCA通過將可視 的殘差圖像Resv的每個分量乘W縮放因子CStscaling,對可視的殘差圖像Resv進行縮放。然 后，所得到的殘差圖像Ress由下式給出：
[011 引 ReSs - CStscaling . RgSv
[0119] 在具體實施例中，定義縮放因子CStscaling, W在從0到最大值/-1之間映射可視的 殘差圖像Resv的值，其中N是允許作為由編碼器ENC2進行的編碼的輸入的比特數。
[0120] 當然，運通過將值1(其大致為可視的殘差圖像Resv的平均值)映射到中間灰度值 2^-1來獲得。因此，對于具有標準比特數N=S的可視的殘差圖像Resv，等于120的縮放因子是 非常符合的值，因為其非常接近于2 7=128的中性灰度。
[0121] 根據方法的該實施例，在步驟19中，通過編碼器ENC2對殘差圖像Ress進行編碼。
[0122] 根據方法的實施例，在步驟18中，在進行編碼之前，模塊化I對可視的殘差圖像 Resv進行剪切，W將其動態范圍限制到例如根據編碼器ENC2的能力定義的目標動態范圍 TDR。
[0123] 根據該最后的實施例，根據方法的實施例，所得到的殘差圖像Resc例如通過W下 給出：
[0124] Resc=max(2^,Resv)
[0125] Resc=max(2^,Ress)
[0126] 本發明不限于運樣的剪切(max(.))，而是擴展到任何種類的剪切。
[0127] 根據方法的該實施例，在步驟19中，通過編碼器ENC2對殘差圖像Resc進行編碼。
[0128] 組合縮放和剪切實施例，根據本方法的實施例，得到通過W下給出的殘差圖像 RoSsc :
[01 巧]Ressc=max(2N, cstscaiing*Resv)
[0130] 或通過 Ressc=max(2N,cstscaiing*Ress)
[0131] 根據方法的該實施例，在步驟19中，通過編碼器ENC2對殘差圖像Ressc進行編碼。
[0132] 可視的殘差圖像Resv的色調映射和縮放是參量過程(parametric process)。參數 可W是固定的或者不固定的，并且在后者的情況下，它們可W通過編碼器ENCl被編碼在比 特流BF中。
[0133] 根據方法的實施例，伽馬校正的常量值丫、縮放因子CStsealing可W是被編碼在比 特流BF中的參數。
[0134] 可W注意到，對參數〇、[3^。<1、。3*3。311噸、丫、0的選取，對于選取適合在后期制作和 色彩分級中最佳地遵循專家品味的內容的色調映射，給出余地。
[0135] 另一方面，可W定義通用參數，W便對于很多種類的圖像的全部是可接受的。然 后，不將參數編碼在比特流BF中。
[0136] 圖5示出根據本發明的實施例的、用于對表示通過用背光圖像劃分圖像而計算出 的殘差圖像的比特流進行解碼的方法的步驟的框圖。
[0137] 如上所述，在步驟14和15中，例如通過解碼器DECl至少部分地對比特流BF進行解 碼，來獲得背光圖像!曼。
[0138] 比特流邸可W已經被存儲到本地或者可W從通信網絡接收。
[0139] 在步驟51中，通過解碼器DEC2至少部分地對比特流F進行解碼，來獲得經解碼的殘 差圖像接。
[0140] 比特流F可W已被存儲到本地或者可W從通信網絡接收。
[0141] 如下所述，經解碼的殘差圖像fir是通過傳統裝置可視的。
[0142] 在步驟54中，通過將經解碼的殘差圖像持芯；r乘W背光圖像焉，來獲得經解碼的圖 像f .〇
[0143] 根據步驟14的實施例，還可W從本地存儲器或者通過解碼器DECl至少部分地對比 特流BF進行解碼來獲得參數#和/或CSf;品UW。
[0144] 根據該方法，在步驟52中，模塊ISCA通過將經解碼的殘差圖像/援r除W參數 CSf完品,W，對經解碼的殘差圖像疼名應用逆縮放。
[0145] 在步驟53中，模塊ITMO通過參數f對經解碼的殘差圖像窓i：r.應用逆色調映射。
[0146] 例如，參數#定義伽馬曲線，而逆色調映射正是用W從伽馬曲線找到與經解碼的殘 差圖像揮品r的像素值相對應的值。
[0147] 解碼器DECl(相應地，DEC2)被配置為對已由編碼器ENCl(相應地，ENC2)編碼的數 據進行解碼。
[014引編碼器ENCl和ENC2(W及解碼器DECl和DEC2)不限于特定的編碼器(解碼器），但是 當需要賭編碼器（解碼器）時，諸如化ffmann編碼器、算數編碼器或者像是在h264/AVC或 肥VC中所使用的化bac的上下文自適應編碼器運樣的賭編碼器是有利的。
[0149] 編碼器ENCl和ENC2( W及解碼器DECl和DEC2)不限于例如可W是像是JPEG、 肝EG2000、MPEG2、h264/AVC或肥VC運樣的有損的圖像/視頻編碼器的特定編碼器。
[0150] 在圖1至5中，模塊是功能單元，其可W與可區分的物理單元有關，或者與可區分的 物理單元無關。例如，運些模塊或者它們中的一些可W被一起安置在唯一的組件或電路中， 或者促成軟件的功能。相反，可能地，一些模塊可W由單獨的物理實體構成。使用純硬件，例 如使用諸如ASIC或FPGA或化SK分別為專用集成電路、現場可編程口陣列、超大規模集成電 路)運樣的專用硬件，或者由在設備中嵌入的若干集成電子組件，或者由硬件組件和軟件組 件的混合，來實現與本發明兼容的裝置。
[0151] 圖6表示可W被配置為實現參照圖1至5所描述的方法的設備60的示例性架構。
[0152] 設備60包含通過數據和地址總線61鏈接在一起的下列元件：
[0153] -微處理器62(或CPU)，其例如是DSP(數字信號處理器）；
[0154] -ROM(只讀存儲器)63;
[0K5] -RAM(隨機存取存儲器)64;
[0156] -用于從應用接收數據W傳送的I/O接口65; W及
[0157] -電池 66。
[0158] 根據變型，電池66在設備的外部。圖6的運些元件中的每個被本領域技術人員所熟 知，不作進一步的公開。在每個所提到的存儲器中，在說明書中所使用的措詞"寄存器"可W 對應于小容量(一些比特)的區域或非常大的區域(例如整個程序或者大量的所接收的或經 解碼的數據KROM 63至少包含程序和參數。根據本發明的方法的算法存儲在ROM 63中。當 接通時，CPU 62將程序上載到RAM中并執行相應的指令。
[0159] RAM 64包含寄存器中的由CPU 62執行并且在設備60接通之后上載的程序、寄存器 中的輸入數據、寄存器中的方法的不同狀態下的中間數據W及寄存器中的用于執行方法的 其它變量。
[0160] 在本文中所描述的實現方式可W實現在例如方法或處理、裝置、軟件程序、數據流 或信號中。即使僅在單一形式的實現方式的背景下進行了討論(例如僅作為方法或設備進 行了討論），但是所討論的特征的實現方式也可W W其它形式(例如程序)來實現。裝置例如 可W實現為合適的硬件、軟件和固件。方法例如可W實現在諸如處理器(其一般被稱為處理 設備，例如包括計算機、微處理器、集成電路或可編程邏輯設備)運樣的裝置中。處理器還包 括諸如例如計算機、手機、便攜/個人數字助理（"PDA")運樣的通信設備W及便于在終端用 戶之間進行信息通信的其它設備。
[0161] 根據編碼或編碼器的具體實施例，圖像I從一來源獲得。例如，該來源屬于一集合， 該集合包括：
[0162] -本地存儲器(63或64)，例如視頻存儲器或RAM(隨機存取存儲器）、閃速存儲器、 ROM(只讀存儲器）、硬盤；
[0163] -存儲接口（65)，例如與海量儲存器、RAM、閃速存儲器、ROM、光盤或磁性支撐之間 的接口；
[0164] -通信接口（65)，例如有線接口（例如總線接口、廣域網接口、局域網接口）或無線 接口（諸如IE邸802.11接口或BluetO饑h⑥接口）； W及
[0165] -圖像捕獲電路，例如傳感器(諸如CCD(電荷禪合器件)或CMOS(互補金屬氧化物半 導體)）。
[0166] 根據解碼或解碼器的不同實施例，將解碼圖像i發送到目的地;具體地，該目的地 屬于一集合，該集合包括：
[0167] -本地存儲器(63或64)，例如視頻存儲器或RAM、閃速存儲器、硬盤；
[0168] -存儲接口（65)，例如與海量儲存器、RAM、閃速存儲器、ROM、光盤或磁性支撐之間 的接口；
[0169] -通信接口（65)，例如有線接口（例如總線接口（例如USB(通用串行總線））、廣域網 接口、局域網接口、HDMI (高清多媒體接口）接口）或無線接口（例如IE趾802.11接口、 馬袖'嫉或BI UdOO化飯接口）； W及
[0170] -顯示器。
[0171] 根據編碼或編碼器的不同實施例，將比特流BF和/或F發送到目的地。作為示例，將 比特流F和BF之一或者比特流F和BF二者存儲在本地或遠程存儲器中，例如視頻存儲器(64) 或RAM(64)、硬盤(63)中。在變型中，將所述比特流之一或二者發送到存儲接口（65)，例如與 海量儲存器、RAM、閃速存儲器、ROM、光盤或磁性支撐之間的接口，和/或通過通信接口（65) (例如到點到點鏈路、通信總線、點到多點鏈路或廣播網絡的接口）來傳送。
[0172] 根據解碼或解碼器的不同實施例，從來源獲得比特流BF和/或F。示例性地，從本地 存儲器（例如視頻存儲器(64)、RAM(64)、R0M(63)、閃速存儲器(63)或硬盤(63))讀取比特 流。在變型中，比特流從存儲接口（65)(例如與海量儲存器、RAM、ROM、閃速存儲器、光盤或磁 性支撐之間的接口）接收和/或從通信接日（65)(例如到點到點鏈路、總線、點到多點鏈路或 廣播網絡的接口）接收。
[0173] 根據不同實施例，被配置為實現參照圖1至4描述的編碼方法的設備60屬于一集 合，該集合包括：
[0174] -移動設備.
[0175] -通信設備；
[0176] -游戲設備；
[0177] -平板(或平板計算機）；
[017引-膝上型電腦；
[0179] -靜止圖像相機；
[0180] -攝像機；
[0181] -編碼忍片；
[0182] -靜止圖像服務器；W及
[0183] -視頻服務器(例如廣播服務器、視頻點播服務器或網絡服務器）。
[0184] 根據不同實施例，被配置為實現參照圖5描述的解碼方法的設備60屬于一集合，該 集合包括：
[0185] -移動設備.
[0186] -通信設備；
[0187] -游戲設備；
[018引-機頂盒；
[0189] -電視機；
[0190] -平板(或平板計算機）；
[0191] -膝上型電腦；
[0192] -顯示器；臥及
[0193] -解碼忍片。
[0194] 根據在圖7中所示的實施例，在通信網絡肥T上的兩個遠程設備A和B之間的傳送背 景下，設備A包含被配置為實現參照圖1描述的對圖像進行編碼的方法的部件，并且設備B包 含被配置為實施參照圖5描述的進行解碼的方法的部件。
[0195] 根據本發明的變型，網絡是廣播網絡，其適合于從設備A向包括設備B的解碼設備 廣播靜止圖像或視頻圖像。
[0196] 在本文中所描述的各種處理和特征的實現方式可W在各種不同的設備或應用中 實施，特別是例如設備或應用。運樣的設備的示例包括編碼器、解碼器、處理來自解碼器的 輸出的后置處理器、向編碼器提供輸入的前置處理器、視頻編碼器、視頻解碼器、視頻編解 碼器、網絡服務器、機頂盒、膝上型電腦、個人計算機、手機、PDAW及其它通信設備。應當清 楚的是，設備可W是可移動的，并且甚至可W安裝在移動車輛中。
[0197] 此外，可W通過由處理器執行的指令來實現所述方法，并且運樣的指令(和/或由 實現方式所產生的數據值)可W存儲在處理器可讀介質中，諸如例如集成電路、軟件載體或 者諸如例如硬盤、壓縮磁盤(CD)、光盤(諸如例如通常被稱為數字多功能盤或數字視頻盤的 DVD)、隨機存取存儲器(RAM)或只讀存儲器(ROM)運樣的其它存儲設備。指令可W形成有形 地實施在處理器可讀介質上的應用程序。指令可W例如在硬件、固件、軟件或其組合中。指 令可W存在于例如操作系統、單獨的應用或二者的組合中。因此，處理器可W被表征為被配 置為執行處理的設備W及包括具有用于執行處理的指令的處理器可讀介質（諸如存儲設 備）的設備二者。此外，除了指令或者代替指令，處理器可讀介質可W存儲由實現方式所產 生的數據值。
[0198] 對于本領域技術人員將很明顯的是，實現方式可W產生被格式化為攜帶例如可W 被存儲或傳送的信息的各種信號。信息可W包括例如用于執行方法的指令或者由所描述的 實現方式之一所產生的數據。例如，可W將信號格式化為攜帶用于寫入或讀取所描述的實 施例的語法的規則作為數據或者攜帶由所描述的實施例寫入的實際的語法值作為數據。運 樣的信號可W例如被格式化為電磁波(例如使用頻譜的射頻部分)或基帶信號。格式化可W 包括例如對數據流進行編碼W及用經編碼的數據流來調制載波。信號攜帶的信息可W例如 是模擬信息或數字信息。如已知的那樣，信號可W通過各種不同的有線或無線鏈路來傳送。 信號可W存儲在處理器可讀介質上。
[0199] 已描述了很多實現方式。然而，應當理解的是，可W做出各種修改。例如，可W對不 同實現方式的元件進行組合、補充、修改或移除，W產生其他實現方式。此外，本領域技術人 員將理解的是，其它結構和處理可W替代所公開的結構和處理，并且所得到的實現方式將 W與所公開的實現方式至少基本相同的方式來執行與所公開的實現方式至少基本相同的 功能，W獲得與公開的實現方式至少基本相同的結果。因此，本申請想到運些W及其它實現 方式。
【主權項】
1. 一種對圖像進行編碼的方法，其特征在于，其包含： 對根據圖像所確定（11)的背光圖像進行編碼(12); 通過用背光圖像的解碼版本劃分圖像，來獲得(13)殘差圖像； 通過對殘差圖像進行色調映射，來獲得（16)經色調映射的殘差圖像；以及 對經色調映射的殘差圖像進行編碼（19)。2. 根據前述權利要求中的一項所述的方法，其中，對殘差圖像進行色調映射包含根據 殘差圖像的像素值的伽馬校正或SLog校正。3. 根據權利要求1或2所述的方法，其中，根據圖像獲得(11)背光圖像包含： 根據圖像的亮度分量來獲得背光圖像；以及 用圖像的平均亮度值(Lm_)來調制背光圖像。4. 根據權利要求3所述的方法，其中，根據圖像獲得(11)背光圖像還包含： 在調制背光圖像之前，通過背光圖像的平均值使背光圖像規格化。5. 根據前述權利要求中的一項所述的方法，其中，所述方法還包含：在進行編碼之前， 通過將殘差圖像的每個分量乘以縮放因子，來縮放(17)殘差圖像。6. 根據前述權利要求中的一項所述的方法，其中，所述方法還包含：在進行編碼之前， 剪切(18)殘差圖像，以將殘差圖像的動態范圍限制到目標動態范圍。7. 根據權利要求1-6中的任一項所述的方法，其中，所述圖像從屬于包括本地存儲器、 存儲接口、廣播接口、通信接口和圖像捕獲電路的集合的來源獲得。8. 根據權利要求1-7中的任一項所述的方法，其中，將圖像編碼為經編碼的圖像，經編 碼的圖像被發送給屬于包括本地存儲器、存儲接口和通信接口的集合的目的地。9. 一種對比特流進行解碼的方法，所述比特流表示通過用背光圖像劃分圖像而計算出 的殘差圖像，所述方法包含： 通過至少部分地對比特流進行解碼，來獲得背光圖像（14,15)和經解碼的殘差圖像 (15);以及 通過將經解碼的殘差圖像乘以背光圖像，來獲得(54)經解碼的圖像； 其特征在于，在將經解碼的殘差圖像乘以背光圖像之前，對經解碼的殘差圖像進行逆 色調映射(53)。10. -種對圖像進行編碼的設備，其特征在于，其被配置為： 對根據圖像所確定(BAM)的背光圖像進行編碼(ENC1); 通過用背光圖像的解碼版本劃分圖像，來獲得殘差圖像； 通過對殘差圖像進行色調映射，來獲得(TM0)經色調映射的殘差圖像；以及 對經色調映射的殘差圖像進行編碼(ENC2)。11. 根據權利要求10所述的設備，其中，所述設備屬于包括移動設備、通信設備、游戲設 備、平板、膝上型電腦、靜止圖像相機、攝像機、編碼芯片、靜止圖像服務器和視頻服務器的 集合。12. 根據權利要求10或11中的任一項所述的設備，其中，所述設備包含屬于包括本地存 儲器、存儲接口、廣播接口、通信接口和圖像捕獲電路的集合的用以獲得所述圖像的部件。13. 根據權利要求10至12中的任一項所述的設備，其中，所述設備包含屬于包括本地存 儲器、存儲接口、廣播接口、顯示器和通信接口的集合的用以向目的地發送經編碼的圖像的 部件。14. 一種對比特流進行解碼的設備，所述比特流表示通過用背光圖像劃分圖像而計算 出的殘差圖像，其中，所述設備被配置為： 通過至少部分地對比特流進行解碼，來獲得背光圖像(DEC1，BAG)和經解碼的殘差圖像 (DEC2);以及 通過將經解碼的殘差圖像乘以背光圖像，來獲得經解碼的圖像； 其特征在于，在將經解碼的殘差圖像乘以背光圖像之前，對經解碼的殘差圖像進行逆 色調映射(ITMO)。15. 根據權利要求14所述的解碼設備，其中，所述設備屬于包括移動設備、通信設備、游 戲設備、機頂盒、電視機、平板、膝上型電腦和解碼芯片的集合。
【文檔編號】H04N19/30GK105850128SQ201480071207
【公開日】2016年8月10日
【申請日】2014年12月22日
【發明人】S.拉塞爾, Y.奧利維爾, F.勒利恩尼克, D.圖澤
【申請人】湯姆遜許可公司