分層vdr編譯碼中的層分解的制作方法

分層vdr編譯碼中的層分解的制作方法
【專利摘要】技術使用多個較低位深編解碼器來將較高位深的高動態范圍的圖像從上游裝置提供給下游裝置。可以使用基本層以及一個或多個增強層來傳載視頻信號，其中，基本層不能被獨自解碼和觀看。可以通過高級量化從較高位深的高動態范圍的輸入圖像數據產生用于基本層處理的較低位深的輸入圖像數據，以使要由增強層視頻信號傳載的圖像數據的量最小化。增強層視頻信號中的圖像數據可以包括至少部分基于與高級量化中所使用的特定方法相對應的預測方法的映射參數、量化參數和殘差值。為了改進編碼性能，自適應動態范圍適配技術考慮特殊轉變效果(諸如淡入和淡出)。
【專利說明】分層VDR編譯碼中的層分解
[0001] 相關申請的交叉引用
[0002] 本申請要求于2011年11月4日提交的美國臨時專利申請No. 61/555, 978和于 2012年2月8日提交的美國臨時申請No. 61/596,600的優先權，這兩篇申請的全部內容都 通過引用并入此。

【技術領域】
[0003] 本發明總體上涉及圖像處理，并且尤其涉及使用分層VDR編解碼器來對可變動態 范圍圖像進行編碼、解碼和表不。

【背景技術】
[0004] 由DolbyLaboratories,In.C和其它公司開發的顯示技術能夠再現具有高動態范 圍（HDR)的圖像。這樣的顯示器可以再現比常規顯示器更忠實地表示真實世界場景的圖 像。
[0005] 為了支持向后兼容以及新的HDR顯示技術，可以使用多個層來將視頻數據從諸如 多層視頻編碼器的上游裝置遞送到下游裝置。在所述多個層的基本層（BL)中傳載的標準 動態范圍（SDR)視頻數據針對在SDR顯示器上的觀看體驗進行優化，而在所述多個層的基 本層和增強層（EL)的組合中傳載的視覺動態范圍（VDR)視頻數據支持具有比SDR顯示器 的動態范圍高的動態范圍的VDR顯示器的觀看體驗。如本文中所使用的，在對這樣的圖像 數據進行編碼和解碼中所涉及的編解碼器被指示為針對SDR顯示器優化的VDR編解碼器。
[0006] BL圖像數據可以包括從來自圖像數據輸入的較高位深（higherbitdepth)(例 如，每一顏色分量12位或更多位）的HDR源圖像導出的較低位深（lowerbitdepth)(例 如，每一顏色分量8位）的SDR圖像。在BL圖像數據中編碼的SDR圖像典型地包括調色師 進行的以使得SDR圖像在相對窄的或標準的動態范圍內看起來盡可能地逼真的顏色校正。 例如，可以在SDR圖像中改變或校正與輸入HDR圖像中的像素中的一些或全部像素相關的 色調信息，以便創建在標準動態范圍內看起來逼真的圖像。這些顏色校正導致各個顏色通 道中的非對稱剪切（clipping)，并且特別是在HDR源圖像的相對欠曝光或過曝光區域中引 入人工顏色改變。經過顏色校正的SDR圖像可以使得SDR顯示器可以示出HDR源圖像的暗 區域和高亮區中的圖像細節。
[0007] 剪切是一種類型的顏色改變，其改變/修改顏色通道中的界外像素值，以使得得 到的像素值在目標表示范圍內（目標表示范圍可以是在特定類型的SDR顯示器所支持的范 圍內的一個范圍、或者在由SDR顯示器的范圍所支持的范圍內的一個范圍、或者在由VDR顯 示器的范圍所支持的范圍內的一個范圍、等等）。剪切可以發生在顏色通道中的零個、一個 或多個中（例如，可以在經色調映射的圖像中剪切HDR圖像的某一部分中的在RGB顏色空 間中的R、G和B像素值）。剪切量可以或者可以不隨顏色通道而變化（例如，對于綠色，剪 切得更多，而對于藍色，剪切得更少，等等）。
[0008] 引入到SDR圖像中的諸如剪切的顏色校正使得SDR圖像包括與它們的對應VDR圖 像的不同的且來源獨立的圖像內容，并且難以、甚至不可能在沒有復雜處理且沒有足夠大 的位率的情況下被下游裝置移除以用于重構高動態范圍圖像。當使用多個層來將圖像數據 發送到下游裝置時，執行顏色校正的逆操作可能要求例如在增強層中將大量附加圖像數據 發送到下游裝置。
[0009] 在本部分中描述的方法是可從事的方法，但未必是以前已經構想或從事的方法。 因此，除非另外指出，否則，不應僅憑借包含于本部分中而認為在本部分中描述的方法中的 任一種為現有技術。類似地，除非另外指出，否則，關于一種或更多種方法識別的問題不應 基于本部分而認為在任何現有技術中已被識別。

【專利附圖】

【附圖說明】
[0010] 在附圖中以作為示例的、而非限制的方式例示本發明，在附圖中，相似的標號指示 類似的元件，并且在附圖中：
[0011] 圖1例示根據示例實施例的基本配置文件（baselineprofile)中的視覺動態范圍 編解碼器架構；
[0012] 圖2例示根據示例實施例的主配置文件中的視覺動態范圍編解碼器架構；
[0013] 圖3例示根據示例實施例的在YCbCr顏色空間中應用的場景自適應（adaptive) 動態范圍調整量化；
[0014] 圖4A和圖4B例示根據本發明的示例實施例的示例處理流程；
[0015] 圖5例示根據本發明的實施例的在其上可以實現本文中所描述的計算機或計算 裝置的示例硬件平臺；以及
[0016] 圖6例示根據本發明的實施例的用于檢測兩個量化方案之間的選擇和轉變序列 (transitionsequence)的不例流程。

【具體實施方式】
[0017] 本文中描述與使用分層VDR編解碼器對可變動態范圍圖像進行編碼、解碼和表示 有關的示例實施例。在以下的描述中，出于解釋的目的，為了使得能夠徹底理解本發明，闡 述了大量的特定細節。但應理解，可以在沒有這些特定細節的情況下實施本發明。在其它 情況下，為了避免不必要地遮蔽、掩蓋或混淆本發明，不以詳盡的細節描述公知的結構和裝 置。
[0018] 這里根據以下的要點描述示例性實施例：
[0019] 1?總體概述
[0020] 2.分層視頻遞送
[0021] 2.1基本配置文件
[0022] 2. 2主配置文件
[0023] 3?高級量化
[0024] 4?線性拉伸
[0025] 5.示例處理流程
[0026] 6.自適應動態范圍調整
[0027] 7.實現機構一硬件概述
[0028] 8.等同、擴展、替代和其它
[0029] 1.總體概述
[0030] 本概述給出本發明的示例實施例的一些方面的基本描述。應當注意，本概述不是 示例性實施例的各方面的詳盡或全面的概括。并且，應當注意，本概述不應被理解為標識示 例性實施例的任何特別重要的方面或要素，也不應被理解為特別地將示例性實施例的任何 范圍劃界，也不總體上將本發明劃界。本概述僅以簡要和簡化的格式給出與示例性實施例 有關的一些概念，并且應被理解為僅是以下給出的示例性實施例的更詳細的描述的概念性 序言。
[0031] 在一些實施例中，可以使用分層VDR編解碼器來將壓縮的VDR圖像（例如，視頻圖 像）提供給VDR圖像處理裝置（例如，VDR顯示器）。如本文中所使用的，術語"分層VDR編 解碼器"可以是指其中基本層在SDR顯示器上可能不能被獨自觀看的VDR編解碼器。如本 文中所使用的，術語"VDR"或"視覺動態范圍"可以是指比標準動態范圍寬的動態范圍，并 且可以包括但不限于高達人類視覺可以瞬時感知的瞬時可感知動態范圍和色域的寬動態 范圍。
[0032] 本文中所描述的支持較高位深（例如，12+位）的VDR圖像的分層VDR編解碼器可 以在多個層中用兩個或更多個較低位深（例如，8位）的編解碼器來實現。所述多個層可以 包括基本層和以及一個或多個增強層。
[0033] 與其它技術形成鮮明對比，根據本文中所描述的技術的基本層圖像數據不支持 SDR顯示器上的優化觀看，或者使SDR圖像看起來盡可能地好，在標準動態范圍內與人類感 知匹配。相反，根據本文中所描述的技術的基本層圖像數據支持VDR顯示器上的優化觀看。 在示例實施例中，根據本文中所描述的技術的基本層圖像數據包括VDR圖像數據的較低位 深版本的特定組成，并且在增強層中傳載基本層與原始VDR圖像之間的其余差異。
[0034] 此外，根據其它技術，與相同的源圖像有關的VDR圖像數據和SDR圖像數據包括不 同的圖像內容。例如，輸入到編碼器的SDR圖像數據包括不是已知的或者可從輸入到編碼 器的VDR圖像數據確定的特別的獨立的改變。通常，可以通過在例如調色師已經改變SDR 圖像數據之后將SDR圖像數據與VDR圖像進行比較來辯論地分析調色師進行顏色分級的結 果或顏色校正。
[0035] 與此形成鮮明對比，根據本文中所描述的技術，可以使用VDR圖像數據來通過分 層分解（例如，高級量化，其后進行分層編碼）導出基本層（BL)圖像數據。高級量化中所應 用的特定方法是分層VDR編碼器知道的，并且甚至是分層VDR編碼器有目的地選擇的。執 行高級量化的特定高級量化器的選擇/確定可以基于例如在VDR解碼器側重構的VDR圖像 的圖像質量可能如何。因此，根據本文中所描述的技術的高級量化是由本文中所描述的分 層VDR編解碼器事先知道的（例如，在生成輸入到基本層處理的未壓縮基本層數據之前）、 控制和實現的一個或多個操作。因此，根據本文中所描述的技術，可以避免或禁用根據其它 技術的確定獨立地改變或產生的VDR圖像數據與SDR圖像數據之間的差異的復雜分析。
[0036] 實現本文中所描述的技術的編解碼器可以被配置為包括充分利用基本層（BL)圖 像數據與原始輸入VDR圖像數據之間的統計冗余的層間預測能力。EL圖像數據可以（可能 僅）傳載殘差（或差分）圖像數據，而不是在不利用不同層的圖像數據中的統計冗余的情 況下傳載大量VDR圖像數據。
[0037] 在一些實施例中，可以使用預測來進一步最小化在增強層中將傳載的VDR圖像數 據的量。作為高級分層VDR編碼器的特定應用，分層VDR編碼器可以建立高級量化與預測 之間的相應關系。基于用于導出輸入到基本層處理的未壓縮基本層數據的高級量化的特定 應用，分層VDR編碼器可以在多種可用的預測方法之中選擇特定的相應預測方法。在例子 中，如果在高級量化中使用線性量化，則可以使用基于一次多項式的預測方法來進行預測。 在另一個例子中，如果在高級量化中使用量化曲線（例如，Sigmoid曲線、mu-law、基于人類 感知的曲線等），則可以使用與量化曲線相對應的基于更高次（二次或更高次）多項式的預 測方法來進行預測。在另一個例子中，如果在高級量化中使用交叉顏色（矢量）通道量化 (例如，在原色分級操作中所使用的斜率/偏移/功率/色調/飽和度），則可以使用相應 的交叉顏色通道預測來進行預測。在又一個例子中，如果在高級量化中使用分段量化，則可 以使用與分段量化相應的預測方法來進行預測。相應的預測方法可以由分層VDR編碼器預 先配置或者動態地選擇，這是因為分層VDR編碼器預先知道（例如，在不分析高級量化的結 果的情況下）在高級量化中是否使用例如線性量化、曲線量化、交叉顏色通道量化、分段量 化、基于查找表（LUT)的量化、不同類型的量化的組合等、以及使用這些類型的量化中的哪 種特定類型的量化。
[0038] 與此形成鮮明對比，根據其它技術，因為基本層中的輸入SDR圖像數據的顏色校 正（諸如由調色師進行的那些顏色校正）是獨立執行的，所以在沒有對基本層中的輸入SDR 圖像數據和輸入VDR圖像數據兩者的獨立的不同的圖像內容進行昂貴的比較和分析處理 的情況下，難以確定哪種方法應被用于進行預測。
[0039] 因此，在一些實施例中，根據本文中所描述的技術，可以禁用或避免用于確定VDR 和被獨立改變的輸入基本層內容中的差異的復雜且昂貴的分析（例如，在預測操作中）。分 層VDR編解碼器可以實現用于將高級量化與預測相關聯的高級量化和處理邏輯。
[0040] 在一些實施例中，即使分層VDR編解碼器不被設計為提供針對在SDR顯示器中觀 看進行優化的基本層圖像數據，分層VDR編解碼器仍然可以通過基本層優化廣泛地重用 VDR編解碼器中的組件。在實施例中，分層VDR編碼器可以在針對SDR顯示器進行優化的 情況下在VDR編解碼器基礎設施中添加一個或多個模塊或者修改一個或多個模塊，以從輸 入VDR圖像數據通過高級量化來產生輸入到基本層處理的基本層圖像。因此，分層VDR編 碼器可以僅需要來自輸入VDR圖像的圖像內容的單個輸入，而不是用于VDR的圖像內容的 一個輸入以及用于SDR的不同圖像內容的另一個輸入。例如，分層VDR編碼器中的轉換模 塊可以實現用于將輸入16位RGBVDR數據轉換為作為輸入到基本層處理的基本層圖像數 據的8位YCbCr的高級量化。
[0041] 在示例實施例中，分層VDR編解碼器可以被配置為廣泛地支持例如行業標準、專 有規范、來自行業標準的擴展中所定義的VDR參考處理語法、規范和編碼架構、或前述的組 合。在示例實施例中，分層VDR編解碼器（編碼器和/或解碼器）的輸入和輸出中的一個 或多個與用于針對SDR顯示器優化的VDR編解碼器的VDR規范或配置文件所指定的輸入和 輸出相同或基本上類似。分層VDR編解碼器可以是經由兩個（便宜的）8位解碼器來處理 和呈現12+位VDR圖像的工具，而無需使用昂貴的12+位解碼器來為VDR圖像提供感知上 類似的圖像質量。如本文中所使用的，術語"N+位圖像"可以是指使用每一個顏色分量N個 位或更多個位表示的并且具有至少一個顏色分量的圖像。在一些實施例中，編解碼器中的 多于一個的較低位深解碼器和/或多于一個的較低位深編碼器可以至少對于一些操作并 行地工作，并且聯合地執行裝置中的VDR圖像數據的編碼和解碼。
[0042] 本文中所描述的實施例的實際益處包括但不限于為僅關心最終VDR質量、而不關 心或者甚至不查看可能從基本層圖像數據構建的SDR版本的終端消費者提供高質量的VDR 圖像數據。
[0043] 在一些實施例中，可以使用組合編解碼器（其可以是VDR編碼器或VDR解碼器） 來在多種模式下操作。組合編解碼器的操作模式中的一種操作模式可以使組合編解碼器作 為分層VDR編解碼器操作，而組合編解碼器的操作模式中的不同的一種操作模式也可以允 許對適合于在SDR顯示器上觀看的基本層進行編碼。結果，在一些示例實施例中，組合VDR 解碼器可以適當地對遵循任一VDR規范的編碼的位流進行解碼。結果，在一些示例實施例 中，組合VDR編碼器可以適當地產生遵循任一VDR規范的編碼的位流。
[0044] 在一些示例實施例中，其它應用程序所需的數據也可以與將從上游裝置遞送到下 游裝置的基本層和增強層圖像數據包括在一起。在一些示例實施例中，如本文中所描述的 基本層和增強層可以支持另外的特征和/或正交特征。
[0045] 在一些不例實施例中，本文中所描述的機制形成媒體處理系統的一部分，該媒體 處理系統包括但不限于：手持裝置、游戲機、電視、膝上型電腦、上網本電腦、平板電腦、蜂窩 無線電電話、電子書閱讀器、銷售點終端、臺式電腦、計算機工作站、電腦亭、或各種其它類 型的終端和媒體處理單元。
[0046] 本領域的技術人員將容易想到對于本文中所描述的優選實施例以及總體原理和 特征的各種修改。因此，本公開并非意圖局限于所示的實施例，而是應被給予與本文中所描 述的原理和特征一致的最寬泛的范圍。
[0047] 2.分層視頻遞送
[0048] 在一些實施例中，例如上游裝置（例如，圖1的VDR圖像編碼器102或圖2的圖像 編碼器202)可以使用基本層以及一個或多個增強層來將一個或多個視頻信號（或編碼的 位流）中的圖像數據遞送到下游裝置（例如，圖1的VDR圖像解碼器150)。圖像數據可以 包括較低位深的基本層圖像數據和增強層圖像數據，該基本層圖像數據是從較高位深（例 如，12+位）VDR圖像被量化的并且是在基本層圖像容器（YCbCr4:2:0圖像容器）中被傳載 的，增強層圖像數據包括VDR圖像與從基本層圖像數據產生的預測幀之間的殘差值。下游 裝置可以接收并使用基本層圖像數據和增強層圖像數據，以重構VDR圖像的較高位深（12+ 位）版本。
[0049] 在一些實施例中，基本層圖像數據不是用于生成為了在SDR顯示器上觀看而被優 化的SDR圖像；相反，基本層圖像數據與增強層圖像數據一起為了重構用于在VDR顯示器上 觀看的高質量VDR圖像而被優化。
[0050] 2. 1基本配置文件
[0051] 圖1示出根據示例實施例的基本配置文件中的VDR編解碼器架構。如本文中所 使用的，術語"基本配置文件"可以是指VDR編譯碼系統中的最簡單的編碼器配置文件。 在一個實施例中，基本配置文件將基本編碼層和增強編碼層中的所有視頻處理都限制在 YCbCr4:2:0顏色空間中。在一個示例實施例中，可以根據4:2:0采樣方案用YCbCr空間進 行預測；可以使用例如多項式/IDLUT預測方法來進行預測。在一些實施例中，將VDR圖像 數據遞送到下游裝置的上游裝置可以包括實現本文中所描述的一種或多種技術的VDR圖 像編碼器102,而接收來自VDR圖像編碼器102的視頻信號并對這些視頻信號進行處理的下 游裝置可以包括實現本文中所描述的一種或多種技術的VDR圖像解碼器150。VDR圖像編 碼器102和VDR圖像解碼器150均可以用一個或多個計算裝置實現。
[0052] 在示例實施例中，VDR圖像編碼器（102)被配置為接收輸入VDR圖像（106)。如本 文中所使用的，"輸入VDR圖像"是指可以用于導出源圖像（例如，高端圖像獲取裝置所捕 捉的原始圖像等）的VDR版本的寬或高動態范圍圖像數據，其產生輸入VDR圖像。輸入VDR 圖像可以在支持高動態范圍色域的任何顏色空間中。在一些實施例中，輸入VDR圖像（106) 是與源圖像有關的唯一輸入，其提供用于供VDR圖像編碼器（102)進行編碼的圖像數據；可 以使用高級量化基于輸入VDR圖像（106)來產生用于根據本文中所描述的技術的基本層處 理的與源圖像有關的輸入圖像數據。
[0053] 在示例實施例中，如圖1中所示，輸入VDR圖像是RGB顏色空間中的12+位RGB圖 像。在一個例子中，輸入VDR圖像中所表示的每個像素包括針對顏色空間（例如，RGB顏色 空間）定義的所有通道（例如，紅色、綠色和藍色通道）的像素值。每個像素可以可選地和 /或可替代地包括用于顏色空間中的通道中的一個或多個的上采樣的或下采樣的像素值。 應指出，在一些實施例中，除了諸如紅色、綠色和藍色的三原色之外，例如在如本文中所描 述的顏色空間中還可以同時使用不同的原色以支持寬色域；在那些實施例中，如本文中所 描述的圖像數據包括附加的關于那些不同原色的像素值，并且可以用本文中所描述的技術 同時進行處理。
[0054] 在示例實施例中，VDR圖像編碼器（102)被配置為將輸入VDR圖像的像素值從第 一顏色空間（例如，RGB顏色空間）變換到第二顏色空間（例如，YCbCr顏色空間）。顏色 空間變換可以例如由VDR圖像編碼器（102)中的RGB-2-YCbCr單元（108)執行。
[0055] 在示例實施例中，本文中的VDR圖像編碼器（102)或下采樣器（例如，444-420下 采樣器110)被配置為將YCbCr顏色空間中的VDR圖像（例如，為4:4:4采樣格式）下采樣 為12+位下采樣VDR圖像112 (例如，為4:2:0采樣格式）。在不考慮壓縮效果的情況下，12 位+下采樣VDR圖像（112)的色度通道中的圖像數據的總量可以是12位+下采樣VDR圖 像（112)的亮度通道中的圖像數據的總量的大小的四分之一。
[0056] 在示例實施例中，VDR圖像編碼器（102)被配置為對從VDR圖像（為4:4:4采樣 格式）下采樣的YCbCr圖像數據（在本例子中，為4:2:0采樣格式）執行高級量化，以產生 YCbCr顏色空間中的8位BL圖像（114)。如圖1中所示，12+位VDR圖像（112)和8位BL 圖像（114)兩者都是在相同的色度下采樣之后產生的，因此包含相同的圖像內容（例如，8 位BL圖像114比12+位VDR圖像112更粗略量化）。
[0057] 在示例實施例中，VDR圖像編碼器（102)或其中的第一編碼器（116-1)被配置為將 YCbCr顏色空間中的8位BL圖像（214)編碼/格式化為4:2:0采樣格式的基本層圖像容器 中的圖像數據。在一些實施例中，基本層圖像容器中的圖像數據不是用于生成針對在SDR 顯示器上觀看而被優化的SDR圖像；相反，為了最小化要在多個層中被傳載的、要被重構為 針對VDR顯示器被優化的VDR圖像的VDR圖像數據的總體位要求，將基本層圖像容器中的 圖像數據優化為包含最優數量的較低位深圖像容器中的基本層圖像數據。如本文中所使用 的，術語"較低位深"是指在具有較低位深的編碼空間中被量化的圖像數據；較低位深的例 子包括8位，而術語"較高位深"是指在具有較高位深的編碼空間中被量化的圖像數據；較 高位深的例子是12位或更多位。具體地，術語"較低位深"或"較高位深"不是指像素值的 最低有效位或最_有效位。
[0058] 在示例實施例中，VDR圖像編碼器（102)基于基本層圖像容器中的圖像數據來產 生可被輸出到下游裝置中的視頻解碼器（例如VDR圖像解碼器150或其中的第一解碼器 152-1)的基本層視頻信號。
[0059] 在示例實施例中，在本例子中，VDR圖像編碼器（102)中的解碼器（120)將基本層 圖像容器中的圖像數據解碼為4:2:0采樣格式的解碼基本層圖像。解碼基本層圖像不同于 8位BL圖像（114)，這是因為解碼基本層圖像包括在由第一編碼器（116-1)和解碼器（120) 執行的編碼和解碼操作中引入的編譯碼變化、舍入誤差和逼近。
[0060] 除了包含在基本層視頻信號中的之外，VDR圖像重構數據還可以由VDR圖像編碼 器在與基本層分離的一個或多個增強層中遞送到下游裝置。在一些實施例中，YCbCr顏色 空間中的較高位深VDR圖像（112)可以從同一圖像幀中的相鄰采樣被預測（通過使用幀內 預測），或者可以從屬于同一層并且被作為經過運動補償的預測參考而緩沖在預測圖像幀 緩沖器內的過去解碼的圖像幀中的采樣被預測（幀間預測）。層間預測還可以至少部分基 于來自其它層（例如，基本層）的解碼后的信息。
[0061] 在示例實施例中，VDR圖像編碼器（102)包括執行與預測有關的一個或多個操作 的預測處理單元（122)。由預測處理單元（例如，122)執行的預測可以減小VDR視頻解碼 器（例如，圖1的150)重構VDR圖像中的開銷。在示例實施例中，VDR圖像編碼器（102)被 配置為通過幀內或幀間預測（或估計或其它方法）、至少部分地基于12+位VDR圖像（112) 和解碼基本層圖像來確定用于預測的一組映射參數（134)。預測處理單元（122)可以基于 該組映射參數（134)和解碼基本層圖像來產生YCbCr顏色空間中的12+位預測圖像。如本 文中所使用的，映射參數的例子可以包括但不限于用于預測的多項式參數。
[0062] 在示例實施例中，VDR圖像編碼器（102)被配置為產生12+位VDR圖像（112)與 由預測處理單元（122)產生的預測圖像之間的殘差值（130)。顏色通道（例如，亮度通道） 中的殘差值可以是通過線性或對數域中的減法運算（例如，126)生成的差值。可替代地和 /或可選地，顏色通道（例如，亮度通道）中的殘差值可以是通過線性或對數域中的除法運 算生成的比值。在各種示例實施例中，為了產生12+位VDR圖像（112)與預測圖像之間的 殘差值（130)，可以使用一個或多個其它的數學表示和相應的操作。
[0063] 在實施例中，除了通過高級量化（或偽顏色分級處理）引入的差別之外，12+位 VDR圖像（112)和8位BL圖像（114)包括相同的圖像內容。在實施例中，除了通過高級量 化（或偽顏色分級處理）引入的量化噪聲或差別之外，12+位VDR圖像（112)包括與8位BL 圖像相同的色度信息。在實施例中，可以根據高級量化在基本層中對12+位圖像（112)中的 中間色調和暗區域進行編碼，而可以根據相同的高級量化在增強層中對12+位圖像（112) 中的高亮區域進行編碼。
[0064] 附加地和/或可選地，顏色校正/改變/畸變（例如，剪切）沒有僅引入到在從8 位BL圖像（114)到預測圖像的處理路徑中第一編碼單元（116-1)、解碼單元（120)或預測 處理單元（122)所進行的基本層處理中。在示例實施例中，除了可能固有地存在于處理路 徑中的可能的畸變（例如，由基本層編解碼器造成的基本層畸變）之外，預測圖像包括與8 位BL圖像（114)相同的色度信息。
[0065] 在示例實施例中，VDR圖像編碼器（102)中的非線性量化器（NLQ) 128被配置為使 用一個或多個NLQ參數來將12+位數字表示的殘差值（130)量化為8位數字表示（或YCbCr 顏色空間中的8位殘差值）。
[0066] 在示例實施例中，VDR圖像編碼器（102)或其中的第二編碼器（116-2)被配置為 在增強層圖像容器中例如以4:2:0采樣格式編碼8位殘差值。增強層圖像容器在邏輯上與 基本層中的基本層圖像容器是分離的。
[0067] 在示例實施例中，VDR圖像編碼器（102)基于增強層圖像容器中的8位殘差值來 產生可以輸出到視頻解碼器（例如，VDR圖像解碼器150或其中的第二解碼器152-2)的增 強層視頻信號。
[0068] 在示例實施例中，可以將該組映射參數（134)和NLQ參數（132)作為補充增強信 息（SEI)或視頻位流中（例如，增強層中）可用的其它類似元數據載體的一部分發送到下 游裝置（例如，VDR圖像解碼器150)。
[0069] 可以使用多個編解碼器（諸如H. 264/AVC/HEVC、MPEG-2、VP8、VC-l和/或其它編 解碼器）中的一個或多個來實現第一編碼器（116-1)、第二編碼器（116-2)和解碼器（120) (以及152-1U52-2)中的一個或多個。
[0070] 在示例實施例中，VDR圖像解碼器（150)被配置為接收包括基本層以及一個或多 個增強層的多個層（或多個位流）中的輸入視頻信號。如本文中所使用的，術語"多層"或 "多個層"可以是指傳載（視頻信號的）彼此之間具有一個或多個邏輯依賴關系的視頻或圖 像信號的兩個或更多個位流。
[0071] 在示例實施例中，VDR圖像解碼器（150)中的第一解碼器（152-1)被配置為基于 基本層視頻信號來產生解碼基本層圖像。在一些實施例中，VDR圖像解碼器（150)中的第 一解碼器（152-1)可以與VDR圖像解碼器（102)中的解碼器（120)相同或基本上類似。同 樣地，VDR圖像解碼器（150)中的解碼基本層圖像和該解碼基本層圖像可以是相同的或基 本上類似的，前提條件是解碼基本層圖像源于同一VDR圖像（例如，106)。
[0072] 在示例實施例中，VDR視頻解碼器（150)包括執行與預測有關的一個或多個操作 的預測處理單元（158)。可以使用由預測處理單元執行的預測來在VDR視頻解碼器（例如， 圖1的150)中高效率地重構VDR圖像。預測處理單元（158)被配置為接收該組映射參數 (134)并且至少部分基于該組映射參數（134)和解碼基本層圖像來產生12+位預測圖像。 [0073] 在示例實施例中，VDR圖像解碼器（150)中的第二解碼器（152-2)被配置為基于 一個或多個增強視頻信號來檢索增強層圖像容器中的8位殘差值。
[0074] 在示例實施例中，VDR圖像解碼器（150)中的非線性去量化器（NLdQ) 154被配置 為通過增強層接收一個或多個NLQ參數，并且使用所述一個或多個NLQ參數來將8位殘差 值去量化為12+位數字表示（或YCbCr顏色空間中的12+位殘差值）。
[0075] 在示例實施例中，VDR圖像解碼器（150)被配置為基于12+位殘差值（130)和由 預測處理單元（158)產生的12+位預測圖像來產生重構的VDR圖像（160)。顏色通道（例 如，亮度通道）中的重構像素值可以是通過線性或對數域中的加法運算（例如，162)生成的 總和。可替代地和/或可選地，顏色通道（例如，亮度通道）中的重構值可以是通過線性或 對數域中的乘法運算生成的乘積。在各種示例實施例中，出于從殘差值和預測圖像產生重 構像素值（160)的目的，可以使用一個或多個其它的數學表示和相應的運算。
[0076] 2. 2主配置文件
[0077] 圖2例示了根據示例實施例的主配置文件中的VDR編解碼器架構。如本文中所使 用的，術語"主配置文件"可以是指VDR編譯碼系統中的允許復雜度高于基本配置文件的配 置文件。例如，主配置文件可以允許在YCbCr或RGB兩個顏色空間中進行操作，并且它還允 許以各種子采樣格式（包括4:2:0、4:2:2和4:4:4)進行操作。在示例實施例中，可以在RGB 顏色空間中根據4:4:4采樣方案進行預測；可以使用例如多項式/IDLUT預測方法來進行 預測。在一些實施例中，將VDR圖像數據遞送到下游裝置的上游裝置可以包括如圖2中所 示的VDR圖像編碼器202,而接收并處理VDR圖像數據的下游裝置可以包括VDR圖像解碼器 250。VDR圖像編碼器202和VDR解碼器250均可以用一個或多個計算裝置來實現。
[0078] 在示例實施例中，VDR圖像編碼器（202)被配置為接收輸入VDR圖像（206)。輸入 VDR圖像（206)可以在支持高動態范圍色域的任何顏色空間中。
[0079] 在示例實施例中，如圖2中所示，輸入VDR圖像是RGB顏色空間中的12+位RGB圖 像。在例子中，輸入VDR圖像中的每個像素包括在RGB顏色空間中定義的紅色、綠色和藍色 通道的像素值。每個像素可以可選地和/或可替代地包括顏色空間中的通道中的一個或多 個的上采樣的或下采樣的像素值。
[0080] 在示例實施例中，VDR圖像編碼器（202)被配置為對VDR圖像206中的12+位RGB 圖像數據執行高級量化（在本例子中，以4:4:4采樣格式）以產生8位RGBVDR數據。
[0081] 在示例實施例中，VDR圖像編碼器（202)被配置為將8位RGBVDR數據從第一顏色 空間（在本例子中，RGB顏色空間）變換到第二顏色空間（例如，YCbCr顏色空間）。顏色 空間變換可以例如由VDR圖像編碼器（202)中的RGB-2-YCbCr單元（208)執行。
[0082] 在示例實施例中，VDR圖像編碼器（202)或其中的下采樣器（例如，444-420下采 樣器210)被配置為將YCbCr顏色中的8位VDR數據下采樣為8位下采樣BL圖像214(例 如，以4:2:0采樣格式）。
[0083] 在示例實施例中，VDR圖像編碼器（202)或其中的第一編碼器（216-1)被配置為將 8位下采樣BL圖像（214)編碼為基本層圖像容器中的圖像數據。在示例實施例中，基本層 圖像容器中的圖像數據不是對于在SDR顯示器上觀看而被優化的；相反，將基本層圖像容 器中的圖像數據優化為：將最大量的表示較高位深VDR圖像數據的可重構信息包含在較低 位深圖像容器中，并且最小化需要在增強層中傳載的VDR圖像重構數據（例如，殘差值230) 的量。
[0084] 在示例實施例中，VDR圖像編碼器（202)基于基本層圖像容器中的圖像數據來產 生可以輸出到下游裝置中的視頻解碼器（例如，VDR圖像解碼器250或其中的第一解碼器 252-1)的基本層視頻信號。
[0085] 在示例實施例中，在本例子中，VDR圖像編碼器（202)中的解碼器（220)將基本層 圖像容器中的圖像數據解碼為4:2:0采樣格式的解碼基本層圖像。解碼基本層圖像不同于 8位BL圖像（214)，因為解碼基本層圖像包括在第一編碼器（216-1)和解碼器（220)執行 的編碼操作和解碼操作中所引入的變化和誤差，諸如舍入誤差和逼近。
[0086] 除了基本層視頻信號之外，VDR圖像重構數據也可由VDR圖像編碼器在與基本層 分離的一個或多個增強層中遞送到下游裝置。RGB顏色空間中的VDR圖像（206)可以從同一 圖像幀中的相鄰采樣被預測（使用幀內預測），或者可以從屬于同一層并且被作為經過運 動補償的預測參考緩沖在預測圖像幀緩沖器內的過去解碼的圖像幀中的采樣被預測（幀 間預測）。層間預測還可以至少部分基于來自其它層（例如，基本層）的解碼的信息。
[0087] 在示例實施例中，VDR圖像編碼器（202)或其中的上采樣器（例如，420-444上采 樣器212)被配置為將4:2:0采樣格式的解碼基本層圖像上采樣為8位上采樣的圖像數據 (在本例子中，4:4:4采樣格式）。
[0088] 在示例實施例中，VDR圖像編碼器（202)或其中的YCbCr-2-RGB單元（例如，236) 被配置為將8位上采樣圖像數據從非預測顏色空間（在本例子中，YCbCr顏色空間）變換 到預測顏色空間（例如，RGB顏色空間）。
[0089] 在示例實施例中，VDR圖像編碼器（202)包括執行與預測有關的一個或多個操作 的預測處理單元（222)。由預測處理單元（例如，222)執行的預測可以減小VDR視頻解碼 器（例如，圖2的250)重構VDR圖像中的開銷。
[0090] 在示例實施例中，VDR圖像編碼器（202)被配置為通過幀內或幀間預測（或估計或 其它方法）、至少部分基于變換到預測顏色空間的上采樣圖像數據和12+位VDR圖像（206) 來確定用于預測的一組映射參數（234)。預測處理單元（222)可以基于變換到預測顏色空 間的上采樣圖像數據和該組映射參數（234)來產生RGB顏色空間中的12+位預測圖像。
[0091] 在示例實施例中，VDR圖像編碼器（202)被配置為產生12+位VDR圖像（206)與 預測圖像之間的（RGB)殘差值（230)。顏色通道（例如，G通道）中的殘差值可以是通過線 性或對數域中的減法運算（例如，126)生成的差值。可替代地和/或可選地，顏色通道（例 如，G通道）中的殘差值可以是通過線性或對數域中的除法運算生成的比值。在各種示例 實施例中，出于產生12+位VDR圖像（206)與預測圖像之間的殘差值（230)的目的，可以使 用其它的數學表示和相應的運算/映射/函數。
[0092] 在實施例中，除了通過高級量化（或偽顏色分級處理）引入的量化差值或噪聲之 外，12+位VDR圖像（206)包括與8位RGBVDR數據相同的色度信息。在實施例中，12+位 VDR圖像（206)中的中間色調和暗區域可以在基本層中根據高級量化被編碼，而12+位VDR 圖像（206)中的高亮區域可以在增強層中根據相同的高級量化被編碼。
[0093] 在示例實施例中，在從8位RGBVDR數據到預測圖像的處理路徑中RGB-2-YCbCr 單元（208)、下采樣器（210)、第一編碼單元（216-1)、解碼單元（220)、上采樣器（212)、 YCbCr-2-RGB單元（236)或預測處理單元（222)沒有引入額外的顏色校正/改變/畸變（例 如，剪切）。在示例實施例中，除了可能固有地存在于該處理路徑中的可能的畸變（例如，由 基本層編解碼器引起的基本層畸變、或來自下采樣和上采樣中的色度重新格式化的誤差） 之外，預測圖像包括與8位RGBVDR數據相同的色度信息。
[0094] 在示例實施例中，VDR圖像編碼器（202)中的444至420下采樣和非線性量化單 元（444至420和NLQ) 228被配置為：進行下采樣，并且使用一個或多個NLQ參數將殘差值 (230)從4:4:4采樣格式的12+位數字表示量化為4:2:0采樣格式的8位數字表示（或8 位RGB殘差值）。
[0095] 在示例實施例中，VDR圖像編碼器（202)或其中的第二編碼器（216-2)被配置為 在增強層圖像容器中對該8位殘差值進行編碼。增強層圖像容器在邏輯上與基本層圖像容 器分離。
[0096] 在示例實施例中，VDR圖像編碼器（202)基于增強層圖像容器中的8位殘差值來 產生可以輸出到視頻解碼器（例如，VDR圖像解碼器250或其中的第二解碼器252-2)的增 強層視頻信號。
[0097] 在示例實施例中，可以將所述組映射參數（234)和NLQ參數（232)作為補充增強 信息（SEI)或視頻位流中（例如，增強層中）可用的其它類似元數據載體的一部分發送到 下游裝置（例如，VDR圖像解碼器250)。
[0098] 可使用多個編解碼器（諸如H. 264/AVC/HEVC、MPEG-2、VP8、VC-1和/或其它編 解碼器）中的一個或多個實現第一編碼器（216-1)、第二編碼器（216-2)和解碼器（220) (252-U252-2)中的一個或多個。
[0099] 在示例實施例中，VDR圖像解碼器（250)被配置為接收包括基本層以及一個或多 個增強層的多個層（或多個位流）中的輸入視頻信號。
[0100] 在示例實施例中，VDR圖像解碼器（250)中的第一解碼器（252-1)被配置為基于基 本層視頻信號來產生解碼的（YCbCr)基本層圖像。在一些實施例中，VDR圖像解碼器（250) 中的第一解碼器（252-1)可以與VDR圖像解碼器（202)中的解碼器（220)相同或基本上類 似。同樣地，VDR圖像解碼器（250)中的解碼的基本層圖像和解碼的基本層圖像可以是相 同的或基本上類似的，前提條件是解碼的基本層圖像來源于同一VDR圖像（例如，206)。
[0101] 在示例實施例中，在本例子中，VDR圖像解碼器（250)或其中的上采樣器（例如， 444-420下采樣器266)被配置為將4:2:0采樣格式的解碼的基本層圖像上采樣為4:4:4采 樣格式的8位上采樣圖像數據。
[0102] 在示例實施例中，VDR圖像解碼器（250)或其中的RGB-2-YCbCr單元（264)被配 置為將8位上采樣圖像數據從非預測顏色空間（在本例子中，YCbCr顏色空間）變換到預 測顏色空間（例如，RGB顏色空間）。
[0103] 在示例實施例中，VDR視頻解碼器（250)包括執行與預測有關的一個或多個操作 的預測處理單元（258)。可以使用由預測處理單元實行的預測來在VDR視頻解碼器（例如， 圖2的250)中高效率地重構VDR圖像。預測處理單元（258)被配置為：接收所述組映射參 數（234)，并且至少部分基于該組映射參數（234)和預測顏色空間中的8位上采樣圖像數據 來產生12+位預測圖像。
[0104] 在示例實施例中，VDR圖像解碼器（250)中的第二解碼器（252-2)被配置為基于 一個或多個增強視頻信號來檢索增強層圖像容器中的8位（RGB)殘差值。
[0105] 在示例實施例中，VDR圖像解碼器（250)中的非線性去量化器（NLdQ) 254和420至 440上采樣器（268)被配置為：通過增強層接收一個或多個NLQ參數，并且使用所述一個或 多個NLQ參數來將4:2:0采樣格式的8位殘差值去量化并上采樣為4:4:4采樣格式的12+ 位數字表示（或RGB顏色空間中的12+位殘差值）。
[0106] 在示例實施例中，VDR圖像解碼器（250)被配置為基于12+位殘差值（230)和由 預測處理單元（258)產生的12+位預測圖像來產生重構的VDR圖像（260)。顏色通道（例 如，G通道）中的重構像素值可以是通過線性或對數域中的加法運算（例如，262)生成的總 和。可替代地和/或可選地，顏色通道（例如，G通道）中的重構值可以是通過線性或對數 域中的乘法運算生成的乘積。在各種示例實施例中，出于從殘差值和預測圖像產生重構像 素值（260)的目的，可以使用其它的數學表示和相應的運算/函數/映射。
[0107] 附加地和/或可選地，如本文中所描述的，視頻編碼器或解碼器可以執行以下操 作中的一個或多個：變換、量化、熵編譯碼、圖像緩沖、采樣濾波、下采樣、上采樣、插值、復 用、解復用、交織、放大、縮小、運動補償、視差估計、視差補償、深度估計、深度補償、編碼、解 碼等。
[0108] 3?高級量化
[0109] 在一些實施例中，諸如由VDR圖像編碼器（圖1的102或圖2的202)執行的高級 量化被設計和實現為捕捉/保留基本層中的盡可能多的圖像細節。這使得需要被編碼為增 強層視頻信號的殘差值（例如，圖1的130或圖2的230)的量最小化。此外，捕捉/保留 的基本層中圖像細節支持諸如VDR圖像解碼器（例如，150)的下游裝置高效率地重構VDR 圖像。精確圖像細節的存在減輕/減少/去除了否則在有損壓縮操作期間將產生/放大的 視覺偽像。
[0110] 如所討論的，與通過其它技術產生的針對SDR顯示器優化的基本層SDR圖像不同， 根據本文中所描述的技術解碼的基本層圖像不是用于在SDR顯示器上觀看。相反，根據本 文中所描述的技術解碼的基本層圖像用作中間圖像數據，其用于進一步在VDR圖像編碼器 中產生殘差值，并且用于進一步在VDR圖像解碼器中重構較高位深的VDR圖像。
[0111] 根據本文中所描述的技術，被設計用于生成SDR顯示器上的最佳觀看體驗的顏色 分級處理是不需要的，并且可被禁用或避免。在增強層處理路徑和基本層處理路徑中引起 非對稱（或不同）剪切的外部控制的或用戶控制的顏色校正被避免或禁用。增強層處理路 徑和基本層處理路徑兩者中的剪切水平進一步由根據本文中所描述的技術的VDR圖像編 碼器控制。還可以在增強層圖像數據中對在基本層圖像數據中經過顏色剪切的像素進行顏 色剪切。
[0112]可以使用本文中所描述的技術來降低預測的計算復雜度，預測包括涉及基本層中 的SDR圖像數據和增強層中的VDR圖像數據的層間預測，并且這些技術是友好的片上系統 (SoC)。例如，本文中所描述的預測處理可以被實現為本文中所描述的高級量化（或偽顏色 分級）的逆操作。因為VDR圖像編碼器可以如本文中所描述的那樣充分地控制高級量化， 所以預測處理也可以被充分地控制。在一些實施例中，可以在增強層處理路徑和基本層處 理路徑中充分地控制剪切水平和具有顏色剪切的像素，以使得諸如一次多項式映射的計算 效率高的預測方法可以足以產生和重構預測圖像。
[0113] 在示例實施例中，通過線性量化器在（例如，圖1和圖2中的）高級量化中將較高 位深（例如，16位）VDR數據直接量化為較低位深（8位）基本層圖像數據。
[0114] 在一些示例實施例中，可以使用線性或非線性量化器中的一個或多個來將較高位 深（例如，12+位）圖像數據量化為較低位深（例如，8位）圖像數據。可以選擇不同顏色 空間中的和/或不同顏色通道中的不同量化器。例如，為了減輕/減少/去除（例如，平滑 區域中的）輪廓偽像和其它偽像，可以在不同顏色空間中和/或通過不同高級量化方法來 量化視頻信號。在一些實施例中，本文中所描述的高級量化可以包括以下中的一個或多個： 線性量化；線性拉伸；基于曲線的/非均勻的量化；基于關于一個幀、多個幀、一個場景、多 個場景、或者一個幀內的一個或多個分區等的直方圖的概率密度函數（Pdf)優化量化（例 如，Lloyd-Max量化）；感知量化；矢量量化；前述量化的任何組合（例如，在感知空間中進 行感知量化后，接著進行Pdf優化量化）。在一些實施例中，特定類型的高級量化可以與一 種或多種類型的預測方法具有對應關系。例如，當將均勻量化應用為高級量化時，預測中所 使用的對應類型的預測方法可以基于一次多項式。
[0115] 量化可以在單獨通道的基礎上執行，或者在兩個或更多個通道上被同時執行。在 示例實施例中，可以跨兩個或更多個顏色通道執行矢量量化。例如，可以通過使用顏色空間 中的顏色通道作為軸來設置坐標系（例如，3DCartesian)。可以在該坐標系中執行諸如旋 轉的空間變換，以創建被定義為顏色空間中的所述兩個或更多個顏色通道的組合（或投影 的總和）的新軸。被投影以形成這些新軸中的一個軸的所述兩個或更多個顏色通道中的像 素值可一起被量化器在這些新軸中的所述一個軸上量化。
[0116] 在一些實施例中，特定高級量化方法可以基于如下被選擇：該特定高級量化方法 可以在多大程度上壓縮輸出多層VDR圖像數據、同時仍保持被壓縮的輸出VDR圖像數據在 VDR解碼器側的高感知質量。
[0117] 在一些實施例中，可以選擇補償編解碼器的弱點的特定高級量化方法。例如，編解 碼器可能在壓縮暗區域方面表現不好，并且甚至可能在重構的VDR圖像中輸出輪廓偽像。 本文中所描述的高級量化可以使用特定曲線（例如，Sigmoid曲線、mu-law、基于人類感知 的曲線等）來產生具有較少的重構VDR圖像中可見的輪廓偽像的圖像數據。
[0118] 根據本文中所描述的技術的VDR編碼器可以將輸入VDR圖像數據取作關于將被 VDR編碼器處理的圖像內容的唯一輸入。盡管輸入VDR圖像數據可以被提供給增強層數據 處理，但是如本文中所描述的，可以使用可以飛速（例如，以與輸入VDR被輸入到VDR編碼 器的速度相同的線速）執行的高級量化來產生基本層數據處理的輸入圖像數據。
[0119] 在一些實施例中，在如本文中所描述的8位量化步驟（例如，圖1的128或圖2的 228)之前可進行使視頻（例如，VDR)信號看起來更像SDR信號的轉換，這是因為諸如H. 264 的現有編碼器可能已經適合于處理SDR信號。可以使用移動VDR信號的動態范圍以使之看 起來更像SDR信號的各種高級量化技術。在示例實施例中，可以使用可逆顏色分級方法（例 如，斜率+偏移+功率+色調+飽和度或S0P+HS)來將稀疏數據變換到目標范圍。在另一 示例實施例中，可以使用在顯示管理中所使用的色調映射曲線來將VDR信號變換為看起來 更像SDR信號。這里，術語"顯示管理"是指被執行以使VDR視頻信號適合于特定顯示器或 特定范圍的顯示器所支持的動態范圍的一個或多個操作。
[0120] 本文中所描述的高級量化可被以一種或多種不同方式執行。高級量化可以執行全 局量化，在全局量化中，使用單個設置來量化整個幀或整個場景。高級量化還可以執行基于 分區的（局部）量化，在該量化中，每個幀劃分為多個不重疊區域，并且每個不重疊區域被 使用自身的設置來量化。高級量化可以執行基于分區的（局部）量化，在該量化中，每個幀 劃分為多個不重疊區域，并且每個不重疊區域被使用自身的設置來量化，但是用于特定不 重疊區域的量化器設置是基于從一個或多個重疊區域導出的分析數據而確定的。可以在一 個或多個不同顏色空間中的任何一個中應用高級量化。其中可以應用高級量化的顏色空間 的例子包括但不限于以下空間中的任何一個：RGB顏色空間、YCbCr顏色空間、YCoCg顏色空 間、ACES顏色空間或其它顏色空間。
[0121] 在一些實施例中，其中應用量化的顏色空間被保持與其中執行預測的顏色空間相 同。在VDR圖像編碼處理和VDR圖像解碼處理這兩者中都可以如此。如果其中發生圖像呈 現的顏色空間不同于其中量化發生的顏色空間，則可以視情況執行顏色空間變換。
[0122] 4.線性拉伸
[0123] 在示例實施例中，可以在如圖1和圖2中所示的高級量化中、在如圖3中所示的 YCbCr顏色空間中或者在RGB顏色空間中應用場景自適應動態范圍調整量化方法。所考慮 的一個場景中內的顏色通道i中的最大值可以被表示為。所考慮的一個場景中內的顏 色通道i中的最小值可以被表示為Vi，min。由該范圍內的數據點的最小值和最大值和/或分 布限定的范圍可以基于圖像內容從幀到幀、從多個幀到多個幀、從場景到場景、從多個場景 到多個場景、從節目到節目等等而改變。
[0124] 顏色通道i中的待處理像素值可以被表示為Vi。在VDR(例如，亮度）編碼空間為 16位（或圖1和圖2中的12+位）的情況下，可以適用以下表達式：
[0125]0 彡v一n<U216_l (1)
[0126] 場景自適應動態范圍調整量化方法如下將整個范圍[vi>min,vi;max]映射到8位 YCbCr709 標準范圍[Si，min，Si，max]:

【權利要求】
1. 一種方法，包括： 接收輸入圖像序列中的輸入視覺動態范圍（VDR)圖像，其中，所述輸入VDR圖像包括第 一位深； 從一個或多個可用的高級量化函數選擇特定高級量化函數； 將所述特定高級量化函數應用于所述輸入VDR圖像以產生輸入基本層圖像，其中，所 述輸入基本層圖像包括第二位深，所述第二位深低于所述第一位深； 將從所述輸入基本層圖像導出的圖像數據壓縮為基本層（BL)視頻信號；和 將從所述輸入VDR圖像導出的圖像數據的至少一部分壓縮為一個或多個增強層（EL) 視頻信號。
2. 根據權利要求1所述的方法，還包括： 從所述BL視頻信號解碼BL圖像，所述BL圖像對應于所述輸入BL圖像； 從一種或多種預測方法選擇預測方法； 使用所述預測方法，至少部分基于所述BL圖像來產生預測圖像； 基于所述預測圖像和所述輸入VDR圖像來產生殘差值； 將非線性量化應用于所述殘差值以產生輸出EL圖像數據，所述殘差值包括較高位深 值，并且所述輸出EL圖像數據包括較低位深值；和 將所述輸出EL圖像數據壓縮為所述一個或多個EL視頻信號。
3. 根據權利要求2所述的方法，其中，基于高級量化方法與預測方法之間的對應關系 來選擇所述預測方法。
4. 根據權利要求1所述的方法，其中，高級量化方法包括以下中的一種或多種：全局量 化、線性量化、線性拉伸、基于曲線的量化、概率密度函數（Pdf)優化量化、LLoyd-Max量化、 基于分區的量化、感知量化、交叉顏色通道/矢量量化或其它類型的量化。
5. 根據權利要求1所述的方法，其中，所述輸入圖像序列包括不同的第二VDR輸入圖 像；并且所述方法還包括： 從一種或多種可用的高級量化方法選擇不同的第二特定高級量化方法； 將所述第二特定高級量化方法應用于所述第二輸入VDR圖像以產生第二輸入BL圖 像； 將從所述第二輸入基本層圖像導出的第二圖像數據壓縮為所述BL視頻信號；和 將從所述第二輸入VDR圖像導出的圖像數據的至少一部分壓縮為所述一個或多個EL 視頻信號。
6. 根據權利要求5所述的方法，還包括： 從所述BL視頻信號解碼不同的第二BL圖像，所述第二BL圖像對應于所述第二輸入BL圖像； 從所述一種或多種預測方法選擇不同的第二預測方法； 使用所述第二預測方法，至少部分基于所述第二BL圖像來產生第二預測圖像； 基于所述第二預測圖像和所述第二輸入VDR圖像來產生不同的第二殘差值； 將非線性量化應用于所述第二殘差值以產生第二輸出EL圖像數據，所述第二殘差值 包括較高位深值，并且所述第二輸出EL圖像數據包括較低位深值；和 將所述輸出EL圖像數據壓縮為所述一個或多個EL視頻信號。
7. 根據權利要求1所述的方法，其中，VDR編碼器中的第一 8位編碼器將所述輸入BL 圖像中的圖像數據壓縮為所述BL視頻信號，并且其中，所述VDR編碼器中的第二8位編碼 器將所述輸入VDR圖像中的圖像數據的至少一部分壓縮為所述一個或多個EL視頻信號。
8. 根據權利要求7所述的方法，其中，所述第一 8位編碼器和所述第二8位編碼器中的 至少一個包括以下之一：高級視頻編碼（AVC)編碼器、運動圖像專家組（MPEG)-2編碼器、或 高效率視頻編碼（HEVC)編碼器。
9. 根據權利要求1所述的方法，其中，高級量化方法基于一個或多個因素被選擇，該一 個或多個因素包括但不限于最小化相對于所述輸入VDR圖像的將被編碼為所述一個或多 個EL視頻信號的圖像數據的量。
10. 根據權利要求1所述的方法，其中，高級量化方法基于一個或多個因素被選擇，該 一個或多個因素包括但不限于從所述輸入VDR圖像確定的一個或多個特性。
11. 根據權利要求1所述的方法，其中，在接收到所述輸入VDR圖像之后，禁止調色師進 行顏色分級。
12. 根據權利要求1所述的方法，其中，使用第一圖像容器來保存從所述輸入BL圖像導 出的圖像數據，并且其中，使用不同的第二圖像容器來保存所述輸入VDR圖像中的圖像數 據的所述至少一部分。
13. 根據權利要求12所述的方法，其中，所述第一圖像容器和所述第二圖像容器中的 至少一個包括顏色空間中的一個或多個通道中的像素值。
14. 根據權利要求12所述的方法，其中，從與多個采樣方案相關聯的多個圖像容器選 擇所述第一圖像容器和所述第二圖像容器中的至少一個，并且其中，所述多個采樣方案包 括4:4:4采樣方案、4:2:2采樣方案、4:2:0采樣方案或其它采樣方案中的任何一個。
15. 根據權利要求1所述的方法，還包括將通過一個或多個輸入視頻信號被表示、接 收、發送或存儲的一個或多個輸入VDR圖像轉換為通過一個或多個輸出視頻信號被表示、 接收、發送或存儲的一個或多個輸出VDR圖像。
16. 根據權利要求1所述的方法，其中，所述一個或多個EL視頻信號和所述輸入VDR 圖像中的至少一個包括按以下之一被編碼的圖像數據：高動態范圍（HDR)圖像格式、與電 影藝術與科學學院（AMPAS)的學院顏色編碼規范（ACES)標準相關聯的RGB顏色空間、數字 電影倡導聯盟的P3顏色空間標準、參考輸入媒介度量/參考輸出媒介度量（RIMM/ROMM)標 準、sRGB顏色空間、或RGB顏色空間或YCbCr顏色空間。
17. 根據權利要求1所述的方法，還包括： 確定用于所述輸入VDR圖像處理為所述BL和EL視頻信號的特定配置文件；和 在將所述輸入VDR圖像處理為所述BL和EL視頻信號中執行與所述特定配置文件相關 的一個或多個操作。
18. -種方法，包括： 基于一個或多個增強層（EL)視頻信號來產生輸入圖像序列中的VDR圖像的圖像數據 的至少一部分； 基于基本層（BL)視頻信號來產生BL圖像，所述BL圖像包括通過從一種或多種可用的 高級量化方法選擇的特定高級量化方法產生的所述VDR圖像的基本層VDR圖像數據；和 基于所述BL圖像和所述圖像數據的所述至少一部分來重構所述VDR圖像的版本，所述 VDR圖像的所述版本包括比所述BL圖像所包括的第二位深高的第一位深。
19. 根據權利要求18所述的方法，還包括： 接收預測元數據，所述預測元數據包括但不限于一組映射參數； 基于所述預測元數據來確定預測方法； 使用所述預測方法，至少部分基于所述BL圖像來產生預測圖像； 通過將所述預測圖像與從所述一個或多個EL視頻信號導出的圖像數據的所述至少一 部分進行組合來重構所述VDR圖像的較高位深版本。
20. 根據權利要求19所述的方法，其中，所述預測方法對應于所述高級量化方法。
21. 根據權利要求19所述的方法，其中，高級量化方法包括以下中的一種或多種：全局 量化、線性量化、線性拉伸、基于曲線的量化、概率密度函數（Pdf)優化量化、LLoyd-Max量 化、基于分區的量化、感知量化、交叉顏色通道/矢量量化或其它類型的量化。
22. 根據權利要求19所述的方法，其中，通過VDR解碼器中的第一 8位解碼器從所述 BL視頻信號導出所述BL圖像，并且其中，通過所述VDR解碼器中的第二8位解碼器從所述 一個或多個增強層（EL)視頻信號導出所述VDR圖像中的圖像數據的所述至少一部分。
23. 根據權利要求22所述的方法，其中，所述第一 8位編碼器和所述第二8位編碼器 中的至少一個包括以下之一：高級視頻編碼（AVC)編碼器、運動圖像專家組（MPEG)-2編碼 器、或高效率視頻編碼（HEVC)編碼器。
24. 根據權利要求18所述的方法，其中，高級量化方法基于一個或多個因素被選擇，該 一個或多個因素包括但不限于最小化相對于源VDR圖像的將被從所述一個或多個EL視頻 信號導出的圖像數據的量。
25. 根據權利要求18所述的方法，其中，使用第一圖像容器來保存BL圖像中的圖像數 據，并且其中，使用不同的第二圖像容器來保存所述VDR圖像的圖像數據的所述至少一部 分。
26. 根據權利要求25所述的方法，其中，所述第一圖像容器和所述第二圖像容器中的 至少一個包括顏色空間中的一個或多個通道中的像素值。
27. 根據權利要求25所述的方法，其中，從與多個采樣方案相關聯的多個圖像容器選 擇所述第一圖像容器和所述第二圖像容器中的至少一個，并且其中，所述多個采樣方案至 少包括4:4:4采樣方案、4:2:2采樣方案、4:2:0采樣方案或其它采樣方案。
28. 根據權利要求18所述的方法，還包括對通過一個或多個輸入視頻信號被表示、接 收、發送或存儲的一個或多個VDR圖像進行處理。
29. 根據權利要求18所述的方法，其中，所述VDR圖像的所述較高位深版本的至少一部 分包括按以下之一被編碼的圖像數據：高動態范圍（HDR)圖像格式、與電影藝術與科學學 院（AMPAS)的學院顏色編碼規范（ACES)標準相關聯的RGB顏色空間、數字電影倡導聯盟的 P3顏色空間標準、參考輸入媒介度量/參考輸出媒介度量（RIMM/R0MM)標準、sRGB顏色空 間、或與國際電信聯盟（ITU)的BT. 709推薦標準相關聯的RGB顏色空間。
30. 根據權利要求18所述的方法，還包括： 確定與所述BL和EL視頻信號相關的特定配置文件；和 在從所述BL和EL視頻信號重構所述VDR圖像的較高位深版本中執行與所述特定配置 文件相關的一個或多個操作。
31. -種執行根據權利要求1-17所述的方法中的任何一種的編碼器。
32. -種執行根據權利要求18-30所述的方法中的任何一種的解碼器。
33. -種執行根據權利要求1-30所述的方法中的任何一種的系統。
34. -種系統，包括： 編碼器，所述編碼器被配置為執行： 接收輸入圖像序列中的輸入視覺動態范圍（VDR)圖像； 從一個或多個可用的高級量化方法選擇特定高級量化方法； 將所述特定高級量化函數應用于所述輸入VDR圖像以產生輸入基本層圖像，所述輸入VDR圖像包括較高位深VDR圖像數據，并且所述輸入基本層圖像包括較低位深VDR圖像數 據； 將從所述輸入基本層圖像導出的圖像數據壓縮為基本層（BL)視頻信號；和 將從所述輸入VDR圖像導出的圖像數據的至少一部分壓縮為一個或多個增強層（EL) 視頻信號； 解碼器，所述解碼器被配置為執行： 基于一個或多個增強層（EL)視頻信號來產生輸入VDR圖像的輸入圖像數據的至少一 部分； 基于BL視頻信號來產生BL圖像；和 基于所述BL圖像和所述輸入圖像數據的所述至少一部分來重構所述輸入VDR圖像的 較高位深版本。
35. 根據權利要求1所休的方法，其中，所詵擇的高級量化函數句,栝線性拉伸函數：
其中，~指示所述輸入圖像序列中的第i輸入VDR圖像的第j像素，s#指示所產生的 第i輸入基本層圖像的第j像素，vUi和Viu指示第i輸入VDR圖像中的像素之中的最小像 素值和最大像素值，cui和cH，i指示所產生的第i輸入基本層圖像中的像素之中的最小像素 值和最大像素值，O是舍入常數。
36. 根據權利要求1所述的方法，其中，所選擇的高級量化函數包括基于場景的適配函 數：
其中，Vji指示所述輸入圖像序列中的場景中的第i輸入VDR圖像的第j像素，Sji指示 所述場景中的所產生的第i輸入基本層圖像的第j像素，Vumin和vH，max指示所述場景中的 所述輸入VDR圖像中的像素之中的最小值和最大值，Cumin和cH，max指示所述場景中的所產 生的輸入基本層圖像中的像素之中的最小像素值和最大像素值，O是舍入常數。
37. 根據權利要求1所述的方法，其中，所選擇的高級量化函數包括基于逐幀的適配函 數：
其中，指示所述輸入圖像序列中的過渡場景中的第i輸入VDR圖像的第j像素，Sji 指示所述過渡場景中的所產生的第i輸入基本層圖像的第j像素，vUi和Vlu指示所述過渡 場景中的第i輸入VDR圖像中的像素之中的最小值和最大值，Cumil^PcH，max指示所述過渡場 景中的所產生的輸入基本層圖像中的像素之中的最小像素值和最大像素值，O是舍入常數。
38. 根據權利要求37所述的方法，其中，所述過渡場景包括淡入場景或淡出場景。
39. 根據權利要求1所述的方法，其中，從所述一個或多個可用的高級量化函數選擇特 定高級量化函數的步驟還包括： 選擇所述輸入圖像序列中的兩個連續輸入VDR圖像； 應用第一適配函數來計算第一組兩個相應基本層（BL)圖像； 應用第二適配函數來計算第二組兩個相應BL圖像； 基于所述第一組BL圖像來計算第一組直方圖； 基于所述第二組BL圖像來計算第二組直方圖； 基于所述第一組直方圖來計算第一均方差； 基于所述第二組直方圖來計算第二均方差； 將所述第一均方差與所述第二均方差進行比較；和 如果所述第一均方差小于所述第二均方差，則選擇所述第一適配函數。
40. 根據權利要求39所述的方法，其中，所述第一適配函數是基于逐幀的適配函數，并 且所述第二適配函數是基于場景的適配函數。
【文檔編號】H04N19/98GK104322072SQ201280053511
【公開日】2015年1月28日 申請日期:2012年11月1日 優先權日:2011年11月4日
【發明者】蘇冠銘, 曲晟, S·N·胡亞勒卡, 陳濤, W·C·吉什, H·凱普弗 申請人:杜比實驗室特許公司