視頻編碼中的受指導圖像上采樣的制作方法
【專利說明】
[0001] 本申請是基于申請號為201210281757. 3、申請日為2012年8月9日、發明名稱為 "視頻編碼中的受指導圖像上采樣"的專利申請的分案申請。
[0002] 相關申請的交叉引用
[0003] 本發明要求2011年8月9日提交的美國臨時專利申請No. 61/521,685W及2012 年5月30日提交的美國臨時專利申請No. 61/653, 234的優先權，出于所有目的通過引用將 它們并入此。
技術領域
[0004] 本發明總體上設及圖像。更特別地，本發明實施例設及視頻編碼中的數字圖像的 受指導上采樣（guidedup-sampling)。
【背景技術】
[000引如在此使用的那樣，術語"動態范圍"（dynamicrange,DR)可W與用于感知圖像 中的強度（例如輝度、亮度）的范圍（例如從最暗的暗到最亮的亮）的人類屯、理視覺系統 化umanpsychovisualsystem,HV巧的能力有關。在此意義上，DR與"場景相關的（scene referred)"強度有關。DR也可W與顯示設備足夠地或近似地呈現特定寬度化rea化h)的 強度范圍的能力有關。在此意義上，DR與"顯示相關的"強度有關。除非在此描述中的任何 點明確地指定特定意義具有特定重要性，否則應推斷其可W例如可互換地用于任何意義。
[0006] 如在此使用的那樣，術語"高動態范圍（hi曲dynamicrange,皿R)"與跨越人類 視覺系統化umanvisualsystem,HV巧的一些14-15個量級的DR寬度有關。例如，具有 基本正態（例如在統計、生物計量或眼科（opthamological)意義中的一個或多個中）的良 好適應的人具有跨越大約15個量級的強度范圍。適應的人可W感知少至僅少數光子的昏 暗光源。然而，運些相同的人可W感知沙漠、海洋或雪中的正午陽光的近乎灼目的明亮強度 (或甚至對太陽的掃視，然而，短暫地掃視防止損傷）。運樣的跨度對于"適應的"人（例如 其HVS具有重置并且調整的時間段的人）可用。
[0007] 作為對比，相對于皿R，在其上人可W同時感知強度范圍中的寬的寬度的DR可 W被稍微截斷。如在此使用的那樣，術語"視覺動態范圍"或"可變動態范圍（variable dynamicrange,VDR)"可W單獨地或互換地與HVS同時可感知的DR有關。如在此使用的那 樣，VDR可W與跨越5-6個量級的DR有關。因此，盡管相對于真實場景相關的皿R稍微更 窄，但VDR表示寬的DR寬度。如在此使用的那樣，術語"同時動態范圍"可W與VDR有關。
[0008] 直到最近，顯示器已經具有比皿R或VDR明顯更窄的DR。使用具有恒定巧光的 白色背光或等離子體屏幕技術的典型陰極射線管（cathoderaytube,CRT)、液晶顯示器 (liquidciTstaldisplay,LCD)的電視（Television,TV)和計算機監視器裝置可能在它 們的DR呈現能力方面被約束為大約S個數量級。運些傳統的顯示器因此作為相對于VDR 和皿R的低動態范圍（lowdynamicrange,LDR)，又稱為標準動態范圍（standarddynamic range,SDR)的代表。
[0009] 至于可縮放視頻編碼和皿TV技術，擴展圖像DR典型地設及分叉化i化rcate)方 法。例如，W現代的能夠皿R的相機捕獲的場景相關皿R內容可W用于生成該內容的VDR版 本或SDR版本，其可W顯示在VDR顯示器或傳統SDR顯示器上。在一種方法中，從捕獲的VDR 版本生成SDR版本可W設及將全局色調映射算子（globaltonemappingoperator,TM0) 應用于皿R內容中的強度（例如輝度、亮度）有關的像素值。在第二方法中，如在W.Gish 等人 2011 年 8 月 23 提交的PCT申請PCT/US2011/048861 中"ExtendingImageDynamic Range"中描述的那樣，生成SDR圖像可W設及對于VDR數據應用可逆算子（或預測器）。為 了保留帶寬或出于其它考慮，同時發送實際捕獲的VDR內容和SDR內容兩者可能不是最佳 方法。
[0010] 因此，相對于初始TMO被反轉的逆色調映射算子（iTMO)或相對于初始預測器的逆 算子可W應用于生成的SDR內容版本，運允許預測初始VDR內容的版本。可W將預測的VDR 內容版本和生成的VDR內容進行比較。例如，從初始VDR版本減去預測的VDR版本可W生 成殘差圖像。編碼器可W發送作為基本層化aselayer,BL)的生成的SDR內容、作為增強 層巧L)的任何殘差圖像，并且封裝iTMO或其它預測器等作為元數據。
[0011] 在比特流中將化和元數據與其SDR內容、殘差和預測器一起發送典型地消耗比將 皿R和SDR內容都直接發送到比特流中的情況所消耗的帶寬更少的帶寬。接收編碼器發送 的比特流的兼容解碼器可W解碼并且在傳統顯示器上呈現SDR。然而，兼容解碼器也可W使 用殘差圖像、iTMO預測器或元數據來從其計算皿R內容的預測版本，W用于更有能力的顯 示器上。
[0012] 在運樣的分層VDR編碼中，圖像可W按不同空間分辨率、比特深度、顏色空間和色 度子采樣格式來表示，運些都可迫使進行從第一顏色格式到第二顏色格式的各種計算機密 集變換。
[0013] 如在此使用的那樣，術語"顏色格式"與包括W下兩個變量的顏色表示有關：a)顏 色空間變量（例如RGB、YUV、YCb化等）和色度子采樣變量（例如4 :4 :4、4 :2 :0等）。例 如，VDR信號可W具有RGB4:4:4顏色格式，而SDR信號可W具有YCb化4:2:0顏色格式。
[0014] 如在此使用的那樣，術語"上采樣"或"尺度上推"與將圖像的一個或多個顏色分量 從一個空間分辨率變換到更高的第二空間分辨率的處理有關。例如，可W將視頻信號從4 : 2:0格式上采樣為4:4:4格式。
[0015] 該部分中描述的方法是可W貫徹實施的方法，但不一定是先前已被構思或貫徹實 施的方法。因此，除非另外指示，否則不應假設該部分中描述的任何方法僅僅由于它們包含 在該部分中而被當作現有技術。相似地，除非另外指示，否則相對于一個或多個方法標識的 問題不應基于該部分而被假定在任何現有技術中已經被認識到。
【附圖說明】
[0016] 在附圖中通過示例的方式而不是限制的方式示出本發明實施例，并且其中，相似 標號指代相似元件，并且其中：
[0017] 圖1描述根據本發明實施例的用于分層編碼系統的示例數據流；
[0018] 圖2描述根據本發明實施例的示例分層解碼系統；
[0019] 圖3描述根據本發明實施例的分層編解碼器中對殘差信號進行編碼中的受指導 圖像上采樣的示例；
[0020] 圖4描述根據本發明實施例的示例單層視頻編碼系統；
[0021] 圖5描述根據本發明實施例的用于使用2D濾波器W因子2進行上采樣的示例輸 入和輸出像素陣列；
[0022] 圖6描述根據本發明實施例的用于使用3D濾波器W因子2進行上采樣的示例輸 入和輸出像素陣列；
[0023] 圖7描述根據本發明實施例的受指導圖像上采樣的示例處理；
[0024] 圖8描述根據本發明實施例的受指導顏色瞬時改進濾波的示例處理。
【具體實施方式】
[0025] 在此描述視頻編碼中的受指導圖像上采樣和顏色瞬時改進濾波。在W下描述中， 為了解釋，闡述大量細節W提供本發明的透徹理解。然而，應理解，在沒有運些具體細節的 情況下仍可W實踐本發明。在其它情況下，不詳盡地描述公知結構和設備，W避免不必要地 封閉、模糊或混亂本發明。
[0026] 概述
[0027] 在此描述的示例實施例與視頻編碼中的受指導圖像上采樣和CTI濾波有關。編碼 器接收第一空間分辨率的第一圖像和第二空間分辨率的指導圖像（guideimage),其中，所 述第一圖像和所述指導圖像兩者都表現相同場景，所述第二空間分辨率高于所述第一空間 分辨率。選擇濾波器W將所述第一圖像上采樣為具有與所述第二空間分辨率相同的空間分 辨率的第=圖像。通過使得所述指導圖像與第=圖像的像素值之間的誤差度量（例如均方 誤差（meansquareerror,MSE))最小化來計算用于上采樣濾波器的濾波系數。計算出的 濾波系數集合被信傳（signal)到接收機（例如，作為元數據）。解碼器接收所述元數據和 第一圖像或所述第一圖像的近似，并且可W使用與所述編碼器推導出的優化濾波器和濾波 系數相同的優化濾波器和濾波系數來對所接收的圖像進行上采樣。
[0028] 在另一實施例中，編碼器接收待編碼的目標圖像，所述目標圖像包括第一目標顏 色分量圖像和第二目標顏色分量圖像。對所述圖像進行編碼和解碼，W生成編碼的圖像和 解碼的圖像，所述解碼的圖像包括解碼的第一顏色分量圖像和解碼的第二顏色分量圖像。 選擇顏色瞬時改進（colortransientimprovement,CTI)濾波器W對所述解碼的第二顏 色分量圖像的像素進行濾波，W生成輸出顏色分量圖像。至少部分地基于通過使得所述輸 出顏色分量圖像的像素值與所述目標圖像中的第二顏色分量圖像的對應像素值之間的誤 差度量最小化而計算用于所述CTI濾波器的CTI濾波系數。CTI濾波系數被信傳到接收機 (例如，作為元數據）。解碼器接收所述元數據和所述編碼的圖像。在對所述編碼的圖像進 行解碼之后，其可W使用與所述編碼器推導出的CTI濾波系數相同的CTI濾波系數來對所 述解碼的圖像進行