基于亮度的色度幀內預測方法及裝置制造方法
【專利摘要】本發明提供一種基于亮度的當前色度區塊的色度幀內預測方法及裝置。根據色度采樣格式，由當前亮度區塊的重建亮度像素獲取色度幀內預測器。根據色度采樣格式，在水平或垂直方向上對重建亮度像素使用子采樣、下采樣中的一種或不處理。與色度采樣格式有關的信息可包含于序列參數集合、圖像參數集合、自適應參數集合或視頻比特流的片頭中。
【專利說明】基于亮度的色度幀內預測方法及裝置
[0001]交叉引用
[0002]本發明主張于2012年I月4日提交且發明名稱為“Improvements of Luma-basedChroma Intra Prediction”的申請號為PCT/CN2012/070009的PCT專利申請的優先權，該PCT專利申請的全部內容在此弓I用并合并參考。
【技術領域】
[0003]本發明是有關于視頻編碼(video coding)，更具體地，本發明是有關于與基于重建亮度像素(reconstructed luma pixels)的色度(chroma)巾貞內預測(intraprediction)有關的編碼技術。
【背景技術】
[0004]運動補償性巾貞間(inter-frame)編碼已廣泛應用于各種編碼標準,如MPEG-1/2/4及H.261/H.263/H.264/AVC。相比于運動補償性幀間編碼可有效減少壓縮視頻的比特率(bitrate),巾貞內編碼(intra coding)用于壓縮具有較大運動(motion)或場景(scene)改變的區域。另外，巾貞內編碼也用于處理起始圖像(initial picture),或為隨機存取或緩和誤差傳遞(error propagation)而周期性插入I 一圖像或I 一區塊。巾貞內預測使用圖片內或圖片區域內的空間相關。在實做中，圖片或圖片區域劃分為區塊，并在區塊基礎上執行幀內預測。當前區塊的幀內預測依靠已處理的相鄰區塊的像素。例如，若圖像或圖像區域中的區塊按行處理，先由左至右然后再由上(top)到下(bottom)，當前區塊的頂部的相鄰區塊及左側的相鄰區塊用于形成對當前區塊中的像素的幀內預測。已處理的相鄰區塊中的任意像素可用于當前區塊中的像素的幀內預測，但經常只使用靠近當前區塊的頂部邊界和左側邊界的相鄰區塊的像素。
[0005]幀內預測器通常設計為使用圖像中的空間特征，如平滑區域(smooth area)(直流DC模式)、垂直線或邊緣(vertical line or edge)、水平線或邊緣(horizontal lineor edge)及對角線或邊緣(diagonal line or edge)。此外，空間相關經常存在于亮度(Luminance, Luma)分量與色度(Chrominance, Chroma)分量之間。因此，重建的亮度像素可用于產生巾貞內色度預測。在高效視頻編碼(High Efficiency Video Coding, HEVC)的最新進展中，揭露一種基于同位(co-located)重建亮度區塊的色度幀內預測方法。色度幀內預測的類型定義為LM (亮度)預測。主要的概念是使用重建的亮度像素來產生相應的色度像素的預測器。圖1為預測操作的示意圖。首先，圖1A中的同位亮度區塊的相鄰的重建像素及圖1B中色度區塊的相鄰的重建像素用于獲取兩個區塊之間的相關參數。然后，使用這些參數及亮度區塊的重建像素來產生色度區塊的預測像素。在參數獲取過程中，使用了當前亮度區塊的頂部第一行重建像素和左側第二列重建像素。使用亮度區塊的特定行和列是為了匹配色度分量的4:2:0采樣格式。
[0006]根據LM預測模式，色度數值由同位區塊的重建亮度數值預測得出。色度分量的空間解析度可低于亮度分量。為了使用亮度信號用于色度幀內預測，亮度信號的解析度可能需要降低以匹配色度分量的解析度。
[0007]例如，對于4:2:0采樣格式，U分量和V分量在垂直方向和水平方向上只有亮度分量采樣值數目的一半。因此，需要在垂直方向和水平方向上對重建的亮度采樣值使用2:1的解析度降級(resolution reduction)。解析度降級可通過下采樣(down-sampling)處理或子采樣(sub-sampling)處理來實現。
[0008]本說明書中的下采樣處理指通過使用適當的低通濾波來進行的信號抽樣(decimation),用以在降低解析度之前減少可能的信號混疊(signal aliasing),本領域也稱為抽樣。另一方面，子采樣處理執行直接抽樣，事先不會進行濾波。下采樣處理和子采樣處理均可降低采樣解析度。子采樣處理可能導致信號混疊，子采樣處理用于某些信號處理系統中是因其簡便性。對于根據LM模式的色度幀內預測，子采樣處理用于水平方向，而下采樣處理用于垂直方向。
[0009]在當前的HEVC系統中，參數獲取總是假定基本(underlying)色度分量使用4:2:0采樣格式。需要開發靈活的基于亮度的色度幀內預測，以自適應地適用其他色度采樣格式。
【發明內容】
[0010]本發明提供一種基于亮度的色度幀內預測方法和裝置，用于當前色度區塊。根據色度采樣格式，由當前亮度區塊的重建亮度像素中獲取色度幀內預測器。在根據本發明的一個實施例中，色度幀內預測方法由存儲器或處理器中接收當前亮度區塊的相鄰重建亮度像素及當前重建亮度像素。相鄰重建亮度像素包含第一組重建亮度像素與第二組重建亮度像素，其中第一組重建亮度像素位于當前亮度區塊的頂部邊界之上，第二組重建亮度像素位于當前亮度區塊的左側邊界以左。在一實施例中，對于任意色度采樣格式，第一組重建亮度像素對應于由當前亮度區塊的頂部邊界起的頂部以上第一行像素，以及第二組重建亮度像素對應于由當前亮度區塊的左側邊界起的左側第一列像素。然后，確定色度采樣格式，編碼器知曉色度采樣格式，以及在解碼器中，色度采樣格式可由接收到的視頻比特流(bitstream)中確定。然后，基于當前亮度區塊的相鄰重建亮度像素及當前重建亮度像素，獲取相應的色度區塊的色度幀內預測，其中，所述色度幀內預測的獲取是根據色度采樣格式。然后，色度幀內預測提供用于相應色度中色度像素的編碼或解碼。
[0011]根據色度采樣格式，對重建亮度像素在水平或垂直方向上使用子采樣、下采樣或不處理。與色度采樣格式有關的信息可包含于序列參數集合(Sequence ParameterSet, SPS)、圖片參數集合(Picture Parameter Set, PPS)、自適應參數集合(AdaptationParameter Set, APS)或視頻比特流的片頭(slice header)中。
【專利附圖】
【附圖說明】
[0012]圖1A為根據HM-5.0的基于重建亮度像素的色度幀內預測的獲取示例示意圖。
[0013]圖1B為與待預測的相應的色度區塊有關的色度像素及相鄰色度像素的示例示意圖。
[0014]圖2為4:2:0采樣格式的示例示意圖，其中顯示了參考亮度采樣值的色度采樣值的采樣模式。
[0015]圖3為4:2:2采樣格式的示例示意圖，其中顯示了參考亮度采樣值的色度采樣值的采樣模式。
[0016]圖4為4:4:4采樣格式的示例示意圖，其中顯示了參考亮度采樣值的色度采樣值的采樣模式。
[0017]圖5為結合本發明一實施例的基于亮度的色度幀內預測的較佳流程圖。
【具體實施方式】
[0018]如上所述，現行的LM模式并不靈活且當色度像素不對應于4:2:0采樣格式時方法無效。相應地，基于本發明的多個實施例提供了靈活的基于亮度的色度幀內預測，可自適應地支持不同色度采樣格式。
[0019]在現行的HEVC中，支持幾種不同的采樣格式。例如，采樣格式可由4:2:0、4:2:2和4:4:4中選擇。在一些色度采樣格式中，在水平方向上或水平和垂直方向上，色度采樣值的數目為亮度采樣值的數目的一半。在此情形下，色度像素的采樣位置可能對齊(aligned)或偏離(offset)亮度采樣值的采樣位置。換言之，在相應的亮度像素和色度像素之間可能存在相位差(phasedifference)。圖2為4:2:0采樣格式的相位關系的示例示意圖,其中在水平和垂直方向上的色度采樣值為亮度采樣值的一半。在水平方向上，色度采樣值與亮度采樣值對齊。換言之，色度采樣值總是與亮度采樣值同位。因此，色度采樣值與亮度采樣值在水平方向上具有相同的相位。然而，在垂直方向上，色度采樣值位于兩相鄰的亮度采樣值中間。換言之，色度采樣值偏離亮度采樣值半個垂直亮度像素的距離。因此，色度采樣值在水平方向上偏離亮度采樣值90° (每對亮度采樣值的相位對應于360° )。圖3和圖4為4:2:2采樣格式和4:4:4采樣格式的示意圖。如圖3所示，4: 2:2采樣格式使得在垂直方向上色度采樣值的數目與亮度采樣值的數目相同，在水平方向上色度采樣值的數目為亮度采樣值的數目的一半。此外，色度采樣值在水平與垂直方向上與亮度采樣值均對齊。如圖4所示，4:4:4采樣格式使得在水平和垂直方向上色度采樣值的數目與亮度采樣值的數目相同。基于亮度的色度幀內預測模式(即用于色度幀內預測的色度LM模式)使用亮度像素與色度像素之間的相關。因此，亮度像素和色度像素之間的相位對齊對于色度LM模式的有效性很重要。
[0020]對于用于HEVC的4:2:0采樣格式，在水平方向上亮度像素使用對應于(1/4，1/2，1/4)的濾波器進行下采樣，其中子采樣后的亮度像素的位置對應于色度像素的位置。另一方面，在垂直方向上亮度像素使用對應于(1/2，1/2)的濾波器進行下采樣，以匹配色度像素的數目與位置。然后，使用采樣減少(sample-reduced)的亮度像素用于色度LM模式的預測處理。如圖1A所示，頂部以上第一行像素與左側第二列像素用于獲取相關參數。然而，對于其他采樣格式，如4:2:2和4:4:4，選擇采樣減少的亮度像素的方法在現行的HM-5.0中并未指定。本發明的多個實施例根據色度采樣格式使用自適應的色度LM模式，以更好地支持其他采樣格式。
[0021]為了允許自適應的色度LM模式，根據本發明一實施例，在SPS或其他參數集合中增加了命名為“chroma_format_idc”的語法(syntax)元素,用于指示色度采樣格式,其中其他參數集合例如PPS、APS和片頭。對此語法元素的定義的示例如表I所示。表2所示為在SPS中結合了語法元素chroma_format_idc的語法設計的示例示意圖，其中ue(v)/u (2) /u (3)表示編碼方法。在本實施例中，色度采樣格式可使用可變長度編碼方法或固定長度編碼方法進行編碼，可變長度編碼方法如無符號指數哥倫布編碼(unsigned Exp-Golombcode)(即ue(v))，固定長度編碼方法如2比特或3比特編碼(即u (2)或u(3))。
【權利要求】
1.一種色度幀內預測方法，基于重建亮度像素，所述方法包含: 由存儲器或處理器接收當前亮度區塊的相鄰重建亮度像素及當前重建亮度像素，其中所述相鄰重建亮度像素包含第一組重建亮度像素與第二組重建亮度像素，所述第一組重建亮度像素位于所述當前亮度區塊的頂部邊界之上，所述第二組重建亮度像素位于所述當前亮度區塊的左側邊界以左； 確定色度采樣格式； 基于所述當前亮度區塊的所述相鄰重建亮度像素及所述當前重建亮度像素，為相應的色度區塊獲取色度幀內預測，其中所述色度幀內預測的獲取是根據所述色度采樣格式進行的；以及 為所述相應的色度中的色度像素的編碼或解碼提供所述色度幀內預測。
2.根據權利要求1所述的方法，其特征在于，與所述色度采樣格式有關的信息包含于序列參數集合、圖像參數集合、自適應參數集合或視頻比特流的片頭中。
3.根據權利要求1所述的方法，其特征在于，所述色度幀內預測的獲取包含:若所述色度采樣格式對應于與多個亮度像素對齊且在一個方向上具有所述多個亮度像素數目一半的所述色度像素，則對所述當前亮度區塊的所述相鄰重建亮度像素及所述當前重建亮度像素進行所述方向上的子采樣。
4.根據權利要求1所述的方法，其特征在于，若所述色度采樣格式對應于與多個亮度像素對齊且在一個方向上具有與所述多個亮度像素數目相同的所述色度像素，則在所述色度幀內預測的獲取期間對所述當前亮度區塊的所述相鄰重建亮度像素及所述當前重建亮度像素不在所述方向上使用子采樣或下采樣。
5.根據權利要求1所述的方法，其特征在于，所述色度幀內預測的獲取包含:若所述色度采樣格式對應于偏離多個亮度像素且在一個方向上具有所述多個亮度像素數目一半的所述色度像素，則對所述當前亮度區塊的所述相鄰重建亮度像素及所述當前重建亮度像素進行所述方向上的下采樣。
6.根據權利要求1所述的方法，其特征在于，對于任意色度采樣格式，所述第一組重建亮度像素對應于由所述當前亮度區塊的所述頂部邊界起的頂部以上第一行像素，以及所述第二組重建亮度像素對應于由所述當前亮度區塊的所述左側邊界起的左側第一列像素。
7.根據權利要求6所述的方法，其特征在于，根據所述色度采樣格式，對由所述當前亮度區塊的所述頂部邊界起的所述第一行像素及由所述當前亮度區塊的所述左側邊界起的所述第一列像素使用子采樣或下采樣。
8.根據權利要求1所述的方法，其特征在于，所述第一組重建亮度像素對應于由所述當前亮度區塊的所述頂部邊界起的頂部以上第一行像素，以及所述第二組重建亮度像素對應于由所述當前亮度區塊的所述左側邊界起的左側第二列像素，以及其中，若所述色度采樣格式對應于4:2:0采樣格式，則對所述頂部以上第一行像素使用下采樣，并對所述左側第二列像素使用下采樣。
9.根據權利要求1所述的方法，其特征在于，所述第一組重建亮度像素對應于由所述當前亮度區塊的所述頂部邊界起的頂部以上第一行像素，以及所述第二組重建亮度像素對應于由所述當前亮度區塊的所述左側邊界起的左側第一列像素，以及其中，若所述色度采樣格式對應于4:2:2采樣格式，則對所述頂部以上第一行像素使用子采樣或下采樣，并對所述左側第一列像素不使用子采樣或下采樣。
10.根據權利要求1所述的方法，其特征在于，所述第一組重建亮度像素對應于由所述當前亮度區塊的所述頂部邊界起的頂部以上第一行像素，以及所述第二組重建亮度像素對應于由所述當前亮度區塊的所述左側邊界起的左側第一列像素，以及其中，若所述色度采樣格式對應于4:4:4采樣格式，對所述頂部以上第一行像素或所述左側第一列像素不使用子采樣或下采樣。
11.一種色度幀內預測裝置，基于重建亮度像素，所述裝置包含: 由存儲器或處理器接收當前亮度區塊的相鄰重建亮度像素及當前重建亮度像素的裝置，其中所述相鄰重建亮度像素包含第一組重建亮度像素與第二組重建亮度像素，所述第一組重建亮度像素位于所述當前亮度區塊的頂部邊界之上，所述第二組重建亮度像素位于所述當前亮度區塊的左側邊界以左； 確定色度采樣格式的裝置； 基于所述當前亮度區塊的所述相鄰重建亮度像素及所述當前重建亮度像素，為相應的色度區塊獲取色度幀內預測的裝置，其中所述色度幀內預測的獲取是根據所述色度采樣格式進行的；以及 為所述相應的色度中的色度像素的編碼或解碼提供所述色度幀內預測的裝置。
12.根據權利要求11所述的裝置，其特征在于，與所述色度采樣格式有關的信息包含于序列參數集合、圖像參數集合、自適應參數集合或視頻比特流的片頭中。
13.根據權利要求11所述的裝置，其特征在于，所述色度幀內預測的獲取包含:若所述色度采樣格式對應于與多個亮度像素對齊且在一個方向上具有所述多個亮度像素數目一半的所述色度像素，則對所述當前亮度區塊的所述相鄰重建亮度像素及所述當前重建亮度像素進行所述方向上的子采樣。
14.根據權利要求11所述的裝置，其特征在于，若所述色度采樣格式對應于與多個亮度像素對齊且在一個方向上具有與所述多個亮度像素數目相同的所述色度像素，則在所述色度幀內預測的獲取期間對所述當前亮度區塊的所述相鄰重建亮度像素及所述當前重建亮度像素不在所述方向上使用子采樣或下采樣。
15.根據權利要求11所述的裝置，其特征在于，所述色度幀內預測的獲取包含:若所述色度采樣格式對應于偏離多個亮度像素且在一個方向上具有所述多個亮度像素數目一半的所述色度像素，則對所述當前亮度區塊的所述相鄰重建亮度像素及所述當前重建亮度像素進行所述方向上的下采樣。
16.根據權利要求11所述的裝置，其特征在于，對于任意色度采樣格式，所述第一組重建亮度像素對應于由所述當前亮度區塊的所述頂部邊界起的頂部以上第一行像素，以及所述第二組重建亮度像素對應于由所述當前亮度區塊的所述左側邊界起的左側第一列像素。
17.根據權利要求16所述的裝置，其特征在于，根據所述色度采樣格式，對由所述當前亮度區塊的所述頂部邊界起的所述第一行像素及由所述當前亮度區塊的所述左側邊界起的所述第一列像素使用子采樣或下采樣。
18.根據權利要求11所述的裝置，其特征在于，所述第一組重建亮度像素對應于由所述當前亮度區塊的所述頂部邊界起的頂部以上第一行像素，以及所述第二組重建亮度像素對應于由所述當前亮度區塊的所述左側邊界起的左側第二列像素，以及其中，若所述色度采樣格式對應于4:2:0采樣格式，則對所述頂部以上第一行像素使用下采樣，并對所述左側第二列像素使用下采樣。
19.根據權利要求11所述的裝置，其特征在于，所述第一組重建亮度像素對應于由所述當前亮度區塊的所述頂部邊界起的頂部以上第一行像素，以及所述第二組重建亮度像素對應于由所述當前亮度區塊的所述左側邊界起的左側第一列像素，以及其中，若所述色度采樣格式對應于4:2:2采樣格式，則對所述頂部以上第一行像素使用子采樣或下采樣，并對所述左側第一列像素不使用子采樣或下采樣。
20.根據權利要求11所述的裝置，其特征在于，所述第一組重建亮度像素對應于由所述當前亮度區塊的所述頂部邊界起的頂部以上第一行像素，以及所述第二組重建亮度像素對應于由所述當前亮度區塊的所述左側邊界起的左側第一列像素，以及其中，若所述色度采樣格式對應于4:4:4采樣格式，對所述頂部以上第一行像素或所述左側第一列像素不使用子采樣或下采樣。
【文檔編號】H04N19/593GK103918269SQ201280051870
【公開日】2014年7月9日 申請日期:2012年12月28日 優先權日:2012年1月4日
【發明者】雷少民, 郭峋 申請人:聯發科技（新加坡）私人有限公司