用于內插視頻譯碼的子像素的值的自適應支持的制作方法
【專利說明】用于內插視頻譚碼的子像素的值的自適應支持
[0001] 分案申請的相關信息
[0002] 本案是分案申請。該分案的母案是申請日為2011年12月7日、申請號為 201180058813.0、發明名稱為"用于內插視頻譯碼的子像素的值的自適應支持"的發明專利 申請案。
[0003] 本申請案主張2010年12月10日申請的第61/422,051號美國臨時申請案的權益，所 述申請案的全部內容W引用的方式并入本文中。
技術領域
[0004] 本發明設及視頻譯碼(例如，對視頻數據編碼和解碼)的領域。
【背景技術】
[0005] 數字視頻能力可并入到各種各樣的裝置中，包含數字電視、數字直播系統、例如無 線電電話手持機等無線通信裝置、無線廣播系統、個人數字助理(PDA)、膝上型或桌上型計 算機、數碼相機、數字記錄裝置、視頻游戲裝置、視頻游戲控制臺等。數字視頻裝置實施例如 MPEG-2、M陽G-4或H.264/MPEG-4第10部分高級視頻譯碼(AVC)等視頻壓縮技術W更有效地 發射和接收數字視頻。視頻壓縮技術執行空間和時間預測W減少或移除視頻序列中固有的 冗余。
【發明內容】
[0006] 本發明描述可由編碼器和解碼器在視頻編碼和/或解碼過程的帖間預測階段期間 應用的濾波技術。所描述的濾波技術可增強在分數像素內插期間使用的預測數據的準確 性，且在一些情況下，可增加譯碼增益。本發明存在若干方面，包含基于將內插濾波器應用 于全像素位置的各種組合來內插子像素位置的值的技術。內插濾波器所應用于的值通常被 稱作"支持"。運些技術還包含基于例如先前經編碼的帖或當前編碼的帖等因素選擇用于子 像素位置的內插濾波器所應用于的支持。
[0007] 在一個方面，一種編碼視頻數據的方法包括接收參考樣本的全整數像素位置的 值。所述方法還包含將內插濾波器應用于所述全整數像素位置的所述值的第一集合，W計 算所述全整數像素位置中的一者的第一子整數像素的值。另外，所述方法還包含將所述內 插濾波器應用于所述全整數像素位置的所述值的第二不同集合，W計算所述全整數像素位 置中的所述一者的第二不同子整數像素的值。所述方法還包括使用指向所述第一子整數像 素和所述第二子整數像素中的一者的運動向量來編碼像素塊。
[000引在另一方面，一種裝置包括視頻譯碼器，所述視頻譯碼器經配置W接收參考樣本 的全整數像素位置的值。所述視頻譯碼器還經配置W將內插濾波器應用于所述全整數像素 位置的所述值的第一集合，W計算所述全整數像素位置中的一者的第一子整數像素的值。 類似地，所述視頻譯碼器經配置W將所述內插濾波器應用于所述全整數像素位置的所述值 的第二不同集合，W計算所述全整數像素位置中的所述一者的第二不同子整數像素的值。 所述視頻譯碼器經進一步配置W使用指向所述第一子整數像素和所述第二子整數像素中 的一者的運動向量來編碼像素塊。
[0009] 在另一方面，一種計算機可讀媒體包括指令，所述指令在視頻譯碼裝置中執行時 使所述裝置譯碼視頻塊。明確地說，所述指令使所述裝置接收參考樣本的全整數像素位置 的值，且將內插濾波器應用于所述全整數像素位置的所述值的第一集合，W計算所述全整 數像素位置中的一者的第一子整數像素的值。所述指令還使所述裝置將所述內插濾波器應 用于所述全整數像素位置的所述值的第二不同集合，W計算所述全整數像素位置中的所述 一者的第二不同子整數像素的值。所述指令進一步使所述裝置使用指向所述第一子整數像 素和所述第二子整數像素中的一者的運動向量來編碼像素塊。
[0010] 在另一方面，提供一種裝置，所述裝置包括用于接收參考樣本的全整數像素位置 的值的裝置。所述裝置進一步包括用于將內插濾波器應用于所述全整數像素位置的所述值 的第一集合W計算所述全整數像素位置中的一者的第一子整數像素的值的裝置。而且，所 述裝置包括用于將所述內插濾波器應用于所述全整數像素位置的所述值的第二不同集合 W計算所述全整數像素位置中的所述一者的第二不同子整數像素的值的裝置及用于使用 指向所述第一子整數像素和所述第二子整數像素中的一者的運動向量來編碼像素塊的裝 置。
[0011] 在又一方面，一種解碼視頻數據的方法包括接收包括全像素位置的參考樣本。所 述方法還包含接收用W內插所述參考樣本的子整數像素的值的所述參考樣本的所述全整 數像素位置的集合的指示。另外，所述方法還包含將內插濾波器應用于所述全整數像素位 置的所述集合W計算所述參考樣本的所述子整數像素的所述值。所述方法進一步包括相對 于所述子整數像素的所述計算出的值解碼像素塊。
[0012] 在另一方面，一種裝置包括視頻解碼器，所述視頻解碼器經配置W接收包括全整 數像素位置的參考樣本。所述視頻解碼器還經配置W接收用W內插所述參考樣本的子整數 像素的值的所述參考樣本的所述全整數像素位置的集合的指示。類似地，所述視頻解碼器 經配置W將內插濾波器應用于所述全整數像素位置的所述集合W計算所述參考樣本的所 述子整數像素的所述值。所述視頻解碼器經進一步配置W相對于所述子整數像素的所述計 算出的值解碼像素塊。
[0013] 在另一方面，一種計算機可讀媒體包括指令，所述指令在視頻譯碼裝置中執行時 使所述裝置譯碼視頻塊。明確地說，所述指令使所述裝置接收包括全整數像素位置的參考 樣本，且接收用W內插所述參考樣本的子整數像素的值的所述參考樣本的所述全整數像素 位置的集合的指示。所述指令還使所述裝置將內插濾波器應用于所述全整數像素位置的所 述集合W計算所述參考樣本的所述子整數像素的所述值。所述指令進一步使所述裝置相對 于所述子整數像素的所述計算出的值解碼像素塊。
[0014] 在另一方面，一種裝置包括用于接收包括全像素位置的參考樣本的裝置，和用于 接收用W內插所述參考樣本的子整數像素的值的所述參考樣本的所述全整數像素位置的 集合的指示的裝置。所述裝置進一步包括用于使用所述全整數像素位置的所述集合計算所 述參考樣本的所述子整數像素的所述值的裝置。所述裝置進一步包含用于相對于所述子整 數像素的所述計算出的值解碼像素塊的裝置。
[0015] 本發明中所描述的技術可W硬件、軟件、固件或其任一組合來實施。如果W軟件實 施，那么軟件可執行于處理器中，處理器可指一個或一個W上處理器，例如微處理器、專用 集成電路(ASIC)、現場可編程口陣列(FPGA)或數字信號處理器(DSP)或其它等效集成或離 散邏輯電路。最初可將包括用W執行所述技術的指令的軟件存儲于計算機可讀媒體中且由 處理器加載及執行。
[0016] 因此，本發明還預期包括指令的計算機可讀媒體，所述指令用W使處理器執行如 本發明中所描述的多種技術中的任一者。在一些情況下，計算機可讀媒體可形成可銷售給 制造商和/或用于裝置中的計算機程序產品的部分。所述計算機程序產品可包含計算機可 讀媒體，且在一些情況下，還可包含封裝材料。
[0017] 本發明還可適用于載運信息的電磁信號。舉例來說，電磁信號可包括與用W內插 參考樣本的子整數像素的值的全像素支持有關的信息。在一些實例中，信號可從實施本文 中所描述的技術的裝置產生或由所述裝置發射。在其它實例中，本發明可適用于可在實施 本文中所描述的技術的裝置處接收的信號。
[0018] 本發明的一個或一個W上方面的細節在附圖及W下描述中陳述。從描述和圖式并 從權利要求書將明白本發明中所描述的技術的其它特征、目的和優點。
【附圖說明】
[0019] 圖1為可用W實施本發明的技術中的一者或一者W上的視頻編碼和解碼系統的一 個實例的框圖。
[0020] 圖2為更詳細地說明圖1的視頻編碼器的實例的框圖。
[0021] 圖3為說明與預測數據相關聯的整數像素位置和與內插的預測數據相關聯的子像 素位置的實例的概念圖。
[0022] 圖4為說明關于子整數像素位置的對角線六像素濾波器支持的實例的概念圖。
[0023] 圖5為說明關于子整數像素位置的X形狀十二像素濾波器支持的實例的概念圖。
[0024] 圖6為說明關于=個水平子像素位置和=個垂直子像素位置的十二像素濾波器支 持的實例的概念圖。
[0025] 圖7為說明關于子像素位置的十二像素濾波器支持的實例的概念圖。
[0026] 圖8為說明關于子整數像素位置的正方形四像素濾波器支持的實例的概念圖。
[0027] 圖9為說明關于子整數像素位置的矩形六像素濾波器支持的實例的概念圖。
[00%]圖10為更詳細地說明圖1的視頻解碼器的實例的框圖。
[0029] 圖11為說明與本發明一致的利用像素濾波器支持的視頻編碼器的實例操作的流 程圖。
[0030] 圖12為說明與本發明一致的利用像素濾波器支持的視頻編碼器的另一實例操作 的流程圖。
[0031] 圖13為說明與本發明一致的確定用于子整數像素的濾波器支持的實例方法的流 程圖。
[0032] 圖14為說明與本發明一致的確定用于子整數像素的濾波器支持的另一實例方法 的流程圖。
[0033] 圖15為說明與本發明一致的利用濾波器支持的視頻解碼器的實例操作的流程圖。
[0034] 圖16為說明與本發明一致的利用濾波器支持的視頻解碼器的另一實例操作的流 程圖。
【具體實施方式】
[0035] 本發明描述可由編碼器和解碼器在視頻編碼和/或解碼過程的帖間預測階段期間 應用的濾波技術。所描述的濾波技術可增強在分數像素內插期間使用的預測數據的準確 性，且在一些情況下，可增加譯碼增益。本發明可互換地使用術語"子像素"、"子整數像素"、 "分數像素"和"子像元"。本發明存在若干方面，包含用W基于任何數目個全像素位置的任 何組合來內插子像素位置的技術，W及用于基于經先前編碼的帖或當前編碼的帖來選擇用 于子像素位置的內插濾波器的支持的技術。下文詳細描述運些和其它技術。
[0036] 基于塊的帖間譯碼為依賴于時間預測來減少或移除視頻序列的經連續譯碼單元 的視頻塊之間的時間冗余的譯碼技術。經譯碼單元可包括視頻帖、視頻帖的切片、圖片組、 或經編碼視頻塊的另一定義單元。對于帖間譯碼，視頻編碼器執行運動估計和運動補償來 估計兩個或兩個W上鄰近的經譯碼單元的視頻塊之間的運動。使用運動估計的技術，視頻 編碼器產生運動向量，所述運動向量可指示視頻塊相對于一個或一個W上參考帖或其它經 譯碼單元中的對應預測視頻塊的位移。使用運動補償的技術，視頻編碼器可使用運動向量 來從一個或一個W上參考帖或其它經譯碼單元產生預測視頻塊。在運動補償之后，視頻編 碼器可通過從正被譯碼的原始視頻塊減去預測視頻塊來計算殘余視頻塊。
[0037] 視頻編碼器還可應用變換、量化和賭譯碼過程來進一步降低與殘余塊的通信相關 聯的位速率。變換技術可包括離散余弦變換(DCT)或概念上類似的過程。或者，可使用小波 變換、整數變換或其它類型的變換。作為實例，在DCT過程中，可將一組像素值轉換為變換系 數，所述變換系數可表示頻域中的像素值的能量。視頻編碼器還可量化變換系數，其通常可 設及減少與對應變換系數相關聯的位的數目的過程。賭譯碼可包含共同地壓縮數據W用于 輸出到位流的一個或一個W上過程，其中經壓縮數據可包含(例如)譯碼模式的序列、運動 信息、譯碼塊樣式，和經量化的變換系數。賭譯碼的實例包含(但不限于)上下文自適應可變 長度譯碼(CAWX)和上下文自適應二進制算術譯碼(CABAC)。
[0038] 經譯碼視頻塊可由可用W創建或識別預測塊的預測信息，W及可應用于預測塊W 重建原始塊的殘余數據塊表示。預測信息可包括用W識別預測數據塊的一個或一個W上運 動向量。使用運動向量，解碼器可能夠重構用W對殘余塊譯碼的預測塊。因此，在給定一組 殘余塊和一組運動向量（W及可能一些額外語法)的情況下，解碼器可重構最初被編碼的視 頻帖。基于運動估計和運動補償的帖間譯碼可實現相對高的壓縮量而無過度數據損耗，運 是因為連續視頻帖或其它類型的經譯碼單元經常為類似的。經編碼視頻序列可包括殘余數 據塊、運動向量化被帖間預測編碼時）、用于帖內預測的帖內預測模式的指示，W及可能其 它數據(例如，語法的類型）。
[0039] 已開發子整數像素內插技術W便改進可在帖間譯碼中實現的壓縮程度的預測準 確性。在此情況下，在運動補償期間產生的預測數據(其用W對視頻塊譯碼)可對應于子整 數像素，子整數像素的值可從參考視頻帖或運動向量所指代的其它經譯碼單元的視頻塊的 全像素的值內插。視頻編碼器可使用內插技術來計算子整數像素位置的值，例如，通過將內 插濾波器應用于支持集合，例如全整數像素的值和/或其它子整數像素位置的先前經譯碼 的值。子整數像素位置在各種實例中可具有各種分辨度，例如二分之一像素、四分之一像 素、八分之一像素、十六分之一像素或其它分辨率。因此，視頻編碼器可在運動估計期間計 算具有子像素精度的運動向量。
[0040] 圖1為可用W實施本發明的技術中的一者或一者W上的視頻編碼和解碼系統10的 一個實例的框圖。如圖1中所示，系統10包含源裝置12,其經由通信信道15將經編碼的視頻 發射到目的地裝置16。源裝置12和目的地裝置16可包括各種各樣的裝置中的任一者。在一 些情況下，源裝置12和目的地裝置16中的任一者或兩者可包括無線通信裝置，例如無線手 持機、所謂的蜂窩式或衛星無線電電話，或可經由通信信道15(在此情況下，通信信道15為 無線的)傳達視頻信息的任何無線裝置。然而，設及在預測譯碼期間預測數據的濾波和產生 的本發明的技術不必限于無線應用或設置。所述技術還可用于各種各樣的其它設置和裝置 中，包含經由物理線、光纖或其它物理或無線媒體通信的裝置。另外，編碼或解碼技術還可 應用于不必與任何其它裝置通信的獨立裝置中。
[0041] 在圖1的實例中，源裝置12可包含視頻源20、視頻編碼器22、調制器/解調器（調制 解調器)23和發射器24。目的地裝置16可包含接收器26、調制解調器27、視頻解碼器28和顯 示裝置30。根據本發明，源裝置12的視頻編碼器22可經配置W應用本發明的技術中的一者 或一者W上W作為視頻編碼過程的一部分。類似地，目的地裝置16的視頻解碼器28可經配 置W應用本發明的技術中的一者或一者W上W作為視頻解碼過程的一部分。
[0042] 再次，圖1的所說明的系統10僅為一個實例。本發明的各種技術可由支持基于塊的 預測編碼的任何編碼裝置或支持基于塊的預測解碼的任何解碼裝置執行。源裝置12和目的 地裝置16僅為運些譯碼裝置的實例，其中源裝置12產生用于發射到目的地裝置16的經譯碼 的視頻數據。在一些情況下，裝置12、16可W大體上對稱的方式操作，W使得裝置12、16中的 每一者包含視頻編碼和解碼組件。因此，系統10可支持視頻裝置12、16之間的單向或雙向視 頻發射，例如用于視頻串流傳輸、視頻重放、視頻廣播或視頻電話。
[0043] 源裝置12的視頻源20可包含視頻俘獲裝置，例如攝像機、含有先前所俘獲的視頻 的視頻存檔，或來自視頻內容提供者的視頻饋入(video feed)。作為另一替代方案，視頻源 20可產生基于計算機圖形的數據作為源視頻，或直播視頻、存檔視頻和/或計算機產生的視 頻的組合。在一些情況下，如果視頻源20為攝像機，那么源裝置12和目的地裝置16可形成所 謂的相機電話或視頻電話，或經配置W操縱視頻數據的其它移動裝置(例如，平板計算裝 置）。在每一情況下，可由視頻編碼器22來編碼經俘獲的、經預先俘獲的或計算機產生的視 頻。經編碼的視頻信息接著可由調制解調器23根據通信標準(例如，碼分多址(CDMA)或另一 通信標準)來調制，且經由發射器24和通信信道15發射到目的地裝置16。調制解調器23可包 含各種混頻器、濾波器、放大器或經設計W用于信號調制的其它組件。發射器24可包含經設