用于視頻編碼和解碼的裝置、方法和計算機程序的制作方法
【技術領域】
[0001]本發明涉及用于視頻編碼和解碼的裝置、方法和計算機程序。
【背景技術】
[0002]視頻編解碼器包括:編碼器，其將輸入視頻變換到適合于存儲和/或傳輸的壓縮表示，以及解碼器，其能夠將壓縮的視頻表示解壓縮回到能夠觀看的形式，或它們中的任何一個。典型地，編碼器丟棄原始視頻序列中的一些信息，以便以更加緊湊的形式來表示視頻，例如以較低的比特率。
[0003]可伸縮視頻編碼指的是編碼結構，在該編碼結構中，一種比特流能夠含有以不同比特率、分辨率或幀速率的內容的多種表示。可伸縮比特流典型地由“基礎層”(其提供可以使用的最低質量視頻)和一個或多個增強層(當其連同較低層一起被接收和解碼時，其增強視頻質量)組成。為了改進針對增強層的編碼效率，該層的編碼表示典型地依賴于較低層。
[0004]針對視頻可伸縮(還被稱為信噪比或SNR)和/或空間可伸縮的可伸縮視頻編解碼器可以如下來實現。對于基礎層，使用傳統的非可伸縮視頻編碼器和解碼器。基礎層的重建/解碼圖像被包含在針對增強層的參考圖像緩沖器中。在使用針對幀間預測的參考圖像列表(多個)的編解碼器中，類似于增強層的解碼參考圖像，可以將基礎層解碼圖像插入到針對編碼/解碼增強層圖像的參考圖像列表(多個)中。因此，編碼器可以選擇基礎層參考圖像作為幀間預測參考以及在編碼比特流中典型地使用參考圖像索引來指示它的使用。解碼器從該比特流(例如從參考圖像索引)解碼:基礎層圖像用作針對增強層的幀間預測參考。
[0005]除了質量可伸縮外，能夠通過空間可伸縮，其中以比增強層圖像更高的分辨率來編碼基礎層圖像，位深可伸縮，其中以比增強層圖像(例如，10或12比特)更低的位深(例如8比特)來編碼基礎層圖像，以及色度格式可伸縮，其中基礎層圖像在色度中提供比增強層圖像(例如，4:2:0格式)更高的保真度(例如，4:4:4色度格式)，來獲得可伸縮。
[0006]在某些情況下，將期望的是，增強僅圖像內的區域而不是整個增強層圖像。然而，如果在當前的可伸縮視頻編碼解決方案中實現，則此類可伸縮將具有太高的復雜度開銷或遭受到編碼效率之苦。例如，考慮位深可伸縮，其中僅視頻圖像內的區域是將以較高位深編碼的目標，然而當前可伸縮編碼解決方案要求以高位深將整個圖像編碼，因此大幅地增加了復雜度。對于色度格式可伸縮的情況，整個圖像的參考存儲器應當是以4:4:4格式，即使僅增強圖像的某個區域，因此增加了存儲器需求。類似地，如果僅針對選擇的區域應用空間可伸縮，則傳統方法要求以全分辨率來存儲和維護整個增強層圖像。
【發明內容】
[0007]本發明從以便使得能夠使用增強的質量和/或空間分辨率以及使用高編碼效率來編碼增強層圖像內的區域的考慮出發，引入了增強層子圖像的新構思。
[0008]根據第一實施例的方法包括一種用于編碼針對給定基礎層圖像的一個或多個增強層子圖像的方法，所述一個或多個增強層子圖像具有小于對應的增強層重建圖像的大小，所述方法包括
[0009]編碼和重建所述基礎層圖像；
[0010]編碼和重建所述一個或多個增強層子圖像；
[0011]從所述重建的一個或多個增強層子圖像重建增強層圖像，其中將在所述重建的一個或多個增強層子圖像的區域之外的樣本從所重建的基礎層圖像復制到所重建的增強層圖像。
[0012]根據一個實施例，所述方法還包括:相對于所述基礎層圖像預測性地編碼所述一個或多個增強層子圖像。
[0013]根據一個實施例，允許相對于較早編碼的增強層圖像預測性地編碼所述增強層子圖像。
[0014]根據一個實施例，允許相對于較早編碼的增強層子圖像預測性地編碼所述增強層子圖像。
[0015]根據一個實施例，所述增強層子圖像含有針對對應的基礎層圖像的增強信息，所述增強信息包含以下中的至少一個:
[0016]-相對于所述對應的基礎層圖像的色度，增加所述一個或多個增強層子圖像的色度的保真度；
[0017]-相對于所述對應的基礎層圖像的位深，增加所述一個或多個增強層子圖像的位株;
[0018]-相對于所述對應的基礎層圖像的質量，增加所述一個或多個增強層子圖像的質量;或
[0019]-相對于所述對應的基礎層圖像的空間分辨率，增加所述一個或多個增強層子圖像的空間分辨率。
[0020]根據一個實施例，使用與編碼針對增強層圖像的增強層信息一樣的語法來編碼針對子圖像的增強層信息。
[0021]根據一個實施例，所述增強層子圖像的左上角可以與圖像的最大編碼單元(LCU)的左上角對齊。
[0022]根據一個實施例，所述增強層子圖像的大小可以被限制為最大編碼單元(LCU)的大小或預測單元(PU)的大小或編碼單元(⑶)的大小的整數倍(1，2，3，4，…)。
[0023]根據一個實施例，如果相對于基礎層預測性地編碼所述增強層子圖像，則預測過程可以被限制以便僅在基礎層圖像的共位區域內的像素是能夠使用的。
[0024]根據一個實施例，增強層子圖像的數量能夠針對不同圖像而改變或保持固定。
[0025]根據一個實施例，如果相對于基礎層預測性地編碼所述增強層子圖像，則預測過程可以涉及不同的圖像處理操作。
[0026]根據一個實施例，第一增強層子圖像可以增強與第二增強層子圖像不同的圖像特征。
[0027]根據一個實施例，單個增強層子圖像可以增強圖像的多個特征。
[0028]根據一個實施例，所述增強層子圖像的大小和位置可以針對不同圖像而改變或保持固定。
[0029]根據一個實施例，所述增強層子圖像的方位和大小可以與在所述基礎層圖像中使用的圖塊或片相同。
[0030]根據一個實施例，所述增強層子圖像的大小和方位可以被限制使得它們在空間上不重疊。
[0031]根據一個實施例，可以允許所述增強層子圖像的大小和方位在空間上重疊。
[0032]根據一個實施例，可以在補充增強信息(SEI)消息的形式中實現增強層子圖像構思。
[0033]根據一個實施例，所述一個或多個增強層子圖像被轉換為在所述重建的一個或多個增強層子圖像的區域之外的從所重建的基礎層圖像復制到所重建的增強層圖像的樣本中使用的相同的格式。
[0034]一種根據第二實施例的裝置，所述裝置包括:
[0035]視頻編碼器，其被配置為用于編碼包括基礎層和至少一個增強層的可伸縮比特流，其中所述視頻編碼器還被配置為用于
[0036]編碼和重建基礎層圖像；
[0037]編碼和重建針對所述基礎層圖像的一個或多個增強層子圖像，所述一個或多個增強層子圖像具有小于對應的增強層重建圖像的大小；
[0038]從所述重建的一個或多個增強層子圖像重建增強層圖像，其中將在所述重建的一個或多個增強層子圖像的區域之外的樣本從所重建的基礎層圖像復制到所重建的增強層圖像。
[0039]根據第三實施例，提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質在其上存儲有供裝置使用的代碼，當由處理器運行所述代碼時，所述代碼使得所述裝置執行:
[0040]編碼包括基礎層和至少一個增強層的可伸縮比特流；
[0041]編碼和重建基礎層圖像；
[0042]編碼和重建針對所述基礎層圖像的一個或多個增強層子圖像，所述一個或多個增強層子圖像具有小于對應的增強層重建圖像的大小；
[0043]從所述重建的一個或多個增強層子圖像重建增強層圖像，其中將在所述重建的一個或多個增強層子圖像的區域之外的樣本從所重建的基礎層圖像復制到所重建的增強層圖像。
[0044]根據第四實施例，提供了至少一個處理器和至少一個存儲器，所述至少一個存儲器在其上存儲有代碼，當由所述至少一個處理器運行所述代碼時，所述代碼使得裝置執行:
[0045]編碼包括基礎層和至少一個增強層的可伸縮比特流；
[0046]編碼和重建基礎層圖像；
[0047]編碼和重建針對所述基礎層圖像的一個或多個增強層子圖像，所述一個或多個增強層子圖像具有小于對應的增強層重建圖像的大小；
[0048]從所述重建的一個或多個增強層子圖像重建增強層圖像，其中將在所述重建的一個或多個增強層子圖像的區域之外的樣本從所重建的基礎層圖像復制到所重建的增強層圖像。
[0049]根據第五實施例，提供了一種用于解碼包括基礎層和至少一個增強層的可伸縮比特流的方法，所述方法包括
[0050]解碼基礎層圖像；
[0051]解碼針對所述基礎層圖像的一個或多個增強層子圖像，所述一個或多個增強層子圖像具有小于對應的增強層重建圖像的大小；以及
[0052]從所述解碼的一個或多個增強層子圖像重建解碼的增強層圖像，其中將在所述解碼的一個或多個增強層子圖像的區域之外的樣本從所解碼的基礎層圖像復制到所重建的增強層圖像。
[0053]根據一個實施例，將所解碼的增強層圖像子圖像與所解碼的增強層圖像分開地放置在參考幀緩沖器中。
[0054]根據一個實施例，解碼的增強層圖像沒有被放置在參考幀緩沖器中，而是解碼的增強層子圖像被放置在所述參考幀緩沖器中。
[0055]根據一個實施例，如果使用空間可伸縮，則從上采樣的基礎層圖像復制在所述增強層子圖像區域之外的樣本。
[0056]根據一個實施例，解碼所述一個或多個增強層子圖像使用來自基礎層的信息。
[0057]根據一個實施例，所述一個或多個增強層子圖像被轉換為在所述重建的一個或多個增強層子圖像的區域之外的從所解碼的基礎層圖像復制到所重建的增強層圖像的樣本中使用的相同的格式，以及所述轉換的增強層圖像被合并以在參考幀緩沖器中形成單個增強層圖像。
[0058]一種根據第六實施例的裝置，所述裝置包括:
[0059]視頻解碼器，其被配置為用于解碼包括基礎層和至少一個增強層的可伸縮比特流，所述視頻解碼器被配置為用于
[0060]解碼基礎層圖像；
[0061]解碼針對所述基礎層圖像的一個或多個增強層子圖像，所述一個或多個增強層子圖像具有小于對應的增強層重建圖像的大小；以及
[0062]從所述解碼的一個或多個增強層子圖像重建解碼的增強層圖像，其中將在所述解碼的一個或多個增強層子圖像的區域之外的樣本從所解碼的基礎層圖像復制到所重建的增強層圖像。
[0063]根據第七實施例，提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質在其上存儲有供裝置使用的代碼，當由處理器運行所述代碼時，所述代碼使得所述裝置執行:
[0064]解碼包括基礎層和至少一個增強層的可伸縮比特流，所述視頻解碼器被配置為用于
[0065]解碼基礎層圖像；
[0066]解碼針對給定基礎層圖像的一個或多個增強層子圖像，所述一個或多個增強層子圖像具有小于對應的增強層重建圖像的大小；以及
[0067]從所述解碼的一個或多個增強層子圖像重建解碼的增強層圖像，其中將在所述解碼的一個或多個增強層子圖像的區域之外的樣本從所解碼的基礎層圖像復制到所重建的增強層圖像。
[0068]根據第八實施例，提供了至少一個處理器和至少一個存儲器，所述至少一個存儲器在其上存儲有代碼，當由所述至少一個處理器運行所述代碼時，所述代碼使得裝置執行:
[0069]解碼包括基礎層和至少一個增強層的可伸縮比特流，所述視頻解碼器被配置為用于
[0070]解碼基礎層圖像；
[0071]解碼針對所述基礎層圖像的一個或多個增強層子圖像，所述一個或多個增強層子圖像具有小于對應的增強層重建圖像的大小；以及
[0072]從所述解碼的一個或多個增強層子圖像重建解碼的增強層圖像，其中將在所述解碼的一個或多個增強層子圖像的區域之外的樣本從所解碼的基礎層圖像復制到所重建的增強層圖像。
[0073]根據第九實施例，提供了視頻編碼器，所述視頻編碼器用于編碼包括基礎層和至少一個增強層的可伸縮比特流，其中所述視頻編碼器還被配置為用于
[0074]編碼和重建基礎層圖像；
[0075]編碼和重建針對所述基礎層圖像的一個或多個增強層子圖像，所述一個或多個增強層子圖像具有小于對應的增強層重建圖像的大小；以及
[0076]從所述重建的一個或多個增強層子圖像來重建增強層圖像，其中將在所述重建的一個或多個增強層子圖像的區域之外的樣本從所重建的基礎層圖像復制到所重建的增強層圖像。
[0077]根據第十實施例，提供了視頻解碼器，所述視頻解碼器被配置為用于解碼包括基礎層和至少一個增強層的可伸縮比特流，所述視頻解碼器被配置為用于
[0078]解碼基礎層圖像；
[0079]解碼針對所述基礎層圖像的一個或多個增強層子圖像，所述一個或多個增強層子圖像具有小于對應的增強層重建圖像的大小；以及
[0080]從所述解碼的一個或多個增強層子圖像重建解碼的增強層圖像，其中將在所述解碼的一個或多個增強層子圖像的區域之外的樣本從所解碼的基礎層圖像復制到所重建的增強層圖像。
【附圖說明】
[0081]為了更好地理解本發明，現在參照作為示例的附圖，在附圖中:
[0082]圖1示意性示出了使用本發明的一些實施例的電子設備；
[0083]圖2示意性示出了適用于使用本發明的一些實施例的用戶設備；
[0084]圖3進一步示意性示出了使用無線和有線網絡連接的使用本發明的實施例的電子設備；
[0085]圖4示意性地示出了適用于實現本發明的一些實施例的編碼器；
[0086]圖5示出了根據本發明的一個實施例的增強層子圖像的構思；
[0087]圖6示出了根據本發明的另一個實施例的增強層子圖像的構思；
[0088]圖7示出了用于將參考從基礎層圖像限制到增強層子圖像的實施例；
[0089]圖8示出了根據本發明的一些實施例將增強層子圖像應用于3d和多視角視頻編碼的示例；以及
[0090]圖9示出了根據本發明的一些實施例的解碼器的示意圖。
【具體實施方式】
[0091]以下詳細描述用于編碼增強層子圖像而不顯著地犧牲編碼效率的合適的裝置和可能的機制。在這點上，首先參照圖1，圖1示出了示例性裝置或電子設備50的示意性框圖，該裝置或電子設備50可以并入根據本發明的實施例的編解碼器。
[0092]電子設備50例如可以是無線通信系統的移動終端或用戶設備。然而，將理解的是，可以在可以要求編碼和解碼或編碼或解碼視頻圖像的任何電子設備或裝置內實現本發明的實施例。
[0093]裝置50可以包括:用于容納和保護該設備的殼體30。裝置50還可以包括以液晶顯示器形式的顯示器32。在本發明的其它實施例中，顯示器可以是適合于顯示圖像或視頻的任何合適的顯示器技術。裝置50還可以包括小鍵盤34。在本發明的其它實施例中，可以使用任何合適的數據或用戶接口機構。例如，用戶接口可以被實現成作為觸摸敏感顯示器的一部分的虛擬鍵盤或數據輸入系統。裝置可以包括麥克風36或任何合適的音頻輸入器，其可以是數字或模擬信號輸入器。裝置50還可以包括音頻輸出設備，在本發明的實施例中，所述音頻輸出設備可以是以下中的任何一個:耳機38、揚聲器、或模擬音頻或數字音頻輸出連接件。裝置50還可包括電池40 (或者在本發明的其它實施例中，可以由任何合適的移動能量設備，諸如太陽能電池、燃料電池或發條發電機，向該設備提供電力)。裝置還可以包括紅外線端口 42以用于至其它設備的短距視線通信。在其它實施例中，裝置50還可以包括任何合適的短距通信解決方案，諸如例如藍牙無線連接或USB/火線有線連接。
[0094]裝置50可以包括用于控制裝置50的控制器56或處理器。控制器56可以連接到存儲器58，在本發明的實施例中，存儲器58可以存儲以圖像和音頻數據形式的數據，并且/或還可以存儲用于在控制器56上實現的指令。控制器56還可以連接到編解碼電路54，該編解碼電路54適用于執行對音頻和/或視頻數據的編碼和解碼或幫助由控制器56執行的編碼和解碼。
[0095]裝置50還可以包括卡閱讀器48和智能卡46，UICC和WCC閱讀器以用于提供用戶信息并且適用于提供用于在網絡上對用戶進行認證和授權的認證信息。
[0096]裝置50可以包括:無線電接口電路52，其連接到控制器并且適用于生成例如用于與蜂窩通信網絡、無線通信系統和/或無線局域網進行通信的無線通信信號。裝置50還可以包括:天線44，其連接到無線電接口電路52以用于將在無線電接口電路52處生成的射頻信號傳送給其它裝置(多個)以及用于接收來自其它裝置(多個)的射頻信號。
[0097]在本發明的一些實施例中，裝置50包括:相機，其能夠記錄或檢測個體幀，該個體幀然后被運送給用于處理的編解碼器54或控制器。在本發明的其它實施例中，裝置可以在傳輸和/或存儲之前接收來自另一個設備的用于處理的視頻圖像數據。在本發明的其它實施例中，裝置50可以無線地或通過有線連接接收用于編碼/解碼的圖像。
[0098]參照圖3，示出了系統的示例，在該系統內能夠使用本發明的實施例。系統10包括:多個通信設備，它們能夠通過一個或多個網絡進行通信。系統10可以包括有線網絡或無線網絡的任何組合，有線網絡或無線網絡包括但不限于:無線蜂窩電話網絡(諸如GSM、UMTS, CDMA網絡等)，無線局域網(WLAN)，諸如由IEEE 802.x標準中的任何標準定義的WLAN，藍牙個域網，以太網局域網，令牌環局域網，廣域網以及互聯網。
[0099]系統10可以包含:適用于實現本發明的實施例的有線和無線通信設備兩者或裝置50。
[0100]例如，在圖3中示出的系統示出了移動電話網絡11和互聯網28的表示。至互聯網28的連通性可以包含但不限于:長距無線連接，短距無線連接，以及各種有線連接，包括但不限于電話線，電纜線，電力線，和類似的通信路徑。
[0101]在系統10中示出的示例性通信設備可以包含但不限于:裝置或裝置50，個人數字助理(PDA)和移動電話的組合14，PDA 16，集成消息發送設備(MD) 18，桌面計算機20，筆記本計算機22。裝置50可以是固定的或當由移動中的個體攜帶時是移動的。裝置50還可以位于任何模式的交通工具中，交通工具包含但不限于汽車、卡車、出租車、公交車、火車、船、飛機、自行車、摩托車或任何類似的合適模式的交通工具。
[0102]一些或其它裝置可以發送和接收呼叫和消息，并且通過至基站24的無線連接25與服務提供者通信。基站24可以連接到網絡服務器26，其允許移動電話網絡11和互聯網28之間的通信。系統可以包含附加的通信設備和各種類型的通信設備。
[0103]通信設備可以使用各種傳輸技術來通信，各種傳輸技術包括但不限于:碼分多址接入(CDMA)，全球移動通信系統(GSM)，通用移動通信系統(UMTS)，時分多址接入(TDMA)，頻分多址接入(FDMA)，傳輸控制協議-互聯網協議(TCP-1P)，短消息服務(SMS)，多媒體消息服務(MMS)，電子郵件，即時消息服務(MS)，藍牙，IEEE 802.11和任何類似的無線通信技術。在實現本發明的各種實施例中涉及的通信設備可以使用各種介質進行通信，各種介質包含但不限于:無線電，紅外線，激光，電纜連接，和任何合適的連接。
[0104]視頻編解碼器由編碼器，其將輸入視頻變換到適合于存儲和/或傳輸的壓縮表示，以及解碼器，其能夠將壓縮的視頻表示解壓縮回到能夠觀看的形式，組成。典型地，編碼器丟棄原始視頻序列中的一些信息，以便以更加緊湊的形式來表示視頻(即，以較低的比特率)。
[0105]典型的混合視頻編解碼器，例如ITU-T H.263和H.264，在兩個階段中編碼視頻信息。首先，例如通過運動補償方法(發現并且指示在先前編碼視頻幀中的一個先