在shvc中有條件地調用再取樣過程的制作方法

在shvc中有條件地調用再取樣過程的制作方法
【技術領域】
[0001]本發明涉及視頻譯碼和壓縮的領域。具體來說，其涉及可縮放視頻譯碼(SVC)，包含用于高級視頻譯碼(AVC)的SVC以及用于高效率視頻譯碼(HEVC)的SVC，其還被稱作可縮放HEVC(SHVC)。其也與3D視頻譯碼相關，例如HEVC的多視圖擴展(被稱作MV-HEVC)。各種實施例涉及用于改進的層間預測信令及相關過程(例如，層間參考圖片集的導出、參考圖片列表的導出等)的系統和方法。
【背景技術】
[0002]數字視頻能力可并入到廣泛范圍的裝置中，包含數字電視、數字直播系統、無線廣播系統、個人數字助理(PDA)、膝上型或桌上型計算機、平板計算機、電子圖書閱讀器、數碼相機、數字記錄裝置、數字媒體播放器、視頻游戲裝置、視頻游戲控制臺、蜂窩式或衛星無線電電話、所謂的“智能電話”、視頻電話會議裝置、視頻流式傳輸裝置及其類似者。數字視頻裝置實施視頻譯碼技術，例如由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分高級視頻譯碼(AVC)所定義的標準、目前正在開發的高效視頻譯碼(HEVC)標準及這些標準的擴展中所描述的視頻譯碼技術。視頻裝置可通過實施此些視頻譯碼技術而更有效地發射、接收、編碼、解碼及/或存儲數字視頻信息。
[0003]視頻譯碼技術包含空間(圖片內)預測和/或時間(圖片間)預測以減少或去除視頻序列中固有的冗余。對于基于塊的視頻譯碼，視頻切片(即，視頻幀或視頻幀的一部分)可分割成視頻塊，所述視頻塊還可被稱作樹塊、譯碼單元(CU)和/或譯碼節點。使用相對于同一圖片中的相鄰塊中的參考樣本的空間預測對圖片的經幀內譯碼(I)切片中的視頻塊進行編碼。圖片的經幀間譯碼(P或B)切片中的視頻塊可使用關于同一圖片中的相鄰塊中的參考樣本的空間預測或關于其它參考圖片中的參考樣本的時間預測。圖片可被稱為幀，且參考圖片可被稱為參考幀。
[0004]空間或時間預測導致用于待譯碼塊的預測性塊。殘余數據表示待譯碼原始塊與預測塊之間的像素差。經幀間譯碼塊是根據指向形成預測性塊的參考樣本塊的運動向量及指示經譯碼塊與預測性塊之間的差的殘余數據而編碼。經幀內譯碼塊是根據幀內譯碼模式和殘余數據而編碼。為了實現進一步壓縮，可以將殘余數據從像素域變換到變換域，從而產生殘余變換系數，接著可以對殘余變換系數進行量化。可掃描最初布置為二維陣列的經量化的變換系數，以便產生變換系數的一維向量，且可應用熵譯碼以實現更多壓縮。

【發明內容】

[0005]一般來說，本發明描述與可縮放視頻譯碼(SVC)有關的技術。下文描述的各種技術提供描述用于確定是否對層間參考圖片進行再取樣的方法和裝置。
[0006]根據某些方面的用于對視頻信息進行譯碼的設備包含存儲器和操作性地耦合到所述存儲器的處理器。所述存儲器單元經配置以存儲與用于待譯碼當前圖片的層間參考圖片相關聯的視頻信息。所述處理器經配置以:接收與經配置以界定所述層間參考圖片的經再取樣版本的區的多個層間參考偏移相關的信息，其中所述區用以產生所述當前圖片的預測，且其中所述多個層間參考偏移包含各自相對于所述當前圖片指定的左偏移、頂部偏移、右偏移和底部偏移；至少部分地基于所述多個層間參考偏移而確定是否對所述層間參考圖片進行再取樣；以及響應于確定對所述層間參考圖片進行再取樣，對所述層間參考圖片進行再取樣。
[0007]在附圖及以下描述中陳述一或多個實例的細節，其并不希望限制本文中所描述的發明性概念的完整范圍。其它特征、目標和優點將從描述內容和圖式以及從權利要求書中顯而易見。
【附圖說明】
[0008]貫穿所述圖式，參考數字可再使用以指示參考元件之間的對應關系。提供圖式以說明本文中描述的實例實施例，并且無意限制本發明的范圍。
[0009]圖1是說明可利用根據本發明中描述的方面的技術的實例視頻編碼和解碼系統的框圖。
[0010]圖2A是說明可實施根據本發明中描述的方面的技術的視頻編碼器的實例的框圖。
[0011]圖2B是說明可實施根據本發明中描述的方面的技術的視頻編碼器的實例的框圖。
[0012]圖3A是說明可實施本發明中描述的方面的技術的視頻解碼器的實例的框圖。
[0013]圖3B是說明可實施根據本發明中描述的方面的技術的視頻解碼器的實例的框圖。
[0014]圖4是說明參考層與增強層之間的圖片縱橫比可縮放性的實例的圖。
[0015]圖5是說明參考層與增強層之間的圖片縱橫比可縮放性的另一實例的圖。
[0016]圖6是說明根據本發明的方面的用于調用再取樣過程的實例條件的框圖。
[0017]圖7是說明根據本發明的方面的用于確定是否對層間參考圖片進行再取樣的方法的流程圖。
【具體實施方式】
[0018]本發明中描述的技術一般涉及可縮放視頻譯碼(SHVC，SVC)及多視圖/3D視頻譯碼(例如，多視圖譯碼加深度，MVC+D)。舉例來說，所述技術可與高效率視頻譯碼(HEVC)可縮放視頻譯碼(SVC，有時稱為SHVC)擴展相關，且與其一起或在其內使用。在SHVC、SVC擴展中，可存在多個視頻信息層。視頻信息的最低層級處的層可充當基礎層(BL)或參考層(RL)，且視頻信息的最頂部(或最高層)處的層可充當增強層(EL)。“經增強層”有時被稱作“增強層”，且這些術語可互換地使用。“基礎層”有時被稱作“參考層”，且這些術語也可互換地使用。基礎層與頂部層之間的所有層可充當額外EL和/或參考層。舉例來說，給定層可為用于所述給定層下方(例如，在前面)的層(例如基礎層或任何介入增強層)的EL。此外，給定層還可充當用于給定層上方(例如，在之后)的一或多個增強層的RL。基礎層(例如，具有例如設定為或等于“I”的層識別(ID)的最低層)與頂部層(或最高層)之間的任何層可用作用于比給定層高的層的層間預測的參考，且可使用比給定層低的層作為用于層間預測的參考。舉例來說，可使用比給定層低的層作為用于層間預測的參考來確定給定層。
[0019]為簡單起見，根據僅兩個層來呈現實例:BL及EL ;然而，應很好地理解，下文描述的構想及實施例還適用于具有多個層的情況。此外，為了易于解釋，常常使用術語“幀”或“塊”。然而，這些術語不打算是限制性的。例如，下文描述的技術可與多種視頻單元中的任一者使用，視頻單元包含但不限于像素、塊(例如，CU、PU、TU、宏塊等)、切片、幀、圖片等。
[0020]視頻譯碼
[0021]視頻譯碼標準包含ITU-T H.261、IS0/IEC MPEG-1 Visual、ITU-T H.262 或 ISO/IEC MPEG-2 Visual、ITU-T H.263、IS0/IEC MPEG-4 Visual 及 ITU-T H.264(也被稱作IS0/IEC MPEG-4 AVC)，包含其可縮放視頻譯碼(SVC)及多視圖視頻譯碼(MVC)及多視圖譯碼加上深度(MVC+D)擴展。最新的HEVC草案規范(且下文中被稱作HEVC WDI O)可從 http://phenix.1nt-evry.fr/jct/doc_end_user/documents/12_Geneva/wgll/JCTVC-L1003-v34.zip獲得。HEVC的多視圖擴展(即MV-HEVC)也正由JCT-3V開發。下文的 MV-HEVC WD3 (中)的最近工作草案(WD)可從 http://phenix.1t-sudparis.eu/jct2/doc_end_user/documents/3_Geneva/wgll/JCT3V-C1004-v4.zip 獲得。被稱為 SHVC 的對HEVC的可縮放擴展也正由JCT-VC開發。SHVC的最近工作草案(WD)(且在下文被稱作SHVCWDl)可從 http://phenix.1nt-evry.fr/jet/doc_end_user/documents/12_Geneva/wgll/JCTVC-L1008-vl.zip 獲得。
[0022]在SVC和SHVC中，視頻信息可作為多個層提供。在最底部層級處的層可僅充當基礎層(BL)，且在最頂部層級處的層可充當增強層(EL)。頂部層與底部層之間的所有層可充當增強層及參考層兩者。舉例來說，在中間的層可為用于其下方的層的EL，且同時作為用于其上方的層的RL。出于描述的簡單性起見，在說明下文描述的技術時，可假設存在兩個層:BL及EL。然而，本文中描述的所有技術還適用于具有多個(兩個以上)層的情況。
[0023]可縮放視頻譯碼(SVC)可用于提供質量(還被稱作信噪比(SNR))可縮放性、空間可縮放性及/或時間可縮放性。舉例來說，在一個實施例中，參考層(例如，基礎層)包含足以在第一質量水平下顯示視頻的視頻信息，且增強層包含相對于所述參考層的額外視頻信息，以使得所述參考層及所述增強層一起包含足以在高于所述第一水平的第二質量水平(例如，更少的噪聲、更大的分辨率、更好的幀速率等)下顯示視頻的視頻信息。經增強層可具有與基礎層不同的空間分辨率。舉例來說，EL與BL之間的空間縱橫比可為1.0,1.5,2.0或其它不同比率。換句話說，EL的空間方面可等于BL的空間方面的1.0、1.5或2.0倍。在一些實例中，EL的按比例縮放因數可大于BL。舉例來說，EL中的圖片的大小可大于BL中的圖片的大小。以此方式，可有可能(但不限于)EL的空間分辨率大于BL的空間分辨率。
[0024]在涉及用于H.264的SVC擴展或用于H.265的SHVC擴展(如上文所論述)的SVC中，當前塊的預測可使用為SVC提供的不同層來執行。此預測可被稱作層間預測。在SVC中可利用層間預測方法以便減少層間冗余。層間預測的一些實例可包含層間幀內預測、層間運動預測及層間殘余預測。層間幀內預測使用基礎層中的位于同一地點的塊的重構來預測增強層中的當前塊。層間運動預測使用基礎層的運動信息(包含運動向量)來預測增強層中的運動。層間殘余預測使用基礎層的殘余來預測增強層的殘余。
[0025]概沭
[0026]在僅高級語法SHVC中，僅在切片或更高層級處允許對語法的改變。舉例來說，已提議SHVC高級語法設計，其方式為使得當對當前增強層圖片進行譯碼時來自參考層(例如，具有與當前圖片的圖片次序計數(POC)值相同的POC值的參考層圖片)的位于同一地點的經重構圖片(必要時經再取樣)可用作層間參考圖片。這可允許進行層間預測而無需任何低層級譯碼過程改變。因此，來自不同層的整個參考圖片可需要經上取樣或經再取樣，因為塊層級再取樣不可用。來自另一層的參考圖片可被稱為“層間參考圖片”。在層間預測中，當前圖片的預測可基于層間參考圖片而產生。然而，層間參考圖片的僅一部分或區可以用于產生當前圖片的預測。所述區可在層間參考圖片的經上取樣或經再取樣版本的方面界定。舉例來說，SHVC可使用經按比例縮放參考層偏移，其可為相對于當前圖片指示在預測中使用的經上取樣或經再取樣層間參考圖片的區的偏移。下文更詳細闡釋經按比例縮放參考層偏移。
[0027]SHVC工作草案的早期版本僅使用圖片大小來確定層間參考圖片是否應經再取樣。然而，由于層間參考圖片(或經上取樣或經再取樣層間參考圖片)的僅一部分(例如，區)可以用于預測當前圖片，因此僅考慮圖片大小可能不足夠。并且，SHVC還可支持位深度可縮放性，例如，參考層和增強層可能具有不同位深度。當參考層和增強層具有相同圖片大小但位深度不同時也可能需要調用再取樣過程。
[0028]為了解決這些和其它問題，本發明中描述的技術界定用于調用層間參考圖片的再取樣過程的條件，其考慮了經按比例縮放參考層偏移。在一些實施例中，所述條件可基于空間分辨率和經按比例縮放參考層偏移。在其它實施例中，所述條件可基于空間分辨率、色度格式、位深度以及經按比例縮放參考層偏移。通過在確定是否再取樣層間參考圖片中并入經按比例縮放參考層偏移，所述技術可當層間參考圖片的僅一部分用于層間預測時適當地再取樣層間參考圖片。如果在確定是否再取樣層間參考圖片中不考慮經按比例縮放參考層偏移，那么在其中層間參考圖片應經再取樣的情況下可不調用再取樣過程(例如，層間參考圖片具有相同圖片大小，但經按比例縮放參考層偏移指示層間參考圖片的僅一部分被使用，且應調用再取樣過程以具有正確的層間預測)。考慮經按比例縮放參考層偏移可導致在識別何時應再取樣層間參考圖片中的改進的準確性，并且因此可得到較好預測結果，因為在預測中可使用適當地經再取樣層間參考圖片。
[0029]下文參考附圖更充分地描述新穎系統、設備及方法的各個方面。然而，本發明可以許多不同形式來體現，且不應將其解釋為限于貫穿本發明所呈現的任何特定結構或功能。而是，提供這些方面以使得本發明將為透徹且完整的，并且將向所屬領域的技術人員充分傳達本發明的范圍。基于本文中的教示，所屬領域的技術人員應了解，本發明的范圍既定涵蓋無論是獨立于本發明的任何其它方面而實施還是與之組合而實施的本文中所揭示的新穎系統、設備及方法的任何方面。舉例來說，可使用本文中所陳述的任何數目個方面來實施設備或實踐方法。另外，本發明的范圍既定涵蓋使用除本文中所闡述的本發明的各種方面之外的或不同于本文中所闡述的本發明的各種方面的其它結構、功能性或結構與功能性來實踐的此設備或方法。應理解，可通過權利要求的一或多個要素來體現本文中所揭示的任何方面。
[0030]盡管本文描述了特定方面，但這些方面的許多變化及排列屬于本發明的范圍。盡管提及了優選方面的一些益處和優點，但本發明的范圍并不希望限于特定益處、用途或目標。實際上本發明的方面既定廣泛地適用于不同無線技術、系統配置、網絡和發射協議，其中的一些是借助于實例而在圖中以及在優選方面的以下描述中說明。詳細描述和圖式僅說明本發明，而不具有限制性，本發明的范圍由所附權利要求書及其等效物界定。
[0031]視頻譯碼系統
[0032]圖1是說明可利用根據本發明中所描述的方面的技術的實例視頻譯碼系統10的框圖。如本文中所描述地使用，術語“視頻譯碼器”一般指代視頻編碼器和視頻解碼器兩者。在本發明中，術語“視頻譯碼”或“譯碼”可一般地指視頻編碼和視頻解碼。
[0033]如圖1中所示，視頻譯碼系統10包含源裝置12及目的地裝置14。源裝置12產生經編碼視頻數據。目的地裝置14可對由源裝置12產生的經編碼視頻數據進行解碼。源裝置12可經由通信信道16將視頻數據提供到目的地裝置14，通信信道16可包含計算機可讀存儲媒體或其它通信信道。源裝置12及目的地裝置14可包含廣泛范圍的裝置，包含桌上型計算機、筆記型(例如，膝上型)計算機、平板計算機、機頂盒、電話手持機(例如所謂的“智能”電話、所謂的“智能”板)、電視、相機、顯示裝置、數字媒體播放器、視頻游戲控制臺、車載計算機、視頻流式傳輸裝置，等等。源裝置12和目的地裝置14可經裝備以用于無線通
?目O
[0034]目的地裝置14可經由通信信道16接收待解碼的經編碼視頻數據。通信信道16可包括能夠將經編碼視頻數據從源裝置12移動到目的地裝置14的任何類型的媒體或裝置。舉例來說，通信信道16可包括使得源裝置12能夠實時地將經編碼視頻數據直接發射到目的地裝置14的通信媒體。經編碼視頻數據可以根據通信標準(例如，無線通信協議)來調制，并且被發射到目的地裝置14。通信媒體可包括無線或有線通信媒體，例如射頻(RF)頻譜或一或多個物理發射線。通信媒體可形成基于包的網絡(例如局域網、廣域網或全球網絡，例如因特網)的部分。通信媒體可包含路由器、交換器、基站或可用于促進從源裝置12到目的地裝置14的通信的其它設備。
[0035]在一些實施例中，經編碼數據可從輸出接口 22輸出到存儲裝置。在此些實例中，信道16可對應于存儲由源裝置12產生的經編碼視頻數據的存儲裝置或計算機可讀存儲媒體。例如，目的地裝置14可經由磁盤存取或卡存取來存取所述計算機可讀存儲媒體。類似地，可通過輸入接口 28從計算機可讀存儲媒體存取經編碼數據。計算機可讀存儲媒體可包含多種分布式或在本地存取的數據存儲媒體中的任一者，例如硬盤驅動器、藍光光盤、DVD、CD-ROM、快閃存儲器、易失性或非易失性存儲器，或用于儲存視頻數據的其它數字存儲媒體。計算機可讀存儲媒體可對應于文件服務器或可存儲由源裝置12產生的經編碼視頻的另一中間存儲裝置。目的地裝置14可經由流式傳輸或下載從計算機可讀存儲媒體存取所存儲的視頻數據。文件服務器可為能夠存儲經編碼視頻數據且將經編碼視頻數據發射到目的地裝置14的類型的服務器。實例文件服務器包含網絡服務器(例如，用于網站)、FTP服務器、網絡附接存儲(NAS)裝置或本地磁盤驅動器。目的地裝置14可經由標準數據連接(包含因特網連接)來存取經編碼的視頻數據。此可包含適合于存取存儲于文件服務器上的經編碼的視頻數據的無線信道(例如，W1-Fi連接)、有線連接(例如，DSL、電纜調制解調器等)或兩者的組合。經編碼視頻數據從計算機可讀存儲媒體的發射可為流式傳輸發射、下載發射或兩者的組合。
[0036]本發明的技術可應用除無線應用或設定之外的應用或設定。所述技術可應用于視頻譯碼以支持多種多媒體應用，例如空中協議電視廣播、有線電視發射、衛星電視發射、因特網流式視頻傳輸(例如動態自適應HTTP流式傳輸(DASH))、經編碼到數據存儲媒體上的數字視頻，存儲在數據存儲媒體上的數字視頻的解碼，或其它應用。在一些實施例中，系統10可經配置以支持單向或雙向視頻發射，以支持例如視頻流式傳輸、視頻回放、視頻廣播及/或視頻電話等應用。
[0037]在圖1中，源裝置12包含視頻源18、視頻編碼器20及輸出接口 22。目的地裝置14包含輸入接口 28、視頻解碼器30和顯示裝置32。源裝置12的視頻編碼器20可經配置以應用用于譯碼包含視頻數據(符合多個標準或標準擴展)的位流的技術。在其它實施例中，源裝置和目的地裝置可包含其它組件或布置。舉例來說，源裝置12可從外部視頻源18 (例如，外部相機)接收視頻數據。同樣，目的地裝置14可與外部顯示裝置介接，而非包含集成式顯示裝置。
[0038]源裝置12的視頻源18可包含視頻俘獲裝置，例如攝像機、含有先前所俘獲視頻的視頻存檔及/或用于從視頻內容提供者接收視頻的視頻饋送接口。視頻源18可產生基于計算機圖形的數據(作為源視頻)，或實況視頻、所存檔視頻和計算機產生的視頻的組合。在一些實施例中，如果視頻源18是攝像機，那么源裝置12和目的地裝置14可形成所謂的相機電話或視頻電話。可由視頻編碼器20來編碼所俘獲視頻、經預先俘獲的視頻或計算機產生的視頻。經編碼視頻信息可通過