中，增強層子圖像可以使用來自基礎層的預測，但是該預測限制于使用僅在基礎層的子圖像內的樣本。
[0233]根據一個實施例，增強層子圖像的數量能夠針對不同圖像而改變或保持固定。
[0234]根據一個實施例，如果相對于基礎層預測性地編碼所述增強層子圖像，則預測過程可以涉及不同的圖像處理操作。例如，可以應用從一個顏色空間(例如，從YUV顏色空間)到另一個顏色空間(例如，到RGB顏色空間)的轉換操作。
[0235]根據一個實施例，第一增強層子圖像可以增強與第二增強層子圖像不同的圖像特征。例如，在圖6中，增強層子圖像602可以提供色度格式增強，而增強層子圖像604可以提供位深增強。
[0236]根據一個實施例，單個增強層子圖像可以增強圖像的多個特征。例如，在圖5中，增強層子圖像502可以提供色度格式增強和位深增強。
[0237]根據一個實施例，所述增強層子圖像的大小和位置可以針對不同圖像而改變或保持固定。
[0238]根據一個實施例，所述增強層子圖像的方位和大小可以與在所述基礎層圖像中使用的圖塊或片相同。
[0239]根據一個實施例，所述增強層子圖像的大小和方位可以被限制使得它們在空間上不重疊。
[0240]根據一個實施例，可以允許所述增強層子圖像的大小和方位在空間上重疊。
[0241]根據一個實施例，可以在補充增強信息(SEI)消息的形式中實現增強層子圖像構思。例如，運動約束圖塊集合SEI消息可以指示在形成隔離區域圖像組的指示或推測的圖像組內(諸如在編碼視頻序列內)的圖塊索引或地址等的集合。例如可以通過將運動約束圖塊集合SEI消息封包在可伸縮嵌套SEI消息或諸如此類內，將運動約束圖塊集合SEI消息指示為針對可伸縮層是特定的。當運動約束圖塊集合SEI消息被指示為特定于非基礎層時，可以另外地指示或推測它，以避免來自在基礎層或用于層間預測的其它層上的子圖像區域之外的層間預測。可以針對增強層子圖像另外地指示:零預測誤差或不存在預測誤差來層間預測在增強層子圖像之外的區域。另外或可替代地，在增強層子圖像內的一些圖像屬性，諸如量化參數，可以與在該增強層子圖像之外的那些圖像屬性不同。另外或可替代地，當對編碼進行預處理時，可以改變一些圖像屬性-例如，在編碼之前，可以對在增強層子圖像之外的區域進行低通過濾，使得在該子圖像內的區域具有基本上更大的空間保真度。類似地，即使較高位深(例如，10比特)用于編碼整個圖像，在編碼之前可以對在增強層子圖像之外的區域進行預處理，或在編碼期間將在增強層子圖像之外的區域進行約束，以尚效地具有8位顏色?米度。
[0242]幀封裝指的是，在編碼器側作為針對編碼的預處理步驟將超過一個幀封裝到單個幀中，以及接著使用傳統2D視頻編碼方案來編碼被封裝的幀的幀的方法。因此，由解碼器產生的輸出幀含有對應于在編碼器側中在空間上被封裝到一個幀中的多個輸入幀的構成幀的構成幀。幀封裝可以用于立體視頻，其中一對幀，一個幀對應于左眼/相機/視圖以及另一個幀對應于右眼/相機/視圖，被封裝到單個幀中。幀封裝還可以或可替代地用于深度或視差增強視頻，其中構成幀中的一個構成幀表示對應于含有規則顏色信息(亮度和色度信息)的另一個構成幀的深度或視差信息。可以在視頻比特流中通過信號傳送幀封裝的使用，例如使用H.264/AVC的幀封裝布置SEI消息或諸如此類。還可以或可替代地通過視頻接口(諸如高清晰度多媒體接口(HDMI))來指示幀封裝的使用。還可以或可替代地使用各種能力交換或模式協商協議，諸如會話描述協議(SDP)，來指示和/或協商幀封裝的使用。
[0243]深度增強視頻指的是與具有一個或多個深度視圖的深度視頻相關聯的具有一個或多個視圖的紋理視頻。多種方法可以用于表示深度增強視頻，包含視頻加深度(V+D)、多視角視頻加深度(MVD)和分層深度視頻(LDV)的使用。在視頻加深度(V+D)表示中，紋理的單個視圖和深度的各自視圖被分別表示為紋理圖像和深度圖像的序列。MVD表示含有多個紋理視圖和各自深度視圖。在LDV表示中，照慣例來表示中心視圖的紋理和深度，然而其他視圖的紋理和深度被部分地表示以及覆蓋針對中間視圖的正確視圖合成所要求的僅非遮擋區域。
[0244]根據一個實施例，本發明可以應用于例如在并排式的幀封裝布置中含有視頻加深度表示(即紋理幀和深度幀)的幀封裝視頻。幀封裝幀的基礎層可以具有相同的色度格式，或構成幀可以具有不同的色度格式，諸如針對紋理構成幀的4:2:0以及針對深度構成幀的僅亮度格式。幀封裝幀的增強層可以僅涉及基礎層幀封裝幀的構成幀中的一個構成幀。例如，增強層可以含有以下中的一個或多個:
[0245]?針對紋理構成幀的色度格式增強
[0246]籲針對紋理構成幀或深度構成幀的位深增強
[0247]?針對紋理構成幀或深度構成幀針的空間增強
[0248]針對在立體視頻中獲得壓縮改進的另一個研宄分支被稱為不對稱立體視頻編碼，其中在兩個編碼視圖之間有質量差異。這是歸因于以下廣泛相信的假設:人類視覺系統(HVS)融合立體圖像對，使得所感知的質量接近于較高質量視圖的質量。因此，可以通過提供兩個編碼視圖之間的質量差異來獲得壓縮改進。
[0249]例如，通過以下方法中的一個或多個方法來實現兩個視圖之前的不對稱性:
[0250]a)混合分辨率(MR)立體視頻編碼，還被稱為分辨率不對稱立體視頻編碼，其中視圖具有不同的空間分辨率和/或不同的頻域特征。典型地，這些視圖中的一個視圖被低通過濾，以及因此具有較小數量的空間細節或較低空間分辨率。此外，被低通過濾的視圖通常通過使用粗采樣網格被采樣，即由較少的像素來表示。
[0251]b)混合分辨率色度采樣。一個視圖的色度圖像比另一個視圖的各自色度圖像由更少的樣本來表示。
[0252]c)不對稱樣本域量化。使用不同步長來量化兩個視圖的樣本值。例如，可以用O至255的范圍(即，每個樣本8比特)來表示一個視圖的亮度樣本，而針對第二視圖，可以將該范圍伸縮到O至159的范圍。由于較少的量化步長，與第一視圖相比，能夠使用更高的比率來壓縮第二視圖。不同的量化步長可以用于亮度和色度樣本。作為不對稱樣本域量化的特殊情況，當在每個視圖中的量化步長的數量匹配2的冪時，其可以指的是位深不對稱立體視頻。
[0253]d)不對稱變換域量化。使用不同的步長來量化兩個視圖的變換系數。因此，視圖中的一個視圖具有較低保真度，以及可以經受更大數量的看得見的編碼失真(artifact)，諸如成塊和振蕩(ringing)。
[0254]e)以上不同編碼技術的組合。
[0255]在圖8中說明了上述類型的不對稱立體視頻編碼。第一行呈現了較高質量視圖，該較高質量視圖僅被變換編碼。剩余行呈現了若干編碼組合，該若干編碼組合已經被研宄以使用不同步驟(即，下采樣，樣本域量化和基于變換的編碼)來創建較低質量視圖。從圖8能夠觀察到的是，能夠應用或跳過下采樣或樣本域量化，而不管如何應用在處理鏈中的其它步驟。同樣地，能夠獨立于其它步驟來選擇在變換域編碼步驟中的量化步驟。因此，不對稱立體視頻編碼的實際實現可以使用適當技術以用于實現如在圖8的行e)中的說明的在組合方式中的不對稱性。
[0256]根據一個實施例，本發明可以應用于例如以并排封裝布置的含有立體或多視角視頻表示的幀封裝視頻。
[0257]幀封裝幀的基礎層可以表示對稱立體視頻，其中兩個視圖具有近似相等的視覺質量，或幀封裝幀的基礎層可以表示不對稱立體視頻。幀封裝幀的增強層可以僅涉及基礎層幀封裝幀的構成幀中的一個構成幀。在基礎層被編碼為不對稱立體視頻的情況下，增強層可以被編碼以使用不對稱立體視頻編碼或它可以被編碼以提供對稱立體視頻表示。例如，增強層可以含有以下中的一個或多個:
[0258]?針對構成幀中的一個構成幀的空間增強
[0259]籲針對構成幀中的一個構成幀的質量增強
[0260]籲針對構成幀中的一個構成幀的色度格式增強[0261 ] 籲針對構成幀中的一個構成幀的位深增強
[0262]本發明的另一個方面是當解碼器接收到基礎層圖像和至少一個增強層子圖像時該解碼器的操作。圖9示出了適用于使用本發明的實施例的視頻解碼器的框圖。
[0263]解碼器包含:熵解碼器600，其對所接收的信號執行熵解碼，如針對上述編碼器的熵編碼器330的相反操作。熵解碼器600輸出熵解碼的結果給預測誤差解碼器602和像素預測器604。
[0264]像素預測器604接收熵解碼器600的輸出。在像素預測器604內的預測器選擇器614確定將執行幀內預測、幀間預測或插值運算。此外，預測器選擇器可以將圖像塊616的預測表示輸出給第一組合器613。圖像塊616的預測表示與重建的預測誤差信號612結合使用，以生成初步重建圖像618。初步重建圖像618可以在預測器614中使用，或可以被傳遞給過濾器620。過濾器620應用過濾，該過濾輸出最終的重建信號622。最終的重建信號622可以被存儲在參考幀存儲器624中，參考幀存儲器624還連接到用于預測操作的預測器614。
[0265]預測誤差解碼器602接收熵解碼器600的輸出。預測誤差解碼器602的去量化器692可以對熵解碼器600的輸出進行去量化，以及反變換框693可以執行對由去量化器692輸出的去量化信號執行反變換操作。商解碼器600的輸出還可以指示的是，將不應用預測誤差信號，以及在這種情況下，預測誤差解碼器產生全零輸出信號。
[0266]因此，在以上過程中，解碼器可以首先解碼基礎層圖像，以及接著使用它作為針對幀間預測增強層子圖像的參考圖像。解碼器于是通過將在增強層子圖像區域之外的樣本從解碼的基礎層圖像復制到增強層圖像以及將在增強層子圖像區域內的樣本從解碼的增強層子圖像復制到增強層圖像，來構建增強層圖像。
[0267]當那些解碼圖像可以用于使用運動補償預測來解碼隨后幀時，該解碼圖像可以被放置在參考幀緩沖器中。在示例實現方式中，編碼器和/或解碼器將解碼的增強層圖像和基礎層圖像分別放置在參考幀緩沖器中。可替代地，類似于SVC或針對可伸縮視頻編碼的其它單環路解碼方案，編碼器和/或解碼器可以僅將增強層子圖像放置在參考幀緩沖器中，以及使用解碼的增強層圖像作為針對基礎層圖像的參考。另一種可替代方案是，編碼器和/或解碼器可以將增強層子圖像和基礎層圖像放置在參考幀緩沖器中。另一種可替代方案是，編碼器和/或解碼器可以將增強層子圖像放置在概念上與用于基礎層參考圖像的參考幀緩沖器分離的參考幀緩沖器中。
[0268]另外，在編碼和解碼中可以使用過程以將增強層子圖像“下轉換(down-convert) ”到用于增強層的剩余部分的格式，諸如“下轉換”到相同的位深或相同的色度格式。下轉換的增強層子圖像和相同圖像的剩余部分于是能夠被合并以在參考幀緩沖器中形成單個增強層圖像，該參考幀緩沖器在概念上可以與用于增強層子圖像編碼/解碼的參考幀緩沖器分離。概念上地，在增強層子圖像之外的預測單元的運動向量不局限于使用該子圖像之外的樣本。被放置在參考幀緩沖器中的增強層子圖像的特征可以與增強層圖像或基礎層圖像不同。例如，增強層子圖像的位深可以是10比特，而基礎層的位深是8比特。
[0269]為了幫助理解涉及的過程，按照分離的編碼器和解碼器裝置，描述了上述本發明的實施例。然而，將了解的是，可以將裝置、結構和操作實現成單個編碼器-解碼器裝置/結構/操作。此外，在本發明的一些實施例中，編碼器和解碼器可以共享一些或全部共同單
J L.ο
[0270]盡管以上示例描述了在電子設備內的編解碼器內操作的本發明的實施例，但是將了解的是，如下描述的本發明可以被實現作為任何視頻編解碼器的一部分。因此，例如，本發明的實施例可以在視頻編解碼器中實現，該視頻編解碼器實現在固定或有線通信路徑上的視頻編碼。
[0271]因此，用戶設備可以包括:視頻編解碼器，諸如以上在本發明的實施例中描述的那些視頻編解碼器。應當了解的是，術語用戶設備旨在涵蓋任何合適類型的無線用戶設備，諸如移動電話、便攜式數據處理設備或便攜式網絡瀏覽器。
[0272]此外，公共陸地移動網絡(PLMN)的單元也可以包括如上所述的視頻編解碼器。
[0273]—般地，可以將本發明的各種實施例實現成硬件或專用電路、軟件、邏輯和它們的任何組合。例如，一些方面可以被實現在硬件中，而其它方面可以被實現在固件或軟件中，該固件或軟件可以由控制器、微處理器或其它計算設備來運行，盡管本發明不限制于此。雖然本發明的各種方面被說明和描述成框圖、流程圖或使用一些其它圖形表示，但是很好理解的是，本文中所述的這些框、裝置、系統、技術或方法可以被實現在，作為非限制性示例，硬件、軟件、固件、專用電路或邏輯、通用硬件或控制器或其它計算設備或它們的一些組合中。
[0274]可以由移動設備的數據處理器(諸如在處理器實體中)可執行的計算機軟件，或由硬件，或由軟件和硬件的組合來實現本發明的實施例。此外，就這點而言，應當注意的是，如在附圖中的邏輯流的任何框可以表示程序步驟，或互連的邏輯電路，塊和功能，或程序步驟和邏輯電路、塊和功能的組合。可以將軟件存儲在此類物理介質上，諸如存儲芯片，或實現在處理器內的存儲塊，磁介質，諸如硬盤或軟盤，以及光介質，諸如例如DVD和其數據變型CD。
[0275]存儲器可以具有適合于本地技術環境的任何類型，并且可以使用任何合適的數據存儲技術來實現，諸如基于半導體的存儲設備，磁存儲設備和系統，光存儲設備和系統，固定存儲器和可移動存儲器。數據處理器可以具有適合于本地技術環境的任何類型，并且可以包含作為非限制性示例的下列中的一個或多個:通用計算機、專用計算機、微處理器、數字信號處理器(DSP)和基于多核處理器架構的處理器。
[0276]可以在各種組件中，諸如在集成電路模塊中，實踐本發明的實施例。一般而言，集成電路的設計基本上是高度自動化的過程。復雜和功能強大的軟件工具可用于將邏輯級的設計轉換成準備將要被蝕刻和形成在半導體襯底上的半導體電路設計。
[0277]程序，諸如由加利福尼亞的山景城的新思科技(Synopsys, Inc.0f MountainView, California)和加利福尼亞的圣何塞的凱登斯設計(Cadence Design, of SanJose, California)所提供的那些程序，使用良好建立的設計規則以及預存儲的設計模塊的庫在半導體芯片上自動化路由導體和定位組件。一旦已經完成了針對半導體電路的設計，則所生成的設計可以以標準化電子形式(例如，Opus，GDSII等)傳送給半導體制造廠或用于制造的簡寫的“fab”。
[0278]上述描述已經通過示例性和非限制性的示例提供了本發明示例性實施例的全面和教示性的描述。然而，當結合附圖和所附權利要求書閱讀時，鑒于上述描述，對于相關領域的技術人員來說，各種修改和適應是明顯的。然而，本發明的教示中的所有此類或類似的修改仍然將落入本發明的范圍內。
[0279]根據第一實施例的方法包括一種用于編碼針對給定基礎層圖像的一個或多個增強層子圖像的方法，所述一個或多個增強層子圖像具有小于對應的增強層重建圖像的大小，所述方法包括
[0280]編碼和重建所述基礎層圖像；
[0281]編碼和重建所述一個或多個增強層子圖像；
[0282]從所述重建的一個或多個增強層子圖像重建增強層圖像，其中將在所述重建的一個或多個增強層子圖像的區域之外的樣本從所重建的基礎層圖像復制到所重建的增強層圖像。
[0283]根據一個實施例，所述方法還包括:相對于所述基礎層圖像預測性地編碼所述一個或多個增強層子圖像。
[0284]根據一個實施例，允許相對于較早編碼的增強層圖像預測性地編碼所述增強層子圖像。
[0285]根據一個實施例，允許相對于較早編碼的增強層子圖像預測性地編碼所述增強層子圖像。
[0286]根據一個實施例，所述增強層子圖像含有針對對應的基礎層圖像的增強信息，所述增強信息包含以下中的至少一個:
[0287]-相對于所述對應的基礎層圖像的色度，增加所述一個或多個增強層子圖像的色度的保真度；
[0288]-相對于所述對應的基礎層圖像的位深，增加所述一個或多個增強層子圖像的位株;
[0289]-相對于所述對應的基礎層圖像的質量，增加所述一個或多個增強層子圖像的質量;或
[0290]-相對于所述對應的基礎層圖像的空間分辨率，增加所述一個或多個增強層子圖像的空間分辨率。
[0291]根據一個實施例，使用與編碼針對增強層圖像的增強層信息一樣的語法來編碼針對子圖像的增強層信息。
[0292]根據一個實施例，所述增強層子圖像的左上角可以與圖像的最大編碼單元(LCU)的左上角對齊。
[0293]根據一個實施例，所述增強層子圖像的大小可以被限制為最大編碼單元(LCU)的大小或預測單元(PU)的大小或編碼單元(⑶)的大小的整數倍(1，2，3，4，…)。
[0294]根據一個實施例，如果相對于基礎層預測性地編碼所述增強層子圖像，則預測過程可以被限制以便僅在基礎層圖像的共位區域內的像素是能夠使用的。
[0295]根據一個實施例，增強層子圖像的數量能夠針對不同圖像而改變或保持固定。
[0296]根據一個實施例，如果相對于基礎層預測性地編碼所述增強層子圖像，則預測過程可以涉及不同的圖像處理操作。
[0297]根據一個實施例，第一增強層子圖像可以增強與第二增強層子圖像不同的圖像特征。
[0298]根據一個實施例，單個增強層子圖像可以增強圖像的多個特征。
[0299]根據一個實施例，所述增強層子圖像的大小和位置可以針對不同圖像而改變或保持固定。
[0300]根據一個實施例，所述增強層子圖像的方位和大小可以與在所述基礎層圖像中使用的圖塊或片相同。
[0301]根據一個實施例，所述增強層子圖像的大小和方位可以被限制使得它們在空間上不重疊。
[0302]根據一個實施例，可以允許所述增強層子圖像的大小和方位在空間上重疊。
[0303]根據一個實施例，可以在補充增強信息(SEI)消息的形式中實現增強層子圖像構思。
[0304]根據一個實施例，所述一個或多個增強層子圖像被轉換為在所述重建的一個或多個增強層子圖像的區域之外的從所重建的基礎層圖像復制到所重建的增強層圖像的樣本中使用的相同的格式。
[0305]一種根據第二實施例的裝置，所述裝置包括:
[0306]視頻編碼器，其被配置為用于編碼包括基礎層和至少一個增強層的可伸縮比特流，其中所述視頻編碼器還被配置為用于
[0307]編碼和重建基礎層圖像；
[0308]編碼和重建針對所述基礎層圖像的一個或多個增強層子圖像，所述一個或多個增強層子圖像具有小于對應的增強層重建圖像的大小；
[0309]從所述重建的一個或多個增強層子圖像重建增強層圖像，其中將在所述重建的一個或多個增強層子圖像的區域之外的樣本從所重建的基礎層圖像復制到所重建的增強層圖像。
[0310]根據第三實施例，提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質在其上存儲有供裝置使用的代碼，當由處理器運行所述代碼時，所述代碼使得所述裝置執行:
[0311]編碼包括基礎層和至少一個增強層的可伸縮比特流；
[0312]編碼和重建基礎層圖像；
[0313]編碼和重建針對所述基礎層圖像的一個或多個增強層子圖像，所述一個或多個增強層子圖像具有小于對應的增強層重建圖像的大小；
[0314]從所述重建的一個或多個增強層子圖像重建增強層圖像，其中將在所述重建的一個或多個增強層子圖像的區域之外的樣本從所重建的基礎層圖像復制到所重建的增強層圖像。
[0315]根據第四實施例，提供了至少一個處理器和至少一個存儲器，所述至少一個存儲器在其上存儲有代碼，當由所述至少一個處