用于解碼/編碼視頻信號的方法及裝置的制作方法

專利名稱：用于解碼/編碼視頻信號的方法及裝置的制作方法
技術領域：
本發(fā)明涉及一種編/解碼視頻信號的方案。
背景技術：
一般來說，壓縮編/解碼是指通過通信線路傳輸數(shù)字化的信息，或者以合適的格 式把其儲存在存儲介質的一系列的信號處理技術。壓縮編碼的對象有音頻、視頻、文字等， 尤其是以視頻為對象執(zhí)行壓縮編碼的方案稱為視頻序列壓縮。通常，視頻序列的特征是具 有空間冗余和時間冗余。尤其是，可伸縮視頻編碼比特流可以被部分地和選擇性地解碼。舉例來說，低復雜 度的解碼器可解碼基本層，且為了通過具有限容量的網(wǎng)絡被傳輸，可提取低數(shù)據(jù)率的比特 流。為了能進一步逐漸地生成高分辨率的圖像，需要分階段來提高圖像的質量。

發(fā)明內容
技術問題尤其是，可伸縮視頻編碼比特流可以被部分地和選擇性地解碼。舉例來說，低復雜 度的解碼器可解碼基本層，且為了通過具有限容量的網(wǎng)絡被傳輸，可提取低數(shù)據(jù)率的比特 流。為了能進一步逐漸地生成高分辨率的圖像，需要分階段來提高圖像的質量。技術手段因此，本發(fā)明是針對一種編/解碼視頻信號的方案，其充分避免了因相關技術的 限制和缺點而導致的一個或多個問題。本發(fā)明的一個目的是提供一種用于提高編/解碼視頻信號時的編/解碼效率的方 法。本發(fā)明的另一目的是提供一種在增強層中的區(qū)域和參考層不相對應的情形下使 與層間預測有關的信息的傳輸最小化的方法。本發(fā)明的另一目的是提供一種通過確認可伸縮視頻編碼后的比特流的配置信息 來使得與層間預測相關的信息的傳輸最小化的方法。本發(fā)明的另一目的是提供一種通過確認表示是否執(zhí)行層間預測的信息來使得與 層間預測相關的信息的傳輸最小化的方法。本發(fā)明的進一步目的是提供一種通過在合適的位置確認可伸縮視頻編碼后的比 特流的配置信息來提高視頻信號的編/解碼效率的方法。有益效果相應地，本發(fā)明提供以下效果或優(yōu)點。首先，本發(fā)明通過檢查增強層的當前塊是否可以使用層間預測來被預測。在上述增強層的當前塊不通過使用層間預測而被預測的情形下，就不需要傳輸用于層間預測的編 /解碼信息。因此，本發(fā)明可以提高編/解碼效率。其次，通過在合適的位置上確認可伸縮 視頻編碼后的比特流的配置信息，使得與層間預測相關的信息的傳輸最小化。舉例來說，通 過識別表示是否執(zhí)行層間預測的信息和/或質量識別信息，可以使與層間預測相關的信息 的傳輸最小化。而且，本發(fā)明可以通過定義表示條帶邊界的處理的信息，使得并行處理成為 可能。通過應用上述解釋的各種方法可以顯著地提高視頻信號的編/解碼效率。


本發(fā)明所包括的附圖用于提供對本發(fā)明的進一步理解，它們被結合在此并構成了 本說明書的一部分，這些附圖示出了本發(fā)明的實施例，并且與說明書一起用于解釋本發(fā)明 的原理。附圖中圖1為根據(jù)本發(fā)明的可伸縮視頻編碼系統(tǒng)的示意框圖；圖2和圖3分別為根據(jù)本發(fā)明的一個實施例的可增加到可伸縮視頻編碼比特流中 的可伸縮序列的配置信息的結構圖和用于說明該配置信息的圖像；圖4為根據(jù)本發(fā)明的一個實施例的采樣后的基本層和增強層之間的裁切 (cropping)關系的圖；圖5和圖6分別為根據(jù)本發(fā)明的一個實施例的與通過層間預測的宏塊預測和子宏 塊預測相關的語法的圖；圖7為根據(jù)本發(fā)明的一個實施例的與通過層間預測的殘差預測相關的語法的圖；圖8為根據(jù)本發(fā)明的一個實施例的用于根據(jù)是否進行層間預測來獲得自適應預 測信息的語法的結構圖。最佳實施方式本發(fā)明的其他特征及優(yōu)點將在下面的描述中被說明，且其部分將可從說明中被了 解，或可通過實施本發(fā)明而得到。本發(fā)明的目的及其他優(yōu)點將可通過說明書及其權利要求 以及附圖中所具體指出的結構來實現(xiàn)并獲得。為了實現(xiàn)這些和其他優(yōu)點并根據(jù)如同包括并廣泛描述的本發(fā)明的目的，根據(jù)本發(fā) 明的一種通過使用層間預測來解碼當前層的方法包括確定當前塊的位置是否被包含在采 樣后的參考層中，該當前塊包含在該當前層中；當該當前塊位于該采樣后的參考層時，獲得 多個預測標志；通過使用該多個預測標志解碼該當前層。優(yōu)選地，該參考層和該當前層的屏幕比例或空間分辨率不同，該參考層的相同視 頻信號來編碼當前層。優(yōu)選地，該確定步驟以該參考層的偏移量信息和表示該當前層的位置的變量為基 石出。優(yōu)選地，該多個預測標志包括表示該當前塊的類型是否源自該參考層中的相應塊 的第一信息，表示當預測該當前塊的運動向量時是否使用該參考層中的該相應塊的運動向 量的第二信息，和表示當預測該當前塊的殘差信號時是否使用該參考層中的該相應塊的殘
差信號的第三信息。 為了實現(xiàn)這些和其他優(yōu)點并根據(jù)本發(fā)明的目的，根據(jù)本發(fā)明的一種通過使用層間預測來編碼增強層的方法包括確定當前塊是否包含于采樣后的基本層中；基于該當前塊 是否包含在該采樣后的基本層中，生成該層間預測所需的預測標志；通過使用該基本層，以 生成具有和基本層不同分辨率的該增強層的比特流?？梢岳斫獾氖且陨系囊话忝枋龊鸵韵碌脑敿毭枋龆际鞘纠暮徒忉屝缘?，并且可 以提供對本發(fā)明所要求的進一步說明。發(fā)明的實施方式現(xiàn)在將參考本發(fā)明優(yōu)選實施例進行詳細說明，其例子已表示在附圖中。首先，對視頻信號數(shù)據(jù)的壓縮編/解碼考慮空間冗余、時間冗余、可伸縮冗余、視 角間冗余。考慮可伸縮冗余的壓縮編/解碼只是本發(fā)明的一個實施例。但是本發(fā)明的技術 構思可適用于時間冗余、空間冗余、視角間冗余等。進一步，本說明書中所指的“編/解碼” 包含編碼和解碼兩個概念，可以根據(jù)本發(fā)明的技術構思和技術范圍靈活地進行解釋。在視頻信號的比特序列配置中，存在稱之為NAL(Network Abstraction Layer，網(wǎng) 絡抽象層)的獨立的層結構，其位于執(zhí)行運動圖像編碼過程本身的VCL(Video Code Layer, 視頻編碼層)和傳輸并存儲編碼信息的下級系統(tǒng)之間。編碼過程所生成的輸出為VCL數(shù)據(jù)， 其在傳輸或存儲之前被映射為NAL單元。各個NAL單元包含壓縮的視頻數(shù)據(jù)或相應于頭信 息的數(shù)據(jù)RBSP(Raw Byte Sequence Payload，原始字節(jié)序列載荷，運動圖像壓縮的結果數(shù) 據(jù))。NAL單元基本上包括NAL頭和RBSP兩部分。NAL頭中包含表示是否包含作為該NAL 單元的參考圖像的條帶的標志信息(nal_ref_idC)和表示NAL單元的類型的信息(nal_ imit_type)。在RBSP中存儲壓縮后的原始數(shù)據(jù)。并且，為了使RBSP的長度表示為8比特 的倍數(shù)，在RBSP的末尾部分加入RBSP拖尾比特(RBSP trailing bit)。NAL單元的類型有 IDR(Instantaneous Decoding Refresh，艮附解碼刷新)圖像，SPS (Sequence Parameter Set，序列參數(shù)集)，PPS(Picture Parameter Set，圖像參數(shù)集)和 SEI (Supplemental Enhancement Information,補充增強信息)等。因此，如果表示NAL單元的類型的信息(nal_imit_type)表示為可伸縮視頻編碼 條帶的話，可通過增加與上述可伸縮編/解碼有關的各種配置信息來提高編/解碼效率。舉 例來說，可以增加表示當前接入單元是否為即時解碼刷新(以下稱為IDR)接入單元的標志 信息，表示空間可伸縮性的依賴關系識別信息，質量識別信息，表示是否使用層間預測的標 志信息(n0_inter_layer_pred_flag)，優(yōu)先級識別信息等。其將參考圖2進行詳細說明。在標準中，為了能以適當?shù)馁M用購買目標產(chǎn)品，規(guī)定了對于各種簡表和級別的要 求。這種情況下，解碼器必須滿足根據(jù)相應簡表和級別中所確定的要求。類似地，定義了“簡 表”和“級別”兩種概念來表示函數(shù)或參數(shù)，其用于表示解碼器可以處理的被壓縮序列的范 圍的大小?？赏ㄟ^簡表識別符(profile_idC)來識別比特流基于預定的簡表。簡表識別符 是指表示比特流所基于的簡表的標志。舉例來說，H. 264/AVC中，如果簡表識別符為66，其 表示比特流基于基準簡表；如果簡表識別符為77，其表示比特流基于主要簡表；如果簡表 識別符為88，其表示比特流基于擴展簡表。此外，上述簡表識別符可包含在序列參數(shù)集中。因此，為了處理可伸縮序列，需要識別輸入的比特流是否為可伸縮序列的簡表，如 果識別為與可伸縮序列的簡表的話，有必要增加語法使得至少一個用于可伸縮序列的附加 信息可以被傳輸。這里可伸縮序列的簡表，作為H. 264/AVC的附加方案，表示用于處理可伸縮視頻的簡表模式。因為對于傳統(tǒng)AVC技術，SVC為附加方案，所以，和無條件增加語法相 比，增加語法作為用于SVC模式的附加信息更為有效。舉例來說，當AVC的簡表識別符表示 為可伸縮序列的簡表時，如果增加關于可伸縮序列的信息的話，可提高編/解碼效率。以下將說明用于提供有效的視頻信號解碼方法的各種實施例。圖1為根據(jù)本發(fā)明的可伸縮視頻編/解碼系統(tǒng)的示意框圖。為了提供用于各種通信環(huán)境和各種終端的最優(yōu)化序列，提供給終端的序列應該是 多樣化的。如果對于每個終端最優(yōu)化的序列被提供到相應終端的話，表示單個序列源被準 備用于各種參數(shù)的組合值，這些參數(shù)包括每秒的傳輸幀數(shù)、分辨率、每一像素的比特數(shù)等。 因此，最優(yōu)化序列的提供對內容提供商施加了負擔。因此，內容提供商把原始序列編碼為高 比特率的壓縮序列數(shù)據(jù)。在接收到由終端做出的序列請求時，內容提供商解碼原始序列， 把其編碼為適合于終端的序列處理能力的序列數(shù)據(jù)，并且然后把該編碼后的數(shù)據(jù)提供給終 端。因為該代碼轉換伴隨著編碼_解碼_編碼過程，所以在提供序列的過程中不能避免產(chǎn) 生時間延遲。因此，另外需要復雜的硬件設備和算法。另一方面，可伸縮視頻編碼(SVC)是一種用于以最佳圖像質量編碼視頻信號的編 碼方案以使得所產(chǎn)生的圖像序列的部分序列通過解碼而被表現(xiàn)為序列。這里，部分序列可 以表示由從整個序列中被間歇地挑選出來的幀構成的序列。對于由SVC編碼的圖像序列， 通過使用空間可伸縮性，序列尺寸可被縮減用于低比特率。并且，也可使用質量可伸縮性降 低序列的圖像質量。這里，具有小尺寸屏幕和/或低每秒幀數(shù)的圖像序列可被稱為基本層， 且具有相對大尺寸屏幕和/或相對高的每秒幀數(shù)的序列可被稱為被增強的或增強層。由上述提到的可伸縮方案編碼的圖像序列以只接收和處理部分序列的方式實現(xiàn) 低圖像質量的序列表示。然而，如果比特率變低的話，圖像質量就降級很多。為了解決降級 的圖像質量問題，可以為低比特率提供獨立的輔助圖像序列，舉例來說，具有小尺寸屏幕和 /或低每秒幀數(shù)的圖像序列。這樣的輔助序列可被稱為基本層，且主圖像序列可被稱為被增 強的或增強層。在描述用于層間預測的各種實施例時，本發(fā)明使用了包括基本層和增強層的概 念。例如，增強層可以具有和基本層不一樣的空間分辨率或屏幕比例。并且，增強層可以具 有和基本層不一樣的圖像質量。詳細舉例來說，基本層可以是參考層，并且增強層可以是當 前層。下文中所解釋的基本層和增強層僅是示例性的，其并不構成對本發(fā)明解釋的限制。以下詳細說明可伸縮視頻編/解碼系統(tǒng)。首先，可伸縮編/解碼系統(tǒng)包括編碼器 102和解碼器110。編碼器102包括基本層編碼單元104，增強層編碼單元106，和復用單元 108。并且，解碼器可以包括去復用單元112，基本層解碼單元114，和增強層解碼單元116。 基本層編碼單元104能夠通過壓縮輸入的序列信號X(n)來產(chǎn)生基本比特流。增強層編碼 單元106可以通過使用輸入的序列信號X(n)和由基本層編碼單元104所產(chǎn)生的信息來產(chǎn) 生增強層比特流。并且，復用單元108可以通過使用基本層比特流和增強層比特流來產(chǎn)生 可伸縮比特流。所產(chǎn)生的可伸縮比特流被通過特定信道傳送到解碼器110，所傳送的可伸縮比特 流可以由解碼器110的去復用單元112分為增強層比特流和基本層比特流?；緦咏獯a單 元114接收基本層比特流并且把基本層比特流解碼為宏塊間的序列信號及塊間的殘差和 運動信息。這里，可基于單回路解碼方法來執(zhí)行相應的解碼。
增強層解碼單元116接收增強層比特流，并且參照由基本層解碼單元114重建的 基本層來解碼輸出序列信號Xe(n)。這里，輸出序列信號Xb(n)將是具有比之后的輸出序列 信號Xe(n)低的圖像質量或分辨率的序列信號。因此，增強層編碼單元106和增強層解碼單元116的每一個均通過使用層間預測 來執(zhí)行編碼。層間預測表示通過使用基本層的運動信息和/或紋理信息預測增強層的序列 信號。這里，紋理信息可表示屬于宏塊的圖像數(shù)據(jù)或像素值。例如，在層間預測方法中，有幀 內基本預測模式(intra base prediction mode)或殘差預測模式。幀內基本預測模式可 以表示用于預測基于基本層中的相應區(qū)域的增強層的塊的模式。這里，基本層中的相應區(qū) 域可以表示以層間模式編碼的區(qū)域。同時，殘差預測模式可以使用具有殘差數(shù)據(jù)的相應區(qū) 域，該殘差數(shù)據(jù)為基本層中的圖像差值。在兩種情形中，上述基本層中的相應區(qū)域能夠通過 采樣被擴大或縮小來用于層間預測。采樣表示改變圖像分辨率。而且，采樣可以包括重采 樣、下采樣、上采樣等。舉例來說，能夠在樣本內重采樣以執(zhí)行層間預測。并且，可以通過使 用下采樣濾波器來重新產(chǎn)生像素數(shù)據(jù)以降低圖像分辨率，這可被稱為下采樣。而且，可以通 過使用上采樣濾波器來生成一些附加像素數(shù)據(jù)以提高圖像分辨率，這可被稱為上采樣。重 采樣可以包括下采樣和上采樣兩個概念。本發(fā)明中，可根據(jù)本發(fā)明的相應實施例的范圍和 技術思想來正確解釋“采樣”這一術語。同時，對于相同序列內容，為了不同的用途或目的產(chǎn)生基本層和增強層，并且其在 空間分辨率、幀速率、比特率等方面相互不同。在通過層間預測編碼視頻信號時，非二階情 況，即在空間分辨率上增強層對基本層的比率不是2的整數(shù)，可被稱為擴展空間可伸縮性 (ESS)。舉例來說，當通過層間預測將增強層編碼為具有16 9 (水平垂直)比率的視頻 信號時，可能發(fā)生基本層被編碼為具有4 3比率的圖像這一情形。這種情形下，因為基本 層按照原始視頻信號被部分裁切的裁切狀態(tài)(cropping state)被編碼，即使基本層被擴大 以用于層間預測，也不能覆蓋增強層的整個區(qū)域。因此，既然增強層的部分區(qū)域在被上采樣 的基本層中沒有相應的區(qū)域，該部分區(qū)域就不能使用用于層間預測的上采樣后的基本層的 信息。也就是說，這表示層間預測不適用于該部分區(qū)域。這種情形下，被用于層間預測的編 碼信息可能不被傳輸。下面將參考圖5至圖8來詳細說明有關具體實施例。圖2和圖3分別為根據(jù)本發(fā)明的一個實施例的可加入到可伸縮視頻編碼比特流的 可伸縮序列的配置信息的結構圖，及用于描述該配置信息的圖像。圖2示出了 NAL單元的結構示例，該NAL單元使得關于可伸縮序列的配置信息加 入其中。首先，NAL單元可以主要包括NAL單元頭和RBSP(原始字節(jié)序列載荷運動圖像壓 縮的結果數(shù)據(jù))。NAL單元頭可以包括表示NAL單元是否包括參考圖像的條帶的識別信息 (nal_ref_idc)和表示NAL單元類型的信息(nal_unit_type)。并且，還可有限制地包括 NAL單元頭的擴展區(qū)域。舉例說來，如果表示NAL單元類型的信息和可伸縮視頻編碼相關聯(lián) 或表示前綴NAL單元的話，那么NAL單元可以包含該NAL單元頭的擴展區(qū)域。具體而言，如 果nal_unit_type等于20或14的話，NAL單元可以包含NAL單元頭的擴展區(qū)域。并且，可 以根據(jù)能夠識別其是否為SVC比特流的標志信息(SVC_mVC_flag)來把關于可伸縮序列的 配置信息加入到NAL單元頭的擴展區(qū)域。另一示例中，如果表示NAL單元類型的信息為表示子集序列參數(shù)集的信息的話， RBSP可以包括關于子集序列參數(shù)集的信息。具體而言，如果nal_imit_type等于15，RBSP可以包括關于子集序列參數(shù)集的信息，關于條帶層的信息等。這種情形下，根據(jù)簡表信息， 子集序列參數(shù)集可以包括序列參數(shù)集的擴展區(qū)域。舉例來說，如果簡表信息(profilejdc) 為和可伸縮編碼相關的簡表，那么子集序列參數(shù)集可以包括序列參數(shù)集的擴展區(qū)域?；蛘?， 根據(jù)簡表信息，序列參數(shù)集可以包括序列參數(shù)集的擴展區(qū)域。序列參數(shù)集的擴展區(qū)域可以 包括用于控制層間預測的去塊濾波器的特性的信息，和用于上采樣過程的參數(shù)相關的信息 等。關于可伸縮序列的各種配置信息，例如，可以包含在NAL單元頭的擴展區(qū)域、序列參數(shù) 集的擴展區(qū)域、和條帶層中的配置信息將在下文中詳細說明。首先，從序列參數(shù)集的擴展區(qū)域中可以獲得標志信息(inter_layer_debl0Cking_ filter_C0ntr0l_present_flag)，該標志信息表示是否存在對于控制用于層間預測的去 塊濾波器的特性的信息。并且，從序列參數(shù)集的擴展區(qū)域中可以獲得信息(extendecL spatialscalability)，該信息表示用于上采樣過程的參數(shù)相關的信息的位置。具體而言， 舉例來說，如果extendecLspatialscalability等于0的話，可以表示在序列參數(shù)集或條 帶頭中不存在用于上采樣過程的任何參數(shù)。如果extendecLspatialscalability等于 1的話，可以表示在序列參數(shù)集中存在用于上采樣過程的參數(shù)。如果extendecLspatial scalability等于2的話，可以表示在條帶頭中存在用于上采樣過程的參數(shù)。表示是否使用層間預測的信息④可以是指表示層間預測是否在對已編碼條帶的 解碼中被使用的標志信息。標志信息可以從NAL頭的擴展區(qū)域中獲得。舉例來說，如果標 志信息被設為1，可以表示沒有使用層間預測。如果標志信息被設為0，根據(jù)宏塊中的編碼 方案可以使用或不使用層間預測。這是因為宏塊中的層間預測可以使用或不使用。質量識別信息③表示識別NAL單元的質量的信息。將參考圖3來描述配置信息。 舉例來說，單個圖像可以被編碼成相互質量不同的層。圖3中，Spa_LayerO和Spa_Layerl 上的層可以被編碼為相互質量不同的層。具體而言，假設識別NAL單元質量的信息被命名 為quality_id，層Bl，B2，…，B10可被設置為quality_id等于0。并且，層Q1，Q2，…， Q10可被設置為qimlity_id等于1。換句話說，層B1，B2，…，B10可以表示具有最低圖像 質量的層。這些被稱為基本圖像。層Q1，Q2，…，Q10相應于包含層B1，B2，…，B10的層， 并且具有比層Bl，B2,…，B10好的圖像質量。并且，質量識別信息可以按照各種方式被 定義。舉例來說，質量識別信息可以表示為16個級別。表示空間可伸縮性的信息是指表示識別有關NAL單元的依賴關系的信息。參考圖 3來描述配置信息。舉例來說，依賴關系會根據(jù)空間分辨率而變化。圖3中，Spa_Layer0和 Spa_Layerl中的層具有相同分辨率。Spa_LayerO中的層可以包括通過對Spa_Layerl中 的層執(zhí)行下采樣而獲得的圖像。具體而言，舉例來說，假設識別關于NAL單元的依賴關系 的信息被表示為cbpendency_id，Spa_LayerO中的層之間的cbpendency_id等于0。并且， Spa_Layerl中的層之間的cbpendencyjd等于1。依賴關系識別信息可按照各種方式被定 義。因此，具有相同值的識別依賴關系信息的NAL單元可以用依賴關系表示(d印endency representation)來表不。同時，可根據(jù)識別依賴關系的信息和質量識別信息來定義單個層。在這種情形 下，具有相同值的識別依賴關系的信息和質量識別信息的NAL單元可以用層表示(layer representation)來表不。表示時間可伸縮性的識別信息是指識別關于NAL單元的時間級別的信息?？梢园凑辗旨塀圖像結構來描述時間級別。舉例說來，Spa_Layer0中的層(B1，Q1)和層(B3，Q3) 可以有相同的時間級別Tem_LayerO。如果層(B5，Q5)引用層(B1，Q1)和層(B3，Q3)，那么 層(B5，Q5)可以有比層(B1，Q1)和層(B3，Q3)的時間級別Tem_LayerO高的時間級別Tem_ Layerl。同樣地，如果層(B7，Q7)引用層(Bl，Q1)和層(B5，Q5)的話，那么層(B7，Q7)具 有比層(B5，Q5)的時間級別Tem_Layerl高的時間級別Tem_Layer2。在單個接入單元中的 所有NAL單元可以有相同的時間級別值。在IDR接入單元的情形中，時間級別值可變?yōu)?。表示參考基本圖像是否被用作參考圖像的標志信息表示在層間預測過程中參考 基本圖像是否被用作參考圖像或者在層間預測過程中解碼圖像是否被用作參考圖像。對于 同一層中的NAL單元，即具有相同的識別依賴關系的信息的NAL單元，標志信息可以具有相 同的值。優(yōu)先級標識信息是指識別NAL單元的優(yōu)先級的信息。通過使用優(yōu)先級標識信息來 提供層間可擴展性或圖像間可擴展性是可能的。舉例來說，通過使用優(yōu)先級標識信息來向 用戶提供各種時間和空間級別的序列是可能的。因此，用戶能夠只觀看特定時間和空間上 的序列，或者只觀看根據(jù)不同的限制條件的序列。優(yōu)先級信息可以根據(jù)其參考條件按照不 同方式進行配置。優(yōu)先權信息能夠不基于特定參考而被隨機配置。并且，優(yōu)先級信息可以 由解碼器來決定。并且，在NAL單元頭的擴展區(qū)域中的配置信息可以包括表示當前接入單元是否為 IDR接入單元的標志信息。用于層間預測的各種信息可以被包括在條帶層中。舉例來說，可以包括表示上采 樣過程中的對于條帶邊界的處理的信息⑤，和去塊濾波器的操作相關的信息⑥，和色度信 號的相移相關的信息⑦，表示基本層和增強層之間的位置差異的偏移量信息⑧，和表示是 否存在自適應預測的信息⑨。上述信息可以從條帶頭中被獲得。作為和去塊濾波器的操作相關的信息⑥的示例，可以有表示去塊濾波器的方法的 信息(disable_deblocking_filter_idc)、去塊濾波所必需的偏移量信息(inter_layer_ slice_alpha_c0_offset_div2, inter_layer_slice_beta_offset_div2)。作為和色度信號的相移相關的信息⑦的示例，可以有關于用于層間預測的圖像的 色度分量的水平和垂直相移(scaled_ref_layer_left_offset，scaled_ref_layer_top_ offset, sealed_ref_layer_right_offset, sealed_ref_layer_b°ttom_offset)的信息。作為表示層間的位置差異的偏移量信息⑧的示例，可以有表示用于層間預測的上 采樣后的參考圖像和當前圖像的上、下、左、右位置差異的信息(SCaled_ref_layer_left_ offset， sealed_ref_layer_top_offset, scaled—ref—layer—right_offset， scaled—ref— layer—bottom—offset)。作為表示基本層上采樣過程中的條帶邊界處的宏塊的處理的信息⑤的示例，可 以有表示當基本層中的相應幀內編碼塊(intra-coded block)存在于增強層的至少兩 個條帶的情形下，當前宏塊是否不能通過使用基本層中的相應幀內編碼塊被預測的信息 (constrained—intra—resampling—flag)。并且，表示是否存在自適應預測的信息⑨可以表示在條帶頭和宏塊層中是否存在 和預測相關聯(lián)的信息。根據(jù)表示是否存在自適應預測的信息，可以決定將使用哪種類型的 自適應預測方法。稍后將參照圖8對其進行詳細說明。
圖4為關于采樣后的基本層和增強層1之間的裁切關系(cropping relation)的 圖。在可伸縮視頻編碼中，可以檢查增強層的當前塊是否能使用層間預測。舉例來說， 可以檢查相應于當前塊中的所有像素的區(qū)域是否存在于基本層中。作為檢查過程的結果， 如果增強層的當前塊沒有被用于層間預測，那么就不必傳輸用于層間預測的編碼信息。因 此，可以提高編碼效率。因此，可以定義一函數(shù)，其能夠檢查增強層的當前塊是否使用了層間預測。舉例來 說，函數(shù)in_Cr0p_Wind0W()可以被定義為用于檢查相應于當前塊中的所有像素的區(qū)域是 否存在于基本層中。假設增強層上的水平方向上的宏塊索引被設置為mbldxX，并且垂直方 向上的宏塊索引被設置為mbldxY，如果滿足下述條件的話，函數(shù)irucropjindowO能夠返 回值“TRUE”(或“1”)。mbldxX 彡(ScaledBaseLeftOffset+15)/16mbldxX 彡(ScaledBaseLeftOffset+ScaledBaseffidth-1)/16mbldxY 彡(ScaledBaseTopOffset+15)/16mbldxY 彡(ScaledBaseTopOffset+ScaledBaseHeight-1)/16可以通過使用宏塊地址和水平方向上的宏塊數(shù)來導出mbldxX?？梢酝ㄟ^根據(jù) 是否應用宏塊自適應幀-場(macroblock adaptive frame-field)而用不同的方法來導 出mbldxY。舉例來說，如果應用了宏塊自適應幀-場的話，可以通過考慮宏塊對來導出 mbldxY。當考慮宏塊對時，假定上部宏塊的索引被設置為mbldxYO，底部宏塊的索引被設置 為mbldxYl。mbldxYO可以從表示用于層間預測的上采樣后的圖像與當前圖像之間的上部 位置差異的偏移量信息及水平方向的宏塊數(shù)信息中導出。這種情形中，水平宏塊數(shù)信息的 值可以根據(jù)當前圖像是幀圖像或場圖像(field picture)而不同。mbldxYl可以從表示用 于層間預測的上采樣后的圖像與當前圖像之間的上部位置差異的偏移量信息及垂直方向 上的宏塊數(shù)信息中導出。同時，如果沒有應用宏塊自適應幀-場的話，mbldxYO和mbldxYl 可以被設置為相同值。ScaledBaseLeftOff set表示偏移量信息，其表示用于層間預測的上采樣后的圖像 和當前圖像之間的左側的位置差異。ScaledBaseTopOff set為表示用于層間預測的上采樣 后的圖像和當前圖像之間的上方的位置差異。ScaledBaseWidth表示上采樣后的圖像的水 平寬度。并且，ScaledBaseHeight表示上采樣后的圖像的垂直高度。如果上述條件中的任一項不滿足的話，函數(shù)irucropjindow 0會返回一 “FALSE” (或“0，，)值。當相應于當前塊中的至少一個像素的像素不在上采樣后的基本層中時，也就是 說，當函數(shù)in_Cr0p_Wind0W(CurrMbAddr)返回“FALSE”值時，和層間預測相關聯(lián)的信息不 被用于當前塊，并且該信息不會被傳輸。因此，根據(jù)本發(fā)明的實施例，如果通過in_cr0p_ window(CurrMbAddr)識別出基本層中的相應區(qū)域不存在的話，可以省略和用于當前塊的層 間預測相關的信息的傳輸。根據(jù)本發(fā)明的實施例，下面說明了通過使用函數(shù)in_Cr0p_Wind0W()執(zhí)行編碼的 情形。首先，當通過in_crop_WindoW(CurrMbAddr)識別出相應于當前塊的區(qū)域存在于基本層中時，增強層編碼單元106通過使用基本層的紋理和/或運動信息執(zhí)行層間預測。這 種情形下，運動信息可以包含參考索引信息，運動向量信息，分割(partition)信息等。在當前塊的紋理和/或運動信息被設置為相應塊的紋理和/或運動信息時，或是 在當前塊的紋理和/或運動信息是從相應塊的紋理和/或運動信息導出時，增強層編碼單 元106把指示完整或導出信息的指示信息加入到增強層的數(shù)據(jù)流中，并且將該加入通知給 解碼器110。但是，當通過in_crop_WindoW(CurrMbAddr)識別出相應于當前塊的區(qū)域不存 在于基本層時，增強層編碼單元106可以不執(zhí)行層間預測而產(chǎn)生增強層。同時，如果解碼器 110通過in_crop_WindoW(CurrMbAddr)確認相應于當前塊的區(qū)域不存在于基本層時，解碼 器110決定不傳輸指示信息。圖5和圖6分別是根據(jù)本發(fā)明的一個實施例的與通過層間預測的宏塊和子宏塊預 測相關的語法圖。當執(zhí)行層間預測時，和當前NAL的條帶數(shù)據(jù)的層間預測相關的信息被傳輸?shù)浇獯a 器。舉例說來，在增強層的當前塊的運動向量的預測中，可以從宏塊層獲得表示是否使用基 本層的運動向量的標志(m0ti0n_prediCti0n_flag_lX)。根據(jù)本發(fā)明的一個實施例，解碼器 以檢查in_Cr0p_Wind0W(CurrMbAddr)的方式來得知和層間預測相關聯(lián)的信息是否由編碼 器來傳輸(510，610)。舉例說來，根據(jù)in_Cr0p_Wind0W(CurrMbAddr)，如果相應于當前塊的 區(qū)域不存在于基本層的話，標志motion_prediCtion_flag_10/ll將不會在比特流中傳輸 (520/530,620/630)。并且，表示和運動向量預測相關聯(lián)的信息是否存在于宏塊層的標志adaptive motiorupredictioruflag可以從當前NAL的條帶數(shù)據(jù)中被獲得。根據(jù)本發(fā)明的一個實 施例，通過檢查 adaptive_motion_prediction_flag 禾口 in_crop_window(CurrMbAddr) 的方式，編碼器可以不傳輸和層間預測相關聯(lián)的信息(510)。舉例說來，根據(jù)in_cr0p_ window (CurrMbAddr)，如果相應于當前塊的區(qū)域不存在于基本層的話，或者根據(jù)adaptive motiorupredictioruflag，如果和運動向量預測相關聯(lián)的信息不存在于宏塊的話，可以不 傳輸標志 motion_prediction_flag_10/ll (520/530,620/630)。上述技術思想同樣可應用 于圖6中所示的子宏塊預測。因此，如果在識別上述兩種信息后滿足上述兩條件的話，傳輸和層間預測相關聯(lián) 的信息。因此，可以提高編碼效率。圖7是根據(jù)本發(fā)明的一個實施例的與通過層間預測的殘差預測相關的語法圖。在執(zhí)行層間預測的情形中，當前NAL的條帶數(shù)據(jù)中的和層間預測相關的信息被傳 輸?shù)浇獯a器。舉例來說，在預測當前塊的殘差信號的情形中，可以從宏塊層獲得表示是否使 用基本層的殘差信號的標志residual_prediCtion_flag(740)。這種情形下，可以通過層表 示信息(layer representation information)知道基本層。根據(jù)本發(fā)明的一個實施例，通 過確認irucropjindow(CurrMbAddr)的方式，編碼器可以不傳輸和層間預測相關的信息。舉例說來，可以根據(jù)表示宏塊中與殘差信號的預測相關的信息的存在的信 息adaptive_residual_prediction_flag及當前塊的條帶類型的信息，來獲得上述 residual—prediction—flag (710)。上:residual—prediction—flag 也可t艮據(jù) base—mode— flag被獲得。上述base_m0de_flag表示當前宏塊的類型(mb_type)是否從基本層的相 應區(qū)域被導出(720)。也可以根據(jù)當前宏塊的類型和函數(shù)in_crop_window(CurrMbAddr)來獲得residualpredictior^flag。舉例說來，當宏塊和子宏塊的類型不是幀內模 式(MbPartPredType(mb_type,0) ！ = Intra_16xl6(8x8 and 4x4)),并且 in_crop_ window(CurrMbAddr)的值為“true”時(其表示相應于當前宏塊的區(qū)域存在于基本層中)， 可獲得residual_prediCtion_flag(730)。如果當前宏塊的類型不是幀內模式或相應于當 前宏塊的區(qū)域不存在于基本層(in_crop_WindoW(CurrMbAddr) =0)時，不執(zhí)行殘差預測。 并且，上述編碼器102生成增強層而不包含residualpredictior^flag。如果上述residualpredictioruflag被設置為1，則從基本層的殘差信號預測當 前塊的殘差信號。如果residualpredictioruflag被設置為0，則不進行層間預測而編碼 殘差信號。如果在宏塊層中不存在residualpredictioruflag的話，其可被按照下文導 出。舉例說來，只有當完全滿足下述條件時，residualpredictioruflag可以被推導為預 先設定值(default_residual_prediction_flag)。首先，base_mode_flag 應該被設置為 1 或者當前宏塊的類型應該不為幀內模式。其次，in_Cr0p_Wind0W(CurrMbAddr)應被設置為 1。第三，表示是否使用層間預測的標志n0_inter_layer_pred_flag應被設置為0。第四， 條帶類型應該不是EI條帶。否則的話，推導得出0。通過in_crop_WindoW(CurrMbAddr)，當確認相應于當前序列塊的區(qū)域不存在于基 本層中時，增強層解碼單元116決定運動預測標志(motiorupredictioruflag)信息不存 在于宏塊或子宏塊中，并且只通過使用增強層的數(shù)據(jù)比特流來重建視頻信號而不進行層間 預測。如果用于殘差預測的語法元素不包含在增強層的數(shù)據(jù)比特流中的話，增強層解碼單 元116可以推導出殘差預測標志residual_prediction_flag。如此進行時，可以通過in_ crop_window(CurrMbAddr)考慮相應于當前塊的區(qū)域是否存在于基本層中。如果in_crop_ window (CurrMbAddr)為設置為0的話，增強層解碼單元116可以確認相應于當前序列塊的 區(qū)域不存在于基本層中。在這種情形下，推導出residualpredictior^f lag為0，并且然后 可以只通過使用增強層的數(shù)據(jù)重建視頻信號而不通過使用基本層的殘差信號執(zhí)行殘差預 測。圖8是根據(jù)本發(fā)明的一個實施例的用于根據(jù)是否進行層間預測來獲得自適應預 測信息的語法圖。根據(jù)本發(fā)明的一個實施例，通過確認可伸縮視頻編碼比特流的配置信息，編碼器 可以不傳輸和層間預測相關的信息?？梢詮腘AL頭的擴展區(qū)域獲得可伸縮視頻編碼比 特流的配置信息。舉例說來，可以基于表示是否使用層間預測的信息n0_inter_layer_ precLflag來獲得自適應預測信息(810)。自適應預測信息可以表示和預測相關的語法 是否存在于相應位置。例如，存在表示和預測相關的語法是否存在于條帶頭和宏塊層的 信息adaptive_prediCti0n_flag，表示和運動預測相關的語法是否存在于宏塊層的信息 adaptivejnotiorupredictioruflag，和表示和殘差預測相關的語法是否存在于宏塊層的 flf;§、adaptive_residual_prediction_f lag,等等。當根據(jù)表示是否使用層間預測的信息來執(zhí)行層間預測時，首先可獲得表示是 否存在條帶數(shù)據(jù)的標志信息SliCe_Skip_flag(820)。通過確認表示存在條帶數(shù)據(jù)的 信息，為了執(zhí)行層間預測，可決定是否推導出宏塊內的信息。根據(jù)表示上述條帶數(shù)據(jù)的 存在的信息，如果條帶數(shù)據(jù)存在于條帶中(830)，可以獲得自適應預測標志adaptive prediction_flag(840)。并且，可以獲得表示和殘差預測相關的語法是否存在于宏塊層的信息adaptive_residual_prediction_flag(880)。根據(jù)上述自適應預測標志，可以從基本 層的相應塊獲得表示如何推導表示是否預測運動信息等信息的信息defaUlt_base_m0de_ flag(850) 0當運動信息等不是從基本層的相應塊被預測得到時(855)，可以獲得表示和運 動預測相關的語法是否存在于宏塊層中的信息adaptive_motion_prediction_flag (860)。 如果和運動預測相關的語法不存在于宏塊層的話(865)，可以獲得表示如何推斷運動預測 標志信息的信息 default—motion—prediction—flag (870)?？梢栽诤陦K層使用表示和運動預測相關的語法是否存在于宏塊層的信息 adaptive_motion_prediction_flag和表示和殘差預測相關的語法是否存在于宏塊層 的信息 adaptive_residual_prediction_flag0 例如，可以基于上述 adaptive_motion_ prediction—flag,獲得表示是否使用基本層的運云力向量的標志motion_prediction_flag_ lx。并且，可以基于上述adaptive_residual_prediction_flag，獲得表示是否使用基本層 的殘差信號的標志 residual_prediction_flag0如上文所述，可應用于本發(fā)明的解碼器/編碼器被提供到用于諸如DMB (數(shù)字多媒 體廣播)等的多媒體廣播的廣播發(fā)射機/接收機，以用于解碼視頻信號、數(shù)據(jù)信號等。并且， 上述多媒體廣播發(fā)射機/接收機可以包括移動通信終端。一種應用本發(fā)明的解碼/編碼方法，被作為用于計算機執(zhí)行的程序，并且存儲在 計算機可讀記錄介質中。并且，具有本發(fā)明的數(shù)據(jù)結構的多媒體數(shù)據(jù)可以被存儲在計算機 可讀記錄介質中。計算機可讀記錄介質包括用于存儲計算機系統(tǒng)可讀數(shù)據(jù)的所有類型的存 儲設備。計算機可讀記錄介質包括ROM、RAM、CD-ROM、磁帶、軟盤、光盤存儲設備等，并且還 包括由載波所實現(xiàn)的設備(例如，通過因特網(wǎng)的傳輸)。并且，由編碼方法所生成的比特流 被存儲在計算機可讀介質中或通過有線/無線通信網(wǎng)絡被傳輸。工業(yè)實用性盡管本發(fā)明已參照其優(yōu)選實施例進行了描述及說明，很明顯本領域的技術人員可 對其進行各種修改及變化，而不脫離本發(fā)明的精神或范疇。因此，本發(fā)明覆蓋權利要求書及 其等同物的范圍中所提供本發(fā)明的修改及變化。
權利要求
一種解碼可伸縮視頻信號的方法，包括從所述可伸縮視頻信號提取參數(shù)識別信息，所述參數(shù)識別信息指示，用于基本層的上采樣過程的參數(shù)是否出現(xiàn)在序列參數(shù)集和所述可伸縮視頻信號的條帶頭的至少之一中；從所述可伸縮視頻信號提取當前條帶的層間預測信息，所述層間預測信息指示，所述層間預測是否用于解碼在增強層中的當前條帶；從所述可伸縮視頻信號提取當前條帶的質量識別信息，所述質量識別信息識別包含當前條帶的當前圖像的圖像質量；基于所述層間預測信息和所述質量識別信息，當根據(jù)參數(shù)識別信息用于基本層的上采樣過程的參數(shù)出現(xiàn)在條帶頭時，從所述條帶頭提取與色度信號的相移相關聯(lián)的相位信息；從已上采樣的基本層導出當前塊的預測值，所述已上采樣的基本層通過使用所述相位信息從所述基本層被上采樣，所述當前塊被包含在所述當前條帶中；以及使用所述當前塊的所述預測值重建所述當前塊，其中所述相位信息對應于用于基本層的上采樣過程的參數(shù)。
2.如權利要求1所述的方法，其特征在于，所述相位信息包括水平相移信息和垂直相移信息。
3.如權利要求1所述的方法，其特征在于，還包括獲取指示所述當前圖像和對應圖像間位置差別的偏移量信息，所述對應圖像呈現(xiàn)在所 述已上采樣的基本層中，其中所述偏移量信息對應于用于基本層的上采樣過程的所述參數(shù)，且所述已上采樣基 本層是從所述基本層中利用所述相位信息和所述偏移量信息上采樣的。
4.如權利要求3所述的方法，其特征在于，所述偏移量信息包括左偏移量信息，指示對應圖像的至少一左側像素和當前圖像的至少一左側像素之間的 位置偏移；上偏移量信息，指示對應圖像的至少一上側像素和當前圖像的至少一上側像素之間的 位置偏移；右偏移量信息，指示對應圖像的至少一右側像素和當前圖像的至少一右側像素之間的 位置偏移；下偏移量信息，指示對應圖像的至少一下側像素和當前圖像的至少一下側像素之間的 位置偏移。
5.如權利要求1所述的方法，其特征在于，所述基本層在屏幕比例或空間分辨率上不 同于所述增強層，所述增強層來自與所述基本層相同的視頻信號。
6.一種解碼可伸縮視頻信號的裝置，包括增強層解碼單元，配置為從所述可伸縮視頻信號提取參數(shù)識別信息，所述參數(shù)識別信 息指示，用于基本層的上采樣過程的參數(shù)是否出現(xiàn)在序列參數(shù)集和所述可伸縮視頻信號的 條帶頭的至少之一中，所述增強層解碼單元配置用于從所述可伸縮視頻信號提取當前條帶 的層間預測信息，所述層間預測信息指示，所述層間預測是否用于解碼在增強層中的當前 條帶，所述增強層解碼單元配置用于從所述可伸縮視頻信號提取當前條帶的質量識別信 息，所述質量識別信息識別包含當前條帶的當前圖像的圖像質量，所述增強層解碼單元配 置用于基于所述層間預測信息和所述質量識別信息，當根據(jù)參數(shù)識別信息用于基本層的上采樣過程的參數(shù)出現(xiàn)在條帶頭時，從所述條帶頭提取與色度信號的相移相關聯(lián)的相位信 息，并從已上采樣的基本層導出當前塊的預測值，所述已上采樣的基本層通過使用所述相 位信息從所述基本層被上采樣，所述當前塊被包含在所述當前條帶中，及使用所述當前塊 的所述預測值重建所述當前塊，其中所述相位信息對應于用于基本層的上采樣過程的參 數(shù)。
7.如權利要求6所述的裝置，其特征在于，所述相位信息包括水平相移信息和垂直相移信息。
8.如權利要求6所述的裝置，其特征在于，所述增強層解碼單元配置用于獲取指示所 述當前圖像和對應圖像間位置差別的偏移量信息，所述對應圖像呈現(xiàn)在所述已上采樣的基 本層中，其中所述偏移量信息對應于用于基本層的上采樣過程的所述參數(shù)，且所述已上采 樣基本層是從所述基本層中利用所述相位信息和所述偏移量信息上采樣的。
9.如權利要求8所述的裝置，其特征在于，所述偏移量信息包括左偏移量信息，指示 對應圖像的至少一左側像素和當前圖像的至少一左側像素之間的位置偏移；上偏移量信 息，指示對應圖像的至少一上側像素和當前圖像的至少一上側像素之間的位置偏移；右偏 移量信息，指示對應圖像的至少一右側像素和當前圖像的至少一右側像素之間的位置偏 移；下偏移量信息，指示對應圖像的至少一下側像素和當前圖像的至少一下側像素之間的 位置偏移。
10.如權利要求6所述的裝置，其特征在于，所述基本層在屏幕比例或空間分辨率上不 同于所述增強層，所述增強層來自與所述基本層相同的視頻信號。
全文摘要
本發(fā)明公開了解碼可伸縮視頻信號的方法和系統(tǒng)從可伸縮視頻信號提取指示用于基本層的上采樣過程的參數(shù)是否出現(xiàn)在序列參數(shù)集和可伸縮視頻信號的條帶頭的至少之一中的參數(shù)識別信息；指示層間預測是否用于解碼在增強層中的當前條帶的層間預測信息；識別包含當前條帶的當前圖像的圖像質量的質量識別信息；基于層間預測信息和質量識別信息，當用于基本層的上采樣過程的參數(shù)出現(xiàn)在條帶頭時，從條帶頭提取與色度信號的相移相關聯(lián)的相位信息；從已上采樣的基本層導出當前塊的預測值，已上采樣的基本層通過使用相位信息從基本層被上采樣，當前塊被包含在當前條帶中；使用當前塊的預測值重建當前塊，相位信息對應于用于基本層的上采樣過程的參數(shù)。
文檔編號H04N7/26GK101888559SQ20101023179
公開日2010年11月17日 申請日期2007年11月9日 優(yōu)先權日2006年11月9日
發(fā)明者全柄文, 樸勝煜 申請人:Lg電子株式會社