圖像解碼方法、圖像編碼方法、圖像解碼裝置、圖像編碼裝置及圖像編碼解碼裝置制造方法

圖像解碼方法、圖像編碼方法、圖像解碼裝置、圖像編碼裝置及圖像編碼解碼裝置制造方法
【專利摘要】有關本發明的一形態的圖像解碼方法包括：上下文控制步驟（S204），在多個上下文中決定對處理對象塊使用的上下文；算術解碼步驟（S210），對與上述處理對象塊對應的比特序列使用所決定的上述上下文進行算術解碼；在上述上下文控制步驟（S204）中，在上述控制參數的信號種類是第1種類的情況下，使用既利用與上述處理對象塊鄰接的左塊的控制參數又利用與上述處理對象塊鄰接的上塊的控制參數的條件決定上述上下文（S206），在上述控制參數的信號種類是第2種類的情況下，使用不利用上述上塊的控制參數的條件決定上述上下文（S207）。
【專利說明】圖像解碼方法、圖像編碼方法、圖像解碼裝置、圖像編碼裝置及圖像編碼解碼裝置【技術領域】
[0001]本發明涉及圖像解碼方法、圖像編碼方法、圖像解碼裝置、圖像編碼裝置及圖像編碼解碼裝置，特別涉及使用算術編碼或算術解碼的圖像解碼方法、圖像編碼方法、圖像解碼裝置、圖像編碼裝置及圖像編碼解碼裝置。【背景技術】
[0002]自然圖像的圖像信號具有統計上的波動，該波動呈變動性的特性。在利用統計上的波動的變動性的熵編碼方式之一中，有Context-Based Adaptive Binary ArithmeticCoding (CABAC，基于上下文的自適應二進制算術編碼)(參照非專利文獻I)。該CABAC方式在 ITU-T/ISOIEC standard for video coding，H.264/AVC 方式中被米用。
[0003]以下，說明在CABAC方式中使用的用語的意義。
[0004](I) "Context-Based Adaptive"(基于上下文的自適應),是使編碼及解碼方法自適應于統計性波動的變動。即，"Context-Based Adaptive"也可以說是在將某個碼元編碼或解碼的情況下，匹配于周圍的條件的發生事件作為該碼元的發生概率而預測適當的概率。例如，在編碼中，在決定某個碼元S的各值的發生概率p (X)的情況下，使用以實際發生的事件或事件的列F (z)為條件的帶條件的發生概率。
[0005](2) "Binary" (二進制)是指將碼元用二進制排列表現。關于用多值表示的碼元，一次變形為稱作bin string的二值排列。并且對于各個排列要素，一邊切換使用預測概率(條件概率)，一邊將發生了兩個值的事件的哪個進行比特序列化。由此，能夠用比信號種類的單位更詳細的單位(二進制數要素單位)對值的概率進行管理(初始化及更新)(參照非專利文獻I的圖2等)。
[0006](3)所謂"arithmetic"(算術)，是指上述的比特序列生成處理不是通過表的對應、而是通過計算輸出。在使用H.263、MPEG-4及H.264中的可變長代碼表的編碼方式中，即使是具有發生概率比0.5 (50%)高的發生概率的碼元，也需要使碼元能夠取的各個值對應于I個二進制數列(比特序列)。由此，關于概率最高的值，也最短必須使I個比特與I個碼元建立對應。相對于此，算術編碼能夠將事件的較高的概率下的發生用整數值I比特以下表現。例如，有第I個二進制數的值為“0”的發生概率超過0.9 (90%)那樣的信號種類，在作為事件而第I個二進制數的值連續N次是“0”的情況下，不再需要對各個值“0”將I比特的數據輸出N次。
[0007]現有技術文獻
[0008]非專利文獻
[0009]非專利文獻1:Detlev Marpe, et.al., "Context-Based Adaptive BinaryArithmetic Coding in the H.264/AVC Video Compression Standard^, IEEE Transactionon circuits and systems for video technology, Vol.13, N0.7, July2003.[0010]非專利文獻2:Joint Collaborative Team on Video Coding (JCT-VC)of ITU-TSG16WP3and ISO/IEC JTCl/SC29/WG114th Meeting:Daegu, KR, 20-28January, 2011^2:1orking Draft2of High-Efficiency Video Coding〃JCTVC_D503http://wftp3.1tu.1nt/av-arch/jctvc-site/2011_0l_D_Daegu/JCTVC-D503.doc
[0011]非專利文獻3:Joint Collaborative Team on Video Coding (JCT-VC)of ITU-TSG16WP3and ISO/IEC JTCl/SC29/WG114th Meeting:Daegu, KR, 20-28January, 2011，"Common test conditions and software reference configurations", JCTVC-E700
[0012]非專利文獻4:Gisle Bjontegaard, “Improvements of the BD-PSNRmodel, "ITU-T SG16Q.6Document, VCEG-AI11, Berlin, July2008
發明概要
[0013]發明要解決的問題
[0014]但是，在這樣的圖像編碼方法及圖像解碼方法中，希望存儲器使用量(使用的存儲器容量)的減少。
[0015]
【發明內容】

[0016]所以，本發明的目的是提供一種能夠削減存儲器使用量的圖像編碼方法或圖像解碼方法。
[0017]用于解決問題的手段
[0018]為了達成上述目的，本發明的一個形態的圖像解碼方法，是使用算術解碼的圖像解碼方法，包括以下步驟:上下文控制步驟，在多個上下文中決定對處理對象塊使用的上下文；算術解碼步驟，將通過對 控制參數進行算術編碼而得到的、與上述處理對象塊對應的比特序列使用所決定的上述上下文進行算術解碼，由此將二值排列復原；以及多值化步驟，通過將上述二值排列多值化，將上述控制參數復原；在上述上下文控制步驟中，判斷上述處理對象塊的控制參數的信號種類，在上述信號種類是第I種類的情況下，使用既利用與上述處理對象塊鄰接的左塊的已解碼的控制參數又利用與上述處理對象塊鄰接的上塊的已解碼的控制參數的第I條件，決定上述上下文；在上述信號種類是與上述第I種類不同的第2種類的情況下，使用不利用上述上塊的已解碼的控制參數的第2條件，決定上述上下文。
[0019]發明效果
[0020]本發明能夠提供能削減存儲器使用量的圖像編碼方法或圖像解碼方法。
【專利附圖】

【附圖說明】
[0021]圖1是有關本發明的實施方式I的圖像編碼裝置的功能框圖。
[0022]圖2是有關本發明的實施方式I的可變長編碼部的功能框圖。
[0023]圖3是關于有關本發明的實施方式I的控制參數的上下文模型的表。
[0024]圖4是表示有關本發明的實施方式I的算術編碼方法的流程圖。
[0025]圖5是有關本發明的實施方式2的圖像解碼裝置的功能框圖。
[0026]圖6是有關本發明的實施方式2的可變長解碼部的功能框圖。
[0027]圖7是表示有關本發明的實施方式2的算術解碼方法的流程圖。
[0028]圖8是表示有關本發明的實施方式2的算術解碼方法的變形例的流程圖。
[0029]圖9是表示有關本發明的實施方式2的HEVC的分割塊(樹構造)的圖。[0030]圖10是用來說明有關本發明的實施方式2的多層級塊構造的圖。
[0031]圖11是表示有關本發明的實施方式3的split_coding_unit_flag的算術解碼方法的表。
[0032]圖12A是表示有關本發明的實施方式3的關于split_coding_unit_flag的驗證結果的表。
[0033]圖12B是表示有關本發明的實施方式3的關于split_coding_unit_flag的驗證結果的表。
[0034]圖13是表示有關本發明的實施方式3的skip_flag的算術解碼方法的表。
[0035]圖14A是表示有關本發明的實施方式3的關于skip_flag的驗證結果的表。
[0036]圖14B是表不有關本發明的實施方式3的關于skip_flag的驗證結果的表。
[0037]圖15是表示有關本發明的實施方式3的merge_flag的算術解碼方法的表。
[0038]圖16A是表示有關本發明的實施方式3的關于merge_flag的驗證結果的表。
[0039]圖16B是表示有關本發明的實施方式3的關于merge_flag的驗證結果的表。
[0040]圖17是用來說明有關本發明的實施方式的、利用鄰接兩塊的對應的控制參數的值的上下文模型的圖。
[0041]圖18是用來說明有關本發明的實施方式的、利用上塊的情況下的存儲器使用量的增加的圖。
[0042]圖19是實現內容分發服務的`內容供給系統的整體結構圖。
[0043]圖20是數字廣播用系統的整體結構圖。
[0044]圖21是表示電視機的結構例的模塊圖。
[0045]圖22是表示對作為光盤的記錄介質進行信息的讀寫的信息再現/記錄部的結構例的模塊圖。
[0046]圖23是表示作為光盤的記錄介質的構造例的圖。
[0047]圖24A是表示便攜電話的一例的圖。
[0048]圖24B是表示便攜電話的結構例的模塊圖。
[0049]圖25是表示復用數據的結構的圖。
[0050]圖26是示意地表示各流在復用數據中怎樣被復用的圖。
[0051]圖27是更詳細地表示在PES包序列中視頻流怎樣被保存的圖。
[0052]圖28是表示復用數據的TS包和源包的構造的圖。
[0053]圖29是表示PMT的數據結構的圖。
[0054]圖30是表示復用數據信息的內部結構的圖。
[0055]圖31是表示流屬性信息的內部結構的圖。
[0056]圖32是表示識別影像數據的步驟的圖。
[0057]圖33是表示實現各實施方式的運動圖像編碼方法及運動圖像解碼方法的集成電路的結構例的模塊圖。
[0058]圖34是表示切換驅動頻率的結構的圖。
[0059]圖35是表示識別影像數據、切換驅動頻率的步驟的圖。
[0060]圖36是表示將影像數據的標準與驅動頻率建立了對應的查找表的一例的圖。
[0061]圖37A是表示將信號處理部的模塊共用的結構的一例的圖。[0062]圖37B是表示將信號處理部的模塊共用的結構的另一例的圖。
【具體實施方式】
[0063](作為本發明的基礎的認識)
[0064]本發明人發現，會發生以下的問題。
[0065]這里，在作為下一代編碼方式的High-Efficiency Video Coding (HEVC)中，關于各種控制參數的編碼及解碼中的上下文模型的研究也正在進展(非專利文獻2)。所謂控制參數，是指包含在編碼比特流中、在編碼處理或解碼處理中使用的參數(標志等)，具體而言，是 syntax element。
[0066]所謂上下文模型，是表示(I)對怎樣的單位(多值、二進制數值、或二進制數排列(bin string)的各個要素)的信號、(2)考慮怎樣的條件(Condition)的信息。這里，所謂怎樣的條件，是應用怎樣的條件的要素數的條件、或者作為條件考慮的控制參數的信號種類最好是什么。將該條件越詳細地區分，即，越是增加條件數T (the number ofconditions),與I個條件對應的次數越減少。結果，通過每個條件的學習次數減少，概率的預測的精度下降(例如，參照非專 利文獻I的"dilution effect")。
[0067]此外,越是減少條件數,越是不考慮上下文(周圍的條件)，越不追隨于(adaptive)統計性變動。
[0068]在上下文的模型設計中決定模型的設計方針后，需要通過進行圖像內容的統計性波動的驗證、或控制圖像的編碼及解碼的控制參數的統計性波動的驗證等的為圖像而特殊化的驗證來考慮其妥當性。
[0069]在H.264中，將在碼元的編碼中使用限定的數量的事前事件作為規則的規范，并將上下文模型類型化為4個基本的類型(basic design types)。
[0070]第I及第2類型關于控制參數的編碼及解碼。
[0071]第I類型的上下文模型使用以兩個為上限(up to two)的鄰接的已編碼的值(參照非專利文獻I)。鄰接的兩個已編碼的值的定義依存于控制參數的各個信號種類，但通常使用在左及上鄰接的塊中包含的對應的控制參數的值。
[0072]第2上下文模型的類型是作為發生概率而基于二進制數樹決定上下文的類型。具體而言，應用到控制參數mb_type及sub_mb_type中。
[0073]第3及第4類型關于圖像數據等的殘差值(residual data)的編碼及解碼。在第3類型中，根據頻率系數(或量化系數)的掃描的順序，僅利用過去編碼或解碼的值。在第4類型中，根據解碼并累積的值(水平(level)值)決定上下文。
[0074]上述第I類型等的、H.264的概率轉移(probability transition)模型的設計方針及安裝方法被較長地驗證了效果，研究正在進展，以使得也應用到目前研究中的ffiVC中(參照非專利文獻2)。例如正在研究將第I類型(使用相鄰語法元素(using neighbouringsyntax elements)的上下文模型)用在控制參數 alf_cu_f lag、split_coding_unit_f lag、skip_flag、merge_flag、intra—chroma—pred—mode、inter—pred—flag、ref—idx—lc、ref—idx_10、ref—idx_ll、mvd—10、mvd—11、mvd—lc、no—residual_data—flag、cbf—luma、cbf—cb及cbf_cr中(參照非專利文獻2的9.3.3.1.1節)。
[0075]但是，關于利用該第I類型“利用鄰接兩塊的上下文模型”的編碼，本發明人發現，關于其存儲器使用量存在以下的問題。
[0076]圖17是用來說明利用鄰接兩塊的對應的控制參數的值的上下文模型的圖。此外，圖17表示H.264中的利用鄰接塊的上下文模型。
[0077]圖中的塊C包括作為當前(Current)的編碼或解碼對象的控制參數SE的值。在將該SE的值編碼的情況下，利用在已經編碼的上塊A及左塊B中包含的同種控制參數SE的值。具體而言，使用以上塊A的控制參數SE的值和左塊B的控制參數SE的值為條件的條件概率P (x (condition A (上塊的值)且condition B (左塊的值)))預測塊C的控制參數SE (或控制參數SE的bin string的第I個二進制數)的值x是“I”還是“0”的概率p
(X)0
[0078]圖18是用來說明利用上塊的情況下的存儲器使用量的增加的圖。
[0079]圖中的(xP,yP)表示包含塊C的Prediction Unit (PU:運動預測單位)的左上像素位置。這里，塊C是包括當前的編碼對象的控制參數(例如skip_flag)的塊。此外，圖中的(xP, yA)表示作為condition A (上塊的控制參數skip_f lag的值)使用的、塊B中包含的像素位置。圖中(xL, yP)表示作為condition B (左塊的控制參數skip_flag的值)使用的、塊A中包含的像素位置。
[0080]在此情況下，為了將塊C的控制參數skip_f lag的值編碼或解碼，編碼或解碼裝置需要保持與上塊B中包含的(xP，yA)的位置對應的I3U的skip_flag的值(或條件的判斷結果)、和與左塊A中包含的(xL，yP)的位置對應的I3U的skip_flag的值(或條件的判斷結果)。這里，如果設該圖片的橫寬是4096像素，則為了 I個控制參數skip_flag的編碼，需要保持上塊行(圖18所示的Line L)中包含的全部的判斷值。即，為了 I個控制參數，需要4096像素+塊尺寸的存儲器容量。
[0081]這里，編碼對象的塊C的塊尺寸`是可變的，例如是64X64、16X 16或4X4等。此外，在包含(xP，yA)的上方的行(Line L)中包含的塊的編碼或解碼時，在之后編碼或解碼的塊C的塊尺寸不能預測。這是因為，編碼或解碼裝置在上方的行(包含塊A的行)的編碼或解碼的時點，不知道其之下的行(包含塊C的行)的各塊的尺寸。因而，編碼或解碼裝置設想作為下方的行的塊尺寸而使用應用該控制參數的塊尺寸中的最小的塊尺寸的情況，必須按照每個該最小的塊尺寸保持控制參數的值(或判斷值)。另外，圖18的黑圈的位置表示實際在下方的行(包含塊C的行)的編碼或解碼中盡管不需要該條件值但必須保持的條件。
[0082]進而，圖18所示的鄰接兩塊(左塊A和上塊B)表示H.264時點的鄰接塊的概念，沒有導入新的層級塊分割的觀點。如后述那樣，對適應于計劃用ffiVC導入的遞歸4分塊分割樹構造(quad tree partitioning)的控制參數,根據遞歸的執行順序、層級深度或塊的位置，有由圖18表示的參照的條件值沒有意義的情況。
[0083]這樣，本發明人發現，通過在控制參數的算術編碼或解碼中利用上塊的條件值，存儲器使用量增加。進而，本發明人發現，在HEVC中，該存儲器使用量進一步增加。
[0084]對此，本發明的一個形態的圖像解碼方法，是使用算術解碼的圖像解碼方法，包括以下步驟:上下文控制步驟，在多個上下文中決定對處理對象塊使用的上下文；算術解碼步驟，將通過對控制參數進行算術編碼而得到的、與上述處理對象塊對應的比特序列使用所決定的上述上下文進行算術解碼，由此將二值排列復原；以及多值化步驟，通過將上述二值排列多值化，將上述控制參數復原；在上述上下文控制步驟中，判斷上述處理對象塊的控制參數的信號種類，在上述信號種類是第I種類的情況下，使用既利用與上述處理對象塊鄰接的左塊的已解碼的控制參數又利用與上述處理對象塊鄰接的上塊的已解碼的控制參數的第I條件，決定上述上下文；在上述信號種類是與上述第I種類不同的第2種類的情況下，使用不利用上述上塊的已解碼的控制參數的第2條件，決定上述上下文。
[0085]據此，該圖像解碼方法能夠削減存儲器使用量。具體而言，該圖像解碼方法由于對第2種類的控制參數不使用上塊的控制參數，所以不需要保持上塊的第2種類的控制參數。由此，該圖像解碼方法與統一地作為“利用基于鄰接塊的控制參數的值的上下文模型”而利用左塊和上塊的情況相比能夠削減存儲器使用量。
[0086]此外，該圖像解碼方法能夠進行在現有的H.264中沒有考慮的、適合于新的HEVC特有的數據構造的層級樹構造的上下文的利用或存儲器參照。
[0087]此外，也可以是，上述第2條件是既不利用上述上塊的已解碼的控制參數也不利用上述左塊的已解碼的控制參數的條件。
[0088]據此，該圖像解碼方法通過不僅不使用上塊而且也不使用左塊的控制參數，能夠進一步削減存儲器使用量。
[0089]此外，也可以是，在上述上下文控制步驟中，在上述信號種類是上述第2種類的情況下，作為上述第2條件，將預先設定的上下文決定為在上述對象塊的算術解碼中使用的上下文。
[0090]據此，該圖像解碼方法能夠降低處理量。
[0091]此外，也可以是 ，在上述信號種類是上述第2種類的情況下，作為上述第2條件，根據上述處理對象塊的控制參數所屬的數據單位的層級的深度決定上述上下文。
[0092]據此，該圖像解碼方法能夠在削減存儲器使用量的同時選擇適當的上下文。
[0093]此外，也可以是，在上述上下文控制步驟中，還基于上述處理對象塊的位置，判斷在解碼時是否能夠利用上述上塊的控制參數；在不能利用上述上塊的控制參數的情況下，使用上述第2條件決定上述上下文。
[0094]據此，該圖像解碼方法能夠降低處理量。
[0095]此外，也可以是，在上述上下文控制步驟中，在上述處理對象塊屬于切片(slice)邊界的情況下，判斷為在解碼時不能利用上述上塊的控制參數。
[0096]此外，也可以是，在上述上下文控制步驟中，根據上述處理對象塊的控制參數所屬的數據單位的層級的深度判斷在解碼時是否能夠利用上述上塊的控制參數。
[0097]此外，也可以是，上述第2種類是具有預先設定的數據構造的控制參數。
[0098]此外，也可以是，在上述上下文控制步驟中，還基于第I單位的控制參數的值，針對比上述第I單位小的第2單位的控制參數，切換是使用上述第I條件決定上述上下文、還是使用上述第2條件決定上下文。
[0099]此外，也可以是，上述第I種類是〃split_coding_unit_flag(分割編碼單元標志)〃或〃skip_flag(跳過標志)〃,上述第2種類是〃merge_flag(合并標志)〃。
[0100]據此，該圖像編碼方法能夠不損害圖像的BD-rate值評價等而適當地削減第2種類的控制參數的存儲器使用量。
[0101]此外，也可以是,上述〃split_coding_unit_flag〃表示上述處理對象塊是否被分割為多個塊，上述〃skip_flag〃表示是否跳過上述處理對象塊，上述〃merge_flag〃表示是否對上述處理對象塊使用合并模式。
[0102]此外，也可以是，上述圖像解碼方法根據編碼信號中包含的、表示第I標準或第2標準的識別符，對依據上述第I標準的解碼處理與依據上述第2標準的解碼處理進行切換；在上述ID表示第I標準的情況下，作為依據上述第I標準的解碼處理，進行上述上下文控制步驟、上述算術解碼步驟和上述多值化步驟。
[0103]此外，有關本發明的一個形態的圖像編碼方法，使用算術編碼，包括以下步驟:二值化步驟，通過將處理對象塊的控制參數二值化，生成二值排列；上下文控制步驟，在多個上下文中，決定對上述處理對象塊使用的上下文；以及算術編碼步驟，通過使用所決定的上述上下文對上述二值排列進行算術編碼，生成比特序列；在上述上下文控制步驟中，判斷上述處理對象塊的控制參數的信號種類；在上述信號種類是第I種類的情況下，使用既利用與上述處理對象塊鄰接的左塊的控制參數又利用與上述處理對象塊鄰接的上塊的控制參數的第I條件，決定上述上下文；在上述信號種類是與上述第I種類不同的第2種類的情況下，使用不利用上述上塊的控制參數的第2條件，決定上述上下文。
[0104]據此，該圖像編碼方法能夠削減存儲器使用量。具體而言，該圖像編碼方法由于對第2種類的控制參數不使用上塊的控制參數，所以不需要保持上塊的第2種類的控制參數。由此，該圖像編碼方法與統一地作為“利用基于鄰接塊的控制參數的值的上下文模型”而利用左塊和上塊的情況相比能夠削減存儲器使用量。
[0105]此外，該圖像編碼方法能夠進行在現有的H.264中沒有考慮的、適合于新的HEVC特有的數據構造的層級樹構造的上下文的利用或存儲器參照。
[0106]此外，有關本發明的一個形態的圖像解碼裝置，使用算術解碼，包括:上下文控制部，在多個上下文中決定在 處理對象塊的算術解碼中使用的上下文；算術解碼部，將通過對控制參數進行算術編碼而得到的、與上述處理對象塊對應的比特序列使用所決定的上述上下文進行算術解碼，由此將二值排列復原；以及多值化部，通過將上述二值排列多值化，將上述控制參數復原；上述上下文控制部，判斷上述處理對象塊的控制參數的信號種類；在上述信號種類是第I種類的情況下，使用既利用與上述處理對象塊鄰接的左塊的已解碼的控制參數又利用與上述處理對象塊鄰接的上塊的已解碼的控制參數的第I條件，決定上述上下文；在上述信號種類是與上述第I種類不同的第2種類的情況下，使用不利用上述上塊的已解碼的控制參數的第2條件，決定上述上下文。
[0107]據此，該圖像解碼裝置能夠削減存儲器使用量。
[0108]此外，有關本發明的一個形態的圖像編碼裝置，使用算術編碼，包括:二值化部，通過將處理對象塊的控制參數二值化，生成二值排列；上下文控制部，在多個上下文中，決定對上述處理對象塊使用的上下文；以及算術編碼部，通過使用所決定的上述上下文對上述二值排列進行算術編碼，生成比特序列；上述上下文控制部，判斷上述處理對象塊的控制參數的信號種類；在上述信號種類是第I種類的情況下，使用既利用與上述處理對象塊鄰接的左塊的控制參數又利用與上述處理對象塊鄰接的上塊的控制參數的第I條件，決定上述上下文；在上述信號種類是與上述第I種類不同的第2種類的情況下，使用不利用上述上塊的控制參數的第2條件，決定上述上下文。
[0109]據此，該圖像編碼裝置能夠削減存儲器使用量。
[0110]此外，有關本發明的一個形態的圖像編碼解碼裝置包括上述圖像解碼裝置和上述圖像編碼裝置。
[0111]另外，這些總括性或具體的形態也可以通過系統、方法、集成電路、計算機程序或記錄介質實現，也可以通過系統、方法、集成電路、計算機程序及記錄介質的任意的組合實現。
[0112]以下，參照附圖對有關本發明的一形態的圖像解碼裝置及圖像編碼裝置具體地說明。
[0113]另外，以下說明的實施方式都是表示本發明的一具體例的。在以下的實施方式中表示的數值、形狀、材料、構成要素、構成要素的配置位置及連接形態、步驟、步驟的順序等是一例，不是限定本發明的意思。此外，關于以下的實施方式的構成要素中的、在表示最上位概念的獨立權利要求中沒有記載的構成要素，設為任意的構成要素進行說明。
[0114](實施方式I)
[0115]以下，對有關本發明的實施方式I的圖像編碼裝置進行說明。有關本發明的實施方式I的圖像編碼裝置在算術編碼中根據控制參數的信號種類，切換(I)利用上塊決定上下文、還是(2)不利用上塊決定上下文。由此，能夠在抑制畫質的劣化的同時削減存儲器使用量。
[0116]首先，說明有關本發明的實施方式I的圖像編碼裝置的結構。
[0117]圖1是有關本實施方式的圖像編碼裝置100的框圖。
[0118]圖1所示的圖像編碼裝置100是使用算術編碼的圖像編碼裝置，通過將輸入圖像信號121編碼而生成比特流124。該圖像編碼裝置100包括控制部101、差分部102、變換及量化部103、可變長編碼部104、逆量化及逆變換部105、加法部106、畫面內預測部107、畫面間預測部108和開關109。
[0119]控制部101基于編碼對象的輸入圖像信號121計算控制參數130。例如，控制參數130包括表示編碼對象的輸入圖像信號121的圖片類型的信息、編碼對象塊的運動預測單位(Prediction Unit PU)的尺寸及運動預測單位的控制信息等。這里,控制參數130(Control data)其自身為編碼對象。由此，控制部101將該控制參數130向可變長編碼部104輸出。
[0120]差分部102計算作為塊單位的輸入圖像信號121與預測圖像信號129的差值(殘差值)的殘差號122。
[0121]變換及量化部103將殘差信號122變換為頻率系數值，通過將得到的頻率系數值量化，生成量化變換系數123 (residual data)。
[0122]逆量化及逆變換部105將量化變換系數123逆量化為頻率系數值，通過將得到的頻率系數值逆變換，生成復原的殘差信號125。
[0123]加法部106通過將殘差信號125與預測圖像信號129相加，輸出復原圖像信號126。
[0124]畫面內預測部107通過使用復原圖像信號126進行畫面內預測處理而生成預測圖像信號127。畫面間預測部108通過使用復原圖像信號126進行畫面間預測處理而生成預測圖像信號128。
[0125]開關109選擇預測圖像信號127及預測圖像信號128的一方，將所選擇的信號作為預測圖像信號129輸出。[0126]可變長編碼部104通過將輸入的各塊的量化變換系數123及控制參數130使用上述的CABAC編碼而生成比特流124。
[0127]接著，說明可變長編碼部104的結構。
[0128]圖2是可變長編碼部104的功能框圖。可變長編碼部104包括二值化部141、上下文控制部142和二值算術編碼部143。以下，對控制參數130的可變長編碼處理進行說明。另外，關于量化變換系數123的可變長編碼處理省略說明，例如可以使用已知的技術實現。
[0129]二值化部141通過將控制參數130 二值化，生成二值排列151。具體而言，二值化部141是執行非專利文獻I中的I1.1) binarizaion處理的處理部。該二值化部141將控制參數130通過按照每個信號種類事前設定的二值化處理方法變換為稱作bin string的二值排列151。另外，關于信號種類與二值化處理方法的對應在后面敘述。此外，二值化部141在輸入的控制參數130是flag等的I個二進制數值的情況下，將該控制參數130原樣作為二值排列151輸出。
[0130]上下文控制部142在多個上下文(概率狀態表)中，決定在包含于處理對象的塊中的控制參數130的算術編碼中使用的上下文。此外，上下文控制部142將指定所決定的上下文的上下文索引152向二值算術編碼部143輸出。
[0131]具體而言,上下文控制部142是執行非專利文獻I中的2)context modeling處理的處理部。對于該上下文控制部142，依次輸入在二值算術編碼部143輸出的二值排列151中包含的多個要素。上下文控制部142根據控制參數130的信號種類和該二進制數的二值排列151中的要素位置，在多個上下文中選擇在該二進制數中使用的上下文，將表示所選擇的上下文的索引即上下文索引152向二值算術編碼部143輸出。
[0132]此外，上下文控制部142作為上下文的狀態而保持著將控制參數130的二值排列的各個要素進一步詳細區分化為條件概率的條件的數量(所謂的上下文索引數)的概率狀態表，將該概率狀態表初始化及更新。
`[0133]此外，上下文控制部142作為按照每個信號種類(在二值排列的要素數是2以上的情況下，是控制參數130的二值排列的每個要素號碼。以下相同)更加詳細區分而保持每個發生條件T (每個上下文)的狀態(probability state index:概率狀態索引)。該狀態是“0”或“I”的二值中的概率較低一方的發生概率P (內分比率:典型地是6比特的值)、與概率較高一方是哪個的值(I比特)的合計7比特值。此外，所謂保持狀態，是初始化及更新。例如，所謂更新處理，與H264同樣，是64個有限的狀態間的轉變，是將現在處于哪個概率狀態probability state (即哪個概率)的indexing變更。
[0134]具體而言，上下文控制部142在二值中的概率較高的most probable側的事件X發生的情況下，使作為most probable側的概率的比例稍稍增加。例如，上下文控制部142通過使與64個表對應的概率索引(probability state index)的值增減I,能夠使作為mostprobable側的概率的比例稍稍增加。另一方面，在(與預測的概率相反)而概率較低的事件not X發生的情況下，上下文控制部142使保持的most probable的概率的比例變大，基于規定的縮放系數a (例如N()，95)減少(參照非專利文獻1，圖6)。本實施方式的上下文控制部142與H.264同樣，基于建立了對應的表索引變更值使狀態轉變并保持，以便對應于考慮到該a的變更。
[0135]二值算術編碼部143通過使用由上下文控制部142決定的上下文將二值排列151算術編碼，生成比特流124 (比特序列)。
[0136]具體而言，二值算術編碼部143是執行非專利文獻I的3) binary arithmeticcoding處理的處理部。該二值算術編碼部143通過使用由上下文索引152指定的上下文將二值排列151算術編碼，從而生成比特流124。這里，所謂算術編碼，是指將關于各種信號種類的控制參數130發生的事件作為概率的累計處置，將進行怎樣的事件一邊縮窄范圍一邊與I個數線(number line)上的規定范圍建立對應。
[0137]首先，二值算術編碼部143將I個數線根據從上下文控制部142給出的、二進制數能夠取的兩個值的發生概率內分為兩個半區間。在實際發生的二進制數的值(例如“0”)是較高的概率(超過0.5的概率(例如0.75))側的值的情況下，二值算術編碼部143不變更而維持數線中的范圍的下值限值low，將與對此次的概率0.75乘以I次縮放系數0.95的結果相對應的值設定為新的幅度Range。另一方面，在實際發生的二進制數的值是預測的較低的概率側的值的情況下，二值算術編碼部143使范圍的下限值low移動較高的概率的量，使幅度Range根據較低的概率而變更。這樣，通過概率幅度Range的相乘結果的累計而保持區間，但在概率較低的值連續發生的情況下，幅度Range的長度成為在運算中能夠確保的精度以下。在此情況下，二值算術編碼部143為了維持精度而進行將幅度Range擴大的處理(renorm)并且將用來表示當前時點的范圍的比特序列輸出。相反，在概率較高(0.95等)的值連續發生的情況下，即使乘以該概率值，在幅度Range的長度變得比規定的長度短之前也能夠進行多次的運算(在基于表的安裝的情況下是狀態轉變)。因而，在此情況下，在將比特輸出之前能夠累計的碼元數較多。
[0138]圖3是將利用基于鄰接塊的控制參數130的值的上下文模型的控制參數130整理的表。
[0139]從左起，說明列的意義。
[0140](c2)信號種類(syntax element)表示控制參數130的信號種類的具體名稱。另外，各信號種類的意義后述。
[0141](c3)二值化方式(binarization scheme)表不在由緊挨著的左方的列指定的控制參數130(SE)中應用的二值化方式。另外，二值化處理由上述二值化部141執行。此外，所謂欄中“固定長”，是指二值化部141將緊挨著的左方的控制參數130的值用固定長(FixedLength)的二值排列(bin string)輸出。在HEVC中信號種類名用"flag〃結束的信號種類的控制參數130是取“0”或“I”的某個值的I個二進制數值。因而，二值化部141輸出的二值排列151的要素只是第I個要素(binldx=0)，第2個以后的要素(binldx>=l的要素不輸出。即，二值化部141將控制參數130的值原樣作為二值排列151輸出。
[0142]此外，欄中“可變長”，表示二值化部141將控制參數130的值，使用以成為以該值的發生頻度順序由短到長的二進制數長的方式建立了對應的可變長的二進制數列(bin string或二值排列，要素數3 I)來進行二值排列化并輸出。例如，二值化部141將(Truncated) Unary型或Unary型與其他指數的Golomb方式等的多個方式的組合等的、對應于信號種類的方式輸出(參照非專利文獻1，A.Binarization)。另外，在可變長的情況下，也有二值排列151的排列要素是I個的情況，但也有為兩個以上的情況。此外，在后述的圖像解碼裝置的多值化部中，通過進行該二值化方式的逆變換，將輸入的二值排列復原為多值或標志值。[0143](C4)第I個要素(binldx=0)上下文索引表示上下文控制部142對在通過由c3的欄指定的二值化方式生成的二進制數排列中包含的第I個要素應用的上下文索引(增值)的選擇分支。在欄中記載有“0，1，2”的情況下，意味著上下文控制部142從3個概率狀態表(上下文)中選擇應用一個概率狀態表。例如，對于信號種類〃skip_flag〃，關于該I個信號種類準備3個用條件細分化的上下文索引，即意味著準備3個上下文進行算術編碼。
[0144]同樣，在c4欄中記載有“0,1,2, 3”的情況下,意味著在將由c2欄指定的信號種類的控制參數130的值應用到在通過c3欄的二值化方式二值排列化的二值排列151中包含的第I要素(binldx=0)中的上下文是0、1、2或3的4個擇一。另外，關于欄中的條件式在后面敘述。
[0145](c5)左塊條件L (condL)表示上下文控制部142用來在欄c4中選擇0、1、2的值的某個值的左塊的條件(condition)。該條件對應于編碼對象(或解碼對象)的控制參數，取根據左塊的控制參數的值決定的true或false的值。
[0146]例如,在控制參數(SE)是skip_flag的情況下,如果skip_flag [xL] [yL]的值是true (例如“I”)則輸出true，如果是false (例如“0”)則輸出false。
[0147](c6)上塊條件A (condA)表示上下文控制部142用來在由欄c4指定的排列要素的編碼及解碼中選擇0、1、2的值的某個值的上塊的條件(condition)。該條件取與編碼對象(或解碼對象)的控制參數對應的、根據上塊的控制參數的值決定的true或false的值。例如，在控制參數(SE)是skip_flag的情況下,如果skip_flag [xA] [yA]的值是true (例如“I”)則輸出true，如果是false (例如“0”)則輸出false。
[0148]另外，雖然沒有圖示，但將對(c7) “binldx>=l應用的上下文增量值”與2比特以上的信號種類建立了對應。該(c7)表示上下文控制部142對二值排列的第2要素以后的二進制數(具有binldx>=l 的索引值的二進制數排列要素的二進制數值)應用的上下文模型。
[0149]有關本實施方式的圖像編碼方法對于上述左塊條件L及上塊條件A，根據控制參數130的信號種類切換以下的動作(利用不同的模式動作)。
[0150](模式I)使用兩個鄰接塊(左塊條件L的判斷值和上塊條件A的判斷值)。
[0151](模式2)使用I個鄰接塊(僅左塊條件L的判斷值)。
[0152](模式3)使用0個鄰接塊(左塊條件L和上塊條件A都不使用)。
[0153]圖4是表示圖2所示的可變長編碼部104執行的有關本實施方式的圖像編碼方法的流程圖。
[0154]首先，二值化部141將控制參數130的值以與該控制參數130的信號種類對應的方式二值排列化(S101)。
[0155]接著，上下文控制部142取得在該控制參數130的算術編碼中使用的上下文的基本值(S102)。例如，上下文控制部142根據圖片類型(I，P，B)決定該基本值。
[0156]接著，上下文控制部142根據控制參數130的信號種類，使用上述模式I~模式3的某個來決定上下文值(S103)。這里，所謂決定上下文值，與決定上下文的相對于基本值的調整值(遞增值CtxIdxInc)是等價的。
[0157]首先，上下文控制部142判別控制參數130的信號種類(S103)。在控制參數130的信號種類是與模式I對應的第I種類的情況下(S104中第I種類)，上下文控制部142使用根據鄰接的兩個塊(塊A和塊B)的各自的控制參數的值導出的判斷值決定上下文值(S105)。換言之，上下文控制部142使用利用左塊及上塊的兩個鄰接塊的控制參數的條件來決定上下文。在此情況下，上下文控制部142利用圖3所示的(c5)CondL的判斷結果和(c6)c0ndA的判斷結果的兩者的值。因而，對于第I種類的控制參數保持圖片的橫一列的數據。
[0158]另一方面，在控制參數130的信號種類是與模式2對應的第2種類的情況下(S104中第2種類)，上下文控制部142決定使用I個鄰接塊(在編碼順序上最近的鄰接塊)的控制參數的值決定上下文值(S106)。換言之，上下文控制部142使用不利用上塊的控制參數的條件決定上下文。[0159]另一方面，在控制參數130的信號種類是與模式3對應的第3種類的情況下(S104中第3種類)，上下文控制部142對上塊及左塊的控制參數都不利用，固定地決定上下文值(S107)。
[0160]接著，上下文控制部142通過對在步驟S102中決定的上下文的基本值加上在步驟S103中決定的增量值，導出上下文索引值(S108)。
[0161]最后，二值算術編碼部143通過將第I要素的二進制數值使用由在步驟S108中決定的上下文索引值指定的上下文值，進行算術編碼，生成比特序列(比特流124) (S109)o
[0162]接著，在步驟S102~S109的處理的執行對二值排列中包含的全部的要素沒有完成的情況下(S110中否)，可變長編碼部104對二值排列中包含的下個要素執行步驟S102~S109的處理。另一方面，在對二值排列中包含的全部的要素完成了步驟S102~S109的處理的執行的情況下(S110中“是”)，可變長編碼部104結束對于處理對象塊的控制參數的編碼處理。
[0163]如以上這樣，有關本實施方式的圖像編碼裝置100在算術編碼中，對第I種類的控制參數利用上塊決定上下文，對第2種類及第3種類的控制參數不利用上塊而決定上下文。
[0164]通過該結構，該圖像編碼裝置100與統一地作為“利用基于鄰接塊的控制參數的值的上下文模型”而利用左塊和上塊的情況相比能夠削減存儲器使用量。由此，該圖像編碼裝置100能夠在抑制畫質的劣化的同時削減存儲器使用量。
[0165](實施方式2)
[0166]在本實施方式中，對將由上述圖像編碼裝置100生成的比特流124解碼的圖像解碼裝置進行說明。
[0167]圖5是有關本實施方式的圖像解碼裝置200的框圖。該圖像解碼裝置200是使用算術解碼的圖像解碼裝置，通過將比特流124解碼而生成圖像信號229。這里，比特流124例如是由上述圖像編碼裝置100生成的比特流124。
[0168]圖像解碼裝置200包括控制部201、可變長解碼部202、逆量化部204、逆變換部205、加法部206、畫面內預測部207和畫面間預測部208。
[0169]圖像解碼裝置200按照規定的處理單位的每個代碼序列進行解碼處理。這里，處理單位例如是切片(slice)單位或塊單位。
[0170]可變長解碼部202通過對比特流124進行算術解碼，生成控制參數230 (controldata syntax element)和量化變換系數 223 (Residual data syntax element 值)。將所生成的控制參數230向控制部201輸出。
[0171]控制部201根據控制參數230控制圖像解碼裝置200中包含的處理部。
[0172]逆量化部204通過將量化變換系數223逆量化，生成正交變換系數224。[0173]逆變換部205通過將正交變換系數224逆變換，將殘差信號225復原。加法部206通過將殘差信號225與預測圖像信號(圖像信號229)相加，生成解碼圖像信號226。
[0174]畫面內預測部207通過使用解碼圖像信號226進行畫面內預測處理而生成預測圖像信號227。畫面間預測部208通過使用解碼圖像信號226進行畫面間預測處理而生成預測圖像信號228。
[0175]開關209選擇預測圖像信號227及預測圖像信號228的一方，將所選擇的信號作為圖像信號229 (預測圖像信號)輸出。
[0176]接著，說明可變長解碼部202的結構。
[0177]圖6是表示可變長解碼部202的結構的功能框圖。可變長解碼部202包括二值算術解碼部243、上下文控制部242和多值化部241。以下，對控制參數230的可變長解碼處理進行說明。另外，關于量化變換系數223的可變長解碼處理省略說明，例如可以使用已知的技術實現。
[0178]上下文控制部242在多個上下文中，決定在處理對象的塊的控制參數230的算術解碼中使用的上下文。此外，上下文控制部242將指定所決定的上下文的上下文索引252向二值算術解碼部243輸出。
[0179]具體而言，上下文控制部242使用與圖2所示的上下文控制部142相同的上下文模型作為所保持的概率轉移模型。在二值算術編碼部143使用64個概率狀態的情況下，二值算術解碼部243也具有64個概率狀態。這是因為，需要將編碼的數線上的范圍在編碼側及解碼側的兩側同樣地解釋。由此，在解碼裝置側也使用與編碼側從上述模式I~3的3個模式中選擇的模式相同的模式。
[0180]二值算術解碼部243通過使用由上下文控制部242決定的上下文將比特序列(t匕特流124)算術解碼，將二值排列251復原。具體而言，二值算術解碼部243使用由從上下文控制部242給出的上下文索引指定`的上下文(概率狀態表)，將輸入的比特序列復原為二值排列251。
[0181]多值化部241將二值排列251根據需要進行多值化從而復原為控制參數230。這樣，圖像編碼裝置100具備的上下文控制部142和圖像解碼裝置200具備的上下文控制部242在某個信號種類的控制參數的算術編碼及算術解碼時在兩者中利用相同的上下文模型。
[0182]圖7是表示可變長解碼部202執行的有關本實施方式的圖像解碼方法的流程圖。
[0183]首先，可變長解碼部202取得比特流124 (S201)。
[0184]接著，上下文控制部242根據比特流124的數據構造決定解碼對象的控制參數的信號種類(S202)。
[0185]接著，上下文控制部242決定在解碼對象的控制參數的算術解碼中使用的上下文的基本值(S203)。例如，上下文控制部242根據圖片類型(I，P，B)決定該基本值。
[0186]接著，上下文控制部242根據控制參數的信號種類，使用上述模式I~模式3的某個決定上下文值(S204)。這里，所謂決定上下文值，與決定上下文的相對于基本值的調整值(遞增值Ctxldxlnc)等價。例如，上下文控制部242根據控制參數的信號種類，按照靜態地事前決定的表進行使用模式I~模式3的哪個的判斷。
[0187]上下文控制部242根據控制參數的信號種類，切換在為了通過算術解碼得到二值排列251中包含的第I要素的二進制數的值而使用的上下文的決定中搜索使用的鄰接塊。
[0188]首先，上下文控制部242判斷控制參數230的信號種類(S205)。在信號種類是與模式I對應的第I種類的情況下(S205中第I種類)，上下文控制部242使用鄰接的兩個塊的各自的控制參數決定上下文值(S206)。換言之，上下文控制部242使用利用左塊及上塊的兩個鄰接塊的已解碼的控制參數的條件來決定上下文。
[0189]另一方面，在信號種類是與模式2對應的第2種類的情況下(S205中第2種類)，上下文控制部242使用I個鄰接塊(在編碼順序上最近的鄰接塊)的控制參數的值決定上下文值(S207)。換言之，上下文控制部242使用不利用上塊的已解碼的控制參數的條件來決定上下文。
[0190]另一方面，在信號種類是與模式3對應的第3種類的情況下(S205中第3種類)，上下文控制部242固定地決定上下文值(S208)。換言之，上下文控制部242使用對上塊及左塊的已解碼的控制參數都不利用的條件來決定上下文。
[0191]接著，上下文控制部242通過將在步驟S203中決定的上下文索引的基本值與在步驟S204中決定的增量值相加，決定上下文索引值(S209)。
[0192]接著，二值算術解碼部243使用由從上下文控制部242給出的上下文索引值表示的上下文值，通過解碼得到二值排列的要素的I個(S210)。
[0193]接著，在步驟S203~S210的處理的執行對于二值排列中包含的全部的要素沒有完成的情況下(S211中“否” )，可變長解碼部202對二值排列中包含的下個要素執行步驟S203~S210的處理。
[0194]另一方面，在對二值排列中包含的全部的要素完成了步驟S203~S210的處理的執行的情況下(S211中“是”)，多值化部241通過將通過重復I次以上上述步驟S203~S210的處理而得到的二值排列251的I個以上的要素多值化，生成控制參數230 (S212)。
[0195]根據以上，有關本實施方式的圖像解碼裝置200在算術解碼中，對第I種類的控制參數利用上塊決定上下文，對于第2種類及第3種類的控制參數不利用上塊而決定上下文。
[0196]通過該結構，該圖像解碼裝置200與統一地作為“利用基于鄰接塊的控制參數的值的上下文模型”而利用左塊和上塊的情況相比能夠削減存儲器使用。由此，該圖像解碼裝置200能夠在抑制畫質的劣化的同時削減存儲器使用量。
[0197]另外，多值化部241在二值排列251是flag等、要素數是I個情況下，即在Ibinary的情況下，也可以將該二值排列251原樣輸出。
[0198]此外，除了上述說明以外，控制部101或201也可以經由未圖示的信號線進行控制各處理部的處理、或參照存儲器的值的處理等。
[0199]此外，在上述說明中，上下文控制部142或242根據控制參數的信號種類切換模式I~模式3的3個模式,但也可以根據信號種類切換模式I~模式3中的兩個模式。換言之，上下文控制部142或242也可以根據控制參數的信號種類對利用/不利用上塊條件進行切換。
[0200]此外，上下文控制部142或242也可以將這樣的選擇的上下文模型的切換方法(也包括變更上下文模型增量值的情況，以下相同)根據規定的圖像信息變更。例如，上下文控制部142或242也可以根據對存儲器保持量及各上下文的學習次數有影響的圖像的橫寬的尺寸或采樣格式等進一步切換該切換方針本身。[0201]此外，在上述說明中，為了說明的簡略化，上下文控制部142或242對利用/不利用上塊條件進行切換，但上下文控制部142或242也可以將上塊原本不能利用的情況與其組合而應用。例如，上下文控制部142或242也可以根據處理對象的切片是否是熵切片(entropy_slice_flag是I還是0)來切換該切換方針本身。同樣,在原本不能保證上鄰接塊的可利用性的情況下，上下文控制部142或242也可以不利用上塊而變更切換方針。
[0202]例如，如圖8所示，上下文控制部142或242也可以根據規定的單位的參數的值(S301)，將上下文模型的決定方針通過第I決定規范(S302)和第2決定規范(S303)切換。這里，所謂根據規定的單位的參數的值，如上述那樣，是根據切片是否是entropy slice等。此外，所謂第I決定規范，是進行圖7所示的處理的規范。所謂第2決定規范，是不包含圖7所示的步驟S204的決定規范，例如是現有技術的決定規范。這與將上下文索引的增量值通過局部的規定的單位的參數和比該單位大的單位的參數的值決定是等價的。
[0203]即，上下文控制部142或242也可以基于第I單位的控制參數的值，將在比第I單位小的單位中應用的決定規范切換為其他決定規范。
[0204]此外，上下文控制部142或242也可以根據圖像系列的特征來變更所使用的決定規范。例如，上下文控制部142或242也可以根據I圖片的間隔(IntraPeriod的設定值)來變更所使用的決定規范。
[0205]另外，這里上下文控制部142或242根據上述條件切換決定規范，但也可以切換是否利用上塊。
[0206]此外，上下文控制部142或242也可以基于在位置上上塊的控制參數是否能夠在編碼或解碼時利用，來決定是否利用上塊的控制參數。即，上下文控制部142或242也可以基于處理對象的塊位置，判斷在解碼時是否能夠利用上塊的控制參數，在不能利用上塊的控制參數的情況下，使用 模式2或模式3決定上下文。進而，上下文控制部142或242也可以基于TU、CU或PU塊分割的樹構造決定是否能夠利用該上塊的參照值。即，上下文控制部142或242也可以根據處理對象的控制參數所屬的數據單位的層級的深度判斷在解碼時是否能夠利用上塊的控制參數。
[0207]圖9是表示HEVC標準中的圖片(picture)、切片和塊的關系的圖。I個圖片被分割為I個以上的切片。在圖9所示的例子中，圖片被分割為兩個切片(SLICE1及SLICE2)。I個切片由多個塊301 (例如treeblocks)構成。這里，塊301在將切片分割為規定的尺寸的情況下，作為某種控制單位是最大的單位，是將該單位作為層級分割的root (根)的情況下的該root的尺寸。
[0208]在圖9所示的例子中，SLICE2由從塊301A (startTb)開始、包括經由被涂陰影的塊301到右下角的塊的多個塊的I個序列構成。另外，圖中被涂陰影的塊是作為當前的處理對象的I個塊(Treeblock)。
[0209]各個塊301由NXM像素構成。此外，I個塊301在內部被遞歸地分割(典型地是4分割)。即，I個Treeblock在概念上構成I個4叉樹(QuadTree)。在圖9所示的塊301B中，4分割后的右上的塊遍及2層級被遞歸地4分割。即，塊30IB從左上的0號到右下的9號，包括以規定的觀點分割的10個邏輯單元。
[0210]這里，所謂觀點，是指關于編碼單位(⑶)的tree、或關于residual_data的Tree等，以某個root為基點相互深度可能不同的多個樹。這里，各種控制參數的值屬于某個葉節點。
[0211]這里，實際在上塊中包含的某個信號種類的控制參數的值“是否能夠利用(available)”，依存于該控制參數屬于的樹的種類。由此，上下文控制部142或242也可以按照控制參數所屬的樹的種類來變更決定規范。這與變更為語法單位是等價的。例如，上下文控制部142或242也可以對關于自適應濾波器的alf_param等的數據構造的數據使用不利用上塊的模式2或模式3，對于其他語法使用現有技術那樣的上下文模型方針(模式I)。即，上述第2種類或第3種類也可以是具有預先設定的數據構造的控制參數。此外，這意味著根據鄰接的定義的樹的種類而變化。
[0212]進而，實際是否能夠利用該控制參數的值、或者在存儲器使用量的削減中是否發生效果，根據塊的層級關系上的位置而不同。即，上下文控制部142或242也可以根據塊的層級及層級內的位置切換是否利用上塊。
[0213]例如，假設圖9所示的塊301B的各號碼0~9是解碼順序。在此情況下，在將號碼4的塊編碼或解碼的情況下，能夠利用號碼I的塊及號碼2的塊的控制參數。
[0214]進而，從存儲器使用量的削減的觀點，上下文控制部142或242也可以如果是不為DepthO的塊、并且是自己的位置為縱向分割的第二個以上的要素則選擇利用上塊的模式I。這里，所謂depth(深度)，表示從root起的層級數。即，在將某個塊規定為block[xn],[y0] [depth]的情況下,也可以根據處理對象的塊是否是block [xn] [Cy0)+l] [depth])成立的塊來變更決定規范。即，對圖9所示的號碼4~9的塊利用上塊。這是因為，如果該樹的編碼或解碼是圖示的號碼順序(從0開始、以9結束的順序)，則在號碼4~9的塊中顯然能夠利用上塊中包含的控制參數。進而，在這些塊中，還有數據的保持為暫時就可以的優點。此外，這也可以說是除 了 x、y坐標以外還根據包括層級的三維的位置決定上下文值。此外，能夠利用(沿襲)上層級的塊的條件值作為下層級的塊的條件值。
[0215]進而，上下文控制部142或242也可以考慮處理對象的塊與其他切片的位置關系來變更這些規范。以下，說明圖9所示的3個涂陰影的塊301A、301B及301C的例子。
[0216]這里，塊301A是開始塊，左塊及上塊都包含在其他切片中。塊301B的上塊包含在別的切片中。塊301C的上塊及左塊都包含在與包含自身的塊的切片相同的切片中。上下文控制部142或242也可以根據這樣的條件來切換規范。即，上下文控制部142或242(I)也可以根據上塊是否包含在其他切片中來切換規范，(2 )也可以根據左塊是否包含在其他切片中來切換規范，(3)也可以根據它們雙方來切換規范。換言之，上下文控制部142或242也可以在處理對象的塊屬于切片邊界的情況下，判斷為在解碼時不能利用上塊的控制參數。由此，例如在上方的切片I的解碼處理沒有結束的情況下，能夠實現考慮到在切片2的內部中是否自己能得到信息的解碼處理。
[0217]以下，對層級化的處理單位(多層級塊構造)進行說明。圖10是用來說明層級化的處理單位(多層級塊構造)的說明圖。
[0218]上述圖像編碼裝置100將運動圖像按照每個處理單位編碼，圖像解碼裝置200將編碼流按照每個處理單位解碼。以將該處理單位分割為多個較小的處理單位、將該較小的處理單位再分割為多個更小的處理單位的方式，進行層級化。另外，處理單位越小，該處理單位所處的層級越深，處于低層，表示該層級的值較大。相反，處理單位越大，該處理單位所處的層級越淺，處于高層，表示該層級的值較小。[0219]在處理單位中，有編碼單位(⑶)、預測單位(PU)和變換單位(TU)。⑶是最大由128X128像素構成的塊，是相當于現有技術的宏塊的單位。I3U是畫面間預測的基本單位。TU是正交變換的基本單位，該TU的尺寸是與I3U相同、或比I3U小一個級別的尺寸。CU例如被分割為4個子⑶，其中的I個子⑶包括與該子⑶相同的尺寸的PU及TU (在此情況下，PU和TU處于相互重疊的狀態)。例如，該I3U被進一步分割為4個子PU，TU也被進一步分割為4個子TU。另外，在處理單位被分割為多個較小的處理單位的情況下，將該較小的處理單位稱作子處理單位。例如，在處理單位是CU的情況下，子處理單位是子CU，在處理單位是PU的情況下，子處理單位是子PU，在處理單位是TU的情況下，子處理單位是子TU。
[0220]具體而言，是以下這樣的。
[0221]圖片被分割為切片。切片是最大編碼單位的序列。最大編碼單位的位置由最大編碼單位地址IcuAddr表示。
[0222]包括最大編碼單位的各個編碼單位被分割為4個編碼單位。結果，構成編碼單位的大小的四叉樹分割。編碼單位的位置由以最大編碼單位的左上端的樣本(像素或系數)為起點的編碼單位索引culdx表示。
[0223]在不許可編碼單位的分割的情況下，將該編碼單位作為預測單位處置。與編碼單位同樣，預測單位的位置由以最大編碼單位的左上端的樣本為起點的預測單位索引puldx表不。
[0224]預測單位也可以包括多個分區(預測單位分區或子W)。預測單位分區由以預測單位的左上端的樣本為起點的預測單位分區索引puPartldx表示。
[0225]預測單位也可以包括多個變換單位。與編碼單位同樣，變換單位也可以被分割為4個較小的尺寸的變換單位(子變換單位)。這許可殘差信號的四叉樹分割。變換單位的位置由以預測單位的左上端的樣本為起點的變換單位索引tuldx表示。
[0226]這里，各處理單位的定義`是以下這樣的。
[0227]CTB (coding tree block,編碼樹塊):用來確定正方形區域的四叉樹分割的基本單位。CTB具有正方形的多種多樣的尺寸。
[0228]LCTB (largest coding tree block,最大編碼樹塊):在切片中許可的最大的尺寸的CTB。切片由不重復的多個LCTB構成。
[0229]SCTB (smallest coding tree block,最小編碼樹塊):在切片中許可的最小的尺寸的CTB。不許可將SCTB分割為更小的CTB。
[0230]PU (prediction unit,預測單位):用來確定預測處理的基本單位。F1U的尺寸與不被許可分割的CU的尺寸相同。在CU中，許可將CU分割為4個正方形區域，相對于此，在PU中，能夠將I3U分割為任意的形狀的多個分區。
[0231]TU (transform unit,變換單位):用來確定變換及量化的基本單位。
[0232]QJ (coding unit,編碼單位):與 CTB 相同。
[0233]IXU (largest coding unit,最大編碼單位):與最大 CTB 相同。
[0234]SCU (smallest coding unit,最小編碼單位):與最小 CTB 相同。
[0235]此外,量化參數包括德爾塔量化縮放參數(delta QP或QP delta)、量化偏移參數、索引(Qmatrix select idc)及量化死區偏移參數中的至少I個。另外,索引是用來從多個量化縮放矩陣中選擇I個的。[0236]德爾塔量化縮放參數(delta QP或QP delta)是應在變換系數中應用的量化縮放參數、與由序列頭或切片頭指定的量化縮放參數(或在z掃描順序上緊接著的之前的量化縮放參數)的差。
[0237]量化偏移參數也稱作量化偏移，是進行量化時的信號的取整方式的調整值(偏移值)。因而，圖像編碼裝置100在進行量化時，將其量化偏移編碼，圖像解碼裝置200將該編碼后的量化偏移解碼。并且，圖像解碼裝置200在將變換系數逆量化時，進行使用該量化偏移的修正。
[0238]索引(Qmatrix select idc)也稱作自適應量化矩陣,是表示從多個量化縮放矩陣中使用哪個量化縮放矩陣的索引。此外，Qmatrix select idc在僅有I個量化縮放矩陣的情況下表示是否使用該量化縮放矩陣。另外，自適應用量化矩陣能夠以塊單位(處理單位)控制。
[0239]量化死區偏移參數也稱作自適應死區，是用來將死區按照每個塊自適應地變更的控制信息。死區是頻率系數通過量化成為0的幅度(在量化后為+1或-1的之前的幅度)。
[0240]另外，在上述說明中，作為模式3而敘述了使用預先設定的固定值作為上下文值的例子，但只要是對上塊及左塊的控制參數都不利用的條件就可以，作為模式3也可以使用不包含上塊及左塊的控制參數的條件的條件。例如，作為模式3，上下文控制部142或242也可以根據控制參數所屬的數據單位的層級的深度決定上下文。
[0241](實施方式3)
[0242]在本實施方式中，對作為上述第I種類及第2種類(或第3種類)應利用怎樣的信號種類進行說明。
[0243]具體而言，本發 明人對在圖3 (非專利文獻2，9.3.3.1.1.1節)所示的信號種類中的以下的各個信號種類進行了驗證。對各個信號種類進行驗證是因為，參數遍及多個分支，根據關于I個信號種類的驗證結果(模式I~模式3的哪個更好)難以進行其他信號種類的各模式是否滿足妥當性。
[0244]驗證依據在JCTVC-E700, "Common test conditions and software referenceconfigurations"(參照非專利文獻3)中記載的結構(設定參數,及軟件版本HM3.0)。此外，是測試圖像的長度全部被限制為49幀的結果。
[0245]有關本實施方式的圖像編碼方法及圖像解碼方法是關于CABAC的。由此，作為Entropy Coding (熵編碼)模式，使用作為 SymbolMode 的值是 I (#0:LCEC, 1:CABAC)的設定值的組的以下的4個測試模式進行了驗證。
[0246]4.llntra, high-efficiency setting
[0247]4.3Random access, high-efficiency setting
[0248]4.5Low delay, high-efficiency setting
[0249]4.7Low delay, high-efficiency setting (P slices only)
[0250]此外，評價使用在HEVC中的安裝評價中作為統一的評價尺度利用的稱作〃BD-RATE〃值的評價值。Y BD-rate、U BD-rate及V BD-rate是關于顏色空間Y、U、V的BD-rate,是評價尺度值。這里，所謂BD-rate，是將記載在VCEG-AI11 (非專利文獻4 )中的兩組代碼量和PSNR的結果積分、通過其面積的比來表示編碼效率的評價值。此外，在BD-rate表示負值的情況下表示編碼效率變好。比較的基準是安裝模式I的參照程序的輸出結果，此次的結果表不模式2及模式3的各自相對于模式I的值。
[0251]以下，說明各信號種類的驗證結果。
[0252](第I 驗證)"split_coding_unit_flag"
[0253](第2 驗證)"skip_flag"
[0254](第3 驗證)"inter_pred_flag"
[0255](第I 驗證)"split_coding_unit_flag"
[0256]圖11是用來對split_coding_unit_flag的算術解碼方法進行說明的表。
[0257]在驗證中，僅驗證對象的信號種類將上下文模型從模式I變更為模式2或模式3，關于其他信號種類、以及由非專利文獻3指定的驗證用參數不進行變更而進行驗證。此外，在圖11的欄中的值中，所謂“固定”，是在上下文值(或增量值)的導出中不使用記載有“固定”的列的條件(不使用左塊條件或上塊條件)。即，在僅左塊條件及右塊條件的一方的條件是“固定”的情況下，僅使用另一方的條件。此外，在左塊條件及右塊條件的兩者為“固定”的情況下，作為上下文值(或增量值)而使用預先設定的值(例如“O”)。
[0258]信號種類〃split_coding_unit_flag〃的意義在以下定義。
[0259]split_coding_unit_flag [x0] [yO]表示對象的CU是否被分割為水平及垂直的尺寸為一半的多個CU。xO及yO表示以位于圖像的左上角的亮度樣本為基準的、位于對象的⑶的左上角的亮度樣本的坐標。即，split_coding_unit_flag表示對象的⑶是否被4分割。具體而言，在split_coding_unit_flag的值為“I”的情況下，對象的⑶被分割,在該值為“0”的情況下，對象的CU沒有被分割。
[0260]該split_coding_unit_flag 作為 syntax 而數據構造化為 Coding tree syntax。圖像解碼裝置依據該數據構造的語法解釋比特序列。
[0261]圖12A及圖12B是表示關于split_coding_unit_flag的驗證結果的表。
[0262]圖12A表示使用(模式2) I個鄰接塊(僅左塊條件L的判斷值)的情況下的驗證結果。圖12B表示使用(模式3)0個鄰接塊的(上塊條件L和左都沒有使用)的情況下的驗證結果。
[0263]此外，圖12A及圖12B所示的驗證結果表示上述4個測試模式的BD-Rate值的增減。
[0264]此外，評價值是表示與使用左塊及上塊的兩者的模式I的情況下的評價值的相對的值的評價尺度。具體而言，如果評價值是正值，則其結果比模式I的情況下的評價值(BD-rate)差。此外，如果評價值是負值，則其結果相比模式I的情況下的評價值被改善。
[0265]根據該結果可知，關于split_coding_unit_flag,作為上下文模型的模式,模式I較好。換言之，模式2及模式3的評價值比模式I差。
[0266]因而，上下文控制部142及242在控制參數的信號種類是〃split_coding_unit_flag"的情況下，從BD-rate的觀點，利用作為現有技術那樣的上下文模型的模式的模式I決定上下文值。
[0267](第2 驗證)“skip_flag”
[0268]圖13是用來對skip_flag的算術解碼方法進行說明的表。另外，驗證方法與上述第I驗證是同樣的。
[0269]信號種類〃skip_flag〃的意義在以下定義。[0270]在將P或B切片解碼的情況下，在skip_flag [xO] [yO]的值是“ I”的情況下，意味著在該skip_flag [xO] [yO]后，除了預測運動矢量索引以外,不存在當前的CU用的語法要素。此外，在skip_flag [xO] [yO]的值為“I”的情況下,意味著當前的CU不能被跳過。xO及yO表示以位于圖像的左上角的亮度樣本為基準的、位于對象的⑶的左上角的亮度樣本的坐標。即，skip_flag表示是否將對象的⑶跳過(是否作為被跳過的塊處置)。
[0271]該skip_flag 作為 syntax 而被數據構造化為 Coding unit syntax。即，skip_flag被按照每個CU設定。在圖像解碼裝置中，依據該數據構造的語法解釋比特序列。
[0272]圖14A及圖14B是表示關于skip_flag的驗證結果的表。
[0273]圖14A表示使用(模式2) I個鄰接塊(僅左塊條件L的判斷值)的情況下的驗證結果。圖14B表示使用(模式3)0個鄰接塊(上塊條件L和左都不使用)的情況下的驗證結果。
[0274]另外，圖14A及圖14B所示的驗證結果與第I驗證同樣，表示上述4個測試模式的BD-Rate值的增減。此外,評價值的意義與第I驗證是同樣的。
[0275]根據該結果可知，關于〃skip_flag〃，作為上下文模型的模式，模式I較好。換言之，模式2及模式3的評價值比模式I差。
[0276]因而，上下文控制部142及242在控制參數的信號種類是〃skip_f lag"的情況下，從BD-rate的觀點，利用作為現有技術那樣的上下文模型的模式的模式I決定上下文值。
[0277](第3 驗證)//merge_flag// [0278]圖15是用于說明merge_flag的算術解碼方法的表。另外,驗證方法與上述的第I驗證及第2驗證相同。
[0279]信號種類〃merge_flag〃的意義在以下定義。
[0280]merge_flag[x0] [yO]表示當前的⑶用的幀間預測參數是否從近鄰的幀間預測的塊導出。xO及yO表示以位于圖像的左上角的亮度樣本為基準的、位于對象的預測塊的左上角的亮度樣本的坐標。不存在merge_flag[x0] [yO]的情況下(InferredMergeFlag的值為“I”的情況)，將 merge_flag[x0] [yO]推測為“I”。即，merge_flag[xO] [yO]表示是否使用合并模式。在此，合并模式指的是從編碼對象塊的鄰接塊拷貝運動矢量及參照圖片索引并進行編碼對象塊的編碼的模式。
[0281]該merge_flag 作為 syntax 被數據構造化為〃Prediction unit〃。即，按每個 PU設定merge_flag。在圖像解碼裝置中，基于該數據構造的語法來解釋比特序列。
[0282]圖16A及圖16B是表示對于merge_flag的驗證結果的表。
[0283]圖16A表示使用(模式2) I個鄰接塊(僅左塊條件L的判斷值)的情況下的驗證結果。圖16B表示使用(模式3)0個鄰接塊(上塊條件L和左都不使用)的情況下的驗證結果。
[0284]另外，圖16A及圖16B所示的驗證結果與第I驗證同樣，表示上述4個測試模式的BD-Rate值的增減。此外,評價值的意義與第I驗證是同樣的。
[0285]根據該結果，結果與上述第I驗證的split_coding_unit_flag及第2驗證的skip_flag不同，關于該merge_flag,作為上下文模型的模式而在模式I與模式2或模式3之間不發生BD-rate的較大的差。
[0286]因而，上下文控制部142及242在混合存在多個信號種類的控制參數的環境中，特別在信號種類是merge_flag的情況下，決定作為鄰接塊而不利用上塊的上下文值。即，上下文控制部142及242在控制參數的信號種類是merge_flag的情況下，使用模式2或模式3決定上下文值。換言之，上述第I種類包括〃split_coding_unit_flag〃或〃skip_flag〃，上述第2種類或第3種類包括〃merge_flag〃。由此，有關本實施方式的圖像編碼裝置及圖像解碼裝置能夠在抑制BD-rate值的下降的同時削減存儲器使用量。
[0287]另外，在將與merge_f lag對應的模式2與模式3比較的情況下，在它們的BD-rate中不發生較大的差。由此，對于merge_flag更優選的是使用模式3。由此,能夠實現進一步的存儲器使用量的削減及處理量的削減。
[0288]在此，比較merge_flag與skip_flag時存在以下區別:在跳躍時不發送運動矢量的殘差數據，但是在合并模式時發送運動矢量的殘差數據。由此，對于merge_flag，即使使用的上下文不是最優的，通過使用該殘差數據的處理，也能夠一定程度上彌補由未能使用最優的上下文而導致的畫質降低。最優，能夠抑制畫質的降低。
[0289]以上，對有關本發明的實施方式的圖像編碼裝置及圖像解碼裝置進行了說明，但本發明并不限定于該實施方式。
[0290]例如，也可以將有關上述實施方式I~3的圖像編碼裝置、圖像解碼裝置及它們的變形例的功能中的至少一部分組合。
[0291]此外，在上述中使用的數字及邏輯值全部是為了具體地說明本發明而例示的，本發明并不受例示的數字限制。
[0292]此外，框圖中的功能塊的分割是一例，也可以將多個功能塊作為一個功能塊實現，或將一個功能塊分割為多個，或將一部分的功能轉移到其他功能塊中。此外，也可以是單一的硬件或軟件將具有類似的功能的多個功能塊的功能并行或分時處理。
[0293]此外，上述圖像編碼裝置的圖像編碼方法及圖像解碼裝置的圖像解碼方法中的執行各步驟的順序是為了具體地說明本發明而例示的，也可以是上述以外的順序。此外，上述步驟的一部分也可以與其他步驟同時(并行)執行。
`[0294](實施方式4)
[0295]通過將用來實現上述各實施方式所示的運動圖像編碼方法(圖像編碼方法)或運動圖像解碼方法(圖像解碼方法)的結構的程序記錄到存儲介質中，能夠將上述各實施方式所示的處理在獨立的計算機系統中簡單地實施。存儲介質是磁盤、光盤、光磁盤、IC卡、半導體存儲器等，只要是能夠記錄程序的介質就可以。
[0296]進而，這里說明在上述各實施方式中示出的運動圖像編碼方法(圖像編碼方法)及運動圖像解碼方法(圖像解碼方法)的應用例和使用它的系統。該系統的特征在于，具有由使用圖像編碼方法的圖像編碼裝置及使用圖像解碼方法的圖像解碼裝置構成的圖像編碼解碼裝置。關于系統的其他結構，可以根據情況而適當變更。
[0297]圖19是表示實現內容分發服務的內容供給系統exlOO的整體結構的圖。將通信服務的提供區劃分為希望的大小，在各小區內分別設置有作為固定無線站的基站exl06、exl07、exl08、exl09、exllO。
[0298]該內容供給系統exlOO在因特網exlOl上經由因特網服務提供商exl02及電話網exl04、及基站 exl07 ~exllO 連接著計算機 exlll、PDA (Personal Digital Assistant)exll2、照相機exll3、便攜電話exll4、游戲機exll5等的各設備。
[0299]但是，內容供給系統exlOO并不限定于圖19那樣的結構，也可以將某些要素組合連接。此外，也可以不經由作為固定無線站的基站exl07~exllO將各設備直接連接在電話網exl04上。此外，也可以將各設備經由近距離無線等直接相互連接。
[0300]照相機ex113是能夠進行數字攝像機等的運動圖像攝影的設備，照相機exll6是能夠進行數字照相機等的靜止圖像攝影、運動圖像攝影的設備。此外，便攜電話exll4是GSM (Global System for Mobile Communications)方式、CDMA (Code Division MultipleAccess)方式、W — CDMA (Wideband — Code Division Multiple Access)方式、或 LTE(Long Term Evolution)方式、HSPA (High Speed Packet Access)的便攜電話機、或 PHS(Personal Handyphone System)等，是哪種都可以。
[0301]在內容供給系統exlOO中，通過將照相機exll3等經由基站exl09、電話網exl04連接在流媒體服務器exl03上，能夠進行現場轉播等。在現場轉播中，對用戶使用照相機exll3攝影的內容(例如音樂會現場的影像等)如在上述各實施方式中說明那樣進行編碼處理(即，作為本發明的一個方式的圖像編碼裝置發揮作用)，向流媒體服務器exl03發送。另一方面，流媒體服務器exl03將發送來的內容數據對有請求的客戶端進行流分發。作為客戶端，有能夠將上述編碼處理后的數據解碼的計算機exlll、PDAexll2、照相機exll3、便攜電話exll4、游戲機exll5等。在接收到分發的數據的各設備中，將接收到的數據解碼處理而再現(即，作為本發明的一個方式的圖像解碼裝置發揮作用)。
[0302]另外，攝影的數據的編碼處理既可以由照相機exll3進行，也可以由進行數據的發送處理的流媒體服務器exl03進行，也可以相互分擔進行。同樣，分發的數據的解碼處理既可以由客戶端進行，也可以由流媒體服務器exl03進行，也可以相互分擔進行。此外，并不限于照相機exll3，也可以將由照相機exll6攝影的靜止圖像及/或運動圖像數據經由計算機exlll向流媒體服務器exl03發送。此情況下的編碼處理由照相機exll6、計算機exlll、流媒體服務器exl03的哪個進行都可以，也可以相互分擔進行。
[0303]此外，這些編碼解碼處理一般在計算機exlll或各設備具有的LSIex500中處理。LSIex500既可以是單芯片，也可以是由多個芯片構成的結構。另外，也可以將運動圖像編碼解碼用的軟件裝入到能夠由計算機exlll等讀取的某些記錄介質(⑶一 ROM、軟盤、硬盤等)中、使用該軟件進行編碼解碼處理。進而，在便攜電話exll4是帶有照相機的情況下，也可以將由該照相機取得的運動圖像數據發送。此時的運動圖像數據是由便攜電話exll4具有的LSIex500編碼處理的數據。
[0304]此外，也可以是，流媒體服務器exl03是多個服務器或多個計算機，是將數據分散處理、記錄、及分發的。
[0305]如以上這樣，在內容供給系統exlOO中，客戶端能夠接收編碼的數據而再現。這樣，在內容供給系統exlOO中，客戶端能夠將用戶發送的信息實時地接收、解碼、再現，即使是沒有特別的權利或設備的用戶也能夠實現個人廣播。
[0306]另外，并不限定于內容供給系統exlOO的例子，如圖20所示，在數字廣播用系統ex200中也能夠裝入上述實施方式的至少運動圖像編碼裝置(圖像編碼裝置)或運動圖像解碼裝置(圖像解碼裝置)的某個。具體而言，在廣播站ex201中，將對影像數據復用了音樂數據等而得到的復用數據經由電波向通信或廣播衛星ex202傳送。該影像數據是通過上述各實施方式中說明的運動圖像編碼方法編碼后的數據(即，通過本發明的一個方式的圖像編碼裝置編碼后的數據)。接受到該數據的廣播衛星ex202發出廣播用的電波，能夠對該電波進行衛星廣播接收的家庭的天線ex204接收該電波，通過電視機(接收機)ex300或機頂盒(STB) ex217等的裝置將接收到的復用數據解碼并將其再現(即，作為本發明的一個方式的圖像解碼裝置發揮作用)。
[0307]此外，也可以是，在將記錄在DVD、BD等的記錄介質ex215中的復用數據讀取并解碼、或將影像數據編碼再根據情況與音樂信號復用而寫入記錄介質ex215中的讀取器/記錄器ex218中也能夠安裝上述各實施方式所示的運動圖像解碼裝置或運動圖像編碼裝置。在此情況下，可以將再現的影像信號顯示在監視器ex219上，通過記錄有復用數據的記錄介質ex215在其他裝置或系統中能夠再現影像信號。此外，也可以是，在連接在有線電視用的線纜ex203或衛星/地面波廣播的天線ex204上的機頂盒ex217內安裝運動圖像解碼裝置，將其用電視機的監視器ex219顯示。此時，也可以不是在機頂盒、而在電視機內裝入運動圖像解碼裝置。
[0308]圖21是表示使用在上述各實施方式中說明的運動圖像解碼方法及運動圖像編碼方法的電視機(接收機)ex300的圖。電視機ex300具備經由接收上述廣播的天線ex204或線纜ex203等取得或者輸出對影像數據復用了聲音數據的復用數據的調諧器ex301、將接收到的復用數據解調或調制為向外部發送的編碼數據的調制/解調部ex302、和將解調后的復用數據分離為影像數據、聲音數據或將在信號處理部ex306中編碼的影像數據、聲音數據復用的復用/分離部ex303。
[0309]此外，電視機ex300具備:具有將聲音數據、影像數據分別解碼、或將各自的信息編碼的聲音信號處理部ex304和影像信號處理部ex305(即，作為本發明的一個方式的圖像編碼裝置或圖像解碼裝置發揮作用)的信號處理部ex306 ;具有將解碼后的聲音信號輸出的揚聲器ex307及顯示解碼后的影像信號的顯示器等的顯示部ex308的輸出部ex309。進而，電視機eX300具備具有受理用戶操作的輸入的操作輸入部ex312等的接口部ex317。進而，電視機ex300具有合并控制各部的控制部ex310、對各部供給電力的電源電路部ex311。接口部ex317也可以除了操作輸入部ex312以外，還具有與讀取器/記錄器ex218等的外部設備連接的橋接部ex313、用來能夠安裝SD卡等的記錄介質ex216的插槽部ex314、用來與硬盤等的外部記錄介質連接的驅動器ex315、與電話網連接的調制解調器ex316等。另外，記錄介質ex216是能夠通過收存的非易失性/易失性的半導體存儲元件電氣地進行信息的記錄的結構。電視機ex300的各部經由同步總線相互連接。
[0310]首先，對電視機ex300將通過天線ex204等從外部取得的復用數據解碼、再現的結構進行說明。電視機ex300接受 來自遙控器ex220等的用戶操作，基于具有CPU等的控制部ex310的控制，將由調制/解調部ex302解調的復用數據用復用/分離部ex303分離。進而，電視機ex300將分離的聲音數據用聲音信號處理部ex304解碼，將分離的影像數據用影像信號處理部ex305使用在上述各實施方式中說明的解碼方法解碼。將解碼后的聲音信號、影像信號分別從輸出部ex309朝向外部輸出。在輸出時，可以暫時將這些信號儲存到緩沖器ex318、ex319等中，以使聲音信號和影像信號同步再現。此外，電視機ex300也可以不是從廣播等、而從磁/光盤、SD卡等的記錄介質ex215、ex216讀出編碼的復用數據。接著，對電視機ex300將聲音信號或影像信號編碼、向外部發送或寫入到記錄介質等中的結構進行說明。電視機ex300接受來自遙控器ex220等的用戶操作，基于控制部ex310的控制，由聲音信號處理部ex304將聲音信號編碼，由影像信號處理部ex305將影像信號使用在上述各實施方式中說明的編碼方法編碼。將編碼后的聲音信號、影像信號用復用/分離部ex303復用，向外部輸出。在復用時，可以暫時將這些信號儲存到緩沖器ex320、ex321等中，以使聲音信號和影像信號同步再現。另外，緩沖器ex318、ex319、ex320、ex321既可以如圖示那樣具備多個，也可以是共用一個以上的緩沖器的結構。進而，在圖示以外，也可以是，在例如調制/解調部ex302或復用/分離部ex303之間等也作為避免系統的上溢、下溢的緩沖部而在緩沖器中儲存數據。
[0311]此外，電視機ex300除了從廣播等或記錄介質等取得聲音數據、影像數據以外，也可以具備受理麥克風或照相機的AV輸入的結構，對從它們中取得的數據進行編碼處理。另外，這里，將電視機ex300作為能夠進行上述編碼處理、復用、及外部輸出的結構進行了說明，但也可以是，不能進行這些處理，而是僅能夠進行上述接收、解碼處理、外部輸出的結構。
[0312]此外，在由讀取器/記錄器ex218從記錄介質將復用數據讀出、或寫入的情況下，上述解碼處理或編碼處理由電視機ex300、讀取器/記錄器ex218的哪個進行都可以，也可以是電視機ex300和讀取器/記錄器ex218相互分擔進行。
[0313]作為一例，將從光盤進行數據的讀入或寫入的情況下的信息再現/記錄部ex400的結構表示在圖22中。信息再現/記錄部ex400具備以下說明的單元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光頭ex401對作為光盤的記錄介質ex215的記錄面照射激光斑而寫入信息，檢測來自記錄介質ex215的記錄面的反射光而讀入信息。調制記錄部ex402電氣地驅動內置在光頭ex401中的半導體激光器，根據記錄數據進行激光的調制。再現解調部ex403將由內置在光頭ex401中的光檢測器電氣地檢測到來自記錄面的反射光而得到的再現信號放大，將記錄在記錄介質ex215中的信號成分分離并解調，再現所需要的信息。緩沖器ex404將用來記錄到記錄介質ex215中的信息及從記錄介質ex215再現的信息暫時保持。盤馬達ex405使記錄介質ex215旋轉。伺服控制部ex406 —邊控制盤馬達ex405的旋轉驅動一邊使光頭ex401移動到規定的信息軌道，進行激光斑的追蹤處理。系統控制部ex407進行信息再現/記錄部 ex400整體的控制。上述的讀出及寫入的處理由系統控制部ex407利用保持在緩沖器ex404中的各種信息、此外根據需要而進行新的信息的生成、追加、并且一邊使調制記錄部ex402、再現解調部ex403、伺服控制部ex406協調動作、一邊通過光頭ex401進行信息的記錄再現來實現。系統控制部ex407例如由微處理器構成，通過執行讀出寫入的程序來執行它們的處理。
[0314]以上，假設光頭ex401照射激光斑而進行了說明，但也可以是使用近場光進行高密度的記錄的結構。
[0315]在圖23中表示作為光盤的記錄介質ex215的示意圖。在記錄介質ex215的記錄面上，以螺旋狀形成有導引槽(溝)，在信息軌道ex230中，預先通過溝的形狀的變化而記錄有表示盤上的絕對位置的地址信息。該地址信息包括用來確定作為記錄數據的單位的記錄塊ex231的位置的信息，通過在進行記錄及再現的裝置中將信息軌道ex230再現而讀取地址信息，能夠確定記錄塊。此外，記錄介質ex215包括數據記錄區域ex233、內周區域ex232、外周區域ex234。為了記錄用戶數據而使用的區域是數據記錄區域ex233，配置在比數據記錄區域ex233靠內周或外周的內周區域ex232和外周區域ex234用于用戶數據的記錄以外的特定用途。信息再現/記錄部ex400對這樣的記錄介質ex215的數據記錄區域ex233進行編碼的聲音數據、影像數據或復用了這些數據的編碼數據的讀寫。[0316]以上，舉I層的DVD、BD等的光盤為例進行了說明，但并不限定于這些，也可以是多層構造、在表面以外也能夠記錄的光盤。此外，也可以是在盤的相同的地方使用不同波長的顏色的光記錄信息、或從各種角度記錄不同的信息的層等、進行多維的記錄/再現的構造的光盤。
[0317]此外，在數字廣播用系統ex200中，也可以由具有天線ex205的車ex210從衛星ex202等接收數據、在車ex210具有的車載導航儀ex211等的顯示裝置上再現運動圖像。另外，車載導航儀ex211的結構可以考慮例如在圖21所示的結構中添加GPS接收部的結構，在計算機exlll及便攜電話exll4等中也可以考慮同樣的結構。
[0318]圖24A是表示使用在上述實施方式中說明的運動圖像解碼方法和運動圖像編碼方法的便攜電話exll4的圖。便攜電話exll4具有由用來在與基站exllO之間收發電波的天線ex350、能夠拍攝影像、靜止圖像的照相機部ex365、顯示將由照相機部ex365攝影的影像、由天線ex350接收到的影像等解碼后的數據的液晶顯示器等的顯示部ex358。便攜電話exll4還具有包含操作鍵部ex366的主體部、用來進行聲音輸出的揚聲器等的聲音輸出部ex357、用來進行聲音輸入的麥克風等的聲音輸入部ex356、保存拍攝到的影像、靜止圖像、錄音的聲音、或者接收到的影像、靜止圖像、郵件等的編碼后的數據或者解碼后的數據的存儲器部ex367、或者作為與同樣保存數據的記錄介質之間的接口部的插槽部ex364。
[0319]進而，使用圖24B對便攜電話exl 14的結構例進行說明。便攜電話exl 14對于合并控制具備顯示部ex358及操作鍵部ex366的主體部的各部的主控制部ex360，將電源電路部ex361、操作輸入控制部ex362、影像信號處理部ex355、照相機接口部ex363、LCD (LiquidCrystal Display:液晶顯示器)控制部ex359、調制/解調部ex352、復用/分離部ex353、聲音信號處理部ex354、插槽部ex364、存儲器部ex367經由總線ex370相互連接。
[0320]電源電路部ex361如果通過用戶的操作使通話結束及電源鍵成為開啟狀態，則通過從電池組對各部供給電力，便攜電話exll4起動為能夠動作的狀態。
[0321]便攜電話exl 14基于具有CPU、ROM及RAM等的主控制部ex360的控制，在語音通話模式時，將由聲音輸入部ex356集音的聲音信號通過聲音信號處理部ex354變換為數字聲音信號，將其用調制/解調部ex352進行波譜擴散處理，由發送/接收部ex351實施數字模擬變換處理及頻率變換處理后經由天線ex350發送。此外，便攜電話exll4在語音通話模式時，將由天線ex350接收到的接收數據放大并實施頻率變換處理及模擬數字變換處理，用調制/解調部ex352進行波譜逆擴散處理，通過聲音信號處理部ex354變換為模擬聲音數據后，將其經由聲音輸出部ex357輸出。
[0322]進而，在數據通信模式時發送電子郵件的情況下，將通過主體部的操作鍵部ex366等的操作輸入的電子郵件的文本數據經由操作輸入控制部ex362向主控制部ex360送出。主控制部ex360將文本數據用調制/解調部ex352進行波譜擴散處理，由發送/接收部ex351實施數字模擬變換處理及頻率變換處理后，經由天線ex350向基站exllO發送。在接收電子郵件的情況下，對接收到的數據執行上述處理的大致逆處理，并輸出到顯示部ex350o
[0323]在數據通信模式時， 在發送影像、靜止圖像、或者影像和聲音的情況下，影像信號處理部ex355將從照相機部ex365供給的影像信號通過上述各實施方式所示的運動圖像編碼方法進行壓縮編碼(即，作為本發明的一個方式的圖像編碼裝置發揮作用)，將編碼后的影像數據送出至復用/分離部ex353。另外，聲音信號處理部ex354對通過照相機部ex365拍攝影像、靜止圖像等的過程中用聲音輸入部ex356集音的聲音信號進行編碼，將編碼后的聲音數據送出至復用/分離部ex353。
[0324]復用/分離部ex353通過規定的方式，對從影像信號處理部ex355供給的編碼后的影像數據和從聲音信號處理部ex354供給的編碼后的聲音數據進行復用，將其結果得到的復用數據用調制/解調部(調制/解調電路部)ex352進行波譜擴散處理，由發送/接收部ex351實施數字模擬變換處理及頻率變換處理后，經由天線ex350發送。
[0325]在數據通信模式時接收到鏈接到主頁等的運動圖像文件的數據的情況下，或者接收到附加了影像或者聲音的電子郵件的情況下，為了對經由天線ex350接收到的復用數據進行解碼，復用/分離部ex353通過將復用數據分離，分為影像數據的比特流和聲音數據的比特流，經由同步總線ex370將編碼后的影像數據向影像信號處理部ex355供給，并將編碼后的聲音數據向聲音信號處理部ex354供給。影像信號處理部ex355通過與上述各實施方式所示的運動圖像編碼方法相對應的運動圖像解碼方法進行解碼，由此對影像信號進行解碼(即，作為本發明的一個方式的圖像解碼裝置發揮作用)，經由IXD控制部ex359從顯示部ex358顯示例如鏈接到主頁的運動圖像文件中包含的影像、靜止圖像。另外，聲音信號處理部ex354對聲音信號進行解碼,從聲音輸出部ex357輸出聲音。
[0326]此外，上述便攜電話exll4等的終端與電視機ex300同樣，除了具有編碼器、解碼器兩者的收發型終端以外，還可以考慮只有編碼器的發送終端、只有解碼器的接收終端的3種安裝形式。另外，在數字廣播用系統ex200中，設為發送、接收在影像數據中復用了音樂數據等得到的復用數據而進行了說明，但除聲音數據之外復用了與影像關聯的字符數據等的數據也可以，不是復用數據而是影像數據本身也可以。
[0327]這樣，將在上述各實施方式中表示的運動圖像編碼方法或運動圖像解碼方法用在上述哪種設備、系統中都可以，通過這樣，能夠得到在上述各實施方式中說明的效果。
[0328]此外，本發明并不限定于這樣`的上述實施方式，能夠不脫離本發明的范圍而進行各種變形或修正。
[0329](實施方式5)
[0330]也可以通過將在上述各實施方式中示出的運動圖像編碼方法或裝置、與依據MPEG - 2、MPEG4 — AVC、VC — I等不同的標準的運動圖像編碼方法或裝置根據需要而適當切換,來生成影像數據。
[0331]這里，在生成分別依據不同的標準的多個影像數據的情況下，在解碼時，需要選擇對應于各個標準的解碼方法。但是，由于不能識別要解碼的影像數據依據哪個標準，所以產生不能選擇適當的解碼方法的問題。
[0332]為了解決該問題，在影像數據中復用了聲音數據等的復用數據采用包含表示影像數據依據哪個標準的識別信息的結構。以下，說明包括通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數據在內的復用數據的具體的結構。復用數據是MPEG - 2傳輸流形式的數字流。
[0333]圖25是表示復用數據的結構的圖。如圖25所示，復用數據通過將視頻流、音頻流、演示圖形流(PG)、交互圖形流中的I個以上進行復用而得到。視頻流表示電影的主影像及副影像，音頻流(IG)表示電影的主聲音部分和與該主聲音混合的副聲音，演示圖形流表示電影的字幕。這里，所謂主影像，表示顯示在畫面上的通常的影像，所謂副影像，是在主影像中用較小的畫面顯示的影像。此外，交互圖形流表示通過在畫面上配置GUI部件而制作的對話畫面。視頻流通過在上述各實施方式中示出的運動圖像編碼方法或裝置、依據以往的MPEG - 2、MPEG4 — AVC,VC 一 I等標準的運動圖像編碼方法或裝置編碼。音頻流由杜比AC —3、Dolby Digital Plus、MLP、DTS、DTS — HD、或線性 PCM 等的方式編碼。[0334]包含在復用數據中的各流通過PID被識別。例如，對在電影的影像中使用的視頻流分配0x1011，對音頻流分配0x1100到OxlllF，對演示圖形分配0x1200到0xl21F，對交互圖形流分配0x1400到0xl41F，對在電影的副影像中使用的視頻流分配OxlBOO到OxlBlF，對與主聲音混合的副聲音中使用的音頻流分配OxIAOO到OxlAlF。
[0335]圖26是示意地表示復用數據怎樣被復用的圖。首先，將由多個視頻幀構成的視頻流ex235、由多個音頻幀構成的音頻流ex238分別變換為PES包序列ex236及ex239，并變換為TS包ex237及ex240。同樣，將演示圖形流ex241及交互圖形ex244的數據分別變換為PES包序列ex242及ex245，再變換為TS包ex243及ex246。復用數據ex247通過將這些TS包復用到I條流中而構成。
[0336]圖27更詳細地表示在PES包序列中怎樣保存視頻流。圖27的第I段表示視頻流的視頻幀序列。第2段表示PES包序列。如圖27的箭頭yyl、yy2、yy3、yy4所示,視頻流中的多個作為Video Presentation Unit的I圖片、B圖片、P圖片按每個圖片被分割并保存到PES包的有效載荷中。各PES包具有PES頭，在PES頭中，保存有作為圖片的顯示時刻的PTS (Presentation Time-Stamp)及作為圖片的解碼時刻的 DTS (Decoding Time-Stamp)?
[0337]圖28表示最終寫入在復用數據中的TS包的形式。TS包是由具有識別流的PID等信息的4字節的TS頭和保存數據的184字節的TS有效載荷構成的188字節固定長度的包，上述PES包被分割并保存到TS有效載荷中。在BD — ROM的情況下，對于TS包賦予4字節的TP_Extra_Header,構成192字節的源包,寫入到復用數據中。在TP_Extra_Header中記載有ATS (Arrival_Time_Stamp)等信息。ATS表示該TS包向解碼器的PID濾波器的轉送開始時刻。在復用數據中，源包如圖28下段所示排列，從復用數據的開頭起遞增的號碼被稱作SPN (源包號)。
[0338]此外，在復用數據所包含的TS包中，除了影像、聲音、字幕等的各流以外，還有PAT (Program Association Table)、PMT (Program Map Table)、PCR (Program ClockReference)等。PAT表示在復用數據中使用的PMT的PID是什么，PAT自身的PID被登記為O。PMT具有復用數據所包含的影像、聲音、字幕等的各流的PID、以及與各PID對應的流的屬性信息，還具有關于復用數據的各種描述符。在描述符中，有指示許可/不許可復用數據的拷貝的拷貝控制信息等。PCR為了取得作為ATS的時間軸的ATC (Arrival Time Clock)與作為PTS及DTS的時間軸的STC (System Time Clock)的同步，擁有與該PCR包被轉送至解碼器的ATS對應的STC時間的信息。
[0339]圖29是詳細地說明PMT的數據構造的圖。在PMT的開頭，配置有記述了包含在該PMT中的數據的長度等的PMT頭。在其后面，配置有多個關于復用數據的描述符。上述拷貝控制信息等被記載為描述符。在描述符之后，配置有多個關于包含在復用數據中的各流的流信息。流信息由記載有用來識別流的壓縮編解碼器的流類型、流的PID、流的屬性信息(幀速率、縱橫比等)的流描述符構成。流描述符存在復用數據中存在的流的數量。[0340]在記錄到記錄介質等中的情況下，將上述復用數據與復用數據信息文件一起記錄。
[0341]復用數據信息文件如圖30所示，是復用數據的管理信息，與復用數據一對一地對應，由復用數據信息、流屬性信息以及入口映射構成。
[0342]復用數據信息如圖30所示，由系統速率、再現開始時刻、再現結束時刻構成。系統速率表示復用數據的向后述的系統目標解碼器的PID濾波器的最大轉送速率。包含在復用數據中的ATS的間隔設定為成為系統速率以下。再現開始時刻是復用數據的開頭的視頻幀的PTS，再現結束時刻設定為對復用數據的末端的視頻幀的PTS加上I幀量的再現間隔的值。
[0343]流屬性信息如圖31所示，按每個PID登記有關于包含在復用數據中的各流的屬性信息。屬性信息具有按視頻流、音頻流、演示圖形流、交互圖形流而不同的信息。視頻流屬性信息具有該視頻流由怎樣的壓縮編解碼器壓縮、構成視頻流的各個圖片數據的分辨率是多少、縱橫比是多少、幀速率是多少等的信息。音頻流屬性信息具有該音頻流由怎樣的壓縮編解碼器壓縮、包含在該音頻流中的聲道數是多少、對應于哪種語言、采樣頻率是多少等的信息。這些信息用于在播放器再現之前的解碼器的初始化等中。
[0344]在本實施方式中，使用上述復用數據中的、包含在PMT中的流類型。此外，在記錄介質中記錄有復用數據的情況下，使用包含在復用數據信息中的視頻流屬性信息。具體而言，在上述各實施方式示出的運動圖像編碼方法或裝置中，設置如下步驟或單元，該步驟或單元對包含在PMT中的流類型、或視頻流屬性信息，設定表示是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數據的固有信息。通過該結構，能夠識別通過在上述各實施方式中示出 的運動圖像編碼方法或裝置生成的影像數據、和依據其他標準的影像數據。
[0345]此外，在圖32中表示本實施方式的運動圖像解碼方法的步驟。在步驟exSlOO中，從復用數據中取得包含在PMT中的流類型、或包含在復用數據信息中的視頻流屬性信息。接著，在步驟exSlOl中，判斷流類型、或視頻流屬性信息是否表示是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的復用數據。并且，在判斷為流類型、或視頻流屬性信息是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的復用數據情況下，在步驟exS102中，通過在上述各實施方式中示出的運動圖像解碼方法進行解碼。此外，在流類型、或視頻流屬性信息表示是依據以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的標準的復用數據的情況下，在步驟exS103中，通過依據以往的標準的運動圖像解碼方法進行解碼。
[0346]這樣，通過在流類型、或視頻流屬性信息中設定新的固有值，在解碼時能夠判斷是否能夠通過在上述各實施方式中示出的運動圖像解碼方法或裝置解碼。因而，在被輸入了依據不同的標準的復用數據的情況下，也能夠選擇適當的解碼方法或裝置，所以能夠不發生錯誤地進行解碼。此外，將在本實施方式中示出的運動圖像編碼方法或裝置、或者運動圖像解碼方法或裝置用在上述任何設備、系統中。
[0347](實施方式6)
[0348]在上述各實施方式中示出的運動圖像編碼方法及裝置、運動圖像解碼方法及裝置典型地可以由作為集成電路的LSI實現。作為一例，在圖33中表示I芯片化的LSIex500的結構。LSIex500 具備以下說明的單元 ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各單元經由總線ex510連接。電源電路部ex505通過在電源是開啟狀態的情況下對各部供給電力，起動為能夠動作的狀態。
[0349]例如在進行編碼處理的情況下，LSIex500基于具有CPUex502、存儲器控制器ex503、流控制器ex504、驅動頻率控制部ex512等的控制部ex501的控制，通過AV I/0ex509從麥克風exl 17及照相機exl 13等輸入AV信號。被輸入的AV信號暫時儲存在SDRAM等的外部的存儲器ex511中。基于控制部ex501的控制，將儲存的數據根據處理量及處理速度適當地分為多次等，向信號處理部ex507發送，在信號處理部ex507中進行聲音信號的編碼及/或影像信號的編碼。這里，影像信號的編碼處理是在上述各實施方式中說明的編碼處理。在信號處理部ex507中，還根據情況而進行將編碼的聲音數據和編碼的影像數據復用等的處理，從流I/0ex506向外部輸出。將該輸出的比特流向基站exl07發送、或寫入到記錄介質ex215中。另外，在復用時，可以暫時將數據儲存到緩沖器ex508中以使其同步。
[0350]另外，在上述中，設存儲器ex511為LSIex500的外部的結構進行了說明，但也可以是包含在LSIex500的內部中的結構。緩沖器ex508也并不限定于一個，也可以具備多個緩沖器。此外，LSIex500既可以形成I個芯片，也可以形成多個芯片。
[0351 ] 此外，在上述中，假設控制部ex510具有CPUex502、存儲器控制器ex503、流控制器ex504、驅動頻率控制部ex512等,但控制部ex510的結構并不限定于該結構。例如,也可以是信號處理部ex507還具備CPU的結構。通過在信號處理部ex507的內部中也設置CPU，能夠進一步提高處理速度。此外，作為其他例，也可以是CPUex502具備信號處理部ex507、或作為信號處理部ex507的一部分的例如聲音信號處理部的結構。在這樣的情況下，控制部ex501為具備具有信號處理部ex507或其一部分的CPUex502的結構。
[0352]另外，這里設為L SI，但根據集成度的差異，也有稱作1C、系統LS1、超級(super)LS1、特級(ultra)LSI的情況。
[0353]此外，集成電路化的方法并不限定于LSI，也可以由專用電路或通用處理器實現。也可以利用在LSI制造后能夠編程的FPGA (Field Programmable Gate Array)、或能夠重構LSI內部的電路單元的連接及設定的可重構處理器。
[0354]進而，如果因半導體技術的進步或派生的其他技術而出現代替LSI的集成電路化的技術，則當然也可以使用該技術進行功能模塊的集成化。有可能是生物技術的應用等。
[0355](實施方式7)
[0356]在將通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數據解碼的情況下，考慮到與將依據以往的MPEG - 2、MPEG4 — AVC, VC 一 I等標準的影像數據的情況相比處理量會增加。因此，在LSIex500中，需要設定為比將依據以往的標準的影像數據解碼時的CPUex502的驅動頻率更高的驅動頻率。但是，如果將驅動頻率設得高，則發生消耗電力變高的問題。
[0357]為了解決該問題，電視機ex300、LSIex500等的運動圖像解碼裝置采用識別影像數據依據哪個標準、并根據標準切換驅動頻率的結構。圖34表示本實施方式的結構ex800。驅動頻率切換部ex803在影像數據是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的情況下，將驅動頻率設定得高。并且，對執行在上述各實施方式中示出的運動圖像解碼方法的解碼處理部ex801指示將影像數據解碼。另一方面，在影像數據是依據以往的標準的影像數據的情況下，與影像數據是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的數據的情況相比，將驅動頻率設定得低。并且，對依據以往的標準的解碼處理部ex802指示將影像數據解碼。
[0358]更具體地講，驅動頻率切換部ex803由圖33的CPUex502和驅動頻率控制部ex512構成。此外，執行在上述各實施方式中示出的運動圖像解碼方法的解碼處理部ex801、以及依據以往的標準的解碼處理部ex802對應于圖33的信號處理部ex507。CPUex502識別影像數據依據哪個標準。并且，基于來自CPUex502的信號，驅動頻率控制部ex512設定驅動頻率。此外，基于來自CPUex502的信號，信號處理部ex507進行影像數據的解碼。這里，可以考慮在影像數據的識別中使用例如在實施方式5中記載的識別信息。關于識別信息，并不限定于在實施方式5中記載的信息，只要是能夠識別影像數據依據哪個標準的信息就可以。例如，在基于識別影像數據利用于電視機還是利用于盤等的外部信號，來能夠識別影像數據依據哪個標準的情況下，也可以基于這樣的外部信號進行識別。此外，CPUex502的驅動頻率的選擇例如可以考慮如圖36所示的將影像數據的標準與驅動頻率建立對應的查找表進行。將查找表預先保存到緩沖器ex508、或LSI的內部存儲器中，CPUex502通過參照該查找表，能夠選擇驅動頻率。
[0359]圖35表示實施本實施方式的方法的步驟。首先，在步驟exS200中，在信號處理部ex507中，從復用數據中取得識別信息。接著，在步驟exS201中，在CPUex502中，基于識別信息識別影像數據是否是通過在上述各實施方式中示出的編碼方法或裝置生成的數據。在影像數據是通過在上述各實施方式中示出的編碼方法或裝置生成的數據的情況下，在步驟exS202中，CPUex502向驅動頻率控制部ex512發送將驅動頻率設定得高的信號。并且，在驅動頻率控制部ex512中設定為高的驅動頻率。另一方面，在表示是依據以往的MPEG — 2、MPEG4 - AVC,VC 一 I等的標準的影像數據的情況下，在步驟exS203中，CPUex502向驅動頻率控制部ex512發送將驅動頻率設定得低的信號。并且，在驅動頻率控制部ex512中，設定為與影像數據是通過在上述各實施方式中示出的編碼方法或裝置生成的數據的情況相比更低的驅動頻率。
[0360]進而，通過與驅動頻率的切換連動而變更對LSIex500或包括LSIex500的裝置施加的電壓，由此能夠進一步提高節電效果。例如，在將驅動頻率設定得低的情況下，隨之，可以考慮與將驅動頻率設定得高的情況相比，將對LSIex500或包括LSIex500的裝置施加的電壓設定得低。
[0361]此外，驅動頻率的設定方法只要是在解碼時的處理量大的情況下將驅動頻率設定得高、在解碼時的處理量小的情況下將驅動頻率設定得低就可以，并不限定于上述的設定方法。例如，可以考慮在將依據MPEG4 — AVC標準的影像數據解碼的處理量大于將通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數據解碼的處理量的情況下，與上述的情況相反地進行驅動頻率的設定。
[0362]進而，驅動頻率的設定方法并不限定于使驅動頻率低的結構。例如，也可以考慮在識別信息是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數據的情況下，將對LSIex500或包括LSIex500的裝置施加的電壓設定得高，在表示是依據以往的MPEG - 2、MPEG4 一 AVC、VC 一 I等的標準的影像數據的情況下，將對LSIex500或包括LSIex500的裝置施加的電壓設定得低。此外，作為另一例，也可以考慮在識別信息表示是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數據的情況下，不使CPUex502的驅動停止，在表示是依據以往的MPEG — 2、MPEG4 — AVC,VC 一 I等的標準的影像數據的情況下，由于在處理中有富余，所以使CPUex502的驅動暫停。也可以考慮在識別信息表示是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數據的情況下，也只要在處理中有富余則使CPUex502的驅動暫停。在此情況下，可以考慮與表示是依據以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的標準的影像數據的情況相比，將停止時間設定得短。
[0363]這樣，根據影像數據所依據的標準來切換驅動頻率，由此能夠實現節電化。此外，在使用電池來驅動LSIex500或包括LSIex500的裝置的情況下，能夠隨著節電而延長電池的壽命。
[0364](實施方式8)
[0365]在電視機、便攜電話等上述的設備、系統中，有時被輸入依據不同的標準的多個影像數據。這樣，為了使得在被輸入了依據不同的標準的多個影像數據的情況下也能夠解碼，LSIex500的信號處理部ex507需要對應于多個標準。但是，如果單獨使用對應于各個標準的信號處理部ex507，則發生LSIex500的電路規模變大、此外成本增加的問題。
[0366]為了解決該問題，采用將用來執行在上述各實施方式中示出的運動圖像解碼方法的解碼處理部、和依據以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的標準的解碼處理部一部分共用的結構。圖37A的ex900表示該結構例。例如，在上述各實施方式中示出的運動圖像解碼方法和依據MPEG4 - AVC標準的運動圖像解碼方法在熵編碼、逆量化、解塊濾波器、運動補償等的處理中有一部分處理內容共通。可以考慮如下結構:關于共通的處理內容，共用對應于MPEG4 - AVC標準的解碼處理部ex902，關于不對應于MPEG4 — AVC標準的本發明的一個方式所特有的其他的處理內容，使用專用的解碼處理部ex901。特別是，本發明的一個方式在算術解碼方面具有特征，因此可以考慮例如對于算術解碼使用專用的解碼處理部ex901，對于除此之外的逆 量化、解塊濾波、運動補償中的某一個或者全部的處理，共用解碼處理部。關于解碼處理部的共用，也可以是如下結構:關于共通的處理內容，共用用來執行在上述各實施方式中示出的運動圖像解碼方法的解碼處理部，關于MPEG4 - AVC標準所特有的處理內容，使用專用的解碼處理部。
[0367]此外，用圖37B的exlOOO表示將處理一部分共用的另一例。在該例中，采用使用與本發明的一個方式所特有的處理內容對應的專用的解碼處理部exlOOl、和與其他的以往標準所特有的處理內容對應的專用的解碼處理部exl002、和與在本發明的一個方式的運動圖像解碼方法和其他的以往標準的運動圖像解碼方法中共通的處理內容對應的共用的解碼處理部exl003的結構。這里,專用的解碼處理部exl001、exl002并不一定是為本發明的一個方式、或者其他的以往標準所特有的處理內容而特殊化的，可以是能夠執行其他的通用處理的結構。此外，也能夠由LSIeX500安裝本實施方式的結構。
[0368]這樣，對于在本發明的一個方式的運動圖像解碼方法和以往的標準的運動圖像解碼方法中共通的處理內容，共用解碼處理部，由此能夠減小LSI的電路規模并且降低成本。
[0369]產業上的可利用性
[0370]本發明能夠應用在圖像編碼方法、圖像解碼方法、圖像編碼裝置及圖像解碼裝置中，特別能夠在進行算術編碼及算術解碼的圖像編碼方法、圖像解碼方法、圖像編碼裝置及圖像解碼裝置中利用。
[0371]標號說明
[0372]100圖像編碼裝置
[0373]101控制部
[0374]102差分部
[0375]103變換及量化部
[0376]104可變長編碼部
[0377]105逆量化及逆變換部
[0378]106、206 加法部
[0379]107,207面內預測部
[0380]108、208面間預測部
[0381]109,209 開關
[0382]121輸入圖像信號
[0383]122、125、225 殘差信號
[0384]123、223量化變換系數
[0385]124比特流
[0386]126復原圖像信號
[0387]127、128、129、227、228 預測圖像信號
[0388]130,230 控制參數
[0389]141 二值化部
[0390]142,242上下文控制部
[0391]143 二值算術編碼部
[0392]151,251 二值排列
[0393]152,252上下文索引 [0394]200圖像解碼裝置
[0395]201控制部
[0396]202可變長解碼部
[0397]204逆量化部
[0398]205逆變換部
[0399]224正交變換系數
[0400]226解碼圖像信號
[0401]229圖像信號
[0402]241多值化部
[0403]243 二值算術解碼部
【權利要求】
1.一種圖像解碼方法，使用算術解碼，包括以下步驟: 上下文控制步驟，在多個上下文中，決定對處理對象塊使用的上下文； 算術解碼步驟，使用被決定的上述上下文，對下述比特序列進行算術解碼，由此將二值排列復原，該比特序列是通過對控制參數進行算術編碼而得到的、與上述處理對象塊對應的比特序列；以及 多值化步驟，通過將上述二值排列多值化，將上述控制參數復原； 在上述上下文控制步驟中， 判斷上述處理對象塊的控制參數的信號種類， 在上述信號種類是第I種類的情況下，使用既利用與上述處理對象塊鄰接的左塊的已解碼的控制參數又利用與上述處理對象塊鄰接的上塊的已解碼的控制參數的第I條件，決定上述上下文， 在上述信號種類是與上述第I種類不同的第2種類的情況下，使用不利用上述上塊的已解碼的控制參數的第2條件，決定上述上下文。
2.如權利要求1所述的圖像解碼方法， 上述第2條件是既不利用上述上塊的已解碼的控制參數也不利用上述左塊的已解碼的控制參數的條件。
3.如權利要求2所述的圖像解碼方法， 在上述上下文控制步驟中`，在上述信號種類是上述第2種類的情況下，作為上述第2條件，將預先設定的上下文決定為在上述對象塊的算術解碼中使用的上下文。
4.如權利要求2所述的圖像解碼方法， 在上述信號種類是上述第2種類的情況下，作為上述第2條件，根據上述處理對象塊的控制參數所屬的數據單位的層級的深度決定上述上下文。
5.如權利要求1~4中任一項所述的圖像解碼方法， 在上述上下文控制步驟中，進而， 基于上述處理對象塊的位置，判斷在解碼時是否能夠利用上述上塊的控制參數， 在不能利用上述上塊的控制參數的情況下，使用上述第2條件決定上述上下文。
6.如權利要求5所述的圖像解碼方法， 在上述上下文控制步驟中，在上述處理對象塊屬于切片邊界的情況下，判斷為在解碼時不能利用上述上塊的控制參數。
7.如權利要求5所述的圖像解碼方法， 在上述上下文控制步驟中，根據上述處理對象塊的控制參數所屬的數據單位的層級的深度，判斷在解碼時是否能夠利用上述上塊的控制參數。
8.如權利要求1~7中任一項所述的圖像解碼方法， 上述第2種類是具有預先設定的數據構造的控制參數。
9.如權利要求1~8中任一項所述的圖像解碼方法， 在上述上下文控制步驟中，進而， 基于第I單位的控制參數的值，針對比上述第I單位小的第2單位的控制參數，切換是使用上述第I條件來決定上述上下文、還是使用上述第2條件來決定上下文。
10.如權利要求1~9中任一項所述的圖像解碼方法，上述第I種類是〃split_coding_unit_flag即分割編碼單元標志〃或〃skip_flag即跳過標志"， 上述第2種類是〃merge_flag即合并標志〃。
11.如權利要求10所述的圖像解碼方法， 上述〃split_coding_unit_flag〃表示上述處理對象塊是否被分割為多個塊， 上述〃skip_flag〃表示是否跳過上述處理對象塊， 上述〃merge_flag〃表示是否對上述處理對象塊使用合并模式。
12.如權利要求1~11中任一項所述的圖像解碼方法， 上述圖像解碼方法根據編碼信號中包含的表示第I標準或第2標準的識別符，對依據上述第I標準的解碼處理與依據上述第2標準的解碼處理進行切換； 在上述ID表示第I標準的情況下，作為依據上述第I標準的解碼處理，進行上述上下文控制步驟、上述算術解碼步驟和上述多值化步驟。
13.一種圖像編碼方法，使用算術編碼，包括以下步驟: 二值化步驟，通過將處理對象塊的控制參數二值化，生成二值排列； 上下文控制步驟，在多個上下文中，決定對上述處理對象塊使用的上下文；以及算術編碼步驟，通過使用被決定的上述上下文對上述二值排列進行算術編碼，生成比特序列； 在上述上下文控制步驟中， 判斷上述處理對象塊的控制參數的信號種類， 在上述信號種類是第I種類的情況下，使用既利用與上述處理對象塊鄰接的左塊的控制參數又利用與上述處理對象塊鄰接的上塊的控制參數的第I條件，決定上述上下文，在上述信號種類是與上述第I種類不同的第2種類的情況下，使用不利用上述上塊的控制參數的第2條件，決定上述上下文。
14.一種圖像解碼裝置，使用算術解碼，包括: 上下文控制部，在多個上下文中，決定在處理對象塊的算術解碼中使用的上下文； 算術解碼部，使用被決定的上述上下文，對下述比特序列進行算術解碼，由此將二值排列復原，該比特序列是通過對控制參數進行算術編碼而得到的、與上述處理對象塊對應的比特序列；以及 多值化部，通過將上述二值排列多值化，將上述控制參數復原； 上述上下文控制部為: 判斷上述處理對象塊的控制參數的信號種類， 在上述信號種類是第I種類的情況下，使用既利用與上述處理對象塊鄰接的左塊的已解碼的控制參數又利用與上述處理對象塊鄰接的上塊的已解碼的控制參數的第I條件，決定上述上下文， 在上述信號種類是與上述第I種類不同的第2種類的情況下，使用不利用上述上塊的已解碼的控制參數的第2條件，決定上述上下文。
15.一種圖像編碼裝置，使用算術編碼，包括: 二值化部，通過將處理對象塊的控制參數二值化，生成二值排列； 上下文控制部，在多個上下文中，決定對上述處理對象塊使用的上下文；以及算術編碼部，通過使用被決定的上述上下文對上述二值排列進行算術編碼，生成比特序列； 上述上下文控制部為: 判斷上述處理對象塊的控制參數的信號種類， 在上述信號種類是第I種類的情況下，使用既利用與上述處理對象塊鄰接的左塊的控制參數又利用與上述處理對象塊鄰接的上塊的控制參數的第I條件，決定上述上下文，在上述信號種類是與上述第I種類不同的第2種類的情況下，使用不利用上述上塊的控制參數的第2條件，決定上述上下文。
16.一種圖像編碼解碼裝置，包括: 權利要求14所述的圖像解碼裝置；以及 權利要求15所述的 圖像編碼裝置。
【文檔編號】H04N19/176GK103609113SQ201280025624
【公開日】2014年2月26日 申請日期:2012年6月22日 優先權日:2011年6月23日
【發明者】笹井壽郎, 西孝啟, 柴原陽司, 杉尾敏康, 谷川京子, 松延徹 申請人:松下電器產業株式會社