圖像編碼裝置和方法及圖像處理裝置和方法

圖像編碼裝置和方法及圖像處理裝置和方法
【專利摘要】本公開內容涉及使能夠較容易地實現比特流的耦接的圖像編碼裝置和方法以及圖像處理裝置和方法。本發明提供了：設置單元，其基于與圖像數據的要被處理的當前畫面的位置以及對所述圖像數據的要被處理的當前畫面的參考有關的信息來設置與假設參考解碼器有關的頭信息；以及編碼單元，其對圖像數據進行編碼，以生成包括圖像數據的編碼數據以及由所述設置單元設置的頭信息的比特流。本公開內容適用于例如圖像處理裝置、圖像編碼裝置等。
【專利說明】
圖像編碼裝置和方法及圖像處理裝置和方法
技術領域
[0001]本公開內容涉及圖像編碼裝置和方法及圖像處理裝置和方法，更具體地，涉及使能夠較容易地實現比特流的接合的圖像編碼裝置和圖像編碼方法及圖像處理裝置和圖像處理方法。
【背景技術】
[0002]在運動圖像的常規編輯中，運動圖像被接合。由于數字信號處理中運動圖像數據的數據量通常巨大，所以通常在使用之前對運動圖像數據進行編碼(壓縮)。圖像數據的一般編碼方法的示例包括運動圖像專家組(M P E G )、高級視頻編碼(A V C)和高效視頻編碼(HEVC)0
[0003]在使用如上編碼的運動圖像數據以上面描述的方式接合運動圖像的情況下，根據多于一個比特流來生成一個比特流。在這樣的比特流生成中，可以對每個比特流進行解碼和解壓縮，然后接合所述比特流。可以對接合之后的運動圖像進行編碼以生成一個比特流。在那種情況下，因為比特流的數據量變得較大，所以處理負荷可能變得較大。
[0004]鑒于以上，作為用于當以幀精度對如上編碼的運動圖像數據進行剪輯和編輯時縮短編碼時間并且防止圖像品質劣化的技術，已經開發了智能渲染編輯(例如，參見專利文獻I和專利文獻2)。
[0005]同時，在AVC和HEVC中，引入假設參考解碼器(HRD)的概念以在沒有任何中斷的情況下傳送比特流。編碼器需要以這樣的方式生成比特流以不使假設參考解碼器中斷。這還應用在上述智能渲染編輯中的編碼中。
[0006]引用列表
[0007]專利文獻
[0008]專利文獻1:日本專利申請公開第2008-22361號
[0009]專利文獻2:日本專利申請公開第2008-131147號

【發明內容】

[0010]本發明要解決的問題
[0011]然而，在智能渲染編輯中，在運動圖像的預定編碼部分被簡單編碼的情況下不考慮接合比特流之間的關系。因此，在接合的部分上(在接合之后的整個比特流中)不能保證避免假設參考解碼器的中斷。即，存在不能對接合后的比特流正確地解碼的風險。
[0012]為了對接合后的比特流正確地解碼，需要執行麻煩的操作如適當地重寫包括在比特流中的與假設參考解碼器有關的信息。
[0013]鑒于那些情況做出了本公開內容，使能夠較容易地實現比特流的接合。
[0014]問題的解決方案
[0015]本技術的一個方面是圖像編碼裝置，所述圖像編碼裝置包括:設置單元，其根據關于位置的信息和關于參考的信息來設置與假設參考解碼器有關的頭信息，所述關于位置的信息和所述關于參考的信息是針對圖像數據的要被處理的當前畫面的；以及編碼單元，其對圖像數據進行編碼并且生成包括圖像數據的編碼數據以及由設置單元設置的頭信息的比特流。
[0016]設置單元可以對表示空單元類型的信息進行設置。
[0017]設置單元還可以對表示比特流接合的信息進行設置。
[0018]設置單元還可以對表示比特流的結尾處的訪問單元的位置與先前不可丟棄畫面的位置之間的差的信息進行設置。
[0019]在當前畫面是第一個畫面時，設置單元可以將表示空單元類型的信息設置為表示IDR畫面的值，將表示比特流接合的信息設置為“真”，并且將表示比特流的結尾處的訪問單元的位置與先前不可丟棄畫面的位置之間的差的信息設置為最小值。
[0020]在當前畫面是最后一個畫面時，設置單元可以將表示空單元類型的信息設置為表示不屬于臨時子層并且不被參考的拖尾畫面的值，將表示比特流接合的信息設置為“假”，并且將表示比特流的結尾處的訪問單元的位置與先前不可丟棄畫面的位置之間的差的信息設置為最小值。
[0021]在當前畫面既不是第一個畫面也不是最后一個畫面而是參考畫面時，設置單元可以將表示空單元類型的信息設置為表示不屬于臨時子層并且不被參考的拖尾畫面的值，將表示比特流接合的信息設置為“假”，并且將表示比特流的結尾處的訪問單元的位置與先前不可丟棄畫面的位置之間的差的信息設置為最小值。
[0022]在當前畫面既不是第一個畫面也不是最后一個畫面并且也不是參考畫面時，設置單元可以將表示空單元類型的信息設置為表示不屬于臨時子層的非參考畫面的值，將表示比特流接合的信息設置為“假”，并且將表示比特流的結尾處的訪問單元的位置與先前不可丟棄畫面的位置間的差的信息設置為最小值。
[0023]圖像編碼裝置還可以包括速度控制單元，所述速度控制單元根據關于當前畫面的位置的信息、表示用于調整假設參考解碼器的部分的信息以及表示生成的代碼量的信息來設置目標代碼量值。
[0024]此外，本技術的一個方面是圖像編碼方法，所述圖像編碼方法包括:根據關于位置的信息和關于參考的信息來設置與假設參考解碼器有關的頭信息，所述關于位置的信息和所述關于參考的信息是針對圖像數據的要被處理的當前畫面的；以及對圖像數據進行編碼并且生成包括圖像數據的編碼數據和所設置的頭信息的比特流。
[0025]本技術的另一個方面是包括更新單元的圖像處理裝置，所述更新單元更新與假設參考解碼器有關的頭信息，所述頭信息被包括在包含通過對圖像數據進行編碼而生成的編碼數據的比特流中，所述更新使能夠實現所述比特流與另外的比特流的接合。
[0026]更新單元可以對比特流進行重新編碼，以適當地調整比特流的結尾處的編碼畫面緩沖器的位置與接合比特流的起始處的編碼畫面緩沖器的位置之間的關系。
[0027]更新單元可以用與先前不可丟棄畫面對應的值來更新表示比特流的結尾處的空單元類型的信息。
[0028]更新單元可以用適合于比特流接合的值來更新與從編碼畫面緩沖器進行讀出有關的信息。
[0029]更新單元可以對比特流的結尾處的先前不可丟棄畫面進行搜索，并且根據所述搜索的結果來更新比特流的結尾處的訪問單元的位置與先前不可丟棄畫面的位置之間的差。
[0030]更新單元可以用適合于比特流接合的值來更新與從比特流的結尾處的編碼畫面緩沖器和解碼畫面緩沖器進行讀出有關的信息。
[0031]更新單元可以用適合于比特流接合的值來更新與從比特流的起始處的編碼畫面緩沖器和解碼畫面緩沖器進行讀出有關的信息。
[0032]更新單元可以用根據表示從要被接合的比特流的結尾處的編碼畫面緩沖器進行讀出的延遲的信息的值來更新表示從接合比特流的起始處的訪問單元的編碼畫面緩沖器進行讀出的延遲的信息。
[0033]圖像處理裝置還可以包括接合單元，所述接合單元將由更新單元更新的比特流與另外的比特流接合。
[0034]此外，本技術的另一方面是圖像處理方法，所述圖像處理方法包括:更新與假設參考解碼器有關的頭信息，所述頭信息被包括在包含通過對圖像數據進行編碼而生成的編碼數據的比特流中，所述更新使能夠實現所述比特流與另外的比特流的接合。
[0035]在本技術的一個方面中，根據關于位置的信息和關于參考的信息來設置與假設參考解碼器有關的頭信息，所述關于位置的信息和所述關于參考的信息是針對圖像數據的要被處理的當前畫面的，并且通過對圖像數據進行編碼來生成包括圖像數據的編碼數據和所設置的頭信息的比特流。
[0036]在本技術的另一個方面中，對被包括在包含通過對圖像數據進行編碼而生成的編碼數據的比特流中的與假設參考解碼器有關的頭信息進行更新，使得可以將所述比特流與另外的比特流接合。
[0037]本發明的效果
[0038]根據本公開內容，可以對圖像數據進行編碼或處理。具體地，可以更容易地接合比特流。
【附圖說明】
[0039]圖1是用于說明智能渲染編輯的示例的圖。
[0040]圖2是用于說明智能渲染編輯的示例的圖。
[0041 ]圖3是用于說明假設參考解碼器的示例的圖。
[0042]圖4是用于說明智能渲染編輯的示例的圖。
[0043]圖5是用于說明智能渲染編輯的示例的圖。
[0044]圖6是示出了圖像編碼裝置的特定示例結構的框圖。
[0045]圖7是示出了速度控制單元的特定示例結構的框圖。
[0046]圖8是用于說明與假設參考解碼器有關的參數的圖。
[0047]圖9是用于說明編碼處理中的示例流程的流程圖。
[0048]圖10是用于說明空單元類型確定處理中的示例流程的流程圖。
[0049]圖11是用于說明速度控制處理中的示例流程的流程圖。
[0050]圖12是用于說明HRD跟蹤處理中的示例流程的流程圖。
[0051]圖13是用于說明目標比特確定處理中的示例流程的流程圖。
[0052]圖14是用于說明智能渲染編輯的示例的圖。
[0053]圖15是示出了比特流接合裝置的特定示例結構的框圖。
[0054]圖16是用于說明比特流接合處理中的示例流程的流程圖。
[0055]圖17是用于說明緩沖器確定處理中的示例流程的流程圖。
[0056]圖18是用于說明空單元類型重寫處理中的示例流程的流程圖。
[0057]圖19是用于說明緩沖時段重寫處理中的示例流程的流程圖。
[0058]圖20是用于說明智能渲染編輯的示例的圖。
[0059]圖21是示出了比特流接合裝置的特定示例結構的框圖。
[0060]圖22是用于說明比特流接合處理中的示例流程的流程圖。
[0061]圖23是用于說明先前不可丟棄畫面搜索處理中的示例流程的流程圖。
[0062]圖24是用于說明緩沖時段重寫處理中的示例流程的流程圖。
[0063]圖25是用于說明智能渲染編輯的示例的圖。
[0064]圖26是示出了比特流接合裝置的特定示例結構的框圖。
[0065]圖27是用于說明比特流接合處理中的示例流程的流程圖。
[0066]圖28是用于說明prev_Cpb_removable_de lay搜索處理中的示例流程的流程圖。
[0067]圖29是用于說明緩沖時段重寫處理中的示例流程的流程圖。
[0068]圖30是用于說明畫面定時SEI重寫處理中的示例流程的流程圖。
[0069]圖31是用于說明智能渲染編輯的示例的圖。
[0070]圖32是示出了計算機的特定示例結構的框圖。
[0071 ]圖33是示意性示出了電視設備的示例結構的框圖。
[0072]圖34是示意性示出了便攜式電話設備的示例結構的框圖。
[0073]圖35是示意性示出了記錄/再現設備的示例結構的框圖。
[0074]圖36是示意性示出了成像設備的示例結構的框圖。
[0075]圖37是示意性示出了視頻裝置的示例結構的框圖。
[0076]圖38是示意性示出了視頻處理器的示例結構的框圖。
[0077]圖39是示意性示出了視頻處理器的另一示例結構的框圖。
【具體實施方式】
[0078]下面是對用于執行本公開內容的模式(在下文中稱為實施方式)的描述。將按照下面的順序來說明。
[0079]1.第一實施方式(圖像編碼裝置)
[0080]2.第二實施方式(比特流接合裝置)
[0081 ]3.第三實施方式(比特流接合裝置)
[0082]4.第四實施方式(比特流接合裝置)
[0083]5.第五實施方式(計算機)
[0084]6.第六實施方式(示例應用)
[0085]7.第七實施方式(裝置、單元、模塊和處理器)
[0086]〈1.第一實施方式〉
[0087]〈智能渲染編輯〉
[0088]在運動圖像的常規編輯中，運動圖像被接合。由于數字信號處理中運動圖像數據的數據量通常巨大，所以通常在使用之前對運動圖像數據進行編碼(壓縮)。圖像數據的一般編碼方法的示例包括運動圖像專家組(M P E G )、高級視頻編碼(A V C)和高效視頻編碼(HEVC)0
[0089]在使用如上編碼的運動圖像數據以上述方式對運動圖像進行接合的情況下，根據多于一個比特流來生成一個比特流。在這樣的比特流生成中，可以對每個比特流進行解碼和解壓縮，然后接合所述比特流。可以對接合之后的運動圖像進行編碼以生成一個比特流。在那種情況下，因為比特流的數據量變得較大，所以處理負荷可能也變得較大。
[0090]鑒于以上，如在專利文獻I和專利文獻2中所公開的，作為用于當以幀精度對如上編碼的運動圖像數據進行剪輯和編輯時縮短編碼時間并且防止圖像品質劣化的技術，已經開發了智能渲染編輯。
[0091]在AVC和HEVC中，引入了假設參考解碼器(HRD)的概念以在沒有任何中斷的情況下傳送比特流。編碼器需要以這樣的方式生成比特流，以不使假設參考解碼器中斷。這還應用于上述智能渲染編輯中的編碼中。
[0092]然而，在智能渲染編輯中，在對運動圖像的預定編碼部分進行簡單編碼的情況下沒有考慮接合比特流之間的關系。因此，在接合部分上(在接合之后的整個比特流中)不能保證避免假設參考解碼器的中斷。為了對接合之后的比特流正確地進行解碼，需要執行麻煩的操作如適當地重寫與包括在比特流中的假設參考解碼器有關的信息。
[0093]圖1示出了對通過根據AVC對圖像數據進行編碼形成的比特流進行接合的情況下的示例。圖1中的A示出了關于接合之前的相應比特流(流A和流B)的(位于連接部分附近的)幀中的一些幀的參數(如與假設參考解碼器有關的參數)的示例。在圖1所示的接合中，將流B的起始連接至流A的結尾。圖1中的B示出了關于作為接合之后的比特流的流A+B的(位于連接部分附近的)幀中的一些幀的參數(如與假設參考解碼器有關的參數)的示例。
[0094]在下文中，還將在這樣的接合中要使用的流A稱為要被接合的比特流(流)，并且還將流B稱為接合比特流(流)。
[0095]如圖1中的B所示，在這個示例的情況下，在作為接合比特流的流B的起始處的CpbRemovalDe lay需要比作為要被接合的比特流的流A的結尾處的CpbRemovalDelay大“+I”。因此，用戶必須檢查流A的結尾處的CpbRemo va I De I ay并且更新流B的起始處的CpbRemovalDelay，這導致麻煩的操作。
[0096]圖2示出了對通過根據HEVC對圖像數據進行編碼形成的比特流進行接合的情況下的示例。與圖1中的A—樣，圖2中的A示出了關于接合之前的相應比特流(流A和流B)的(位于連接部分附近的)幀中的一些幀的參數(如與假設參考解碼器有關的參數)的示例。圖2所示的接合以與圖1相同的方式來進行。即，將流B的起始連接至流A的結尾。與圖1中的B—樣，圖2中的B示出了關于作為接合之后的比特流的流A+B的(位于連接部分附近的)幀中的一些幀的參數(如與假設參考解碼器有關的參數)的示例。
[0097]如圖2所示，在HEVC中，將concatenat1n_f lag添加至緩沖時段補充增強信息(SEI)，以便于比特流接合。在concatenat1n_flag為I的情況下，比特流已經被接合，計算表示移除編碼畫面緩沖器(Cpb)的定時的AuNominalRemovalTime的方法被改變。此時，由畫面定時SEI表示的au_cpb_removal_delay_minusl典型地在計算中不被使用。
[0098]在HEVC比特流的情況下，簡單地將concatenat1n_f lag轉變為I，以根據HRD在不中斷的情況下由兩個接合比特流生成流。
[0099]圖3不出了在concatenat1n_f lag為I 的情況下計算AuNominaIRemovalTime的實際方法的示例。如可以從該計算看到的，在不使用畫面定時SEI的au_cpb_removal_delay_minusl的情況下實現了無縫接合。
[0?00] 如上所述，在HEVC中，存在使用concatenat1n_flag可以容易地接合比特流的情況。然而，比特流不總是如此容易地被接合。
[0101]圖4示出了生成重新排序以根據AVC將B畫面包括在比特流的接合中的情況下的示例。與圖1中的A—樣，圖4中的A示出了關于接合之前的相應比特流(流A和流B)的(位于連接部分附近的)幀中的一些幀的參數(如與假設參考解碼器有關的參數)的示例。與圖1中的B一樣，圖4中的B示出了關于作為接合之后的比特流的流A+B的(位于連接部分附近的)幀中的一些幀的參數(如與假設參考解碼器有關的參數)的示例。在這種情況下，可以通過與圖1中的處理相同的處理來接合比特流。
[0102]另一方面，在生成重新排序以根據HEVC將B畫面包括在比特流的接合中的情況下，與根據AVC的處理相比，該處理可能變得更復雜。圖5示出了這樣的情況下的示例。與圖2中的A—樣，圖5中的A示出了關于接合之前的相應比特流(流A和流B)的(位于連接部分附近的)幀中的一些幀的參數(如與假設參考解碼器有關的參數)的示例。與圖2中的B—樣，圖5中的B示出了關于作為的接合之后的比特流的流A+B的(位于連接部分附近的)幀中的一些幀的參數(如與假設參考解碼器有關的參數)的示例。
[0?03] 如圖5所示，在該示例情況下，將作為接合比特流的流B的concatenat1n_f lag設置為I，并且在瞬時解碼刷新(IDR)畫面中將cpb_removal_delay設置為O。用戶需要檢查作為要被接合的比特流的流A的結尾處的prevNonDiscardablePic的位置并且重寫流B的auCpbRemovalDeIayDeItaMinusI。即，需要執行麻煩的操作。在圖5所示的示例情況下，流A的結尾處的口1'6￥1^0]10丨80&1(1&1316?;[。是(11+3)畫面(肪1_1111；[1:_17。6為11^11^_10，因此，流B的auCpbRemovalDeIayDeItaMinusI為2 ο
[0104]鑒于以上，在根據HEVC的比特流接合之前適當地設置語法，使得可以更容易地接合比特流。
[0105]〈圖像編碼裝置〉
[0106]當對圖像數據進行編碼時，例如，根據關于圖像數據的當前畫面的位置的信息和關于參考的信息來設置與假設參考解碼器有關的頭信息，并且生成包括通過對圖像數據進行編碼而形成的編碼數據以及以上面的方式設置的頭信息的比特流。
[0107]頭信息表示在層級水平(序列、畫面、片段、片、最大編碼單元、編碼單元等)中的每一個中的數據設置之前要被解析(或者要被參考)的信息或者獨立于每個層級水平中的數據設置的要被解析(或者要被參考)的信息。例如，頭信息可以是視頻參數集(VPS)、序列參數集(SPS)、畫面參數集(PPS)、片段頭、空單元類型(nal_unit_type)、補充增強信息(SEI)等。頭信息不僅包括作為比特流的語法明確定義的信息而且包括位于層級水平中的每一個的起始處的信息。
[0108]圖6是示出了作為應用了本技術的圖像處理裝置的實施方式的圖像編碼裝置的示例結構的框圖。例如，圖6中所示的圖像編碼裝置100使用HEVC預測處理或者與HEVC兼容的預測處理對運動圖像的圖像數據進行編碼。
[0109]圖6所示的圖像編碼裝置100包括屏幕重新布置緩沖器111、算術操作單元112、正交變換單元113、量化單元114、無損編碼單元115、積聚緩沖器116、逆量化單元117和逆正交變換單元118。圖像編碼裝置100還包括算術操作單元119、幀內預測單元120、環路濾波器121、幀存儲器122、幀間預測單元123和預測圖像選擇單元124。
[Ο??Ο] 圖像編碼裝置100還包括速度控制單元125和nal_unit_type確定單元126。
[0111]屏幕重新布置緩沖器111按照顯示的順序來存儲輸入圖像數據的相應幀的圖像，根據畫面的組(GOP)將所存儲的幀的圖像的顯示順序變成幀的編碼順序，并且將具有重新布置的幀順序的圖像提供至算術操作單元112。屏幕重新布置緩沖器111還將具有重新布置的幀順序的圖像提供至幀內預測單元120和幀間預測單元123。
[0112]算術操作單元112從于屏幕重新布置緩沖器111讀取的圖像減去經由預測圖像選擇單元124從幀內預測單元120或幀間預測單元123提供的預測圖像，并且將差信息(殘差數據)提供至正交變換單元113。當要對圖像執行幀內編碼時，例如，算術操作單元112從于屏幕重新布置緩沖器111讀取的圖像減去從幀內預測單元120提供的預測圖像。當對圖像執行幀間編碼時，例如，算術操作單元112從于屏幕重新布置緩沖器111讀取的圖像減去從幀間預測單元123提供的預測圖像。
[0113]正交變換單元113對從算術操作單元112提供的殘差數據執行正交變換如離散余弦變換或Karhunen-Loeve變換。正交變換單元113將通過正交變換獲得的變換系數提供至量化單元114。
[0114]量化單元114對從正交變換單元113提供的變換系數進行量化。量化單元114根據關于從速度控制單元125提供的目標代碼量值的信息來設置量化參數，然后執行量化。量化單元114將經量化的變換系數提供至無損編碼單元115。
[0115]無損編碼單元115使用適當的編碼技術對通過量化單元114量化的變換系數進行編碼。此外，無損編碼單元115從幀內預測單元120獲得表示幀內預測模式等的信息，并且從幀間預測單元123獲取表示幀間預測模式的信息、表示差運動矢量信息的信息等。無損編碼單元115還獲取信息如在]^1_1111；[1:_17。6確定單元126處設置的001103丨6肪1:;[011_;1^138和11&1_unit_type。
[0116]無損編碼單元115通過適當的編碼技術對那些條信息進行編碼，以獲得關于編碼數據的頭信息的一部分(也稱為編碼流)。無損編碼單元115將通過所述編碼獲得的編碼數據提供至積聚緩沖器單元116，并且將編碼數據積聚在積聚緩沖器單元116中。
[0117]例如，要由無損編碼單元115使用的編碼技術可以是可變長度編碼或算術編碼。例如，可變長度編碼可以是H.264/AVC中指定的基于上下文的自適應變長編碼(CAVLC)。例如，算術編碼可以是基于上下文的自適應二進制算術編碼(CABAC)。
[0118]積聚緩沖器116臨時保持從無損編碼單元115提供的編碼數據。積聚緩沖器116在預定時間將保持在其中的編碼數據輸出至圖像編碼裝置100的外面。即，積聚緩沖器116還用作傳送編碼數據的傳送單元。
[0119]還將通過量化單元114量化的變換系數提供至逆量化單元117。逆量化單元117通過與由量化單元114執行的量化兼容的方法對經量化的變換系數進行逆量化。逆量化單元117將通過逆量化獲得的變換系數提供至逆正交變換單元118。
[0120]逆正交變換單元118通過與由正交變換單元113執行的正交變換處理兼容的方法對所提供的從逆量化單元117提供的變換系數執行逆正交變換。逆正交變換單元118將經歷了逆正交變換(恢復的殘差數據)的輸出提供至算術操作單元119。
[0121]算術操作單元119通過將經由預測圖像選擇單元124從幀內預測單元120或幀間預測單元123提供的預測圖像添加至從逆正交變換單元118提供的恢復的殘差數據來獲得局部重構圖像(在下文中稱為重構圖像)。重構圖像被提供至幀內預測單元120和環路濾波器121。
[0122]幀內預測單元120使用作為參考圖像從算術操作單元119提供的重構圖像的當前畫面中的像素值來執行幀內預測(屏幕內預測)以生成預測圖像。幀內預測單元120以預先準備的幀內預測模式來執行幀內預測。
[0123]幀內預測單元120以所有候選幀內預測模式生成預測圖像，通過使用從屏幕重新布置緩沖器111提供的輸入圖像來估計相應的預測圖像的成本函數值并且選擇最佳模式。在選擇最佳幀內預測模式之后，幀內預測單元120將在最佳模式下生成的預測圖像提供至預測圖像選擇單元124。
[0124]如上所述，幀內預測單元120視情況而定將表示所采用的幀內預測模式的幀內預測模式信息等提供至無損編碼單元115，使得幀內預測模式信息等被編碼。
[0125]環路濾波器121包括去塊濾波器、自適應環路濾波器等，并且對從算術操作單元119提供的重構的圖像執行適當的濾波處理。例如，環路濾波器121通過對重構圖像執行去塊濾波處理從該重構圖像移除塊失真。環路濾波器121還通過使用維納濾波器對去塊濾波處理的結果(已經移除了塊失真的重構圖像)執行環路濾波處理來提高圖像品質。
[0126]環路濾波器121還可以對重構圖像執行任意其他適當的濾波處理。在需要時，環路濾波器121還可以為無損編碼單元115提供信息如用于濾波處理的濾波系數，使得可以對所述?目息進行編碼。
[0127]環路濾波器121為幀存儲器122提供濾波處理的結果(在下文中將該結果稱為解碼圖像)。
[0128]環路濾波器121還可以對重構圖像執行任意其他適當的濾波處理。在需要時，環路濾波器121還可以為無損編碼單元115提供信息如濾波處理中使用的濾波系數，使得可以對所述?目息進行編碼。
[0129]幀存儲器122存儲所提供的解碼圖像，并且在預定時間將所存儲的解碼圖像作為參考圖像提供至幀間預測單元123。
[0130]幀間預測單元123使用從屏幕重新布置緩沖器111提供的輸入圖像和從幀存儲器122讀取的參考圖像來執行幀間預測處理。更具體地，幀間預測單元123通過進行運動預測來檢測運動矢量，并且根據所述運動矢量執行運動補償處理，以生成預測圖像(幀間預測圖像信息)。
[0131]幀間預測單元123以所有候選幀間預測模式生成預測圖像。幀間預測單元123通過使用從屏幕重新布置緩沖器111提供的輸入圖像以及關于生成的差運動矢量等的信息來估計相應的預測圖像的成本函數值，然后選擇最佳模式。在選擇了最佳幀間預測模式之后，幀間預測單元123將在最佳模式下生成的預測圖像提供至預測圖像選擇單元124。
[0132]幀間預測單元123為無損編碼單元115提供用于在所采用的幀間預測模式下執行對表示所采用的幀間預測模式和編碼數據的信息進行解碼中的處理的必要信息，使得無損編碼單元115可以對所述信息等進行編碼。例如，所述必要信息包括關于生成的差運動矢量的信息以及作為表示預測運動矢量的索引的標記的預測運動矢量信息。
[0133]預測圖像選擇單元124選擇要被提供至算術操作單元112和算術操作單元119的預測圖像的提供者。在幀內編碼的情況下，例如，預測圖像選擇單元124將幀內預測單元120選作預測圖像提供者，并且將從幀內預測單元120提供的預測圖像提供至算術操作單元112和算術操作單元119。在幀間編碼的情況下，例如，預測圖像選擇單元124將幀間預測單元123選作預測圖像提供者，并且將從幀間預測單元123提供的預測圖像提供至算術操作單元112和算術操作單元119。
[0134]根據積聚在積聚緩沖器116中的編碼數據的代碼量，速度控制單元125對量化單元114的量化操作速度進行控制，以不使上溢或下溢。
[0135]肪1_1111；[1:_17口6確定單元126從屏幕重新布置緩沖器111獲得表示當前畫面是否是流的第一個畫面的信息(isFirstPicture)、表示當前畫面是否是流的最后一個畫面的信息(181^8七？；[(31:11^)以及表示當前畫面是否要被參考的信息(181^€6^1106?；[(31:11^)(當前畫面是否是參考畫面)。
[0136]nal_unit_type確定單元126對表示比特流接合的信息((301103七61^1:;[011_;1^138)、表示比特流的結尾處的訪問單元的位置與先前不可丟棄畫面的位置之間的差的信息(auCpbRemo valDelayMinus I)以及表示空單元類型的信息(nal_unit_type)進行設置。
[0137]更具體地，在當前畫面是流的第一個畫面的情況下，例如，nal_unit_type確定單元 126將concatenat1n_flag設置為“I(或真)”，將auCpbRemovalDelayMinusl設置為“0(或者最小值)”，并且將nal_unit_type設置為IDR_W_RADL或者IDR_N_LP(或者表示IDR畫面的值)。
[0138]在當前畫面不是流的第一個畫面而是最后一個畫面的情況下，例如，nal_unit_type確定單元126將concatenat1n_flag設置為“0(或者假)”，將8110口&1^1]10￥3106135^;[111181設置為“0(或者最小值)”，并且將nal_unit_type設置為TRAIL_R(或者表示不屬于臨時子層但要被參考的拖尾畫面的值)。
[0139]此外，在當前畫面既不是流的第一個畫面也不是最后一個畫面而是參考畫面的情況下，例如，nal_unit_type確定單元126將concatenat1n_f lag設置為“0(或者假)”，將8110口&1^1]10￥3106135^;[111181設置為“0(或者最小值)”，并且將nal_unit_type設置為TRAIL_R(或者表示不屬于臨時子層但要被參考的拖尾畫面的值)。
[0140]在當前畫面既不是流的第一個畫面也不是最后一個畫面并且也不是參考畫面的情況下，例如，nal_unit_type確定單元126將concatenat1n_flag設置為“0(或者假)”，將8110口&1^1]10￥3106135^;[111181設置為“0(或者最小值)”，并且將nal_unit_type設置為TRAIL_N(或者表示不屬于臨時子層的非參考畫面的值)。
[0141 ] 此1_1111；[1:_七7。6確定單元126將上面設置的多條信息((301103七61131:;[011_;1^1已區、auCpbRemovalDelayMinusl、肪1_1111；[1:_丨7。6等)提供至無損編碼單元115，使得那些條信息被包括在將要在無損編碼單元115處生成的比特流中。
[0142]〈速度控制單元〉
[0143]圖7是示出了速度控制單元125的特定示例結構的框圖。如圖7所示，速度控制單元125包括HRD跟蹤單元141和目標比特確定單元142。
[0144]HRD跟蹤單元141從屏幕重新布置緩沖器111獲取關于當前畫面的位置的信息以及表示當前部分是否是用于調整假設參考解碼器的部分的信息。更具體地，HRD跟蹤單元141獲取關于當前畫面的位置的信息如表示當前畫面是否是流的最后一個畫面的信息(isLastPicturehHRD跟蹤單元141還獲取表示當前部分是否是用于調整假設參考解碼器的部分的信息如編碼畫面緩沖器(CPB)的跟蹤速度(trace_rate)、幀速率(frame_rate)、CPB大小(cpb_size)等。如圖8所示，這些參數是與編碼畫面緩沖器(CPB)有關的信息。HRD跟蹤單元141還從積聚緩沖器116獲取表示生成的代碼量(生成的比特)的信息。
[0145]根據與假設參考解碼器(HRD)有關的控制信息以及生成的代碼量，HRD跟蹤單元141計算表示編碼畫面緩沖器(CPB)的位置的信息(cpl^poshHRD跟蹤單元141將所計算的表示CPB位置的信息(cpb_pos)提供至目標比特確定單元142。
[0146]目標比特確定單元142從HRD跟蹤單元141獲取表示CPB位置的信息(cpb_p0S)。目標比特確定單元142還經由HRD跟蹤單元141從屏幕重新布置緩沖器111獲取表示結尾處期望的CPB位置的信息(target_cpb_pos)以及表示當前時段是否是用于調整CPB的結尾的時段的信息(isAdjustPer1d)。
[0147]根據那些條信息，目標比特確定單元142針對生成的代碼量來計算作為表示目標值的信息的目標比特。目標比特確定單元142將所計算的目標比特提供至量化單元114。
[0148]圖像編碼裝置100以上述方式設置相應的參數，以生成滿足下面描述的條件的比特流。
[0149]-要被接合的比特流的結尾處的nal_unit_type滿足用于prevNonDiscardablePic的條件(如TRAIL_R)。
[0150]-要被接合的比特流的結尾處的cpb的位置高于接合比特流的起始處的cpb的位置。根據語法，i n i t i a I _cpb_r emo va I _d e I ay 的值高。
[0151 ]-接合比特流的起始為 concatenat1n_f lag = I。
[0152]-適當地設置接合比特流的起始處的auCpbRemovalDeIayDeltaMinusI (例如，auCpbRemovalDelayDeltaMinusl=0)。
[0153]當滿足那些條件時，可以以簡單方式將比特流與另外的比特流接合。即使用戶沒有適當地重寫包括在每個比特流中的假設參考解碼器信息，仍然可以對那些比特流進行接合，使得作為接合的結果而獲得的比特流將不會中斷假設參考解碼器。即，圖像編碼裝置100通過考慮隨后的接合來執行編碼。因此，圖像編碼裝置100可以在這樣的狀態下生成關于準備與另外的比特流接合的比特流。
[0154]〈編碼處理的流程〉
[0155]接下來，將描述要由圖像編碼裝置100執行的每個處理中的示例流程。首先參照圖9所示的流程圖來描述編碼處理中的示例流程。
[0156]當編碼處理開始時，在步驟SlOl中，屏幕重新布置緩沖器111按照顯示的順序來存儲輸入運動圖像的相應幀(畫面)的圖像，并且將相應畫面的顯示的順序變成對相應畫面進行編碼的順序。
[0157]在步驟S102中，屏幕重新布置緩沖器111生成各種類型的頭信息如視頻參數集(VPS)、序列參數集(SPS)、畫面參數集(PPS)、片段頭和SEI。
[0158]在步驟S103中，幀內預測單元120執行幀內預測處理以生成預測圖像。在步驟S104中，幀間預測單元123執行幀間預測處理以生成預測圖像。
[0159]在步驟S105中，預測圖像選擇單元124根據成本函數值等來選擇通過步驟S103中的幀內預測處理生成的預測圖像或者通過步驟S104中的幀間預測處理生成的預測圖像。
[0160]在步驟S106中，算術操作單元112計算具有通過步驟SlOl中的處理重新布置的幀順序的輸入圖像與通過步驟S105中的處理選擇的預測圖像之間的差。即，算術操作單元112生成輸入圖像與預測圖像之間的殘差數據。與原始圖像數據的數據量相比，以這種方式計算的殘差數據具有較小的數據量。因此，可以使數據量小于圖像被直接編碼的情況下的數據量。
[0161]在步驟S107中，正交變換單元113對通過步驟S106中的處理生成的殘差數據執行正交變換。
[0162]在步驟S108中，量化單元114對通過步驟S107中的處理獲得的正交變換系數進行量化。
[0163]在步驟S109中，逆量化單元117使用與量化的特性兼容的特性對通過步驟S108中的處理量化并生成的系數(也稱為量化系數)進行逆量化。
[0164]在步驟SllO中，逆正交變換單元118對通過步驟S109中的處理獲得的正交變換系數執行逆正交變換。
[0165]在步驟Slll中，算術操作單元119將通過步驟S105中的處理選擇的預測圖像添加至通過步驟SllO中的處理存儲的殘差數據，以生成重構圖像的圖像數據。
[0166]在步驟S112中，環路濾波器121對通過步驟Slll中的處理生成的重構圖像的圖像數據執行環路濾波處理。因此，將塊失真等從重構圖像移除。
[0167]在步驟S113中，幀存儲器122對通過步驟S112中的處理獲得的解碼圖像數據進行存儲。
[0168]在步驟SI 14中，nal_unit_type確定單元126執行空單元類型(肪1_1111；[1:_七7。6)確定處理，以對表示比特流接合的信息(concatenat1n_f Iag)、表示比特流的結尾處的訪問單元的位置與先前不可丟棄畫面的位置之間的差的信息(auCpbRemovalDelayMinusl)以及表示空單元類型的信息(nal_un i t_type)進行設置。
[0169]在步驟S115中，無損編碼單元115對通過步驟S108中的處理獲得的量化系數進行編碼。即，對與殘差數據對應的數據執行無損編碼如可變長度編碼或算術編碼。
[0170]無損編碼單元115還對關于通過步驟S105中的處理選擇的預測圖像的預測模式的信息進行編碼，并且將編碼信息添加至通過對差圖像進行編碼獲得的編碼數據。即，無損編碼單元115還對從幀內預測單元120提供的最佳幀內預測模式信息或者從幀間預測單元123提供的最佳幀間預測模式信息進行編碼，并且將編碼信息添加至編碼數據(要被包括在比特流中)。
[0171]無損編碼單元I I 5還對在步驟S I 14中設置的表示比特流接合的信息(concatenat1n_flag)、表示比特流的結尾處的訪問單元的位置與先前不可丟棄畫面的位置之間的差的信息(auCpbRemovalDelayMinusl)以及表示空單元類型的信息(nal_unit_type)進行編碼，并且將編碼信息添加至編碼數據(要被包括在比特流中)。
[0172]在步驟S116中，積聚緩沖器116對通過步驟S115中的處理獲得的編碼數據等進行存儲。在適當的時候，積聚在積聚緩沖器116中的編碼數據等作為比特流被讀取并且經由傳送路徑或記錄介質被傳送至解碼測。
[0173]在步驟S117中，根據通過步驟S116中的處理積聚在積聚緩沖器116中的編碼數據的代碼量(生成的代碼量)，速度控制單元125對量化單元114的量化操作速度進行控制以不使上溢或下溢。速度控制單元125還將關于量化參數的信息提供至量化單元114。
[0174]當步驟S117中的處理完成時，編碼處理結束。
[0175]〈空單元類型確定處理的流程〉
[0176]現在參照圖10中所示的流程圖來描述在圖9中的步驟S114中執行的空單元類型確定處理中的示例流程。
[0177]當空單元類型確定處理開始時，在步驟S131中，1^1_1111；[1:_丨7。6確定單元126從在步驟S102中生成的頭信息獲取isFirstPicture。在步驟S132中，nal_unit_type確定單元126從在步驟5102中生成的頭信息獲取丨81^8七？;[(31:1^6。在步驟3133中，nal_unit_type確定單元126從在步驟3102中生成的頭信息獲取丨81^€6^1106?;[01:11^。
[0178]在步驟S134中，nal_unit_type確定單元126將concatenat1n_f lag設置為 “O(假)”。在步驟S135中，nal_unit_type確定單元 126將auCpbRemovalDelayMinusl設置為 “O(最小值)”。
[0179]在步驟SI36中，nal_unit_type確定單元126確定丨8?;^8七？;[(31:1^6的值是否為真。如果確定isFirstPicture的值為真或者如果確定當前畫面是流的第一個畫面，則處理進行至步驟S137。
[0180]在步驟S137中，nal_unit_type確定單元126將concatenat1n_flag設置為 “I(真)”。在步驟S138中，nal_unit_type確定單元126還將當前畫面的空單元類型(nal_unit_type)設置為IDR_W_RADL或IDR_N_LP(表示IDR畫面的值)。當步驟S138中的處理完成時，空單元類型確定處理結束，并且所述處理返回至圖9。
[0181 ] 如果在步驟S136中確定isFirstPicture的值為假，并且確定當前畫面不是流的第一個畫面，則處理進行至步驟SI 39。
[0182]在步驟SI39中，nal_unit_type確定單元126確定丨81^8七？;[(31:11代的值是否為真。如果確定isLastPicture的值為真或者如果確定當前畫面是流的最后一個畫面，則所述處理進行至步驟S140。
[0183]在步驟S140中，nal_unit_type確定單元126將當前畫面的空單元類型(nal_unit_type)設置為TRAIL_R(或者表示不屬于臨時子層并且要被參考的拖尾畫面的值)。當步驟S140中的處理完成時，空單元類型確定處理結束，并且所述處理返回至圖9。
[0184]如果在步驟S139中確定isLastPicture的值為假并且確定當前畫面不是流的最后一個畫面，則所述處理進行至步驟S141。
[0185]在步驟S141中，nal_unit_type確定單元126確定isReferencePicture的值是否為真。如果確定isReferencePicture的值為真或者如果確定當前畫面是參考畫面，則所述處理進行至步驟S142。
[0186]在步驟S142中，nal_unit_type確定單元126將當前畫面的空單元類型(nal_unit_type)設置為TRAIL_R(或者表示不屬于臨時子層并且要被參考的拖尾畫面的值)。當步驟S142中的處理完成時，空單元類型確定處理結束，并且所述處理返回至圖9。
[ΟΙ87] 如果在步驟S141中確定isReferencePicture的值為假并且確定當前畫面不是參考畫面，則所述處理進行至步驟S143。
[0188]在步驟S143中，nal_unit_type確定單元126將當前畫面的空單元類型(nal_unit_type)設置為TRAIL_N(或者表示不屬于臨時子層的非參考畫面的值)。當步驟S143中的處理完成時，空單元類型確定處理結束，并且所述處理返回至圖9。
[0189]〈速度控制處理的流程〉
[0190]現在參照圖11所示的流程圖來描述在步驟S117中要執行的速度控制處理中的示例流程。
[0191]當速度控制處理開始時，在步驟S151中，HRD跟蹤單元141執行HRD跟蹤處理以計算CPB位置。在步驟S152中，目標比特確定單元142執行目標比特確定處理以計算目標比特。
[0192]當步驟S152中的處理完成時，速度控制處理結束，并且所述處理返回至圖9。
[0193]〈HRD跟蹤處理的流程〉
[0194]現在參照圖12中的流程圖來描述在圖11中的步驟S151中要執行的HRD跟蹤處理中的示例流程。
[0195]當HRD跟蹤處理開始時，在步驟S161中，HRD跟蹤單元141從在步驟S102中生成的頭信息獲取trace_rate。在步驟S162中，HRD跟蹤單元141從在步驟S102中生成的頭信息獲取frame_rate。在步驟S163中，HRD跟蹤單元141從在步驟S102中生成的頭信息獲取cpb_size。
[0196]在步驟S164中，HRD跟蹤單元141使用trace_rate和編碼畫面緩沖器((PB)的初始移除延遲(從輸入至CBP的比特流的起始的時刻直到第一訪問單元(AU)的移除時刻的時段)根據下面所示的表達式(I)來初始化CPB位置。
[0197]cpb_pos = trace_rate * initial_cpb_removal_delay/90000...(1)
[0198]在步驟S165中，HRD跟蹤單元141獲取每個圖像中生成的代碼(generated_bits)的量。在步驟S166中，HRD跟蹤單元141從在步驟S102中生成的頭信息獲取isLastPicture。
[0199]在步驟S167中，HRD跟蹤單元141使用在步驟S165中獲取的generated_bits根據下面所示的表達式(2)來更新CPB位置(cpb_pos)(或者減去與移除相當的量)
[0200]cpb_pos_ = generated_bits...(2)
[0201 ] 在步驟S168中，HRD跟蹤單元141使用trace_rate和frame_rate根據下面所示的表達式(3)來更新CPB位置(cpb_p0S)(或者添加與緩沖器中的增加相當的量)。
[0202]cpb_pos+ = trace_rate/frame_rate...(3)
[0203]在步驟S169中，HRD跟蹤單元141使用cpb_size根據下面所示的表達式(4)來執行剪輯處理。
[0204]cpb_pos=min(cpb_pos，cpb_size)...(4)
[0205]在步驟S170中，HRD跟蹤單元141確定i sLas tPi c ture是否為真。如果確定isLastPicture為假并且確定當前畫面不是流的最后一個畫面，則所述處理返回至步驟S165，并且重復此后的步驟。即，對每個畫面執行步驟S165到步驟S170中的處理。
[0206]如果在步驟S170中確定isLastPicture為真并且確定當前畫面是流的最后一個畫面，則HRD跟蹤處理結束，并且所述處理返回至圖11。
[0207]<目標比特確定處理的流程〉
[0208]現在參照圖13中的流程圖來描述在圖11中的步驟S152中執行的目標比特確定處理的示例流程。
[0209]當目標比特確定處理開始時，在步驟S181中，目標比特確定單元142獲取表示在HRD跟蹤處理中計算的CPB位置的信息(cpb_pos)(圖12)。在步驟S182中，目標比特確定單元142還從在步驟S102中生成的頭信息獲取表示在結尾處期望的CPB位置的信息(target_cpb_pos)。在步驟S183中，目標比特確定單元142還從在步驟S102中生成的頭信息獲取表示當前時段是否是用于調整CPB的結尾的時段的信息(isAdjustPer1d)。
[0210]在步驟S184中，目標比特確定單元142計算作為表示所生成的代碼量的目標值的信息的目標比特。可以通過任何適當的方法來計算該目標比特。
[°211 ] 在步驟S185中，目標比特確定單元142確定isAdjustPer1d是否為真以及cpb_pos是否表不比 target_cpb_pos更低的位置(isAdjustPer1d&&cpb_pos〈target_cpb_pos)。
[0212]如果確定丨8々(1」118七？61'；[0(1為真并且0。13_。08表示比七3作61:_0。13_。0 8更低的位置，則所述處理進行至步驟S186。
[0213]在步驟S186中，目標比特確定單元142根據下面所示的表達式(5)來計算目標比特，以使CPB落入在結尾處期望的位置中。
[0214]target bit_ = gain * (target_cpb_pos_cpb_pos_...(5)
[0215]在此，優選地，增益的值朝圖像的結尾變得較大。在該點計算的目標比特被提供至量化單元114并且然后被使用。即，量化單元114使用該目標比特執行量化。當步驟S186中的處理完成時，目標比特確定處理結束，所述處理返回至圖11。
[0216]如果在步驟5185中確定丨34(1」118七？61'；[0(1為假或者如果0。13_。0 8表示比七3作61:_cpb_pos更高的位置(cpb_pos多target_cpb_pos)，則跳過步驟S186中的處理，并且目標比特確定處理結束。然后所述處理返回至圖11。
[0217]〈比特流接合〉
[0218]圖14示出了將由執行上述處理的圖像編碼裝置100生成的比特流接合的情況下的示例。圖14中的A示出了關于接合之前的相應的比特流(流A和流B)的(位于連接部分附近的)幀中的一些幀的參數(如與假設參考解碼器有關的參數)的示例。在圖14所示的接合中，流B的起始被連接至流A的結尾。圖14中的B示出了關于作為接合之后的比特流的流A+B的(位于連接部分附近的)幀中的一些幀的參數(如與假設參考解碼器有關的參數)的示例。
[0219]如圖14所示，執行操作，使在流13中concatenat1n_f lag為I，使在這種情況下在10尺中。口13_代1]10￥&1_(161&7為0。將流4的最后一個畫面的nal_unit_type設置為TRAIL_R，使得卩代￥1^0110180&1(1&1316?；[(3變為流4的結尾處的畫面。只要111；[1:1&1_0。13_代1]10￥&1_(161&7是正確值，就可以利用這個操作以簡單的方式來連接比特流。即，通過執行上述相應的處理，圖像編碼裝置100可以在這樣的狀態下生成準備與另外的比特流接合的比特流。
[0220]〈2.第二實施方式〉
[0221 ]〈比特流接合裝置〉
[0222]在上述實施方式中，當通過對圖像數據進行編碼來生成比特流時，使比特流處于準備與另外的比特流接合的這樣的狀態。然而，在比特流接合之前的任意時刻，可以使比特流處于準備與另外的比特流接合的這樣的狀態。
[0223]例如，可以在緊接著比特流接合之前執行這樣的操作。下面是對這樣的操作的示例的描述。圖15是示出了比特流接合裝置的特定示例結構的圖。圖15中所示的比特流接合裝置200是執行處理以通過智能渲染編輯接合比特流的裝置。例如，比特流接合裝置200接收流A和流B的輸入，通過將流B的起始連接至流A的結尾生成流A+B，并且輸出流A+B。
[0224]如圖15所示，比特流接合裝置200包括緩沖器確定單元211、nal_unit_type重寫單元212、緩沖時段重寫單元213和比特流接合單元214。
[0225]緩沖器確定單元211執行緩沖器確定處理，并且視情況而定執行重新編碼，使得在流A+B中CPB將不會中斷。nal_unit_type重寫單元212將流々的結尾處的肪1_1111；[1:_七7口6重寫為與pre vNonD i s cardab IePi c對應的值。緩沖時段重寫單元213重寫緩沖時段SE I的語法。例如，緩沖時段重寫單元213將流B的起始處的concatenat1n_flag重寫為“1(真)”，并且將流B的起始處的auCpbRemovalDelayMinusl重寫為“0(最小值)”。比特流接合單元214將具有如上更新的相應的假設參考解碼器信息的比特流(如流A和流B)接合。
[0226]通過這樣做，比特流接合裝置200對接合之前的相應的參數進行設置，以生成滿足下面描述的條件的比特流。
[0227]-要被接合的比特流的結尾處的nal_unit_type滿足用于prevNonDiscardablePic的條件(如TRAIL_R)。
[0228]-要被接合的比特流的結尾處的cpb的位置高于接合比特流的起始處的cpb的位置。根據語法，i n i t i a I _cpb_r emo va I _d e I ay 的值高。
[0229]-接合比特流的起始為concatenat1n_fIag = I。
[0230]-適當地設置接合比特流起始處的auCpbRemovalDeI ay De ItaMinu s I (例如，auCpbRemovalDelayDeltaMinusl=0)。
[0231]當滿足那些條件時，就變得可以以簡單的方式將比特流與另外的比特流接合。即使用戶并沒有適當地重寫包括在每個比特流中的假設參考解碼器信息，仍然可以將那些比特流接合，使得作為接合的結果而獲得的比特流將不會中斷假設參考解碼器。即，比特流接合裝置200使要被接合的比特流處于比特流可以更容易地被接合的這樣的狀態。然后，比特流接合裝置200將那些比特流接合。因此，可以更容易地將比特流接合。
[0232]〈比特流接合處理的流程〉
[0233]接下來，將描述要由比特流接合裝置200執行的每個處理的示例流程。首先參考圖16中的流程圖來描述比特流接合處理的示例流程。
[0234]當比特流接合處理開始時，在步驟S201中，比特流接合裝置200的緩沖器確定單元211獲取流A，并且在步驟S202中獲取流B。
[0235]在步驟S203中，緩沖器確定單元211執行緩沖器確定處理，并且調整每個比特流的CPB位置。
[0236]在步驟S204中，nal_unit_type重寫單元212執行空單元重寫處理，并且將流A的結尾處的 na l_un i t_type 重寫為與 pre vNonD is cardab I eP i c 對應的值。
[0237]在步驟S205中，緩沖時段重寫單元213執行緩沖時段重寫處理，并且將流B的起始處的concatenat1n_f lag重寫為 “I (真)”，將流B的起始處的auCpbRemovalDeIayMinusI重寫為“0(最小值)”。
[0238]在步驟S206中，比特流接合單元214將具有如上更新的相應的假設參考解碼器信息的比特流接合。例如，比特流接合單元214將流B的起始連接至流A的結尾。
[0239 ]在步驟S207中，比特流接合單元214將接合的比特流(流A+B)輸出至比特流接合裝置200的外部。
[0240]當步驟S207中的處理完成時，比特流接合處理結束。
[0241 ]〈緩沖器確定處理的流程〉
[0242]現在參考圖17所示的流程圖來描述在圖16中的步驟S203中執行的緩沖器確定處理的示例流程。當緩沖器確定處理開始時，在步驟S221中，緩沖器確定單元211計算流A的結尾處的CPB的位置(cpb_pos_A)。在步驟S222中，緩沖器確定單元211計算流B的結尾處的CPB的位置(cpb_pos_B) ο
[0243]在步驟S223中，緩沖器確定單元211確定“cpb_pos_A〈cpb_pos_B”是否為真。如果確定“cpb_pos_A〈cpb_pos_B”為真，則處理進行至步驟S224。
[0244]在步驟S224中，為了防止假設參考解碼器中斷，緩沖器確定單元211執行重新編碼，使得0口13_口08_4變得大于cpb_pos_B。可以以任何適當的方式來執行所述重新編碼。例如，緩沖器確定單元211可以對流A進行重新編碼。在此，可以對畫面的任何適當的范圍進行重新編碼。例如，僅流A的最后一個畫面可以被重新編碼，或者流A的最后幾個畫面可以被重新編碼。在那種情況下，相應的畫面的壓縮率可能朝結尾變得較高。可替選地，流B可以被重新編碼。
[0245]當步驟S224中的處理完成時，所述處理返回至圖16。如果在步驟S223中確定“cpb_p0S_A〈cpb_p0S_B”為假，則跳過步驟S224中的處理，并且緩沖器確定處理結束。然后，所述處理返回至圖16。
[0246]〈空單元類型重寫處理的流程〉
[0247]現在參照圖18中所示的流程圖來描述要在圖16中的步驟S204中執行的空單元類型重寫處理的示例流程。當空單元類型重寫處理開始時，在步驟S241中，nal_unit_type重寫單元212檢查(參考)作為流A的結尾處的nal_unit_type的nal_unit_type_A0
[0248]在步驟S242中，nal_unit_type重寫單元212根據在步驟S241中進行的檢查的結果來確定nal_unit_type_A是否與口代￥1^0110180&1(1&1316?;[(3對應。如果確定11&1_1111；[1:_七7卩6_八與卩代￥1^0110丨80&1(1&1316?;[(3不對應，則所述處理進行至步驟3243。
[0249]在步驟S243中，nal_unit_type重寫單元212確定將]^1_1111；[1:_七7。6_4重寫為與口『6￥1^0110丨80&1(1&1316?；[(3對應的11&1_1111；[1:_17口6。當步驟3243中的處理完成時，空單元類型重寫處理結束，并且所述處理返回至圖16。
[0250]如果在步驟242中確定11&1_1111；[1:_七7口6_厶與口代￥1^0110丨80&1(1&1316?;[(3對應，則跳過步驟S243中的處理，并且空單元類型重寫處理結束。然后，所述處理返回至圖16。
[0251 ]〈緩沖時段重寫處理的流程〉
[0252]現在參照圖19所示的流程圖來描述要在圖16中的步驟S205中執行的緩沖時段重寫處理的示例流程。
[0253]當緩沖時段重寫處理開始時，緩沖時段重寫單元213檢查流B中的第一緩沖時段SE I。在步驟S261中，緩沖時段重寫單元2 13確定比特流B中的第一緩沖時段SE I的concatenat1n_f lag是否為“1(真)”。如果確定concatenat1n_flag為“0(假)，，，則處理進行至步驟S262。
[0254]在步驟S262中，緩沖時段重寫單元213將concatenat1n_flag重寫為“1(真)”。在步驟S262中的處理完成之后，所述處理進行至步驟S263。
[0255]如果在步驟S261中確定concatenat1n_f lag為“I (真)”，則跳過步驟S262中的處理，并且所述處理進行至步驟S263。
[0256]在步驟S263中，緩沖時段重寫單元2I 3確定流B中的第一緩沖時段SE I的auCpbRemovalDelayDeltaMinusl 是否為 “0(最小值)，，。如果石角定311〇口61^1]10￥3106135^61丨3]\1；[111181不為“0(最小值)”，則所述處理進行至步驟S264。
[0257]在步驟S264中，緩沖時段重寫單元213將auCpbRemovalDelayDeltaMinusl設置為“0(最小值)”。當步驟S264中的處理完成時，緩沖時段重寫處理結束，并且所述處理返回至圖16。
[0258]如果在步驟S2 6 3中確定流B中的第一緩沖時段S E I的auCpbRemovalDeIayDeItaMinusI為“O(最小值)”，則跳過步驟S264中的處理，并且緩沖時段重寫處理結束。然后，所述處理返回至圖16。
[0259]〈比特流接合〉
[0260]圖20示出了執行上述處理的比特流接合裝置200接合比特流的情況下的示例。圖20中的A示出了關于在接合之前的相應的比特流(流A和流B)的(位于連接部分附近的)幀中的一些幀的參數(如與假設參考解碼器有關的參數)的示例。在圖20所示的接合中，流B的起始被連接至流A的結尾。圖20中的B示出了關于作為接合之后的比特流的流A+B的(位于連接部分附近的)幀中的一些幀的參數(如與假設參考解碼器有關的參數)的示例。
[0261 ] 如圖20所示，執行操作，在這種情況下，使在流13中concatenat1n_f lag為I，使在10尺中。口13_代1]10￥&1_(161&7為0。將流4的最后一個畫面的nal_unit_type設置為TRAIL_R，使得prevNonDiscardablePic變為流A的結尾處的畫面。于是，可以以簡單的方式來連接比特流。即，比特流接合裝置200可以通過執行上述相應的處理更容易地接合比特流。
[0262]〈3.第三實施方式〉
[0263]〈比特流接合裝置〉
[0264]圖21是示出了比特流接合裝置的另一特定示例結構的圖。與比特流接合裝置200的情況一樣(圖15)，圖21所示的比特流接合裝置300是通過智能渲染編輯來執行處理以接合比特流的裝置。例如，比特流接合裝置300接收流A和流B的輸入，通過將流B的起始連接至流A的結尾來生成流A+B并且輸出流A+B。
[0265]如圖2 I所示，比特流接合裝置3 O O包括緩沖器確定單元2 I 1、prevNonDiscardablePic搜索單元312、緩沖時段重寫單元213和比特流接合單元214。
[0266]prevNonDiscardablePic搜索單元312對pre vNonD is car dab IePi c 的位置進行搜索。在這種情況下，緩沖時段重寫單元213將流B的起始處的concatenat1n_flag重寫為“I(真)”，并且將流B的auCpbRemovalDe IayDe I taMinus I 重寫為 “auCpbRemovalDe IayDe Ita-1”。
[0267]通過這樣做，比特流接合裝置300對接合之前的相應的參數進行設置，以生成滿足下面描述的條件的比特流。
[0268]-要被接合的比特流的結尾處的cpb的位置高于接合比特流的起始處的cpb的位置。根據語法，i n i t i a I _cpb_r emo va I _d e I ay 的值高。
[0269]-接合比特流的起始為concatenat1n_fIag = I。
[0270]-適當地設置接合比特流的起始處的auCpbRemovalDeIayDel taMinus I (例如，auCpbRemovalDelayDeltaMinusl=2)。
[0271]當滿足那些條件時，可以以簡單的方式將比特流與另外的比特流接合。即使用戶沒有適當地重寫包括在每個比特流中的假設參考解碼器信息，仍然可以將那些比特流接合，使得作為接合的結果獲得的比特流將不會中斷假設參考解碼器。即，比特流接合裝置300使要被接合的比特流處于在比特流可以更容易地被接合的這樣的狀態。然后，比特流接合裝置300將那些比特流接合。因此，可以更容易地接合比特流。
[0272]〈比特流接合處理的流程〉
[0273]接下來，將描述要由比特流接合裝置300執行的每個處理的示例流程。首先參照圖22中的流程圖來描述比特流接合處理的示例流程。
[0274]當比特流接合處理開始時，在步驟S301中，比特流接合裝置300的緩沖器確定單元211獲取流A，并且在步驟S302中獲取流B。
[0275]在步驟S303中，緩沖器確定單元211執行與圖16中的步驟S203中的緩沖器確定處理相同的緩沖器確定處理(圖17)，并且調整每個比特流的CPB位置。
[0276]在步驟S304中，prevNonDiscardablePic搜索單元312執行先前不可丟棄畫面搜索處理，并且對pre vNonD i s cardab I eP i c的位置進行搜索。
[0277]在步驟S305中，緩沖時段重寫單元213執行緩沖時段重寫處理，并且執行處理如將流B的起始處的concatenat1n_f lag重寫為“I (真)”。
[0278]與圖16中的步驟S206—樣，在步驟S306中，比特流接合單元214將具有如上更新的相應的假設參考解碼器信息的比特流接合。例如，比特流接合單元214將流B的起始連接至流A的結尾。
[0279]與圖16中的步驟S206—樣，在步驟S307中，比特流接合單元214將接合的比特流(流A+B)輸出至比特流接合裝置200的外部。
[0280]當步驟S307中的處理完成時，比特流接合處理結束。
[0281 ]〈先前不可丟棄畫面搜索處理的流程〉
[0282]現在參考圖23所示的流程圖來描述要在圖22中的步驟S304中執行的先前不可丟棄畫面搜索處理的示例流程。
[0283]當先前不可丟棄畫面搜索處理開始時，在步驟S321中，prevNonDiscardablePic搜索單元312檢查流A的結尾處的pre vNonD i s cardab I eP i c的位置。
[0284]在步驟S322中，prevNonDiscardablePic搜索單元312計算比特流的結尾處的訪問單元(々1])的位置與。代￥1^0110丨80&1(1&1316?;[(3之間的差 auCpbRemo valDelayDe Ita ο
[0285]當完成步驟S322時，先前不可丟棄畫面搜索處理結束，并且所述處理返回至圖22。
[0286]〈緩沖時段重寫處理的流程〉
[0287]現在參考圖24所示的流程圖來描述要在圖22中的步驟S305中執行的緩沖時段重寫處理的示例流程。
[0288]當緩沖時段重寫處理開始時，緩沖時段重寫單元213檢查流B中的第一緩沖時段SEI。在步驟S341中，緩沖時段重寫單元21 3確定流B中的第一緩沖時段SE I的concatenat1n_f lag是否為“1(真)”。如果確定concatenat1n_flag為“0(假)，，，則處理進行至步驟S342。
[0289]在步驟S342中，緩沖時段重寫單元213將concatenat1n_flag重寫為“1(真)”。在步驟S342中的處理完成之后，所述處理進行至步驟S343。
[0290]如果在步驟S341中確定concatenat1n_f lag為“I (真)”，則跳過步驟S342中的處理，并且所述處理進行至步驟S343。
[0291]在步驟S3 4 3中，緩沖時段重寫單元2 I 3將流B中的第一緩沖時段S E I的auCpbRemovalDeIayDeI taMinus I 重寫為 “auCpbRemovalDeIayDeI ta_l”。當步驟S343 中的處理完成時，緩沖時段重寫處理結束，并且所述處理返回至圖22。
[0292]〈比特流接合〉
[0293]圖25示出了執行上述處理的比特流接合裝置300將比特流接合的情況下的示例。圖25中的A示出了關于接合之前的相應的比特流(流A和流B)的(位于連接部分附近的)幀中的一些幀的參數(如與假設參考解碼器有關的參數)的示例。在圖25所示的接合中，流B的起始被連接至流A的結尾。圖25中的B示出了關于作為接合之后的比特流的流A+B的(位于連接部分附近的)幀中的一些幀的參數(如與假設參考解碼器有關的參數)的示例。
[0294]如圖25所示，執行操作，在這種情況下，使在比特流B中concatenat1n_flag為I，使在IDR中cpb_removal_de lay為O。此外，檢查流A的結尾處的prevNonDiscardablePic的位置，并且重寫auCpbRemovalDelayDeltaMinusl。于是，可以以簡單的方式連接比特流。即，比特流接合裝置300可以通過執行上述相應的處理來更容易地接合比特流。
[0295]〈4.第四實施方式〉
[0296]〈比特流接合裝置〉
[0297]圖26是示出了比特流接合裝置的另一個特定示例結構的圖。與比特流接合裝置200的情況一樣(圖15)，圖26所示的比特流接合裝置400是通過智能渲染編輯執行處理以接合比特流的裝置。例如，比特流接合裝置400接收流A和流B的輸入，通過將流B的起始連接至流A的結尾來生成流A+B，并且輸出流A+B。
[0298]如圖2 6所示，比特流接合裝置3 O O包括緩沖器確定單元2 I 1、口『6￥1^0110丨8。&1(1&1316?；[。搜索單元3124代￥0口&1^1]10￥&1061&7搜索單元413、緩沖時段重寫單元414、畫面定時SEI重寫單元415和比特流接合單元214。
[0299]prevCpbRemovalDelay 搜索單元 413 對 prevCpbRemovalDelay 進行搜索。緩沖時段重寫單元414重寫緩沖時段SEI的語法。畫面定時SEI重寫單元415重寫畫面定時SEI的語法。
[0300]通過這樣做，比特流接合裝置400對接合之前的相應的參數進行設置，以生成滿足下面描述的條件的比特流。
[O3O1 ]-要被接合的比特流的結尾處的cpb的位置高于接合比特流的起始處的cpb的位置。根據語法，i n i t i a I _cpb_r emo va I _d e I ay 的值高。
[0302]-接合比特流的起始為concatenat1n_fIag = O0
[0303]-適當地設置接合比特流的起始處的auCpbRemovalDeIayDel taMinus I (例如，auCpbRemovalDelayDeltaMinusl=2)。
[0304]-接合比特流的起始處的au_cpb_removal_delay_minusl比要被接合的比特流的結尾處的 au_cpb_removal_delay_minus]^+l。
[0305]當滿足那些條件時，可以變為以簡單的方式將比特流與另外的比特流接合。即使用戶沒有適當地重寫包括在每個比特流中的假設參考解碼器信息，仍然可以將那些比特流接合，使得作為接合的結果獲得的比特流將不會中斷假設參考解碼器。即，比特流接合裝置400使要被接合的比特流處于比特流可以更容易地被接合的這樣的狀態。然后，比特流接合裝置400將那些比特流接合。因此，可以更容易地接合比特流。
[0306]〈比特流接合處理的流程〉
[0307]接下來，將描述要由比特流接合裝置400執行的每個處理的示例流程。首先參考圖27中的流程圖來描述比特流接合處理的示例流程。
[0308]當比特流接合處理開始時，在步驟S401中，比特流接合裝置200的緩沖器確定單元211獲取流A，并且在步驟S402中獲取流B。
[0309]在步驟S403中，緩沖器確定單元211執行與圖16中的步驟S203中的緩沖器確定處理相同的緩沖器確定處理(圖17)，并且調整每個比特流的CPB位置。
[0310]與圖22中的步驟S304—樣，在步驟S404中，prevNonDiscardablePic搜索單元312執行先前不可丟棄畫面搜索處理，并且對prevNonDiscardablePic的位置進行搜索。
[0311 ] 在步驟S405中，prevCpbRemovalDelay搜索單元413執行先前Cpb移除延遲搜索處理，并且對pr e vCpbRemo va IDe lay的位置進行搜索。
[0312]在步驟S406中，緩沖時段重寫單元414執行緩沖時段重寫處理，并且將流B的起始處的concatenat1n_flag重寫為“0(真)”，將流B的起始處的auCpbRemovalDelayDeltaMinusl重寫為 “auCpbRemovalDelayDelta-1”。
[0313]在步驟S407中，畫面定時SEI重寫單元415執行畫面定時SEI重寫處理，并且重寫畫面定時SEI的語法。
[0314]在步驟S408中，比特流接合單元214將具有如上更新的相應的假設參考解碼器信息的比特流接合。例如，比特流接合單元214將流B的起始連接至流A的結尾。
[0315]在步驟S409中，比特流接合單元214將接合的比特流(流A+B)輸出至比特流接合裝置200的外部。
[0316]當步驟S409中的處理完成時，比特流接合處理結束。
[0317]〈先前Cpb移除延遲搜索處理的流程〉
[0318]現在參照圖28所示的流程圖來描述要在圖27中的步驟S405中執行的先前Cpb移除延遲搜索處理的示例流程。
[0319]當先前Cpb移除延遲搜索處理開始時，在步驟S421中，prevCpbRemovalDelay搜索單元413對要被接合的流A的最后一個畫面定時SEI的au_cpb_removal_delay_minusl中的prevCpbRemovalDelay 進行設置。
[0320]當步驟S421中的處理完成時，先前Cpb移除延遲搜索處理結束，并且所述處理返回至圖27。
[0321 ]〈緩沖時段重寫處理的流程〉
[0322]現在參照圖29所示的流程圖來描述要在圖27中的步驟S406中執行的緩沖時段重寫處理的示例流程。
[0323]當緩沖時段重寫處理開始時，在步驟S441中，緩沖時段重寫單元414確定接合流B中的第一緩沖時段SEI的concatenat1n_flag的值是否為“1(真)”。如果確定concatenat1n_flag為“I”，則所述處理進行至步驟S442。
[0324]在步驟S442中，緩沖時段重寫單元414將concat enat 1n_f lag的值重寫為“O(假)”。在步驟S442中的處理完成之后，所述處理進行至步驟S443。如果在步驟S441中確定concatenat1n_flag不為 “I”(或者如果確定concatenat1n_flag為 “O” )，則跳過步驟S442中的處理，并且所述處理進行至步驟S443。
[0325]在步驟S443中，緩沖時段重寫單元414將auCpbRemovalDe IayDe I taMinus I的值重寫為 “auCpbRemovalDelayDelta-l”(或者auCpbRemovalDelayDeltaMinusl =auCpbRemovalDeIayDeIta-1)。
[0326]當步驟S443中的處理完成時，緩沖時段重寫處理結束，并且所述處理返回至圖27。
[0327]〈畫面定時SEI重寫處理的流程〉
[0328]現在參照圖30所示的流程圖來描述要在圖27中的步驟S407中執行的畫面定時SEI重寫處理的示例流程。
[0329]當畫面定時SEI重寫處理開始時，在步驟S461中，畫面定時SEI重寫單元415將接合流B 的第一個畫面定時SEI 的au_cpb_removal_delay_minus I 重寫為 “prevCpbRemovalDelay+1”。
[0330]當步驟S461中的處理完成時，畫面定時SEI重寫處理結束，并且所述處理返回至圖27。
[0331]〈比特流接合〉
[0332]圖31示出了執行上述處理的比特流接合裝置400將比特流接合的情況下的示例。圖31中的A示出了關于接合之前的相應的比特流(流A和流B)的(位于連接的部分附近的)幀中的一些幀的參數(如與假設參考解碼器有關的參數)的示例。在圖31所示的接合中，流B的起始被連接至流A的結尾。圖31中的B示出了關于作為接合之后的比特流的流A+B的(位于連接的部分附近的)幀中的一些幀的參數(如與假設參考解碼器有關的參數)的示例。
[0333]如圖31所示，執行操作，在這種情況下，使在流B中concatenat1n_f lag為0，使在10尺中&11_。口13_作1110￥&1_(161&7_111；[111181為0。使流13的起始處的&11_0口13_作1110￥&1_(161&7_111；[11118 1比流4的結尾處。^￥0。&1^1110￥3106 137的大+ 1。然后，檢查流4的結尾處的prevNonDiscardablePic 的位置，并且重寫auCpbRemovalDe IayDe I taMinus I ο
[0334]于是，可以以簡單的方式連接比特流。即，比特流接合裝置400可以通過執行上述相應的處理更容易地接合比特流。
[0335]〈附加信息〉
[0336]可以將在上述接合時要執行的處理中要使用的信息添加至比特流。例如，必須對如上所述的口1^1^0]10丨80&1(1&1316?；[(3進行搜索，原因是口代￥1^0110丨80&1(1&1316?；[(3在比特流中的位置不清楚。然而，為了搜索prevNonDiscardablePic，需要參考關于開始于比特流的結尾的相應的畫面的信息。這可能導致處理負荷的增加。
[0337]為了應對此問題，可以預先將表示哪個畫面是prevNonDiscardablePic的信息添加至比特流。使用這樣的信息，根據所述信息來搜索prevNonDiscardablePic變得更容易，并且可以防止處理負荷的增加。
[0338]可以將表示prevNonDiscardablePic的信息添加在比特流中的任意位置。例如，可以將所述信息置于訪問單元(AU)的起始處。可以將所述信息置于GOP的起始處。可以將相同的信息置于兩個或更多個位置處，如AU的起始和GOP的起始。可以在編輯期間對比特流進行部分地剪裁。因為在多于一個位置設置相同的信息，所以可以防止由于這樣的編輯而丟失
?目息O
[0339]此外，例如，可以將指定搜索prevNonDiscardablePic的范圍的信息作為附加信息添加至比特流。因為根據這樣的信息來限制搜索范圍，所以可以防止處理負荷的不必要的增加。
[0340]當然可以將任何適當的信息添加至比特流，并且這樣的信息不限于上述示例。
[0341]本技術的應用的范圍可以包括可以對圖像數據進行編碼的任意圖像編碼裝置以及可以將圖像數據的比特流接合的任意圖像處理裝置。
[0342]還可以將本技術應用于被用于經由網絡介質如衛星廣播、有線電視廣播、因特網或便攜式電話設備接收通過正交變換如離散余弦變換以及運動補償像MPEG、H.26x等壓縮的圖像信息(比特流)的裝置。本技術還可以應用于當對存儲介質如光盤或磁盤或者閃速存儲器上的壓縮圖像信息進行處理時被使用的裝置。
[0343]〈5.第五實施方式〉
[0344]〈計算機〉
[0345]上述一系列處理可以由硬件來執行或者可以由軟件來執行。當所述一系列處理由軟件來執行時，將形成軟件的程序安裝在計算機中。在此，例如，計算機可以是包括在專用硬件中的計算機或者可以是可以在各種類型的程序被安裝至其中時執行各種類型的功能的通用個人計算機。
[0346]圖32是示出了根據程序執行上述一系列處理的計算機的硬件的示例配置的框圖。
[0347]在圖32所示的計算機800中，中央處理單元(CPU)801、只讀存儲器(R0M)802和隨機存取存儲器(RAM) 803通過總線804彼此連接。
[0348]輸入/輸出接口 810也被連接至總線804。輸入單元811、輸出單元812、存儲單元813、通信單元814和驅動器815被連接至輸入/輸出接口 810。
[0349]輸入單元811由鍵盤、鼠標、麥克風、觸摸板、輸入終端等形成。輸出單元812由顯示器、揚聲器、輸出終端等形成。存儲單元813由硬盤、RAM盤、非易失性存儲器等形成。通信單元814由網絡接口等形成。驅動器815對可移除介質821如磁盤、光盤、磁光盤或半導體存儲器進行驅動。
[0350]在具有上述結構的計算機中，CPU801經由輸入/輸出接口810和總線804將存儲在存儲單元813中的程序加載至RAM 803中，并且執行程序，使得上述一系列處理被執行。當需要時，RAM 803還存儲用于CPU 801執行各種處理等必須的數據。
[0351]例如，可以將要由計算機(CPU801)執行的程序記錄在作為要被使用的封裝介質的可移除介質821上。在那種情況下，當可移除介質821被安裝在驅動器815上時，可以經由輸入/輸出接口 810將程序安裝至存儲單元813中。
[0352]可替選地，可以經由有線或無線傳輸介質如局域網、因特網或數字衛星廣播來提供該程序。在那種情況下，可以通過通信單元814來接收程序，并且可以將程序安裝至存儲單元813中。
[0353]此外，可以將該程序預先安裝至ROM 802或存儲單元813中。
[0354]要由計算機執行的程序可以是用于根據本說明書中描述的次序以時間順序執行處理的程序，或者可以是用于并行執行處理或者當需要時如當存在調用時執行處理的程序。
[0355]在本說明書中，描述要被記錄在記錄介質中的程序的步驟包括要并行執行或者如果無需按照時間順序則彼此獨立的處理以及根據本文中描述的次序要以時間順序執行的處理。
[0356]在本說明書中，系統表示部件(裝置、模塊(部分)等)的集成，并且不是所有部件需要被設置在同一殼體內。鑒于以上，被安置在不同的殼體中并且經由網絡彼此連接的裝置形成系統，并且具有安置在一個殼體中的模塊的一個裝置也是系統。
[0357]此外，可以將上述任一結構作為一個裝置(或者一個處理單元)劃分成兩個或更多個裝置(或處理單元)。相反地，可以將上述任意結構作為兩個或更多個裝置(或處理單元)組合成一個裝置(或處理單元)。此外，當然可以將除了上述那些部件以外的部件添加至所述裝置(或處理單元)中的任意所述裝置(或處理單元)的結構。此外，只要系統的結構和功能作為整體基本上相同，就可以將裝置(或處理單元)的一些部件包括在另一裝置(或處理單元)的結構中。
[0358]盡管上面參照附圖已經描述了本公開內容的優選實施方式，但是本公開內容的技術范圍不限于那些示例。對本公開內容的技術領域的普通技術人員而言顯而易見的是，在本文中所要求的技術精神的范圍內，可以做出各種改變或修改，并且應當理解，那些改變或修改在本公開內容的技術范圍內。
[0359]例如，可以在一個功能經由網絡在裝置之間共享并且處理通過彼此協作的裝置來執行的云計算結構中實現本技術。
[0360]參照上述流程圖描述的相應的步驟可以由一個裝置來執行或者可以在多個裝置之間共享。
[0361]在多于一個處理被包括在一個步驟中的情況下，包括在所述步驟中的處理可以由一個裝置來執行或者可以在多個裝置之間共享。
[0362]可以將根據上述實施方式的圖像編碼裝置和比特流接合裝置應用于各種電子裝置如衛星廣播中的發送器和接收器、有線廣播如有線電視、經由因特網的分發、經由蜂窩通信至終端的分發等、被配置成在介質如光盤、磁盤和閃速存儲器中記錄圖像的記錄裝置以及被配置成從存儲介質再現圖像的再現裝置。下面將描述應用的四個示例。
[0363]〈6.第六實施方式〉
[0364]〈第一示例應用:電視接收器〉
[0365]圖33示意性地示出了應用了上述實施方式的電視設備的示例結構。電視設備900包括天線901、調諧器902、分離器903、解碼器904、視頻信號處理單元905、顯示單元906、音頻信號處理單元907、揚聲器908、外部接口(I/F)單元909、控制單元910、用戶接口(I/F)單元911和總線912。
[0366]調諧器902從經由天線901接收的廣播信號提取期望通道的信號并且對所提取的信號進行解調。然后，調諧器902將通過解調獲得的編碼比特流輸出至分離器903。即，調諧器902用作接收編碼圖像的編碼流的電視設備900中的傳輸單元。
[0367]分離器903將要從編碼比特流被觀看的當前節目的視頻流和音頻流分開，并且將分開的流輸出至解碼器904。分離器903還從編碼比特流提取輔助數據如電子節目指南(EPG)并且將提取的數據提供至控制單元910。如果編碼比特流被加擾，則分離器903可以對編碼比特流進行解擾。
[0368]解碼器904對從分離器903輸入的視頻流和音頻流進行解碼。然后，解碼器904將通過解碼生成的視頻數據輸出至視頻信號處理單元905。解碼器904還將通過解碼生成的音頻數據輸出至音頻信號處理單元907。
[0369]視頻信號處理單元905再現從解碼器904輸入的視頻數據，并且將所述視頻數據顯示在顯示單元906上。視頻信號處理單元905還可以將經由網絡提供的應用屏幕顯示在顯示單元906上。此外，取決于設置，視頻信號處理單元905可以執行附加處理如對視頻數據的噪聲移除。視頻信號處理單元905還可以生成圖形用戶界面(GUI)如菜單、按鈕或光標的圖像，并且將生成的圖像疊加到輸出圖像上。
[0370]顯示單元906由從視頻信號處理單元905提供的驅動信號來驅動，并且將視頻或圖像顯示在顯示裝置(如液晶顯示器、等離子顯示器或有機電致發光顯示器(OELD))的視頻屏幕上。
[0371]音頻信號處理單元907執行再現處理如D/A轉換和對從解碼器904輸入的音頻數據的放大，并且通過揚聲器908輸出音頻。此外，音頻信號處理單元907可以執行附加處理如對音頻數據的噪聲移除。
[0372]外部接口單元909是用于將電視設備900連接至外部裝置或網絡的接口。例如，經由外部接口單元909接收的視頻流或音頻流可以由解碼器904來解碼。即，外部接口單元909還用作接收編碼圖像的編碼流的電視設備900中的傳輸單元。
[0373]控制單元910包括處理器如CPU和存儲器如RAM或ROM。存儲器存儲要由CPU執行的程序、程序數據、EPG數據、經由網絡獲得的數據等。例如，當電視設備900被激活時，存儲在存儲器中的程序被讀取并且由CPU來執行。CPU例如通過執行所述程序根據從用戶接口單元911輸入的操作信號來控制電視設備900的操作。
[0374]用戶接口單元911被連接至控制單元910。例如，用戶接口單元911包括用于用戶操作電視設備900的按鈕和開關以及用于接收遠程控制信號的接收單元。用戶接口單元911經由這些部件檢測用戶操作，生成操作信號，并且將生成的操作信號輸出至控制單元910。
[0375]總線912將調諧器902、分離器903、解碼器904、視頻信號處理單元905、音頻信號處理單元907、外部接口單元909和控制單元910彼此連接。
[0376]例如，在具有上述結構的電視設備900中，視頻信號處理單元905可以具有上述圖像編碼裝置100的功能。例如，視頻信號處理單元905可以通過上述方法對從解碼器904提供的圖像數據進行編碼。例如，視頻信號處理單元905將作為編碼的結果獲得的編碼數據(比特流)提供至外部接口單元909，并且使外部接口單元909將編碼數據輸出至電視設備900的外部。因此，電視設備900可以使通過對當前圖像進行編碼生成的比特流處于關于與另外的比特流更容易地進行接合的這樣的狀態，然后輸出所述比特流。
[0377]可替選地，例如，視頻信號處理單元905可以具有上述比特流接合裝置之一(比特流接合裝置200到400之一)的功能。例如，視頻信號處理單元905能夠根據在第二實施方式到第四實施方式中描述的方法通過執行智能渲染編輯來接合比特流。于是，電視設備900(視頻信號處理單元905)可以更容易地接合比特流。例如，視頻信號處理單元905將以此方式獲得的編碼數據(比特流)提供至外部接口單元909，并且可以使外部接口單元909將編碼數據輸出至電視設備900的外部。
[0378]〈第二示例應用:便攜式電話設備〉
[0379]圖34示意性示出了應用了上述實施方式的便攜式電話設備的示例結構。便攜式電話設備920包括天線921、通信單元922、音頻編解碼器923、揚聲器924、麥克風925、相機單元926、圖像處理單元927、復用/分離單元928、記錄/再現單元929、顯示單元930、控制單元931、操作單元932和總線933。
[0380]天線921被連接至通信單元922。揚聲器924和麥克風925被連接至音頻編解碼器923。操作單元932被連接至控制單元931。總線933將通信單元922、音頻編解碼器923、相機單元926、圖像處理單元927、復用/分離單元928、記錄/再現單元929、顯示單元930和控制單元931彼此連接。
[0381]便攜式電話設備920以包括語音電話模式、數據通信模式、成像模式和視頻電話模式的各種操作模式執行操作如音頻信號的發送/接收、電子郵件和圖像數據的發送/接收、圖像的捕獲、數據的記錄等。
[0382]在語音電話模式下，將通過麥克風925生成模擬音頻信號提供至音頻編解碼器923。音頻編解碼器923將模擬音頻信號轉換成音頻數據，對轉換的音頻數據執行A/D轉換，并且對所述音頻數據進行壓縮。然后，音頻編解碼器923將壓縮的音頻數據輸出至通信單元922。通信單元922對音頻數據進行編碼和調制以生成要被發送的信號。然后，通信單元922經由天線921將要被發送的生成的信號發送至基站(未示出)。通信單元922還對經由天線921接收的音頻信號執行放大和頻率轉換并且獲取接收的信號。然后，通信單元922對接收的信號進行解調和解碼以生成音頻數據，并且將生成的音頻數據輸出至音頻編解碼器923。音頻編解碼器923對音頻數據執行解壓縮和D/A轉換以生成模擬音頻信號。然后，音頻編解碼器923將生成的音頻信號提供至揚聲器924以從該揚聲器924輸出音頻。
[0383]在數據通信模式下，控制單元931根據用戶經由操作單元932的操作來生成文本數據包括電子郵件。控制單元931還在顯示單元930上顯示文本。控制單元931還響應于用戶經由操作單元932的進行傳輸的指令而生成電子郵件數據，并且將生成的電子郵件數據輸出至通信單元922。通信單元922對所述電子郵件數據進行編碼和調制以生成傳輸信號。然后，通信單元922經由天線921將要被發送的生成的信號發送至基站(未示出)。通信單元922還對經由天線921接收的音頻信號執行放大和頻率轉換，并且獲取接收的信號。然后，通信單元922對接收的信號進行解調和解碼以恢復電子郵件數據，并且將恢復的電子郵件數據輸出至控制單元931。控制單元931將電子郵件的內容顯示在顯示單元930上，并且將電子郵件數據提供至記錄/再現單元929以將數據寫到所述記錄/再現單元929的存儲介質中。
[0384]記錄/再現單元929包括可讀/可寫存儲介質。例如，存儲介質可以是內部存儲介質如RAM或閃速存儲器。或者可以是外部安裝的存儲介質如硬盤、磁盤、磁光盤、光盤、通用串行總線(USB)存儲器或存儲卡。
[0385]在成像模式下，相機單元926通過捕獲對象的圖像來生成圖像數據，并且將生成的圖像數據輸出至圖像處理單元927。圖像處理單元927對從相機單元926輸入的圖像數據進行編碼，并且將編碼流提供至記錄/再現單元929，以將編碼流寫到記錄/再現單元929的存儲介質中。
[0386]此外，在圖像顯示模式下，記錄/再現單元929讀取記錄在存儲介質中的編碼流，并且將所述編碼流輸出至圖像處理單元927。圖像處理單元927對從記錄/再現單元929輸入的編碼流進行解碼，并且將圖像數據提供至顯示單元930以顯示圖像。
[0387]在視頻電話模式下，復用/分離單元928將通過圖像處理單元927編碼的視頻流與從音頻編解碼器923輸入的音頻流復用，并且將復用的流輸出至通信單元922。通信單元922對所述流進行編碼和調制以生成要被發送的信號。然后，通信單元922經由天線921將要被發送的生成的信號發送至基站(未示出)。通信單元922還對經由天線921接收的音頻信號執行放大和頻率轉換并且獲取接收的信號。發送信號和接收信號每個包括編碼比特流。通信單元922通過對接收信號進行解調和解碼來恢復流，并且將恢復的流輸出至復用/分離單元928。復用/分離單元928將來自輸入流的視頻流和音頻流分開，并且將視頻流輸出至圖像處理單元927以及將音頻流輸出至音頻編解碼器923。圖像處理單元927對視頻流進行解碼以生成視頻數據。視頻數據被提供至顯示單元930，顯示單元930顯示一系列圖像。音頻編解碼器923對音頻流執行解壓縮和D/A轉換以生成模擬音頻信號。然后，音頻編解碼器923將生成的音頻信號提供至揚聲器924以從揚聲器924輸出音頻。
[0388]例如，在具有上述結構的便攜式電話設備920中，圖像處理單元927可以具有上述圖像編碼裝置100的功能。即，圖像處理單元927可以通過上述方法對圖像數據進行編碼。因此，便攜式電話設備920可以輸出或記錄已經通過對圖像數據進行編碼生成的并且使處于與另外的比特流更容易地接合的這樣的狀態的比特流。
[0389]可替選地，例如，圖像處理單元927可以具有上述比特流接合裝置之一(比特流接合裝置200到400之一)的功能。例如，圖像處理單元927能夠根據第二實施方式到第四實施方式中描述的方法通過執行智能渲染編輯來接合比特流。于是，便攜式電話設備920(圖像處理單元927)可以更容易地接合比特流。例如，圖像處理單元927可以將以此方式獲得的編碼數據(比特流)提供至記錄/再現單元929，并且使記錄/再現單元929將編碼數據寫到它的存儲介質中或者經由通信單元922發送編碼數據。
[0390]〈第三示例應用:記錄/再現設備〉
[0391]圖35示意性示出了應用了上述實施方式的記錄/再現設備的示例結構。例如，記錄/再現設備940對接收的廣播節目的音頻數據和視頻數據進行編碼，并且將音頻數據和視頻數據記錄在記錄介質上。例如，記錄/再現設備940可以對從另外的裝置獲得的音頻數據和視頻數據進行編碼，并且將音頻數據和視頻數據記錄在記錄介質上。例如，記錄/再現設備940還對記錄在監視器上的記錄介質中以及響應于來自用戶的指令而通過揚聲器的數據進行再現。在這種情況下，記錄/再現設備940對音頻數據和視頻數據進行解碼。
[0392]記錄/再現設備940包括調諧器941、外部接口(I/F)單元942、編碼器943、硬盤驅動器(HDD)單元944、磁盤驅動器945、選擇器946、解碼器947、屏幕顯示(OSD)單元948、控制單元949和用戶接口(I/F)單元950。
[0393]調諧器941從經由天線(未示出)接收的廣播信號提取期望通道的信號，并且對提取的信號進行解調。調諧器941將通過解調獲得的編碼比特流輸出至選擇器946。即，調諧器941用作記錄/再現設備940中的傳輸單元。
[0394]外部接口單元942是用于將記錄/再現設備940連接至外部裝置或網絡的接口。例如，外部接口單元942可以是電氣和電子工程師協會(IEEE)1394接口、網絡接口、USB接口或者閃速存儲器接口。例如，將經由外部接口單元942接收的視頻數據和音頻數據輸入至編碼器943ο即，外部接口單元942具有作為記錄/再現設備940中的傳輸單元的角色。
[0395]如果從外部接口單元942輸入的視頻數據和音頻數據沒有被編碼，則解碼器943對所述視頻數據和所述音頻數據進行編碼。然后，編碼器943將編碼比特流輸出至選擇器946。
[0396]HDD單元944記錄壓縮內容數據如視頻圖像和聲音、各種程序和內部硬盤中的其他數據的編碼比特流。HDD單元944還從硬盤讀取數據以再現視頻圖像和聲音。
[0397]硬盤驅動器945將數據記錄在安裝在其上的記錄介質中并且從安裝在其上的記錄介質讀取數據。例如，安裝在硬盤驅動器945上的記錄介質可以是數字多功能盤(DVD)(如數碼影音DVD、DVD隨機存取存儲器(DVD-RAM)、可記錄DVD(DVD-R)、可重寫DVD(DVD-RW)、可記錄DVD(DVD+R)或者可重寫DVD(DVD+RW))或者藍光(注冊商標名稱)盤。
[0398]在記錄視頻圖像和聲音時，選擇器946選擇從調諧器941或編碼器943輸入的編碼比特流，并且將選擇的編碼比特流輸出至HDD單元944或者磁盤驅動器945。在再現視頻圖像和音頻時，選擇器946將從HDD單元944或磁盤驅動器945輸入的編碼比特流輸出至解碼器947。
[0399]解碼器947對編碼比特流進行解碼以生成視頻數據和音頻數據。然后，解碼器947將生成的視頻數據輸出至OSD單元948。解碼器947還將生成的音頻數據輸出至外部揚聲器。
[0400]OSD單元948再現從解碼器947輸入的視頻數據并且顯示視頻圖像。OSD單元948還可以將GUI圖像如菜單、按鈕或光標疊加到要被顯示的視頻圖像上。
[0401 ] 控制單元949包括處理器如CPU和存儲器如RAM和ROM。存儲器存儲要由CPU執行的程序、程序數據等。例如，當記錄/再現設備940被激活時，存儲在存儲器中的程序由CPU讀取并執行。例如，通過執行所述程序，CPU根據從用戶接口單元950輸入的操作信號來控制記錄/再現設備940的操作。
[0402]用戶接口單元950被連接至控制單元949。例如，用戶接口單元950包括用戶操作記錄/再現設備940的按鈕和開關以及用于接收遠程控制信號的接收單元。用戶接口單元950檢測用戶經由這些部件執行的操作，生成操作信號并且將生成的操作信號輸出至控制單元949。
[0403]在具有這樣的結構的記錄/再現設備940中，編碼器943可以具有上述圖像編碼裝置100的功能。即，編碼器943可以通過上述方法對圖像數據進行編碼。因此，記錄/再現設備940可以輸出或記錄已經通過對圖像數據進行編碼生成并且使處于關于與另外的比特流更容易接合的這樣的狀態的比特流。
[0404]可替選地，例如，編碼器943可以具有上述比特流接合裝置之一(比特流接合裝置200到400之一)的功能。例如，編碼器943根據第二實施方式到第四實施方式中描述的方法不僅能夠對圖像數據進行編碼而且能夠通過執行智能渲染編輯接合比特流。于是，記錄/再現設備940 (編碼器943)可以更容易地接合比特流。
[0405]〈第四示例應用:成像設備〉
[0406]圖36示意性示出了應用了上述實施方式的成像設備的示例結構。成像設備960通過對對象進行成像來生成圖像，對圖像數據進行編碼，并且將所述圖像數據記錄在記錄介質上。
[0407]成像設備960包括光學塊961、成像單元962、信號處理單元963、圖像處理單元964、顯示單元965、外部接口(I/F)單元966、存儲單元967、介質驅動器968、0SD單元969、控制單元970、用戶接口(I/F)單元971、總線972。
[0408]光學塊961被連接至成像單元962。成像單元962被連接至信號處理單元963。顯示單元965被連接至圖像處理單元964。用戶接口單元971被連接至控制單元970。總線972將圖像處理單元964、外部接口單元966、存儲器單元967、介質驅動器968、0SD單元969和控制單元970彼此連接。
[0409]光學塊961包括聚焦透鏡和光圈。光學塊961在成像單元962的成像表面上形成對象的光學圖像。成像單元962包括圖像傳感器如電荷耦合裝置(CCD)或互補金屬氧化物半導體(CMOS)，并且通過光電轉換將在成像表面上形成的光學圖像轉換成作為電信號的圖像信號。成像單元962將圖像信號輸出至信號處理單元963。
[0410]信號處理單元963對從成像單元962輸入的圖像信號執行各種類型的相機信號處理如拐點校正(knee correct1n)、伽馬校正和顏色校正。信號處理單元963將經歷相機信號處理的圖像數據輸出至圖像處理單元964。
[0411]圖像處理單元964對從信號處理單元963輸入的圖像數據進行編碼以生成編碼數據。然后，圖像處理單元964將生成的編碼數據輸出至外部接口單元966或介質驅動器968。圖像處理單元964還對從外部接口單元966或介質驅動器968輸入的編碼數據進行解碼以生成圖像數據。圖像處理單元964將生成的圖像數據輸出至顯示單元965。圖像處理單元964可以將從信號處理單元963輸入的圖像數據輸出至顯示單元965以顯示圖像。圖像處理單元964還可以將從OSD單元969獲取的用于顯示的數據疊加到要被輸出至顯示單元965的圖像上。
[0412]OSD單元969可以生成⑶I圖像如菜單、按鈕或光標，并且將生成的圖像輸出至圖像處理單元964。
[0413]例如，外部接口單元966被形成為USB輸入/輸出終端。例如，在打印圖像時，外部接口單元966將成像設備960連接至打印機。必要時，也將驅動器連接至外部接口單元966。將可移除介質如磁盤或光盤安裝在驅動器上，使得可以將從可移除介質讀取的程序安裝至成像設備960中。此外，外部接口單元966可以是與網絡如LAN或因特網連接的網絡接口。即，外部接口單元966具有作為成像設備960中的傳輸裝置的角色。
[0414]要被安裝在介質驅動器968上的記錄介質可以是可讀/可寫可移除介質如磁盤、磁光盤、光盤或半導體存儲器。可替選地，可以以固定方式將記錄介質安裝在介質驅動器968上以形成不能移動的存儲單元如內部硬盤驅動器或固態驅動器(SSD)。
[0415]控制單元970包括處理器如CPU和存儲器如RAM和ROM。存儲器存儲要由CPU執行的程序、程序數據等。當成像設備960被激活時，例如，存儲在存儲器中的程序由CPU讀取并執行。例如，CPU通過執行所述程序根據從用戶接口單元971輸入的操作信號來控制成像設備960的操作。
[0416]用戶接口單元971被連接至控制單元970。例如，用戶接口單元971包括用于用戶操作成像設備960的按鈕和開關。用戶接口單元971經由這些部件檢測由用戶執行的操作，生成操作信號并且將生成的操作信號輸出至控制單元970。
[0417]在具有這樣的結構的成像設備960中，圖像處理單元964可以具有上述圖像編碼裝置100的功能。即，圖像處理單元964可以通過上述方法對圖像數據進行編碼。因此，成像設備960可以輸出或記錄已經通過對圖像數據進行編碼生成并且使處于關于與另外的比特流更容易接合的這樣的狀態的比特流。
[0418]可替選地，例如，圖像處理單元964可以具有上述比特流接合裝置之一(比特流接合裝置200到400之一)的功能。例如，圖像處理單元964能夠根據在第二實施方式到第四實施方式中描述的方法通過執行智能渲染編輯來接合比特流。于是，成像設備960(圖像處理單元964)可以更容易地接合比特流。
[0419]還可以將本技術應用于HTTP流如MPEG DASH，所述HTTP流使用基于片段從彼此清晰度不同的編碼數據的預定塊中選擇的適當的編碼數據。即，可以在編碼數據的這樣的塊中共享與編碼和解碼有關的信息。
[0420]〈7.第七實施方式〉
[0421]〈實施方式的其他示例〉
[0422]雖然上面已經描述了應用了本技術的裝置、系統等的示例，但是本技術不限于此，并且可以被實現為要被安裝在上面的裝置或系統中的裝置上的任意結構，如作為系統大規模集成(LSI)等的處理器、使用處理器等的模塊、使用模塊等的單元以及具有添加至所述單元的其他功能的裝置(或者裝置中的結構)。
[0423]〈視頻裝置〉
[0424]現在參照圖37來描述本技術被實現為裝置的情況下的示例。圖37示意性地示出了應用了本技術的視頻裝置的示例結構。
[0425]近年來，電子裝置已經變成多功能的。如今，在許多情況下，在電子裝置的開發和制造的過程中，不僅銷售或提供這樣的電子裝置中的一個結構，或者制造具有一種功能的結構，而且通過將具有相關功能的結構進行組合來制造具有多種功能的一個裝置。
[0426]圖37所示的視頻裝置1300是這樣的多功能結構，并且通過將具有與圖像編碼和解碼(或者編碼或解碼，或者編碼和解碼兩者)有關的功能的裝置以及具有和所述功能有關的另外的功能的裝置進行組合來形成。
[0427]如圖37所示，視頻裝置1300包括模塊如視頻模塊1311、外部存儲器1312、電源管理模塊1313和前端模塊1314以及具有相關功能的設備如連通器1321、相機1322和傳感器1323ο
[0428]模塊通過集成彼此相關的部件的功能來形成，并且用作具有集成的功能的部件。盡管其特定物理結構不受限制，但是可以通過在線路板等上設置具有相應的功能的電子電路元件如處理器、寄存器和電容器并且在所述線路板等上對具有相應的功能的電子電路元件如處理器、寄存器和電容器進行集成來形成模塊。可替選地，可以通過將模塊與另外的模塊、處理器等進行組合來形成新模塊。
[0429]在圖37所示的示例情況下，視頻模塊1311通過對具有和圖像處理有關的功能的結構進行組合來形成，并且包括應用處理器、視頻處理器、寬帶調制解調器1333和RF模塊1334。
[0430]例如，處理器通過由片上系統(SoC)將具有預定功能的結構集成至半導體芯片中來形成，并且將一些處理器稱為系統大規模集成(LSI)。具有預定功能的結構可以是邏輯電路(硬件結構)，可以是包括CPU、R0M和RAM以及要由這些部件執行的程序(軟件結構)的結構，或者可以是通過將兩個結構進行組合而形成的結構。例如，處理器可以包括邏輯電路、CPU、ROM和RAM，所述功能之一可以由邏輯電路(硬件結構)來實現，而其他功能可以通過由CHJ執行的程序(軟件結構)來實現。
[0431]圖37中的應用處理器1331是執行與圖像處理有關的應用的處理器。要由應用處理器1331執行的應用不僅可以執行算術處理而且在必要時可以對視頻模塊1311內部和外部的結構如視頻處理器1332進行控制以實現預定功能。
[0432]視頻處理器1332是具有與圖像編碼和解碼(編碼和/或解碼)有關的功能的處理器。
[0433]寬帶調制解調器1333通過對要通過經由寬帶網絡如因特網或公用電話網進行的有線或無線(或者有線和無線)寬帶通信被傳輸的數據(數字信號)執行數字調制等來獲取模擬信號，或者通過對模擬信號進行解調將通過寬帶通信接收的模擬信號轉換成數據(數字信號)。寬帶調制解調器1333對信息如要由視頻處理器1332處理的圖像數據、通過對圖像數據進行編碼生成的流、應用程序和設置數據進行處理。
[0434]RF模塊1334是對要經由天線發送或接收的射頻(RF)信號執行頻率轉換、調制/解調、放大、濾波等的模塊。例如，RF模塊1334通過對由寬帶調制解調器1333生成的基帶信號執行頻率轉換等來生成RF信號。例如，RF模塊1334還通過對經由前端模塊1314接收的RF信號執行頻率轉換等來生成基帶信號。
[0435]如由圖37中的虛線1341所示的，應用處理器1331和視頻處理器1332可以被集成并且形成為一個處理器。
[0436]外部存儲器1312是在視頻模塊1311外部設置的模塊并且具有要由視頻模塊1311使用的存儲設備。外部存儲器1312的存儲設備可以由任意物理結構來實現。一般地，存儲裝置通常用于存儲大量數據如基于幀的圖像數據。因此，優選地，存儲裝置由相對便宜的、大容量的半導體存儲器如動態隨機存取存儲器(DRAM)來實現。
[0437]電源管理模塊1313管理并控制至視頻模塊1311(視頻模塊1311中的相應的結構)的電源。
[0438]前端模塊1314是為RF模塊1334提供前端功能的模塊(天線的發送端和接收端處的電路)。例如，如圖37所示，前端模塊1314包括天線單元1351、濾波器1352和放大單元1353。
[0439]天線單元1351包括發送和接收無線電信號的天線以及天線周圍的外圍結構。天線單元1351發送作為無線電信號從放大單元1353提供的信號，并且將作為電信號(RF信號)接收的無線電信號提供至濾波器1352。濾波器1352對經由天線單元1351接收的RF信號執行濾波等，并且將處理的RF信號提供至RF模塊1334。放大單元1353對從RF模塊1334提供的RF信號進行放大，并且將放大的RF信號提供至天線單元1351。
[0440]連通器1321是具有與至外部的連接有關的功能的模塊。連通器1321可以具有任意種類的物理結構。例如，連通器1321包括具有與除了寬帶調制解調器1333與其兼容的通信標準以外的標準兼容的通信功能的結構以及外部輸入/輸出終端等。
[0441]例如，連通器1321可以包括具有與無線通信標準如藍牙(注冊商標名稱)、IEEE802.11(如無線保真(W1-F1:注冊商標名稱))、近場通信(NFC)或紅外數據協會(IrDA)兼容的通信功能的模塊以及發送和接收與所述標準兼容的信號的天線等。可替選地，連通器1321可以包括具有與電纜通信標準如通用串行總線(USB)或高清晰度多媒體接口(注冊商標名稱)(HDMI)兼容的通信功能的模塊以及與所述標準兼容的終端。此外，連通器1321可以具有一些其他數據(信號)傳輸功能等如模擬輸入/輸出終端。
[0442]連通器1321可以包括作為數據(信號)傳輸目的地的裝置。例如，連通器1321可以包括在記錄介質如磁盤、光盤、磁光盤或者半導體存儲器上執行數據讀出和寫入的驅動器(不僅包括可移除介質的驅動器，而且包括硬盤、固態驅動器(SSD)、網絡附接存儲器(NAS)等)。連通器1321還可以包括圖像或聲音輸出裝置(監視器、揚聲器等)。
[0443]相機1322是具有對對象進行成像并且獲取該對象的圖像數據的功能的模塊。將通過由相機1322執行成像而獲取的圖像數據提供至視頻處理器1332并且對所述圖像數據進行編碼。
[0444]傳感器1323是具有傳感器功能的模塊，如聲音傳感器、超聲波傳感器、光傳感器、照度傳感器、紅外傳感器、圖像傳感器、旋轉傳感器、角度傳感器、角速度傳感器、速度傳感器、加速度傳感器、傾斜傳感器、磁識別傳感器、震動傳感器或溫度傳感器。例如，由傳感器1323檢測的數據被提供至應用處理器1331并且由應用來使用。
[0445]可以將上面作為模塊描述的結構實現為處理器，并且可以將上面作為處理器描述的結構實現為模塊。
[0446]在具有上述結構的視頻裝置1300中，如稍后將描述的，可以將本技術應用于視頻處理器1332。因此，可以將視頻裝置1300實現為應用了本技術的裝置。
[0447]〈視頻處理器的示例結構〉
[0448]圖38示意性示出了應用了本技術的視頻處理器1332(圖37)的示例結構。
[0449]在圖38所示的示例情況下，視頻處理器1332具有接收視頻信號和音頻處的輸入并且通過預定方法對這些信號進行編碼的功能以及對編碼視頻數據和音頻數據進行解碼并且再現和輸出視頻信號和音頻信號的功能。
[0450]如圖38所示，視頻處理器1332包括視頻輸入處理單元1401、第一圖像放大/縮小單元1402、第二圖像放大/縮小單元1403、視頻輸出處理單元1404、幀存儲器1405和存儲器控制單元1406。視頻處理器1332還包括編碼/解碼引擎1407、視頻基本流(ES)緩沖器1408A和1408B以及音頻ES緩沖器1409A和1409B。視頻處理器1332還包括音頻編碼器1410、音頻解碼器1411、復用器(MUX)1412、分離器(DMUX)1413和流緩沖器1414。
[0451]例如，視頻輸入處理單元1401獲取從連通器1321(圖37)輸入的視頻信號，并且將視頻信號轉換成數字圖像數據。第一圖像放大/縮小單元1402對圖像數據執行格式轉換、圖像放大/縮小處理等。第二圖像放大/縮小單元1403根據經由視頻輸出處理單元1404的輸出目的地處的格式對圖像數據執行圖像放大/縮小處理，或者與第一圖像放大/縮小單元1402一樣執行格式轉換、圖像放大/縮小處理等。例如，視頻輸出處理單元1404對圖像數據執行格式轉換、至模擬信號的轉換等，并且將結果作為再現視頻信號輸出至連通器1321。
[0452]幀存儲器1405是在視頻輸入處理單元1401、第一圖像放大/縮小單元1402、第二圖像放大/縮小單元1403、視頻輸出處理單元1404和編碼/解碼引擎1407之間共享的圖像數據存儲器。幀存儲器1405被實現為半導體存儲器如DRAM。
[0453]存儲器控制單元1406從編碼/解碼引擎1407接收同步信號，并且根據寫在訪問管理表1406A中的訪問幀存儲器1405的調度對訪問幀存儲器1405的寫和讀進行控制。存儲器控制單元1406根據由編碼/解碼引擎1407、第一圖像放大/縮小單元1402、第二圖像放大/縮小單元1403等執行的處理來更新訪問管理表1406A。
[0454]編碼/解碼引擎1407執行圖像數據編碼處理以及對作為由編碼圖像數據生成的數據的視頻流進行解碼的處理。例如，編碼/解碼引擎1407對從幀存儲器1405讀取的圖像數據進行編碼，并且順序地將編碼圖像數據作為視頻流寫入視頻ES緩沖器1408A中。此外，例如，編碼/解碼引擎1407順序地從視頻ES緩沖器1408B讀取視頻流并且對所述視頻流進行解碼，順序地將解碼的視頻流作為圖像數據寫入幀存儲器1405中。在編碼和解碼中，編碼/解碼引擎1407使用幀存儲器1405作為工作區。例如，當開始對宏塊的處理時，編碼/解碼引擎1407還將同步信號輸出至存儲器控制單元1406。
[0455]視頻ES緩沖器1408A對由編碼/解碼引擎1407生成的視頻流進行緩沖，并且將視頻流提供至復用器(MUXH412。視頻ES緩沖器1408B對從分離器(DMUXH413提供的視頻流進行緩沖，并且將視頻流提供至編碼/解碼引擎1407。
[0456]音頻ES緩沖器1409A對由音頻編碼器1410生成的音頻流進行緩沖，并且將音頻流提供至復用器(MUX)1412。音頻ES緩沖器1409B對從分離器(DMUX)1413提供的音頻流進行緩沖，并且將音頻流提供至音頻解碼器1411。
[0457]音頻編碼器1410例如對從連通器1321等輸入的音頻信號執行數字轉換，并且通過預定方法如MPEG音頻方法或音頻編碼3(AC3)對音頻信號進行編碼。音頻編碼器1410順序地將作為通過對音頻信號進行編碼生成的數據的音頻流寫入音頻ES緩沖器1409A中。例如，音頻解碼器1411對從音頻ES緩沖器1409B提供的音頻流進行解碼，執行至模擬信號的轉換，并且將結果作為再現音頻信號提供至連通器1321等。
[0458]復用器(MUXH412將視頻流與音頻流復用。在此復用(或者任何格式可以用于要通過復用生成的比特流)中可以使用任何方法。在此復用中，復用器(MUXH412還可以將預定的頭信息等添加至比特流。即，復用器(MUXH412可以通過執行復用來轉換流格式。例如，復用器(MUX) 1412將視頻流與音頻流復用，以將所述格式轉換成用于傳送作為比特流的傳輸流的格式。此外，例如，復用器(MUXH412將視頻流與音頻流復用，以將數據轉換成用于記錄的文件格式的數據(文件數據)。
[0459]分離器(DMUXH413通過與由復用器(MUXH412執行的復用兼容的方法對通過將視頻流與音頻流復用而生成的比特流進行分離。具體地，分離器(DMUXH413從于比特流緩沖器1414讀取的比特流提取視頻流和音頻流(或者將視頻流與音頻流分開)。即，分離器(DMUXH413可以通過執行分離(通過復用器(MUX)1412執行的轉換的逆轉換)來轉換流格式。例如，分離器(DMUX) 1413經由流緩沖器1414獲取從連通器1321、寬帶調制解調器1333等提供的傳輸流，并且對傳輸流進行分離以將傳輸流轉換成視頻流和音頻流。此外，例如，分離器(DMUXH413經由流緩沖器1414通過連通器1321獲取從任意種類的記錄介質讀取的文件數據，并且對文件數據進行分離以將所述文件數據轉換成視頻流和音頻流。
[0460]流緩沖器1414對比特流進行緩沖。例如，比特流緩沖器1414對從復用器(MUX) 1412提供的傳輸流進行緩沖，并且在預定時間或者響應于來自外部的請求等將傳輸流提供至連通器1321、寬帶調制解調器1333等。
[0461]此外，例如，流緩沖器1414對從復用器(MUXH412提供的文件數據進行緩沖，并且在預定時間或者響應于來自外部的請求等將所述文件數據提供至連通器1321等，以將文件數據記錄在任意種類的記錄介質中。
[0462]此外，流緩沖器1414對經由連通器1321、寬帶調制解調器1333等獲得的傳輸流進行緩沖，并且在預定時間或者響應于來自外部的請求等將傳輸流提供至分離器(DMUX)1413ο
[0463]此外，流緩沖器1414對從連通器1321等中的任意種類的記錄介質讀取的文件數據進行緩沖，并且在預定時間或者響應于來自外部的請求等將文件數據提供至分離器(DMUX)1413ο
[0464]接下來，將描述具有上面的結構的視頻處理器1332的示例操作。例如，在視頻輸入處理單元1401中以預定格式如4: 2: 2Y/Cb/Cr格式將從連通器1321等輸入至視頻處理器1332的視頻信號轉換成數字圖像數據，并且將數字圖像數據順序地寫入幀存儲器1405中。還將數字圖像數據讀入第一圖像放大/縮小單元1402或者第二圖像放大/縮小單元1403中，使所述數字圖像數據經歷至預定格式如4:2: OY/Cb/Cr格式的格式轉換、放大/縮小處理，并且再將所述數字圖像數據寫入幀存儲器1405中。圖像數據由編碼/解碼引擎1407來編碼，并且作為視頻流被寫入視頻ES緩沖器1408A中。
[0465]同時，從連通器1321等輸入至視頻處理器1332的音頻信號由音頻編碼器1410來編碼，并且作為音頻流被寫入音頻ES緩沖器1409A中。
[0466]視頻ES緩沖器1408A中的視頻流和音頻ES緩沖器1409A中的音頻流被讀入復用器(MUXH412中，然后被復用，并且被轉換成傳輸流或文件數據。由復用器(MUXH412生成的傳輸流由流緩沖器1414進行緩沖，然后經由連通器1321、寬帶調制解調器1333等被輸出至外部網絡。由復用器(MUX) 1412生成的文件數據由流緩沖器1414進行緩沖，被輸出至連通器1321等，并且被記錄至任意種類的記錄介質中。
[0467]同時，經由連通器1321、寬帶調制解調器1333等從外部網絡輸入至視頻處理器1332的傳輸流由流緩沖器1414進行緩沖，并且然后由分離器(DMUXH413進行分離。此外，從連通器1321等中的任意種類的記錄介質讀取并且被輸入至視頻處理器1332的文件數據由流緩沖器1414進行緩沖，然后由分離器(DMUXH413進行分離。即，被輸入至視頻處理器1332的傳輸流或文件數據由分離器(DMUX)1413劃分成視頻流和音頻流。
[0468]音頻流經由音頻ES緩沖器1409B被提供至音頻解碼器1411，然后被解碼以再現音頻信號。同時，視頻流被寫入視頻ES緩沖器1408B中，然后由編碼/解碼引擎1407順序地讀取和解碼，并且被寫入幀存儲器1405中。解碼圖像數據經歷第二圖像放大/縮小單元1403的放大/縮小處理，并且被寫入幀存儲器1405中。然后，解碼圖像數據被讀入視頻輸出處理單元1404中，經歷至預定格式如4:2:2Y/Cb/Cr格式的格式轉換，還被轉換成模擬信號，使得視頻信號被再現和輸出。
[0469]在將本技術應用于具有上面的結構的視頻處理器1332的情況下，將根據上述相應的實施方式的本技術應用于編碼/解碼引擎1407。即，例如，編碼/解碼引擎1407可以具有根據上述實施方式中的每一個的圖像編碼裝置的功能。可替選地，例如，編碼/解碼引擎1407可以具有根據上述實施方式的比特流接合裝置的功能。例如，編碼/解碼引擎1407能夠根據在第二實施方式到第四實施方式中描述的方法通過執行智能渲染編輯來接合比特流。于是，視頻處理器1332可以達到與上面參照圖1到圖31描述的效果相同的效果。
[0470]在編碼/解碼引擎1407中，本技術(或者根據上述相應的實施方式的圖像編碼裝置和比特流接合裝置的功能)可以由硬件如邏輯電路來實現，可以由軟件如嵌入式程序來實現，或者可以由硬件和軟件兩者來實現。
[0471 ]〈視頻處理器的另一示例結構〉
[0472]圖39示意性示出了應用了本技術的視頻處理器1332的另一示例結構。在圖39所示的示例情況下，視頻處理器1332具有通過預定方法對視頻數據進行編碼和解碼的功能。
[0473]更具體地，如圖39所示，視頻處理器1332包括控制單元1511、顯示接口 1512、顯示引擎1513、圖像處理引擎1514和內部存儲器1515。視頻處理器1332還包括編解碼器引擎1516、存儲器接口 1517、復用器/分離器(MUX DMUX)1518、網絡接口 1519和視頻接口 1520。
[0474]控制單元1511對視頻處理器1332中的相應的處理單元如顯示接口 1512、顯示引擎1513、圖像處理引擎1514和編解碼器引擎1516的操作進行控制。
[0475]如圖39所示，例如，控制單元1511包括主CPU 1531、副CPU 1532和系統控制器1533。主CPU 1531執行用于控制視頻處理器1332中的相應的處理單元的操作的程序等。主CPU 1531根據程序等生成控制信號，并且將所述控制信號提供至相應的處理單元(或者控制相應的處理單元的操作)C^UCPU 1532充當主CPU 1531的輔助。例如，副CPU 1532執行要由主CPU 1531執行的程序等的子處理、子程序等。系統控制器1533對主CPU 1531和副CPU1532的操作如指定要由主CPU 1531和副CPU 1532執行的程序進行控制。
[0476]例如，在控制單元1511的控制下，顯示接口1512將圖像數據輸出至連通器1321。例如，顯示接口 1512將數字圖像數據轉換成模擬信號，并且將圖像數據作為再現視頻信號或數字圖像數據按原樣輸出至連通器1321的監視器裝置等。
[0477]在控制單元1511的控制下，顯示引擎1513對圖像數據執行各種轉換處理如格式轉換、大小轉換和色域轉換，以遵守將顯示圖像的監視器裝置等的硬件規范。
[0478]在控制單元1511的控制下，圖像處理引擎1514對圖像數據執行預定圖像處理如用于提尚圖像品質的濾波。
[0479]內部存儲器1515是在顯示引擎1513、圖像處理引擎1514和編解碼器引擎1516之間共享的存儲器，并且被布置在視頻處理器1332中。例如，內部存儲器1515用于顯示引擎1513、圖像處理引擎1514和編解碼器引擎1516之間的數據交換。在必要時(例如，響應于請求)，內部存儲器1515對從顯示引擎1513、圖像處理引擎1514或編解碼器引擎1516提供的數據進行存儲，并且將所述數據提供至顯示引擎1513、圖像處理引擎1514或編解碼器引擎1516。內部存儲器1515可以由任意存儲裝置來實現。一般地，內部存儲器1515通常用于存儲少量數據如基于塊的圖像數據和參數。因此，優選地，內部存儲器1515由容量相對小(與外部存儲器1312相比)但是響應速度高的半導體存儲器如靜態隨機存取存儲器(SRAM)來實現。
[0480]編解碼器引擎1516執行與圖像數據的編碼和解碼有關的處理。編解碼器引擎1516能夠與任意編碼/解碼方法兼容，而且可兼容的方法的數量可以是一個或者可以是兩個或更多個。例如，編解碼器引擎1516具有能夠與編碼/解碼方法兼容的編解碼器功能，并且可以對圖像數據進行編碼或者通過從那些方法中選擇的方法對編碼數據進行解碼。
[0481 ] 在圖39所示的示例中，編解碼器引擎1516包括MPEG-2視頻1514、AVC/H.264 1542、HEVC/H.265 1543、HEVC/H.265(可縮放)1544、HEVC/H.265(多視圖)1545和]\0^^^5!1 1551作為用于與編解碼器有關的處理的功能塊。
[0482]MPEG-2視頻1541是通過MPEG-2對圖像數據進行編碼或解碼的功能塊。AVC/H.2641542是通過AVC對圖像數據進行編碼或解碼的功能塊。HEVC/H.265 1543是通過HEVC對圖像數據進行編碼或解碼的功能塊。HEVC/H.265(可縮放)1544是通過HEVC對圖像數據執行可縮放編碼或可縮放解碼的功能塊。HEVC/H.265(多視圖)1545是通過HEVC對圖像數據執行多視圖編碼或多視圖解碼的功能塊。
[0483]MPEG-DASH 1551是通過!11113(]\0^^^3!0由MPEG動態自適應流發送和接收圖像數據的功能塊JPEG-DASH是用于使用超文本傳輸協議(HTTP)處理視頻流的技術，其特征之一在于:基于片段從彼此清晰度不同的預定編碼數據塊中選擇適當的編碼數據塊并傳輸適當的編碼數據。MPEG-DASH 1551生成與標準兼容的比特流并且對流的傳輸執行控制等。至于對圖像數據進行編碼/解碼，MPEG-DASH 1551通過上述HEVC/H.265(多視圖)1545使用MPEG-2視頻1541。
[0484]存儲器接口 1517是外部存儲器1312的接口。經由存儲器接口 1517將從圖像處理引擎1514和編解碼器引擎1516提供的數據提供至外部存儲器1312。同時，經由存儲器接口1517將從外部存儲器1312讀取的數據提供至視頻處理器1332(圖像處理引擎1514或編解碼器引擎1516)。
[0485]復用器/分離器(MUXDMUX)1518對與圖像有關的多種種類的數據如編碼數據、圖像數據和視頻信號的比特流進行復用或分離。在此復用/分離中可以使用任何方法。例如，在復用時，復用/分離(MUX DMUXH518不僅可以將數據塊集成為一個，而且可以將預定頭信息等添加至所述數據。在分離時，復用器/分離器(MUX DMUX) 1518不僅可以將一個數據集劃分成塊，而且可以將預定的頭信息等添加至每個劃分的數據塊。即，復用器/分離器(MUXDMUX) 1518可以通過執行復用/分離來轉換數據格式。例如，復用器/分離器(MUX DMUX)1518可以通過對比特流進行復用將比特流轉換成作為按照用于傳送的格式的比特流的傳輸流，或者可以將比特流轉換成按照用于記錄的文件格式的數據(文件數據)。當然，逆變換還可以通過分離。
[0486]網絡接口1519是寬帶調制解調器1333、連通器1321等的接口。視頻接口 1520是連通器1321、相機1322等的接口。
[0487]接下來，將描述該視頻處理器1332的示例操作。當經由連通器1321、寬帶調制解調器1333等從外部網絡接收傳輸流時，傳輸流經由網絡接口 1519被提供至復用器/分離器(MUX DMUX)1518，所述傳輸流被分離并且由編解碼器引擎1516進行解碼。例如，通過由編解碼器引擎1516執行的解碼獲得的圖像數據經歷通過圖像處理引擎1514的預定圖像處理，經歷通過顯示引擎1513的預定轉換，并且經由顯示接口 1512被提供至連通器1321等，使得圖像顯示在監視器上。此外，通過由編解碼器引擎1516執行的解碼獲得的圖像數據再由編解碼器引擎1516來編碼，由復用器/分離器(MUX DMUXH518復用和轉換成文件數據，經由視頻接口 1520被輸出至連通器1321等，并且被記錄至任意種類的記錄介質中。
[0488]此外，通過對圖像數據進行編碼而生成并且由連通器1321等從記錄介質(未示出)讀取的編碼數據的文件數據經由視頻接口 1520被提供至復用器/分離器(MUX DMUXH518，所述文件數據被分離并且由編解碼器引擎1516進行解碼。通過由編解碼器引擎1516執行的解碼獲得的圖像數據經歷通過圖像處理引擎1514的預定圖像處理，經歷通過顯示引擎1513的預定轉換，并且經由顯示接口 1512被提供至連通器1321等，使得圖像顯示在監視器上。此夕卜，通過由編解碼器引擎1516執行的解碼獲取的圖像數據再由編解碼器引擎1516進行編碼，由復用器/分離器(MUX DMUX) 1518復用并且被轉換成傳輸流，經由網絡接口 1519被提供至連通器1321、寬帶調制解調器1333等，被傳輸至另外的設備(未示出)。
[0489]例如，使用內部存儲器1515或外部存儲器1312來進行視頻處理器1332中的相應的處理單元之間的圖像數據和其他數據的交換。例如，電源管理模塊1313對至控制單元1511的電源供給進行控制。
[0490]在將本技術應用于具有上面的結構的視頻處理器1332的情況下，將根據上述相應實施方式的本技術應用于編解碼器引擎1516。即，例如，編解碼器引擎1516可以具有構成根據上述實施方式中的每一個的圖像編碼裝置的功能塊。可替選地，例如，編解碼器引擎1516可以具有根據上述實施方式的比特流接合裝置的功能。例如，編解碼器引擎1516能夠根據第二實施方式到第四實施方式中描述的方法通過執行智能渲染編輯來接合比特流。于是，視頻處理器1332可以達到與上面參照圖1到圖31描述的效果相同的效果。
[0491]在編解碼器引擎1516中，本技術(或者根據上述相應的實施方式的圖像編碼裝置和比特流接合裝置的功能)可以由硬件如邏輯電路來實現，可以由軟件如嵌入式程序來實現，或者可以由硬件和軟件兩者來實現。
[0492]雖然上面已經描述了視頻處理器1332的兩個示例結構，但是除了上述兩個示例結構以外，視頻處理器1332還可以具有任意適當的結構。可以將視頻處理器1332形成為單個半導體芯片，或者可以形成為多個半導體芯片。例如，可以將視頻處理器1332形成為半導體被堆疊的三維堆疊LSI。可替選地，視頻處理器1332可以由LSI來實現。
[0493]〈設備的示例應用〉
[0494]可以將視頻裝置1300包括在對圖像數據進行處理的各種設備中。例如，可以將視頻裝置1300包括在電視設備900(圖33)、便攜式電話設備920(圖34)、記錄/再現設備940(圖35)、成像設備960(圖36)等中。因為視頻裝置1300被包括在設備中，所以所述設備可以達到與上面參照圖1到圖31描述的效果相同的效果。
[0495]只要一部分包括視頻處理器1332，就可以將上述視頻裝置1300中的結構的所述部分實現為應用了本技術的結構。例如，可以將視頻處理器1332實現為應用了本技術的視頻處理器。此外，可以將由虛線1341表示的處理器、視頻模塊1311等實現為應用了本技術的處理器、模塊等。此外，可以將視頻模塊1311、外部存儲器1312、電源管理模塊1313和前端模塊1314組合成應用了本技術的視頻單元1361。可以達到與上面參照圖1到圖31描述的效果相同的效果。
[0496]也就是說，與視頻裝置1300—樣，可以將包括視頻處理器1332的任意結構包括在對圖像數據進行處理的各種種類的設備中。例如，可以將視頻處理器1332、由虛線1341表示的處理器、視頻模塊1311或者視頻單元1361包括在電視設備900(圖33)、便攜式電話設備920(圖34)、記錄/再現設備940(圖35)、成像設備960(圖36)等中。與視頻裝置1300中的情況一樣，因為應用了本技術的結構中的任一個被包括在設備中，所以所述設備可以達到與上面參照圖1到圖31描述的效果相同的效果。
[0497]在本說明書中，已經描述了以下示例:將各種信息塊與編碼流復用并且將所述各種信息塊從編碼測發送至解碼測。然而，傳輸信息的方法不限于上面的示例。例如，在未與編碼比特流復用的情況下，可以將信息塊作為與編碼比特流關聯的分開的數據來發送或記錄。注意，術語“關聯”表示使得包括在比特流中的圖像(其可能是圖像的一部分如片段或塊)能夠被連接至與解碼時的圖像相對應的信息。即，可以經由與圖像(或比特流)的傳輸路徑不同的傳輸路徑發送所述信息。可替選地，除了用于圖像(或比特流)的記錄介質以外，還可以將所述信息記錄在記錄介質中(或者同一記錄介質中的不同區域中)。此外，可以將信息和圖像(或比特流)與任意單元中如一些幀、一個幀或幀的一部分的單元中的每一個其他單兀關聯。
[0498]本技術還可以按照下面的形式。[0499 ] (I) 一種圖像編碼裝置，包括:
[0500]設置單元，被配置成根據關于位置的信息和關于參考的信息來設置與假設參考解碼器有關的頭信息，所述關于位置的信息和所述關于參考的信息是針對作為圖像數據的處理對象的當前畫面的；以及
[0501]編碼單元，被配置成對所述圖像數據進行編碼并且生成包括所述圖像數據的編碼數據以及由所述設置單元設置的頭信息的比特流。
[0502](2)根據(I)以及(3)到(9)中任一項所述的圖像編碼裝置，其中，所述設置單元對表示空單元類型的信息進行設置。
[0503](3)根據(I)、(2)以及(4)到(9)中任一項所述的圖像編碼裝置，其中，所述設置單元還對表示比特流接合的信息進行設置。
[0504](4)根據(I)到(3)以及(5)到(9)中任一項所述的圖像編碼裝置，其中，所述設置單元還對表示所述比特流的結尾處的訪問單元的位置與先前不可丟棄畫面的位置之間的差的信息進行設置。
[0505](5)根據(I)到(4)以及(6)到(9)中任一項所述的圖像編碼裝置，其中，
[0506]當所述當前畫面是第一個畫面時，
[0507]所述設置單元將所述表示空單元類型的信息設置為表示IDR畫面的值，
[0508]將所述表示比特流接合的信息設置為“真”，并且
[0509]將所述表示所述比特流的結尾處的訪問單元的位置與先前不可丟棄畫面的位置之間的差的信息設置為最小值。
[0510](6)根據(I)到(5)以及(7)到(9)中任一項所述的圖像編碼裝置，其中，
[0511 ]當所述當前畫面是最后一個畫面時，
[0512]所述設置單元將所述表示空單元類型的信息設置為表示要被參考的拖尾畫面的值，所述拖尾畫面不屬于臨時子層，
[0513]將所述表示比特流接合的信息設置為“假”，并且
[0514]將所述表示所述比特流的結尾處的訪問單元的位置與先前不可丟棄畫面的位置之間的差的信息設置為最小值。
[0515](7)根據(I)到(6)、(8)和(9)中任一項所述的圖像編碼裝置，其中，
[0516]當所述當前畫面既不是第一個畫面也不是最后一個畫面而是參考畫面時，
[0517]所述設置單元將所述表示空單元類型的信息設置為表示要被參考的的拖尾畫面的值，所述拖尾畫面不屬于臨時子層，
[0518]將所述表示比特流接合的信息設置為“假”，并且
[0519]將所述表示所述比特流的結尾處的訪問單元的位置與先前不可丟棄畫面的位置之間的差的信息設置為最小值。
[0520](8)根據(I)到(6)、(7)和(9)中任一項所述的圖像編碼裝置，其中，
[0521 ]當所述當前畫面既不是第一個畫面也不是最后一個畫面并且也不是參考畫面時，
[0522]所述設置單元將所述表示空單元類型的信息設置為表示非參考畫面的值，所述非參考畫面不屬于臨時子層，
[0523]將所述表示比特流接合的信息設置為“假”，并且
[0524]將所述表示所述比特流的結尾處的訪問單元的位置與先前不可丟棄畫面的位置之間的差的信息設置為最小值。
[0525](9)根據(I)到(8)中任一項所述的圖像編碼裝置，還包括:
[0526]速度控制單元，被配置成根據關于所述當前畫面的位置的信息、表示用于調整所述假設參考解碼器的部件的信息以及表示生成的代碼量的信息來設置目標代碼量值。
[0527](10)—種圖像編碼方法，包括:
[0528]根據關于位置的信息和關于參考的信息來設置與假設參考解碼器有關的頭信息，所述關于位置的信息和所述關于參考的信息是針對作為圖像數據的處理對象的當前畫面的；以及
[0529]對所述圖像數據進行編碼并且生成包括所述圖像數據的編碼數據和所設置的頭信息的比特流。
[0530](11) 一種圖像處理裝置，包括:
[0531]更新單元，被配置成更新與假設參考解碼器有關的頭信息，所述頭信息被包括在包含通過對圖像數據進行編碼而生成的編碼數據的比特流中，所述更新使得所述比特流與另外的比特流的接合成為可能。
[0532](12)根據(11)以及(13)到(19)中任一項所述的圖像處理裝置，其中，所述更新單元對所述比特流進行重新編碼，以適當地調整要被接合的比特流的結尾處的編碼畫面緩沖器的位置與接合比特流的起始處的編碼畫面緩沖器的位置之間的關系。
[0533](13)根據(11)、(12)以及(14)到(19)中任一項所述的圖像處理裝置，其中，所述更新單元用與先前不可丟棄畫面對應的值來更新表示所述比特流的結尾處的空單元類型的?目息O
[0534](14)根據(11)到(13)以及(15)到(19)中任一項所述的圖像處理裝置，其中，所述更新單元用適合于比特流接合的值來更新與從編碼畫面緩沖器進行讀出有關的信息。
[0535](15)根據(11)到(14)以及(16)到(19)中任一項所述的圖像處理裝置，其中，所述更新單元對所述比特流的結尾處的先前不可丟棄畫面進行搜索，并且根據所述搜索的結果來更新所述比特流的結尾處的訪問單元的位置與所述先前不可丟棄畫面的位置之間的差。
[0536](16)根據(11)到(15)以及(17)到(19)中任一項所述的圖像處理裝置，其中，所述更新單元用適合于比特流接合的值來更新與從所述比特流的結尾處的編碼畫面緩沖器和解碼畫面緩沖器進行讀出有關的信息。
[0537](17)根據(11)到(16)、(18)和(19)中任一項所述的圖像處理裝置，其中，所述更新單元用適合于比特流接合的值來更新與從所述比特流的起始處的編碼畫面緩沖器和解碼畫面緩沖器進行讀出有關的信息。
[0538](18)根據(11)到(17)以及(19)中任一項所述的圖像處理裝置，其中，所述更新單元用根據表示從要被接合的比特流的結尾處的編碼畫面緩沖器進行讀出的延遲的信息的值來更新表示從所述接合比特流的起始處的訪問單元的編碼畫面緩沖器進行讀出的延遲的信息。
[0539](19)根據(11)到(18)中任一項所述的圖像處理裝置，還包括:
[0540]接合單元，被配置成將由所述更新單元更新的比特流與另外的比特流接合。
[0541 ] (20)—種圖像處理方法，包括:
[0542]更新與假設參考解碼器有關的頭信息，所述頭信息被包括在包含通過對圖像數據進行編碼而生成的編碼數據的比特流中，所述更新使得所述比特流與另外的比特流的接合成為可能。
[0543]附圖標記列表
[0544]100圖像編碼裝置
[0545]125速度控制單元
[0546]126 Nal_unit_type確定單元
[0547]141 HRD跟蹤單元
[0548]142目標比特確定單元
[0549]200比特流接合裝置
[0550]211緩沖器確定單元
[0551]212 Nal_unit_type重寫單元
[0552]213緩沖時段重寫單元
[0553]214比特流接合單元
[0554]300比特流接合裝置
[0555]312 PrevNonDiscardablePic搜索單兀
[0556]400比特流接合裝置
[0557]413 PrevCpbRemovalDelay搜索單兀
[0558]414緩沖時段重寫單元
[0559]415畫面定時SEI重寫單元
【主權項】
1.一種圖像編碼裝置，包括: 設置單元，被配置成根據關于位置的信息和關于參考的信息來設置與假設參考解碼器有關的頭信息，所述關于位置的信息和所述關于參考的信息是針對作為圖像數據的處理對象的當前畫面的；以及 編碼單元，被配置成對所述圖像數據進行編碼并且生成包括所述圖像數據的編碼數據以及由所述設置單元設置的頭信息的比特流。2.根據權利要求1所述的圖像編碼裝置，其中，所述設置單元對表示空單元類型的信息進行設置。3.根據權利要求2所述的圖像編碼裝置，其中， 所述設置單元還對表示比特流接合的信息進行設置。4.根據權利要求3所述的圖像編碼裝置，其中， 所述設置單元還對表示所述比特流的結尾處的訪問單元的位置與先前不可丟棄畫面的位置之間的差的信息進行設置。5.根據權利要求4所述的圖像編碼裝置，其中， 當所述當前畫面是第一個畫面時， 所述設置單元將所述表示空單元類型的信息設置為表示IDR畫面的值， 將所述表示比特流接合的信息設置為“真”，并且 將所述表示所述比特流的結尾處的訪問單元的位置與先前不可丟棄畫面的位置之間的差的信息設置為最小值。6.根據權利要求4所述的圖像編碼裝置，其中， 當所述當前畫面是最后一個畫面時， 所述設置單元將所述表示空單元類型的信息設置為表示要被參考的拖尾畫面的值，所述拖尾畫面不屬于臨時子層， 將所述表示比特流接合的信息設置為“假”，并且 將所述表示所述比特流的結尾處的訪問單元的位置與先前不可丟棄畫面的位置之間的差的信息設置為最小值。7.根據權利要求4所述的圖像編碼裝置，其中， 當所述當前畫面既不是第一個畫面也不是最后一個畫面而是參考畫面時， 所述設置單元將所述表示空單元類型的信息設置為表示要被參考的的拖尾畫面的值，所述拖尾畫面不屬于臨時子層， 將所述表示比特流接合的信息設置為“假”，并且 將所述表示所述比特流的結尾處的訪問單元的位置與先前不可丟棄畫面的位置之間的差的信息設置為最小值。8.根據權利要求4所述的圖像編碼裝置，其中， 當所述當前畫面既不是第一個畫面也不是最后一個畫面并且也不是參考畫面時， 所述設置單元將所述表示空單元類型的信息設置為表示非參考畫面的值，所述非參考畫面不屬于臨時子層， 將所述表示比特流接合的信息設置為“假”，并且 將所述表示所述比特流的結尾處的訪問單元的位置與先前不可丟棄畫面的位置之間的差的信息設置為最小值。9.根據權利要求1所述的圖像編碼裝置，還包括: 速度控制單元，被配置成根據關于所述當前畫面的位置的信息、表示用于調整所述假設參考解碼器的部分的信息以及表示生成的代碼量的信息來設置目標代碼量值。10.—種圖像編碼方法，包括: 根據關于位置的信息和關于參考的信息來設置與假設參考解碼器有關的頭信息，所述關于位置的信息和所述關于參考的信息是針對作為圖像數據的處理對象的當前畫面的；以及 對所述圖像數據進行編碼并且生成包括所述圖像數據的編碼數據和所設置的頭信息的比特流。11.一種圖像處理裝置，包括: 更新單元，被配置成更新與假設參考解碼器有關的頭信息，所述頭信息被包括在包含通過對圖像數據進行編碼而生成的編碼數據的比特流中，所述更新使得所述比特流與另外的比特流的接合成為可能。12.根據權利要求11所述的圖像處理裝置，其中， 所述更新單元對所述比特流進行重新編碼，以適當地調整要被接合的比特流的結尾處的編碼畫面緩沖器的位置與接合比特流的起始處的編碼畫面緩沖器的位置之間的關系。13.根據權利要求11所述的圖像處理裝置，其中， 所述更新單元用與先前不可丟棄畫面對應的值來更新表示所述比特流的結尾處的空單元類型的信息。14.根據權利要求11所述的圖像處理裝置，其中， 所述更新單元用適合于比特流接合的值來更新與從編碼畫面緩沖器進行讀出有關的?目息O15.根據權利要求11所述的圖像處理裝置，其中， 所述更新單元對所述比特流的結尾處的先前不可丟棄畫面進行搜索，并且根據所述搜索的結果來更新所述比特流的結尾處的訪問單元的位置與所述先前不可丟棄畫面的位置之間的差。16.根據權利要求11所述的圖像處理裝置，其中， 所述更新單元用適合于比特流接合的值來更新與從所述比特流的結尾處的編碼畫面緩沖器和解碼畫面緩沖器進行讀出有關的信息。17.根據權利要求11所述的圖像處理裝置，其中， 所述更新單元用適合于比特流接合的值來更新與從所述比特流的起始處的編碼畫面緩沖器和解碼畫面緩沖器進行讀出有關的信息。18.根據權利要求17所述的圖像處理裝置，其中， 所述更新單元用根據表示從要被接合的比特流的結尾處的編碼畫面緩沖器進行讀出的延遲的信息的值來更新表示從所述接合比特流的起始處的訪問單元的編碼畫面緩沖器進行讀出的延遲的信息。19.根據權利要求11所述的圖像處理裝置，還包括: 接合單元，被配置成將由所述更新單元更新的比特流與另外的比特流接合。20.—種圖像處理方法，包括: 更新與假設參考解碼器有關的頭信息，所述頭信息被包括在包含通過對圖像數據進行編碼而生成的編碼數據的比特流中，所述更新使得所述比特流與另外的比特流的接合成為可能。
【文檔編號】H04N19/40GK106063275SQ201580011410
【公開日】2016年10月26日
【申請日】2015年2月24日 公開號201580011410.9, CN 106063275 A, CN 106063275A, CN 201580011410, CN-A-106063275, CN106063275 A, CN106063275A, CN201580011410, CN201580011410.9, PCT/2015/55142, PCT/JP/15/055142, PCT/JP/15/55142, PCT/JP/2015/055142, PCT/JP/2015/55142, PCT/JP15/055142, PCT/JP15/55142, PCT/JP15055142, PCT/JP1555142, PCT/JP2015/055142, PCT/JP2015/55142, PCT/JP2015055142, PCT/JP201555142
【發明人】田中潤一, 今村明弘, 中神央二, 名云武文, 荒木祐一, 藤本勇司, 服部忍, 河野雅一
【申請人】索尼公司