運動圖像編碼方法、運動圖像編碼裝置、運動圖像解碼方法、運動圖像解碼裝置及運動圖...的制作方法
運動圖像編碼方法、運動圖像編碼裝置、運動圖像解碼方法、運動圖像解碼裝置及運動圖 ...的制作方法
【專利摘要】運動圖像編碼裝置（100）具備幀內/幀間預測部（107），該幀內/幀間預測部（107）對于包含在編碼對象圖片中并且與編碼對象塊在空間上鄰接的、或者包含在與編碼對象圖片不同的圖片中并且在時間使鄰接的1個以上的對應塊，向列表選擇性地追加對應塊的運動矢量時，通過對時間上鄰接的對應塊的第1運動矢量進行縮放處理，計算第2運動矢量，判定第2運動矢量是否包含在規定的大小的范圍內，如果第2運動矢量包含在規定的大小的范圍內，則將第2運動矢量追加到列表中。
【專利說明】運動圖像編碼方法、運動圖像編碼裝置、運動圖像解碼方法、運動圖像解碼裝置及運動圖像編解碼裝置
【技術領域】
[0001]本發明涉及將多個圖片按每個塊進行編碼的運動圖像編碼方法、以及將多個圖片按每個塊進行解碼的運動圖像解碼方法。
【背景技術】
[0002]在H.264的幀間預測解碼中，B切片(slice)等中包含的2方向參照塊，通過參照與包含有解碼對象塊的圖片不同的圖片中包含的2個圖像數據，對解碼對象塊的圖像數據進行預測解碼。
[0003]另外，在H.264中，存在被稱為直接模式的、用于制作預測圖像的運動矢量的導出模式(非專利文獻I的8.4.1.2.1節、3.45節等)。
[0004]在H.264的直接模式中，存在以下的(S)和(T) 2個模式。
[0005](T)(雖然時間上不同)將在空間上位于同一位置的co_located塊(Col_Blk)的運動矢量mvCol以規定的比進行縮放處理而利用的時間直接模式(temporal mode)。
[0006](S)(雖然在時間上是同一顯示時刻的圖片)利用與空間上不同位置的塊的運動矢量有關的數據(運動數據:運動數據)的空間直接模式(special direct mode)。
[0007]在先技術文獻
[0008]非專利文獻
[0009]非專利文獻1:1TU-T H.264 03/2010
[0010]非專利文獻2:WD4:Working Draft4of High-Efficiency Video Coding JointCollaborative Team on Video Coding (JCT-VC) of ITU-T SG16WP3and IS0/IEC JTCl/SC29/WG116th Meeting:Torino,IT，14_22July，2011、Document:JCTVC-F803_d2
[0011]發明的概要
[0012]發明所要解決的課題
[0013]但是，在上述的時間直接模式中，在縮放處理時需要乘法計算。因此，在縮放處理后，在編碼側或解碼側處理的運動矢量的比特精度范圍可能會變大，所以編碼側或解碼化側的負荷增加。
【發明內容】
[0014]在此，本發明提供一種削減處理負荷并能夠保持編碼效率的運動圖像編碼方法及運動圖像解碼方法等。
[0015]解決課題所采用的手段
[0016]本發明的一個方式的運動圖像編碼方法，是將多個圖片按每個塊進行編碼的運動圖像編碼方法，包括以下步驟:追加步驟，對于包含在編碼對象圖片中并且與編碼對象塊在空間上鄰接的、或者包含在與所述編碼對象圖片不同的圖片中并且在時間上鄰接的I個以上的對應塊的每一個，向列表選擇性地追加所述對應塊的運動矢量；選擇步驟，從所述列表選擇為了進行所述編碼對象塊的編碼而使用的運動矢量；以及編碼步驟，使用在所述選擇步驟中選擇的所述運動矢量，對所述編碼對象塊進行編碼；在所述追加步驟中，通過對所述時間上鄰接的對應塊的第I運動矢量進行縮放處理，計算第2運動矢量，判定所計算出的所述第2運動矢量是否包含在規定的大小的范圍內，如果所述第2運動矢量包含在所述規定的大小的范圍內，則將所述第2運動矢量作為所述對應塊的運動矢量追加到所述列表中。
[0017]此外，本發明的一個方式的運動圖像解碼方法，是將多個圖片按每個塊進行解碼的運動圖像解碼方法，包括以下步驟:追加步驟，對于包含在解碼對象圖片中并且與解碼對象塊在空間上鄰接的、或者包含在與所述解碼對象圖片不同的圖片中并且在時間上鄰接的I個以上的對應塊的每一個，向列表選擇性地追加所述對應塊的運動矢量；選擇步驟，從所述列表選擇為了進行所述解碼對象塊的解碼而使用的運動矢量；以及解碼步驟，使用在所述選擇步驟中選擇的所述運動矢量，對所述解碼對象塊進行解碼；在所述追加步驟中，通過對所述時間上鄰接的對應塊的第I運動矢量進行縮放處理，計算第2運動矢量，判定所計算出的所述第2運動矢量是否包含在規定的大小的范圍內，如果所述第2運動矢量包含在所述規定的大小的范圍內，則將所述第2運動矢量作為所述對應塊的運動矢量追加到所述列表中。
[0018]另外，這些整體或具體的方式可以通過系統、方法、集成電路、計算機程序或計算機可讀取的CD-ROM等記錄介質來實現，也可以通過系統、方法、集成電路、計算機程序及記錄介質的任意組合來實現。
[0019]發明的效果
[0020]根據本發明，能夠在削減處理負荷的同時保持編碼效率。
【專利附圖】
【附圖說明】
[0021]圖1是說明在解碼對象塊(Curr_Blk)的解碼中參照的2張圖片的圖。
[0022]圖2A是說明參照圖片列表(RefPicListO)的圖。
[0023]圖2B是說明參照圖片列表(RefPicListl)的圖。
[0024]圖3是對于CurrBlk的參照圖片列表RefPicListO和RefPicListl說明picNum的圖。
[0025]圖4是說明在(T)的時間直接模式(temporal mode)中利用的信息的圖。
[0026]圖5A是用于說明時間直接模式(temporal mode)中的縮放處理的圖，是簡化說明co-located塊、運動矢量mvLOCol的圖。
[0027]圖5B是用于說明時間直接模式(temporal mode)中的縮放處理的圖，是說明縮放處理的概念的圖。
[0028]圖6是以與非專利文獻I中記載的導出式的關系來示出STEPl~3的圖。
[0029]圖7是說明(S)的空間直接模式(special direct mode)的圖。
[0030]圖8是表示實施方式I的運動圖像編碼裝置的構成的框圖。
[0031]圖9是說明實施方式I的運動圖像編碼裝置中的動作的流程圖。
[0032]圖10是說明幀內/幀間預測部所設定的合并候選塊[I…6]的圖。
[0033]圖11是說明合并候選列表(mergeCandList)的概念的圖。
[0034]圖12是表示在由幀內/幀間預測部進行的重復判定中判定為重復的例子的圖。[0035]圖13是說明取得合并候選塊[i]的運動數據的處理的流程圖。
[0036]圖14是說明由幀內/幀間預測部進行的縮放處理的一例的流程圖。
[0037]圖15是說明由幀內/幀間預測部進行的縮放處理的其他例的流程圖。
[0038]圖16是表示實施方式I的運動圖像解碼裝置的構成的框圖。
[0039]圖17是說明實施方式I的運動圖像解碼裝置中的動作的流程圖。
[0040]圖18是用于說明合并候選列表(mergeCandList)的更新處理的圖，Ca)是表示初始化生成的合并候選列表(mergeCandList)的圖，(b)是表示更新處理后的合并候選列表(mergeCandList)的圖。
[0041 ]圖19A是說明HEVC中的運動預測矢量mvpLX的圖。
[0042]圖19B是說明運動預測矢量mvpLX的候選列表mvpListLX CmvpListLO和mvpListLl)的圖。
[0043]圖20是說明預測候選塊群或預測候選塊的圖。
[0044]圖21是實現內容分發服務的內容供給系統的整體結構圖。
[0045]圖22是數字廣播用系統的整體結構圖。
[0046]圖23是表示電視機的結構例的模塊圖。
[0047]圖24是表示對作為光盤的記錄介質進行信息的讀寫的信息再現/記錄部的結構例的模塊圖。
[0048]圖25是表示作為光盤的記錄介質的構造例的圖。
[0049]圖26A是表示便攜電話的一例的圖。
[0050]圖26B是表示便攜電話的結構例的模塊圖。
[0051]圖27是表示復用數據的結構的圖。
[0052]圖28是示意地表示各流在復用數據中怎樣被復用的圖。
[0053]圖29是更詳細地表示在PES包序列中視頻流怎樣被保存的圖。
[0054]圖30是表示復用數據的TS包和源包的構造的圖。
[0055]圖31是表示PMT的數據結構的圖。
[0056]圖32是表示復用數據信息的內部結構的圖。
[0057]圖33是表示流屬性信息的內部結構的圖。
[0058]圖34是表示識別影像數據的步驟的圖。
[0059]圖35是表示實現各實施方式的運動圖像編碼方法及運動圖像解碼方法的集成電路的結構例的模塊圖。
[0060]圖36是表示切換驅動頻率的結構的圖。
[0061]圖37是表示識別影像數據、切換驅動頻率的步驟的圖。
[0062]圖38是表示將影像數據的標準與驅動頻率建立了對應的查找表的一例的圖。
[0063]圖39A是表示將信號處理部的模塊共用的結構的一例的圖。
[0064]圖39B是表不將信號處理部的模塊共用的結構的另一例的圖。
【具體實施方式】
[0065](成為本發明的基礎的見解)
[0066]圖1是說明在解碼對象塊(Curr_Blk)的解碼中參照的2張圖片的圖。在圖中，“300”~“304”是圖片編號(PicNum)，是將顯示順序PicOrderCnt ()的值從小到大排列的圖。解碼對象塊是包含在圖片編號302 (CurrPic)中的塊。在該例中，解碼對象塊參照存在于顯示順序前方的PicNum301的圖片和存在于顯示順序后方的PicNum304的圖片的圖像數據。以下，箭頭通例如該例所示，箭頭的根部表示參照的一側(解碼對象側)的圖片，箭頭的頭部表示在解碼中利用的(被參照的)一側的圖片。
[0067]以下，在說明書和附圖中將解碼對象塊以黑方塊表示并簡單記為Curr_Blk。此外，箭頭通例如該例所示，箭頭的根部表示參照的一側的(解碼對象側)的圖片，箭頭的頭部表示在解碼中利用的(被參照的)一側的圖片。此外，設PicNum302的圖片是包含解碼對象塊的圖片(解碼對象圖片)。
[0068]圖2A及圖2B是說明2個參照圖片列表(RefPicListO及RefPicListl)的圖。
[0069]用于確定第I個參照圖片的列表是圖2A所示的參照圖片列表O (RefPicListO)。用于確定第2個參照圖片的列表是圖2B所示的參照圖片列表l(RefPicListl)。參照圖片列表是如下的列表:不是以“302”等值較大的picNum、而是能夠僅以“O”或“I”這樣的小的索引值(refldxLO和refldxLl)來表示解碼對象塊參照哪個參照圖片。作為切片中的各個塊的解碼對象塊(Curr_Blk)參照哪個圖片由該列表中的索引的值給出。
[0070]在包含有解碼對象塊的B切片的解碼時，將列表初期值化(生成)。
[0071]參照圖片列表RefPicListO和RefPicListl以索引的低位(索引值較小的編號)所示的圖片編號PicNum不同的方式排列。將參照圖片列表分別以解碼對象圖片的picNum302為界而分為前半部分和后半部分，在參照圖片列表O的前半部分按降序(301，300…)分配。此外，在參照圖片列表1 的前半部分按升序(303，304…)分配。
[0072]例如，從碼串對于參照圖片列表O及參照圖片列表1分別以最小的“O”賦予索引的值時，對圖片302決定以下的2個參照圖片。
[0073]作為第I個參照圖片，決定作為RefPicListO [O]的值的前I個圖片301。作為第2個參照圖片，決定作為RefPicListl [O]的值的后I個圖片303。
[0074]在圖1所示的例子中，第I個索引為refldxLO = 0，參照圖片301，第2個索引為refIdxLl = 1，參照圖片 304。
[0075]圖3是說明對于圖片302中包含的CurrBlk的參照圖片列表RefPicLiStO和RefPicListl使refldxLO及refldxLl的值從“O”開始增加的情況下所示出的picNum的圖。從解碼對象圖片(picNum302)來看,各列表的索引的值(refldxLO的值和refldxLl的值)越增加，由索引的值確定的圖片離解碼對象圖片越遠。
[0076]特別是，在表示第2個參照的RefPicListl中，在列表的索引的較小值的部分，按照以 CurrPic 圖片 302 之后(greater than PicOrderCnt (CurrPic)的圖片(對于已解碼且保持在存儲器中的圖片)降序設定的規則保持索引(將其稱為Rulel)。按照該Rulel，由RefPicListl [0]確定的圖片成為圖中以虛線圓示出的picNum303。
[0077]如上述那樣，在說明書和附圖中，如果沒有特別說明，將第I個參照圖片列表省略為RefPicLi StO，將該列表中的索引省略為refldxLO。將第2個參照圖片列表省略為RefPicLis11，將該列表中的索引省略為refldxLl (詳細情況請參照圖中的說明及非專利文獻 I 的 8.2.4.2.3 節 8.2.4Decoding process for reference picture listsconstruction)。[0078]接下來,依次說明H.264的(T)時間直接模式(temporal mode)及(S)空間直接模式(special direct mode)。
[0079]圖4是說明在(T)的時間直接模式(temporal mode)中利用的信息的圖。
[0080]圖中陰影所示的塊是“(雖然時間上不同)在空間上位于同一位置的co_located塊(Col_Blk)”。時間位置由圖3中說明的第2個參照列表IRefPicListl的索引的值“O”確定而成為圖片303。在基于前述的Rulel初始化的RefPicListl列表中，除了參照存儲器中在時間上不存在后方的圖片等特別情況之外，索引值“O”所示的圖片(RefPicListl [0]的值)成為參照存儲器中存在的顯示時間上最接近的后方的圖片。
[0081]接著，時間直接模式使用以陰影表示的Col_Blk的“運動數據”導出以黑方塊表示的解碼對象塊Curr_Blk的運動矢量mvLO、mvLl。運動數據中包含以下信息。
[0082](i) Col_Blk 所參照的參照圖片 refldxLO [refidx]。
[0083]Col_Blk 作為參照圖片，參照圖片 picNum301 (RefPicListO [I]的值)。
[0084](ii)與參照圖片有關的運動矢量mvLOCol。
[0085]在圖中，圖片picNum301中的虛線箭頭是在Col_Blk的解碼時使用的第I個運動矢量 mvLOCol。
[0086]以下，在說明書和附圖中，虛線箭頭表示運動矢量。運動矢量mvLOCol是表示在Col_Blk的解碼時使用的col_Blk的預測圖像的運動矢量。
[0087]圖5A及圖5B是說明時間直接模式(temporal mode)中的縮放處理的圖。
[0088]縮放處理是將運動矢量mvLOCol的值以與參照圖片的距離之差的比進行縮放，從而導出解碼對象塊Curr_Blk的運動矢量mvLO和運動矢量mvLl的處理。
[0089]圖5A是將圖1?4的參照構造、co-located塊、運動矢量mvLOCol簡化說明的圖。
[0090]圖5B是說明縮放處理的概念的圖。
[0091]縮放處理簡單地說，可以認為是圖5B所示那樣的三角形DEF與三角形ABC的相似。
[0092]三角形DEF是與Col_Blk有關的三角形。
[0093]點D是Col_Blk的位置。點E是Col_Blk所參照的圖片的位置。點F是以點E為基點的運動矢量mvLOCol所指示的坐標。
[0094]三角形ABC是與Curr_Blk有關的三角形。
[0095]點A是作為解碼對象的塊Curr_Blk的位置。點B是該塊Curr_Blk所參照的圖片的位置。點C是將要導出的矢量所指示的坐標。
[0096]首先，在STEPl 中導出 ScaleFactor, ScaleFactor 是(I)從 Curr_Blk 到 Curr_Blk所參照的圖片的相對距離(tb)與(2)從Col_Blk到Col_Blk所參照的圖片的相對距離(tx)的比。例如，在該圖中，ScaleFactor 是 tb = 302 — 301 = I 與 tx = 303 — 301 = 2 的比(tb/tx),0.5 (1/2)為縮放比(相似比為1:2)。這相當于三角形ABC與三角形DEF的相似比為1/2。
[0097]ScaleFactor = tb/tx = (302 — 301) / (303 — 301)
[0098]= 1/2...(STEPl)
[0099]在STEP2中，將以原先給出的邊EF為長度的矢量EF乘以所得到的縮放比，求得矢量BC。該矢量BC是第I個矢量(mvLO)。[0100]mvLO = ScaleFactorXmvLOCol...(STEP2)
[0101]在STEP3中，使用在STEP2中導出的mvLO和使方向反轉的mvLOCo I，導出作為導出對象的另I個矢量mvLl。
[0102]mvLl = mvLO — mvLOCol...(STEP3)
[0103]圖6 是通過與非專利文獻 I 的 8.4.L 2.3 節 Derivation process for temporaldirect luma motion vector and reference index prediction mode 中記載的導出式的關系來示出步驟STEPl?3的圖。
[0104]圖7是說明2個直接模式中的另一方的(S)空間直接模式(special direct mode)的圖。
[0105]在該模式中，對于與解碼對象塊(Curr_Blk)中包含的運動補償單位塊鄰接的塊N(例如鄰接塊A、鄰接塊B、鄰接塊C)，取得與前述的運動矢量有關的數據(運動數據)(在此指的是(運動矢量mvLXN、參照索引refldxLXN)的值的組。以下相同)。
[0106]在與運動矢量有關的數據(以下也稱為運動數據)中，將具備包含參照索引(refldxLXN)的值最小的“O”的自然數(minPositive值)的塊的運動數據(refIdxL0、Ll和與其對應的mvL0、mvLl)直接使用(非專利文獻8-186,187式)。具體地說,通過以下的計算分別導出refldxLO和LI。
[0107]refldxLO = MinPositive (refIdxLOA, MinPositive (refIdxLOB, refIdxLOC))(8-186)
[0108]refldxLl = MinPositive (refIdxLlA, MinPositive (refIdxLlB, refIdxLlC))(8-187)
[0109]在該空間直接模式中，對于運動矢量mvLO或mvLl，為了將包含從同一圖片到參照圖片的距離(refIdxL0、Ll)的“motiondata”成組地利用，參照鄰接塊所利用的參照圖片即可，原則上不需要像時間直接模式那樣對mvLO或mvLl進行縮放。
[0110]如以上那樣，對于(T)時間直接模式,在使用ScaleFactor (DistScaleFactor)的運動矢量mvLO的導出中，需要將ScaleFactor與mvLOCol相乘的計算。因此，例如將在解碼側處理的運動矢量的大小的范圍限制為能夠以某比特精度表示的范圍的情況下，在編碼側需要控制運動矢量的生成，以使時間直接的相乘后的運動矢量的大小收斂在上述范圍內，編碼側的處理負荷增加。
[0111]此外，在以往的H.264中，使用(T)時間直接模式還是使用(S)空間直接的切換，以切片為單位僅能進行I次。
[0112]在HEVC中，比起H.264中的切片單位的空間直接模式及時間直接模式，正在研究能夠實現靈活的運動矢量的導出方法的指定的、被稱為合并模式的模式。通過與該新的HEVC的合并模式的組合，在限制上述運動矢量的大小的范圍的情況下，期望削減處理負荷與保持編碼效率之間的適當的平衡。
[0113]在此，本發明的一個方式的運動圖像編碼方法，是將多個圖片按每個塊進行編碼的運動圖像編碼方法，包括以下步驟:追加步驟，對于包含在編碼對象圖片中并且與編碼對象塊在空間上鄰接的、或者包含在與所述編碼對象圖片不同的圖片中并且在時間上鄰接的I個以上的對應塊的每一個，向列表選擇性地追加所述對應塊的運動矢量；選擇步驟，從所述列表選擇為了進行所述編碼對象塊的編碼而使用的運動矢量；以及編碼步驟，使用在所述選擇步驟中選擇的所述運動矢量，對所述編碼對象塊進行編碼；在所述追加步驟中，通過對所述時間上鄰接的對應塊的第I運動矢量進行縮放處理，計算第2運動矢量，判定所計算出的所述第2運動矢量是否包含在規定的大小的范圍內，如果所述第2運動矢量包含在所述規定的大小的范圍內，則將所述第2運動矢量作為所述對應塊的運動矢量追加到所述列表中。
[0114]由此，能夠將在編碼側及解碼側處理的運動矢量的大小的范圍始終限制在能夠以某比特精度表示的范圍內。
[0115]此外，也可以是，在所述追加步驟中，如果所述第2運動矢量不包含在所述規定的大小的范圍內，則對所述第2運動矢量進行縮減以收斂在所述規定的大小的范圍內，并將縮減后的運動矢量作為所述對應塊的運動矢量追加到所述列表。
[0116]此外，也可以是，在所述追加步驟中，如果所述第2運動矢量不包含在所述規定的大小的范圍內，則不將所述第2運動矢量追加到所述列表。
[0117]此外，也可以是，所述列表是具有確定信息的合并候選列表，該確定信息用于確定所述對應塊的所述運動矢量、以及由所述對應塊參照的圖片，在所述追加步驟中，除了所述對應塊的所述運動矢量，還將所述確定信息追加到所述合并候選列表，在所述選擇步驟中，從所述合并候選列表選擇為了進行所述編碼對象塊的編碼而使用的運動矢量及確定信息，在所述編碼步驟中，使用在所述選擇步驟中選擇的所述運動矢量及所述確定信息來生成所述編碼對象塊的預測圖像，從而對所述編碼對象塊進行編碼。
[0118]此外，也可以是，所述列表是預測運動矢量候選列表，在所述追加步驟中，還判定通過對所述空間上鄰接的對應塊的第3運動矢量進行縮放處理而計算出的第4運動矢量是否包含在規定的大小的范圍內，如果所述第4運動矢量包含在所述規定的大小的范圍內，則將所述第4運動矢量作為預測運動矢量的候選追加到所述預測運動矢量候選列表中，在所述選擇步驟中，從所述預測運動矢量候選列表選擇為了進行所述編碼對象塊的編碼而使用的預測運動矢量，在所述編碼步驟中，進行包含如下的編碼的所述編碼對象塊的編碼:使用在所述選擇步驟中選擇的所述預測運動矢量，對所述編碼對象塊的運動矢量進行編碼。
[0119]此外，在所述追加步驟中，如果所述第4運動矢量不包含在所述規定的大小的范圍內，則對所述第4運動矢量進行縮減以收斂在所述規定的大小的范圍內，并將縮減后的運動矢量作為所述預測運動矢量的候選追加到所述預測運動矢量候選列表中。
[0120]此外，也可以是，所述規定的大小的范圍由運動矢量的比特精度決定，所述比特精度使用由簡表(profile)或級別(level)規定的值、或者向頭附加的值。
[0121]此外，本發明的一個方式的運動圖像解碼方法，是將多個圖片按每個塊進行解碼的運動圖像解碼方法，包括以下步驟:追加步驟，對于包含在解碼對象圖片中并且與解碼對象塊在空間上鄰接的、或者包含在與所述解碼對象圖片不同的圖片中并且在時間上鄰接的I個以上的對應塊的每一個，向列表選擇性地追加所述對應塊的運動矢量；選擇步驟，從所述列表選擇為了進行所述解碼對象塊的解碼而使用的運動矢量；以及解碼步驟，使用在所述選擇步驟中選擇的所述運動矢量，對所述解碼對象塊進行解碼；在所述追加步驟中，通過對所述時間上鄰接的對應塊的第I運動矢量進行縮放處理，計算第2運動矢量，判定所計算出的所述第2運動矢量是否包含在規定的大小的范圍內，如果所述第2運動矢量包含在所述規定的大小的范圍內，則將所述第2運動矢量作為所述對應塊的運動矢量追加到所述列表中。
[0122]由此，能夠將在編碼側及解碼側處理的運動矢量的大小的范圍始終限制在能夠由某比特精度表示的范圍內。
[0123]此外，也可以是，在所述追加步驟中，如果所述第2運動矢量不包含在所述規定的大小的范圍內，則對所述第2運動矢量進行縮減以收斂在所述規定的大小的范圍內，并將縮減后的運動矢量追加到所述列表中。
[0124]此外，也可以是，所述追加步驟中，如果所述第2運動矢量不包含在所述規定的大小的范圍內，則不將所述第2運動矢量追加到所述列表。
[0125]此外，也可以是，所述列表是具有確定信息的合并候選列表，該確定信息用于確定所述對應塊的所述運動矢量、以及由所述對應塊參照的圖片，在所述追加步驟中，除了所述對應塊的所述運動矢量，還將所述確定信息追加到所述合并候選列表，在所述選擇步驟中，從所述合并候選列表選擇為了進行所述解碼對象塊的解碼而使用的運動矢量及確定信息，在所述解碼步驟中，使用在所述選擇步驟中選擇的所述運動矢量及所述確定信息，生成所述解碼對象塊的預測圖像，從而對所述解碼對象塊進行解碼。
[0126]此外，也可以是，所述列表是預測運動矢量候選列表，在所述追加步驟中，還判定通過對所述空間上鄰接的對應塊的第3運動矢量進行縮放處理而計算出的第4運動矢量是否包含在規定的大小的范圍，如果所述第4運動矢量包含在所述規定的大小的范圍內，則將所述第4運動矢量作為預測運動矢量的候選追加到所述預測運動矢量候選列表，在所述選擇步驟中，從所述預測運動矢量候選列表選擇為了進行所述解碼對象塊的解碼而使用的預測運動矢量，在所述解碼步驟中，進行包括如下解碼在內的所述解碼對象塊的解碼:使用在所述選擇步驟中選擇的所述預測運動矢量，對所述解碼對象塊的運動矢量進行解碼。
[0127]此外，也可以是，在所述追加步驟中，如果所述第4運動矢量不包含在所述規定的大小的范圍內，則對所述第4運動矢量進行縮減以收斂在所述規定的大小的范圍內，并將縮減后的運動矢量作為所述預測運動矢量的候選追加到所述預測運動矢量候選列表中。
[0128]此外，也可以是，所述規定的大小的范圍由運動矢量的比特精度決定，所述比特精度使用由簡表或級別規定的值、或者向頭附加的值。
[0129]另外，這些整體或具體的方式可以通過系統、方法、集成電路、計算機程序或計算機可讀取的CD-ROM等記錄介質來實現，也可以通過系統、方法、集成電路、計算機程序及記錄介質的任意組合來實現。
[0130]以下，參照【專利附圖】
【附圖說明】本發明的實施方式。
[0131]另外，以下說明的實施方式都只是整體或具體的例子。以下的實施方式中示出的數值、形狀、材料、構成要素、構成要素的配置位置及連接形態、步驟、步驟的順序等只是一例，不意圖限定本發明。此外，以下的實施方式的構成要素中的、未記載于表示最上位概念的獨立權利要求的構成要素，作為任意的構成要素來說明。
[0132](實施方式I)
[0133]圖8是表示實施方式I的運動圖像編碼裝置的構成的框圖。
[0134]如圖8所示，運動圖像編碼裝置100主要具備:差分部101、變換部102、量化部103、熵編碼部110、逆量化部104、逆變換部105、加法部106、存儲器109、幀內/幀間預測部107、以及編碼控制部108。[0135]差分部101輸出殘差信號，該殘差信號是輸入圖像信號與預測圖像信號的差分。
[0136]變換部102對殘差信號進行從圖像區域向頻率區域的變換。量化部103對變換為頻率區域的殘差信號進行量化處理，輸出已量化殘差信號。
[0137]熵編碼部110對已量化殘差信號及解碼控制信號進行熵編碼，輸出已編碼比特流。
[0138]逆量化部104對已量化殘差信號進行逆量化處理。逆變換部105對逆量化處理后的殘差信號進行從頻率區域向圖像區域的變換，輸出已復原殘差信號。
[0139]加法部106將已復原殘差信號和預測圖像信號相加，成為解碼圖像信號。
[0140]幀內/幀間預測部107將解碼圖像信號以幀或塊等規定的單位保存到存儲器109中，并且接受編碼控制部108的指示，生成向差分部101及加法部106供給的預測圖像信號(基于解碼圖像信號和運動矢量導出的像素值)并輸出。
[0141]此外，幀內/幀間預測部107導出在編碼.解碼過程中以合并模式利用的運動矢量的候選列表、即合并候選列表(mergeCandList)。這時,巾貞內/巾貞間預測部107對于包含在編碼對象圖片中并且與編碼對象塊在空間上鄰接的、或者包含在與所述編碼對象圖片不同的圖片中并且在時間上鄰接的I個以上的對應塊的每一個，向合并候選列表選擇性地追加對應塊的運動矢量。此外，幀內/幀間預測部107通過對時間上鄰接的對應塊的第I運動矢量進行縮放處理，計算第2運動矢量，判定第2運動矢量是否包含在規定的大小的范圍內，如果第2運動矢量包含在規定的大小的范圍內，則將第2運動矢量作為對應塊的運動矢量追加到合并候選列表。此外，幀內/幀間預測部107從合并候選列表選擇為了進行編碼對象塊的編碼而使用的運動矢量。即，本實施方式的縮放處理主要在幀內/幀間預測部107中執行。另外，在本實施方式的運動圖像編碼裝置100中，追加部及選擇部相當于幀內/幀間預測部107。此外，在本實施方式的運動圖像編碼裝置100中，編碼部相當于差分部101、變換部102、量化部103、以及熵編碼部110等。
[0142]編碼控制部108決定圖中的各處理部，并且在試驗的基礎上決定將圖片以怎樣的控制參數進行編碼(該控制參數與解碼控制信號對應)，特別是提供給幀內/幀間預測部107。試驗例如通過以縮短圖中的虛線所示的已編碼比特流的比特長為目的的函數等來進行，決定為了進行某圖像數據的編碼的控制參數(例如幀間預測、幀內預測的區別等)并輸出。輸出信號中的運動矢量索引留待后述。
[0143]編碼控制部108在前述試驗的結果為良好的情況下，為了將使用了本實施方式的縮放處理的情況作為值來表示，決定后述的合并索引(mergejdx)并包含在解碼控制信號中輸出。此外，這種情況下的已量化殘差信號成為通過使用本實施方式的縮放方法生成的預測圖像信號而導出的值。
[0144]圖9是說明實施方式I的運動圖像編碼裝置中的動作的流程圖。
[0145]在此，說明在判定為編碼控制部108對編碼對象塊進行(I)幀間編碼(M0DE_INTER)、并且利用(2)合并模式(MergeMODE)(或者得到利用合并模式時的結果)的情況下的合并模式編碼動作。
[0146]HEVC的合并模式在概念上與通過H.264導入的直接模式相同。關于運動矢量的導出，不是與H.264的直接模式同樣地利用碼串，而是在空間(S)或時間(T)上利用其他塊的
運動矢量。[0147]與H.264的直接模式相比，具有以下的主要區別。
[0148](a)處理單位:能夠通過比切片單位更細致的PreduicitionUnit (PU)單位的merge_flag來切換是否利用合并模式。
[0149](b)選擇單位:不是2中擇I地指定利用(S)空間直接還是利用(T)時間直接，而是能夠從更多的候選值通過mergejdx來指定。具體地說，導出在編碼.解碼過程中以合并模式利用的運動矢量的候選列表、即合并候選列表(mergeCandList)。通過從該列表中的碼串指定的索引的值(merge」dx的值),確定使用哪個運動矢量候選。
[0150]合并模式的處理開始后，編碼控制部108將mergejdx的值及i的值設置為“O”(步驟S101)。在此，i是用于區別候選的方便起見的候選編號。
[0151]幀內/幀間預測部107對候選塊[I…N]設定以下2個類型的塊(步驟S102)。在此，設N = 6。
[0152](S)候選塊[L...(N-1)]是用于空間直接的I個以上的候選，通過候選塊的位置來區別[I…5]。
[0153](t)候選塊[N]是用于時間直接的候選。追加(append)到空間直接的情況的入口值“6”相當于CoJocated塊的索引。使用圖10在后面說明。
[0154]步驟S103以后是如下的循環:編碼控制部108將確定候選的編號i增量(步驟S103),決定輸出精度高的目的函數的運動矢量導出模式。
[0155]幀內/幀間預測部107判定候選塊[i]是否能夠在存儲器上利用(available,可)(步驟S104)。例如，對于位于編碼對象塊的下方向的塊等、不是已編碼(解碼)的塊(未保持在存儲器中的塊)，判定為無法利用。
[0156]判定的結果為無法利用的情況下(在步驟S104中為“否”:not available,不可)，將merge_idx的值保持為當前的值,并轉移到下一候選i (回到步驟S103)。
[0157]判定的結果為能夠利用的情況下(步驟S104中為“是” available，可)，進入下一步驟。
[0158]幀內/幀間預測部107判定候選塊[i]的運動數據(mvLO, mvLl, refldxLO,refldxLl的組，以下相同)是否與過去的候選塊[I…(i 一 I)]的已試驗的運動數據(mvLO,refldxLO，mvLl，refldxLl)重復(步驟S105)。該判定使用圖12在后面說明。
[0159]判定的結果為重復的情況下(步驟S105中為“是”:duplicated),將merge_idx的值保持當前的值，并且轉移到下一候選i (返回步驟S103)。
[0160]判定的結果為不重復、即新的運動數據的情況下(在步驟S105中為“否”:notduplicated)，進入下一步驟。另外，通過能否利用的判定處理(步驟S104)和是否重復的判定處理(步驟S105)所得到的,是關于運動矢量的合并候選列表(mergeCandLis),使用圖11在后面說明。
[0161]接著,幀內/幀間預測部107取得或導出候選塊[i]的運動數據(mvLO,refldxLO,mvLl,refldxLl)(步驟S106)。在此,候選塊[i]是以時間直接為前提的Colocated塊的情況下，使用圖14進行后述的縮放處理。
[0162]另外，在本實施方式中，在步驟S106中，候選塊[i]是以時間直接為前提的Colocated塊的情況下，使用圖14進行后述的縮放處理，但是不限于此。例如也可以想到，在步驟S102中，將Colocated塊追加到候選塊時，預先使用圖14取得實施了后述的縮放處理的運動數據(mvLO, refldxLO, mvLl, refIdxLl),在步驟S105中，將與過去的候選塊重復的運動數據不追加到候選塊中(圖17)。由此，能夠將重復的運動數據更多地從候選塊省去，能夠削減處理及改善編碼效率。
[0163]使用決定的運動數據，在編碼控制部108的控制下，使用編碼裝置整體試驗幀間編碼(步驟S107)。編碼控制部108例如得到熵編碼部110的輸出結果的比特流[i]。
[0164]編碼控制部108例如根據著眼于比特流長(壓縮效率)或處理延遲等的目的，判定當前的候選[i]的結果是否比過去的候選[I…(1- O]的結果更優越(是否示出規定的目的函數的最大值(或最小值))(步驟S108)。
[0165]該判定的結果，比過去的候選[I…(i 一 I)]的結果優越的情況下(步驟S108為“是”:better candidate),將當前時點的merge_idx的值作為實際在編碼.解碼中預定使用的mergejdx的編號保持(步驟S109)。簡單地說，是將輸出了更符合目的的結果的情況的有效入口編號merge_idx預先存儲為dummy_merge_idx的變量的處理。
[0166]幀內/幀間預測部107設本次的候選i作為入口編號是有效的，并轉移到下一入口，因此將mergejdx的值增量(步驟SI 10)。
[0167]編碼控制部108判定是否對全部候選塊進行了試驗(步驟S111)。
[0168]判定的結果為對全部塊完成了處理(作為在步驟S102中設定的最后的候選塊[N]的、(t)時間直接用的cojocated塊中的試驗已進行)的情況下(步驟Slll為“是”)，進入
下一步驟。
[0169]判定的結果為仍殘留有候選塊的情況下(步驟Slll中為“否”)，使候選編號i增加，并進行下一候選的試驗。
[0170]將輸出了規定的目的函數的最大值(或最小值)的du_y_merge_idx決定為作為實際向編碼列輸出的索引編號的合并索引(mergejdx)(步驟S112)。
[0171]以上是利用合并模式的情況的編碼動作。
[0172]圖10是說明在步驟S102中由幀內/幀間預測部107設定的合并候選塊[Ρ..6]的圖。
[0173]候選塊包括(S)在空間上鄰接的I個以上的塊(圖中(S)鄰接空間塊[L...(N —O]和(t)在時間上鄰接的I個塊(圖中(t) Co_located塊[N]。
[0174]合并候選列表中的merge_idx的索引值較小的、換言之最初列舉的候選入口(或多個入口)是空間上鄰接的塊。空間上鄰接指的是，在圖中的(SI)水平方向或(S2)垂直方向的某一個鄰接。
[0175]另外，鄰接這一概念的單位是應用同一運動矢量的運動數據的單位、即PU。即，是否是與包含編碼對象塊Curr_Blk的CurrentPU鄰接的PU。在圖中，塊BO~B2是在垂直方向上鄰接的塊的例子，包含各個塊的I3U成為鄰接的PU，利用其運動數據(mvLO，refldxLO,mvLl, refldxLl)。在圖中，塊A0、Al...是在水平方向上鄰接的塊的例子。
[0176]在合并候選列表的末尾，merge_idx的索引值最大、換言之最后入口的候選入口是在時間方向上鄰接的塊。在該圖中，是由Current塊的參照圖片列表LI (沒有的情況下，為L0)的索引值O指定的圖片中存在的CoJocated塊。
[0177]圖11是說明通過步驟S103以后的處理生成的合并候選列表(mergeCandList)的概念的圖。圖中左側的i (I…6)相當于步驟S103等的候選編號i。[0178]i = [Ρ..5]的入口對應于(s)空間上鄰接的I個以上的塊(圖10的AO…B2)。i=6的入口對應于(t)時間上鄰接的I個塊(圖10 (t) Co_located塊[N]。
[0179]候選1...6中的有效的入口編號是merge_idx。在圖中，i = 3、5表示是Duplicatedmotion vectors。這表示,在步驟S105中，幀內/幀間預測部107是被判定為候選塊[i]的運動數據(mvL0、mvLl, refldxLO, refldxLl的組，以下相同)與過去的候選塊[I…(i —O]的已試驗的運動數據(mvLO, refldxLO, mvLl, refldxLl)重復的入口。
[0180]圖12是表示在步驟105的重復判定中判定為重復的例子的圖。是說明運動數據是候選之上的入口的值重復的運動數據的情況的說明的圖。
[0181]相對于CurrentPU在上方向BI的位置鄰接的塊的運動數據實際上對于包含BO及BN的I個PU定義I個的情況下，與候選編號3或5對應的BO及BN的塊的運動數據的值成為重復的運動數據，從列表刪除入口。因此，如圖11所示，mergeCandList能夠成為將merge_idx的最大值壓縮為“2”的列表。
[0182]圖13是說明在步驟S106中執行的、取得合并候選塊[i]的運動數據(mvLO，refldxLO, mvLl, refldxLl)的處理的流程圖。
[0183]處理開始后，編碼控制部108判定鄰接塊[i]的鄰接方向(步驟S201)。
[0184]判定的結果,鄰接方向為空間方向(在圖11的表中，i為I...5的值)的情況下,將包含有候選塊[i]的PU的 運動數據直接決定為編碼對象塊的運動數據(步驟S202)。
[0185]判定的結果，鄰接方向為時間方向(在圖11的表中，i為6)的情況下，將作為候選塊[6]的colocateBlok (Col_Blk)的mvLOCol通過基于乘法的時間直接縮放處理進行縮放(步驟S203)。
[0186]使用圖14說明該縮放處理。
[0187]圖14是說明步驟S203的縮放處理的流程圖。
[0188]首先，幀內/幀間預測部107如圖6的STEP I的算式所示，使用編碼對象圖片currPicOrField、編碼對象塊所參照的參照圖片picO、包含有co-located塊的圖片picl、以及co-located塊所參照的參照圖片picO的顯示順序的值,計算DistScaleFactor(步驟S301)。然后，幀內/幀間預測部107如圖6的STEP2的算式所示，通過將co-located塊的運動矢量mvCol與DistScaleFactor相乘,計算運動矢量mvLO (步驟S302)。接著，幀內/幀間預測部107判定所計算出的運動矢量mvLO的水平成分及垂直成分的大小是否收斂在能夠以某比特精度表示的大小的范圍內(步驟S303)。該判定的結果，收斂在范圍內的情況下(步驟S303為“是”)，幀內/幀間預測部107作為具備所計算出的運動矢量mvLO的合并塊候選追加到合并候選列表mergeCandList (步驟S304)。另一方面,未收斂在范圍內的情況下(步驟S303中為“否”)，幀內/幀間預測部107將從co-located塊計算的合并塊候選作為“不可”，不追加到合并候選列表mergeCandList中(步驟S305)。
[0189]這樣，縮放處理后的運動矢量的值超過能夠以某比特精度表示的值的范圍的情況下，不將具備該運動矢量的合并塊候選追加到合并候選列表，由此，能夠將在編碼側及解碼側處理的運動矢量的大小的范圍始終限制在能夠以某比特精度表示的范圍內。例如，作為某比特精度，假定為16bit時，縮放處理后的運動矢量mvLO的水平成分或垂直成分的值不滿足一 32768以上+ 32767以下的情況下，不將具備運動矢量mvLO的合并塊候選追加到合并候選列表。由此，能夠將在編碼側及解碼側處理的運動矢量的大小的范圍始終限制在能夠以16bit精度表示的范圍內。
[0190]另外，在本實施方式中，舉出了運動矢量的水平成分、垂直成分都收斂在16bit精度的例子，但是不限于此。例如，想要將水平成分收斂在16bit精度、將垂直成分收斂在14bit精度的情況下，也可以構成為，判定縮放處理后的運動矢量mvLO的水平成分的值是否為一 32768以上+ 32767以下、運動矢量mvLO的垂直成分的值是否為一 8192以上8191以下，不滿足其中某一個的情況下，不將具備運動矢量mvLO的合并塊候選追加到合并候選列表。由此，能夠將運動矢量的大小的范圍分別按水平成分和垂直成分限制在一定范圍以內。
[0191]此外，在本實施方式中，作為通過縮放計算而計算的運動矢量的例子，示出了使用參照圖片列表LO的運動矢量mvLO的例子，但是不限于此，在計算參照圖片列表LI的運動矢量mvLl的情況下也能夠應用。
[0192]此外，在本實施方式中，在步驟S302中將co-located塊的運動矢量mvCol與DistScaleFactor相乘而計算mvLO,在mvLO的水平成分或垂直成分的某一個超過了能夠以某比特精度表示的范圍的情況下，不將從co-located塊計算的合并塊候選追加到合并候選列表，但是不限于此，例如，co-located塊為2方向預測的情況下等，也可以構成為，對mvCol設置co-located塊所具備的另一方的運動矢量,通過從步驟S302到步驟S305的處理，計算合并塊候選。由此，能夠抑制從co-located塊計算的合并塊候選的減少,能夠提高編碼效率。
[0193]此外，在本實施方式中，在步驟S305中，運動矢量mvLO的水平成分或垂直成分的某一個超過了能夠以某比特精度表示的范圍的情況下，不將從co-located塊計算的合并塊候選追加到合并候選列表，但是不限于此。例如也可以是，如圖15的步驟S401所示，將運動矢量mvLO的水平成分或垂直成分的值縮減(clip)為能夠以某比特精度表示的大小，作為具備縮減后的運動矢量的合并塊候選追加到合并候選列表。例如也可以是，作為某比特精度假定了 16bit精度的情況下，縮放處理后的運動矢量的水平成分的值超過+ 32767的情況下，作為縮減后的運動矢量的水平成分使用+ 32767，計算合并塊候選。此外，例如也可以是，縮放處理后的運動矢量的水平成分的值低于一 32768的情況下，作為縮減后的運動矢量的水平成分使用一 32768來計算合并塊候選。
[0194]此外，在本實施方式中，示出了固定為某比特精度而限制運動矢量的大小的例子，但是不限于此。例如也可以是，向序列參數組(SPS)、圖片參數組(PPS)及切片頭等的頭部附加限制運動矢量的大小的標志及其比特精度，以序列、圖片及切片單位切換運動矢量的限制值。此外，也可以通過簡表或級別等設定運動矢量的比特精度，根據簡表或級別來切換運動矢量的限制值。
[0195]接著，說明從通過本實施方式I的運動圖像編碼裝置編碼的比特流將運動圖像復原的運動圖像解碼裝置。
[0196]圖16是表示本實施方式I的運動圖像解碼裝置的構成的框圖。
[0197]運動圖像解碼裝置200將輸入的已編碼比特流解碼，將緩存到存儲器(解碼圖片存儲器)中的已解碼圖像信號以規定的定時按顯示順序輸出。
[0198]如圖16所示，運動圖像解碼裝置200主要具備:熵解碼部201、逆量化部202、逆變換部203、加法部204、存儲器207、幀內/幀間預測部205、以及解碼控制部206。同一名稱的各部的功能與圖8所示的運動圖像編碼裝置內的各處理部對應。
[0199]熵解碼部201對輸入的已編碼比特流進行熵解碼處理，輸出已量化殘差信號及解碼控制信號等。
[0200]逆量化部202對通過熵解碼處理得到的已量化殘差信號進行逆量化處理。逆變換部203對通過逆量化處理得到的已量化殘差信號進行從頻率區域向圖像區域的變換，輸出已復原殘差信號。
[0201]加法部204將已復原殘差信號和預測圖像信號相加，成為解碼圖像信號。
[0202]幀內/幀間預測部205將解碼圖像信號以幀或塊等規定的單位保存到存儲器207中，并接受解碼控制部206的指示，生成向加法部204供給的預測圖像信號(基于解碼圖像信號和運動矢量導出的像素值)并輸出。
[0203]與運動圖像編碼裝置100同樣，本實施方式的縮放處理在幀內/幀間預測部205中執行。另外，在本實施方式的運動圖像解碼裝置200中，追加部及選擇部相當于幀內/幀間預測部205。此外，在本實施方式的運動圖像解碼裝置200中，解碼部相當于熵解碼部201、逆量化部202、逆變換部203、及加法部204等。
[0204]解碼控制部206從由熵解碼部201解析的解碼控制信息，得到圖中的各處理部、以及將圖片以怎樣的控制參數進行解碼。在編碼比特流中的解碼控制信息中，包含在圖9的步驟S112中決定的合并索引(merge_idx)。
[0205]圖17是說明實施方式I的運動圖像解碼裝置中的動作的流程圖。
[0206]在此，說明解碼控制部206根據解碼控制信號的信息判定為“解碼對象塊(Curr_Blk)(或包含有解碼對象塊的預測單位I3U塊)是被幀間編碼的塊(M0DE_INTER)、并且利用MergeMODE的情況的動作。
[0207]此外，幀內/幀間預測部205在本地生成圖11中說明的合并候選列表(mergeCandList)。本地指的是,幀內/幀間預測部205通過與運動圖像編碼裝置100的動作同樣的方法，與來自編碼比特流的信息無關地生成該列表。
[0208]圖中的i = I…6與圖11的定義相同。
[0209]幀內/幀間預測部205對候選塊編號i = I...6分別進行步驟S501~步驟S505的處理。幀內/幀間預測部205判定候選塊編號i (步驟S501)。候選塊編號i = L...5的情況下，幀內/幀間預測部205對于空間鄰接塊取得運動數據(步驟S502)。
[0210]候選塊編號i = 6的情況下,幀內/幀間預測部205使用colocated塊的運動數據，通過與圖13的步驟S203同樣的方法進行縮放處理(步驟S503)。
[0211]接著，幀內/幀間預測部205判定由步驟S502或步驟S504得到的運動數據的值是否與mergeCandList中的上位的入口的數據重復(步驟S504)。
[0212]判定的結果為重復的情況下(步驟S504為“是”)，進入下一候選塊編號i。
[0213]判定的結果為不重復的情況下(步驟S504中為“否”)，幀內/幀間預測部205在合并候選列表(mergeCandList)的末尾追加運動數據(步驟S505)。
[0214]這樣,通過步驟S501~步驟S505,初始化生成合并候選列表(mergeCandList)。
[0215]接著，幀內/幀間預測部205在滿足規定的條件的情況下，進行合并候選列表(mergeCandList)的更新處理(步驟S506)。例如,更新處理如圖18所示,按照與編碼側默認地(implicit)共用的規則。圖18 (a)是表示初始化生成的合并候選列表(mergeCandList)的圖，圖18 (b)是表示更新處理后的合并候選列表(mergeCandList)的圖。在圖18 (b)所示的例中，合并索引(merge_idx)的值將“O”的候選(mvLO_A, ref O)和“ I ”的候選(mvLl_B,refO)組合，生成合并索引(merge_idx)的值為 “2” 的候選(mvL0_A, refO, mvLl_B, refO)。
[0216]以下使用該列表進行運動矢量mvLO、mvLl的合并模式選擇處理。
[0217]通過熵解碼部201對merge_Idx進行熵解碼,巾貞內/巾貞間預測部205接受該merge_Idx的值(步驟S507)。
[0218]巾貞內/巾貞間預測部205從合并候選列表的候選選擇I個在由merge_Idx的值確定的合并模式下利用的運動數據運動數據(步驟S508)。
[0219]最后，取得所選擇的運動數據motion data (mvLO, refldxLO, mvLl, refldxLl)中的運動矢量mvL0、mvLl所示的位置的像素數據(pixelsLO和pixelsLl),使用這些像素數據導出預測圖像信號(步驟S509 )。
[0220]這樣，縮放處理后的運動矢量的值超過了能夠以某比特精度表示的值的范圍的情況下，不將具備該運動矢量的合并塊候選追加到合并候選列表，由此，能夠將在編碼側及解碼側處理的運動矢量的大小的范圍始終限制在能夠以某比特精度表示的范圍內。
[0221]另外，在本實施方式中，在圖14的步驟S302中的縮放處理后，判定所計算出的運動矢量是否為能夠以某比特精度表示的大小的范圍內，但是不限于此。例如也可以是，在圖17的步驟S508中，判定通過mergejdx選擇的運動矢量mvLO是否為能夠以某比特精度表示的范圍，如果在該范圍外嗎，則進行縮減以收斂在范圍內。
[0222]此外，在本實施方式中，示出了使用非專利文獻2中研究的HEVC的合并模式，將縮放處理后的運動矢量的大小的范圍限制在能夠以某比特精度表示的范圍，但是同樣地，對于計算非專利文獻2中研究的HEVC的AMVP的預測運動矢量候選的方式也能夠應用。
[0223]圖19A是說明非專利文獻2的HEVC中的運動預測矢量mvpLX的圖，圖19B是說明運動預測矢量mvpLX的候選列表mvpListLX CmvpListLO和mvpListLl)的圖。
[0224]如圖19A所示,運動預測矢量mvpLX為了求出與通過運動檢測導出的運動矢量mvLX的差分、即運動差分矢量mvdLX而使用。然后,對該運動差分矢量mvdLX進行編碼。圖19B中mvp_idx_10的值與編碼后的(在解碼側提取)mvp_idx_lX的值對應。由該索引的值(O, I, 2)決定的mvpListLXN[mvp_idx_lX]的運動數據成為運動預測矢量mvp (predictor)。圖中的N表示在空間上或時間上將哪個位置的塊的運動矢量的值作為運動矢量的預測值使用。
[0225]圖20是說明基于圖19B所示的N的值(A、B、Col)的預測候選塊群或預測候選塊的圖。圖中涂黑的塊是編碼(解碼)對象塊CurrBlk。是圖片編號picNum302中的塊。圖中施加陰影的塊是雖然位于與解碼對象塊Curr_Blk (或包含有該塊的預測單位塊)大致相同的空間坐標位置(X，y )、但是存在于PicNum不同(時間不同)的圖片的所謂Co_located塊(Col_Blk)。在該例中，Col_Blk位于與picNum302不同的picNum303。在HEVC中，將這些位置 A，B, Col 的位置的塊 N_Blk (A_Blk，B_Blk，Col_Blk)的運動矢量 mvLOA，mvLOB,mvLOCol或(mvLlA, mvLIB, mvLlCol)與被稱為DiscScaleFactor的比率相乘，從而作為運動預測矢量mvpLO, mvpLl而用于預測候選。
[0226]在本實施方式中，這時，判定通過相乘計算出的預測運動矢量是否收斂在能夠以某比特精度表示的范圍，如果未收斂在該范圍內，則不追加到預測運動矢量候選的列表。由此，能夠將根據預測運動矢量或編碼對象塊的運動矢量和預測運動矢量計算出的差分運動矢量的大小的范圍收斂在能夠以某比特精度表示的范圍內。另外，也可以是，如果通過相乘計算出的預測運動矢量未收斂在能夠以某比特精度表示的范圍內，則將進行了縮減以收斂在該范圍內的預測運動矢量追加到預測運動矢量候選的列表。
[0227]以上基于實施方式說明了本發明的I個或多個方式的運動圖像編碼裝置及運動圖像解碼裝置，但是本發明不限于該實施方式。只要不脫離本發明的主旨，對本實施方式施加了本領域技術人員能夠想到的各種變形而得到的方式、以及將不同實施方式中的構成要素組合而構造的方式，也包含在本發明的I個或多個方式的范圍內。
[0228]另外，在上述各實施方式中，各構成要素由專用的硬件構成，或者也可以通過執行適于各構成要素的軟件程序來實現。各構成要素可以通過由CPU或處理器等程序執行部讀出并執行記錄在硬盤或半導體存儲器等記錄介質中的軟件程序來實現。在此，實現上述各實施方式的運動圖像編碼裝置或運動圖像解碼裝置等的軟件是如下的程序。
[0229]S卩，該程序使計算機執行運動圖像編碼方法，該運動圖像編碼方法是將多個圖片按每個塊進行編碼的運動圖像編碼方法，包括以下步驟:追加步驟，對于包含在編碼對象圖片中并且與編碼對象塊在空間上鄰接的、或者包含在與所述編碼對象圖片不同的圖片中并且在時間上鄰接的I個以上的對應塊的每一個，向列表選擇性地追加所述對應塊的運動矢量；選擇步驟，從所述列表選擇為了進行所述編碼對象塊的編碼而使用的運動矢量；以及編碼步驟，使用在所述選擇步驟中選擇的所述運動矢量，對所述編碼對象塊進行編碼；在所述追加步驟中，通過對所述時間上鄰接的對應塊的第I運動矢量進行縮放處理，計算第2運動矢量，判定所計算出的所述第2運動矢量是否包含在規定的大小的范圍內，如果所述第2運動矢量包含在所述規定的大小的范圍內，則將所述第2運動矢量作為所述對應塊的運動矢量追加到所述列表中。
[0230]或者，該程序使計算機執行運動圖像解碼方法，該運動圖像解碼方法是將多個圖片按每個塊進行解碼的運動圖像解碼方法，包括以下步驟:追加步驟，對于包含在解碼對象圖片中并且與解碼對象塊在空間上鄰接的、或者包含在與所述解碼對象圖片不同的圖片中并且在時間上鄰接的I個以上的對應塊的每一個，向列表選擇性地追加所述對應塊的運動矢量；選擇步驟，從所述列表選擇為了進行所述解碼對象塊的解碼而使用的運動矢量；以及解碼步驟，使用在所述選擇步驟中選擇的所述運動矢量，對所述解碼對象塊進行解碼；在所述追加步驟中，通過對所述時間上鄰接的對應塊的第I運動矢量進行縮放處理，計算第2運動矢量，判定所計算出的所述第2運動矢量是否包含在規定的大小的范圍內，如果所述第2運動矢量包含在所述規定的大小的范圍內，則將所述第2運動矢量作為所述對應塊的運動矢量追加到所述列表中。
[0231](實施方式2)
[0232]通過將用來實現上述各實施方式所示的運動圖像編碼方法(圖像編碼方法)或運動圖像解碼方法(圖像解碼方法)的結構的程序記錄到存儲介質中，能夠將上述各實施方式所示的處理在獨立的計算機系統中簡單地實施。存儲介質是磁盤、光盤、光磁盤、IC卡、半導體存儲器等，只要是能夠記錄程序的介質就可以。
[0233]進而，這里說明在上述各實施方式中示出的運動圖像編碼方法(圖像編碼方法)及運動圖像解碼方法(圖像解碼方法)的應用例和使用它的系統。該系統的特征在于，具有由使用圖像編碼方法的圖像編碼裝置及使用圖像解碼方法的圖像解碼裝置構成的圖像編碼解碼裝置。關于系統的其他結構，可以根據情況而適當變更。
[0234]圖21是表示實現內容分發服務的內容供給系統exlOO的整體結構的圖。將通信服務的提供區劃分為希望的大小，在各小區內分別設置有作為固定無線站的基站exl06、exl07、exl08、exl09、exllO。
[0235]該內容供給系統exlOO在因特網exlOl上經由因特網服務提供商exl02及電話網exl04、及基站 exl07 ?exllO 連接著計算機 exlll、PDA (Personal Digital Assistant)exll2、照相機exll3、便攜電話exll4、游戲機exll5等的各設備。
[0236]但是，內容供給系統exlOO并不限定于圖21那樣的結構，也可以將某些要素組合連接。此外，也可以不經由作為固定無線站的基站exl07?exllO將各設備直接連接在電話網exl04上。此外，也可以將各設備經由近距離無線等直接相互連接。
[0237]照相機exll3是能夠進行數字攝像機等的運動圖像攝影的設備，照相機exll6是能夠進行數字照相機等的靜止圖像攝影、運動圖像攝影的設備。此外，便攜電話exll4是GSM (Global System for Mobile Communications)方式、CDMA (Code Division MultipleAccess)方式、W — CDMA (Wideband — Code Division Multiple Access)方式、或 LTE(Long Term Evolution)方式、HSPA (High Speed Packet Access)的便攜電話機、或 PHS(Personal Handyphone System)等，是哪種都可以。
[0238]在內容供給系統exlOO中，通過將照相機exll3等經由基站exl09、電話網exl04連接在流媒體服務器exl03上，能夠進行現場轉播等。在現場轉播中，對用戶使用照相機exll3攝影的內容(例如音樂會現場的影像等)如在上述各實施方式中說明那樣進行編碼處理(即，作為本發明的一個方式的圖像編碼裝置發揮作用)，向流媒體服務器exl03發送。另一方面，流媒體服務器exl03將發送來的內容數據對有請求的客戶端進行流分發。作為客戶端，有能夠將上述編碼處理后的數據解碼的計算機eXlll、PDAeX112、照相機exll3、便攜電話exll4、游戲機exll5等。在接收到分發的數據的各設備中，將接收到的數據解碼處理而再現(即，作為本發明的一個方式的圖像解碼裝置發揮作用)。
[0239]另外，攝影的數據的編碼處理既可以由照相機exll3進行，也可以由進行數據的發送處理的流媒體服務器exl03進行，也可以相互分擔進行。同樣，分發的數據的解碼處理既可以由客戶端進行，也可以由流媒體服務器exl03進行，也可以相互分擔進行。此外，并不限于照相機exll3，也可以將由照相機exll6攝影的靜止圖像及/或運動圖像數據經由計算機exlll向流媒體服務器exl03發送。此情況下的編碼處理由照相機exll6、計算機exlll、流媒體服務器exl03的哪個進行都可以，也可以相互分擔進行。
[0240]此外，這些編碼解碼處理一般在計算機exlll或各設備具有的LSIex500中處理。LSIex500既可以是單芯片，也可以是由多個芯片構成的結構。另外，也可以將運動圖像編碼解碼用的軟件裝入到能夠由計算機exlll等讀取的某些記錄介質(⑶一 ROM、軟盤、硬盤等)中、使用該軟件進行編碼解碼處理。進而，在便攜電話exll4是帶有照相機的情況下，也可以將由該照相機取得的運動圖像數據發送。此時的運動圖像數據是由便攜電話exll4具有的LSIex500編碼處理的數據。
[0241]此外，也可以是，流媒體服務器exl03是多個服務器或多個計算機，是將數據分散處理、記錄、及分發的。[0242]如以上這樣，在內容供給系統exlOO中，客戶端能夠接收編碼的數據而再現。這樣，在內容供給系統exlOO中，客戶端能夠將用戶發送的信息實時地接收、解碼、再現，即使是沒有特別的權利或設備的用戶也能夠實現個人廣播。
[0243]另外，并不限定于內容供給系統exlOO的例子，如圖22所示，在數字廣播用系統ex200中也能夠裝入上述實施方式的至少運動圖像編碼裝置(圖像編碼裝置)或運動圖像解碼裝置(圖像解碼裝置)的某個。具體而言，在廣播站ex201中，將對影像數據復用了音樂數據等而得到的復用數據經由電波向通信或廣播衛星ex202傳送。該影像數據是通過上述各實施方式中說明的運動圖像編碼方法編碼后的數據(即，通過本發明的一個方式的圖像編碼裝置編碼后的數據)。接受到該數據的廣播衛星ex202發出廣播用的電波，能夠對該電波進行衛星廣播接收的家庭的天線ex204接收該電波，通過電視機(接收機)ex300或機頂盒(STB) ex217等的裝置將接收到的復用數據解碼并將其再現(S卩，作為本發明的一個方式的圖像解碼裝置發揮作用)。
[0244]此外，也可以是，在將記錄在DVD、BD等的記錄介質ex215中的復用數據讀取并解碼、或將影像數據編碼再根據情況與音樂信號復用而寫入記錄介質ex215中的讀取器/記錄器ex218中也能夠安裝上述各實施方式所示的運動圖像解碼裝置或運動圖像編碼裝置。在此情況下，可以將再現的影像信號顯示在監視器ex219上，通過記錄有復用數據的記錄介質ex215在其他裝置或系統中能夠再現影像信號。此外，也可以是，在連接在有線電視用的線纜ex203或衛星/地面波廣播的天線ex204上的機頂盒ex217內安裝運動圖像解碼裝置，將其用電視機的監視器ex219顯示。此時，也可以不是在機頂盒、而在電視機內裝入運動圖像解碼裝置。
[0245]圖23是表示使用在上述各實施方式中說明的運動圖像解碼方法及運動圖像編碼方法的電視機(接收機)ex300的圖。電視機ex300具備經由接收上述廣播的天線ex204或線纜ex203等取得或者輸出對影像數據復用了聲音數據的復用數據的調諧器ex301、將接收到的復用數據解調或調制為向外部發送的編碼數據的調制/解調部ex302、和將解調后的復用數據分離為影像數據、聲音數據或將在信號處理部ex306中編碼的影像數據、聲音數據復用的復用/分離部ex303。
[0246]此外，電視機ex300具備:具有將聲音數據、影像數據分別解碼、或將各自的信息編碼的聲音信號處理部ex304和影像信號處理部ex305(即，作為本發明的一個方式的圖像編碼裝置或圖像解碼裝置發揮作用)的信號處理部ex306 ;具有將解碼后的聲音信號輸出的揚聲器ex307及顯示解碼后的影像信號的顯示器等的顯示部ex308的輸出部ex309。進而，電視機eX300具備具有受理用戶操作的輸入的操作輸入部ex312等的接口部ex317。進而，電視機ex300具有合并控制各部的控制部ex310、對各部供給電力的電源電路部ex311。接口部ex317也可以除了操作輸入部ex312以外，還具有與讀取器/記錄器ex218等的外部設備連接的橋接部ex313、用來能夠安裝SD卡等的記錄介質ex216的插槽部ex314、用來與硬盤等的外部記錄介質連接的驅動器ex315、與電話網連接的調制解調器ex316等。另外，記錄介質ex216是能夠通過收存的非易失性/易失性的半導體存儲元件電氣地進行信息的記錄的結構。電視機ex300的各部經由同步總線相互連接。
[0247]首先，對電視機eX300將通過天線ex204等從外部取得的復用數據解碼、再現的結構進行說明。電視機ex300接受來自遙控器ex220等的用戶操作，基于具有CPU等的控制部ex310的控制，將由調制/解調部ex302解調的復用數據用復用/分離部ex303分離。進而，電視機ex300將分離的聲音數據用聲音信號處理部ex304解碼，將分離的影像數據用影像信號處理部ex305使用在上述各實施方式中說明的解碼方法解碼。將解碼后的聲音信號、影像信號分別從輸出部ex309朝向外部輸出。在輸出時，可以暫時將這些信號儲存到緩沖器ex318、ex319等中，以使聲音信號和影像信號同步再現。此外，電視機ex300也可以不是從廣播等、而從磁/光盤、SD卡等的記錄介質ex215、ex216讀出編碼的復用數據。接著，對電視機ex300將聲音信號或影像信號編碼、向外部發送或寫入到記錄介質等中的結構進行說明。電視機ex300接受來自遙控器ex220等的用戶操作，基于控制部ex310的控制，由聲音信號處理部ex304將聲音信號編碼，由影像信號處理部ex305將影像信號使用在上述各實施方式中說明的編碼方法編碼。將編碼后的聲音信號、影像信號用復用/分離部ex303復用，向外部輸出。在復用時，可以暫時將這些信號儲存到緩沖器ex320、ex321等中，以使聲音信號和影像信號同步再現。另外，緩沖器ex318、ex319、ex320、ex321既可以如圖示那樣具備多個，也可以是共用一個以上的緩沖器的結構。進而，在圖示以外，也可以是，在例如調制/解調部ex302或復用/分離部ex303之間等也作為避免系統的上溢、下溢的緩沖部而在緩沖器中儲存數據。
[0248]此外，電視機ex300除了從廣播等或記錄介質等取得聲音數據、影像數據以外，也可以具備受理麥克風或照相機的AV輸入的結構，對從它們中取得的數據進行編碼處理。另夕卜，這里，將電視機ex300作為能夠進行上述編碼處理、復用、及外部輸出的結構進行了說明，但也可以是，不能進行這些處理，而是僅能夠進行上述接收、解碼處理、外部輸出的結構。
[0249]此外，在由讀取器/記錄器ex218從記錄介質將復用數據讀出、或寫入的情況下，上述解碼處理或編碼處理由電視機ex300、讀取器/記錄器ex218的哪個進行都可以，也可以是電視機ex300和讀取器/記錄器ex218相互分擔進行。
[0250]作為一例，將從光盤進行數據的讀入或寫入的情況下的信息再現/記錄部ex400的結構表示在圖24中。信息再現/記錄部ex400具備以下說明的單元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光頭ex401對作為光盤的記錄介質ex215的記錄面照射激光斑而寫入信息，檢測來自記錄介質ex215的記錄面的反射光而讀入信息。調制記錄部ex402電氣地驅動內置在光頭ex401中的半導體激光器，根據記錄數據進行激光的調制。再現解調部ex403將由內置在光頭ex401中的光檢測器電氣地檢測到來自記錄面的反射光而得到的再現信號放大，將記錄在記錄介質ex215中的信號成分分離并解調，再現所需要的信息。緩沖器ex404將用來記錄到記錄介質ex215中的信息及從記錄介質ex215再現的信息暫時保持。盤馬達ex405使記錄介質ex215旋轉。伺服控制部ex406 —邊控制盤馬達ex405的旋轉驅動一邊使光頭ex401移動到規定的信息軌道，進行激光斑的追蹤處理。系統控制部ex407進行信息再現/記錄部ex400整體的控制。上述的讀出及寫入的處理由系統控制部ex407利用保持在緩沖器ex404中的各種信息、此外根據需要而進行新的信息的生成、追力口、并且一邊使調制記錄部ex402、再現解調部ex403、伺服控制部ex406協調動作、一邊通過光頭ex401進行信息的記錄再現來實現。系統控制部ex407例如由微處理器構成，通過執行讀出寫入的程序來執行它們的處理。
[0251]以上，假設光頭ex401照射激光斑而進行了說明，但也可以是使用近場光進行高密度的記錄的結構。
[0252]在圖25中表示作為光盤的記錄介質ex215的示意圖。在記錄介質ex215的記錄面上，以螺旋狀形成有導引槽(溝)，在信息軌道ex230中，預先通過溝的形狀的變化而記錄有表示盤上的絕對位置的地址信息。該地址信息包括用來確定作為記錄數據的單位的記錄塊ex231的位置的信息，通過在進行記錄及再現的裝置中將信息軌道ex230再現而讀取地址信息，能夠確定記錄塊。此外，記錄介質ex215包括數據記錄區域ex233、內周區域ex232、外周區域ex234。為了記錄用戶數據而使用的區域是數據記錄區域ex233，配置在比數據記錄區域ex233靠內周或外周的內周區域ex232和外周區域ex234用于用戶數據的記錄以外的特定用途。信息再現/記錄部ex400對這樣的記錄介質ex215的數據記錄區域ex233進行編碼的聲音數據、影像數據或復用了這些數據的編碼數據的讀寫。
[0253]以上，舉I層的DVD、BD等的光盤為例進行了說明，但并不限定于這些，也可以是多層構造、在表面以外也能夠記錄的光盤。此外，也可以是在盤的相同的地方使用不同波長的顏色的光記錄信息、或從各種角度記錄不同的信息的層等、進行多維的記錄/再現的構造的光盤。
[0254]此外，在數字廣播用系統ex200中，也可以由具有天線ex205的車ex210從衛星ex202等接收數據、在車ex210具有的車載導航儀ex211等的顯示裝置上再現運動圖像。另夕卜，車載導航儀ex211的結構可以考慮例如在圖23所示的結構中添加GPS接收部的結構，在計算機exlll及便攜電話exll4等中也可以考慮同樣的結構。
[0255]圖26A是表示使用在上述實施方式中說明的運動圖像解碼方法和運動圖像編碼方法的便攜電話exll4的圖。便攜電話exll4具有由用來在與基站exllO之間收發電波的天線ex350、能夠拍攝影像、靜止圖像的照相機部ex365、顯示將由照相機部ex365攝影的影像、由天線ex350接收到的影像等解碼后的數據的液晶顯示器等的顯示部ex358。便攜電話exll4還具有包含操作鍵部ex366的主體部、用來進行聲音輸出的揚聲器等的聲音輸出部ex357、用來進行聲音輸入的麥克風等的聲音輸入部ex356、保存拍攝到的影像、靜止圖像、錄音的聲音、或者接收到的影像、靜止圖像、郵件等的編碼后的數據或者解碼后的數據的存儲器部ex367、或者作為與同樣保存數據的記錄介質之間的接口部的插槽部ex364。
[0256]進而，使用圖26B對便攜電話exl 14的結構例進行說明。便攜電話exl 14對于合并控制具備顯示部ex358及操作鍵部ex366的主體部的各部的主控制部ex360，將電源電路部ex361、操作輸入控制部ex362、影像信號處理部ex355、照相機接口部ex363、LCD (LiquidCrystal Display:液晶顯示器)控制部ex359、調制/解調部ex352、復用/分離部ex353、聲音信號處理部ex354、插槽部ex364、存儲器部ex367經由總線ex370相互連接。
[0257]電源電路部ex361如果通過用戶的操作使通話結束及電源鍵成為開啟狀態，則通過從電池組對各部供給電力，便攜電話exll4起動為能夠動作的狀態。
[0258]便攜電話exl 14基于具有CPU、ROM及RAM等的主控制部ex360的控制，在語音通話模式時，將由聲音輸入部ex356集音的聲音信號通過聲音信號處理部ex354變換為數字聲音信號，將其用調制/解調部ex352進行波譜擴散處理，由發送/接收部ex351實施數字模擬變換處理及頻率變換處理后經由天線ex350發送。此外，便攜電話exll4在語音通話模式時，將由天線ex350接收到的接收數據放大并實施頻率變換處理及模擬數字變換處理，用調制/解調部ex352進行波譜逆擴散處理，通過聲音信號處理部ex354變換為模擬聲音數據后，將其經由聲音輸出部ex357輸出。
[0259]進而，在數據通信模式時發送電子郵件的情況下，將通過主體部的操作鍵部ex366等的操作輸入的電子郵件的文本數據經由操作輸入控制部ex362向主控制部ex360送出。主控制部ex360將文本數據用調制/解調部ex352進行波譜擴散處理，由發送/接收部ex351實施數字模擬變換處理及頻率變換處理后，經由天線ex350向基站exllO發送。在接收電子郵件的情況下，對接收到的數據執行上述處理的大致逆處理，并輸出到顯示部ex350o
[0260]在數據通信模式時，在發送影像、靜止圖像、或者影像和聲音的情況下，影像信號處理部ex355將從照相機部ex365供給的影像信號通過上述各實施方式所示的運動圖像編碼方法進行壓縮編碼(即，作為本發明的一個方式的圖像編碼裝置發揮作用)，將編碼后的影像數據送出至復用/分離部ex353。另外，聲音信號處理部ex354對通過照相機部ex365拍攝影像、靜止圖像等的過程中用聲音輸入部ex356集音的聲音信號進行編碼，將編碼后的聲音數據送出至復用/分離部ex353。
[0261]復用/分離部ex353通過規定的方式，對從影像信號處理部ex355供給的編碼后的影像數據和從聲音信號處理部ex354供給的編碼后的聲音數據進行復用，將其結果得到的復用數據用調制/解調部(調制/解調電路部)ex352進行波譜擴散處理，由發送/接收部ex351實施數字模擬變換處理及頻率變換處理后，經由天線ex350發送。
[0262]在數據通信模式時接收到鏈接到主頁等的運動圖像文件的數據的情況下，或者接收到附加了影像或者聲音的電子郵件的情況下，為了對經由天線ex350接收到的復用數據進行解碼，復用/分離部ex353通過將復用數據分離，分為影像數據的比特流和聲音數據的比特流，經由同步總線ex370將編碼后的影像數據向影像信號處理部ex355供給，并將編碼后的聲音數據向聲音信號處理部ex354供給。影像信號處理部ex355通過與上述各實施方式所示的運動圖像編碼方法相對應的運動圖像解碼方法進行解碼，由此對影像信號進行解碼(即，作為本發明的一個方式的圖像解碼裝置發揮作用)，經由IXD控制部ex359從顯示部ex358顯示例如鏈接到主頁的運動圖像文件中包含的影像、靜止圖像。另外，聲音信號處理部ex354對聲音信號進行解碼,從聲音輸出部ex357輸出聲音。
[0263]此外，上述便攜電話exll4等的終端與電視機ex300同樣，除了具有編碼器、解碼器兩者的收發型終端以外，還可以考慮只有編碼器的發送終端、只有解碼器的接收終端的3種安裝形式。另外，在數字廣播用系統ex200中，設為發送、接收在影像數據中復用了音樂數據等得到的復用數據而進行了說明，但除聲音數據之外復用了與影像關聯的字符數據等的數據也可以，不是復用數據而是影像數據本身也可以。
[0264]這樣，將在上述各實施方式中表示的運動圖像編碼方法或運動圖像解碼方法用在上述哪種設備、系統中都可以，通過這樣，能夠得到在上述各實施方式中說明的效果。
[0265]此外，本發明并不限定于這樣的上述實施方式，能夠不脫離本發明的范圍而進行各種變形或修正。
[0266](實施方式3)
[0267]也可以通過將在上述各實施方式中示出的運動圖像編碼方法或裝置、與依據MPEG - 2、MPEG4-AVC、VC — I等不同的標準的運動圖像編碼方法或裝置根據需要而適當切換,來生成影像數據。[0268]這里，在生成分別依據不同的標準的多個影像數據的情況下，在解碼時，需要選擇對應于各個標準的解碼方法。但是，由于不能識別要解碼的影像數據依據哪個標準，所以產生不能選擇適當的解碼方法的問題。
[0269]為了解決該問題，在影像數據中復用了聲音數據等的復用數據采用包含表示影像數據依據哪個標準的識別信息的結構。以下，說明包括通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數據在內的復用數據的具體的結構。復用數據是MPEG - 2傳輸流形式的數字流。
[0270]圖27是表示復用數據的結構的圖。如圖27所示，復用數據通過將視頻流、音頻流、演示圖形流(PG)、交互圖形流中的I個以上進行復用而得到。視頻流表示電影的主影像及副影像，音頻流(IG)表示電影的主聲音部分和與該主聲音混合的副聲音，演示圖形流表示電影的字幕。這里，所謂主影像，表示顯示在畫面上的通常的影像，所謂副影像，是在主影像中用較小的畫面顯示的影像。此外，交互圖形流表示通過在畫面上配置GUI部件而制作的對話畫面。視頻流通過在上述各實施方式中示出的運動圖像編碼方法或裝置、依據以往的MPEG - 2、MPEG4-AVC、VC — I等標準的運動圖像編碼方法或裝置編碼。音頻流由杜比AC —
3,Dolby Digital Plus、MLP、DTS、DTS — HD、或線性 PCM 等的方式編碼。
[0271 ] 包含在復用數據中的各流通過PID被識別。例如，對在電影的影像中使用的視頻流分配0x1011， 對音頻流分配0x1100到OxlllF，對演示圖形分配0x1200到0xl21F，對交互圖形流分配0x1400到0xl41F，對在電影的副影像中使用的視頻流分配OxlBOO到OxlBlF，對與主聲音混合的副聲音中使用的音頻流分配OxIAOO到OxlAlF。
[0272]圖28是示意地表示復用數據怎樣被復用的圖。首先，將由多個視頻幀構成的視頻流ex235、由多個音頻幀構成的音頻流ex238分別變換為PES包序列ex236及ex239，并變換為TS包ex237及ex240。同樣，將演示圖形流ex241及交互圖形ex244的數據分別變換為PES包序列ex242及ex245，再變換為TS包ex243及ex246。復用數據ex247通過將這些TS包復用到I條流中而構成。
[0273]圖29更詳細地表示在PES包序列中怎樣保存視頻流。圖29的第I段表示視頻流的視頻幀序列。第2段表示PES包序列。如圖29的箭頭yyl、yy2、yy3、yy4所示,視頻流中的多個作為Video Presentation Unit的I圖片、B圖片、P圖片按每個圖片被分割并保存到PES包的有效載荷中。各PES包具有PES頭，在PES頭中，保存有作為圖片的顯示時刻的PTS (Presentation Time-Stamp)及作為圖片的解碼時刻的 DTS (Decoding Time-Stamp)?
[0274]圖30表示最終寫入在復用數據中的TS包的形式。TS包是由具有識別流的PID等信息的4字節的TS頭和保存數據的184字節的TS有效載荷構成的188字節固定長度的包，上述PES包被分割并保存到TS有效載荷中。在BD — ROM的情況下，對于TS包賦予4字節的TP_Extra_Header,構成192字節的源包,寫入到復用數據中。在TP_Extra_Header中記載有ATS (Arrival_Time_Stamp)等信息。ATS表示該TS包向解碼器的PID濾波器的轉送開始時刻。在復用數據中，源包如圖30下段所示排列，從復用數據的開頭起遞增的號碼被稱作SPN (源包號)。
[0275]此外，在復用數據所包含的TS包中，除了影像、聲音、字幕等的各流以外，還有PAT (Program Association Table)、PMT (Program Map Table)、PCR (Program ClockReference)等。PAT表示在復用數據中使用的PMT的PID是什么，PAT自身的PID被登記為O。PMT具有復用數據所包含的影像、聲音、字幕等的各流的PID、以及與各PID對應的流的屬性信息，還具有關于復用數據的各種描述符。在描述符中，有指示許可/不許可復用數據的拷貝的拷貝控制信息等。PCR為了取得作為ATS的時間軸的ATC (Arrival Time Clock)與作為PTS及DTS的時間軸的STC (System Time Clock)的同步，擁有與該PCR包被轉送至解碼器的ATS對應的STC時間的信息。
[0276]圖31是詳細地說明PMT的數據構造的圖。在PMT的開頭，配置有記述了包含在該PMT中的數據的長度等的PMT頭。在其后面，配置有多個關于復用數據的描述符。上述拷貝控制信息等被記載為描述符。在描述符之后，配置有多個關于包含在復用數據中的各流的流信息。流信息由記載有用來識別流的壓縮編解碼器的流類型、流的PID、流的屬性信息(幀速率、縱橫比等)的流描述符構成。流描述符存在復用數據中存在的流的數量。
[0277]在記錄到記錄介質等中的情況下，將上述復用數據與復用數據信息文件一起記錄。
[0278]復用數據信息文件如圖32所示，是復用數據的管理信息，與復用數據一對一地對應，由復用數據信息、流屬性信息以及入口映射構成。
[0279]復用數據信息如圖32所示，由系統速率、再現開始時刻、再現結束時刻構成。系統速率表示復用數據的向后述的系統目標解碼器的PID濾波器的最大轉送速率。包含在復用數據中的ATS的間隔設定為成為系統速率以下。再現開始時刻是復用數據的開頭的視頻幀的PTS，再現結束時刻設定為對復用數據的末端的視頻幀的PTS加上I幀量的再現間隔的值。
[0280]流屬性信息如圖33所示，按每個PID登記有關于包含在復用數據中的各流的屬性信息。屬性信息具有按視頻流、音頻流、演示圖形流、交互圖形流而不同的信息。視頻流屬性信息具有該視頻流由怎樣的壓縮編解碼器壓縮、構成視頻流的各個圖片數據的分辨率是多少、縱橫比是多少、幀速率是多少等的信息。音頻流屬性信息具有該音頻流由怎樣的壓縮編解碼器壓縮、包含在該音頻流中的聲道數是多少、對應于哪種語言、采樣頻率是多少等的信息。這些信息用于在播放器再現之前的解碼器的初始化等中。
[0281]在本實施方式中，使用上述復用數據中的、包含在PMT中的流類型。此外，在記錄介質中記錄有復用數據的情況下，使用包含在復用數據信息中的視頻流屬性信息。具體而言，在上述各實施方式示出的運動圖像編碼方法或裝置中，設置如下步驟或單元，該步驟或單元對包含在PMT中的流類型、或視頻流屬性信息，設定表示是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數據的固有信息。通過該結構，能夠識別通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數據、和依據其他標準的影像數據。
[0282]此外，在圖34中表示本實施方式的運動圖像解碼方法的步驟。在步驟exSlOO中，從復用數據中取得包含在PMT中的流類型、或包含在復用數據信息中的視頻流屬性信息。接著，在步驟exSlOl中，判斷流類型、或視頻流屬性信息是否表示是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的復用數據。并且，在判斷為流類型、或視頻流屬性信息是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的復用數據情況下，在步驟exS102中，通過在上述各實施方式中示出的運動圖像解碼方法進行解碼。此夕卜，在流類型、或視頻流屬性信息表示是依據以往的MPEG - 2、MPEG4-AVC、VC — I等的標準的復用數據的情況下，在步驟exS103中，通過依據以往的標準的運動圖像解碼方法進行解碼。
[0283]這樣，通過在流類型、或視頻流屬性信息中設定新的固有值，在解碼時能夠判斷是否能夠通過在上述各實施方式中示出的運動圖像解碼方法或裝置解碼。因而，在被輸入了依據不同的標準的復用數據的情況下，也能夠選擇適當的解碼方法或裝置，所以能夠不發生錯誤地進行解碼。此外，將在本實施方式中示出的運動圖像編碼方法或裝置、或者運動圖像解碼方法或裝置用在上述任何設備、系統中。
[0284](實施方式4)
[0285]在上述各實施方式中示出的運動圖像編碼方法及裝置、運動圖像解碼方法及裝置典型地可以由作為集成電路的LSI實現。作為一例，在圖35中表示I芯片化的LSIex500的結構。LSIex500 具備以下說明的單元 ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各單元經由總線ex510連接。電源電路部ex505通過在電源是開啟狀態的情況下對各部供給電力，起動為能夠動作的狀態。
[0286]例如在進行編碼處理的情況下，LSIex500基于具有CPUex502、存儲器控制器ex503、流控制器ex504、驅動頻率控制部ex512等的控制部ex501的控制，通過AV I/0ex509從麥克風exl 17及照相機exl 13等輸入AV信號。被輸入的AV信號暫時儲存在SDRAM等的外部的存儲器ex511中。基于控制部ex501的控制，將儲存的數據根據處理量及處理速度適當地分為多次等，向信號處理部ex507發送，在信號處理部ex507中進行聲音信號的編碼及/或影像信號的編碼。這里，影像信號的編碼處理是在上述各實施方式中說明的編碼處理。在信號處理部ex507中，還根據情況而進行將編碼的聲音數據和編碼的影像數據復用等的處理，從流I/0ex506向外部輸出。將該輸出的比特流向基站exl07發送、或寫入到記錄介質ex215中。另外，在復用時，可以暫時將數據儲存到緩沖器ex508中以使其同步。
[0287]另外，在上述中，設存儲器ex511為LSIex500的外部的結構進行了說明，但也可以是包含在LSIex500的內部中的結構。緩沖器ex508也并不限定于一個，也可以具備多個緩沖器。此外，LSIex500既可以形成I個芯片，也可以形成多個芯片。
[0288]此外，在上述中，假設控制部ex510具有CPUex502、存儲器控制器ex503、流控制器ex504、驅動頻率控制部ex512等,但控制部ex510的結構并不限定于該結構。例如,也可以是信號處理部ex507還具備CPU的結構。通過在信號處理部ex507的內部中也設置CPU，能夠進一步提高處理速度。此外，作為其他例，也可以是CPUex502具備信號處理部ex507、或作為信號處理部ex507的一部分的例如聲音信號處理部的結構。在這樣的情況下，控制部ex501為具備具有信號處理部ex507或其一部分的CPUex502的結構。
[0289]另外，這里設為LSI，但根據集成度的差異，也有稱作1C、系統LS1、超級(super)LS1、特級(ultra)LSI的情況。
[0290]此外，集成電路化的方法并不限定于LSI，也可以由專用電路或通用處理器實現。也可以利用在LSI制造后能夠編程的FPGA (Field Programmable Gate Array)、或能夠重構LSI內部的電路單元的連接及設定的可重構處理器。
[0291]進而，如果因半導體技術的進步或派生的其他技術而出現代替LSI的集成電路化的技術，則當然也可以使用該技術進行功能模塊的集成化。有可能是生物技術的應用等。
[0292](實施方式5)[0293]在將通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數據解碼的情況下，考慮到與將依據以往的MPEG - 2、MPEG4-AVC、VC — I等標準的影像數據的情況相比處理量會增加。因此，在LSIex500中，需要設定為比將依據以往的標準的影像數據解碼時的CPUex502的驅動頻率更高的驅動頻率。但是，如果將驅動頻率設得高，則發生消耗電力變高的問題。
[0294]為了解決該問題，電視機ex300、LSIex500等的運動圖像解碼裝置采用識別影像數據依據哪個標準、并根據標準切換驅動頻率的結構。圖36表示本實施方式的結構ex800。驅動頻率切換部ex803在影像數據是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的情況下，將驅動頻率設定得高。并且，對執行在上述各實施方式中示出的運動圖像解碼方法的解碼處理部ex801指示將影像數據解碼。另一方面，在影像數據是依據以往的標準的影像數據的情況下，與影像數據是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的數據的情況相比，將驅動頻率設定得低。并且，對依據以往的標準的解碼處理部ex802指示將影像數據解碼。
[0295]更具體地講，驅動頻率切換部ex803由圖35的CPUex502和驅動頻率控制部ex512構成。此外，執行在上述各實施方式中示出的運動圖像解碼方法的解碼處理部ex801、以及依據以往的標準的解碼處理部ex802對應于圖35的信號處理部ex507。CPUex502識別影像數據依據哪個標準。并且，基于來自CPUex502的信號，驅動頻率控制部ex512設定驅動頻率。此外，基于來自CPUex502的信號，信號處理部ex507進行影像數據的解碼。這里，可以考慮在影像數據的識別中使用例如在實施方式3中記載的識別信息。關于識別信息，并不限定于在實施方式3中記載的信息，只要是能夠識別影像數據依據哪個標準的信息就可以。例如，在基于識別影像數據利用于電視機還是利用于盤等的外部信號，來能夠識別影像數據依據哪個標準的情況下，也可以基于這樣的外部信號進行識別。此外，CPUex502的驅動頻率的選擇例如可以考慮如圖38所示的將影像數據的標準與驅動頻率建立對應的查找表進行。將查找表預先保存到緩沖器ex508、或LSI的內部存儲器中，CPUex502通過參照該查找表，能夠選擇驅動頻率。
[0296]圖37表示實施本實施方式的方法的步驟。首先，在步驟exS200中，在信號處理部ex507中，從復用數據中取得識別信息。接著，在步驟exS201中，在CPUex502中，基于識別信息識別影像數據是否是通過在上述各實施方式中示出的編碼方法或裝置生成的數據。在影像數據是通過在上述各實施方式中示出的編碼方法或裝置生成的數據的情況下，在步驟exS202中，CPUex502向驅動頻率控制部ex512發送將驅動頻率設定得高的信號。并且，在驅動頻率控制部ex512中設定為高的驅動頻率。另一方面，在表示是依據以往的MPEG — 2、MPEG4-AVC、VC — I等的標準的影像數據的情況下，在步驟exS203中，CPUex502向驅動頻率控制部ex512發送將驅動頻率設定得低的信號。并且，在驅動頻率控制部ex512中，設定為與影像數據是通過在上述各實施方式中示出的編碼方法或裝置生成的數據的情況相比更低的驅動頻率。
[0297]進而，通過與驅動頻率的切換連動而變更對LSIeX500或包括LSIeX500的裝置施加的電壓，由此能夠進一步提高節電效果。例如，在將驅動頻率設定得低的情況下，隨之，可以考慮與將驅動頻率設定得高的情況相比，將對LSIex500或包括LSIex500的裝置施加的電壓設定得低。[0298]此外，驅動頻率的設定方法只要是在解碼時的處理量大的情況下將驅動頻率設定得高、在解碼時的處理量小的情況下將驅動頻率設定得低就可以，并不限定于上述的設定方法。例如，可以考慮在將依據MPEG4-AVC標準的影像數據解碼的處理量大于將通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數據解碼的處理量的情況下，與上述的情況相反地進行驅動頻率的設定。
[0299]進而，驅動頻率的設定方法并不限定于使驅動頻率低的結構。例如，也可以考慮在識別信息是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數據的情況下，將對LSIex500或包括LSIex500的裝置施加的電壓設定得高，在表示是依據以往的MPEG - 2、MPEG4-AVC、VC 一 I等的標準的影像數據的情況下，將對LSIex500或包括LSIex500的裝置施加的電壓設定得低。此外，作為另一例，也可以考慮在識別信息表示是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數據的情況下，不使CPUex502的驅動停止，在表示是依據以往的MPEG — 2、MPEG4_AVC、VC — I等的標準的影像數據的情況下，由于在處理中有富余，所以使CPUex502的驅動暫停。也可以考慮在識別信息表示是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數據的情況下，也只要在處理中有富余則使CPUex502的驅動暫停。在此情況下，可以考慮與表示是依據以往的MPEG - 2、MPEG4-AVC、VC — I等的標準的影像數據的情況相比，將停止時間設定得短。
[0300]這樣，根據影像數據所依據的標準來切換驅動頻率，由此能夠實現節電化。此外，在使用電池來驅動LSIex500或包括LSIex500的裝置的情況下，能夠隨著節電而延長電池的壽命。
[0301](實施方式6)
[0302]在電視機、便攜電話等上述的設備、系統中，有時被輸入依據不同的標準的多個影像數據。這樣，為了使得在被輸入了依據不同的標準的多個影像數據的情況下也能夠解碼，LSIex500的信號處理部ex507需要對應于多個標準。但是，如果單獨使用對應于各個標準的信號處理部ex507，則發生LSIex500的電路規模變大、此外成本增加的問題。
[0303]為了解決該問題，采用將用來執行在上述各實施方式中示出的運動圖像解碼方法的解碼處理部、和依據以往的MPEG - 2、MPEG4-AVC、VC — I等的標準的解碼處理部一部分共用的結構。圖39A的ex900表示該結構例。例如，在上述各實施方式中示出的運動圖像解碼方法和依據MPEG4-AVC標準的運動圖像解碼方法在熵編碼、逆量化、解塊濾波器、運動補償等的處理中有一部分處理內容共通。可以考慮如下結構:關于共通的處理內容，共用對應于MPEG4-AVC標準的解碼處理部ex902，關于不對應于MPEG4-AVC標準的本發明的一個方式所特有的其他的處理內容，使用專用的解碼處理部ex901。關于解碼處理部的共用，也可以是如下結構:關于共通的處理內容，共用用來執行在上述各實施方式中示出的運動圖像解碼方法的解碼處理部，關于MPEG4-AVC標準所特有的處理內容，使用專用的解碼處理部。
[0304]此外,用圖39B的exlOOO表示將處理一部分共用的另一例。在該例中，采用使用與本發明的一個方式所特有的處理內容對應的專用的解碼處理部exlOOl、和與其他的以往標準所特有的處理內容對應的專用的解碼處理部exl002、和與在本發明的一個方式的運動圖像解碼方法和其他的以往標準的運動圖像解碼方法中共通的處理內容對應的共用的解碼處理部exl003的結構。這里,專用的解碼處理部exl001、exl002并不一定是為本發明的一個方式、或者其他的以往標準所特有的處理內容而特殊化的，可以是能夠執行其他的通用處理的結構。此外，也能夠由LSIeX500安裝本實施方式的結構。
[0305]這樣，對于在本發明的一個方式的運動圖像解碼方法和以往的標準的運動圖像解碼方法中共通的處理內容，共用解碼處理部，由此能夠減小LSI的電路規模并且降低成本。
[0306]工業實用性
[0307]本發明的運動圖像編碼方法及運動圖像解碼方法能夠應用于所謂的多媒體數據，在限制運動矢量的大小的范圍的情況下，能夠削減處理負荷并且保持編碼效率，例如作為使用便攜電話、DVD裝置、及個人計算機等的儲存、傳送、通信等中的運動圖像編碼方法及運動圖像解碼方法是有用的。
[0308]符號的說明
[0309]100運動圖像編碼裝置
[0310]101差分部
[0311]102變換部
[0312]103量化部
[0313]104、202 逆量化部
[0314]105,203 逆變換部
[0315]106、204 加法部
[0316]107、205幀內/幀間預測部
[0317]108編碼控制部
[0318]109、207 存儲器
[0319]110熵編碼部
[0320]200運動圖像解碼裝置
[0321]201熵解碼部
[0322]206解碼控制部
【權利要求】
1.一種運動圖像編碼方法，是將多個圖片按每個塊進行編碼的運動圖像編碼方法，包括以下步驟: 追加步驟，對于包含在編碼對象圖片中并且與編碼對象塊在空間上鄰接的、或者包含在與所述編碼對象圖片不同的圖片中并且在時間上鄰接的I個以上的對應塊的每一個，向列表選擇性地追加所述對應塊的運動矢量； 選擇步驟，從所述列表選擇為了進行所述編碼對象塊的編碼而使用的運動矢量；以及 編碼步驟，使用在所述選擇步驟中選擇的所述運動矢量，對所述編碼對象塊進行編碼； 在所述追加步驟中，通過對所述時間上鄰接的對應塊的第I運動矢量進行縮放處理，計算第2運動矢量，判定所計算出的所述第2運動矢量是否包含在規定的大小的范圍內，如果所述第2運動矢量包含在所述規定的大小的范圍內，則將所述第2運動矢量作為所述對應塊的運動矢量追加到所述列表中。
2.如權利要求1所述的運動圖像編碼方法， 在所述追加步驟中，如果所述第2運動矢量不包含在所述規定的大小的范圍內，則對所述第2運動矢量進行縮減以收斂在所述規定的大小的范圍內，并將縮減后的運動矢量作為所述對應塊的運動矢量追加到所述列表。
3.如權利要求1所述的運動圖像編碼方法， 在所述追加步驟中，如果所述第2運動矢量不包含在所述規定的大小的范圍內，則不將所述第2運動矢量追加到所述列表。
4.如權利要求1~3中任一項所述的運動圖像編碼方法， 所述列表是具有確定信息的合并候選列表，該確定信息用于確定所述對應塊的所述運動矢量、以及由所述對應塊參照的圖片， 在所述追加步驟中，除了所述對應塊的所述運動矢量，還將所述確定信息追加到所述合并候選列表， 在所述選擇步驟中，從所述合并候選列表選擇為了進行所述編碼對象塊的編碼而使用的運動矢量及確定信息， 在所述編碼步驟中，使用在所述選擇步驟中選擇的所述運動矢量及所述確定信息來生成所述編碼對象塊的預測圖像，從而對所述編碼對象塊進行編碼。
5.如權利要求1~3中任一項所述的運動圖像編碼方法， 所述列表是預測運動矢量候選列表， 在所述追加步驟中，還判定通過對所述空間上鄰接的對應塊的第3運動矢量進行縮放處理而計算出的第4運動矢量是否包含在規定的大小的范圍內，如果所述第4運動矢量包含在所述規定的大小的范圍內，則將所述第4運動矢量作為預測運動矢量的候選追加到所述預測運動矢量候選列表， 在所述選擇步驟中，從所述預測運動矢量候選列表選擇為了進行所述編碼對象塊的編碼而使用的預測運動矢量， 在所述編碼步驟中，進行包含如下的編碼的所述編碼對象塊的編碼:使用在所述選擇步驟中選擇的所述預測運動矢量，對所述編碼對象塊的運動矢量進行編碼。
6.如權利要求5所述的運動圖像編碼方法，如果所述第4運動矢量不包含在所述規定的大小的范圍內，則對所述第4運動矢量進行縮減以收斂在所述規定的大小的范圍內，并將縮減后的運動矢量作為所述預測運動矢量的候選追加到所述預測運動矢量候選列表。
7.如權利要求1~6中任一項所述的運動圖像編碼方法， 所述規定的大小的范圍由運動矢量的比特精度決定， 所述比特精度使用由簡表或級別規定的值、或者向頭附加的值。
8.—種運動圖像解碼方法，是將多個圖片按每個塊進行解碼的運動圖像解碼方法，包括以下步驟: 追加步驟，對于包含在解碼對象圖片中并且與解碼對象塊在空間上鄰接的、或者包含在與所述解碼對象圖片不同的圖片中并且在時間上鄰接的I個以上的對應塊的每一個，向列表選 擇性地追加所述對應塊的運動矢量； 選擇步驟，從所述列表選擇為了進行所述解碼對象塊的解碼而使用的運動矢量；以及 解碼步驟，使用在所述選擇步驟中選擇的所述運動矢量，對所述解碼對象塊進行解碼； 在所述追加步驟中，通過對所述時間上鄰接的對應塊的第I運動矢量進行縮放處理，計算第2運動矢量，判定所計算出的所述第2運動矢量是否包含在規定的大小的范圍內，如果所述第2運動矢量包含在所述規定的大小的范圍內，則將所述第2運動矢量作為所述對應塊的運動矢量追加到所述列表中。
9.如權利要求8所述的運動圖像解碼方法， 在所述追加步驟中，如果所述第2運動矢量不包含在所述規定的大小的范圍內，則對所述第2運動矢量進行縮減以收斂在所述規定的大小的范圍內，并將縮減后的運動矢量追加到所述列表。
10.如權利要求8所述的運動圖像解碼方法， 所述追加步驟中，如果所述第2運動矢量不包含在所述規定的大小的范圍內，則不將所述第2運動矢量追加到所述列表。
11.如權利要求8~10中任一項所述的運動圖像解碼方法， 所述列表是具有確定信息的合并候選列表，該確定信息用于確定所述對應塊的所述運動矢量、以及由所述對應塊參照的圖片， 在所述追加步驟中，除了所述對應塊的所述運動矢量，還將所述確定信息追加到所述合并候選列表， 在所述選擇步驟中，從所述合并候選列表選擇為了進行所述解碼對象塊的解碼而使用的運動矢量及確定信息， 在所述解碼步驟中，使用在所述選擇步驟中選擇的所述運動矢量及所述確定信息，生成所述解碼對象塊的預測圖像，從而對所述解碼對象塊進行解碼。
12.如權利要求8~10中任一項所述的運動圖像解碼方法， 所述列表是預測運動矢量候選列表， 在所述追加步驟中，還判定通過對所述空間上鄰接的對應塊的第3運動矢量進行縮放處理而計算出的第4運動矢量是否包含在規定的大小的范圍，如果所述第4運動矢量包含在所述規定的大小的范圍內，則將所述第4運動矢量作為預測運動矢量的候選追加到所述預測運動矢量候選列表， 在所述選擇步驟中，從所述預測運動矢量候選列表選擇為了進行所述解碼對象塊的解碼而使用的預測運動矢量， 在所述解碼步驟中，進行包括如下解碼在內的所述解碼對象塊的解碼:使用在所述選擇步驟中選擇的所述預測運動矢量，對所述解碼對象塊的運動矢量進行解碼。
13.如權利要求12所述的運動圖像解碼方法， 在所述追加步驟中，如果所述第4運動矢量不包含在所述規定的大小的范圍內，則對所述第4運動矢量進行縮減以收斂在所述規定的大小的范圍內，并將縮減后的運動矢量作為所述預測運動矢量的候選追加到所述預測運動矢量候選列表。
14.如權利要求8~13中任一項所述的運動圖像解碼方法， 所述規定的大小的范圍由運動矢量的比特精度決定， 所述比特精度使用由簡表或級別規定的值、或者向頭附加的值。
15.一種運動圖像編碼裝置，是將多個圖片按每個塊進行編碼的運動圖像編碼裝置，具備: 追加部，對于包含在編碼對象圖片中并且與編碼對象塊在空間上鄰接的、或者包含在與所述編碼對象圖片不同的圖片中并且在時間上鄰接的I個以上的對應塊的每一個，向列表選擇性地追加所述對應塊的運動矢量； 選擇部，從所述列表選擇為了進行所述編碼對象塊的編碼而使用的運動矢量；以及 編碼部，使用在所述選擇部中選擇的所述運動矢量，對所述編碼對象塊進行編碼； 在所述追加部中，通過對所述時間上鄰接的對應塊的第I運動矢量進行縮放處理，計算第2運動矢量，判定所計算出的所述第2運動矢量是否包含在規定的大小的范圍內，如果所述第2運動矢量包含在所述規定的大小的范圍內，則將所述第2運動矢量作為所述對應塊的運動矢量追加到所述列表中。
16.一種運動圖像解碼裝置，是將多個圖片按每個塊進行解碼的運動圖像解碼裝置，具備: 追加部，對于包含在解碼對象圖片中并且與解碼對象塊在空間上鄰接的、或者包含在與所述解碼對象圖片不同的圖片中并且在時間上鄰接的I個以上的對應塊的每一個，向列表選擇性地追加所述對應塊的運動矢量； 選擇部，從所述列表選擇為了進行所述解碼對象塊的解碼而使用的運動矢量；以及 解碼部，使用在所述選擇部中選擇的所述運動矢量，對所述解碼對象塊進行解碼； 在所述追加部中，通過對所述時間上鄰接的對應塊的第I運動矢量進行縮放處理，計算第2運動矢量，判定所計算出的所述第2運動矢量是否包含在規定的大小的范圍內，如果所述第2運動矢量包含在所述規定的大小的范圍內，則將所述第2運動矢量作為所述對應塊的運動矢量追加到所述列表中。
17.—種運動圖像編解碼裝置，具備: 權利要求15所述的運動圖像編碼裝置；以及 權利要求16所述的運動圖像解碼裝置。
【文檔編號】H04N19/52GK103650507SQ201280033794
【公開日】2014年3月19日 申請日期:2012年12月11日 優先權日:2011年12月16日
【發明者】杉尾敏康, 西孝啟, 柴原陽司, 谷川京子, 笹井壽郎, 松延徹, 寺田健吾 申請人:松下電器產業株式會社
【專利摘要】運動圖像編碼裝置（100）具備幀內/幀間預測部（107），該幀內/幀間預測部（107）對于包含在編碼對象圖片中并且與編碼對象塊在空間上鄰接的、或者包含在與編碼對象圖片不同的圖片中并且在時間使鄰接的1個以上的對應塊，向列表選擇性地追加對應塊的運動矢量時，通過對時間上鄰接的對應塊的第1運動矢量進行縮放處理，計算第2運動矢量，判定第2運動矢量是否包含在規定的大小的范圍內，如果第2運動矢量包含在規定的大小的范圍內，則將第2運動矢量追加到列表中。
【專利說明】運動圖像編碼方法、運動圖像編碼裝置、運動圖像解碼方法、運動圖像解碼裝置及運動圖像編解碼裝置
【技術領域】
[0001]本發明涉及將多個圖片按每個塊進行編碼的運動圖像編碼方法、以及將多個圖片按每個塊進行解碼的運動圖像解碼方法。
【背景技術】
[0002]在H.264的幀間預測解碼中，B切片(slice)等中包含的2方向參照塊，通過參照與包含有解碼對象塊的圖片不同的圖片中包含的2個圖像數據，對解碼對象塊的圖像數據進行預測解碼。
[0003]另外，在H.264中，存在被稱為直接模式的、用于制作預測圖像的運動矢量的導出模式(非專利文獻I的8.4.1.2.1節、3.45節等)。
[0004]在H.264的直接模式中，存在以下的(S)和(T) 2個模式。
[0005](T)(雖然時間上不同)將在空間上位于同一位置的co_located塊(Col_Blk)的運動矢量mvCol以規定的比進行縮放處理而利用的時間直接模式(temporal mode)。
[0006](S)(雖然在時間上是同一顯示時刻的圖片)利用與空間上不同位置的塊的運動矢量有關的數據(運動數據:運動數據)的空間直接模式(special direct mode)。
[0007]在先技術文獻
[0008]非專利文獻
[0009]非專利文獻1:1TU-T H.264 03/2010
[0010]非專利文獻2:WD4:Working Draft4of High-Efficiency Video Coding JointCollaborative Team on Video Coding (JCT-VC) of ITU-T SG16WP3and IS0/IEC JTCl/SC29/WG116th Meeting:Torino,IT，14_22July，2011、Document:JCTVC-F803_d2
[0011]發明的概要
[0012]發明所要解決的課題
[0013]但是，在上述的時間直接模式中，在縮放處理時需要乘法計算。因此，在縮放處理后，在編碼側或解碼側處理的運動矢量的比特精度范圍可能會變大，所以編碼側或解碼化側的負荷增加。
【發明內容】
[0014]在此，本發明提供一種削減處理負荷并能夠保持編碼效率的運動圖像編碼方法及運動圖像解碼方法等。
[0015]解決課題所采用的手段
[0016]本發明的一個方式的運動圖像編碼方法，是將多個圖片按每個塊進行編碼的運動圖像編碼方法，包括以下步驟:追加步驟，對于包含在編碼對象圖片中并且與編碼對象塊在空間上鄰接的、或者包含在與所述編碼對象圖片不同的圖片中并且在時間上鄰接的I個以上的對應塊的每一個，向列表選擇性地追加所述對應塊的運動矢量；選擇步驟，從所述列表選擇為了進行所述編碼對象塊的編碼而使用的運動矢量；以及編碼步驟，使用在所述選擇步驟中選擇的所述運動矢量，對所述編碼對象塊進行編碼；在所述追加步驟中，通過對所述時間上鄰接的對應塊的第I運動矢量進行縮放處理，計算第2運動矢量，判定所計算出的所述第2運動矢量是否包含在規定的大小的范圍內，如果所述第2運動矢量包含在所述規定的大小的范圍內，則將所述第2運動矢量作為所述對應塊的運動矢量追加到所述列表中。
[0017]此外，本發明的一個方式的運動圖像解碼方法，是將多個圖片按每個塊進行解碼的運動圖像解碼方法，包括以下步驟:追加步驟，對于包含在解碼對象圖片中并且與解碼對象塊在空間上鄰接的、或者包含在與所述解碼對象圖片不同的圖片中并且在時間上鄰接的I個以上的對應塊的每一個，向列表選擇性地追加所述對應塊的運動矢量；選擇步驟，從所述列表選擇為了進行所述解碼對象塊的解碼而使用的運動矢量；以及解碼步驟，使用在所述選擇步驟中選擇的所述運動矢量，對所述解碼對象塊進行解碼；在所述追加步驟中，通過對所述時間上鄰接的對應塊的第I運動矢量進行縮放處理，計算第2運動矢量，判定所計算出的所述第2運動矢量是否包含在規定的大小的范圍內，如果所述第2運動矢量包含在所述規定的大小的范圍內，則將所述第2運動矢量作為所述對應塊的運動矢量追加到所述列表中。
[0018]另外，這些整體或具體的方式可以通過系統、方法、集成電路、計算機程序或計算機可讀取的CD-ROM等記錄介質來實現，也可以通過系統、方法、集成電路、計算機程序及記錄介質的任意組合來實現。
[0019]發明的效果
[0020]根據本發明，能夠在削減處理負荷的同時保持編碼效率。
【專利附圖】
【附圖說明】
[0021]圖1是說明在解碼對象塊(Curr_Blk)的解碼中參照的2張圖片的圖。
[0022]圖2A是說明參照圖片列表(RefPicListO)的圖。
[0023]圖2B是說明參照圖片列表(RefPicListl)的圖。
[0024]圖3是對于CurrBlk的參照圖片列表RefPicListO和RefPicListl說明picNum的圖。
[0025]圖4是說明在(T)的時間直接模式(temporal mode)中利用的信息的圖。
[0026]圖5A是用于說明時間直接模式(temporal mode)中的縮放處理的圖，是簡化說明co-located塊、運動矢量mvLOCol的圖。
[0027]圖5B是用于說明時間直接模式(temporal mode)中的縮放處理的圖，是說明縮放處理的概念的圖。
[0028]圖6是以與非專利文獻I中記載的導出式的關系來示出STEPl~3的圖。
[0029]圖7是說明(S)的空間直接模式(special direct mode)的圖。
[0030]圖8是表示實施方式I的運動圖像編碼裝置的構成的框圖。
[0031]圖9是說明實施方式I的運動圖像編碼裝置中的動作的流程圖。
[0032]圖10是說明幀內/幀間預測部所設定的合并候選塊[I…6]的圖。
[0033]圖11是說明合并候選列表(mergeCandList)的概念的圖。
[0034]圖12是表示在由幀內/幀間預測部進行的重復判定中判定為重復的例子的圖。[0035]圖13是說明取得合并候選塊[i]的運動數據的處理的流程圖。
[0036]圖14是說明由幀內/幀間預測部進行的縮放處理的一例的流程圖。
[0037]圖15是說明由幀內/幀間預測部進行的縮放處理的其他例的流程圖。
[0038]圖16是表示實施方式I的運動圖像解碼裝置的構成的框圖。
[0039]圖17是說明實施方式I的運動圖像解碼裝置中的動作的流程圖。
[0040]圖18是用于說明合并候選列表(mergeCandList)的更新處理的圖，Ca)是表示初始化生成的合并候選列表(mergeCandList)的圖，(b)是表示更新處理后的合并候選列表(mergeCandList)的圖。
[0041 ]圖19A是說明HEVC中的運動預測矢量mvpLX的圖。
[0042]圖19B是說明運動預測矢量mvpLX的候選列表mvpListLX CmvpListLO和mvpListLl)的圖。
[0043]圖20是說明預測候選塊群或預測候選塊的圖。
[0044]圖21是實現內容分發服務的內容供給系統的整體結構圖。
[0045]圖22是數字廣播用系統的整體結構圖。
[0046]圖23是表示電視機的結構例的模塊圖。
[0047]圖24是表示對作為光盤的記錄介質進行信息的讀寫的信息再現/記錄部的結構例的模塊圖。
[0048]圖25是表示作為光盤的記錄介質的構造例的圖。
[0049]圖26A是表示便攜電話的一例的圖。
[0050]圖26B是表示便攜電話的結構例的模塊圖。
[0051]圖27是表示復用數據的結構的圖。
[0052]圖28是示意地表示各流在復用數據中怎樣被復用的圖。
[0053]圖29是更詳細地表示在PES包序列中視頻流怎樣被保存的圖。
[0054]圖30是表示復用數據的TS包和源包的構造的圖。
[0055]圖31是表示PMT的數據結構的圖。
[0056]圖32是表示復用數據信息的內部結構的圖。
[0057]圖33是表示流屬性信息的內部結構的圖。
[0058]圖34是表示識別影像數據的步驟的圖。
[0059]圖35是表示實現各實施方式的運動圖像編碼方法及運動圖像解碼方法的集成電路的結構例的模塊圖。
[0060]圖36是表示切換驅動頻率的結構的圖。
[0061]圖37是表示識別影像數據、切換驅動頻率的步驟的圖。
[0062]圖38是表示將影像數據的標準與驅動頻率建立了對應的查找表的一例的圖。
[0063]圖39A是表示將信號處理部的模塊共用的結構的一例的圖。
[0064]圖39B是表不將信號處理部的模塊共用的結構的另一例的圖。
【具體實施方式】
[0065](成為本發明的基礎的見解)
[0066]圖1是說明在解碼對象塊(Curr_Blk)的解碼中參照的2張圖片的圖。在圖中，“300”~“304”是圖片編號(PicNum)，是將顯示順序PicOrderCnt ()的值從小到大排列的圖。解碼對象塊是包含在圖片編號302 (CurrPic)中的塊。在該例中，解碼對象塊參照存在于顯示順序前方的PicNum301的圖片和存在于顯示順序后方的PicNum304的圖片的圖像數據。以下，箭頭通例如該例所示，箭頭的根部表示參照的一側(解碼對象側)的圖片，箭頭的頭部表示在解碼中利用的(被參照的)一側的圖片。
[0067]以下，在說明書和附圖中將解碼對象塊以黑方塊表示并簡單記為Curr_Blk。此外，箭頭通例如該例所示，箭頭的根部表示參照的一側的(解碼對象側)的圖片，箭頭的頭部表示在解碼中利用的(被參照的)一側的圖片。此外，設PicNum302的圖片是包含解碼對象塊的圖片(解碼對象圖片)。
[0068]圖2A及圖2B是說明2個參照圖片列表(RefPicListO及RefPicListl)的圖。
[0069]用于確定第I個參照圖片的列表是圖2A所示的參照圖片列表O (RefPicListO)。用于確定第2個參照圖片的列表是圖2B所示的參照圖片列表l(RefPicListl)。參照圖片列表是如下的列表:不是以“302”等值較大的picNum、而是能夠僅以“O”或“I”這樣的小的索引值(refldxLO和refldxLl)來表示解碼對象塊參照哪個參照圖片。作為切片中的各個塊的解碼對象塊(Curr_Blk)參照哪個圖片由該列表中的索引的值給出。
[0070]在包含有解碼對象塊的B切片的解碼時，將列表初期值化(生成)。
[0071]參照圖片列表RefPicListO和RefPicListl以索引的低位(索引值較小的編號)所示的圖片編號PicNum不同的方式排列。將參照圖片列表分別以解碼對象圖片的picNum302為界而分為前半部分和后半部分，在參照圖片列表O的前半部分按降序(301，300…)分配。此外，在參照圖片列表1 的前半部分按升序(303，304…)分配。
[0072]例如，從碼串對于參照圖片列表O及參照圖片列表1分別以最小的“O”賦予索引的值時，對圖片302決定以下的2個參照圖片。
[0073]作為第I個參照圖片，決定作為RefPicListO [O]的值的前I個圖片301。作為第2個參照圖片，決定作為RefPicListl [O]的值的后I個圖片303。
[0074]在圖1所示的例子中，第I個索引為refldxLO = 0，參照圖片301，第2個索引為refIdxLl = 1，參照圖片 304。
[0075]圖3是說明對于圖片302中包含的CurrBlk的參照圖片列表RefPicLiStO和RefPicListl使refldxLO及refldxLl的值從“O”開始增加的情況下所示出的picNum的圖。從解碼對象圖片(picNum302)來看,各列表的索引的值(refldxLO的值和refldxLl的值)越增加，由索引的值確定的圖片離解碼對象圖片越遠。
[0076]特別是，在表示第2個參照的RefPicListl中，在列表的索引的較小值的部分，按照以 CurrPic 圖片 302 之后(greater than PicOrderCnt (CurrPic)的圖片(對于已解碼且保持在存儲器中的圖片)降序設定的規則保持索引(將其稱為Rulel)。按照該Rulel，由RefPicListl [0]確定的圖片成為圖中以虛線圓示出的picNum303。
[0077]如上述那樣，在說明書和附圖中，如果沒有特別說明，將第I個參照圖片列表省略為RefPicLi StO，將該列表中的索引省略為refldxLO。將第2個參照圖片列表省略為RefPicLis11，將該列表中的索引省略為refldxLl (詳細情況請參照圖中的說明及非專利文獻 I 的 8.2.4.2.3 節 8.2.4Decoding process for reference picture listsconstruction)。[0078]接下來,依次說明H.264的(T)時間直接模式(temporal mode)及(S)空間直接模式(special direct mode)。
[0079]圖4是說明在(T)的時間直接模式(temporal mode)中利用的信息的圖。
[0080]圖中陰影所示的塊是“(雖然時間上不同)在空間上位于同一位置的co_located塊(Col_Blk)”。時間位置由圖3中說明的第2個參照列表IRefPicListl的索引的值“O”確定而成為圖片303。在基于前述的Rulel初始化的RefPicListl列表中，除了參照存儲器中在時間上不存在后方的圖片等特別情況之外，索引值“O”所示的圖片(RefPicListl [0]的值)成為參照存儲器中存在的顯示時間上最接近的后方的圖片。
[0081]接著，時間直接模式使用以陰影表示的Col_Blk的“運動數據”導出以黑方塊表示的解碼對象塊Curr_Blk的運動矢量mvLO、mvLl。運動數據中包含以下信息。
[0082](i) Col_Blk 所參照的參照圖片 refldxLO [refidx]。
[0083]Col_Blk 作為參照圖片，參照圖片 picNum301 (RefPicListO [I]的值)。
[0084](ii)與參照圖片有關的運動矢量mvLOCol。
[0085]在圖中，圖片picNum301中的虛線箭頭是在Col_Blk的解碼時使用的第I個運動矢量 mvLOCol。
[0086]以下，在說明書和附圖中，虛線箭頭表示運動矢量。運動矢量mvLOCol是表示在Col_Blk的解碼時使用的col_Blk的預測圖像的運動矢量。
[0087]圖5A及圖5B是說明時間直接模式(temporal mode)中的縮放處理的圖。
[0088]縮放處理是將運動矢量mvLOCol的值以與參照圖片的距離之差的比進行縮放，從而導出解碼對象塊Curr_Blk的運動矢量mvLO和運動矢量mvLl的處理。
[0089]圖5A是將圖1?4的參照構造、co-located塊、運動矢量mvLOCol簡化說明的圖。
[0090]圖5B是說明縮放處理的概念的圖。
[0091]縮放處理簡單地說，可以認為是圖5B所示那樣的三角形DEF與三角形ABC的相似。
[0092]三角形DEF是與Col_Blk有關的三角形。
[0093]點D是Col_Blk的位置。點E是Col_Blk所參照的圖片的位置。點F是以點E為基點的運動矢量mvLOCol所指示的坐標。
[0094]三角形ABC是與Curr_Blk有關的三角形。
[0095]點A是作為解碼對象的塊Curr_Blk的位置。點B是該塊Curr_Blk所參照的圖片的位置。點C是將要導出的矢量所指示的坐標。
[0096]首先，在STEPl 中導出 ScaleFactor, ScaleFactor 是(I)從 Curr_Blk 到 Curr_Blk所參照的圖片的相對距離(tb)與(2)從Col_Blk到Col_Blk所參照的圖片的相對距離(tx)的比。例如，在該圖中，ScaleFactor 是 tb = 302 — 301 = I 與 tx = 303 — 301 = 2 的比(tb/tx),0.5 (1/2)為縮放比(相似比為1:2)。這相當于三角形ABC與三角形DEF的相似比為1/2。
[0097]ScaleFactor = tb/tx = (302 — 301) / (303 — 301)
[0098]= 1/2...(STEPl)
[0099]在STEP2中，將以原先給出的邊EF為長度的矢量EF乘以所得到的縮放比，求得矢量BC。該矢量BC是第I個矢量(mvLO)。[0100]mvLO = ScaleFactorXmvLOCol...(STEP2)
[0101]在STEP3中，使用在STEP2中導出的mvLO和使方向反轉的mvLOCo I，導出作為導出對象的另I個矢量mvLl。
[0102]mvLl = mvLO — mvLOCol...(STEP3)
[0103]圖6 是通過與非專利文獻 I 的 8.4.L 2.3 節 Derivation process for temporaldirect luma motion vector and reference index prediction mode 中記載的導出式的關系來示出步驟STEPl?3的圖。
[0104]圖7是說明2個直接模式中的另一方的(S)空間直接模式(special direct mode)的圖。
[0105]在該模式中，對于與解碼對象塊(Curr_Blk)中包含的運動補償單位塊鄰接的塊N(例如鄰接塊A、鄰接塊B、鄰接塊C)，取得與前述的運動矢量有關的數據(運動數據)(在此指的是(運動矢量mvLXN、參照索引refldxLXN)的值的組。以下相同)。
[0106]在與運動矢量有關的數據(以下也稱為運動數據)中，將具備包含參照索引(refldxLXN)的值最小的“O”的自然數(minPositive值)的塊的運動數據(refIdxL0、Ll和與其對應的mvL0、mvLl)直接使用(非專利文獻8-186,187式)。具體地說,通過以下的計算分別導出refldxLO和LI。
[0107]refldxLO = MinPositive (refIdxLOA, MinPositive (refIdxLOB, refIdxLOC))(8-186)
[0108]refldxLl = MinPositive (refIdxLlA, MinPositive (refIdxLlB, refIdxLlC))(8-187)
[0109]在該空間直接模式中，對于運動矢量mvLO或mvLl，為了將包含從同一圖片到參照圖片的距離(refIdxL0、Ll)的“motiondata”成組地利用，參照鄰接塊所利用的參照圖片即可，原則上不需要像時間直接模式那樣對mvLO或mvLl進行縮放。
[0110]如以上那樣，對于(T)時間直接模式,在使用ScaleFactor (DistScaleFactor)的運動矢量mvLO的導出中，需要將ScaleFactor與mvLOCol相乘的計算。因此，例如將在解碼側處理的運動矢量的大小的范圍限制為能夠以某比特精度表示的范圍的情況下，在編碼側需要控制運動矢量的生成，以使時間直接的相乘后的運動矢量的大小收斂在上述范圍內，編碼側的處理負荷增加。
[0111]此外，在以往的H.264中，使用(T)時間直接模式還是使用(S)空間直接的切換，以切片為單位僅能進行I次。
[0112]在HEVC中，比起H.264中的切片單位的空間直接模式及時間直接模式，正在研究能夠實現靈活的運動矢量的導出方法的指定的、被稱為合并模式的模式。通過與該新的HEVC的合并模式的組合，在限制上述運動矢量的大小的范圍的情況下，期望削減處理負荷與保持編碼效率之間的適當的平衡。
[0113]在此，本發明的一個方式的運動圖像編碼方法，是將多個圖片按每個塊進行編碼的運動圖像編碼方法，包括以下步驟:追加步驟，對于包含在編碼對象圖片中并且與編碼對象塊在空間上鄰接的、或者包含在與所述編碼對象圖片不同的圖片中并且在時間上鄰接的I個以上的對應塊的每一個，向列表選擇性地追加所述對應塊的運動矢量；選擇步驟，從所述列表選擇為了進行所述編碼對象塊的編碼而使用的運動矢量；以及編碼步驟，使用在所述選擇步驟中選擇的所述運動矢量，對所述編碼對象塊進行編碼；在所述追加步驟中，通過對所述時間上鄰接的對應塊的第I運動矢量進行縮放處理，計算第2運動矢量，判定所計算出的所述第2運動矢量是否包含在規定的大小的范圍內，如果所述第2運動矢量包含在所述規定的大小的范圍內，則將所述第2運動矢量作為所述對應塊的運動矢量追加到所述列表中。
[0114]由此，能夠將在編碼側及解碼側處理的運動矢量的大小的范圍始終限制在能夠以某比特精度表示的范圍內。
[0115]此外，也可以是，在所述追加步驟中，如果所述第2運動矢量不包含在所述規定的大小的范圍內，則對所述第2運動矢量進行縮減以收斂在所述規定的大小的范圍內，并將縮減后的運動矢量作為所述對應塊的運動矢量追加到所述列表。
[0116]此外，也可以是，在所述追加步驟中，如果所述第2運動矢量不包含在所述規定的大小的范圍內，則不將所述第2運動矢量追加到所述列表。
[0117]此外，也可以是，所述列表是具有確定信息的合并候選列表，該確定信息用于確定所述對應塊的所述運動矢量、以及由所述對應塊參照的圖片，在所述追加步驟中，除了所述對應塊的所述運動矢量，還將所述確定信息追加到所述合并候選列表，在所述選擇步驟中，從所述合并候選列表選擇為了進行所述編碼對象塊的編碼而使用的運動矢量及確定信息，在所述編碼步驟中，使用在所述選擇步驟中選擇的所述運動矢量及所述確定信息來生成所述編碼對象塊的預測圖像，從而對所述編碼對象塊進行編碼。
[0118]此外，也可以是，所述列表是預測運動矢量候選列表，在所述追加步驟中，還判定通過對所述空間上鄰接的對應塊的第3運動矢量進行縮放處理而計算出的第4運動矢量是否包含在規定的大小的范圍內，如果所述第4運動矢量包含在所述規定的大小的范圍內，則將所述第4運動矢量作為預測運動矢量的候選追加到所述預測運動矢量候選列表中，在所述選擇步驟中，從所述預測運動矢量候選列表選擇為了進行所述編碼對象塊的編碼而使用的預測運動矢量，在所述編碼步驟中，進行包含如下的編碼的所述編碼對象塊的編碼:使用在所述選擇步驟中選擇的所述預測運動矢量，對所述編碼對象塊的運動矢量進行編碼。
[0119]此外，在所述追加步驟中，如果所述第4運動矢量不包含在所述規定的大小的范圍內，則對所述第4運動矢量進行縮減以收斂在所述規定的大小的范圍內，并將縮減后的運動矢量作為所述預測運動矢量的候選追加到所述預測運動矢量候選列表中。
[0120]此外，也可以是，所述規定的大小的范圍由運動矢量的比特精度決定，所述比特精度使用由簡表(profile)或級別(level)規定的值、或者向頭附加的值。
[0121]此外，本發明的一個方式的運動圖像解碼方法，是將多個圖片按每個塊進行解碼的運動圖像解碼方法，包括以下步驟:追加步驟，對于包含在解碼對象圖片中并且與解碼對象塊在空間上鄰接的、或者包含在與所述解碼對象圖片不同的圖片中并且在時間上鄰接的I個以上的對應塊的每一個，向列表選擇性地追加所述對應塊的運動矢量；選擇步驟，從所述列表選擇為了進行所述解碼對象塊的解碼而使用的運動矢量；以及解碼步驟，使用在所述選擇步驟中選擇的所述運動矢量，對所述解碼對象塊進行解碼；在所述追加步驟中，通過對所述時間上鄰接的對應塊的第I運動矢量進行縮放處理，計算第2運動矢量，判定所計算出的所述第2運動矢量是否包含在規定的大小的范圍內，如果所述第2運動矢量包含在所述規定的大小的范圍內，則將所述第2運動矢量作為所述對應塊的運動矢量追加到所述列表中。
[0122]由此，能夠將在編碼側及解碼側處理的運動矢量的大小的范圍始終限制在能夠由某比特精度表示的范圍內。
[0123]此外，也可以是，在所述追加步驟中，如果所述第2運動矢量不包含在所述規定的大小的范圍內，則對所述第2運動矢量進行縮減以收斂在所述規定的大小的范圍內，并將縮減后的運動矢量追加到所述列表中。
[0124]此外，也可以是，所述追加步驟中，如果所述第2運動矢量不包含在所述規定的大小的范圍內，則不將所述第2運動矢量追加到所述列表。
[0125]此外，也可以是，所述列表是具有確定信息的合并候選列表，該確定信息用于確定所述對應塊的所述運動矢量、以及由所述對應塊參照的圖片，在所述追加步驟中，除了所述對應塊的所述運動矢量，還將所述確定信息追加到所述合并候選列表，在所述選擇步驟中，從所述合并候選列表選擇為了進行所述解碼對象塊的解碼而使用的運動矢量及確定信息，在所述解碼步驟中，使用在所述選擇步驟中選擇的所述運動矢量及所述確定信息，生成所述解碼對象塊的預測圖像，從而對所述解碼對象塊進行解碼。
[0126]此外，也可以是，所述列表是預測運動矢量候選列表，在所述追加步驟中，還判定通過對所述空間上鄰接的對應塊的第3運動矢量進行縮放處理而計算出的第4運動矢量是否包含在規定的大小的范圍，如果所述第4運動矢量包含在所述規定的大小的范圍內，則將所述第4運動矢量作為預測運動矢量的候選追加到所述預測運動矢量候選列表，在所述選擇步驟中，從所述預測運動矢量候選列表選擇為了進行所述解碼對象塊的解碼而使用的預測運動矢量，在所述解碼步驟中，進行包括如下解碼在內的所述解碼對象塊的解碼:使用在所述選擇步驟中選擇的所述預測運動矢量，對所述解碼對象塊的運動矢量進行解碼。
[0127]此外，也可以是，在所述追加步驟中，如果所述第4運動矢量不包含在所述規定的大小的范圍內，則對所述第4運動矢量進行縮減以收斂在所述規定的大小的范圍內，并將縮減后的運動矢量作為所述預測運動矢量的候選追加到所述預測運動矢量候選列表中。
[0128]此外，也可以是，所述規定的大小的范圍由運動矢量的比特精度決定，所述比特精度使用由簡表或級別規定的值、或者向頭附加的值。
[0129]另外，這些整體或具體的方式可以通過系統、方法、集成電路、計算機程序或計算機可讀取的CD-ROM等記錄介質來實現，也可以通過系統、方法、集成電路、計算機程序及記錄介質的任意組合來實現。
[0130]以下，參照【專利附圖】
【附圖說明】本發明的實施方式。
[0131]另外，以下說明的實施方式都只是整體或具體的例子。以下的實施方式中示出的數值、形狀、材料、構成要素、構成要素的配置位置及連接形態、步驟、步驟的順序等只是一例，不意圖限定本發明。此外，以下的實施方式的構成要素中的、未記載于表示最上位概念的獨立權利要求的構成要素，作為任意的構成要素來說明。
[0132](實施方式I)
[0133]圖8是表示實施方式I的運動圖像編碼裝置的構成的框圖。
[0134]如圖8所示，運動圖像編碼裝置100主要具備:差分部101、變換部102、量化部103、熵編碼部110、逆量化部104、逆變換部105、加法部106、存儲器109、幀內/幀間預測部107、以及編碼控制部108。[0135]差分部101輸出殘差信號，該殘差信號是輸入圖像信號與預測圖像信號的差分。
[0136]變換部102對殘差信號進行從圖像區域向頻率區域的變換。量化部103對變換為頻率區域的殘差信號進行量化處理，輸出已量化殘差信號。
[0137]熵編碼部110對已量化殘差信號及解碼控制信號進行熵編碼，輸出已編碼比特流。
[0138]逆量化部104對已量化殘差信號進行逆量化處理。逆變換部105對逆量化處理后的殘差信號進行從頻率區域向圖像區域的變換，輸出已復原殘差信號。
[0139]加法部106將已復原殘差信號和預測圖像信號相加，成為解碼圖像信號。
[0140]幀內/幀間預測部107將解碼圖像信號以幀或塊等規定的單位保存到存儲器109中，并且接受編碼控制部108的指示，生成向差分部101及加法部106供給的預測圖像信號(基于解碼圖像信號和運動矢量導出的像素值)并輸出。
[0141]此外，幀內/幀間預測部107導出在編碼.解碼過程中以合并模式利用的運動矢量的候選列表、即合并候選列表(mergeCandList)。這時,巾貞內/巾貞間預測部107對于包含在編碼對象圖片中并且與編碼對象塊在空間上鄰接的、或者包含在與所述編碼對象圖片不同的圖片中并且在時間上鄰接的I個以上的對應塊的每一個，向合并候選列表選擇性地追加對應塊的運動矢量。此外，幀內/幀間預測部107通過對時間上鄰接的對應塊的第I運動矢量進行縮放處理，計算第2運動矢量，判定第2運動矢量是否包含在規定的大小的范圍內，如果第2運動矢量包含在規定的大小的范圍內，則將第2運動矢量作為對應塊的運動矢量追加到合并候選列表。此外，幀內/幀間預測部107從合并候選列表選擇為了進行編碼對象塊的編碼而使用的運動矢量。即，本實施方式的縮放處理主要在幀內/幀間預測部107中執行。另外，在本實施方式的運動圖像編碼裝置100中，追加部及選擇部相當于幀內/幀間預測部107。此外，在本實施方式的運動圖像編碼裝置100中，編碼部相當于差分部101、變換部102、量化部103、以及熵編碼部110等。
[0142]編碼控制部108決定圖中的各處理部，并且在試驗的基礎上決定將圖片以怎樣的控制參數進行編碼(該控制參數與解碼控制信號對應)，特別是提供給幀內/幀間預測部107。試驗例如通過以縮短圖中的虛線所示的已編碼比特流的比特長為目的的函數等來進行，決定為了進行某圖像數據的編碼的控制參數(例如幀間預測、幀內預測的區別等)并輸出。輸出信號中的運動矢量索引留待后述。
[0143]編碼控制部108在前述試驗的結果為良好的情況下，為了將使用了本實施方式的縮放處理的情況作為值來表示，決定后述的合并索引(mergejdx)并包含在解碼控制信號中輸出。此外，這種情況下的已量化殘差信號成為通過使用本實施方式的縮放方法生成的預測圖像信號而導出的值。
[0144]圖9是說明實施方式I的運動圖像編碼裝置中的動作的流程圖。
[0145]在此，說明在判定為編碼控制部108對編碼對象塊進行(I)幀間編碼(M0DE_INTER)、并且利用(2)合并模式(MergeMODE)(或者得到利用合并模式時的結果)的情況下的合并模式編碼動作。
[0146]HEVC的合并模式在概念上與通過H.264導入的直接模式相同。關于運動矢量的導出，不是與H.264的直接模式同樣地利用碼串，而是在空間(S)或時間(T)上利用其他塊的
運動矢量。[0147]與H.264的直接模式相比，具有以下的主要區別。
[0148](a)處理單位:能夠通過比切片單位更細致的PreduicitionUnit (PU)單位的merge_flag來切換是否利用合并模式。
[0149](b)選擇單位:不是2中擇I地指定利用(S)空間直接還是利用(T)時間直接，而是能夠從更多的候選值通過mergejdx來指定。具體地說，導出在編碼.解碼過程中以合并模式利用的運動矢量的候選列表、即合并候選列表(mergeCandList)。通過從該列表中的碼串指定的索引的值(merge」dx的值),確定使用哪個運動矢量候選。
[0150]合并模式的處理開始后，編碼控制部108將mergejdx的值及i的值設置為“O”(步驟S101)。在此，i是用于區別候選的方便起見的候選編號。
[0151]幀內/幀間預測部107對候選塊[I…N]設定以下2個類型的塊(步驟S102)。在此，設N = 6。
[0152](S)候選塊[L...(N-1)]是用于空間直接的I個以上的候選，通過候選塊的位置來區別[I…5]。
[0153](t)候選塊[N]是用于時間直接的候選。追加(append)到空間直接的情況的入口值“6”相當于CoJocated塊的索引。使用圖10在后面說明。
[0154]步驟S103以后是如下的循環:編碼控制部108將確定候選的編號i增量(步驟S103),決定輸出精度高的目的函數的運動矢量導出模式。
[0155]幀內/幀間預測部107判定候選塊[i]是否能夠在存儲器上利用(available,可)(步驟S104)。例如，對于位于編碼對象塊的下方向的塊等、不是已編碼(解碼)的塊(未保持在存儲器中的塊)，判定為無法利用。
[0156]判定的結果為無法利用的情況下(在步驟S104中為“否”:not available,不可)，將merge_idx的值保持為當前的值,并轉移到下一候選i (回到步驟S103)。
[0157]判定的結果為能夠利用的情況下(步驟S104中為“是” available，可)，進入下一步驟。
[0158]幀內/幀間預測部107判定候選塊[i]的運動數據(mvLO, mvLl, refldxLO,refldxLl的組，以下相同)是否與過去的候選塊[I…(i 一 I)]的已試驗的運動數據(mvLO,refldxLO，mvLl，refldxLl)重復(步驟S105)。該判定使用圖12在后面說明。
[0159]判定的結果為重復的情況下(步驟S105中為“是”:duplicated),將merge_idx的值保持當前的值，并且轉移到下一候選i (返回步驟S103)。
[0160]判定的結果為不重復、即新的運動數據的情況下(在步驟S105中為“否”:notduplicated)，進入下一步驟。另外，通過能否利用的判定處理(步驟S104)和是否重復的判定處理(步驟S105)所得到的,是關于運動矢量的合并候選列表(mergeCandLis),使用圖11在后面說明。
[0161]接著,幀內/幀間預測部107取得或導出候選塊[i]的運動數據(mvLO,refldxLO,mvLl,refldxLl)(步驟S106)。在此,候選塊[i]是以時間直接為前提的Colocated塊的情況下，使用圖14進行后述的縮放處理。
[0162]另外，在本實施方式中，在步驟S106中，候選塊[i]是以時間直接為前提的Colocated塊的情況下，使用圖14進行后述的縮放處理，但是不限于此。例如也可以想到，在步驟S102中，將Colocated塊追加到候選塊時，預先使用圖14取得實施了后述的縮放處理的運動數據(mvLO, refldxLO, mvLl, refIdxLl),在步驟S105中，將與過去的候選塊重復的運動數據不追加到候選塊中(圖17)。由此，能夠將重復的運動數據更多地從候選塊省去，能夠削減處理及改善編碼效率。
[0163]使用決定的運動數據，在編碼控制部108的控制下，使用編碼裝置整體試驗幀間編碼(步驟S107)。編碼控制部108例如得到熵編碼部110的輸出結果的比特流[i]。
[0164]編碼控制部108例如根據著眼于比特流長(壓縮效率)或處理延遲等的目的，判定當前的候選[i]的結果是否比過去的候選[I…(1- O]的結果更優越(是否示出規定的目的函數的最大值(或最小值))(步驟S108)。
[0165]該判定的結果，比過去的候選[I…(i 一 I)]的結果優越的情況下(步驟S108為“是”:better candidate),將當前時點的merge_idx的值作為實際在編碼.解碼中預定使用的mergejdx的編號保持(步驟S109)。簡單地說，是將輸出了更符合目的的結果的情況的有效入口編號merge_idx預先存儲為dummy_merge_idx的變量的處理。
[0166]幀內/幀間預測部107設本次的候選i作為入口編號是有效的，并轉移到下一入口，因此將mergejdx的值增量(步驟SI 10)。
[0167]編碼控制部108判定是否對全部候選塊進行了試驗(步驟S111)。
[0168]判定的結果為對全部塊完成了處理(作為在步驟S102中設定的最后的候選塊[N]的、(t)時間直接用的cojocated塊中的試驗已進行)的情況下(步驟Slll為“是”)，進入
下一步驟。
[0169]判定的結果為仍殘留有候選塊的情況下(步驟Slll中為“否”)，使候選編號i增加，并進行下一候選的試驗。
[0170]將輸出了規定的目的函數的最大值(或最小值)的du_y_merge_idx決定為作為實際向編碼列輸出的索引編號的合并索引(mergejdx)(步驟S112)。
[0171]以上是利用合并模式的情況的編碼動作。
[0172]圖10是說明在步驟S102中由幀內/幀間預測部107設定的合并候選塊[Ρ..6]的圖。
[0173]候選塊包括(S)在空間上鄰接的I個以上的塊(圖中(S)鄰接空間塊[L...(N —O]和(t)在時間上鄰接的I個塊(圖中(t) Co_located塊[N]。
[0174]合并候選列表中的merge_idx的索引值較小的、換言之最初列舉的候選入口(或多個入口)是空間上鄰接的塊。空間上鄰接指的是，在圖中的(SI)水平方向或(S2)垂直方向的某一個鄰接。
[0175]另外，鄰接這一概念的單位是應用同一運動矢量的運動數據的單位、即PU。即，是否是與包含編碼對象塊Curr_Blk的CurrentPU鄰接的PU。在圖中，塊BO~B2是在垂直方向上鄰接的塊的例子，包含各個塊的I3U成為鄰接的PU，利用其運動數據(mvLO，refldxLO,mvLl, refldxLl)。在圖中，塊A0、Al...是在水平方向上鄰接的塊的例子。
[0176]在合并候選列表的末尾，merge_idx的索引值最大、換言之最后入口的候選入口是在時間方向上鄰接的塊。在該圖中，是由Current塊的參照圖片列表LI (沒有的情況下，為L0)的索引值O指定的圖片中存在的CoJocated塊。
[0177]圖11是說明通過步驟S103以后的處理生成的合并候選列表(mergeCandList)的概念的圖。圖中左側的i (I…6)相當于步驟S103等的候選編號i。[0178]i = [Ρ..5]的入口對應于(s)空間上鄰接的I個以上的塊(圖10的AO…B2)。i=6的入口對應于(t)時間上鄰接的I個塊(圖10 (t) Co_located塊[N]。
[0179]候選1...6中的有效的入口編號是merge_idx。在圖中，i = 3、5表示是Duplicatedmotion vectors。這表示,在步驟S105中，幀內/幀間預測部107是被判定為候選塊[i]的運動數據(mvL0、mvLl, refldxLO, refldxLl的組，以下相同)與過去的候選塊[I…(i —O]的已試驗的運動數據(mvLO, refldxLO, mvLl, refldxLl)重復的入口。
[0180]圖12是表示在步驟105的重復判定中判定為重復的例子的圖。是說明運動數據是候選之上的入口的值重復的運動數據的情況的說明的圖。
[0181]相對于CurrentPU在上方向BI的位置鄰接的塊的運動數據實際上對于包含BO及BN的I個PU定義I個的情況下，與候選編號3或5對應的BO及BN的塊的運動數據的值成為重復的運動數據，從列表刪除入口。因此，如圖11所示，mergeCandList能夠成為將merge_idx的最大值壓縮為“2”的列表。
[0182]圖13是說明在步驟S106中執行的、取得合并候選塊[i]的運動數據(mvLO，refldxLO, mvLl, refldxLl)的處理的流程圖。
[0183]處理開始后，編碼控制部108判定鄰接塊[i]的鄰接方向(步驟S201)。
[0184]判定的結果,鄰接方向為空間方向(在圖11的表中，i為I...5的值)的情況下,將包含有候選塊[i]的PU的 運動數據直接決定為編碼對象塊的運動數據(步驟S202)。
[0185]判定的結果，鄰接方向為時間方向(在圖11的表中，i為6)的情況下，將作為候選塊[6]的colocateBlok (Col_Blk)的mvLOCol通過基于乘法的時間直接縮放處理進行縮放(步驟S203)。
[0186]使用圖14說明該縮放處理。
[0187]圖14是說明步驟S203的縮放處理的流程圖。
[0188]首先，幀內/幀間預測部107如圖6的STEP I的算式所示，使用編碼對象圖片currPicOrField、編碼對象塊所參照的參照圖片picO、包含有co-located塊的圖片picl、以及co-located塊所參照的參照圖片picO的顯示順序的值,計算DistScaleFactor(步驟S301)。然后，幀內/幀間預測部107如圖6的STEP2的算式所示，通過將co-located塊的運動矢量mvCol與DistScaleFactor相乘,計算運動矢量mvLO (步驟S302)。接著，幀內/幀間預測部107判定所計算出的運動矢量mvLO的水平成分及垂直成分的大小是否收斂在能夠以某比特精度表示的大小的范圍內(步驟S303)。該判定的結果，收斂在范圍內的情況下(步驟S303為“是”)，幀內/幀間預測部107作為具備所計算出的運動矢量mvLO的合并塊候選追加到合并候選列表mergeCandList (步驟S304)。另一方面,未收斂在范圍內的情況下(步驟S303中為“否”)，幀內/幀間預測部107將從co-located塊計算的合并塊候選作為“不可”，不追加到合并候選列表mergeCandList中(步驟S305)。
[0189]這樣，縮放處理后的運動矢量的值超過能夠以某比特精度表示的值的范圍的情況下，不將具備該運動矢量的合并塊候選追加到合并候選列表，由此，能夠將在編碼側及解碼側處理的運動矢量的大小的范圍始終限制在能夠以某比特精度表示的范圍內。例如，作為某比特精度，假定為16bit時，縮放處理后的運動矢量mvLO的水平成分或垂直成分的值不滿足一 32768以上+ 32767以下的情況下，不將具備運動矢量mvLO的合并塊候選追加到合并候選列表。由此，能夠將在編碼側及解碼側處理的運動矢量的大小的范圍始終限制在能夠以16bit精度表示的范圍內。
[0190]另外，在本實施方式中，舉出了運動矢量的水平成分、垂直成分都收斂在16bit精度的例子，但是不限于此。例如，想要將水平成分收斂在16bit精度、將垂直成分收斂在14bit精度的情況下，也可以構成為，判定縮放處理后的運動矢量mvLO的水平成分的值是否為一 32768以上+ 32767以下、運動矢量mvLO的垂直成分的值是否為一 8192以上8191以下，不滿足其中某一個的情況下，不將具備運動矢量mvLO的合并塊候選追加到合并候選列表。由此，能夠將運動矢量的大小的范圍分別按水平成分和垂直成分限制在一定范圍以內。
[0191]此外，在本實施方式中，作為通過縮放計算而計算的運動矢量的例子，示出了使用參照圖片列表LO的運動矢量mvLO的例子，但是不限于此，在計算參照圖片列表LI的運動矢量mvLl的情況下也能夠應用。
[0192]此外，在本實施方式中，在步驟S302中將co-located塊的運動矢量mvCol與DistScaleFactor相乘而計算mvLO,在mvLO的水平成分或垂直成分的某一個超過了能夠以某比特精度表示的范圍的情況下，不將從co-located塊計算的合并塊候選追加到合并候選列表，但是不限于此，例如，co-located塊為2方向預測的情況下等，也可以構成為，對mvCol設置co-located塊所具備的另一方的運動矢量,通過從步驟S302到步驟S305的處理，計算合并塊候選。由此，能夠抑制從co-located塊計算的合并塊候選的減少,能夠提高編碼效率。
[0193]此外，在本實施方式中，在步驟S305中，運動矢量mvLO的水平成分或垂直成分的某一個超過了能夠以某比特精度表示的范圍的情況下，不將從co-located塊計算的合并塊候選追加到合并候選列表，但是不限于此。例如也可以是，如圖15的步驟S401所示，將運動矢量mvLO的水平成分或垂直成分的值縮減(clip)為能夠以某比特精度表示的大小，作為具備縮減后的運動矢量的合并塊候選追加到合并候選列表。例如也可以是，作為某比特精度假定了 16bit精度的情況下，縮放處理后的運動矢量的水平成分的值超過+ 32767的情況下，作為縮減后的運動矢量的水平成分使用+ 32767，計算合并塊候選。此外，例如也可以是，縮放處理后的運動矢量的水平成分的值低于一 32768的情況下，作為縮減后的運動矢量的水平成分使用一 32768來計算合并塊候選。
[0194]此外，在本實施方式中，示出了固定為某比特精度而限制運動矢量的大小的例子，但是不限于此。例如也可以是，向序列參數組(SPS)、圖片參數組(PPS)及切片頭等的頭部附加限制運動矢量的大小的標志及其比特精度，以序列、圖片及切片單位切換運動矢量的限制值。此外，也可以通過簡表或級別等設定運動矢量的比特精度，根據簡表或級別來切換運動矢量的限制值。
[0195]接著，說明從通過本實施方式I的運動圖像編碼裝置編碼的比特流將運動圖像復原的運動圖像解碼裝置。
[0196]圖16是表示本實施方式I的運動圖像解碼裝置的構成的框圖。
[0197]運動圖像解碼裝置200將輸入的已編碼比特流解碼，將緩存到存儲器(解碼圖片存儲器)中的已解碼圖像信號以規定的定時按顯示順序輸出。
[0198]如圖16所示，運動圖像解碼裝置200主要具備:熵解碼部201、逆量化部202、逆變換部203、加法部204、存儲器207、幀內/幀間預測部205、以及解碼控制部206。同一名稱的各部的功能與圖8所示的運動圖像編碼裝置內的各處理部對應。
[0199]熵解碼部201對輸入的已編碼比特流進行熵解碼處理，輸出已量化殘差信號及解碼控制信號等。
[0200]逆量化部202對通過熵解碼處理得到的已量化殘差信號進行逆量化處理。逆變換部203對通過逆量化處理得到的已量化殘差信號進行從頻率區域向圖像區域的變換，輸出已復原殘差信號。
[0201]加法部204將已復原殘差信號和預測圖像信號相加，成為解碼圖像信號。
[0202]幀內/幀間預測部205將解碼圖像信號以幀或塊等規定的單位保存到存儲器207中，并接受解碼控制部206的指示，生成向加法部204供給的預測圖像信號(基于解碼圖像信號和運動矢量導出的像素值)并輸出。
[0203]與運動圖像編碼裝置100同樣，本實施方式的縮放處理在幀內/幀間預測部205中執行。另外，在本實施方式的運動圖像解碼裝置200中，追加部及選擇部相當于幀內/幀間預測部205。此外，在本實施方式的運動圖像解碼裝置200中，解碼部相當于熵解碼部201、逆量化部202、逆變換部203、及加法部204等。
[0204]解碼控制部206從由熵解碼部201解析的解碼控制信息，得到圖中的各處理部、以及將圖片以怎樣的控制參數進行解碼。在編碼比特流中的解碼控制信息中，包含在圖9的步驟S112中決定的合并索引(merge_idx)。
[0205]圖17是說明實施方式I的運動圖像解碼裝置中的動作的流程圖。
[0206]在此，說明解碼控制部206根據解碼控制信號的信息判定為“解碼對象塊(Curr_Blk)(或包含有解碼對象塊的預測單位I3U塊)是被幀間編碼的塊(M0DE_INTER)、并且利用MergeMODE的情況的動作。
[0207]此外，幀內/幀間預測部205在本地生成圖11中說明的合并候選列表(mergeCandList)。本地指的是,幀內/幀間預測部205通過與運動圖像編碼裝置100的動作同樣的方法，與來自編碼比特流的信息無關地生成該列表。
[0208]圖中的i = I…6與圖11的定義相同。
[0209]幀內/幀間預測部205對候選塊編號i = I...6分別進行步驟S501~步驟S505的處理。幀內/幀間預測部205判定候選塊編號i (步驟S501)。候選塊編號i = L...5的情況下，幀內/幀間預測部205對于空間鄰接塊取得運動數據(步驟S502)。
[0210]候選塊編號i = 6的情況下,幀內/幀間預測部205使用colocated塊的運動數據，通過與圖13的步驟S203同樣的方法進行縮放處理(步驟S503)。
[0211]接著，幀內/幀間預測部205判定由步驟S502或步驟S504得到的運動數據的值是否與mergeCandList中的上位的入口的數據重復(步驟S504)。
[0212]判定的結果為重復的情況下(步驟S504為“是”)，進入下一候選塊編號i。
[0213]判定的結果為不重復的情況下(步驟S504中為“否”)，幀內/幀間預測部205在合并候選列表(mergeCandList)的末尾追加運動數據(步驟S505)。
[0214]這樣,通過步驟S501~步驟S505,初始化生成合并候選列表(mergeCandList)。
[0215]接著，幀內/幀間預測部205在滿足規定的條件的情況下，進行合并候選列表(mergeCandList)的更新處理(步驟S506)。例如,更新處理如圖18所示,按照與編碼側默認地(implicit)共用的規則。圖18 (a)是表示初始化生成的合并候選列表(mergeCandList)的圖，圖18 (b)是表示更新處理后的合并候選列表(mergeCandList)的圖。在圖18 (b)所示的例中，合并索引(merge_idx)的值將“O”的候選(mvLO_A, ref O)和“ I ”的候選(mvLl_B,refO)組合，生成合并索引(merge_idx)的值為 “2” 的候選(mvL0_A, refO, mvLl_B, refO)。
[0216]以下使用該列表進行運動矢量mvLO、mvLl的合并模式選擇處理。
[0217]通過熵解碼部201對merge_Idx進行熵解碼,巾貞內/巾貞間預測部205接受該merge_Idx的值(步驟S507)。
[0218]巾貞內/巾貞間預測部205從合并候選列表的候選選擇I個在由merge_Idx的值確定的合并模式下利用的運動數據運動數據(步驟S508)。
[0219]最后，取得所選擇的運動數據motion data (mvLO, refldxLO, mvLl, refldxLl)中的運動矢量mvL0、mvLl所示的位置的像素數據(pixelsLO和pixelsLl),使用這些像素數據導出預測圖像信號(步驟S509 )。
[0220]這樣，縮放處理后的運動矢量的值超過了能夠以某比特精度表示的值的范圍的情況下，不將具備該運動矢量的合并塊候選追加到合并候選列表，由此，能夠將在編碼側及解碼側處理的運動矢量的大小的范圍始終限制在能夠以某比特精度表示的范圍內。
[0221]另外，在本實施方式中，在圖14的步驟S302中的縮放處理后，判定所計算出的運動矢量是否為能夠以某比特精度表示的大小的范圍內，但是不限于此。例如也可以是，在圖17的步驟S508中，判定通過mergejdx選擇的運動矢量mvLO是否為能夠以某比特精度表示的范圍，如果在該范圍外嗎，則進行縮減以收斂在范圍內。
[0222]此外，在本實施方式中，示出了使用非專利文獻2中研究的HEVC的合并模式，將縮放處理后的運動矢量的大小的范圍限制在能夠以某比特精度表示的范圍，但是同樣地，對于計算非專利文獻2中研究的HEVC的AMVP的預測運動矢量候選的方式也能夠應用。
[0223]圖19A是說明非專利文獻2的HEVC中的運動預測矢量mvpLX的圖，圖19B是說明運動預測矢量mvpLX的候選列表mvpListLX CmvpListLO和mvpListLl)的圖。
[0224]如圖19A所示,運動預測矢量mvpLX為了求出與通過運動檢測導出的運動矢量mvLX的差分、即運動差分矢量mvdLX而使用。然后,對該運動差分矢量mvdLX進行編碼。圖19B中mvp_idx_10的值與編碼后的(在解碼側提取)mvp_idx_lX的值對應。由該索引的值(O, I, 2)決定的mvpListLXN[mvp_idx_lX]的運動數據成為運動預測矢量mvp (predictor)。圖中的N表示在空間上或時間上將哪個位置的塊的運動矢量的值作為運動矢量的預測值使用。
[0225]圖20是說明基于圖19B所示的N的值(A、B、Col)的預測候選塊群或預測候選塊的圖。圖中涂黑的塊是編碼(解碼)對象塊CurrBlk。是圖片編號picNum302中的塊。圖中施加陰影的塊是雖然位于與解碼對象塊Curr_Blk (或包含有該塊的預測單位塊)大致相同的空間坐標位置(X，y )、但是存在于PicNum不同(時間不同)的圖片的所謂Co_located塊(Col_Blk)。在該例中，Col_Blk位于與picNum302不同的picNum303。在HEVC中，將這些位置 A，B, Col 的位置的塊 N_Blk (A_Blk，B_Blk，Col_Blk)的運動矢量 mvLOA，mvLOB,mvLOCol或(mvLlA, mvLIB, mvLlCol)與被稱為DiscScaleFactor的比率相乘，從而作為運動預測矢量mvpLO, mvpLl而用于預測候選。
[0226]在本實施方式中，這時，判定通過相乘計算出的預測運動矢量是否收斂在能夠以某比特精度表示的范圍，如果未收斂在該范圍內，則不追加到預測運動矢量候選的列表。由此，能夠將根據預測運動矢量或編碼對象塊的運動矢量和預測運動矢量計算出的差分運動矢量的大小的范圍收斂在能夠以某比特精度表示的范圍內。另外，也可以是，如果通過相乘計算出的預測運動矢量未收斂在能夠以某比特精度表示的范圍內，則將進行了縮減以收斂在該范圍內的預測運動矢量追加到預測運動矢量候選的列表。
[0227]以上基于實施方式說明了本發明的I個或多個方式的運動圖像編碼裝置及運動圖像解碼裝置，但是本發明不限于該實施方式。只要不脫離本發明的主旨，對本實施方式施加了本領域技術人員能夠想到的各種變形而得到的方式、以及將不同實施方式中的構成要素組合而構造的方式，也包含在本發明的I個或多個方式的范圍內。
[0228]另外，在上述各實施方式中，各構成要素由專用的硬件構成，或者也可以通過執行適于各構成要素的軟件程序來實現。各構成要素可以通過由CPU或處理器等程序執行部讀出并執行記錄在硬盤或半導體存儲器等記錄介質中的軟件程序來實現。在此，實現上述各實施方式的運動圖像編碼裝置或運動圖像解碼裝置等的軟件是如下的程序。
[0229]S卩，該程序使計算機執行運動圖像編碼方法，該運動圖像編碼方法是將多個圖片按每個塊進行編碼的運動圖像編碼方法，包括以下步驟:追加步驟，對于包含在編碼對象圖片中并且與編碼對象塊在空間上鄰接的、或者包含在與所述編碼對象圖片不同的圖片中并且在時間上鄰接的I個以上的對應塊的每一個，向列表選擇性地追加所述對應塊的運動矢量；選擇步驟，從所述列表選擇為了進行所述編碼對象塊的編碼而使用的運動矢量；以及編碼步驟，使用在所述選擇步驟中選擇的所述運動矢量，對所述編碼對象塊進行編碼；在所述追加步驟中，通過對所述時間上鄰接的對應塊的第I運動矢量進行縮放處理，計算第2運動矢量，判定所計算出的所述第2運動矢量是否包含在規定的大小的范圍內，如果所述第2運動矢量包含在所述規定的大小的范圍內，則將所述第2運動矢量作為所述對應塊的運動矢量追加到所述列表中。
[0230]或者，該程序使計算機執行運動圖像解碼方法，該運動圖像解碼方法是將多個圖片按每個塊進行解碼的運動圖像解碼方法，包括以下步驟:追加步驟，對于包含在解碼對象圖片中并且與解碼對象塊在空間上鄰接的、或者包含在與所述解碼對象圖片不同的圖片中并且在時間上鄰接的I個以上的對應塊的每一個，向列表選擇性地追加所述對應塊的運動矢量；選擇步驟，從所述列表選擇為了進行所述解碼對象塊的解碼而使用的運動矢量；以及解碼步驟，使用在所述選擇步驟中選擇的所述運動矢量，對所述解碼對象塊進行解碼；在所述追加步驟中，通過對所述時間上鄰接的對應塊的第I運動矢量進行縮放處理，計算第2運動矢量，判定所計算出的所述第2運動矢量是否包含在規定的大小的范圍內，如果所述第2運動矢量包含在所述規定的大小的范圍內，則將所述第2運動矢量作為所述對應塊的運動矢量追加到所述列表中。
[0231](實施方式2)
[0232]通過將用來實現上述各實施方式所示的運動圖像編碼方法(圖像編碼方法)或運動圖像解碼方法(圖像解碼方法)的結構的程序記錄到存儲介質中，能夠將上述各實施方式所示的處理在獨立的計算機系統中簡單地實施。存儲介質是磁盤、光盤、光磁盤、IC卡、半導體存儲器等，只要是能夠記錄程序的介質就可以。
[0233]進而，這里說明在上述各實施方式中示出的運動圖像編碼方法(圖像編碼方法)及運動圖像解碼方法(圖像解碼方法)的應用例和使用它的系統。該系統的特征在于，具有由使用圖像編碼方法的圖像編碼裝置及使用圖像解碼方法的圖像解碼裝置構成的圖像編碼解碼裝置。關于系統的其他結構，可以根據情況而適當變更。
[0234]圖21是表示實現內容分發服務的內容供給系統exlOO的整體結構的圖。將通信服務的提供區劃分為希望的大小，在各小區內分別設置有作為固定無線站的基站exl06、exl07、exl08、exl09、exllO。
[0235]該內容供給系統exlOO在因特網exlOl上經由因特網服務提供商exl02及電話網exl04、及基站 exl07 ?exllO 連接著計算機 exlll、PDA (Personal Digital Assistant)exll2、照相機exll3、便攜電話exll4、游戲機exll5等的各設備。
[0236]但是，內容供給系統exlOO并不限定于圖21那樣的結構，也可以將某些要素組合連接。此外，也可以不經由作為固定無線站的基站exl07?exllO將各設備直接連接在電話網exl04上。此外，也可以將各設備經由近距離無線等直接相互連接。
[0237]照相機exll3是能夠進行數字攝像機等的運動圖像攝影的設備，照相機exll6是能夠進行數字照相機等的靜止圖像攝影、運動圖像攝影的設備。此外，便攜電話exll4是GSM (Global System for Mobile Communications)方式、CDMA (Code Division MultipleAccess)方式、W — CDMA (Wideband — Code Division Multiple Access)方式、或 LTE(Long Term Evolution)方式、HSPA (High Speed Packet Access)的便攜電話機、或 PHS(Personal Handyphone System)等，是哪種都可以。
[0238]在內容供給系統exlOO中，通過將照相機exll3等經由基站exl09、電話網exl04連接在流媒體服務器exl03上，能夠進行現場轉播等。在現場轉播中，對用戶使用照相機exll3攝影的內容(例如音樂會現場的影像等)如在上述各實施方式中說明那樣進行編碼處理(即，作為本發明的一個方式的圖像編碼裝置發揮作用)，向流媒體服務器exl03發送。另一方面，流媒體服務器exl03將發送來的內容數據對有請求的客戶端進行流分發。作為客戶端，有能夠將上述編碼處理后的數據解碼的計算機eXlll、PDAeX112、照相機exll3、便攜電話exll4、游戲機exll5等。在接收到分發的數據的各設備中，將接收到的數據解碼處理而再現(即，作為本發明的一個方式的圖像解碼裝置發揮作用)。
[0239]另外，攝影的數據的編碼處理既可以由照相機exll3進行，也可以由進行數據的發送處理的流媒體服務器exl03進行，也可以相互分擔進行。同樣，分發的數據的解碼處理既可以由客戶端進行，也可以由流媒體服務器exl03進行，也可以相互分擔進行。此外，并不限于照相機exll3，也可以將由照相機exll6攝影的靜止圖像及/或運動圖像數據經由計算機exlll向流媒體服務器exl03發送。此情況下的編碼處理由照相機exll6、計算機exlll、流媒體服務器exl03的哪個進行都可以，也可以相互分擔進行。
[0240]此外，這些編碼解碼處理一般在計算機exlll或各設備具有的LSIex500中處理。LSIex500既可以是單芯片，也可以是由多個芯片構成的結構。另外，也可以將運動圖像編碼解碼用的軟件裝入到能夠由計算機exlll等讀取的某些記錄介質(⑶一 ROM、軟盤、硬盤等)中、使用該軟件進行編碼解碼處理。進而，在便攜電話exll4是帶有照相機的情況下，也可以將由該照相機取得的運動圖像數據發送。此時的運動圖像數據是由便攜電話exll4具有的LSIex500編碼處理的數據。
[0241]此外，也可以是，流媒體服務器exl03是多個服務器或多個計算機，是將數據分散處理、記錄、及分發的。[0242]如以上這樣，在內容供給系統exlOO中，客戶端能夠接收編碼的數據而再現。這樣，在內容供給系統exlOO中，客戶端能夠將用戶發送的信息實時地接收、解碼、再現，即使是沒有特別的權利或設備的用戶也能夠實現個人廣播。
[0243]另外，并不限定于內容供給系統exlOO的例子，如圖22所示，在數字廣播用系統ex200中也能夠裝入上述實施方式的至少運動圖像編碼裝置(圖像編碼裝置)或運動圖像解碼裝置(圖像解碼裝置)的某個。具體而言，在廣播站ex201中，將對影像數據復用了音樂數據等而得到的復用數據經由電波向通信或廣播衛星ex202傳送。該影像數據是通過上述各實施方式中說明的運動圖像編碼方法編碼后的數據(即，通過本發明的一個方式的圖像編碼裝置編碼后的數據)。接受到該數據的廣播衛星ex202發出廣播用的電波，能夠對該電波進行衛星廣播接收的家庭的天線ex204接收該電波，通過電視機(接收機)ex300或機頂盒(STB) ex217等的裝置將接收到的復用數據解碼并將其再現(S卩，作為本發明的一個方式的圖像解碼裝置發揮作用)。
[0244]此外，也可以是，在將記錄在DVD、BD等的記錄介質ex215中的復用數據讀取并解碼、或將影像數據編碼再根據情況與音樂信號復用而寫入記錄介質ex215中的讀取器/記錄器ex218中也能夠安裝上述各實施方式所示的運動圖像解碼裝置或運動圖像編碼裝置。在此情況下，可以將再現的影像信號顯示在監視器ex219上，通過記錄有復用數據的記錄介質ex215在其他裝置或系統中能夠再現影像信號。此外，也可以是，在連接在有線電視用的線纜ex203或衛星/地面波廣播的天線ex204上的機頂盒ex217內安裝運動圖像解碼裝置，將其用電視機的監視器ex219顯示。此時，也可以不是在機頂盒、而在電視機內裝入運動圖像解碼裝置。
[0245]圖23是表示使用在上述各實施方式中說明的運動圖像解碼方法及運動圖像編碼方法的電視機(接收機)ex300的圖。電視機ex300具備經由接收上述廣播的天線ex204或線纜ex203等取得或者輸出對影像數據復用了聲音數據的復用數據的調諧器ex301、將接收到的復用數據解調或調制為向外部發送的編碼數據的調制/解調部ex302、和將解調后的復用數據分離為影像數據、聲音數據或將在信號處理部ex306中編碼的影像數據、聲音數據復用的復用/分離部ex303。
[0246]此外，電視機ex300具備:具有將聲音數據、影像數據分別解碼、或將各自的信息編碼的聲音信號處理部ex304和影像信號處理部ex305(即，作為本發明的一個方式的圖像編碼裝置或圖像解碼裝置發揮作用)的信號處理部ex306 ;具有將解碼后的聲音信號輸出的揚聲器ex307及顯示解碼后的影像信號的顯示器等的顯示部ex308的輸出部ex309。進而，電視機eX300具備具有受理用戶操作的輸入的操作輸入部ex312等的接口部ex317。進而，電視機ex300具有合并控制各部的控制部ex310、對各部供給電力的電源電路部ex311。接口部ex317也可以除了操作輸入部ex312以外，還具有與讀取器/記錄器ex218等的外部設備連接的橋接部ex313、用來能夠安裝SD卡等的記錄介質ex216的插槽部ex314、用來與硬盤等的外部記錄介質連接的驅動器ex315、與電話網連接的調制解調器ex316等。另外，記錄介質ex216是能夠通過收存的非易失性/易失性的半導體存儲元件電氣地進行信息的記錄的結構。電視機ex300的各部經由同步總線相互連接。
[0247]首先，對電視機eX300將通過天線ex204等從外部取得的復用數據解碼、再現的結構進行說明。電視機ex300接受來自遙控器ex220等的用戶操作，基于具有CPU等的控制部ex310的控制，將由調制/解調部ex302解調的復用數據用復用/分離部ex303分離。進而，電視機ex300將分離的聲音數據用聲音信號處理部ex304解碼，將分離的影像數據用影像信號處理部ex305使用在上述各實施方式中說明的解碼方法解碼。將解碼后的聲音信號、影像信號分別從輸出部ex309朝向外部輸出。在輸出時，可以暫時將這些信號儲存到緩沖器ex318、ex319等中，以使聲音信號和影像信號同步再現。此外，電視機ex300也可以不是從廣播等、而從磁/光盤、SD卡等的記錄介質ex215、ex216讀出編碼的復用數據。接著，對電視機ex300將聲音信號或影像信號編碼、向外部發送或寫入到記錄介質等中的結構進行說明。電視機ex300接受來自遙控器ex220等的用戶操作，基于控制部ex310的控制，由聲音信號處理部ex304將聲音信號編碼，由影像信號處理部ex305將影像信號使用在上述各實施方式中說明的編碼方法編碼。將編碼后的聲音信號、影像信號用復用/分離部ex303復用，向外部輸出。在復用時，可以暫時將這些信號儲存到緩沖器ex320、ex321等中，以使聲音信號和影像信號同步再現。另外，緩沖器ex318、ex319、ex320、ex321既可以如圖示那樣具備多個，也可以是共用一個以上的緩沖器的結構。進而，在圖示以外，也可以是，在例如調制/解調部ex302或復用/分離部ex303之間等也作為避免系統的上溢、下溢的緩沖部而在緩沖器中儲存數據。
[0248]此外，電視機ex300除了從廣播等或記錄介質等取得聲音數據、影像數據以外，也可以具備受理麥克風或照相機的AV輸入的結構，對從它們中取得的數據進行編碼處理。另夕卜，這里，將電視機ex300作為能夠進行上述編碼處理、復用、及外部輸出的結構進行了說明，但也可以是，不能進行這些處理，而是僅能夠進行上述接收、解碼處理、外部輸出的結構。
[0249]此外，在由讀取器/記錄器ex218從記錄介質將復用數據讀出、或寫入的情況下，上述解碼處理或編碼處理由電視機ex300、讀取器/記錄器ex218的哪個進行都可以，也可以是電視機ex300和讀取器/記錄器ex218相互分擔進行。
[0250]作為一例，將從光盤進行數據的讀入或寫入的情況下的信息再現/記錄部ex400的結構表示在圖24中。信息再現/記錄部ex400具備以下說明的單元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光頭ex401對作為光盤的記錄介質ex215的記錄面照射激光斑而寫入信息，檢測來自記錄介質ex215的記錄面的反射光而讀入信息。調制記錄部ex402電氣地驅動內置在光頭ex401中的半導體激光器，根據記錄數據進行激光的調制。再現解調部ex403將由內置在光頭ex401中的光檢測器電氣地檢測到來自記錄面的反射光而得到的再現信號放大，將記錄在記錄介質ex215中的信號成分分離并解調，再現所需要的信息。緩沖器ex404將用來記錄到記錄介質ex215中的信息及從記錄介質ex215再現的信息暫時保持。盤馬達ex405使記錄介質ex215旋轉。伺服控制部ex406 —邊控制盤馬達ex405的旋轉驅動一邊使光頭ex401移動到規定的信息軌道，進行激光斑的追蹤處理。系統控制部ex407進行信息再現/記錄部ex400整體的控制。上述的讀出及寫入的處理由系統控制部ex407利用保持在緩沖器ex404中的各種信息、此外根據需要而進行新的信息的生成、追力口、并且一邊使調制記錄部ex402、再現解調部ex403、伺服控制部ex406協調動作、一邊通過光頭ex401進行信息的記錄再現來實現。系統控制部ex407例如由微處理器構成，通過執行讀出寫入的程序來執行它們的處理。
[0251]以上，假設光頭ex401照射激光斑而進行了說明，但也可以是使用近場光進行高密度的記錄的結構。
[0252]在圖25中表示作為光盤的記錄介質ex215的示意圖。在記錄介質ex215的記錄面上，以螺旋狀形成有導引槽(溝)，在信息軌道ex230中，預先通過溝的形狀的變化而記錄有表示盤上的絕對位置的地址信息。該地址信息包括用來確定作為記錄數據的單位的記錄塊ex231的位置的信息，通過在進行記錄及再現的裝置中將信息軌道ex230再現而讀取地址信息，能夠確定記錄塊。此外，記錄介質ex215包括數據記錄區域ex233、內周區域ex232、外周區域ex234。為了記錄用戶數據而使用的區域是數據記錄區域ex233，配置在比數據記錄區域ex233靠內周或外周的內周區域ex232和外周區域ex234用于用戶數據的記錄以外的特定用途。信息再現/記錄部ex400對這樣的記錄介質ex215的數據記錄區域ex233進行編碼的聲音數據、影像數據或復用了這些數據的編碼數據的讀寫。
[0253]以上，舉I層的DVD、BD等的光盤為例進行了說明，但并不限定于這些，也可以是多層構造、在表面以外也能夠記錄的光盤。此外，也可以是在盤的相同的地方使用不同波長的顏色的光記錄信息、或從各種角度記錄不同的信息的層等、進行多維的記錄/再現的構造的光盤。
[0254]此外，在數字廣播用系統ex200中，也可以由具有天線ex205的車ex210從衛星ex202等接收數據、在車ex210具有的車載導航儀ex211等的顯示裝置上再現運動圖像。另夕卜，車載導航儀ex211的結構可以考慮例如在圖23所示的結構中添加GPS接收部的結構，在計算機exlll及便攜電話exll4等中也可以考慮同樣的結構。
[0255]圖26A是表示使用在上述實施方式中說明的運動圖像解碼方法和運動圖像編碼方法的便攜電話exll4的圖。便攜電話exll4具有由用來在與基站exllO之間收發電波的天線ex350、能夠拍攝影像、靜止圖像的照相機部ex365、顯示將由照相機部ex365攝影的影像、由天線ex350接收到的影像等解碼后的數據的液晶顯示器等的顯示部ex358。便攜電話exll4還具有包含操作鍵部ex366的主體部、用來進行聲音輸出的揚聲器等的聲音輸出部ex357、用來進行聲音輸入的麥克風等的聲音輸入部ex356、保存拍攝到的影像、靜止圖像、錄音的聲音、或者接收到的影像、靜止圖像、郵件等的編碼后的數據或者解碼后的數據的存儲器部ex367、或者作為與同樣保存數據的記錄介質之間的接口部的插槽部ex364。
[0256]進而，使用圖26B對便攜電話exl 14的結構例進行說明。便攜電話exl 14對于合并控制具備顯示部ex358及操作鍵部ex366的主體部的各部的主控制部ex360，將電源電路部ex361、操作輸入控制部ex362、影像信號處理部ex355、照相機接口部ex363、LCD (LiquidCrystal Display:液晶顯示器)控制部ex359、調制/解調部ex352、復用/分離部ex353、聲音信號處理部ex354、插槽部ex364、存儲器部ex367經由總線ex370相互連接。
[0257]電源電路部ex361如果通過用戶的操作使通話結束及電源鍵成為開啟狀態，則通過從電池組對各部供給電力，便攜電話exll4起動為能夠動作的狀態。
[0258]便攜電話exl 14基于具有CPU、ROM及RAM等的主控制部ex360的控制，在語音通話模式時，將由聲音輸入部ex356集音的聲音信號通過聲音信號處理部ex354變換為數字聲音信號，將其用調制/解調部ex352進行波譜擴散處理，由發送/接收部ex351實施數字模擬變換處理及頻率變換處理后經由天線ex350發送。此外，便攜電話exll4在語音通話模式時，將由天線ex350接收到的接收數據放大并實施頻率變換處理及模擬數字變換處理，用調制/解調部ex352進行波譜逆擴散處理，通過聲音信號處理部ex354變換為模擬聲音數據后，將其經由聲音輸出部ex357輸出。
[0259]進而，在數據通信模式時發送電子郵件的情況下，將通過主體部的操作鍵部ex366等的操作輸入的電子郵件的文本數據經由操作輸入控制部ex362向主控制部ex360送出。主控制部ex360將文本數據用調制/解調部ex352進行波譜擴散處理，由發送/接收部ex351實施數字模擬變換處理及頻率變換處理后，經由天線ex350向基站exllO發送。在接收電子郵件的情況下，對接收到的數據執行上述處理的大致逆處理，并輸出到顯示部ex350o
[0260]在數據通信模式時，在發送影像、靜止圖像、或者影像和聲音的情況下，影像信號處理部ex355將從照相機部ex365供給的影像信號通過上述各實施方式所示的運動圖像編碼方法進行壓縮編碼(即，作為本發明的一個方式的圖像編碼裝置發揮作用)，將編碼后的影像數據送出至復用/分離部ex353。另外，聲音信號處理部ex354對通過照相機部ex365拍攝影像、靜止圖像等的過程中用聲音輸入部ex356集音的聲音信號進行編碼，將編碼后的聲音數據送出至復用/分離部ex353。
[0261]復用/分離部ex353通過規定的方式，對從影像信號處理部ex355供給的編碼后的影像數據和從聲音信號處理部ex354供給的編碼后的聲音數據進行復用，將其結果得到的復用數據用調制/解調部(調制/解調電路部)ex352進行波譜擴散處理，由發送/接收部ex351實施數字模擬變換處理及頻率變換處理后，經由天線ex350發送。
[0262]在數據通信模式時接收到鏈接到主頁等的運動圖像文件的數據的情況下，或者接收到附加了影像或者聲音的電子郵件的情況下，為了對經由天線ex350接收到的復用數據進行解碼，復用/分離部ex353通過將復用數據分離，分為影像數據的比特流和聲音數據的比特流，經由同步總線ex370將編碼后的影像數據向影像信號處理部ex355供給，并將編碼后的聲音數據向聲音信號處理部ex354供給。影像信號處理部ex355通過與上述各實施方式所示的運動圖像編碼方法相對應的運動圖像解碼方法進行解碼，由此對影像信號進行解碼(即，作為本發明的一個方式的圖像解碼裝置發揮作用)，經由IXD控制部ex359從顯示部ex358顯示例如鏈接到主頁的運動圖像文件中包含的影像、靜止圖像。另外，聲音信號處理部ex354對聲音信號進行解碼,從聲音輸出部ex357輸出聲音。
[0263]此外，上述便攜電話exll4等的終端與電視機ex300同樣，除了具有編碼器、解碼器兩者的收發型終端以外，還可以考慮只有編碼器的發送終端、只有解碼器的接收終端的3種安裝形式。另外，在數字廣播用系統ex200中，設為發送、接收在影像數據中復用了音樂數據等得到的復用數據而進行了說明，但除聲音數據之外復用了與影像關聯的字符數據等的數據也可以，不是復用數據而是影像數據本身也可以。
[0264]這樣，將在上述各實施方式中表示的運動圖像編碼方法或運動圖像解碼方法用在上述哪種設備、系統中都可以，通過這樣，能夠得到在上述各實施方式中說明的效果。
[0265]此外，本發明并不限定于這樣的上述實施方式，能夠不脫離本發明的范圍而進行各種變形或修正。
[0266](實施方式3)
[0267]也可以通過將在上述各實施方式中示出的運動圖像編碼方法或裝置、與依據MPEG - 2、MPEG4-AVC、VC — I等不同的標準的運動圖像編碼方法或裝置根據需要而適當切換,來生成影像數據。[0268]這里，在生成分別依據不同的標準的多個影像數據的情況下，在解碼時，需要選擇對應于各個標準的解碼方法。但是，由于不能識別要解碼的影像數據依據哪個標準，所以產生不能選擇適當的解碼方法的問題。
[0269]為了解決該問題，在影像數據中復用了聲音數據等的復用數據采用包含表示影像數據依據哪個標準的識別信息的結構。以下，說明包括通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數據在內的復用數據的具體的結構。復用數據是MPEG - 2傳輸流形式的數字流。
[0270]圖27是表示復用數據的結構的圖。如圖27所示，復用數據通過將視頻流、音頻流、演示圖形流(PG)、交互圖形流中的I個以上進行復用而得到。視頻流表示電影的主影像及副影像，音頻流(IG)表示電影的主聲音部分和與該主聲音混合的副聲音，演示圖形流表示電影的字幕。這里，所謂主影像，表示顯示在畫面上的通常的影像，所謂副影像，是在主影像中用較小的畫面顯示的影像。此外，交互圖形流表示通過在畫面上配置GUI部件而制作的對話畫面。視頻流通過在上述各實施方式中示出的運動圖像編碼方法或裝置、依據以往的MPEG - 2、MPEG4-AVC、VC — I等標準的運動圖像編碼方法或裝置編碼。音頻流由杜比AC —
3,Dolby Digital Plus、MLP、DTS、DTS — HD、或線性 PCM 等的方式編碼。
[0271 ] 包含在復用數據中的各流通過PID被識別。例如，對在電影的影像中使用的視頻流分配0x1011， 對音頻流分配0x1100到OxlllF，對演示圖形分配0x1200到0xl21F，對交互圖形流分配0x1400到0xl41F，對在電影的副影像中使用的視頻流分配OxlBOO到OxlBlF，對與主聲音混合的副聲音中使用的音頻流分配OxIAOO到OxlAlF。
[0272]圖28是示意地表示復用數據怎樣被復用的圖。首先，將由多個視頻幀構成的視頻流ex235、由多個音頻幀構成的音頻流ex238分別變換為PES包序列ex236及ex239，并變換為TS包ex237及ex240。同樣，將演示圖形流ex241及交互圖形ex244的數據分別變換為PES包序列ex242及ex245，再變換為TS包ex243及ex246。復用數據ex247通過將這些TS包復用到I條流中而構成。
[0273]圖29更詳細地表示在PES包序列中怎樣保存視頻流。圖29的第I段表示視頻流的視頻幀序列。第2段表示PES包序列。如圖29的箭頭yyl、yy2、yy3、yy4所示,視頻流中的多個作為Video Presentation Unit的I圖片、B圖片、P圖片按每個圖片被分割并保存到PES包的有效載荷中。各PES包具有PES頭，在PES頭中，保存有作為圖片的顯示時刻的PTS (Presentation Time-Stamp)及作為圖片的解碼時刻的 DTS (Decoding Time-Stamp)?
[0274]圖30表示最終寫入在復用數據中的TS包的形式。TS包是由具有識別流的PID等信息的4字節的TS頭和保存數據的184字節的TS有效載荷構成的188字節固定長度的包，上述PES包被分割并保存到TS有效載荷中。在BD — ROM的情況下，對于TS包賦予4字節的TP_Extra_Header,構成192字節的源包,寫入到復用數據中。在TP_Extra_Header中記載有ATS (Arrival_Time_Stamp)等信息。ATS表示該TS包向解碼器的PID濾波器的轉送開始時刻。在復用數據中，源包如圖30下段所示排列，從復用數據的開頭起遞增的號碼被稱作SPN (源包號)。
[0275]此外，在復用數據所包含的TS包中，除了影像、聲音、字幕等的各流以外，還有PAT (Program Association Table)、PMT (Program Map Table)、PCR (Program ClockReference)等。PAT表示在復用數據中使用的PMT的PID是什么，PAT自身的PID被登記為O。PMT具有復用數據所包含的影像、聲音、字幕等的各流的PID、以及與各PID對應的流的屬性信息，還具有關于復用數據的各種描述符。在描述符中，有指示許可/不許可復用數據的拷貝的拷貝控制信息等。PCR為了取得作為ATS的時間軸的ATC (Arrival Time Clock)與作為PTS及DTS的時間軸的STC (System Time Clock)的同步，擁有與該PCR包被轉送至解碼器的ATS對應的STC時間的信息。
[0276]圖31是詳細地說明PMT的數據構造的圖。在PMT的開頭，配置有記述了包含在該PMT中的數據的長度等的PMT頭。在其后面，配置有多個關于復用數據的描述符。上述拷貝控制信息等被記載為描述符。在描述符之后，配置有多個關于包含在復用數據中的各流的流信息。流信息由記載有用來識別流的壓縮編解碼器的流類型、流的PID、流的屬性信息(幀速率、縱橫比等)的流描述符構成。流描述符存在復用數據中存在的流的數量。
[0277]在記錄到記錄介質等中的情況下，將上述復用數據與復用數據信息文件一起記錄。
[0278]復用數據信息文件如圖32所示，是復用數據的管理信息，與復用數據一對一地對應，由復用數據信息、流屬性信息以及入口映射構成。
[0279]復用數據信息如圖32所示，由系統速率、再現開始時刻、再現結束時刻構成。系統速率表示復用數據的向后述的系統目標解碼器的PID濾波器的最大轉送速率。包含在復用數據中的ATS的間隔設定為成為系統速率以下。再現開始時刻是復用數據的開頭的視頻幀的PTS，再現結束時刻設定為對復用數據的末端的視頻幀的PTS加上I幀量的再現間隔的值。
[0280]流屬性信息如圖33所示，按每個PID登記有關于包含在復用數據中的各流的屬性信息。屬性信息具有按視頻流、音頻流、演示圖形流、交互圖形流而不同的信息。視頻流屬性信息具有該視頻流由怎樣的壓縮編解碼器壓縮、構成視頻流的各個圖片數據的分辨率是多少、縱橫比是多少、幀速率是多少等的信息。音頻流屬性信息具有該音頻流由怎樣的壓縮編解碼器壓縮、包含在該音頻流中的聲道數是多少、對應于哪種語言、采樣頻率是多少等的信息。這些信息用于在播放器再現之前的解碼器的初始化等中。
[0281]在本實施方式中，使用上述復用數據中的、包含在PMT中的流類型。此外，在記錄介質中記錄有復用數據的情況下，使用包含在復用數據信息中的視頻流屬性信息。具體而言，在上述各實施方式示出的運動圖像編碼方法或裝置中，設置如下步驟或單元，該步驟或單元對包含在PMT中的流類型、或視頻流屬性信息，設定表示是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數據的固有信息。通過該結構，能夠識別通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數據、和依據其他標準的影像數據。
[0282]此外，在圖34中表示本實施方式的運動圖像解碼方法的步驟。在步驟exSlOO中，從復用數據中取得包含在PMT中的流類型、或包含在復用數據信息中的視頻流屬性信息。接著，在步驟exSlOl中，判斷流類型、或視頻流屬性信息是否表示是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的復用數據。并且，在判斷為流類型、或視頻流屬性信息是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的復用數據情況下，在步驟exS102中，通過在上述各實施方式中示出的運動圖像解碼方法進行解碼。此夕卜，在流類型、或視頻流屬性信息表示是依據以往的MPEG - 2、MPEG4-AVC、VC — I等的標準的復用數據的情況下，在步驟exS103中，通過依據以往的標準的運動圖像解碼方法進行解碼。
[0283]這樣，通過在流類型、或視頻流屬性信息中設定新的固有值，在解碼時能夠判斷是否能夠通過在上述各實施方式中示出的運動圖像解碼方法或裝置解碼。因而，在被輸入了依據不同的標準的復用數據的情況下，也能夠選擇適當的解碼方法或裝置，所以能夠不發生錯誤地進行解碼。此外，將在本實施方式中示出的運動圖像編碼方法或裝置、或者運動圖像解碼方法或裝置用在上述任何設備、系統中。
[0284](實施方式4)
[0285]在上述各實施方式中示出的運動圖像編碼方法及裝置、運動圖像解碼方法及裝置典型地可以由作為集成電路的LSI實現。作為一例，在圖35中表示I芯片化的LSIex500的結構。LSIex500 具備以下說明的單元 ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各單元經由總線ex510連接。電源電路部ex505通過在電源是開啟狀態的情況下對各部供給電力，起動為能夠動作的狀態。
[0286]例如在進行編碼處理的情況下，LSIex500基于具有CPUex502、存儲器控制器ex503、流控制器ex504、驅動頻率控制部ex512等的控制部ex501的控制，通過AV I/0ex509從麥克風exl 17及照相機exl 13等輸入AV信號。被輸入的AV信號暫時儲存在SDRAM等的外部的存儲器ex511中。基于控制部ex501的控制，將儲存的數據根據處理量及處理速度適當地分為多次等，向信號處理部ex507發送，在信號處理部ex507中進行聲音信號的編碼及/或影像信號的編碼。這里，影像信號的編碼處理是在上述各實施方式中說明的編碼處理。在信號處理部ex507中，還根據情況而進行將編碼的聲音數據和編碼的影像數據復用等的處理，從流I/0ex506向外部輸出。將該輸出的比特流向基站exl07發送、或寫入到記錄介質ex215中。另外，在復用時，可以暫時將數據儲存到緩沖器ex508中以使其同步。
[0287]另外，在上述中，設存儲器ex511為LSIex500的外部的結構進行了說明，但也可以是包含在LSIex500的內部中的結構。緩沖器ex508也并不限定于一個，也可以具備多個緩沖器。此外，LSIex500既可以形成I個芯片，也可以形成多個芯片。
[0288]此外，在上述中，假設控制部ex510具有CPUex502、存儲器控制器ex503、流控制器ex504、驅動頻率控制部ex512等,但控制部ex510的結構并不限定于該結構。例如,也可以是信號處理部ex507還具備CPU的結構。通過在信號處理部ex507的內部中也設置CPU，能夠進一步提高處理速度。此外，作為其他例，也可以是CPUex502具備信號處理部ex507、或作為信號處理部ex507的一部分的例如聲音信號處理部的結構。在這樣的情況下，控制部ex501為具備具有信號處理部ex507或其一部分的CPUex502的結構。
[0289]另外，這里設為LSI，但根據集成度的差異，也有稱作1C、系統LS1、超級(super)LS1、特級(ultra)LSI的情況。
[0290]此外，集成電路化的方法并不限定于LSI，也可以由專用電路或通用處理器實現。也可以利用在LSI制造后能夠編程的FPGA (Field Programmable Gate Array)、或能夠重構LSI內部的電路單元的連接及設定的可重構處理器。
[0291]進而，如果因半導體技術的進步或派生的其他技術而出現代替LSI的集成電路化的技術，則當然也可以使用該技術進行功能模塊的集成化。有可能是生物技術的應用等。
[0292](實施方式5)[0293]在將通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數據解碼的情況下，考慮到與將依據以往的MPEG - 2、MPEG4-AVC、VC — I等標準的影像數據的情況相比處理量會增加。因此，在LSIex500中，需要設定為比將依據以往的標準的影像數據解碼時的CPUex502的驅動頻率更高的驅動頻率。但是，如果將驅動頻率設得高，則發生消耗電力變高的問題。
[0294]為了解決該問題，電視機ex300、LSIex500等的運動圖像解碼裝置采用識別影像數據依據哪個標準、并根據標準切換驅動頻率的結構。圖36表示本實施方式的結構ex800。驅動頻率切換部ex803在影像數據是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的情況下，將驅動頻率設定得高。并且，對執行在上述各實施方式中示出的運動圖像解碼方法的解碼處理部ex801指示將影像數據解碼。另一方面，在影像數據是依據以往的標準的影像數據的情況下，與影像數據是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的數據的情況相比，將驅動頻率設定得低。并且，對依據以往的標準的解碼處理部ex802指示將影像數據解碼。
[0295]更具體地講，驅動頻率切換部ex803由圖35的CPUex502和驅動頻率控制部ex512構成。此外，執行在上述各實施方式中示出的運動圖像解碼方法的解碼處理部ex801、以及依據以往的標準的解碼處理部ex802對應于圖35的信號處理部ex507。CPUex502識別影像數據依據哪個標準。并且，基于來自CPUex502的信號，驅動頻率控制部ex512設定驅動頻率。此外，基于來自CPUex502的信號，信號處理部ex507進行影像數據的解碼。這里，可以考慮在影像數據的識別中使用例如在實施方式3中記載的識別信息。關于識別信息，并不限定于在實施方式3中記載的信息，只要是能夠識別影像數據依據哪個標準的信息就可以。例如，在基于識別影像數據利用于電視機還是利用于盤等的外部信號，來能夠識別影像數據依據哪個標準的情況下，也可以基于這樣的外部信號進行識別。此外，CPUex502的驅動頻率的選擇例如可以考慮如圖38所示的將影像數據的標準與驅動頻率建立對應的查找表進行。將查找表預先保存到緩沖器ex508、或LSI的內部存儲器中，CPUex502通過參照該查找表，能夠選擇驅動頻率。
[0296]圖37表示實施本實施方式的方法的步驟。首先，在步驟exS200中，在信號處理部ex507中，從復用數據中取得識別信息。接著，在步驟exS201中，在CPUex502中，基于識別信息識別影像數據是否是通過在上述各實施方式中示出的編碼方法或裝置生成的數據。在影像數據是通過在上述各實施方式中示出的編碼方法或裝置生成的數據的情況下，在步驟exS202中，CPUex502向驅動頻率控制部ex512發送將驅動頻率設定得高的信號。并且，在驅動頻率控制部ex512中設定為高的驅動頻率。另一方面，在表示是依據以往的MPEG — 2、MPEG4-AVC、VC — I等的標準的影像數據的情況下，在步驟exS203中，CPUex502向驅動頻率控制部ex512發送將驅動頻率設定得低的信號。并且，在驅動頻率控制部ex512中，設定為與影像數據是通過在上述各實施方式中示出的編碼方法或裝置生成的數據的情況相比更低的驅動頻率。
[0297]進而，通過與驅動頻率的切換連動而變更對LSIeX500或包括LSIeX500的裝置施加的電壓，由此能夠進一步提高節電效果。例如，在將驅動頻率設定得低的情況下，隨之，可以考慮與將驅動頻率設定得高的情況相比，將對LSIex500或包括LSIex500的裝置施加的電壓設定得低。[0298]此外，驅動頻率的設定方法只要是在解碼時的處理量大的情況下將驅動頻率設定得高、在解碼時的處理量小的情況下將驅動頻率設定得低就可以，并不限定于上述的設定方法。例如，可以考慮在將依據MPEG4-AVC標準的影像數據解碼的處理量大于將通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數據解碼的處理量的情況下，與上述的情況相反地進行驅動頻率的設定。
[0299]進而，驅動頻率的設定方法并不限定于使驅動頻率低的結構。例如，也可以考慮在識別信息是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數據的情況下，將對LSIex500或包括LSIex500的裝置施加的電壓設定得高，在表示是依據以往的MPEG - 2、MPEG4-AVC、VC 一 I等的標準的影像數據的情況下，將對LSIex500或包括LSIex500的裝置施加的電壓設定得低。此外，作為另一例，也可以考慮在識別信息表示是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數據的情況下，不使CPUex502的驅動停止，在表示是依據以往的MPEG — 2、MPEG4_AVC、VC — I等的標準的影像數據的情況下，由于在處理中有富余，所以使CPUex502的驅動暫停。也可以考慮在識別信息表示是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數據的情況下，也只要在處理中有富余則使CPUex502的驅動暫停。在此情況下，可以考慮與表示是依據以往的MPEG - 2、MPEG4-AVC、VC — I等的標準的影像數據的情況相比，將停止時間設定得短。
[0300]這樣，根據影像數據所依據的標準來切換驅動頻率，由此能夠實現節電化。此外，在使用電池來驅動LSIex500或包括LSIex500的裝置的情況下，能夠隨著節電而延長電池的壽命。
[0301](實施方式6)
[0302]在電視機、便攜電話等上述的設備、系統中，有時被輸入依據不同的標準的多個影像數據。這樣，為了使得在被輸入了依據不同的標準的多個影像數據的情況下也能夠解碼，LSIex500的信號處理部ex507需要對應于多個標準。但是，如果單獨使用對應于各個標準的信號處理部ex507，則發生LSIex500的電路規模變大、此外成本增加的問題。
[0303]為了解決該問題，采用將用來執行在上述各實施方式中示出的運動圖像解碼方法的解碼處理部、和依據以往的MPEG - 2、MPEG4-AVC、VC — I等的標準的解碼處理部一部分共用的結構。圖39A的ex900表示該結構例。例如，在上述各實施方式中示出的運動圖像解碼方法和依據MPEG4-AVC標準的運動圖像解碼方法在熵編碼、逆量化、解塊濾波器、運動補償等的處理中有一部分處理內容共通。可以考慮如下結構:關于共通的處理內容，共用對應于MPEG4-AVC標準的解碼處理部ex902，關于不對應于MPEG4-AVC標準的本發明的一個方式所特有的其他的處理內容，使用專用的解碼處理部ex901。關于解碼處理部的共用，也可以是如下結構:關于共通的處理內容，共用用來執行在上述各實施方式中示出的運動圖像解碼方法的解碼處理部，關于MPEG4-AVC標準所特有的處理內容，使用專用的解碼處理部。
[0304]此外,用圖39B的exlOOO表示將處理一部分共用的另一例。在該例中，采用使用與本發明的一個方式所特有的處理內容對應的專用的解碼處理部exlOOl、和與其他的以往標準所特有的處理內容對應的專用的解碼處理部exl002、和與在本發明的一個方式的運動圖像解碼方法和其他的以往標準的運動圖像解碼方法中共通的處理內容對應的共用的解碼處理部exl003的結構。這里,專用的解碼處理部exl001、exl002并不一定是為本發明的一個方式、或者其他的以往標準所特有的處理內容而特殊化的，可以是能夠執行其他的通用處理的結構。此外，也能夠由LSIeX500安裝本實施方式的結構。
[0305]這樣，對于在本發明的一個方式的運動圖像解碼方法和以往的標準的運動圖像解碼方法中共通的處理內容，共用解碼處理部，由此能夠減小LSI的電路規模并且降低成本。
[0306]工業實用性
[0307]本發明的運動圖像編碼方法及運動圖像解碼方法能夠應用于所謂的多媒體數據，在限制運動矢量的大小的范圍的情況下，能夠削減處理負荷并且保持編碼效率，例如作為使用便攜電話、DVD裝置、及個人計算機等的儲存、傳送、通信等中的運動圖像編碼方法及運動圖像解碼方法是有用的。
[0308]符號的說明
[0309]100運動圖像編碼裝置
[0310]101差分部
[0311]102變換部
[0312]103量化部
[0313]104、202 逆量化部
[0314]105,203 逆變換部
[0315]106、204 加法部
[0316]107、205幀內/幀間預測部
[0317]108編碼控制部
[0318]109、207 存儲器
[0319]110熵編碼部
[0320]200運動圖像解碼裝置
[0321]201熵解碼部
[0322]206解碼控制部
【權利要求】
1.一種運動圖像編碼方法，是將多個圖片按每個塊進行編碼的運動圖像編碼方法，包括以下步驟: 追加步驟，對于包含在編碼對象圖片中并且與編碼對象塊在空間上鄰接的、或者包含在與所述編碼對象圖片不同的圖片中并且在時間上鄰接的I個以上的對應塊的每一個，向列表選擇性地追加所述對應塊的運動矢量； 選擇步驟，從所述列表選擇為了進行所述編碼對象塊的編碼而使用的運動矢量；以及 編碼步驟，使用在所述選擇步驟中選擇的所述運動矢量，對所述編碼對象塊進行編碼； 在所述追加步驟中，通過對所述時間上鄰接的對應塊的第I運動矢量進行縮放處理，計算第2運動矢量，判定所計算出的所述第2運動矢量是否包含在規定的大小的范圍內，如果所述第2運動矢量包含在所述規定的大小的范圍內，則將所述第2運動矢量作為所述對應塊的運動矢量追加到所述列表中。
2.如權利要求1所述的運動圖像編碼方法， 在所述追加步驟中，如果所述第2運動矢量不包含在所述規定的大小的范圍內，則對所述第2運動矢量進行縮減以收斂在所述規定的大小的范圍內，并將縮減后的運動矢量作為所述對應塊的運動矢量追加到所述列表。
3.如權利要求1所述的運動圖像編碼方法， 在所述追加步驟中，如果所述第2運動矢量不包含在所述規定的大小的范圍內，則不將所述第2運動矢量追加到所述列表。
4.如權利要求1~3中任一項所述的運動圖像編碼方法， 所述列表是具有確定信息的合并候選列表，該確定信息用于確定所述對應塊的所述運動矢量、以及由所述對應塊參照的圖片， 在所述追加步驟中，除了所述對應塊的所述運動矢量，還將所述確定信息追加到所述合并候選列表， 在所述選擇步驟中，從所述合并候選列表選擇為了進行所述編碼對象塊的編碼而使用的運動矢量及確定信息， 在所述編碼步驟中，使用在所述選擇步驟中選擇的所述運動矢量及所述確定信息來生成所述編碼對象塊的預測圖像，從而對所述編碼對象塊進行編碼。
5.如權利要求1~3中任一項所述的運動圖像編碼方法， 所述列表是預測運動矢量候選列表， 在所述追加步驟中，還判定通過對所述空間上鄰接的對應塊的第3運動矢量進行縮放處理而計算出的第4運動矢量是否包含在規定的大小的范圍內，如果所述第4運動矢量包含在所述規定的大小的范圍內，則將所述第4運動矢量作為預測運動矢量的候選追加到所述預測運動矢量候選列表， 在所述選擇步驟中，從所述預測運動矢量候選列表選擇為了進行所述編碼對象塊的編碼而使用的預測運動矢量， 在所述編碼步驟中，進行包含如下的編碼的所述編碼對象塊的編碼:使用在所述選擇步驟中選擇的所述預測運動矢量，對所述編碼對象塊的運動矢量進行編碼。
6.如權利要求5所述的運動圖像編碼方法，如果所述第4運動矢量不包含在所述規定的大小的范圍內，則對所述第4運動矢量進行縮減以收斂在所述規定的大小的范圍內，并將縮減后的運動矢量作為所述預測運動矢量的候選追加到所述預測運動矢量候選列表。
7.如權利要求1~6中任一項所述的運動圖像編碼方法， 所述規定的大小的范圍由運動矢量的比特精度決定， 所述比特精度使用由簡表或級別規定的值、或者向頭附加的值。
8.—種運動圖像解碼方法，是將多個圖片按每個塊進行解碼的運動圖像解碼方法，包括以下步驟: 追加步驟，對于包含在解碼對象圖片中并且與解碼對象塊在空間上鄰接的、或者包含在與所述解碼對象圖片不同的圖片中并且在時間上鄰接的I個以上的對應塊的每一個，向列表選 擇性地追加所述對應塊的運動矢量； 選擇步驟，從所述列表選擇為了進行所述解碼對象塊的解碼而使用的運動矢量；以及 解碼步驟，使用在所述選擇步驟中選擇的所述運動矢量，對所述解碼對象塊進行解碼； 在所述追加步驟中，通過對所述時間上鄰接的對應塊的第I運動矢量進行縮放處理，計算第2運動矢量，判定所計算出的所述第2運動矢量是否包含在規定的大小的范圍內，如果所述第2運動矢量包含在所述規定的大小的范圍內，則將所述第2運動矢量作為所述對應塊的運動矢量追加到所述列表中。
9.如權利要求8所述的運動圖像解碼方法， 在所述追加步驟中，如果所述第2運動矢量不包含在所述規定的大小的范圍內，則對所述第2運動矢量進行縮減以收斂在所述規定的大小的范圍內，并將縮減后的運動矢量追加到所述列表。
10.如權利要求8所述的運動圖像解碼方法， 所述追加步驟中，如果所述第2運動矢量不包含在所述規定的大小的范圍內，則不將所述第2運動矢量追加到所述列表。
11.如權利要求8~10中任一項所述的運動圖像解碼方法， 所述列表是具有確定信息的合并候選列表，該確定信息用于確定所述對應塊的所述運動矢量、以及由所述對應塊參照的圖片， 在所述追加步驟中，除了所述對應塊的所述運動矢量，還將所述確定信息追加到所述合并候選列表， 在所述選擇步驟中，從所述合并候選列表選擇為了進行所述解碼對象塊的解碼而使用的運動矢量及確定信息， 在所述解碼步驟中，使用在所述選擇步驟中選擇的所述運動矢量及所述確定信息，生成所述解碼對象塊的預測圖像，從而對所述解碼對象塊進行解碼。
12.如權利要求8~10中任一項所述的運動圖像解碼方法， 所述列表是預測運動矢量候選列表， 在所述追加步驟中，還判定通過對所述空間上鄰接的對應塊的第3運動矢量進行縮放處理而計算出的第4運動矢量是否包含在規定的大小的范圍，如果所述第4運動矢量包含在所述規定的大小的范圍內，則將所述第4運動矢量作為預測運動矢量的候選追加到所述預測運動矢量候選列表， 在所述選擇步驟中，從所述預測運動矢量候選列表選擇為了進行所述解碼對象塊的解碼而使用的預測運動矢量， 在所述解碼步驟中，進行包括如下解碼在內的所述解碼對象塊的解碼:使用在所述選擇步驟中選擇的所述預測運動矢量，對所述解碼對象塊的運動矢量進行解碼。
13.如權利要求12所述的運動圖像解碼方法， 在所述追加步驟中，如果所述第4運動矢量不包含在所述規定的大小的范圍內，則對所述第4運動矢量進行縮減以收斂在所述規定的大小的范圍內，并將縮減后的運動矢量作為所述預測運動矢量的候選追加到所述預測運動矢量候選列表。
14.如權利要求8~13中任一項所述的運動圖像解碼方法， 所述規定的大小的范圍由運動矢量的比特精度決定， 所述比特精度使用由簡表或級別規定的值、或者向頭附加的值。
15.一種運動圖像編碼裝置，是將多個圖片按每個塊進行編碼的運動圖像編碼裝置，具備: 追加部，對于包含在編碼對象圖片中并且與編碼對象塊在空間上鄰接的、或者包含在與所述編碼對象圖片不同的圖片中并且在時間上鄰接的I個以上的對應塊的每一個，向列表選擇性地追加所述對應塊的運動矢量； 選擇部，從所述列表選擇為了進行所述編碼對象塊的編碼而使用的運動矢量；以及 編碼部，使用在所述選擇部中選擇的所述運動矢量，對所述編碼對象塊進行編碼； 在所述追加部中，通過對所述時間上鄰接的對應塊的第I運動矢量進行縮放處理，計算第2運動矢量，判定所計算出的所述第2運動矢量是否包含在規定的大小的范圍內，如果所述第2運動矢量包含在所述規定的大小的范圍內，則將所述第2運動矢量作為所述對應塊的運動矢量追加到所述列表中。
16.一種運動圖像解碼裝置，是將多個圖片按每個塊進行解碼的運動圖像解碼裝置，具備: 追加部，對于包含在解碼對象圖片中并且與解碼對象塊在空間上鄰接的、或者包含在與所述解碼對象圖片不同的圖片中并且在時間上鄰接的I個以上的對應塊的每一個，向列表選擇性地追加所述對應塊的運動矢量； 選擇部，從所述列表選擇為了進行所述解碼對象塊的解碼而使用的運動矢量；以及 解碼部，使用在所述選擇部中選擇的所述運動矢量，對所述解碼對象塊進行解碼； 在所述追加部中，通過對所述時間上鄰接的對應塊的第I運動矢量進行縮放處理，計算第2運動矢量，判定所計算出的所述第2運動矢量是否包含在規定的大小的范圍內，如果所述第2運動矢量包含在所述規定的大小的范圍內，則將所述第2運動矢量作為所述對應塊的運動矢量追加到所述列表中。
17.—種運動圖像編解碼裝置，具備: 權利要求15所述的運動圖像編碼裝置；以及 權利要求16所述的運動圖像解碼裝置。
【文檔編號】H04N19/52GK103650507SQ201280033794
【公開日】2014年3月19日 申請日期:2012年12月11日 優先權日:2011年12月16日
【發明者】杉尾敏康, 西孝啟, 柴原陽司, 谷川京子, 笹井壽郎, 松延徹, 寺田健吾 申請人:松下電器產業株式會社
相關技術
網友詢問留言
已有0條留言
- 還沒有人留言評論。精彩留言會獲得點贊！
1
- 一種顏色濾波陣列圖像的編解碼方法、裝置和系統的制作方法
- 支持多個層的圖像編碼和解碼方法以及使用該方法的裝置的制造方法
- 圖像編碼設備、圖像編碼方法和程序、以及圖像解碼設備、圖像解碼方法和程序的制作方法
- 使用運動場的圖像序列編碼/解碼的制作方法
- 圖像編碼方法、圖像解碼方法、圖像編碼裝置及圖像解碼裝置的制造方法
- 圖像編碼裝置、圖像編碼方法、圖像解碼裝置和圖像解碼方法
- 圖像預測編碼方法及裝置、圖像預測解碼方法及裝置的制造方法
- 運動圖像編碼裝置、運動圖像解碼裝置、運動圖像編碼方法、運動圖像解碼方法、及程序的制作方法
- 運動圖像編碼裝置、運動圖像解碼裝置、運動圖像編碼方法、運動圖像解碼方法、及程序的制作方法
- 圖像編碼方法和裝置以及圖像解碼方法和裝置的制造方法
- 圖像編碼、解碼方法及裝置的制造方法
- 圖像塊的編碼和解碼方法、對應的設備和數據流的制作方法
- 編碼和解碼圖像的方法、編碼和解碼設備、計算機程序的制作方法
- 圖像編碼裝置、圖像編碼方法和程序、圖像解碼裝置以及圖像解碼方法和程序的精度信息 ...的制作方法
- 編碼/解碼圖像的方法和使用其的設備的制造方法
- 支持多個層的用于編碼/解碼圖像的方法和設備的制造方法
- 圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程序、以及圖像解 ...的制作方法
- 圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程序、圖像解碼程 ...的制作方法
- 圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程序、圖像解碼程 ...的制作方法
- 圖像編碼、解碼方法及裝置的制造方法
- 圖像編碼、解碼方法及裝置的制造方法
- 圖像塊的編碼和解碼方法、對應的設備和數據流的制作方法
- 編碼和解碼圖像的方法、編碼和解碼設備、計算機程序的制作方法
- 圖像編碼裝置、圖像編碼方法和程序、圖像解碼裝置以及圖像解碼方法和程序的精度信息 ...的制作方法
- 編碼/解碼圖像的方法和使用其的設備的制造方法
- 支持多個層的用于編碼/解碼圖像的方法和設備的制造方法
- 圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程序、以及圖像解 ...的制作方法
- 圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程序、圖像解碼程 ...的制作方法
- 圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程序、圖像解碼程 ...的制作方法
- 圖像編碼、解碼方法及裝置的制造方法