執行運動矢量預測的方法、編碼和解碼方法及其裝置制造方法

執行運動矢量預測的方法、編碼和解碼方法及其裝置制造方法
【專利摘要】提供了一種為圖片中的當前塊執行運動矢量預測的方法，所述方法包括：為具有當前運動矢量和當前參考圖片的當前塊得到用于運動矢量預測值候選的候選列表的運動矢量預測值候選，以及基于候選列表得到運動矢量預測值，其中，所述得到運動矢量預測值候選包括：選擇當前塊的相鄰塊或對應位置的塊的運動矢量，所述運動矢量具有相關的參考圖片，以及基于當前參考圖片的類型和/或所述相關的參考圖片的類型，決定是否縮放所述運動矢量以產生運動矢量預測值候選，和/或是否將所述運動矢量包括在候選集合表中。另外，提供了一種包括運動矢量預測的編碼方法和解碼方法，及相應的編碼裝置和解碼裝置。
【專利說明】執行運動矢量預測的方法、編碼和解碼方法及其裝置

【技術領域】
[0001]本發明涉及一種執行運動矢量預測的方法，一種包括運動矢量預測的編碼方法和解碼方法，及其編碼和解碼裝置。本發明可以應用于任何多媒體數據編碼中，更具體地，應用于支持用于運動矢量預測處理的不同類型的參考圖片的影像(或圖像)編碼中。

【背景技術】
[0002]諸如HEVC (高效視頻編碼)、MVC (多視點視頻編碼)或SVC (可縮放視頻編碼)之類的最近的視頻編碼方案支持使用在前編碼的參考圖片的圖片間預測。參考圖片的分類可以不同，例如取決于它們的與目標圖片的圖片順序計數(POC)距離、用于SVC的觀看層和用于3D影像和MVC的觀看id。然而，傳統編碼方案將相同的運動矢量預測應用于所有類型的參考圖片，不管其觀看id、觀看層如何，它們是短期還是長期參考圖片。例如，在指向長期參考圖片(LTRP)的運動矢量(MV)上執行基于POC的縮放可以導致具有極大或極小量值的縮放的運動矢量。在此情況下，運動矢量預測處理的準確度和效率變為次優的。
[0003]HEVC支持空間運動矢量預測和時間運動矢量預測。在空間運動矢量預測中，使用在前編碼的相鄰PU的運動矢量預測目標預測單元(PU)的運動矢量。目標和相鄰PU都位于當前目標圖片內。在時間運動矢量預測中，使用對應位置的塊的運動矢量預測目標預測單位(PU)的運動矢量。對應位置的塊位于在前編碼的對應位置的圖片內，使用指向參考圖片(其可以稱為對應位置的參考圖片)的運動矢量編碼對應位置的塊。術語對應位置的通常表示在對應位置的圖片內的對應位置的PU的坐標與當前目標圖片內目標的坐標相同。但由于HEVC中可變編碼單元和預測單元尺寸，當前與對應位置的可能沒有極好地對齊(即它們的坐標可能不是準確的相同)，將預定選擇方案用于選擇對應位置的PU。
[0004]可以基于運動矢量的某些特性，例如在目標圖片與其相應參考圖片之間的其時間距離(即圖片順序計數(POC)值差)，通過縮放相鄰或對應位置的的運動矢量來獲得運動矢量預測值(MVP)。例如，可以按照POC距離縮放對應位置的PU的運動矢量，以按照以下等式為當前PU產生時間MVP:
[0005]MVP = (tb/td) *nmv
[0006]其中:
[0007]MVP =從對應位置的塊/PU的運動矢量得到的時間運動矢量預測值；
[0008]nmv =對應位置的塊/HJ的運動矢量；
[0009]tb =從當前圖片到由目標塊/PU參考的參考圖片的有符號的POC距離/差；
[0010]td =從對應位置的圖片到由對應位置的塊/I3U參考的參考圖片的有符號的POC距離/差。
[0011]通常，在空間預測中，為了得到“td”，目標圖片是當前圖片，且其參考圖片是對應位置的參考圖片。在時間預測中，為了得到“tb”，目標圖片是對應位置的圖片，其參考圖片是對應位置的參考圖片。對于空間預測和時間預測兩者，為了得到“tb”，目標圖片是當前圖片，且其參考圖片是當前參考圖片(即由目標PU參考的，來自RefListO或者來自RefListl)ο
[0012]引用列表
[0013]非專利文獻
[0014]NPL I JS0/IEC 14496-10，“MPEG_4Part 1Advanced Video Coding”


【發明內容】

[0015]技術問題
[0016]如在【背景技術】中所述的，傳統編碼方案將相同的運動矢量預測應用于所有類型的參考圖片，即，在不考慮所涉及的參考圖片的類型的情況下，執行縮放。例如，傳統基于POC的縮放方案不考慮運動矢量預測中所涉及的參考圖片是否是長期參考圖片。在指向長期參考圖片的運動矢量上執行基于POC的縮放可以導致具有極大或極小量值的縮放的運動矢量(即MVP)。這是因為在長期參考圖片(LTRP)與參考LTRP的PU之間的POC距離可以很大。在此情況下，運動矢量預測處理的準確度和效率變為不準確的且次優的。
[0017]問題的解決
[0018]本發明的實施方式尋找提供用于在考慮所涉及的參考圖片的類型的情況下執行運動矢量預測的方法和裝置。具體地，根據本發明的實施方式，基于所涉及的參考圖片的類型來決定是否縮放運動矢量以便產生運動矢量預測值候選和/或是否將運動矢量包括在運動矢量預測值候選的候選列表中。因此，能夠改進運動矢量預測處理的效率，因為減少或去除了不必要的或不希望有的縮放步驟(即導致產生錯誤的運動矢量預測值的縮放)，。
[0019]根據實施方式，在空間運動矢量預測中，當以下任意一個條件為真時，禁用基于POC的運動矢量縮放:
[0020]-當前(即目標)PU參考預定類型的參考圖片，或者
[0021]-相鄰I3U參考預定類型的參考圖片。
[0022]根據另一個實施方式，在時間運動矢量預測中，當以下任意一個條件為真時，禁用基于POC的運動矢量縮放:
[0023]-當前(即目標)PU參考預定類型的參考圖片，或者
[0024]-對應位置的PU參考預定類型的參考圖片。
[0025]例如，預定類型的參考圖片可以是長期參考圖片。在一個實施方式中，當禁用基于POC的運動矢量縮放時，在需要用于空間或時間運動矢量預測的可用運動矢量候選時，將相鄰或對應位置的PU的運動矢量直接視為空間或時間運動矢量預測值。
[0026]在某些實施方式中，取決于所涉及的參考圖片的類型，可以將空間或時間運動矢量候選直接設定為不可用(即從候選列表中排除)。
[0027]根據本發明的第一方面，提供了一種為圖片中的當前塊執行運動矢量預測的方法，所述方法包括:
[0028]為具有當前運動矢量和當前參考圖片的當前塊得到用于運動矢量預測值候選的候選列表的運動矢量預測值候選，以及
[0029]基于來自候選列表的選擇的運動矢量預測值候選得到運動矢量預測值，
[0030]其中，所述得到運動矢量預測值候選包括:
[0031]選擇當前塊的相鄰塊或對應位置的塊的運動矢量，所述運動矢量具有相關的參考圖片，以及基于當前參考圖片的類型和/或所述相關的參考圖片的類型，決定是否縮放所述運動矢量以產生運動矢量預測值候選，和/或是否將所述運動矢量包括在候選列表中。
[0032]優選地，所述決定包括確定是當前參考圖片還是所述相關的參考圖片具有預定類型。
[0033]所述方法可以進一步包括如果當前參考圖片或者所述相關的參考圖片具有預定類型，就將所述運動矢量排除在候選列表的包括之外。
[0034]所述方法可以進一步包括如果當前參考圖片或者所述相關的參考圖片具有預定類型，就縮放所述運動矢量以產生運動矢量預測值候選。
[0035]如果當前參考圖片或者所述相關的參考圖片具有預定類型，所述方法可以決定不縮放所述運動矢量，并復制所述運動矢量以產生運動矢量預測值候選。
[0036]所述方法可以進一步包括如果當前參考圖片和所述相關的參考圖片具有相同類型，就縮放所述運動矢量以產生運動矢量預測值候選。
[0037]優選地，預定類型的參考圖片是長期參考圖片、視圖間參考圖片、和/或層間參考圖片。
[0038]根據本發明的第二方面，提供了一種編碼方法，用于編碼圖片的當前塊以產生編碼比特流，所述編碼方法包括根據本文前述的本發明的第一方面的為當前塊執行運動矢量預測的方法。
[0039]根據本發明的第三方面，提供了一種解碼方法，用于從編碼比特流解碼圖片的當前塊，所述解碼方法包括根據本文前述的本發明的第一方面的為當前塊執行運動矢量預測的方法。
[0040]根據本發明的第四方面，提供了一種編碼裝置，用于編碼圖片的當前塊以產生編碼比特流，所述編碼裝置包括:
[0041]運動矢量預測單元，用于為具有當前運動矢量和當前參考圖片的當前塊得到用于運動矢量預測值候選的候選列表的運動矢量預測值候選，以及用于基于來自候選列表的選擇的運動矢量預測值候選得到運動矢量預測值；
[0042]控制單元，用于接收當前塊的相鄰塊或對應位置的塊的運動矢量，所述運動矢量具有相關的參考圖片，以及用于基于當前參考圖片的類型和/或所述相關的參考圖片的類型，決定是否縮放所述運動矢量以產生運動矢量預測值候選，和/或是否將所述運動矢量包括在候選列表中；
[0043]幀間預測單元，用于基于得到的運動矢量預測值產生預測塊；及
[0044]編碼單元，用于基于當前塊和預測塊產生編碼比特流，
[0045]其中，所述控制單元被配置為將表示所述決定的信號輸出到所述運動矢量預測單元，以便基于所述信號得到所述運動矢量預測值候選。
[0046]根據本發明的第五方面，提供了一種解碼裝置，用于從編碼比特流解碼圖片的當前塊，所述解碼裝置包括:
[0047]運動矢量預測單元，用于為具有當前運動矢量和當前參考圖片的當前塊得到用于運動矢量預測值候選的候選列表的運動矢量預測值候選，以及用于基于來自候選列表的選擇的運動矢量預測值候選得到運動矢量預測值；
[0048]控制單元，用于接收當前塊的相鄰塊或對應位置的塊的運動矢量，所述運動矢量具有相關的參考圖片，以及用于基于當前參考圖片的類型和/或所述相關的參考圖片的類型，決定是否縮放所述運動矢量以產生運動矢量預測值候選，和/或是否將所述運動矢量包括在候選列表中；
[0049]解碼單元，用于從編碼比特流解碼當前塊；及
[0050]幀間預測單元，用于基于得到的運動矢量預測值產生預測塊，所述預測塊用于重構當前塊，
[0051]其中，所述控制單元被配置為將表示所述決定的信號輸出到所述運動矢量預測單元，以便基于所述信號得到所述運動矢量預測值候選。
[0052]根據本發明的第六方面，提供了一種計算機程序產品，包含在非暫時性計算機可讀儲存介質中，包括可由計算處理器執行的指令，以執行根據本文前述的本發明的第一方面的方法。
[0053]發明的有利效果
[0054]本發明的實施方式追求由于更準確的運動矢量預測的編碼效率/解碼效率。還減小了運動矢量預測處理的復雜性，因為去除了不必要的或不希望有的縮放步驟。

【專利附圖】

【附圖說明】
[0055]圖1示出了示例性最大編碼單元(LCU)；
[0056]圖2示出了根據本發明實施方式的例示在編碼影像比特流中的參考圖片分類參數的示例性位置的圖示；
[0057]圖3示出了根據本發明實施方式的例示在編碼影像比特流中的參考圖片分類參數的示例性位置的圖示；
[0058]圖4示出了根據本發明實施方式的例示在編碼影像比特流中的參考圖片分類參數的示例性位置的圖示；
[0059]圖5示出了根據本發明實施方式的例示預測模式類型參數的示例性位置的編碼影像比特流的分解圖；
[0060]圖6示出了根據本發明實施方式的針對圖片中的當前塊執行運動矢量預測的方法的流程圖；
[0061]圖7示出了根據本發明實施方式的在執行運動矢量預測的方法中得到運動矢量預測值候選的方法的流程圖；
[0062]圖8示出了在時間運動預測中的不同塊與圖片之間的總體相互關系；
[0063]圖9示出了根據本發明第一實施方式的例示對影像/圖像進行編碼的方法的流程圖；
[0064]圖10示出了根據本發明第一實施方式的例示對經編碼的影像/圖像進行解碼的方法的流程圖；
[0065]圖11示出了根據本發明第二實施方式的例示對影像/圖像進行編碼的方法的流程圖；
[0066]圖12示出了根據本發明第二實施方式的例示對經編碼的影像/圖像進行解碼的方法的流程圖；
[0067]圖13示出了根據本發明第三實施方式的例示對影像/圖像進行編碼的方法的流程圖；
[0068]圖14示出了根據本發明第三實施方式的例示對經編碼的影像/圖像進行解碼的方法的流程圖；
[0069]圖15示出了根據本發明第四實施方式的例示對影像/圖像進行編碼的方法的流程圖；
[0070]圖16示出了根據本發明第四實施方式的例示對經編碼的影像/圖像進行解碼的方法的流程圖；
[0071]圖17示出了根據本發明第五實施方式的例示對影像/圖像進行編碼的方法的流程圖；
[0072]圖18示出了根據本發明第五實施方式的例示對經編碼的影像/圖像進行解碼的方法的流程圖；
[0073]圖19示出了根據本發明第六實施方式的例示對影像/圖像進行編碼的方法的流程圖；
[0074]圖20示出了根據本發明第六實施方式的示出對經編碼的影像/圖像進行解碼的方法的流程圖；
[0075]圖21示出了根據本發明實施方式的顯示影像/圖像編碼裝置的示例性結構的模塊圖；
[0076]圖22示出了根據本發明實施方式的顯示影像/圖像解碼裝置的示例性結構的模塊圖；
[0077]圖23顯示了實現內容分發服務的內容供給系統的整體結構圖；
[0078]圖24顯示了數字廣播用系統的整體結構圖；
[0079]圖25顯示了示出電視機的結構例的模塊圖；
[0080]圖26顯示了示出對作為光盤的記錄介質進行信息的讀寫的信息再現/記錄單元的結構例的模塊圖；
[0081]圖27顯示了作為光盤的記錄介質的構造例；
[0082]圖28A顯示了便攜電話的示例；
[0083]圖28B是顯示便攜電話的結構例的模塊圖；
[0084]圖29示出了復用數據的結構；
[0085]圖30示意地顯示了各流在復用數據中怎樣被復用；
[0086]圖31更詳細地顯示了怎樣在PES包流中保存影像流；
[0087]圖32顯示了復用數據的TS包和源包的結構；
[0088]圖33顯示了 PMT的數據結構；
[0089]圖34顯示了復用數據信息的內部結構；
[0090]圖35顯示了流屬性信息的內部結構；
[0091]圖36顯示了識別影像數據的步驟；
[0092]圖37顯示了實現根據各實施方式的動態圖片編碼方法及動態圖片解碼方法的集成電路的結構例；
[0093]圖38顯示了切換驅動頻率的結構；
[0094]圖39顯示了識別影像數據和切換驅動頻率的步驟；
[0095]圖40顯示了將影像數據標準與驅動頻率建立了對應的查找表的一例；
[0096]圖41A是顯示將信號處理單元的模塊共用的結構的一例的圖；及
[0097]圖41B是顯示將信號處理單元的模塊共用的結構的另一例的圖。

【具體實施方式】
[0098]最近的影像編碼標準(例如高效視頻編碼(HEVC))將輸入圖片分割為稱為最大編碼單元(IXU)的方塊。圖1中示出了示例性IXU 102。IXU 102包括編碼單元(⑶)104，其可以編碼為幀內預測塊(示出為陰影塊)106或者幀間預測塊(示出為無陰影的塊)108。⑶104可以進一步包括一個或多個預測單元(PU)llO，每一個PU 110都可以用于執行空間預測或時間預測。如果以幀內模式編碼⑶104，⑶104的每一個PU 110都可以具有其自身的空間預測方向。另一方面，如果以幀間模式編碼⑶104，⑶104中的每一個PU 110都可以具有其自身的運動矢量及相關的參考圖片。
[0099]在HEVC中，預測編碼運動矢量。對于具有當前運動矢量和當前參考圖片的當前塊(例如PU) 110，可以從當前塊的空間上相鄰或時間上位置對應的塊(例如PU)的運動矢量為(MVP候選的)候選列表得到運動矢量預測值(MVP)候選。可以基于運動矢量的某些特性，例如在目標圖片與其相應的參考圖片之間的時間距離(P0C值差)，通過縮放相鄰或對應位置的PU的運動矢量來獲得MVP候選。例如，可以按照POC距離縮放相鄰I3U的運動矢量來為當前PU產生空間MVP候選，以便包括在候選列表中。隨后將按照本領域中已知的預定選擇方案，從候選列表中選擇適合于當前PU的MVP。
[0100]如在【背景技術】中所述的，參考圖片的分類可以不同，取決于例如它們的與目標圖片的圖片順序計數(POC)距離、用于SVC的觀看層和用于3D影像和MVC的觀看id。然而，傳統編碼方案將相同的運動矢量預測應用于所有類型的參考圖片，不管其觀看id、觀看層如何，它們是短期還是長期參考圖片。例如，在指向長期參考圖片(LTRP)的運動矢量上執行基于POC的縮放可以導致具有極大或極小量值的縮放的運動矢量。在此情況下，運動矢量預測處理的準確度和效率變為次優。
[0101]本發明的實施方式設法提供在考慮涉及的參考圖片的類型的情況下用于執行運動矢量預測的方法和裝置。具體地，根據本發明的實施方式，基于所涉及的參考圖片的類型來決定是否縮放運動矢量以便產生運動矢量預測值候選和/或是否將運動矢量包括在運動矢量預測值候選的候選列表中。因此，能夠改進運動矢量預測處理的效率，因為減少或去除了不必要的或不希望有的縮放步驟(即導致產生錯誤的運動矢量預測值的縮放)。
[0102]圖2至4示出了根據本發明實施方式的例示在編碼影像比特流200中的參考圖片分類參數202的示例性位置的圖示。圖2顯示了根據實施方式的位于編碼影像比特流200的序列頭部204的參考圖片分類參數202。序列頭部204是編碼影像比特流200的頭部(例如多個圖片206)。圖3顯示了根據另一個實施方式的位于編碼影像比特流200的圖片206的圖片頭部208的參考圖片分類參數202。圖片頭部208是圖片206的頭部(例如多個片210)。圖4顯示了根據再一個實施方式的位于圖片206中的片210的片頭部212的參考圖片分類參數202。片頭部212是片210的頭部。
[0103]圖5示出了根據實施方式的顯示預測模式類型參數302的示例性位置的編碼影像比特流200的分解圖。預測模式類型參數302表示用于編碼當前塊(例如編碼單元104或預測單元110)的預測模式(是否使用幀間預測模式)。在這個實施方式中，預測模式類型參數302位于編碼單元頭部304中(即，編碼單元104的頭部)。如分解圖中所示的，每一個片210都包括片頭部212和相關片數據214，相關片數據214包括多個編碼單元104。
[0104]現在將根據如圖6和7中所示的本發明的實施方式來說明為圖片的當前塊執行運動矢量預測的方法S600。作為第一步驟S602，為具有當前運動矢量和當前參考圖片的當前塊得到候選列表的(即運動矢量預測值候選的)運動矢量預測值候選。隨后，在步驟S604中，基于來自候選列表的選擇的運動矢量候選為當前塊得到運動矢量預測值。得到運動矢量預測值候選的以上步驟S604包括步驟S702和步驟S704，在步驟702中，選擇當前塊的相鄰塊或對應位置的塊的運動矢量，該運動矢量具有相關的參考圖片，在步驟704中，基于當前參考圖片的類型和/或相關的參考圖片的類型來決定是否縮放所述運動矢量以便產生運動矢量預測值候選和/或是否將所述運動矢量包括候選集合中。
[0105]根據本發明的實施方式，提供了一種用于編碼圖片的當前塊以產生編碼比特流200的編碼方法和一種用于從編碼比特流200解碼當前塊的解碼方法，它們包括為當前塊執行運動矢量預測的方法S400。為了清楚和舉例說明的目的，以下稍后將說明示例性的編碼和解碼方法。
[0106]相應地，減少或去除了導致產生錯誤的運動矢量預測值的不必要的或不希望有的縮放步驟，從而改進了運動矢量預測處理的效率。
[0107]圖8示出了在當前圖片802中的當前塊(例如，PU)804、當前參考圖片806或807、對應位置的圖片810中的對應位置的塊808和對應位置的參考圖片812之間的總體相互關系。如圖8中所不的，當如或目標塊804具有當如運動矢量和相關當如參考圖片806或807。當前參考圖片806或807指代由當前塊802參考以便執行幀間預測處理的參考圖片。當前參考圖片是來自于RefListl806還是RefList0807可以由與當前塊802相關的標志(例如collocated_from_10_flag)814來指示。例如,RefList0807可以由具有值“I”的標志814來指示，RefList 1806可以由具有值“O”的標志814來指示。在這個示例中，基于當前塊804的對應位置的塊808的運動矢量來預測當前運動矢量808 (即得到運動矢量預測值)。對應位置的塊808的運動矢量指向參考圖片812，其可以稱為對應位置的參考圖片。
[0108]依據圖8，可以如下說明用以得到對應位置的參考圖片812的示例性步驟。
[0109]作為第一步驟,基于標志814(例如collocated_from_10_flag)來選擇參考圖片列表(RefListl806或者RefList0807)。例如，可以依據片頭部212或者片類型來以信號發送標志814。所選參考圖片列表包括一個或多個參考圖片及其各自的參考索引。例如，從指定用于時間運動矢量預測的對應位置的圖片810的參考索引的相同片頭部212來解析信號(例如，collocated_ref_idx)816。因此，可以基于表示對應位置的圖片810的參考索引的信號816來確定對應位置的圖片810。基于本領域中已知的預定選擇技術來選擇/得到對應位置的圖片810內的對應位置的塊808，因而無需在此詳細說明。隨后可以從對應位置的塊808取回包括參考圖片類型和對應位置的運動矢量的對應位置的參考圖片812的信息。
[0110]為了清楚和舉例說明的目的，現在將根據本發明實施方式進一步詳細說明涉及運動矢量預測的對影像/圖像進行編碼和解碼的示例性方法。
[0111]圖9示出了根據本發明第一實施方式的例示在編碼影像/圖像中所包含的示例性步驟的流程圖S900。
[0112]作為第一步驟S902，確定參考圖片分類，以區分或者識別所涉及的參考圖片的類型。接下來在步驟S904處，將參考圖片分類參數202寫入編碼影像比特流200的頭部。例如，如圖2所示的，參考圖片分配參數可以位于序列頭部204、圖片頭部208、或者片頭部202。在步驟S906執行運動估計處理，以便選擇對應于樣本的當前或目標塊的當前參考圖片和當前運動矢量。隨后，在步驟S908，按照本領域技術人員已知的預定選擇方案選擇樣本的幀間預測相鄰塊，因而無需在此說明。幀間預測相鄰塊具有運動矢量和由該運動矢量指向的相關的參考圖片。為了簡單，相鄰塊的運動矢量和參考圖片可以分別稱為相鄰運動矢量和相鄰參考圖片。在步驟S910，從相鄰塊取回與相鄰參考圖片有關的信息，包括其參考圖片類型和相鄰運動矢量。在步驟S912，做出當前參考圖片和相鄰參考圖片之一是否是特定或預定類型的參考圖片的決定/判斷。
[0113]在第一實施方式中，如果當前參考圖片和相鄰參考圖片之一具有參考圖片的預定類型，在步驟S914，就從用于當前塊的幀間預測的多個可用運動矢量候選中排除相鄰運動矢量。即，決定不將相鄰運動矢量包括在用于當前塊的運動矢量預測值候選的候選列表中。否則，如果確定當前參考圖片和相鄰參考圖片的至少之一不具有參考圖片的預定類型，就在步驟S916對相鄰運動矢量執行基于POC的縮放以產生MVP候選，并在步驟S918將MVP候選包括在候選列表中。
[0114]在優選實施方式中，在步驟S912,如果當如參考圖片和相鄰參考圖片兩者具有相同的參考圖片類型(包括兩個參考圖片都具有參考圖片的預定類型的情況)，方法于是前進到步驟S916。S卩，在步驟S916，對相鄰運動矢量執行基于POC的縮放以產生MVP候選，并在步驟S918將MVP候選包括在候選列表中。
[0115]在步驟S920，從多個可用MVP候選(即候選列表)中選擇MVP。在步驟S922，基于MVP和當前運動矢量，得到差量運動矢量。在步驟S324，將得到的差量運動矢量和指示當前參考圖片的參考索引寫入編碼影像比特流200中。在步驟S926，使用當前運動矢量來編碼當前塊。
[0116]例如，在本文所述的實施方式中，預定類型的參考圖片可以是長期參考圖片、視圖間參考圖片和/或層間參考圖片。視圖間參考圖片的示例是存在于不同視圖(例如3D視圖)間的參考圖片。層間參考圖片的示例是存在于不同質量層(例如SNR可分級)、不同分辨率層(例如空間可分級)和使用不同影像編碼解碼器編碼的不同層(例如，使用MPEG2/AVC編碼的一層和使用HEVC編碼的另一層)間的參考圖片。典型地，編碼影像層包括基礎層和一個或多個增強層。
[0117]圖10示出了根據本發明第一實施方式的例示對經編碼的影像/圖像進行解碼中所包括的示例性步驟的流程圖S1000。
[0118]作為第一步驟S1000，從編碼影像比特流的頭部解析參考圖片分類參數202，其區分或識別參考圖片的類型。接下來，在步驟S1004，從編碼影像比特流200解析差量運動矢量和指示當前參考圖片的參考索引(在本文前述的編碼方法的步驟S924處寫入編碼影像比特流200中)。隨后，在步驟S1006，按照本領域技術人員已知的預定選擇方案選擇樣本的幀間預測相鄰塊，因而無需在此說明。幀間預測相鄰塊具有運動矢量和由該運動矢量指向的相關的參考圖片。為了簡單，相鄰塊的運動矢量和參考圖片可以分別稱為相鄰運動矢量和相鄰參考圖片。在步驟S1008，從相鄰塊取回與相鄰參考圖片有關的信息，包括其參考圖片類型和相鄰運動矢量。在步驟S1010，做出當前參考圖片和相鄰參考圖片之一是否是特定或預定類型的參考圖片的決定/判斷。
[0119]在第一實施方式中，以與本文前述的編碼方法相同的方式，如果當前參考圖片和相鄰參考圖片之一具有參考圖片的特定類型，則在步驟S1012從用于當前塊的幀間預測的多個可用運動矢量預測值候選中排除相鄰運動矢量。即，決定不將相鄰運動矢量包括在用于當前塊的運動矢量預測值候選的候選列表中。否則，如果確定當前參考圖片和相鄰參考圖片的至少其中之一不具有參考圖片的預定類型，則在步驟S1014，對相鄰運動矢量執行基于POC的縮放，以產生運動矢量預測值(MVP)候選，并在步驟S1016將MVP候選包括在候選列表中。
[0120]在優選實施方式中，如果當前參考圖片和相鄰參考圖片兩者都具有相同的參考圖片類型(包括兩個參考圖片都是特定類型的參考圖片的情況)，方法就前進到步驟S1014。即，在步驟S1014，對相鄰運動矢量執行基于POC的縮放以產生運動矢量預測值(MVP)候選，并在步驟S1016將MVP候選包括在候選列表中。
[0121]在步驟S1018，從多個可用運動矢量候選(即候選列表)中選擇預測的位運動矢量。在步驟1020，基于預測的運動矢量和解析的差量運動矢量來得到當前運動矢量。在步驟S1022，使用當前運動矢量來解碼當前塊。
[0122]圖11示出了根據本發明第二實施方式的例示包含在對影像/圖像進行編碼中的示例性步驟的流程圖S1100。
[0123]第一實施方式和第二實施方式的編碼方法大致相同，除了與步驟SI 114、SI 116和S1118相關的內容以外。為了清楚并且避免不必要的重復，不必說明第二實施方式與第一實施方式相同或相似的步驟(即，S1102、S1104、S1106、S1108、S1110、S1112、S1120、S1122、S1124 和 S1126)。
[0124]在第二實施方式中，如果當前參考圖片和相鄰參考圖片之一具有參考圖片的預定類型，則在步驟S1114直接復制相鄰運動矢量以產生MVP候選，即無需運動矢量縮放。否則，如果確定當前參考圖片和相鄰參考圖片的至少其中之一不具有參考圖片的預定類型，就在步驟SI 116對相鄰運動矢量執行基于POC的縮放以產生MVP候選。在第二實施方式中，對于任一情況，都在步驟SI 118將MVP候選(即由步驟SI 114復制的運動矢量或者由步驟SI 116縮放的運動矢量)包括在候選列表中。
[0125]在優選實施方式中，如果當前參考圖片和相鄰參考圖片具有相同的參考圖片類型(包括兩個參考圖片都是特定類型的參考圖片的情況)，則方法前進到步驟S1116。S卩，在步驟S1116對相鄰運動矢量執行基于POC的縮放以產生MVP候選。
[0126]隨后的步驟(即S1120、S1122、S1124和S1126)分別與第一實施方式中所述的步驟S920、S922、S924和S926相同，因而無需再次重復。
[0127]圖12示出了根據本發明第二實施方式的例示包含在對經編碼的影像/圖像進行解碼的示例性步驟的流程圖S1200。
[0128]第一實施方式和第二實施方式的解碼方法大致相同，除了與步驟S1212、S1214和S216相關的內容以外。為了清楚并且避免不必要的重復，不必說明第二實施方式與第一實施方式相同或相似的解碼步驟(即，S1202、S1204、S1206、S1208、S1210、S1218、S1220和S1222)。
[0129]在第二實施方式中如果當前參考圖片和相鄰參考圖片之一具有參考圖片的預定類型，則在步驟S1212直接復制相鄰運動矢量以產生MVP候選，即無需運動矢量縮放。否則，如果確定當前參考圖片和相鄰參考圖片的至少其中之一不具有參考圖片的預定類型，就在步驟S1214對相鄰運動矢量執行基于POC的縮放以產生MVP候選。在第二實施方式中，對于任一情況，都在步驟S1216將MVP候選(即由步驟S1212復制的運動矢量或者由步驟S1214縮放的運動矢量)包括在候選列表中。
[0130]在優選實施方式中，如果當前參考圖片和相鄰參考圖片具有相同的參考圖片類型(包括兩個參考圖片都是特定類型的參考圖片的情況)，則方法前進到步驟S1214。S卩，在步驟S1214對相鄰運動矢量執行基于POC的縮放以產生MVP候選。
[0131]隨后的步驟(即S1218、S1220和S1222)分別與第一實施方式中所述的步驟S1018、S1020和S1022相同，因而無需再次重復。
[0132]圖13示出了根據本發明第三實施方式的例示包含在對影像/圖像進行編碼中的示例性步驟的流程圖S1300。
[0133]第三實施方式涉及時間運動矢量預測，而第一實施方式涉及空間運動矢量預測。因此，第三實施方式的編碼方法與第一實施方式的編碼方法大致相同，除了與對應位置的塊808、對應位置的圖片810和對應位置的參考圖片812相關的內容(與相鄰塊、相鄰圖片和相鄰參考圖片相比)以外。
[0134]作為第一步驟S1302，確定參考圖片分類，以區分或者識別所涉及的參考圖片的類型。接下來在步驟S1304處，將參考圖片分類參數寫入編碼影像比特流200的頭部。在步驟S1306執行運動估計處理，以便選擇對應于樣本的當前塊或目標塊的當前參考圖片和當前運動矢量。隨后，在步驟S1310按照本領域技術人員已知的預定選擇方案來選擇對應位置的塊808，因而無需在此說明。如圖8所示的，對應位置的圖片810內的對應位置的塊808具有運動矢量和由該運動矢量指向的相關的參考圖片812。為了簡單，對應位置的塊的運動矢量和參考圖片可以分別稱為對應位置的運動矢量和對應位置的參考圖片812。在步驟S1312，從對應位置的塊取回與對應位置的參考圖片有關的信息，包括其參考圖片類型和對應位置的運動矢量。在步驟S1314，做出當前參考圖片和對應位置的參考圖片之一是否是特定類型的參考圖片或預定類型的參考圖片的決定/判斷。
[0135]在第三實施方式中，如果當前參考圖片或對應位置的參考圖片之一具有參考圖片的預定類型，則在步驟S1316從用于當前塊的幀間預測的多個可用運動矢量候選中排除對應位置的運動矢量。否則，如果確定當前參考圖片和對應位置的參考圖片的至少其中之一不具有參考圖片的預定類型，就在步驟S1318對相鄰運動矢量執行基于POC的縮放以產生運動矢量預測值(MVP)候選，并在步驟S1320將MVP候選包括在候選列表中。
[0136]在優選實施方式中，在步驟S1314，如果當前參考圖片和對應位置的參考圖片具有相同的參考圖片類型(包括兩個參考圖片都是特定類型的參考圖片的情況)，則方法前進到步驟S1318。S卩，在步驟S1318對對應位置的運動矢量執行基于POC的縮放以產生MVP候選，并在步驟S1320將MVP候選包括在候選列表中。
[0137]在步驟S1322，從多個可用運動矢量候選(即候選列表)中得到或選擇MVP。在步驟S1324，基于MVP和當前運動矢量得到差量運動矢量。在步驟S1326，將得到的差量運動矢量和指示當前參考圖片的參考索引寫入編碼影像比特流200中。在步驟S1328，使用當前運動矢量來編碼當前塊。
[0138]圖14示出了根據本發明第三實施方式的例示包含在對經編碼的影像/圖像進行解碼中的示例性步驟的流程圖S1400。
[0139]如本文前述的，第三實施方式涉及時間運動矢量預測，而第一實施方式涉及空間運動矢量預測。因此，第三實施方式的解碼方法與第一實施方式的解碼方法大致相同，除了與對應位置的塊808、對應位置的圖片810和對應位置的參考圖片812相關的內容(與相鄰塊、相鄰圖像和相鄰參考圖片相比)以外。
[0140]作為第一步驟S1402，從編碼影像比特流200的頭部解析參考圖片分類參數202，其區分或識別參考圖片的類型。接下來，在步驟S1404，從編碼影像比特流200解析差量運動矢量和指示當前參考圖片的參考索引(在本文前述的編碼方法的步驟S1326處寫入編碼影像比特流200中)。隨后，在步驟S1408，按照本領域技術人員已知的預定選擇方案選擇幀間預測對應位置的塊，因而無需在此說明。對應位置的圖片內810的對應位置的塊808具有運動矢量和由該運動矢量指向的相關的參考圖片812。為了簡單，對應位置的塊808的運動矢量和參考圖片可以分別稱為對應位置的運動矢量和對應位置的參考圖片812。在步驟S1410，從對應位置的塊取回與對應位置的參考圖片有關的信息，包括其參考圖片類型和對應位置的運動矢量。在步驟S1412，做出當前參考圖片和對應位置的參考圖片之一是否為特定類型的參考圖片或預定類型的參考圖片的決定/判斷。
[0141]在第三實施方式中，以與本文前述的編碼方法相同的方式，如果當前參考圖片和對應位置的參考圖片之一具有參考圖片的特定類型，則在步驟S1414從用于當前塊的幀間預測的多個可用運動矢量預測值候選中排除對應位置的運動矢量。
[0142]在優選實施方式中，如果當前參考圖片和對應位置的參考圖片具有相同的參考圖片類型(包括兩個參考圖片都是特定類型的參考圖片的情況)，方法就前進到步驟S1416。即，在步驟S1416，對對應位置的運動矢量執行基于POC的縮放以產生MVP候選，并在步驟S1418將MVP候選包括在候選列表中。
[0143]在步驟S1420，從多個可用運動矢量候選中選擇MVP。在步驟1422，基于MVP和解析的差量運動矢量，得到當前運動矢量。在步驟S1424，使用當前運動矢量來解碼當前塊。
[0144]圖15示出了根據本發明第四實施方式的例示包含在對影像/圖像進行編碼中的示例性步驟的流程圖S1500。
[0145]第四實施方式的編碼方法與第三實施方式的編碼方法大致相同，除了與步驟S1516、S1518和S1520相關的內容以外。為了清楚并且避免不必要的重復，不必說明第四實施方式與第三實施方式相同或相似的步驟(即，S1502、S1504、S1506、S1510、S1512、S1514、S1522、S1524、S1526 和 S1528)。
[0146]在第四實施方式中，在步驟S1514，如果當前參考圖片和對應位置的參考圖片之一具有參考圖片的預定類型，則在步驟S1516直接復制對應位置的運動矢量以產生MVP候選，即無需運動矢量縮放。否則，如果確定當前參考圖片和對應位置的參考圖片的至少其中之一不具有參考圖片的預定類型，則在步驟S1518對對應位置的運動矢量執行基于POC的縮放，以產生MVP候選。在第四實施方式中，對于任一種情況，在步驟S1520，都將MVP候選(即由步驟S1516復制的運動矢量或者由步驟S1518縮放的運動矢量)包括在候選列表中。
[0147]在優選實施方式中，如果當前參考圖片和對應位置的參考圖片具有相同的參考圖片類型(包括兩個參考圖片都是特定類型的參考圖片的情況)，則方法前進到步驟S1518。即，在步驟S1518，對對應位置的運動矢量執行基于POC的縮放以產生MVP候選。
[0148]隨后的步驟(即S1522、S1524、S1526和S1528)分別與第三實施方式中所述的步驟S1322、S1324、S1326和S1328相同，因而無需再次重復。
[0149]圖16示出了根據本發明第四實施方式的例示包含在對經編碼的影像/圖像進行解碼中的示例性步驟的流程圖S1600。
[0150]第四實施方式的解碼方法與第三實施方式的解碼方法大致相同，除了與步驟S1614、S1616和S1618相關的內容以外。為了清楚并且避免不必要的重復，不必說明第四實施方式與第三實施方式相同或相似的步驟(即，S1602、S1604、S1608、S1610、S1612、S1620、S1622 和 S1624)。
[0151]在第四實施方式中，在步驟S1612，如果當前參考圖片和對應位置的參考圖片之一具有參考圖片的特定類型，則在步驟S1614直接復制對應位置的運動矢量以產生MVP候選，即無需運動矢量縮放。否則，如果確定當前參考圖片和對應位置的參考圖片的至少其中之一不具有參考圖片的預定類型，則在步驟S1616對對應位置的運動矢量執行基于POC的縮放，以產生MVP候選。在第四實施方式中，對于任一情況，在步驟S1618，都將MVP候選(即由步驟S1614復制的運動矢量或者由步驟S1616縮放的運動矢量)包括在候選列表中。
[0152]在優選實施方式中，如果確定當前參考圖片和對應位置的參考圖片具有相同的參考圖片類型(包括兩個參考圖片都是特定類型的參考圖片的情況)，方法就前進到步驟S1616。S卩，在步驟S1416，對對應位置的運動矢量執行基于POC的縮放以產生MVP候選。
[0153]隨后的步驟(即S1620、S1622和S1624)分別與第三實施方式中所述的步驟S1420、S1422和S1424相同，因而無需再次重復。
[0154]圖17示出了根據本發明第五實施方式的例示包含在對影像/圖像進行編碼中的示例性步驟的流程圖S1700。
[0155]第五實施方式涉及稱為合并模式的運動矢量預測類型，例如，在合并模式中編碼預測單元。因此，第五實施方式的編碼方法與第三實施方式的編碼方法相同，除了與步驟S1706中的當前圖片的選擇(其基于用于合并模式編碼預測單元的)相關的內容以外，并且無需確定將要寫入到編碼影像比特流200中的差量運動矢量。
[0156]具體地，在步驟S1706，按照用于合并模式編碼預測單元的預定參考圖片選擇方案來選擇當前參考圖片(代替第三實施方式中的步驟S1506)。方法隨后以與第三實施方式中所述的相同的方式進行。然而，在從多個可用運動矢量候選中選擇MVP的步驟S1722后，在S1724中，使用MVP編碼樣本的塊(代替第三實施方式的得到差量運動矢量的步驟S1324)。
[0157]圖18示出了根據本發明第五實施方式的例示包含在對經編碼的影像/圖像進行解碼中的示例性步驟的流程圖S1800。
[0158]如本文前述的，第五實施方式涉及稱為合并模式的運動矢量預測類型，例如，在合并模式中編碼預測單元。因此，第五實施方式的解碼方法與第三實施方式的解碼方法相同，除了與步驟S1804中的當前圖片的選擇(其基于用于合并模式編碼預測單元的)相關的內容以外，并且無需解析來自編碼影像比特流200的差量運動矢量。
[0159]具體地，在步驟S1804，按照用于合并模式編碼預測單元的預定參考圖片選擇方案來選擇當前參考圖片(代替第三實施方式中的步驟S1404)。方法隨后以與第三實施方式中所述的相同的方式進行。然而，在從多個可用運動矢量候選中選擇MVP的步驟S1820后，在S1822中，使用選擇的MVP重構樣本的塊(代替第三實施方式的基于解析的差量運動矢量得到當前運動矢量的步驟S1422)。
[0160]圖19示出了根據本發明第六實施方式的例示包含在對影像/圖像進行編碼中的示例性步驟的流程圖S1900。
[0161]第六實施方式也涉及稱為合并模式的運動矢量預測類型，例如，在合并模式中編碼預測單元。具體地，第六實施方式的編碼方法與第四實施方式的編碼方法相同，除了與步驟S1906中的當前圖片的選擇(其基于用于合并模式編碼預測單元的)相關的內容以外，并且無需確定要寫入到編碼影像比特流200中的差量運動矢量。
[0162]具體地，在步驟S1906，按照用于合并模式編碼預測單元的預定參考圖片選擇方案來選擇當前參考圖片(代替第四實施方式中的步驟S1506)。方法隨后以與第四實施方式中所述的相同的方式進行。然而，在從多個可用運動矢量候選中選擇MVP的步驟S1922后，在S1924中，使用MVP編碼樣本的當前塊(代替第四實施方式的得到差量運動矢量的步驟S1524)。
[0163]圖20示出了根據本發明第六實施方式的例示包含在對經編碼的影像/圖像進行解碼中的示例性步驟的流程圖S2000。
[0164]如本文前述的，第六實施方式也涉及稱為合并模式的運動矢量預測類型，例如，在合并模式中編碼預測單元。具體地，第六實施方式的解碼方法與第四實施方式的解碼方法相同，除了與步驟S2004中的當前圖片的選擇(其基于用于合并模式編碼預測單元的)相關的內容以外，并且無需解析來自編碼影像比特流200的差量運動矢量。
[0165]具體地，在步驟S2004，按照用于合并模式編碼預測單元的預定參考圖片選擇方案來選擇當前參考圖片(代替第四實施方式中的步驟S1604)。方法隨后以與第四實施方式中所述的相同的方式進行。然而，在從多個可用運動矢量候選中選擇MVP的步驟S2020后，在S2022中，使用選擇的MVP重構樣本的塊(代替第四實施方式的基于解析的差量運動矢量得到當前運動矢量的步驟S1622)。
[0166]圖21示出了根據本發明實施方式的顯示影像/圖像編碼裝置2100的示例性結構的模塊圖。
[0167]影像編碼裝置2100被配置為在逐塊的基礎上編碼輸入影像/圖像比特流，以便產生編碼輸出比特流200。如圖21所示的，影像編碼裝置2100可以包括變換單元2101、量化單元2102、逆量化單元2103、逆變換單元2104、塊存儲器2105、圖像/幀存儲器2106、幀內預測單元2107、幀間預測單元2108、熵編碼單元2109、控制單元2130、運動矢量預測單元2131和寫入單元2136。
[0168]現在將說明示例性操作流程。將輸入影像輸入到加法器，將相加值輸出到變換單元2101。變換單元2101將相加值變換為頻率系數，并將產生的頻率系數輸出到量化單元2102。量化單元2102量化輸入的頻率系數，并將產生的量化值輸出到逆量化單元2103和熵編碼單元2109。熵編碼單元2109編碼從量化單元2102輸出的量化值，并輸出編碼比特流 200。
[0169]逆量化單元2103逆量化從量化單元2102輸出的樣本值，并將頻率系數輸出到逆變換單元2104。逆變換單元2104在頻率系數上執行逆頻率變換，以便將頻率系數變換為比特流的樣本值，并將產生的樣本值輸出到加法器。加法器將從逆變換單元2104輸出的比特流的樣本值加到從幀間/幀內預測單元2107、2108輸出的預測的影像/圖像值，并將產生的相加值輸出到塊存儲器2105或者圖片存儲器2106用于進一步的預測。幀間/幀內預測單元2107、2108在存儲于塊存儲器2105中的重構影像/圖像內進行搜索或者從幀存儲器2110中的重構的影像/圖像進行搜索，并估計影像/圖像區域，所述影像/圖像區域例如是最類似于用于預測的輸入影像/圖像。幀間預測單元2107基于從運動矢量預測單元2131輸出的得到的或選擇的運動矢量來執行預測處理，以產生預測的影像/圖像值(即，預測塊或者塊或者用于當前塊的預測樣本)。
[0170]控制單元2130接收用于得到MVP的參數(例如，collocated_from_10_flag和collocated_ref_idx)和用于得到所涉及的參考圖片的參考圖片分類的參數(例如，所涉及的參考圖片的POC信息)。根據本發明的實施方式，如本文前述的，基于所涉及的參考圖片的類型，控制單元2130被配置為決定是否縮放運動矢量以產生運動矢量預測值候選，以便包括在候選集合中，和/或是否將運動矢量包括在候選集合中。控制單元2130隨后將表示所述決定的信號2133輸出到運動矢量預測單元2131。
[0171]運動矢量預測單元2131被配置為為具有當前運動矢量和當前參考圖片的當前塊得到用于(運動矢量預測值候選的)候選列表的運動矢量預測值候選。運動矢量預測單元2131還被配置為基于來自候選列表的選擇的運動矢量候選得到運動矢量預測值2134。運動矢量預測單元2130隨后將表示得到的運動矢量預測值的信號輸出到幀間預測單元2131，以便執行運動矢量預測。寫入單元2136被配置為將表示來自運動矢量預測單元2131的當前參考圖片的參考索引2137和來自控制單元2130的參考圖片分配參數2138寫入到輸出編碼比特流200。
[0172]圖22示出了根據本發明實施方式的顯示影像解碼裝置2200的示例性結構的模塊圖。
[0173]影像解碼裝置2200被配置為在逐塊的基礎上解碼輸入編碼比特流并輸出影像/圖像。如圖22中所示的，影像解碼裝置2200包括熵解碼單元2201、逆量化單元2202、逆變換單元2203、塊存儲器2204、圖片/幀存儲器2205、幀內預測單元2206、幀間預測單元2207、運動矢量預測單元2210、控制單元2212和解析單元2212。
[0174]將輸入編碼比特流輸入到熵解碼單元2201。在將輸入編碼比特流輸入到熵解碼單元2201后，熵解碼單元2201解碼輸入編碼比特流，并將解碼值輸出到逆量化單元2202。逆量化單元2202相反地量化解碼值，并將頻率系數輸出到逆變換單元2203。逆變換單元2203在頻率系數上執行逆向頻率變換，將頻率系數變換為樣本值，并將產生的像素值輸出到加法器。加法器將產生的像素值加到從幀內/幀間預測單元2206、2207輸出的預測的影像/圖像值(即，預測塊或塊或用于當前塊的預測樣本)，并將產生的值輸出到顯示器，且將產生的值輸出到塊存儲器2204或圖片存儲器308用于進一步的預測。另外，幀內/幀間預測單元2206、2207在存儲于塊存儲器2204中的影像/圖像內或者從幀存儲器22050中的重構影像/圖像進行搜索，并估計影像/圖像區域，其例如最類似于用于預測的解碼影像/圖像。幀間預測單元2207基于從運動矢量預測單元2210輸出的得到的或選擇的運動矢量2211來執行預測處理，以產生預測的影像/圖像值。
[0175]解析單元2214被配置為解析參考圖片分類參數309、剩余樣本的塊、差量運動矢量和指示來自編碼影像比特流200的當前參考圖片的參考索引。
[0176]運動矢量預測單元2210被配置為為具有當前運動矢量和當前參考圖片的當前塊得到用于(運動矢量預測值候選的)候選列表的運動矢量預測值候選。運動矢量預測單元2210還被配置為基于候選列表得到運動矢量預測值。運動矢量預測單元2210隨后將表示得到的運動矢量預測值的信號輸出到幀間預測單元2211，以便執行運動矢量預測。
[0177]控制單元2212被配置為從多個可用參考圖片中選擇參考圖片，選擇參考圖片內的樣本塊，且接收當前塊的相鄰塊或對應位置的塊的運動矢量。運動矢量具有相關的參考圖片(即由運動矢量所指向的)。控制單元2212還被配置為基于當前參考圖片的類型和/或所述相關的參考圖片的類型，決定是否縮放所述運動矢量以產生運動矢量預測值候選，和/或是否將所述運動矢量包括在候選集合中。控制單元2210將表示所述決定的信號2214輸出到運動矢量預測單元2210，以便基于信號2214得到運動矢量預測值候選。
[0178]因此，改進了根據本文前述的本發明實施方式的運動矢量預測處理的效率，因為減少或去除了不必要的或不希望有的縮放步驟(即導致產生不準確的運動矢量預測值的縮放)。
[0179](實施方式A)
[0180]通過將用來實現上述各實施方式所示的動態圖片編碼方法(圖像編碼方法)或動態圖片解碼方法(圖像解碼方法)的結構的程序記錄到存儲介質中，能夠將上述各實施方式所示的處理在獨立的計算機系統中簡單地實施。存儲介質可以是任何存儲介質，例如磁盤、光盤、光磁盤、IC卡、半導體存儲器等，只要是能夠記錄程序的介質就可以。
[0181]進而，這里說明在上述各實施方式中示出的動態圖片編碼方法(圖像編碼方法)或動態圖片解碼方法(圖像解碼方法)的應用例和使用它的系統。該系統的特征在于，具有由使用圖像編碼方法的圖像編碼裝置及使用圖像解碼方法的圖像解碼裝置構成的圖像編碼解碼裝置。關于系統的其他結構，可以根據情況而適當變更。
[0182]圖23示出了實現內容分發服務的內容供給系統exlOO的整體結構。將通信服務的提供區劃分為希望的大小，在各小區內分別設置有作為固定無線站的基站exl06、ex107、exl08、exl09、exllO。
[0183]該內容供給系統exlOO在因特網exlOl上經由因特網服務提供商exl02及電話網exl04、及基站exl06?exllO分別連接著諸如計算機exlll、個人數字助理(PDA) exll2、照相機exll3、便攜電話exll4、游戲機exll5等的各設備。
[0184]但是，內容供給系統exlOO的結構并不限定于圖23那樣的結構，也可以將某些要素組合連接。此外，也可以不經由作為固定無線站的基站exl06?exllO將各設備直接連接在電話網exl04上。此外，也可以將各設備經由近距離無線通信等直接相互連接。
[0185]照相機exll3能夠進行數字攝像，例如數字攝影照相機等。照相機exll6能夠進行數字攝影，也能夠捕獲靜態圖像，例如數字照相機等。此外，便攜電話exll4是滿足諸如全球移動通信系統(GSM)(注冊商標)、碼分多址(CDMA)、寬帶一碼分多址(W - CDMA)、長期演進(LTE)、和高速分組接入(HSPA)的標準的任何便攜電話機。可替換地，便攜電話exll4可以是個人手持電話系統(PHS)。
[0186]在內容供給系統exlOO中，流媒體服務器exl03經由電話網exl04、基站exl09連接到照相機exll3等，流媒體服務器exl03能夠進行現場演出的圖像的分發等。在這個分發中，對用戶使用照相機exll3攝影的內容(例如音樂會現場的影像等)如在上述各實施方式中說明那樣進行編碼處理(即，作為本發明的一個方式的圖像編碼裝置發揮作用)，向流媒體服務器exl03發送編碼的內容。另一方面，流媒體服務器exl03將發送來的內容數據對有請求的客戶端進行流分發。作為客戶端，有能夠將上述編碼處理后的數據解碼的計算機exlll、PDAexll2、照相機exll3、便攜電話exll4、游戲機exll5等。在接收到分發的數據的各設備中，將接收到的數據解碼處理而再現(即，作為本發明的一個方式的圖像解碼裝置發揮作用)。
[0187]攝影的數據的編碼處理既可以由照相機exll3進行，也可以由進行數據的發送處理的流媒體服務器exl03進行，也可以在照相機exll3與流媒體服務器exl03之間分擔進行編碼處理。同樣，分發的數據的解碼處理既可以由客戶端進行，也可以由流媒體服務器exl03進行，也可以在客戶端與流媒體服務器exl03之間分擔進行解碼處理。此外，并不限于照相機exll3，也可以將由照相機exll6捕獲的靜止圖像及攝影數據經由計算機exlll向流媒體服務器exl03發送。此情況下的編碼處理由照相機exll6、計算機exlll、流媒體服務器exl03進行，也可以相互分擔進行。
[0188]此外，這些編碼解碼處理一般在計算機exlll或各設備具有的LSI ex500中處理。LSIex500既可以是單芯片，也可以是由多個芯片構成的結構。另外，也可以將動態圖片編碼解碼用的軟件裝入到能夠由計算機exlll等讀取的某些記錄介質(CD — ROM、軟盤、硬盤等)中、使用該軟件進行編碼解碼處理。進而，在便攜電話exll4是帶有照相機的情況下，也可以將由該照相機取得的動態圖片數據發送。此時的動態圖片數據是由便攜電話exll4具有的LSIex500編碼處理的數據。
[0189]此外，流媒體服務器exl03由多個服務器或多個計算機組成，可以分散數據，并將分散的數據處理、記錄、或分發數據。
[0190]如以上這樣，在內容供給系統exlOO中，客戶端能夠接收編碼的數據而再現。換句話說，在內容供給系統exlOO中，客戶端能夠將用戶發送的信息實時地接收、解碼，并再現解碼的數據，即使是沒有特別的權利或設備的用戶也能夠實現個人廣播。
[0191]另外，并不限定于內容供給系統exlOO的例子，如圖24所示，在數字廣播用系統ex200中也能夠實施上述各實施方式的至少動態圖片編碼裝置(圖像編碼裝置)或動態圖片解碼裝置(圖像解碼裝置)的至少之一。具體而言，在廣播站ex201中，將對影像數據復用了音樂數據等而得到的復用數據經由電波向廣播衛星ex202傳送或發送。該影像數據是通過上述各實施方式中說明的動態圖片編碼方法編碼后的數據(即，通過本發明的一個方式的圖像編碼裝置編碼后的數據)。接受到該復用數據的廣播衛星ex202發出廣播用的電波。于是，能夠對該電波進行衛星廣播接收的家庭的天線ex204接收該電波。接著，通過電視機(接收機)ex300或機頂盒(STB) ex217等的裝置將接收到的復用數據解碼并將解碼數據再現(即，作為本發明的一個方式的圖像解碼裝置發揮作用)。
[0192]此外,讀取器/記錄器ex218可以(i)將記錄在DVD、BD等的記錄介質ex215中的復用數據讀取并解碼、或(i)將記錄介質ex215中的影像數據編碼，再根據情況，將編碼數據與音樂信號復用而獲得的數據寫入記錄介質ex215中。讀取器/記錄器ex218中也能夠安裝上述各實施方式所示的動態圖片解碼裝置或動態圖片編碼裝置。在此情況下，可以將再現的影像信號顯示在監視器ex219上，通過記錄有復用數據的記錄介質ex215在其他裝置或系統中能夠再現影像信號。此外，也可以在連接在有線電視用的線纜ex203或衛星/地面波廣播的天線ex204上的機頂盒ex217內安裝動態圖片解碼裝置，將影像信號用電視機的監視器ex219顯示。也可以不是在機頂盒、而在電視機ex300內裝入動態圖片解碼裝置。
[0193]圖25示出了使用在上述各實施方式中說明的動態圖片解碼方法及動態圖片編碼方法的電視機(接收機)ex300。電視機ex300具備經由接收上述廣播的天線ex204或線纜ex203等取得或者提供對影像數據復用了聲音數據的復用數據的調諧器ex301、將接收到的復用數據解調或調制為向外部發送的編碼數據的調制/調解單元ex302、和將解調后的復用數據分離為影像數據、聲音數據或將在信號處理單元ex306中編碼的影像數據、聲音數據復用的復用/分離單元ex303。
[0194]此外，電視機eX300進一步具備:具有將聲音數據、影像數據分別解碼、或將聲音數據、影像數據編碼的聲音信號處理單元ex304和影像信號處理單元ex305(即，作為本發明的一個方式的圖像編碼裝置或圖像解碼裝置發揮作用)的信號處理單元ex306 ;具有將解碼后的聲音信號輸出的揚聲器ex307及顯示解碼后的影像信號的顯示器等的顯示單元ex308的輸出單元ex309。進而，電視機ex300具備具有受理用戶操作的輸入的操作輸入單元ex312等的接口單元ex317。進而，電視機ex300具有合并控制各部的控制單元ex310、對各部供給電力的電源電路單元ex311。接口單元ex317也可以除了操作輸入單元ex312以外，還具有與讀取器/記錄器ex218等的外部設備連接的橋接部ex313、用來能夠安裝SD卡等的記錄介質ex216的插槽單元ex314、用來與硬盤等的外部記錄介質連接的驅動器ex315、與電話網連接的調制解調器ex316等。另外，記錄介質ex216是能夠通過收存的非易失性/易失性的半導體存儲元件電氣地進行信息的記錄的結構。電視機ex300的各部經由同步總線相互連接。
[0195]首先，對電視機ex300將通過天線ex204等從外部取得的復用數據解碼、再現的結構進行說明。電視機ex300接受來自遙控器ex220等的用戶操作，基于具有CPU等的控制單元ex310的控制，將由調制/調解單元ex302解調的復用數據用復用/分離單元ex303分離。進而，電視機ex300將分離的聲音數據用聲音信號處理單元ex304解碼，將分離的影像數據用影像信號處理單元ex305使用在上述各實施方式中說明的解碼方法解碼。將解碼后的聲音信號、影像信號分別從輸出單元ex309朝向外部輸出。在輸出單元ex309輸出影像信號和聲音信號時，可以暫時將這些信號儲存到緩沖器ex318、ex319等中，以使聲音信號和影像信號同步再現。此外，電視機ex300也可以不是從廣播等、而從磁/光盤、SD卡等的記錄介質ex215、ex216讀出復用數據。接著，對電視機ex300將聲音信號或影像信號編碼、向外部發送或寫入到記錄介質等中的結構進行說明。電視機ex300接受來自遙控器ex220等的用戶操作，基于控制單元ex310的控制，由聲音信號處理單元ex304將聲音信號編碼，由影像信號處理單元ex305將影像信號使用在上述各實施方式中說明的編碼方法編碼。將編碼后的聲音信號、影像信號用復用/分離單元ex303復用，向外部輸出得到的信號。在復用/分離單元ex303復用聲音信號、影像信號時，可以暫時將這些信號儲存到緩沖器ex320、ex321等中，以使聲音信號和影像信號同步再現。另外，緩沖器ex318、ex319、ex320、ex321既可以如圖示那樣具備多個，也可以是在電視機ex300中共用一個以上的緩沖器。進而，也可以在例如調制/調解單元ex302或復用/分離單元ex303之間等也作為避免系統的上溢、下溢的緩沖部而在緩沖器中儲存數據。
[0196]此外，電視機ex300除了從廣播等或記錄介質等取得聲音數據、影像數據以外，也可以具備受理麥克風或照相機的AV輸入的結構，對從它們中取得的數據進行編碼處理。另夕卜，這里，將電視機ex300作為能夠進行上述編碼處理、復用、及外部輸出的結構進行了說明，但也可以不能進行這些處理，而是僅能夠進行上述接收、解碼處理、外部輸出的結構。
[0197]此外，在由讀取器/記錄器ex218從記錄介質將復用數據讀出、或寫入的情況下，上述解碼處理或編碼處理由電視機ex300、讀取器/記錄器ex218的哪個進行都可以，也可以是電視機ex300和讀取器/記錄器ex218相互分擔進行。
[0198]作為一例，將從光盤進行數據的讀入或寫入的情況下的信息再現/記錄單元ex400的結構表示在圖26中。信息再現/記錄單元ex400具備以下說明的單元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光頭 ex401 對作為光盤的記錄介質 ex215 的記錄面照射激光斑而寫入信息，檢測來自記錄介質ex215的記錄面的反射光而讀入信息。調制記錄單元ex402電氣地驅動內置在光頭ex401中的半導體激光器，根據記錄數據進行激光的調制。再現調解單元ex403將由內置在光頭ex401中的光檢測器電氣地檢測到來自記錄面的反射光而得到的再現信號放大，將記錄在記錄介質ex215中的信號成分分離并解調，再現所需要的信息。緩沖器ex404將用來記錄到記錄介質ex215中的信息及從記錄介質ex215再現的信息暫時保持。盤馬達ex405使記錄介質ex215旋轉。伺服控制單元ex406一邊控制盤馬達ex405的旋轉驅動一邊使光頭ex401移動到規定的信息軌道，進行激光斑的追蹤處理。系統控制單元ex407進行信息再現/記錄單元eX400整體的控制。上述的讀出及寫入的處理由系統控制單元ex407利用保持在緩沖器ex404中的各種信息、此外根據需要而進行新的信息的生成、追加、并且一邊使調制記錄單元ex402、再現調解單元ex403、伺服控制單元ex406協調動作、一邊通過光頭θχ401進行信息的記錄再現來實現。系統控制單元ex407例如由微處理器構成，通過執行讀出寫入的程序來執行它們的處理。
[0199]以上，假設光頭ex401照射激光斑而進行了說明，但也可以是使用接近場光進行高密度的記錄的結構。
[0200]圖27示出了作為光盤的記錄介質ex215的示意圖。在記錄介質ex215的記錄面上，以螺旋狀形成有導引槽，在信息軌道ex230中，預先通過導引槽的形狀的變化而記錄有表示盤上的絕對位置的地址信息。該地址信息包括用來確定作為記錄數據的單位的記錄塊ex231的位置的信息，通過在進行記錄及再現數據的裝置中將信息軌道ex230再現而讀取地址信息，能夠確定記錄塊。此外，記錄介質ex215包括數據記錄區域ex233、內周區域ex232、外周區域ex234。為了記錄用戶數據而使用的區域是數據記錄區域ex233，配置在比數據記錄區域ex233靠內周或外周的內周區域ex232和外周區域ex234用于用戶數據的記錄以外的特定用途。信息再現/記錄單元ex400對這樣的記錄介質ex215的數據記錄區域ex233進行編碼的聲音數據、影像數據或復用了這些數據的編碼數據的讀寫。
[0201]以上，舉I層的DVD、BD等的光盤為例進行了說明，但并不限定于這些，也可以是多層構造、在表面以外也能夠記錄的光盤。此外，也可以是在盤的相同的地方使用不同波長的顏色的光記錄信息、或從各種角度記錄不同的信息的層等、進行多維的記錄/再現的構造的光盤。
[0202]此外，在數字廣播用系統ex200中，也可以由具有天線ex205的車ex210從衛星ex202等接收數據、在車ex210具有的車載導航儀ex211等的顯示裝置上再現動態圖片。另夕卜，車載導航儀ex211的結構可以考慮例如在圖25所示的結構中添加GPS接收單元的結構，在計算機exlll及便攜電話exll4等中也可以考慮同樣的結構。
[0203]圖28A示出了使用在上述實施方式中說明的動態圖片解碼方法和動態圖片編碼方法的便攜電話exll4。便攜電話exll4具有由用來在與基站exllO之間收發電波的天線ex350、能夠拍攝動態影像、靜止圖像的照相機單元ex365、顯示將由照相機單元ex365攝影的影像、由天線ex350接收到的影像等解碼后的數據的液晶顯示器等的顯示單元ex358。便攜電話exll4還具有包含操作鍵單元ex366的主體部、用來進行聲音輸出的揚聲器等的聲音輸出單元ex357、用來進行聲音輸入的麥克風等的聲音輸入單元ex356、保存拍攝到的影像、靜止圖片、錄音的聲音、或者接收到的影像、靜止圖片、郵件等的編碼后的數據或者解碼后的數據的存儲器單元ex367、和作為用于以與存儲器單元ex367同樣方式保存數據的記錄介質的接口單元的插槽單元ex364。
[0204]進而，使用圖28B對便攜電話exll4的結構例進行說明。便攜電話exll4對于合并控制具備顯示單元ex358及操作鍵單元ex366的主體部的各部的主控制單元ex360,將電源電路單元ex361、操作輸入控制單元ex362、影像信號處理單元ex355、照相機接口單元ex363、IXD (Liquid Crystal Display:液晶顯示器)控制單元ex359、調制/調解單元ex352、復用/分離單元ex353、聲音信號處理單元ex354、插槽單元ex364、存儲器單元ex367經由同步總線ex370相互連接。
[0205]電源電路單元ex361如果通過用戶的操作使通話結束鍵或電源鍵成為開啟狀態，則通過從電池組對各部供給電力，便攜電話exll4起動為能夠動作的狀態。
[0206]便攜電話exll4基于具有CPU、ROM及RAM等的主控制單元ex360的控制，在語音通話模式時，將由聲音輸入單兀ex356集音的聲音信號通過聲音信號處理單兀ex354變換為數字聲音信號。隨后，將數字聲音信號用調制/調解單元ex352進行波譜擴散處理，由發送/接收單元ex351對數據實施數字模擬變換處理及頻率變換處理后經由天線ex350發送得到的數據。此外，便攜電話exll4在語音通話模式時，發送/接收單元ex351將由天線ex350接收到的接收數據放大并實施頻率變換處理及模擬數字變換處理。隨后，調制/調解單元ex352對數據進行波譜逆擴散處理，通過聲音信號處理單元ex354變換為模擬聲音數據后，將其經由聲音輸出單元ex357輸出。
[0207]進而，在數據通信模式時發送電子郵件的情況下，將通過主體部的操作鍵單元ex366等的操作輸入的電子郵件的文本數據經由操作輸入控制單元ex362向主控制單元ex360送出。主控制單元ex360將文本數據用調制/調解單元ex352進行波譜擴散處理，由發送/接收單元ex351對得到的數據實施數字模擬變換處理及頻率變換處理后，經由天線ex350向基站exllO發送數據。在接收電子郵件的情況下，對接收到的數據執行上述處理的大致逆處理，并將得到的數據輸出到顯示單元ex350。
[0208]在數據通信模式時，在發送影像、靜止圖像、或者影像和聲音的情況下，影像信號處理單元ex355將從照相機單元ex365供給的影像信號通過上述各實施方式所示的動態圖片編碼方法進行壓縮編碼(即，作為本發明的一個方式的圖像編碼裝置發揮作用)，將編碼后的影像數據送出至復用/分離單元ex353。相反地，聲音信號處理單元ex354對通過照相機單元ex365拍攝影像、靜止圖像等的過程中用聲音輸入單元ex356集音的聲音信號進行編碼，將編碼后的聲音數據送出至復用/分離單元ex353。
[0209]復用/分離單元ex353通過規定的方式，對從影像信號處理單元ex355供給的編碼后的影像數據和從聲音信號處理單元ex354供給的編碼后的聲音數據進行復用，將其產生的復用數據用調制/調解單元(調制/解調電路部)ex352進行波譜擴散處理，由發送/接收單元ex351實施數字模擬變換處理及頻率變換處理后，經由天線ex350發送產生的數據。
[0210]在數據通信模式時接收到鏈接到主頁等的動態圖片文件的數據的情況下，或者接收到附加了影像或者聲音的電子郵件的情況下，為了對經由天線ex350接收到的復用數據進行解碼，復用/分離單元ex353通過將復用數據分離，分為影像數據的比特流和聲音數據的比特流，經由同步總線ex370將編碼后的影像數據向影像信號處理單元ex355供給，并將編碼后的聲音數據向聲音信號處理單元ex354供給。影像信號處理單元ex355通過與上述各實施方式所示的動態圖片編碼方法相對應的動態圖片解碼方法進行解碼，由此對影像信號進行解碼(即，作為本發明的一個方式的圖像解碼裝置發揮作用)，經由LCD控制單元ex359從顯示單元ex358顯示例如鏈接到主頁的動態圖片文件中包含的影像、靜止圖像。另夕卜，聲音信號處理單兀ex354對聲音信號進行解碼,從聲音輸出單兀ex357輸出聲音。
[0211]此外，上述便攜電話exll4等的終端與電視機ex300同樣，除了(i)具有編碼器、解碼器兩者的收發型終端以外，還可以考慮(ii)只有編碼器的發送終端、(iii)只有解碼器的接收終端的3種安裝形式。另外，在數字廣播用系統ex200中，作為發送、接收在影像數據中復用了音樂數據等得到的復用數據而進行了說明，但復用數據也可以通過除聲音數據之外復用了與影像關聯的字符數據等而獲得，不是復用數據而是影像數據本身也可以。
[0212]這樣，將在上述各實施方式中的動態圖片編碼方法和動態圖片解碼方法用在上述哪種設備、系統中都可以，通過這樣，能夠得到在上述各實施方式中說明的有利效果。
[0213]此外，本發明并不限定于這樣的上述實施方式，能夠不脫離本發明的范圍而進行各種變形和修正。
[0214](實施方式B)
[0215]也可以通過將(i)在上述各實施方式中示出的動態圖片編碼方法或動態圖片編碼裝置、與(ii)依據MPEG - 2,MPEG 一 4AVC和VC — I等不同的標準的動態圖片編碼方法或動態圖片編碼裝置根據需要而適當切換，來生成影像數據。
[0216]這里，在生成分別依據不同的標準的多個影像數據的情況下，在解碼時，需要選擇對應于各個標準的解碼方法。但是，由于不能識別要解碼的影像數據依據哪個標準，所以產生不能選擇適當的解碼方法的問題。
[0217]為了解決該問題，在影像數據中復用了聲音數據等的復用數據采用包含表示影像數據依據哪個標準的識別信息的結構。以下，說明包括通過在上述各實施方式中示出的動態圖片編碼方法或裝置生成的影像數據在內的復用數據的具體的結構。復用數據是MPEG - 2傳輸流形式的數字流。
[0218]圖29示出了復用數據的結構。如圖29所示，復用數據通過將視頻流、音頻流、演示圖形流(PG)、交互圖形流中的I個以上進行復用而得到。視頻流表示電影的主影像及副影像，音頻流(IG)表示主聲音部分和與該主聲音混合的副聲音，演示圖形流表示電影的字幕。這里，所謂主影像，表示顯示在圖像上的通常的影像，所謂副影像，是在主影像中用較小的圖像顯示的影像。此外，交互圖形流表示通過在圖像上配置GUI部件而制作的對話圖像。視頻流通過在上述各實施方式中示出的動態圖片編碼方法或裝置、依據以往的MPEG —2>MPEG - 4AVC和VC — I等標準的動態圖片編碼方法或裝置編碼。音頻流由杜比AC — 3、Dolby Digital Plus、MLP、DTS、DTS — HD、或線性 PCM 等的標準編碼。
[0219]包含在復用數據中的各流通過PID被識別。例如，對在電影的影像中使用的視頻流分配0x1011，對音頻流分配0x1100到OxlllF，對演示圖形分配0x1200到0xl21F，對交互圖形流分配0x1400到0xl41F，對在電影的副影像中使用的視頻流分配OxlBOO到OxlBlF，對與主聲音混合的副聲音中使用的音頻流分配OxIAOO到OxlAlF。
[0220]圖30示意地表示復用數據怎樣被復用。首先，將由多個視頻幀構成的視頻流ex235、由多個音頻幀構成的音頻流ex238分別變換為PES包序列ex236及ex239，并變換為TS包ex237及ex240。同樣，將演示圖形流ex241及交互圖形ex244的數據分別變換為PES包序列ex242及ex245，再變換為TS包ex243及ex246。復用數據ex247通過將這些TS包復用到I條流中而構成。
[0221]圖31更詳細地表示在PES包序列中怎樣保存視頻流。圖31的第I段表示視頻流的視頻巾貞序列。第2段表示PES包序列。如圖31的箭頭yyl、yy2、yy3、yy4所示,視頻流中的多個作為影像顯現單元的I圖片、B圖片、P圖片按每個圖片被分割并保存到各PES包的有效載荷中。各PES包具有PES頭，在PES頭中，保存有作為圖片的顯示時刻的顯現時間戳(PTS) (Presentat1n Time-Stamp)及作為圖片的解碼時刻的解碼時間戳(DTS) (DecodingTime-Stamp)。
[0222]圖32表示最終寫入在復用數據中的TS包的形式。TS包是由具有識別流的PID等信息的4字節的TS頭和保存數據的184字節的TS有效載荷構成的188字節固定長度的包。上述PES包分別被分割并保存到TS有效載荷中。在BD — ROM的情況下，對于TS包賦予4字節的TP_Extra_Header,構成192字節的源包。源包寫入到復用數據中。在TP_Extra_Header中記載有Arrival_Time_Stamp (ATS)等信息。ATS表示該TS包向PID濾波器的轉送開始時刻。在復用數據中，源包如圖32下段所示排列。從復用數據的開頭起遞增的號碼被稱作源包號(SPN)。
[0223]此外，在復用數據所包含的TS包中，除了影像、聲音、字幕等的各流以外，還有 PAT(Program Associat1n Table) > PMT(Program Map Table) > PCR(Program ClockReference)等。PAT表示在復用數據中使用的PMT的PID是什么，PAT自身的PID被登記為O。PMT存儲復用數據所包含的影像、聲音、字幕等的各流的PID、以及與各PID對應的流的屬性信息。PMT還具有關于復用數據的各種描述符。在描述符中，有指示許可/不許可復用數據的拷貝的拷貝控制信息等信息。PCR為了取得作為ATS的時間軸的ATC(Arrival TimeClock)與作為PTS及DTS的時間軸的STC(System Time Clock)的同步，擁有與該PCR包被轉送至解碼器的ATS對應的STC時間的信息。
[0224]圖33詳細地說明PMT的數據構造。PMT頭配置在PMT的開頭。PMT頭記述了包含在該PMT中的數據的長度等。在PMT頭后面，配置有多個關于復用數據的描述符。上述拷貝控制信息等被記載在描述符中。在描述符之后，配置有多條關于包含在復用數據中的各流的流信息。每一條流信息由說明用來識別流的壓縮編解碼器的流類型、流的PID、流的屬性信息(幀速率、縱橫比等)等的信息的流描述符構成。流描述符的數量等于復用數據中的流的數量。
[0225]在記錄到記錄介質等中的情況下，將上述復用數據與復用數據信息文件一起記錄。
[0226]復用數據信息文件如圖34所示，是復用數據的管理信息。復用數據信息文件與復用數據一對一地對應，每一個文件由復用數據信息、流屬性信息以及入口映射構成。
[0227]復用數據信息如圖34所示，由系統速率、再現開始時刻、再現結束時刻構成。系統速率表示后述的系統目標解碼器將復用數據向PID濾波器轉送的最大轉送速率。包含在復用數據中的ATS的間隔設定為成為系統速率以下。再現開始時刻是復用數據的開頭的視頻幀的PTS。再現結束時刻設定為對復用數據的末端的視頻幀的PTS加上I幀量的再現間隔的值。
[0228]流屬性信息如圖35所示，按每個PID登記有關于包含在復用數據中的各流的屬性信息。屬性信息具有按視頻流、音頻流、演示圖形流、交互圖形流而不同的信息。視頻流屬性信息具有該視頻流由怎樣的壓縮編解碼器壓縮、構成視頻流的各個圖片數據的分辨率是多少、縱橫比是多少、幀速率是多少等的信息。音頻流屬性信息具有該音頻流由怎樣的壓縮編解碼器壓縮、包含在該音頻流中的聲道數是多少、音頻流支持哪種語言、采樣頻率是多少等的信息。視頻流屬性信息和音頻流屬性信息用于在播放器再現信息之前的解碼器的初始化中。
[0229]在本實施方式中，使用上述復用數據中的、包含在PMT中的流類型。此外，在記錄介質中記錄有復用數據的情況下，使用包含在復用數據信息中的視頻流屬性信息。具體而言，在上述各實施方式示出的動態圖片編碼方法或裝置中，設置如下步驟或單元，該步驟或單元對包含在PMT中的流類型、或視頻流屬性信息，分配表示是通過在上述各實施方式中示出的動態圖片編碼方法或裝置生成的影像數據的唯一信息。通過該結構，能夠識別通過在上述各實施方式中示出的動態圖片編碼方法或裝置生成的影像數據、和依據其他標準的影像數據。
[0230]此外，在圖36中表示本實施方式的動態圖片解碼方法的步驟。在步驟exSlOO中，從復用數據中取得包含在PMT中的流類型、或包含在復用數據信息中的視頻流屬性信息。接著，在步驟exSlOl中，判斷流類型、或視頻流屬性信息是否表示是通過在上述各實施方式中示出的動態圖片編碼方法或裝置生成的復用數據。并且，在判斷為流類型、或視頻流屬性信息是通過在上述各實施方式中示出的動態圖片編碼方法或裝置生成的復用數據情況下，在步驟exS102中，通過在上述各實施方式中示出的動態圖片解碼方法進行解碼。此外，在流類型、或視頻流屬性信息表示是依據以往的MPEG - 2、MPEG — 4AVC、VC — I等的標準的復用數據的情況下，在步驟exS103中，通過依據以往的標準的動態圖片解碼方法進行解碼。
[0231]這樣，通過在流類型、或視頻流屬性信息中分配新的唯一值，能夠判斷是否能夠通過在上述各實施方式中示出的動態圖片解碼方法或裝置解碼。因而，在被輸入了依據不同的標準的復用數據的情況下，也能夠選擇適當的解碼方法或裝置。所以能夠不發生錯誤地進行信息解碼。此外，將在本實施方式中示出的動態圖片編碼方法或裝置、或者動態圖片解碼方法或裝置用在上述任何設備、系統中。
[0232](實施方式C)
[0233]在上述各實施方式中示出的動態圖片編碼方法及裝置、動態圖片解碼方法及裝置典型地可以由集成電路或大規模集成(LSI)電路的形式實現。作為LSI的一例，圖37表示I芯片化的LSI ex500的結構。LSI ex500具備以下說明的單元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各單元經由總線ex510連接。電源電路單元ex505通過在電源電路單元ex505是開啟狀態的情況下對各部供給電力，起動為能夠動作的狀態。
[0234]例如在進行編碼處理的情況下，LSI ex500基于具有CPUex502、存儲器控制器ex503、流控制器ex504、驅動頻率控制單元ex512等的控制單元ex501的控制,通過AV I/0ex509從麥克風exl 17及照相機exl 13等輸入AV信號。被接收的AV信號暫時儲存在SDRAM等的外部的存儲器ex511中。基于控制單元ex501的控制，將儲存的數據根據處理量及傳送到信號處理單元ex507的速度分為多個數據部。隨后，在信號處理單元ex507中進行聲音信號的編碼及/或影像信號的編碼。這里，影像信號的編碼處理是在上述各實施方式中說明的編碼處理。此外，在信號處理單元ex507中，有時還進行將編碼的聲音數據和編碼的影像數據復用的處理，從流I/0ex506向外部輸出。將該輸出的復用數據向基站exl07發送、或寫入到記錄介質ex215中。另外，在復用數據集時，可以暫時將數據儲存到緩沖器ex508中以使數據集同步。
[0235]另外，在上述中，設存儲器ex511為LSIex500的外部的結構進行了說明，但也可以是包含在LSIex500的內部中的結構。緩沖器ex508也并不限定于一個，也可以具備多個緩沖器。此外，LSIex500既可以形成I個芯片，也可以形成多個芯片。
[0236]此外，在上述中，假設控制單元ex510具有CPUex502、存儲器控制器ex503、流控制器ex504、驅動頻率控制單元ex512等,但控制單元ex510的結構并不限定于該結構。例如，也可以是信號處理單元ex507還具備CPU的結構。通過在信號處理單元ex507的內部中也設置另一個CPU，能夠進一步提高處理速度。此外，作為其他例，也可以是CPUex502充當信號處理單元ex507、或作為信號處理單元ex507的一部分的例如聲音信號處理單元的結構。在這樣的情況下，控制單元ex501為具備具有信號處理單元ex507或其一部分的CPUex502的結構。
[0237]另外，這里設為LSI，但根據集成度的差異，也有稱作1C、系統LS1、超級(super)LS1、特級(ultra)LSI的情況。
[0238]此外，集成電路化的方法并不限定于LSI，也可以由專用電路或通用處理器等實現。也可以利用在LSI制造后能夠編程的現場可編程門陣列(FPGA)、或能夠重構LSI的連接及設定的可重構處理器。
[0239]進而，隨著半導體技術的進步，會出現代替LSI的集成電路化的全新技術。則當然也可以使用該技術進行功能模塊的集成化。有可能是本發明的生物技術的應用。
[0240](實施方式D)
[0241]在將通過在上述各實施方式中示出的動態圖片編碼方法或裝置生成的影像數據解碼的情況下，考慮到與將依據以往的MPEG - 2、MPEG — 4AVC、VC — I等標準的影像數據的情況相比處理量會增加。因此，在LSIex500中，需要設定為比將依據以往的標準的影像數據解碼時的CPUex502的驅動頻率更高的驅動頻率。但是，如果將驅動頻率設得高，則發生消耗電力變高的問題。
[0242]為了解決該問題，電視機ex300、LSIex500等的動態圖片解碼裝置采用識別影像數據依據哪個標準、并根據標準切換驅動頻率的結構。圖38表示本實施方式的結構ex800。驅動頻率切換單元ex803在影像數據是通過在上述各實施方式中示出的動態圖片編碼方法或裝置生成的情況下，將驅動頻率設定得高。并且，驅動頻率切換單元ex803對執行在上述各實施方式中示出的動態圖片解碼方法的解碼處理單元ex801指示將影像數據解碼。在影像數據是依據以往的標準的影像數據的情況下，與影像數據是通過在上述各實施方式中示出的動態圖片編碼方法或裝置生成的數據的情況相比，將驅動頻率設定得低。并且，驅動頻率切換單元ex803對依據以往的標準的解碼處理單元ex802指示將影像數據解碼。
[0243]更具體地講，驅動頻率切換單元ex803由圖37的CPUex502和驅動頻率控制單元ex512構成。此外，執行在上述各實施方式中示出的動態圖片解碼方法的解碼處理單元ex801、以及依據以往的標準的解碼處理單元ex802對應于圖37的信號處理單元ex507。CPUex502識別影像數據依據哪個標準。并且，基于來自CPUex502的信號，驅動頻率控制單元ex512設定驅動頻率。此外，基于來自CPUex502的信號，信號處理單元ex507進行影像數據的解碼。這里，可以考慮在影像數據的識別中使用例如在實施方式B中記載的識別信息。關于識別信息，并不限定于在實施方式B中記載的信息，只要是能夠識別影像數據依據哪個標準的信息就可以。例如，在基于識別影像數據利用于電視機還是利用于盤等的外部信號，來能夠識別影像數據依據哪個標準的情況下，也可以基于這樣的外部信號進行識別。此外，CPUex502的驅動頻率的選擇例如可以考慮如圖40所示的將影像數據的標準與驅動頻率建立對應的查找表進行。將查找表預先保存到緩沖器ex508、或LSI的內部存儲器中，CPUex502通過參照該查找表，能夠選擇驅動頻率。
[0244]圖39表示實施本實施方式的方法的步驟。首先，在步驟exS200中，在信號處理單元ex507中，從復用數據中取得識別信息。接著，在步驟exS201中，在CPUex502中，基于識別信息識別影像數據是否是通過在上述各實施方式中示出的編碼方法或裝置生成的數據。在影像數據是通過在上述各實施方式中示出的動態圖片編碼方法或裝置生成的數據的情況下，在步驟exS202中，CPUex502向驅動頻率控制單元ex512發送將驅動頻率設定得高的信號。并且，在驅動頻率控制單元ex512中設定為高的驅動頻率。另一方面，在表示是依據以往的MPEG - 2、MPEG — 4AVC、VC — I等的標準的影像數據的情況下，在步驟exS203中，CPUex502向驅動頻率控制單元ex512發送將驅動頻率設定得低的信號。并且，在驅動頻率控制單元ex512中，設定為與影像數據是通過在上述各實施方式中示出的動態圖片編碼方法或裝置生成的數據的情況相比更低的驅動頻率。
[0245]進而，通過與驅動頻率的切換連動而變更對LSIeX500或包括LSIeX500的裝置施加的電壓，由此能夠進一步提高節電效果。例如，在將驅動頻率設定得低的情況下，隨之，可以考慮與將驅動頻率設定得高的情況相比，將對LSIex500或包括LSIex500的裝置施加的電壓設定得低。
[0246]此外，驅動頻率的設定方法只要是在解碼時的處理量大的情況下將驅動頻率設定得高、在解碼時的處理量小的情況下將驅動頻率設定得低就可以，并不限定于上述的設定方法。例如，可以考慮在將依據MPEG - 4AVC標準的影像數據解碼的處理量大于將通過在上述各實施方式中示出的動態圖片編碼方法或裝置生成的影像數據解碼的處理量的情況下，與上述的情況相反地進行驅動頻率的設定。
[0247]進而，驅動頻率的設定方法并不限定于使驅動頻率低的結構。例如，也可以考慮在識別信息表示是通過在上述各實施方式中示出的動態圖片編碼方法或裝置生成的影像數據的情況下，將對LSIeX500或包括LSIeX500的裝置施加的電壓設定得高，在識別信息表示是依據以往的MPEG - 2、MPEG 一 4AVC、VC 一 I等的標準的影像數據的情況下，將對LSIex500或包括LSIex500的裝置施加的電壓設定得低。此外，作為另一例，也可以考慮在識別信息表示是通過在上述各實施方式中示出的動態圖片編碼方法或裝置生成的影像數據的情況下，不使CPUex502的驅動停止，在識別信息表示是依據以往的MPEG — 2、MPEG 一4AVC、VC — I等的標準的影像數據的情況下，由于在處理中有富余，所以使CPUex502的驅動在給定時間暫停。也可以考慮在識別信息表示是通過在上述各實施方式中示出的動態圖片編碼方法或裝置生成的影像數據的情況下，也只要在處理中有富余則使CPUex502的驅動在給定時間暫停。在此情況下，可以考慮與識別信息表示是依據以往的MPEG - 2、MPEG 一4AVC、VC -1等的標準的影像數據的情況相比，將停止時間設定得短。
[0248]這樣，根據影像數據所依據的標準來切換驅動頻率，由此能夠改善節電效果。此夕卜，在使用電池來驅動LSIex500或包括LSIex500的裝置的情況下，能夠隨著節電而延長電池的壽命。
[0249](實施方式E)
[0250]在電視機、便攜電話等上述的設備、系統中，有時被輸入依據不同的標準的多個影像數據。這樣，為了使得在被輸入了依據不同的標準的多個影像數據的情況下也能夠解碼，LSIex500的信號處理單元ex507需要對應于多個標準。但是，如果單獨使用對應于各個標準的信號處理單元ex507，則發生LSIex500的電路規模變大、此外成本增加的問題。
[0251]為了解決該問題，采用將用來執行在上述各實施方式中示出的動態圖片解碼方法的解碼處理單元、和依據以往的MPEG - 2、MPEG — 4AVC、VC — I等的標準的解碼處理單元一部分共用的結構。圖41A的ex900表示該結構例。例如，在上述各實施方式中示出的動態圖片解碼方法和依據MPEG - 4AVC標準的動態圖片解碼方法在熵編碼、逆量化、解塊濾波器、運動補償預測等的處理中有一部分處理內容共通。可以考慮如下結構:關于共通的處理內容，共用對應于MPEG - 4AVC標準的解碼處理單元ex902。相反，關于本發明的一個方式所特有的其他的處理內容，使用專用的解碼處理單元ex901。特別是，例如本發明在逆量化方面具有特征，因此可以考慮例如對于逆量化使用專用的解碼處理單元ex901，對于除此之外的熵解碼、解塊濾波、運動補償中的某一個或者全部的處理，共用解碼處理單元。關于解碼處理單元的共用，也可以是如下結構:關于共通的處理內容，共用用來執行在上述各實施方式中示出的動態圖片解碼方法的解碼處理單元，關于MPEG - 4AVC標準所特有的處理內容，使用專用的解碼處理單元。
[0252]此外，用圖41B的exlOOO表示將處理一部分共用的另一例。在該例中，采用支持本發明的一個方式所特有的處理內容的專用的解碼處理單元exlOOl、和支持其他的以往標準所特有的處理內容的專用的解碼處理單元exl002、和支持在本發明的一個方式的動態圖片解碼方法和其他的以往標準的動態圖片解碼方法中共通的處理內容的共用的解碼處理單元exl003的結構。這里,專用的解碼處理單元exl001、exl002并不一定分別是為本發明的一個方式、或者其他的以往標準所特有的處理內容而特殊化的，可以是能夠執行其他的通用處理的結構。此外，也能夠由LSIeX500安裝本實施方式的結構。
[0253]這樣，對于在本發明的一個方式的動態化解碼方法和以往的標準的動態圖片解碼方法中共通的處理內容，共用解碼處理單元，由此能夠減小LSI的電路規模并且降低成本。
[0254]本領域技術人員會意識到，在不脫離寬泛說明的本發明的精神或范圍的情況下，可以對如具體實施例中描述的本發明做出許多變化和/或修改。因此，這些實施例在所有方面都應認為是說明性而非限制性的。
【權利要求】
1.一種為圖片中的當前塊執行運動矢量預測的方法，所述方法包括: 為具有當前運動矢量和當前參考圖片的所述當前塊得到用于運動矢量預測值候選的候選列表的運動矢量預測值候選，以及 基于來自所述候選列表的選擇的運動矢量預測值候選得到運動矢量預測值， 其中，所述得到所述運動矢量預測值候選包括: 選擇所述當前塊的相鄰塊或對應位置的塊的運動矢量，所述運動矢量具有相關的參考圖片，以及 基于所述當前參考圖片的類型和/或所述相關的參考圖片的類型來決定是否縮放所述運動矢量以產生所述運動矢量預測值候選，和/或是否將所述運動矢量包括到所述候選列表中。
2.根據權利要求1所述的方法，其中，所述決定包括確定是所述當前參考圖片還是所述相關的參考圖片具有預定類型。
3.根據權利要求2所述的方法，進一步包括如果所述當前參考圖片或所述相關的參考圖片具有預定類型，則將所述運動矢量排除在所述候選列表的包括之外。
4.根據權利要求2所述的方法，進一步包括如果所述當前參考圖片或所述相關的參考圖片具有預定類型，則縮放所述運動矢量以產生所述運動矢量預測值候選。
5.根據權利要求2所述的方法，其中，如果所述當前參考圖片或所述相關的參考圖片具有預定類型，則決定不縮放所述運動矢量，并復制所述運動矢量以產生運動矢量預測值候選。
6.根據權利要求2所述的方法，進一步包括如果所述當前參考圖片和所述相關的參考圖片具有相同的類型，則縮放所述運動矢量以產生所述運動矢量預測值候選。
7.根據權利要求2至6中任意一項所述的方法，其中，所述預定類型的參考圖片是長期參考圖片、視圖間參考圖片、和/或層間參考圖片。
8.一種編碼方法，用于對圖片的當前塊進行編碼以產生編碼比特流，所述編碼方法包括根據權利要求1至7中的任意一項來為所述當前塊執行運動矢量預測的方法。
9.一種解碼方法，用于從編碼比特流解碼圖片的當前塊，所述解碼方法包括根據根據權利要求1至7中的任意一項來為所述當前塊執行運動矢量預測的方法。
10.一種編碼裝置，用于對圖片中的當前塊進行編碼以產生編碼比特流，所述編碼裝置包括: 運動矢量預測單元，所述運動矢量預測單元用于為具有當前運動矢量和當前參考圖片的所述當前塊得到用于運動矢量預測值候選的候選列表的運動矢量預測值候選，且所述運動矢量預測單元用于基于來自所述候選列表的選擇的運動矢量預測值候選得到運動矢量預測值； 控制單元，所述控制單元用于接收所述當前塊的相鄰塊或對應位置的塊的運動矢量，所述運動矢量具有相關的參考圖片，且所述控制單元用于基于所述當前參考圖片的類型和/或所述相關的參考圖片的類型，決定是否縮放所述運動矢量以產生所述運動矢量預測值候選，和/或是否將所述運動矢量包括在所述候選列表中； 幀間預測單元，所述幀間預測單元用于基于所得到的運動矢量預測值來產生預測塊；以及 編碼單元，所述編碼單元用于基于所述當前塊和所述預測塊來產生所述編碼比特流，其中，所述控制單元被配置為將表示所述決定的信號輸出到所述運動矢量預測單元，從而基于所述信號得到所述運動矢量預測值候選。
11.一種解碼裝置，用于從編碼比特流解碼圖片中的當前塊，所述解碼裝置包括: 運動矢量預測單元，所述運動矢量預測單元用于為具有當前運動矢量和當前參考圖片的當前塊得到用于運動矢量預測值候選的候選列表的運動矢量預測值候選，且所述運動矢量預測單元用于基于來自所述候選列表的選擇的運動矢量預測值候選來得到運動矢量預測值； 控制單元，所述控制單元用于接收所述當前塊的相鄰塊或對應位置的塊的運動矢量，所述運動矢量具有相關的參考圖片，且所述控制單元用于基于所述當前參考圖片的類型和/或所述相關的參考圖片的類型，決定是否縮放所述運動矢量以產生所述運動矢量預測值候選，和/或是否將所述運動矢量包括在所述候選列表中； 解碼單元，所述解碼單元用于從編碼比特流解碼所述當前塊；以及幀間預測單元，所述幀間預測單元用于基于所得到的運動矢量預測值來產生預測塊，所述預測塊用于重構所述當前塊， 其中，所述控制單元被配置為將表示所述決定的信號輸出到所述運動矢量預測單元，從而基于所述信號得到所述運動矢量預測值候選。
12.—種計算機程序產品，具體化于非暫時性計算機可讀儲存介質中，所述計算機程序產品包括能夠由計算處理器執行的指令，用以執行根據權利要求1至9中任意一項所述的方法。
【文檔編號】H04N19/61GK104272743SQ201380023759
【公開日】2015年1月7日 申請日期:2013年5月7日 優先權日:2012年5月9日
【發明者】林宗順, 乃蘇孟德, 西孝啟, 笹井壽郎, 柴原陽司, 杉尾敏康, 谷川京子, 松延徹, 寺田健吾 申請人:松下電器（美國）知識產權公司