動態圖像編碼方法及動態圖像解碼方法

專利名稱：動態圖像編碼方法及動態圖像解碼方法
技術領域：
本發明涉及一種對動態圖像數據進行編碼及解碼的方法，以及記錄了用于通過軟件實現該方法的程序的記錄媒體。
背景技術：
近年來，隨著多媒體應用的發展，圖像、聲音、文本等所有媒體信息一般能夠統一地處理。這時，通過將所有的媒體數字化，能夠統一地處理媒體。但是，由于數字化了的圖像具有龐大的數據量，因此為了存儲、傳輸，圖像的信息壓縮技術不可欠缺。而為了相互應用壓縮后的圖像數據，壓縮技術的標準化也很重要。作為圖像壓縮技術的標準規格，有ITU(國際電氣通信聯合電氣通信標準化部)的H.261、H.263，ISO(國際標準化機構)的MPEG(運動圖像專家組)-1、MPEG-2、MPEG-4等。
作為這些動態圖像編碼方式共同的技術，有伴隨運動補償的圖像間預測。在這些動態圖像編碼方式的運動補償中，將輸入的圖像分割成預定大小的像塊(block)，對每個像塊，根據表示圖像間的運動的運動矢量生成預測圖像。MPEG的圖像間預測，使用根據1幅在顯示時刻上超前于編碼對象圖像的圖像進行的前方預測、根據1幅在顯示時刻上滯后于編碼對象圖像的圖像進行的后方預測、和根據在顯示時刻上超前于編碼對象圖像及在顯示時刻上滯后于編碼對象圖像的共計2幅圖像進行像素插值預測的雙向預測(參照例如ISO/IEC14496-21999(E)信息技術-視聽對象編碼Part2圖像(1999-12-01)P.150 7.6.7時間預測結構)。
MPEG對于畫面間預測的種類唯一地決定使用的參照畫面，不能選擇任意地參照畫面。而ITU的正處于標準化之中的H.264正在討論擴展的2方向預測，以便能夠與編碼對象圖像的顯示時刻無關地從存儲在圖像存儲器中的多幅已編碼完畢的圖像中選擇任意的2幅參照圖像。


圖1為表示H.264中的動態圖像編碼裝置的構成的方框圖。圖1的以前的動態圖像編碼裝置在圖像間預測時，采用執行能夠從多幅圖像中選擇參照圖像的動態圖像編碼方式的裝置。
該動態圖像編碼裝置如圖1所示包括運動推定部301、像素插值部102、減法器103、圖像編碼部104、圖像解碼部105、加法器106、可變長編碼部302、多幀緩沖器108及開關109。
該動態圖像編碼裝置將輸入的圖像數據Img分割成像塊，對該每個像塊進行處理。減法器103從輸入到動態圖像編碼裝置中的圖像數據中減去預測圖像數據Pred，作為殘差數據Res輸出。圖像編碼部104對輸入的殘差數據Res進行正交變換、量子化等圖像編碼處理，輸出包含量子化正交變換系數等的殘差編碼數據ERes。圖像解碼部105對輸入的殘差編碼數據ERes進行逆量子化、逆正交變換等圖像解碼處理，輸出殘差解碼數據DRes。加法器106將殘差解碼數據DRes與預測圖像數據Pred相加，輸出重構圖像數據Recon。在重構圖像數據Recon中，有可能在以后的圖像間預測中被參照的數據保存在多幀緩沖器108中。
這里，用圖2說明以往的動態圖像編碼裝置所進行的用2幅參照圖像的插值預測。圖2為用多幅參照圖像進行的插值預測的概念圖。這里，圖像pic為編碼對象圖像。圖像FwRef1～FwRef3表示顯示時刻超前于編碼對象圖像pic的已編碼完畢的圖像，圖像BwRef1～BwRef3表示顯示時刻滯后于編碼對象圖像pic的已編碼完畢的圖像。像塊Blk1根據顯示時刻超前于編碼對象圖像pic的圖像FwRef3所包含的參照像塊RefBlk11和顯示時刻滯后于編碼對象圖像pic的圖像BwRef1所包含的參照像塊RefBlk12的像素值進行預測。像塊Blk2根據顯示時刻超前于編碼對象圖像pic的2幅圖像FwRef1、FwRef2所包含的參照像塊RefBlk21、RefBlk22的像素值進行預測。像塊Blk3根據顯示時刻滯后于編碼對象圖像的2幅圖像BwRef1、BwRef2所包含的參照像塊RefBlk31、RefBlk32的像素值進行預測。即，將用平均值等預定的方法對2個參照像塊的對應位置的像素所得的結果進行插值，作為預測圖像。以往的動態圖像編碼裝置的特征為如圖2所示那樣，對每個像塊用任意的2幅參照圖像進行預測。以后，將上述那樣的用2幅參照圖像進行預測的方法稱為多個參照圖像插值預測。另外，預測方法除上述用像素插值生成預測圖像的方法外，還有原封不動地將任意的1幅圖像所包含的像塊作為預測圖像的方法和畫面內預測的方法等，還可以在像塊單位間切換預測方法。
運動推定部301對輸入的編碼對象像塊決定像塊的預測種類、圖像間預測時所使用的參照圖像、運動矢量，輸出預測種類PredType、參照圖像的編號RefNo1、RefNo2、運動矢量MV1、MV2。由于在多個參照圖像插值預測時選擇2幅參照圖像，因此運動推定部301輸出2個參照圖像編號和2個運動矢量。此時，多幀緩沖器108輸出與參照圖像編號RefNo1和運動矢量MV1相對應的參照像塊RefBlk1和與參照圖像編號RefNo2和運動矢量mv2相對應的參照像塊RefBlk2。像素插值部102用平均值等對2個參照像塊RefBlk1、RefBlk2的對應的像素值插值，輸出插值像塊RefPo1。而在多幅參照圖像插值預測以外的圖像間預測時，由于選擇1幅參照圖像，因此運動推定部301輸出1個參照圖像的編號RefNo1和1個運動矢量MV1。此時，多幀緩沖器108輸出與參照圖像的編號RefNo1和運動矢量MV1相對應的參照像塊RefBlk。
在運動推定部301決定的預測種類PredType表示多幅參照圖像插值預測的情況下，開關109切換到“1”一側，將插值像塊RefPol作為預測圖像數據Pred使用。當預測種類PredType表示多幅參照圖像插值預測以外的圖像間預測方法時，開關SW11切換到“0”一側，將參照像塊RefBlk作為預測圖像數據Pred使用。可變長編碼部302對殘差編碼數據ERes、預測種類PredType、參照圖像的編號RefNo1、RefNo2、運動矢量MV1、MV2，輸出動態圖像編碼數據Str0進行可變長編碼。
圖3為以往的動態圖像編碼裝置的動態圖像編碼數據格式的概念圖。每1幅圖像的編碼數據Picture由構成圖像的每個像塊的1個像塊的編碼數據Block等構成。這里，每1個這樣的像塊的編碼數據Block表示用多幅參照圖像插值預測的像塊的編碼數據，編碼數據中包含2幅參照圖像的參照圖像的編號RefNo1、RefNo2、運動矢量MV1、MV2以及預測模式PredType。
圖4為表示以往的動態圖像解碼裝置的構成的方框圖。
如圖4所示，該動態圖像解碼裝置包括可變長度解碼部601、運動補償部602、圖像解碼部404、加法器405、像素插值部406、多幀緩沖器407和開關408。
可變長度解碼部601對輸入的動態圖像編碼數據Str0進行可變長度解碼，輸出殘差編碼數據ERes、運動矢量MV1、MV2、參照圖像的編號RefNo1、RefNo2、預測種類PredType。圖像解碼部404對輸入的殘差編碼數據ERes進行逆量子化、逆正交變換等圖像解碼處理，輸出殘差解碼數據DRes。加法器405將殘差解碼數據DRes與預測圖像數據Pred相加，作為解碼圖像數據Dlmg輸出到動態圖像解碼裝置外。多幀緩沖器407保存進行圖像間預測的解碼圖像數據Dlmg。
運動補償部602根據預測種類PredType輸出圖像間預測所必需的參照像塊的參照圖像的編號NRefNo1、NRefNo2和運動矢量MV1、MV2，指示多幀緩沖器407輸出參照像塊。當預測種類PredType表示多幅參照圖像插值預測時，多幀緩沖器407輸出與參照圖像的編號NRefNo1和運動矢量Nmv1相對應的參照像塊RefBlk1和與參照圖像的編號NRefNo2和運動矢量NMV2相對應的參照像塊RefBlk2。像素插值部406用平均值等插值2個參照像塊RefBlk1、RefBlk2的對應的像素值，輸出插值像塊RefPo1。而在預測種類PredType表示多幅參照圖像插值預測以外的圖像間預測時，多幀緩沖器407輸出與參照圖像的編號NRefNo1和運動矢量NMV1相對應的參照像塊RefBlk。
并且，在預測種類PredType表示多幅參照圖像插值預測時，開關408切換到“0”一側，將插值像塊RefPol作為預測圖像數據Pred使用。而當預測種類PredType表示多幅參照圖像插值預測以外的圖像間預測方法時，開關408切換到“1”一側，將參照像塊RefBlk作為預測圖像數據Pred使用。通過上述說明過的處理，動態圖像解碼裝置將動態圖像編碼數據Str0解碼，輸出圖像解碼數據Dlmg。
但是，在MPEG-4的動態圖像編碼方法中，定義了如下的多幅參照圖像插值預測方法，在使用被稱為雙向預測圖像的多幅參照圖像插值預測型的圖像中，通過根據已編碼完畢的運動矢量，計算被稱為直接模式的由插值制作預測圖像所使用的2幅參照圖像的運動矢量，省略像塊的編碼數據中的運動矢量及參照圖像編號。
圖5為MPEG-4的直接模式的說明圖。這里，圖像pic表示編碼對象圖像，圖像Ref1表示顯示時刻超前于編碼對象圖像pic的參照圖像，圖像Ref2表示顯示時刻滯后于編碼對象圖像pic的參照圖像，像塊Blk表示編碼對象像塊，像塊Blk0表示參照圖像Ref2中畫面位置與編碼對象Blk相同的像塊。并且，運動矢量MV01表示以編碼像塊Blk0時使用的圖像Ref1為參照圖像的、指向前方的運動矢量，運動矢量MV1表示指向參照圖像Ref1的編碼對象像塊的運動矢量，運動矢量MV2表示指向參照圖像Ref2的編碼對象像塊的運動矢量，像塊RefBlk1表示被運動矢量MV1參照的參照像塊，像塊RefBlk2表示被運動矢量MV2參照的參照像塊。
用于編碼對象像塊Blk參照的2幅圖像，使用顯示時刻滯后的、離得最近的圖像Ref2作為后方參照圖像，使用編碼像塊Blk0時參照過的前方參照圖像Ref1作為前方參照圖像。
運動矢量的計算假定圖像之間運動一定或沒有運動進行。此時，如果假設編碼對象圖像pic與參照圖像Ref1之間的顯示時刻的差值為TRD1，參照圖像Ref1與參照圖像Ref2之間的顯示時刻的差值為TRD2，編碼對象圖像pic與參照圖像Ref2之間的顯示時刻的差值為TRD3，則對編碼對象像塊進行編碼時使用的運動矢量MV1及運動矢量MV2可以分別由下面的計算公式算出MV1＝MV01×(TRD1/TRD2)……………………(式A)MV2＝-MV01×(TRD3/TRD2)…………………(式B)用以上的方法可以決定直接模式時的參照圖像和運動矢量。上述說明過的直接模式的處理，動態圖像編碼裝置用圖1的表示以往的動態圖像編碼裝置的構成的方框圖的運動推定部301執行。并且，上述說明過的直接模式的處理，動態圖像解碼裝置用圖4的表示以往的動態圖像解碼裝置的構成的方框圖的運動補償部602執行。
當對圖像間的運動少的動態圖像進行圖像間預測時，圖像間預測誤差非常小，由量子化等圖像處理產生的殘差編碼數據ERes幾乎為0。在像以上說明過的直接模式那樣，不編碼運動矢量及參照圖像編號而用預定的方法決定的編碼中，將根據編碼對象像塊的參照圖像和運動矢量的圖像間預測的殘差編碼數據ERes全部為0的情況定義為被稱為跳躍(スキツプ)模式的預測種類PredType的1種。跳躍模式由于只傳送表示跳躍模式的預測種類PredType，因此能夠以非常小的代碼量編碼像塊。通過分配比其他的預測種類短的可變長度代碼字給該跳躍模式或運行長度編碼連續的跳躍模式的像塊的個數，能夠更加有效地編碼。
上述H.264將在1個像塊中用直接模式進行圖像間預測的殘差編碼數據全部為0的情況定義為跳躍模式。在圖1所示的動態圖像編碼中，用跳躍模式編碼像塊時進行以下的處理。運動推定部301經過以上說明過的直接模式的處理輸出參照圖像編號RefNo1、RefNo2、運動矢量MV1、MV2和表示跳躍模式的預測種類PredType。可變長編碼部302在預測種類PredType表示跳躍模式時只對預測種類PredType進行可變長編碼，輸出動態圖像編碼數據Str0。在圖4所示的動態圖像解碼裝置中，如果輸入用跳躍模式編碼過的像塊的編碼數據，則進行以下的處理。可變長度解碼部601對預測種類PredType進行可變長度解碼。運動補償部602在預測種類PredType表示為跳躍模式時，通過以上說明過的直接模式的處理輸出參照圖像編號NRefNo1、NRefNo2、運動矢量MV1、MV2和表示跳躍模式的預測種類PredType。
如上所述，H.264能夠與編碼對象圖像的顯示時刻無關地從多幅已編碼完畢的圖像中選擇任意的參照圖像。但是，由于在這種情況下要對多幅已編碼完畢的圖像進行運動檢測以選擇任意的參照圖像，因此該運動檢測的處理的負荷非常大。并且，由于該多幅參照圖像插值預測必需編碼2幅參照圖像的每1幅的參照圖像編號和運動矢量，因此存在降低編碼效率的問題。
而且，在存在像用以往的技術說明過的雙向預測圖像那樣，將顯示時刻滯后于編碼對象圖像的圖像作為參照圖像進行圖像間預測的圖像時，必須以與顯示時刻的順序不同的順序編碼圖像，因此產生了因編碼帶來的延遲。在可視電話等實時通信的場合下，由于延遲會產生問題，因此存在不能使用雙向預測圖像的情況。但是，H.264由于能夠不受顯示順序信息的影響選擇任意的2幅參照圖像，因此通過選擇2幅顯示時刻超前于編碼對象圖像的圖像進行多幅參照圖像插值預測，可以消除因編碼產生的延遲。但是，由于此時多幀緩沖器中沒有保存顯示時刻滯后于編碼對象圖像的圖像，因此不能使用上述以往的由顯示時刻滯后于編碼對象圖像的圖像決定運動矢量的直接模式。

發明內容
因此，本發明就是鑒于上述問題，目的是提供一種在多幅參照圖像插值預測時，能夠有效地實現編碼并能夠削減處理量的動態圖像編碼方法及動態圖像解碼方法。
為了達到上述目的，本發明的動態圖像編碼方法為以像塊單位對構成輸入圖像的各圖像進行編碼的動態圖像編碼方法，其特征在于，包括決定參照已編碼完畢的圖像進行編碼的多個像塊所共同參照的圖像的共同參照圖像決定步驟；用上述共同參照的圖像生成預測圖像的預測圖像生成步驟；用上述預測圖像對編碼對象像塊進行編碼的編碼步驟。
因此，在用參照圖像生成預測圖像時，由于不需進行對每個像塊從多幅已編碼完畢的圖像中選擇作為參照圖像的圖像的處理，因此可以削減處理量。并且，由于不必對每個像塊編碼該參照圖像，因此可以削減代碼量。一般地，圖像數據中的大部分的像塊選擇相同的圖像作為最合適的參照圖像的可能性很高。因此，通過例如以像塊單位使參照圖像為共同的參照圖像，能夠在維持高編碼效率的情況下削減處理量。
或者，本發明的動態圖像編碼方法為以像塊單位對構成輸入圖像的各圖像進行編碼的動態圖像編碼方法，其特征在于，包括決定參照2幅已編碼完畢的圖像進行編碼的多個像塊所共同參照的第1圖像的共同參照圖像決定步驟；參照上述第1圖像和從各個像塊已編碼完畢的圖像中選擇的第2圖像生成預測圖像的預測圖像生成步驟；用上述預測圖像對編碼對象像塊進行編碼的編碼步驟。
因此，在用2幅圖像作為參照圖像生成預測圖像時，由于對于1幅參照圖像不需要對每個像塊從多幅已編碼完畢的圖像中選擇1幅圖像的處理，因此能夠削減處理量。并且，由于不必對每個像塊編碼該參照圖像，因此可以削減代碼量。一般地，圖像數據中的大部分的像塊選擇相同的圖像作為最合適的參照圖像的可能性很高。因此，通過例如以像塊單位使一方的參照圖像為共同的參照圖像，能夠在維持高編碼效率的情況下削減處理量。
這里，上述動態圖像編碼方法還可以包括將用于確定上述共同參照圖像的信息記述在生成的動態圖像編碼數據中的多個像塊的共同信息區域內的信息記述步驟。因此，可以將確定共同的參照圖像的信息記述在動態圖像編碼數據中，進行輸出，在解碼動態圖像編碼數據時能夠準確地確定參照圖像。
本發明的動態圖像解碼方法為對各圖像以像塊單位被編碼后的動態圖像編碼數據進行解碼的動態圖像解碼方法，其特征在于，包括決定參照已解碼完畢的圖像進行解碼的多個像塊所共同參照的圖像的共同參照圖像決定步驟；用上述共同參照的圖像生成預測圖像的預測圖像生成步驟；用上述預測圖像對解碼對象像塊進行解碼的解碼步驟。
因此，在解碼時能夠正確地解碼處理用共同的參照圖像編碼后輸出的動態圖像編碼數據。
或者，本發明的動態圖像解碼方法為對各圖像以像塊單位被編碼后的動態圖像編碼數據進行解碼的動態圖像解碼方法，其特征在于，包括決定參照2幅已解碼完畢的圖像進行解碼的多個像塊所共同參照的第1圖像的共同參照圖像決定步驟；參照上述第1圖像和從各個像塊已解碼完畢的圖像中選擇的第2圖像生成預測圖像的預測圖像生成步驟；用上述預測圖像對解碼對象像塊進行解碼的解碼步驟。
因此，在解碼時能夠正確地解碼處理用共同的參照圖像和每個像塊的參照圖像編碼后輸出的動態圖像編碼數據。
這里，上述動態圖像解碼方法還可以包括從上述動態圖像編碼數據中的多個像塊的共同信息區域內抽出用于確定上述共同的參照圖像的信息的信息抽出步驟。因此，能夠從動態圖像編碼數據中抽出確定共同的參照圖像的信息，能夠準確地特定參照圖像。
另外，本發明不僅可以實現這樣的動態圖像編碼方法和動態圖像解碼方法，而且可以實現具有這樣的動態圖像編碼方法和動態圖像解碼方法所特有的步驟作為裝置的動態圖像編碼裝置和動態圖像解碼裝置。并且，還可以實現在計算機中執行這些步驟的程序或者實現用上述動態圖像編碼方法編碼過的動態圖像編碼數據。并且不用說，這樣的程序和動態圖像編碼數據可以通過CD-ROM等記錄媒體或因特網等傳輸媒體發送。
附圖的簡要說明圖1表示以往的動態圖像編碼裝置的構成的方框圖；圖2用多幅參照圖像進行插值的概念圖；圖3以往的動態圖像編碼裝置的動態圖像編碼數據的格式的概念圖；圖4表示以往的動態圖像解碼裝置的構成的方框圖；圖5以往的直接模式的說明圖；圖6表示實施形態1的動態圖像編碼裝置的構成的方框圖；圖7實施形態1的動態圖像編碼數據的格式的概念圖；圖8表示實施形態2的動態圖像解碼裝置的構成的方框圖；圖9表示實施形態3的動態圖像編碼裝置的構成的方框圖；
圖10實施形態3的動態圖像編碼數據的格式的概念圖；圖11表示實施形態3的動態圖像編碼裝置的變形例的構成的方框圖；圖12實施形態3的變形例的動態圖像編碼數據的格式的概念圖；圖13表示實施形態3的動態圖像編碼裝置的變形例的構成的方框圖；圖14表示實施形態4的動態圖像解碼裝置的構成的方框圖；圖15表示實施形態4的動態圖像解碼裝置的變形例的構成的方框圖；圖16實施形態5的顯示順序信息超前于編碼對象圖像的多幅參照圖像的直接模式的說明圖；圖17實施形態5的顯示順序信息滯后于編碼對象圖像的多幅參照圖像的直接模式的說明圖；圖18實施形態6的跳躍模式時的圖像間預測的說明圖；圖19對存儲用計算機系統來實現上述各實施形態的動態圖像編碼方法以及動態圖像解碼方法的程序的存儲媒體的說明圖，(a)為表示了存儲媒體的本體即軟磁盤的物理格式的例子的說明圖，(b)為表示了從軟磁盤的正面所看到的外觀、橫斷面結構以及軟磁盤的說明圖，(c)為表示了用于在軟磁盤FD上進行上述程序的記錄再生的構成的說明圖；圖20表示實現內容發送服務器的內容提供系統的全部構成的方框圖；圖21表示移動電話機的一例的簡圖；圖22表示移動電話機的內部構成的方框圖；圖23表示數字播放用系統的整體構成的方框圖。
本發明的最佳實施形態下面參照附圖就本發明的具體實施形態進行說明。
(實施形態1)圖6為表示本發明的實施形態1的動態圖像編碼裝置的構成的方框圖。與圖1中表示以往的動態圖像編碼裝置的構成的方框圖做相同動作的單元或者相同的動作數據添加相同的附圖標記，省略其說明。另外，在下面說明的各實施形態的動態圖像編碼裝置及動態圖像解碼裝置中，可以以像塊單位對用2幅參照圖像通過像素插值生成預測圖像的方法(多幅參照圖像插值預測)、原封不動地將任意1幅圖像中包含的像塊作為預測圖像的方法、以及通過畫面內預測生成預測圖像的方法等方法進行切換。
動態圖像編碼裝置為將輸入的圖像數據Img分割成像塊，對分割的每個像塊進行編碼處理的裝置，如圖6所示包括運動推定部101、像素插值部102、減法器103、圖像編碼部104、圖像解碼部105、加法器106、可變長編碼部107、多幀緩沖器108及開關109。
表示用多幅參照圖像插值預測進行編碼的像塊所使用的一方的參照圖像的默認參照圖像編號DefRefNo，被輸入到動態圖像編碼裝置中。在多幅參照圖像插值預測時，運動推定部101將2幅參照圖像中的1幅固定為輸入的默認參照圖像編號DefRefNo所指示的參照圖像，進行運動推定。因此，運動推定部101輸出的參照圖像編號RefNo1的值與默認參照圖像編號DefRefNo的值為同一值。可變長編碼部107對殘差編碼數據ERes、預測種類PredType、參照圖像編號RefNo2、運動矢量MV1、MV2、默認參照圖像編號DefRefNo，輸出動態圖像編碼數據Str進行可變長編碼。
下面對在上述那樣構成的動態圖像編碼裝置中，編碼對象像塊的預測種類為多幅參照圖像插值預測時的動作進行說明。
輸入的圖像數據Img按像塊單位輸入到運動推定部101及減法器103中。
運動推定部101決定輸入的編碼對象像塊的預測種類，將該預測種類輸出給開關109及可變長編碼部107。并且，當決定的預測種類PredType為多幅參照圖像插值預測時，運動推定部101使2幅參照圖像中的1幅為輸入的默認參照圖像編號DefRefNo所表示的參照圖像，分別決定另一幅參照圖像及對該2幅參照圖像的運動矢量。然后，運動推定部101將參照圖像編號RefNo2及運動矢量MV1、MV2輸出給多幀緩沖器108及可變長編碼部107，將參照圖像編號RefNo1輸出給多幀緩沖器108。另外，默認參照圖像編號DefRefNo也可以從運動推定部101輸出到可變長編碼部107中。
接著，多幀緩沖器108將與參照圖像編號RefNo1和運動矢量MV1相對應的參照像塊RefBlk1、以及與參照圖像編號RefNo2和運動矢量MV2相對應的參照像塊RefBlk2輸出給像素插值部102。像素插值部102用平均值等對2個參照像塊RefBlk1、RefBlk2所對應的像素值進行插值，輸出插值像塊RefPo1。這里，由于運動推定部101決定的預測種類PredType為多幅參照圖像插值預測，因此開關109切換到“1”一側，將插值像塊RefPo1作為預測圖像數據Pred輸出給減法器103及加法器106。
減法器103從輸入的圖像數據Img中減去預測圖像數據Pred，作為殘差數據Res輸出給圖像編碼部104。圖像編碼部104對輸入的殘差數據Res進行正交變換、量子化等圖像編碼處理，作為包含量子化完畢的正交變換系數等的殘差編碼數據Eres，輸出給圖像解碼部105和可變長編碼部107。圖像解碼部105對輸入的殘差編碼數據ERes進行逆量子化、逆正交變換等圖像解碼處理，作為殘差解碼數據DRes輸出給加法器106。加法器106將殘差解碼數據DRes與預測圖像數據Pred相加，作為重構圖像數據Recon輸出。在重構圖像數據Recon中，以后的圖像間預測有可能參照的數據保存在多幀緩沖器108中。
可變長編碼部107對每個像塊對輸入的殘差編碼數據ERes、預測種類PredType、參照圖像編號RefNo2及運動矢量MV1、MV2進行可變長編碼，對每幅圖像對默認參照圖像編號DefRefNo進行可變長編碼，作為動態圖像編碼數據Str輸出。
默認參照圖像編號DefRefNo所表示的圖像可以從存儲在多幀緩沖器108中的圖像中任意地選擇。例如，可以選擇多幀緩沖器108中具有最接近編碼對象圖像的顯示順序信息的顯示順序信息的、已編碼完畢的圖像，或者多幀緩沖器108中具有超前于編碼對象圖像的顯示順序信息但離其最近的顯示順序信息的、已編碼完畢的圖像，或者多幀緩沖器108中具有滯后于編碼對象圖像的顯示順序信息但離其最近的顯示順序信息的、已編碼完畢的圖像等。并且，也可以選擇多幀緩沖器108中編碼順序離編碼對象圖像最近的圖像，或者多幀緩沖器108中顯示順序信息超前于編碼對象圖像但編碼順序離其最近的圖像，或者多幀緩沖器108中顯示順序信息滯后于編碼對象圖像但編碼順序離其最近的圖像。
圖7為實施形態1的動態圖像編碼數據的格式的概念圖。用與圖3中的以往的動態圖像編碼裝置的動態圖像編碼數據的格式的概念圖相同的數據添加相同的標記，其說明省略。與圖3所示的以往的動態圖像編碼裝置的動態圖像編碼數據格式的不同點在于每幅圖像中都包含默認參照圖像編號DefRefNo，用多幅參照圖像插值預測編碼過的像塊的編碼數據中包含的參照圖像編號數據只有1個。
如上所述，如果采用本實施形態，由于參照圖像的一方能夠以像塊單位從多幅已編碼完畢的圖像中選擇任意的圖像，而對于參照圖像的另一方能夠以圖像單位固定為多幅已編碼完畢的圖像中的1幅圖像，因此可以不對每個像塊編碼固定的參照圖像編號，所以能夠改善編碼效率。
另外，作為指定默認參照圖像的方法，本實施形態并不局限于上述使用分配給上述圖像的圖像編號。也可以用例如編碼對象圖像所具有的圖像 編號與作為默認參照圖像而選擇的圖像所具有的圖像編號的相對的差分值，或者表示相對差分值的指令等信息指定。
并且，雖然本實施形態用默認參照圖像編號只指定單方的參照圖像，但通過編碼2個默認參照圖像的編號，可以同時省略像塊的編碼數據中的2個參照圖像編號。
并且，雖然本實施形態就使用2幅參照圖像通過像素插值生成預測圖像的多幅參照圖像插值預測的情況進行了說明，但在原封不動地將任意1幅圖像所包含的像塊作為預測圖像的單數參照圖像插值預測時也同樣能處理。此時，不必對每個像塊記述參照圖像，只需將參照圖像記述在共同信息區域。
并且，雖然本實施形態對每幅圖像編碼默認參照圖像編號，但也可以用例如對每多幅圖像保存1個默認參照圖像編號的句法(シンタツクス)結構編碼，也可以用對多個像塊構成的宏像塊或多個宏像塊構成的片段等圖像以下的句法結構保存1個默認參照圖像編號的句法結構編碼。
(實施形態2)圖8為本發明的實施形態2的動態圖像解碼裝置的方框圖。對與圖4中表示以往的動態圖像解碼裝置的構成的方框圖做相同動作的單元及相同的動作數據添加相同的附圖標記，省略其說明。與圖4的不同點在于追加了默認參照圖像編號緩沖器402。
該動態圖像解碼裝置如圖8所示包括可變長度解碼部401、默認參照圖像編號緩沖器402、運動補償部403、圖像解碼部404、加法器405、像素插值部406、多幀緩沖器407和開關408。
可變長度解碼部401對輸入的動態圖像編碼數據Str進行可變長度解碼，輸出殘差編碼數據ERes、預測種類PredType、參照圖像編號RefNo2、運動矢量MV1、MV2、默認參照圖像編號DefRefNo。由于解碼過的默認參照圖像編號DefRefNo必須被多個像塊共同使用，因此存儲在默認參照圖像編號緩沖器402中。存儲在默認參照圖像編號緩沖器402中的默認參照圖像編號DefRefNo輸入到運動補償部403中，作為參照圖像編號RefNo1。
下面就上述那樣構成的動態圖像解碼裝置中解碼對象像塊的預測種類為多幅參照圖像插值預測時的動作進行說明。
動態圖像編碼數據Str輸入到可變長度解碼部401中。可變長度解碼部401對輸入的動態圖像編碼數據Str進行可變長度解碼，將殘差編碼數據ERes輸出給圖像解碼部404，將參照圖像編號RefNo2及運動矢量MV1、MV2輸出給運動補償部403，將預測種類PredType輸出給運動補償部403和開關408，將默認參照圖像編號DefRefNo輸出給默認參照圖像編號緩沖器402。默認參照圖像編號緩沖器402將存儲的默認參照圖像編號DefRefNo輸出給運動補償部403，作為參照圖像編號RefNo1。
由于預測種類PredType為多幅參照圖像插值預測，因此運動補償部403將由默認參照圖像編號緩沖器402輸入的參照圖像編號NRefNo1、由可變長度解碼部401輸入的參照圖像編號RefNo2及運動矢量MV1、MV2輸出給多幀緩沖器407，指示參照像塊的輸出。多幀緩沖器407將與參照圖像編號NRefNo1及運動矢量NMV1相對應的參照像塊RefBlk1和與參照圖像編號NRefNo2及運動矢量NMV2相對應的參照像塊RefBlk2輸出給像素插值部406。像素插值部406用平均值等對2個參照像塊RefBlk1、RefBlk2所對應的像素值插值，輸出插值像塊RefPo1。這里，由于預測種類PredType為多幅參照圖像插值預測，因此開關408切換到“0”一側，將插值像塊RefPo1作為預測圖像數據Pred輸出給加法器405。
而輸入了殘差編碼數據ERes的圖像解碼部404對該殘差編碼數據ERes進行逆量子化、逆正交變換等圖像解碼處理，將殘差解碼數據DRes輸出給加法器405。加法器405將殘差解碼數據DRes與預測圖像數據Pred相加，作為解碼圖像數據Dlmg輸出到動態圖像解碼裝置外。多幀緩沖器407保存解碼圖像數據Dlmg，用于圖像間預測。通過這樣的處理，動態圖像解碼裝置解碼動態圖像編碼數據Str，輸出解碼圖像數據Dlmg。
如上所述，如果采用本實施形態，能夠正確地對使用了實施形態1說明過的本發明的動態圖像編碼方法的動態圖像編碼裝置編碼過的動態圖像編碼數據Str進行解碼。
(實施形態3)圖9為本發明的實施形態3的動態圖像編碼裝置的方框圖。另外，與圖6中的實施形態1的動態圖像編碼裝置的方框圖中做相同動作的單元及相同的動作數據添加相同的附圖標記，省略其說明。
本實施形態的動態圖像編碼裝置除實施形態1的構成外還包括默認參照圖像編號生成部201。默認參照圖像編號生成部201用預定的方法生成默認參照圖像編號DefRefNo，輸出給運動推定部101。運動推定部101與實施形態1的動態圖像編碼裝置一樣，在多幅參照圖像插值預測時，將2幅參照圖像中的1幅固定為輸入的默認參照圖像編號DefRefNo所指示的參照圖像，進行運動推定。可變長編碼部202對殘差編碼數據ERes、預測種類PredType、參照圖像編號RefNo2、運動矢量MV1、MV2，輸出動態圖像編碼數據Str2進行可變長編碼。
默認參照圖像編號生成部201生成默認參照圖像編號DefRefNo的方法可以使用例如以下的方法。第1方法為將表示保存在多幀緩沖器108中的已編碼完畢的圖像中的顯示順序信息離編碼對象圖像的顯示順序信息最近的圖像的圖像編號作為默認參照圖像編號DefRefNo的方法。第2方法為將表示保存在多幀緩沖器108中的已編碼完畢的圖像中的顯示順序信息超前于編碼對象圖像的顯示順序信息但離其最近的圖像的圖像編號作為默認參照圖像編號DefRefNo的方法。第3方法為將表示保存在多幀緩沖器108中的已編碼完畢的圖像中的顯示順序信息滯后于編碼對象圖像的顯示順序信息但離其最近的圖像的圖像編號作為默認參照圖像編號DefRefNo的方法。第4方法為將表示保存在多幀緩沖器108中的已編碼完畢的圖像中的編碼順序離編碼對象圖像最近的圖像的圖像編號作為默認參照圖像編號DefRefNo的方法。第5方法為將表示保存在多幀緩沖器108中的已編碼完畢的圖像中的顯示順序信息超前于編碼對象圖像但編碼順序離其最近的圖像的圖像編號作為默認參照圖像編號DefRefNo的方法。第6方法為將表示保存在多幀緩沖器108中的已編碼完畢的圖像中的顯示順序信息滯后于編碼對象圖像但編碼順序離其最近的圖像的圖像編號作為默認參照圖像編號DefRefNo的方法。
本實施形態的動態圖像編碼裝置的動態圖像編碼格式省略了圖7所示的動態圖像編碼數據格式中的默認參照圖像編號DefRefNo，為圖10所示那樣的數據格式。因此，由于不編碼默認參照圖像編號DefRefNo也可以，因此改善了編碼效率。
另外，雖然上述實施形態說明了通過將決定默認參照圖像的方法固定為某一個而在數據格式中不完全記述與默認參照圖像有關的信息來實現編碼的方法，但默認參照圖像的決定方法也可以在圖像單位間切換。例如，可以通過編碼表示選擇保存在多幀緩沖器中的已編碼完畢的圖像中的具有離編碼對象圖像的顯示順序信息最近的顯示順序信息的圖像作為默認參照圖像的方法的標識符，或編碼表示選擇保存在多幀緩沖器中的已編碼完畢的圖像中的具有超前于編碼對象圖像的顯示順序信息但離其最近的顯示順序信息的圖像作為默認參照圖像的方法的標識符，或編碼表示選擇保存在多幀緩沖器中的已編碼完畢的圖像中的具有滯后于編碼對象圖像的顯示順序信息但離其最近的顯示順序信息的圖像作為默認參照圖像的方法的標識符來實現。
圖11為此時的動態圖像編碼裝置的方框圖。默認參照圖像編號生成部203如圖11所示，將表示選擇默認參照圖像的方法的標識符Ident輸出給可變長編碼部204。可變長編碼部204對殘差編碼數據ERes、預測種類PredType、參照圖像編號RefNo2、運動矢量MV1、MV2及標識符Ident進行可變長編碼，輸出動態圖像編碼數據Str3。此時的數據格式不包含圖7的數據格式中所示的直接指定默認參照圖像的信息即默認參照圖像編號DefRefNo，而是如圖12所示那樣包含用于表示選擇默認參照圖像的方法的標識符Ident。
同樣地，也可以對表示選擇保存在多幀緩沖器中的已編碼完畢的圖像中的編碼順序離編碼對象圖像最近的圖像作為默認參照圖像的方法的標識符進行編碼，或對表示選擇保存在多幀緩沖器中的已編碼完畢的圖像中的顯示順序信息超前于編碼對象圖像但編碼順序離其最近的圖像作為默認參照圖像的方法的標識符進行編碼，或對表示選擇保存在多幀緩沖器中的已編碼完畢的圖像中的顯示順序信息滯后于編碼對象圖像但編碼順序離其最近的圖像作為默認參照圖像的方法的標識符進行編碼。另外，用該方法作成的動態圖像編碼數據可以用具有以下說明的實施形態4的構成的解碼方法解碼。
并且，也可以不編碼表示選擇上述默認參照圖像的方法的標識符，而與實施形態1同樣地如圖7所示那樣，對表示默認參照圖像的圖像編號DefRefNo進行編碼，或者對編碼對象圖像所具有的圖像編號與作為默認參照圖像而選擇的圖像所具有的圖像編號的相對的差分值進行編碼，或者對表示相對差分值的指令等信息進行編碼。
圖13為此時的動態圖像編碼裝置的方框圖。默認參照圖像編號生成部205如圖13所示將默認參照圖像編號DefRefNo輸出給可變長編碼部206。可變長編碼部206對殘差編碼數據ERes、預測種類PredType、參照圖像編號RefNo2、運動矢量MV1、MV2及默認參照圖像編號DefRefNo，輸出動態圖像編碼數據Str4進行可變長編碼。此時的數據格式與圖7所示的數據格式相同。另外，用該方法作成的動態圖像編碼數據可以用實施形態2說明過的構成的解碼方法解碼。
(實施形態4)圖14為本發明的實施形態4的動態圖像解碼裝置的方框圖。另外，與圖8中實施形態2的動態圖像解碼裝置的方框圖做相同動作的單元及相同的動作數據添加相同的附圖標記，省略其說明。
本實施形態的動態圖像解碼裝置不包括實施形態2的構成中所示的默認參照圖像編號緩沖器402，取而代之的是包括默認參照圖像編號生成部502。可變長度解碼部501對輸入的動態圖像編碼數據Str2進行可變長度解碼，輸出殘差編碼數據ERes、預測種類PredType、參照圖像編號RefNo2、運動矢量MV1、MV2。默認參照圖像編號生成部502用與實施形態3說明過的默認參照圖像編號生成部201相同的方法生成默認參照圖像編號DefRefNo，將該默認參照圖像編號DefRefNo作為參照圖像編號RefNo1輸出給運動補償部403。
如上所述，如果采用本實施形態，能夠正確地解碼使用了實施形態3說明過的本發明的動態圖像編碼方法的動態圖像編碼裝置編碼過的動態圖像編碼數據Str2。
另外，當對包含有用于表示上述實施形態3的變形例所記述的選擇默認參照圖像的方法的標識符Ident的動態圖像編碼數據Str3進行解碼時，動態圖像解碼裝置可以如下這樣地構成。
圖15為此時動態圖像解碼裝置的方框圖，可變長度解碼部503如圖15所示那樣對輸入的動態圖像編碼數據Str3進行可變長度解碼，輸出殘差編碼數據ERes、預測種類PredType、參照圖像編號RefNo2、運動矢量MV1、MV2及用于表示選擇默認參照圖像的方法的標識符Ident。默認(default)參照圖像編號生成部504用可變長度解碼部503輸入的標識符Ident所指示的選擇默認參照圖像的方法生成默認參照圖像編號DefRefNo，將該默認參照圖像編號DefRefNo作為參照圖像編號RefNo1輸出給運動補償部403。
這樣地，能夠正確地解碼包含有用于表示上述實施形態3說明過的選擇默認參照圖像的方法的標識符Ident的動態圖像編碼數據Str3。
(實施形態5)本實施形態對只參照顯示順序信息超前于編碼對象圖像的圖像進行編碼時用直接模式編碼時的情況進行說明。
圖16為本發明的實施形態5的顯示順序信息超前于編碼對象圖像的多幅參照圖像的直接模式的說明圖。這里，圖像pic表示編碼對象圖像，圖像Ref1、Ref2表示參照圖像，像塊Blk表示編碼對象像塊，像塊Blk0表示參照圖像Ref1中在畫面內的位置與編碼對象像塊Blk相同的像塊。并且，運動矢量MV01表示編碼像塊Blk0時使用的前方參照運動矢量，圖像Ref3表示運動矢量MV01參照的參照圖像，運動矢量MV1表示從參照圖像Ref1來的運動矢量，運動矢量MV2表示從參照圖像Ref2來的運動矢量，像塊RefBlk1表示被運動矢量MV1參照的參照像塊，像塊RefBlk2表示被運動矢量MV2參照的參照像塊。
參照圖像從例如存儲在多幀緩沖器中的已編碼完畢的圖像中，選擇顯示順序信息超前于編碼對象圖像的顯示順序信息但顯示順序信息離它最近和第二近的圖像。此時，如果假設編碼對象圖像pic與參照圖像Ref1之間的顯示順序信息的差值為TRD1，參照圖像Ref1與參照圖像Ref3之間的顯示順序信息的差值為TRD2，編碼對象圖像pic與參照圖像Ref2之間的顯示順序信息的差值為TRD3，則編碼編碼對象像塊時使用的運動矢量MV1及運動矢量MV2可以分別由下面的計算公式算出MV1＝MV01×(TRD1/TRD2)……………………(式A)MV2＝MV01×(TRD3/TRD2)……………………(式B)用以上的方法可以決定直接模式時的參照圖像和運動矢量。
并且，上述H.264正在討論通過使動態圖像編碼數據中包含用于將已編碼完畢的圖像插入多幀緩沖器或從多幀緩沖器中刪除已編碼完畢的圖像的控制信息，明示地進行存儲在多幀緩沖器中的圖像的控制的方法。通過這樣的控制，可以有多幀緩沖器中只存儲顯示順序信息滯后于編碼對象圖像的圖像的情況。下面對在多幀緩沖器中只存儲顯示順序信息滯后于編碼對象圖像的圖像的情況下，使用多幅參照圖像插值預測的圖像的直接模式的實現方法進行說明。
圖17為本發明的實施形態5的顯示順序信息滯后于編碼對象圖像的多幅參照圖像的直接模式的說明圖。這里，圖像pic表示編碼對象圖像，圖像Ref1、Ref2表示參照圖像，像塊Blk表示編碼對象像塊，像塊Blk0表示參照圖像Ref1中的在畫面內的位置與編碼對象像塊Blk相同的像塊。并且，運動矢量MV01表示編碼像塊Blk0時使用的前方參照運動矢量，運動矢量MV1表示從參照圖像Ref1來的運動矢量，運動矢量MV2表示從參照圖像Ref2來的運動矢量，像塊RefBlk1表示被運動矢量MV1參照的參照像塊，像塊RefBlk2表示被運動矢量MV2參照的參照像塊。
參照圖像從例如存儲在多幀緩沖器中的已編碼完畢的圖像中，選擇顯示順序信息滯后于編碼對象圖像的顯示順序信息但顯示順序信息離它最近和第二近的圖像。此時，如果假設編碼對象圖像pic與參照圖像Ref1之間的顯示順序信息的差值為TRD1，參照圖像Ref1與參照圖像Ref3之間的顯示順序信息的差值為TRD2，編碼對象圖像pic與參照圖像Ref2之間的顯示順序信息的差值為TRD3，則編碼編碼對象像塊時使用的運動矢量MV1及運動矢量MV2可以分別由下面的計算公式(式C)及(式D)算出MV1＝-MV01×(TRD1/TRD2)……………………(式C)MV2＝-MV01×(TRD3/TRD2)……………………(式D)用以上的方法可以決定直接模式時的參照圖像和運動矢量。
另外，上述直接模式的處理，圖6所示的動態圖像編碼裝置用運動推定部101執行。并且，同樣地，圖8所示的動態圖像解碼裝置用運動補償部403執行。
如上所述，通過采用具有本實施形態所記述的直接模式的動態圖像編碼裝置，即使在多幀緩沖器中只有顯示順序信息超前或滯后于編碼對象圖像的、已編碼完畢的圖像的情況下，也能使用直接模式，因此由于可以省略參照圖像和運動矢量，所以能夠改善編碼效率。并且，通過采用具有本實施形態所記述的直接模式的動態圖像解碼裝置，能夠解碼具有本實施形態所記述的直接模式的動態圖像編碼裝置所輸出的動態圖像編碼數據。
并且，可以將跳躍模式定義為使用由本實施形態的直接模式算出的參照圖像、運動矢量，進行圖像間預測的結果的殘差編碼數據為0時的情況。由于本實施形態的直接模式即使在多幀緩沖器中只有顯示順序信息超前或滯后于編碼對象圖像的、已編碼完畢的圖像的情況下也能使用直接模式，因此即使在這樣的情況下也能夠選擇跳躍模式，通過采用具有上述說明的跳躍模式的動態圖像解碼裝置，由于能夠使用跳躍模式，因此能夠改善編碼效率。并且，通過采用具有本實施形態所記述的跳躍模式的動態圖像解碼裝置，能夠解碼具有本實施形態所記述的跳躍模式的動態圖像編碼裝置所輸出的動態圖像編碼數據。
另外，在對圖16、圖17的上述說明中，也可以自由地選擇對于參照圖像Ref1的運動矢量，編碼該運動矢量與上述說明的運動矢量MV1的差分矢量。同樣地，也可以自由地選擇對于參照圖像Ref2的運動矢量，編碼該運動矢量與上述說明的運動矢量MV2的差分矢量。
并且，雖然本實施形態，在多幀緩沖器中只有顯示順序信息超前或滯后于編碼對象圖像的圖像的情況下使用本實施形態說明過的跳躍模式，但也可以更改步驟，例如，可以從存儲在多幀緩沖器中的圖像中選擇顯示順序信息離編碼對象圖像最近和第二近的圖像，在選擇的2幅圖像的顯示順序信息全都超前或全都滯后于編碼對象圖像的情況下使用本實施形態說明過的跳躍模式。
(實施形態6)在上述H.264中，包含多幅參照圖像插值預測的圖像的跳躍模式，表示用直接模式進行圖像間預測的結果的殘差編碼數據為0時的情況。與此相對應，本實施形態的動態圖像編碼裝置、動態圖像解碼裝置使跳躍模式所使用的預測方法為參照多幀緩沖器內已編碼完畢的圖像中顯示順序信息離編碼對象圖像最近的參照圖像的圖像間預測。
圖18本發明的實施形態6的跳躍模式時的圖像間預測的說明圖。這里，圖像pic表示編碼對象圖像，圖像Ref1表示具有編碼對象圖像緊前面的顯示順序信息的已編碼完畢的圖像，圖像Ref2表示具有緊挨編碼對象圖像后面的顯示順序信息的已編碼完畢的圖像，像塊Blk表示編碼對象像塊，運動矢量MV1表示從參照圖像Ref1來的0值運動矢量，像塊RefBlk1表示被運動矢量MV1參照的參照像塊。并且，使編碼對象圖像pic與圖像Ref1之間的顯示順序信息的差值TRD1小于編碼對象圖像pic與圖像ref2之間的顯示順序信息的差值TRD2。
本實施形態將顯示順序信息離編碼對象圖像最近的圖像作為參照圖像。圖18中，顯示順序信息離編碼對象圖像pic最近的圖像為圖像Ref1。使對于圖像Ref1的運動矢量MV1在圖像內的垂直分量和水平分量都為0，將運動矢量MV1參照的參照像塊RefBlk作為預測圖像使用。通過使用這樣的預測方法，由于動態圖像編碼裝置和動態圖像解碼裝置能夠唯一地決定參照圖像和運動矢量，因此動態圖像編碼數據中不必包含表示參照圖像的信息和運動矢量。因此，將上述說明過的圖像間預測結果的殘差編碼數據為0時定義為跳躍模式，跳躍模式的像塊的編碼數據中只要傳送表示跳躍模式的預測種類就可以了。
另外，雖然本實施形態將多幀緩沖器中已編碼完畢的圖像中顯示順序信息離編碼對象圖像最近的圖像作為參照圖像，但也可以將多幀緩沖器中已編碼完畢的圖像中顯示順序信息超前于編碼對象圖像但離其最近的圖像作為參照圖像。
并且，雖然本實施形態將多幀緩沖器中已編碼完畢的圖像中顯示順序信息離編碼對象圖像最近的圖像作為參照圖像，但也可以將多幀緩沖器中已編碼完畢的圖像中顯示順序信息滯后于編碼對象圖像但離其最近的圖像作為參照圖像。
并且，上述各實施形態中使用過的圖像的顯示順序信息既可以是表示顯示圖像的時刻的值也可以是表示圖像的顯示順序的相對關系的信息。
另外，上述圖像的意思為同時具有畫面和場，畫面編碼時可以作為畫面進行處理，隔行(インタ一レ一ス)編碼(場編碼)時可以作為場進行處理。
并且，上述各實施形態即使在將1幅圖像分割成頂部場和底部場這2組場進行編碼的隔行編碼時也同樣能夠進行處理。該隔行編碼由于參照圖像的編號為2倍，因此能夠進一步提高編碼效率。并且，此時只要優先使用具有與編碼對象圖像相同的屬性的圖像作為默認參照圖像編號DefRefNo所指示的圖像就可以了。即，如果編碼對象圖像為頂部場則優先使用頂部場作為默認參照圖像編號DefRefNo所指示的圖像。而當編碼對象圖像為底部場時優先使用底部場作為默認參照圖像編號DefRefNo所指示的圖像。
(實施形態7)另外，通過將實現上述各實施形態所敘述過的動態圖像編碼方法以及動態圖像解碼方法的構成的程序記錄到軟磁盤等存儲媒體上，可以在獨立的計算機系統上簡單地實施上述各實施形態所敘述過的處理。
圖19是對存儲用計算機系統來實現上述各實施形態的動態圖像編碼方法以及動態圖像解碼方法的程序的存儲媒體的說明圖。
圖19(b)表示從軟磁盤的正面所看到的外觀、橫斷面結構以及軟磁盤；圖19(a)表示存儲媒體的本體即軟磁盤的物理格式的例子。軟磁盤FD內藏在殼體F內，該磁盤的表面形成從外周向內周的復數條同心圓狀狀的磁道TR，各個磁道沿角度方向被分割成16個扇形區Se。因此，存儲了上述程序的軟磁盤在分配到上述軟磁盤FD上的區域內記錄著作為上述程序的動態圖像編碼方法。
而且，圖19(c)表示在軟磁盤FD上進行上述程序的記錄再生的構成。在將上述程序記錄到軟磁盤FD上的時候，通過軟磁盤驅動機構FDD從計算機系統Cs寫入作為上述程序的動態圖像編碼方法以及動態圖像解碼方法。并且，在用軟磁盤內的程序將上述動態圖像編碼方法以及動態圖像解碼方法構筑到計算機系統中的時候，用軟磁盤驅動器從軟磁盤中讀出程序，傳送給計算機系統。
另外，雖然在上述說明中用軟磁盤作為存儲媒體進行說明，但使用光盤也能同樣地進行。而且，存儲媒體不限于此，只要是能夠記錄程序的東西，IC卡、ROM盒等也同樣能夠實施。
在這里，再說明上述實施形態中敘述過的動態圖像編碼方法以及動態圖像解碼方法的應用例子和使用它的系統。
圖20為表示實現內容發送服務器的內容提供系統ex100的全部構成的方框圖。通訊服務器的提供區域被分割成所需要的大小，各單元內分別設置有作為固定無線電臺的基站ex107～ex110。
該內容提供系統ex100通過因特網服務提供者ex102、電話網ex104以及基站ex107～ex110將計算機ex111、PDA(個人數字助理)ex112、相機ex113、移動電話機ex114及帶攝像頭的移動電話機ex115等各種設備與例如因特網ex101相連。
但是，內容提供系統ex100不限于圖20那樣的組合，任意組合幾種連接都可以。而且，也可以不通過固定無線電臺即基站ex107～ex110將各種設備直接與電話網ex104連接。
相機ex113是能拍攝動畫的數碼圖像攝像機等設備。而且，移動電話機可以是PDC(個人數字通信)方式、CDMA(碼分多址訪問通信)方式、W-CDMA(寬帶-碼分多址訪問通信)方式或者GSM(全球數字移動電話系統)方式的移動電話機或PHS(PersonalHandyPhone System)等的任何一種。
并且，流服務器ex103通過基站ex109、電話網ex104與相機ex113連接，能夠實時發送使用者用相機ex113發送的、編碼過的數據。拍攝的數據既可以在相機ex113上進行編碼處理，也可以在發送處理數據的服務器等上進行。而且，相機ex116拍攝的動畫數據也可以通過計算機ex111發送到流服務器ex103上。相機ex116是能拍攝靜止畫、動畫的數碼相機等設備。在這種情況下，動畫數據的編碼在相機ex116上進行、在計算機ex111上進行都可以。并且，編碼處理在計算機ex111或相機ex116所具有的LSIex117上處理。另外，可以組合成能夠用計算機ex111等讀取動態圖像編碼、解碼用的軟件的存儲媒體的某幾種存儲媒體(CD-ROM，軟磁盤，硬盤等)。并且，也可以用帶攝像頭的移動電話機ex115發送動畫數據。這時的動畫數據就是在移動電話機ex115所具有的LSI上被編碼處理過的數據。
該內容提供系統ex100與上述實施形態一樣編碼處理用戶用相機ex113、相機ex116等拍攝的內容(例如拍攝了音樂實況(音楽ライブ)的動態圖像)并發送到流服務器ex103中，同時，流服務器ex103將上述內容數據流動發送給需要的客戶。作為客戶有能夠解碼上述編碼處理過的數據的計算機ex111、PDAex112、相機ex113和移動電話機ex114等。這樣一來，內容提供系統ex100就是能夠在客戶中接收編碼過的數據并再生，而且通過在客戶中實時接收、解碼、再生，還能夠實現個人廣播的系統了。
構成這個系統的各設備的編碼、解碼，用上述各實施形態所敘述的動態圖像編碼裝置或動態圖像解碼裝置就可以了。
拿移動電話機來作為其中的一個例子說明。
圖21為表示使用了上述實施形態說明過的動態圖像編碼方法和動態圖像解碼方法的移動電話機ex115的圖。移動電話機ex115包括與基站ex110之間收發電波的天線ex201，CCD相機等能夠拍攝圖像、靜止畫面的相機部ex203，液晶顯示屏等顯示相機部ex203拍攝的圖像、解碼天線ex201接收的圖像后的數據的顯示部ex202，由操作鍵ex204群構成的本體部，輸出聲音的揚聲器等聲音輸出部ex208，輸入聲音的麥克風等聲音輸入部ex205，保存拍攝的動畫或靜止畫面的數據、接收的郵件的數據、動畫的數據或者靜止畫面的數據等、編碼過的數據或者解碼了的數據的存儲媒體ex207，使存儲媒體ex207能夠安裝在移動電話機ex115上的接口部ex206。存儲媒體ex207為SD卡等將能夠在電氣上改寫和消除的非易失性存儲器即EEPROM(電可擦除可編程只讀存儲器)的一種即瞬時存儲器元件保存在塑料殼體內的構件。
再用圖22說明移動電話機ex115。移動電話機ex115通過同步總線ex313將電源電路ex310、操作輸入控制部ex304、圖像編碼部ex312、相機接口部ex303、LCD(液晶顯示器)控制部ex302、圖像解碼部ex309、復用分離部ex308、記錄再生部ex307、調制解調電路ex306及聲音處理部ex305與統括地控制包括顯示部ex202和操作鍵ex204的本體部的各部分的主控制部ex311互相連接。
如果操作者通過操作結束電話及使電源鍵處于開著狀態，則電源電路ex310通過從電源給各個部分提供電力啟動帶攝像頭的數碼移動電話機ex115，使其處于工作狀態。
移動電話機ex115根據CPU，ROM，以及RAM等構成的主控制部ex311的控制，用聲音處理部ex305將在語音通話模式時聲音輸入部ex205收集的聲音信號轉換成數字聲音數據，用解調電路ex306將其進行擴頻處理，在用收發電路部ex301實施數模變換處理及頻率轉換處理后通過天線ex201發送。或者，移動電話機ex115將在語音通話模式時用天線ex201接收的接收數據放大，實施頻率轉換處理及模數轉換處理，用調制解調電路ex306進行逆向擴頻處理，在用聲音處理部ex305轉換成模擬聲音數據之后，通過聲音輸出部ex208將其輸出。
另外，如果在數據通訊模式時發送電子郵件，本體部的操作鍵ex204的操作輸入的電子郵件的文本數據通過操作輸入控制部ex304輸出到主控制部ex311。主控制部ex311用調制解調電路ex306擴頻文本數據，在用收發電路部ex301實施數模變換處理及頻率變換處理后通過天線ex201發送給基站ex110。
如果在數據通訊模式時發送圖像數據，則通過相機接口部ex303將相機部ex203拍攝的圖像數據提供給圖像編碼部ex312。而且，在不發送圖像數據的時候，也可以通過相機接口部ex303和LCD控制部ex302將相機部ex203拍攝的圖像數據直接顯示在顯示部ex202上。
圖像編碼部ex312為具備本發明說明過的動態圖像編碼裝置的構件，通過用上述實施形態敘述過的動態圖像編碼裝置中使用過的編碼方法壓縮編碼相機部ex203提供的圖像數據將其變換成編碼圖像數據，將其發送給復用分離部ex308。而且，這時移動電話機ex115同時通過聲音處理部ex305將聲音輸入部ex205在相機部分ex203拍攝時收集到的聲音作為數字聲音數據發送到復用分離部ex308中。
復用分離部ex308以預定的方式復用復用圖像編碼部ex312提供的編碼圖像數據和聲音處理部ex305所提供的聲音數據，用調制解調電路ex306擴頻處理其結果獲得的復用數據，在用收發電路部ex301實施數模變換處理和頻率變換處理后通過天線ex201發送。
如果在數據通訊模式時接收與主頁等連接的動態圖像文件的數據，則用調制解調電路ex306逆向擴頻處理通過天線ex201從基站ex110收到的接收數據，將其結果獲得的復用復用數據發送給復用分離部ex308。
當解碼通過天線ex201收到的復用復用數據時，復用分離部ex308通過分離復用復用數據將圖像數據的比特流與聲音數據的比特流分開，通過同步總線ex313將該編碼圖像數據提供給圖像解碼部ex309，同時將該聲音數據提供給聲音處理部ex305。
圖像解碼部ex309為具備本申請發明說明過的動態圖像解碼裝置的構件，通過用與上述實施形態記述過的編碼方法相對應的解碼方法解碼圖像數據的比特流生成再生動態圖像數據，通過LCD控制部ex302將其提供給顯示部ex202，據此，顯示例如包含在與主頁連接的動態圖像文件中的動畫數據。這時，聲音處理部ex305同時將聲音數據轉換成模擬聲音數據，然后將其提供給聲音輸出部ex208，據此，再生例如與主頁連接的動態圖像文件中所包含的聲音數據。
另外，不限于上述系統的例子，最近，使用衛星、地面波的數字廣播也提上了議事日程，如圖23所示那樣，在數字播放用的系統中也至少能夠嵌入上述實施形態的動態圖像編碼裝置或動態圖像解碼裝置中的任何一種。具體地，廣播站ex409通過電波將圖像信息的比特流傳送給通訊或廣播衛星ex410。接收到該信號的廣播衛星ex410發送廣播用的電波，帶有衛星廣播接受設備的家庭天線ex406接收該電波，通過電視機(接收機)ex401或機頂盒(STB)ex407等裝置解碼比特流將其再生。并且，在讀取記錄在作為存儲媒體的CD和DVD等存儲媒介ex401上的比特流并將其解碼的再生裝置ex403上，也可以安裝上述實施形態記述過的動態圖像解碼裝置。此時，再生的圖像信號顯示在監視器ex404上。并且，也可以考慮將動態圖像解碼裝置安裝在與有線電視用的電纜ex405或衛星/地面波廣播的天線ex406相連的機頂盒ex407內，用電視機的監視器ex408將其再生的結構。此時動態圖像解碼裝置也可以不是安裝在機頂盒內而是安裝在電視機內。并且，也可以用帶天線ex411的汽車ex412從廣播衛星ex410或基站ex107等接收信號，將動畫在汽車ex412所帶的車載導航設備ex413等顯示裝置上再生。
并且，也可以用上述實施形態記述過的動態圖像編碼裝置編碼圖像信號，然后記錄到存儲媒體上。具體的例子有將圖像信號記錄在DVD盤ex421上的DVD記錄裝置或記錄在硬盤上的磁盤記錄裝置等記錄裝置ex420。而且，也可以記錄在SD卡ex422上。如果記錄裝置ex420具備上述實施形態記述過的動態圖像解碼裝置，則可以再生DVD盤ex421或SD卡ex422上記錄的圖像信號，用監視器ex408顯示。
另外，車載導航設備ex413的構成可以考慮除去了例如圖22所示構成中的相機部ex203、相機接口部ex303和圖像編碼部ex312的構成，同樣也可以考慮計算機ex111或電視機(接收機)ex401等。
并且，上述移動電話機ex114等終端除可以考慮同時具有編碼器和解碼器的收發型終端外，還可以考慮只具有編碼器的發送型終端和只具有解碼器的接收型終端這3種安裝形式。
這樣，可以將上述實施形態記述過的動態圖像編碼方法或動態圖像解碼方法用在上述任何一種設備和系統中，通過這樣，能夠取得上述實施形態所說明的效果。
而且，本發明不限于上述實施形態，只要不脫離本發明的范圍，可以作各種變形或修改。
如以上詳細說明的那樣，如果采用本發明的動態圖像編碼方法，由于不必就一方的參照圖像對每個像塊從多幅已編碼完畢的圖像中選擇1幅圖像，并且不必對每個像塊編碼該參照圖像，因此能夠實現有效的編碼并且能夠削減處理量。
并且，如果采用本發明的動態圖像解碼方法，在解碼用共同的參照圖像和每個像塊的參照圖像編碼后輸出的動態圖像編碼數據時能夠正確地解碼處理。
工業應用性如上所述，本發明的動態圖像編碼方法及動態圖像解碼方法可以作為通過例如移動電話機、DVD裝置及個人電腦等對構成輸入圖像的各圖像進行編碼并輸出動態圖像編碼數據，或解碼該動態圖像編碼數據的方法使用。
權利要求
1.一種圖像解碼方法，其基于像塊從多個參照圖像中選擇一個參照圖像，并在待解碼的當前圖像中的像塊上執行預測解碼，所述方法包括當對由多個像塊構成的多像塊圖像單元解碼時，判斷在所述多像塊圖像單元的共同信息區域中是否描述了用于識別用于共同參照的共同參照圖像的信息；在判斷所述共同信息區域中描述了用于識別所述共同參照圖像的所述信息的情況下，使用所述共同參照圖像，生成所述多像塊圖像單元中包含的當前像塊的預測圖像；在判斷所述共同信息區域中沒有描述用于識別所述共同參照圖像的所述信息的情況下，使用基于像塊指定的所述參照圖像，生成所述多像塊圖像單元中包含的當前像塊的預測圖像；和使用所述預測圖像對所述當前像塊解碼。
2.如權利要求1所述的圖像解碼方法，其中，所述多像塊圖像單元是多個圖像單元，一個圖像單元，片段單元和宏像塊單元中的一個。
3.一種圖像解碼裝置，其基于像塊從多個參照圖像中選擇一個參照圖像，并在待解碼的當前圖像中的像塊上執行預測解碼，所述裝置包括進行判斷操作的單元，當對由多個像塊構成的多像塊圖像單元解碼時，判斷在所述多像塊圖像單元的共同信息區域中是否描述了用于識別用于共同參照的共同參照圖像的信息；進行生成操作的單元，在判斷所述共同信息區域中描述了用于識別所述共同參照圖像的所述信息的情況下，使用所述共同參照圖像，生成所述多像塊圖像單元中包含的當前像塊的預測圖像；進行生成操作的單元，在判斷所述共同信息區域中沒有描述用于識別所述共同參照圖像的所述信息的情況下，使用基于像塊指定的所述參照圖像，生成所述多像塊圖像單元中包含的當前像塊的預測圖像；以及進行解碼操作的單元，使用所述預測圖像對所述當前像塊解碼。
4.如權利要求3所述的圖像解碼裝置，其中，所述多像塊圖像單元是多個圖像單元，一個圖像單元，片段單元和宏像塊單元中的一個。
全文摘要
動態圖像編碼裝置，包括在多幅參照圖像插值預測時將2幅參照圖像中的1幅固定為輸入的默認參照圖像編號DefRefNo所指示的參照圖像、進行運動推定的運動推定部(101)；對每個像塊對殘差編碼數據ERes、預測種類PredType、參照圖像編號RefNo2及運動矢量MV1、MV2進行可變長編碼，對每幅圖像對默認參照圖像編號DefRefNo，輸出動態圖像編碼數據Str進行可變長編碼的可變長編碼部(107)。
文檔編號H04N7/32GK101035291SQ200710097060
公開日2007年9月12日 申請日期2003年4月16日 優先權日2002年4月19日
發明者羽飼誠, 角野真也, 近藤敏志, 安倍清史 申請人:松下電器產業株式會社