專利名稱：圖像預測編碼/解碼裝置和方法以及記錄媒體的制作方法
技術領域：
本發明涉及圖像預測編碼裝置和方法、圖像預測解碼裝置和方法以及記錄媒體。特別是涉及將作為靜止圖象或動圖象的圖像的數字圖像數據存儲到例如光盤等記錄媒體上或者用于通過通信線路進行傳輸的圖像預測編碼裝置和方法及圖像預測解碼裝置和方法。另外，還涉及記錄包括上述圖像預測編碼方法的步驟的程序的記錄媒體和記錄包括上述圖象預測解碼方法的步驟的程序的記錄媒體。
背景技術：
為了有效地存儲或傳輸數字圖像，必須進行壓縮編碼。作為用于將數字圖像進行壓縮編碼的方法，除了以JPEG(JointPhotographic Experts Group)和MPEG(Motion Picture ExpertsGroup)所代表的離散余弦變換(以下，稱為DCT變換)外，還有子帶編碼、小波編碼、部分(フラクタル)編碼等波形編碼方法。另外，為了去掉圖像間的冗余的信號，進行使用動補償的圖像間預測，對差分信號進行波形編碼。
在MPEG方式中，將輸入圖像分割為多個16×16的宏塊進行處理。進而將1個宏塊分割為8×8的塊，并在對8×8的DCT變換處理后進行量化處理。這就稱為幀內編碼。
另一方面，在以塊匹配為主的動檢測方法中，從在時間上相鄰的別的幀中對目標宏塊檢測誤差最小的預測宏塊，將檢測到的預測宏塊從目標宏塊中減去，生成差分宏塊，在進行8×8的DCT變換后進行量化處理。將此稱為幀間編碼，將預測宏塊稱為時間區域的預測信號。
通常的圖像，在空間上相似的區域比較多，可以利用該性質在空間區域進行圖像近似處理。和時間區域的預測信號相同，也可以從相同的幀中求預測信號。將此稱為空間預測信號。
由于在空間上相鄰的2個像素值接近，所以，空間區域的預測信號通常位于與目標信號接近的位置。另一方面，在接收側或再生側，由于沒有原圖像，所以，必須使用在過去編碼并再生的信號作為預測信號。必須根據2個因素高速地生成空間區域的預測信號。這是因為用于生成預測信號的信號必須解碼并再生。
因此，必須以簡單的方式高精度地生成空間區域的預測信號。另外，在編碼裝置和解碼裝置中要求可以進行高速運算的結構。
然而，圖像數據的編碼廣泛地使用在JPEG、MPEG1、H.261、MPEG2和H.263等很多國際標準中。后者的標準進而改善了編碼效率。即，與先有的標準相比，致力于進一步減少位數來表現相同的畫面質量。
動圖像的圖像數據的編碼由內部幀編碼和預測幀編碼構成。例如，在MPEG1標準的典型的混合編碼系統中，連續的幀可以分為如下3個不同的類型。
(a)內部幀(以下，稱為I幀)、(b)預測幀(以下，稱為P幀)、(c)雙向預測幀(以下，稱為B幀)。
I幀獨立于其他的幀進行編碼。即，對I幀的壓縮與其它的幀無關。為了預測編碼的幀(該幀就是P幀)的內容，P幀使用前面的一幀，通過動檢測和補償進行編碼。B幀通過進行使用預測前面的一幀信息和B幀中間數據的后續幀的信息的動檢測和補償而進行編碼。以前的幀和后續的幀可以是I幀或P幀。I幀以內部模式進行編碼。P幀和B幀以內部和預測模式進行編碼。
如I幀、P幀和B幀的編碼的性質不同那樣，它們的壓縮方法也各不相同。由于I幀為了減少冗余性不使用時間的預測，所以，與P幀和B幀相比，需要比較多的位數。
下面，以MPEG2為例進行說明。設位速率4M位/秒，假定圖像為30幀/秒的圖像。通常，I、P和B幀使用的位數之比為6∶3∶1。因此，I幀使用約420K位/s，B幀使用約70K位/s。這是因為B幀從雙向充分地進行預測的緣故。
圖14是表示先有技術的圖像預測編碼裝置的結構的框圖。由于根據塊進行DCT變換，所以，最近的圖像編碼方法都是以將圖像分割為更小的塊為基礎的。在內部幀編碼中，對于輸入的數字圖像信號，如圖14所示的那樣，首先執行塊采樣處理1001。其次，對于塊采樣處理1001后的這些塊，在進行DCT變換處理1004后，執行量化處理1005和行程霍夫曼可變長編碼(VLCVariableLength Coding；熵編碼)處理1006。另一方面，在預測幀編碼中，對于輸入的數字圖像，執行動補償處理1003，并且，對于動補償的塊(即，進行了預測的塊)執行DCT變換處理1004。其次，執行量化處理1005和行程霍夫VLC編碼(熵編碼)處理1006。
基于塊的DCT變換處理1004去除或減少處理對象的塊內的空間冗余性以及動檢測及補償處理1002、1003去除或減少相鄰幀間的時間的冗余性這一點，根據先有的圖象編碼技術是眾所周知的。此外，在DCT變換處理1004和量化處理1005之后執行的行程霍夫曼VLC編碼或其他熵編碼1006去除經過量化的DCT變換系數間的統計冗余性。但是，該處理只是針對圖像內的塊。
作為本來的性質，數字圖像在空間上具有較大的冗余性。該冗余性不僅在幀內的塊中存在，而且在塊與塊之間也存在。但是，根據上述可知，現實的方法不使用去除圖像的塊間的冗余性的方法。
在現在的圖像編碼方法中，DCT變換處理1004或其他變換處理由于硬件的形成和計算上的約束條件而根據塊進行。
空間的冗余性利用以塊為基礎的變換處理來減少，但是，這只限于在1個塊內。相鄰的2個塊間的冗余性未很好地進行考慮。但是，只要幀內編碼總是消耗很多位數，冗余性就可以進一步減少。
此外，以塊為基礎的DCT變換處理去除或減少處理目標的塊內的空間的冗余性以及動預測及補償處理除去或減少相鄰的2個幀間的時間的冗余性，根據現在的圖像編碼技術是眾所周知的。在DCT變換處理和量化處理之后進行的鋸齒形掃描、行程霍夫曼VLC編碼處理或其他熵編碼處理去除經過量化后的DCT變換系數中的統計的冗余性，只限于1個塊內。
數字圖像本來包含高的空間冗余性。該冗余性不僅在塊的內部存在，而且在超出圖像的塊外、在塊間也存在。在現在的方法中，除了JPEG、MPEG1和MPEG2的DC系數的預測外，沒有使用去除1個圖像的塊間的冗余性的方法。
在MPEG1和MPEG2中，DC系數的預測通過從現在編碼的塊中減去前1個編碼塊的DC值而進行。這就是在預測不適當時不具有適應性或模式開關的簡單的預測方法。此外，這只包括DC系數。
在該技術領域的現在的狀態下，鋸齒形掃描在行程騙碼之前，對所有的塊使用。并不試圖根據中的數據自適應地進行掃描。
圖22是表示先有技術的圖像預測編碼裝置的結構的框圖。在圖22中，先有技術的圖像預測編碼裝置具有塊采樣單元2001、DCT變換單元2003、量化單元2004、鋸齒形掃描單元2005和熵編碼單元2006。在本說明書中，所謂“單元”的術語，表示電路裝置。
在內部幀編碼(即，幀內編碼)中，對于輸入的圖像信號，在執行塊采樣處理2001后，直接執行DCT變換處理，并且，順序執行量化處理2004、鋸齒形掃描處理2005和熵編碼處理2006。另一方面，在幀間編碼(即，幀間編碼、預測幀編碼)中，在塊采樣處理2001后，動檢測和補償處理在單元2011中進行，其次，通過將塊采樣2001的圖像數據與單元2011的檢測值進行減法運算，由加法器2002得到預測誤差。此外，對于該預測誤差，執行DCT變換處理203，接著，和內部幀編碼一樣執行量化處理2004、鋸齒形掃描處理2005和熵編碼處理2006。
在圖22的圖像預測編碼裝置內設置的局部解碼器中，逆量化處理和逆DCT變換處理在單元2007和2008中進行。在幀間編碼中，動檢測和補償的預測值由加法器2009與由單元2007和2008再構筑的預測誤差相加，該加法值表示局部地進行了解碼的圖像數據，該解碼后的圖像數據存儲到局部解碼器的幀存儲器2010中。最后，位流從熵編碼單元2010輸出，向對方的圖像預測解碼裝置發送。
圖23是表示先有技術的圖像預測解碼裝置的結構的框圖。位流由可變長解碼器(VLDVariable Length Decoding)單元(或熵解碼單元)2021進行解碼，然后，對于進行了解碼的圖像數據，在單元2023和2024中執行逆量化處理和逆DCT變換處理。在內部幀編碼中，在單元2027中形成的動檢測和補償過的預測值與由加法器2025再構筑的預測誤差相加，形成局部的解碼圖像數據。局部地進行了解碼的圖像數據存儲到局部解碼器的幀存儲器1026。
在現在的圖像編碼技術中，DCT變換處理或其他的變換處理由于硬件的形成和計算上的約束條件而以塊為基礎進行。空間上的冗余性利用以塊為基礎的變換而減少。但是，這只是在塊內。相鄰的塊間的冗余性未進行充分考慮。特別是對總是要消耗大量的位的內部幀編碼并未特別予以考慮。
本發明的第1個目的旨在提供可以簡單、高速并且高精度地生成空間區域的預測圖像數據的圖像預測編碼裝置和方法以及圖像預測解碼裝置和方法。
另外，本發明的第2個目的在于提供與先有技術的圖像預測編碼裝置和圖像預測解碼裝置相比可以去除塊內的冗余性從而可以更有效地對圖像數據進行編碼或解碼的圖像預測裝置和方法以及圖像預測解碼裝置和方法。
此外，本發明的第3個目的在于提供通過解碼與圖像數據的內部的性質有關的重要的變換系數集中在塊的不同的區域的問題并對塊決定正確的掃描方法從而可以改善熵編碼處理的效率的圖像預測編碼裝置和方法以及圖像預測解碼裝置和方法。
另外，本發明的第4個目的在于提供記錄上述圖像預測編碼方法或圖像預測解碼方法的各步驟的記錄媒體。
發明的公開本發明第1方面的圖像預測編碼裝置的特征在于，具有分割單元，將輸入的編碼圖像數據分割為相互相鄰的多個小區域的圖像數據；第1生成單元，在由上述分割單元分割的相互相鄰的多個小區域的圖像數據中對要處理目標的小區域的圖像數據進行編碼時，將與上述要處理目標的小區域的圖像數據相鄰的已重建的小區域的圖像數據作為上述要處理目標的小區域的畫面內預測小區域的圖像數據、將上述畫面內預測小區域的圖像數據作為最佳預測小區域的圖像數據而生成上述處理目標的小區域的圖像數據與上述最佳預測小區域的圖像數據的差分、即差分小區域的圖像數據；編碼單元，對由上述生成單元生成的差分小區域的圖像數據進行編碼；解碼單元，對由上述編碼單元所編碼的差分小區域的圖像數據進行解碼；和第2生成單元，通過將由上述解碼單元解碼的差分小區域的圖像數據與上述最佳預測小區域的圖像數據相加而生成已進行了重建的區域的圖像數據。
另外，本發明的第2方面的圖像預測編碼裝置的特征在于，具有分割單元，將輸入的編碼圖像數據分割為相互相鄰的多個小區域的圖像數據；第1生成單元，在由上述分割單元分割的相互相鄰的多個小區域中對處理目標的小區域進行編碼時，只將與上述處理目標的小區域的圖像數據相鄰的已重建小區域的圖像數據中由輸入的、表示上述編碼圖像數據是否有意義的有意義信號所示的有意義的圖像數據作為上述處理目標的小區域的畫面內預測小區域的圖像數據、將上述畫面內預測小區域的圖像數據作為最佳預測小區域的圖像數據而生成上述處理目標的小區域的圖像數據與上述最佳預測小區域的圖像數據的差分、即差分小區域的圖像數據；解碼單元，對由上述生成單元生成的差分小區域的圖像數據進行編碼；解碼單元，對由上述編碼單元所編碼的差分小區域的圖像數據進行解碼；和第2生成單元，通過將由上述解碼單元解碼的差分小區域的圖像數據與上述最佳預測小區域的圖像數據相加而生成已進行了重建的小區域的圖像數據。
此外，本發明的第3方面的圖像預測解碼裝置的特征在于，具有分析單元，分析輸入的已編碼的圖像數據系列并輸出圖像差分信號；解碼單元，根據從上述分析單元輸出的差分圖像信號，對再生差分小區域的圖像數據進行編碼；行存儲器，存儲用于生成指定的畫面內預測小區域的圖像數據的圖像數據；發生單元，通過對上述行存儲器的圖像數據執行預測信號發生處理，將與上述再生差分小區域的圖像數據相鄰的的已重建的圖象數據作為畫面內預測小區域的圖像數據、將上述畫面內預測小區域的圖像數據作為最佳預測小區域的圖像數據而輸出；和加法單元，將上述解碼單元的再生差分小區域的圖像數據與上述發生單元的最佳預測小區域的圖像數據相加，從而輸出用于生成相加結果的畫面內預測小區域的圖像數據，同時存儲到上述行存儲器中。
此外，本發明的第4方面的圖像預測解碼裝置的特征在于，具有分析單元，分析輸入的已編碼的圖像數據系列，并輸出圖像差分信號、動矢量信號和控制信號；解碼單元，將從上述分析單元輸出的差分圖像信號解碼為再生差分小區域的圖像數據；控制單元，根據從上述分析單元輸出的控制信號輸出切換信號，用以控制動補償單元和發生單元有選擇地動作；幀存儲器，存儲指定的已重建的像數據；行存儲器，存儲用于生成指定畫面內預測小區域的圖像數據的圖像數據；動補償單元，通過應答上述控制單元的切換信號對輸入的動矢量信號進行動補償處理，從上述幀存儲器中生成時間預測小區域的圖像數據并作為最佳預測小區域的圖像數據而輸出；發生單元，通過應答上述控制單元的切換信號對上述行存儲器的圖像數據進行預測信號發生處理，將與上述再生差分小區域的圖像數據相鄰的已重建的圖像數據作為畫面內預測小區域的圖像數據、將上述畫面內預測小區域的圖像數據作為最佳預測小區域的圖像數據而輸出；和加法單元，通過將上述解碼單元的再生差分小區域的圖像數據與上述發生單元的最佳預測小區域相加，輸出相加結果的已重建的圖像數據，同時，將上述已重建的圖像數據存儲到上述幀存儲器中，并且將只用于生成上述畫面內預測小區域的圖像數據的圖像數據存儲到上述行存儲器中。
另外，本發明的第5方面的圖像預測解碼裝置的特征在于，具有分析單元，分析輸入的已編碼的圖像數據系列，并輸出壓縮形狀信號和圖像差分信號；第1解碼單元，將從上述分析單元輸出的壓縮形狀信號解碼為再生形狀信號；圖2解碼單元，將從上述分析單元輸出的差分圖像信號解碼為再生差分小區域的圖像數據；行存儲器，存儲用于生成指定的畫面內預測小區域的圖像數據的圖像數據；發生單元，通過對上述行存儲器的圖像數據進行預測信號處理，從與上述再生差分小區域的圖像數據相鄰的已重建的圖像數據中只將由上述再生形狀信號所示的有意義的圖像數據作為畫面內預測小區域的圖像數據、將上述畫面內預測小區域的圖像數據作為最佳預測小區域的圖象數據而輸出；和加法單元，通過將上述第2解碼單元的再生差分小區域的圖像數據與上述發生單元的最佳預測小區域相加而輸出相加結果的圖像數據同時只將用于生成上述畫面內預測小區域的圖像數據的圖像數據存儲到上述行存儲器中。
此外，本發明的第6方面的圖像預測解碼裝置的特征在于，具有分析單元，分析輸入的已編碼的圖像數據系列并輸出壓縮形狀信號、圖像差分信號、動矢量信號和控制信號；第1解碼單元，將從上述分析單元輸出的壓縮形狀信號解碼為再生形狀信號；第2解碼單元，將從上述分析單元輸出的差分圖像信號解碼為再生差分小區域；控制單元，根據從上述分析單元輸出的控制信號輸出切換信號，用以控制動補償單元和發生單元有選擇地動作；幀存儲器，存儲指定的再生圖像數據；行存儲器，存儲用于生成指定的畫面內預測小區域的圖像數據的圖像數據；動補償單元，根據應答從上述控制單元輸出的切換信號而從上述分析單元輸出的動矢量信號，通過對上述幀存儲器的再生圖像數據進行動補償處理而發生時間預測小區域的圖像數據，并作為最佳預測小區域的圖像數據而輸出；發生單元，通過應答從上述控制單元輸出的切換信號對上述行存儲器的圖像數據進行預測信號處理，從與上述再生差分小區域的圖像數據相鄰的、已重建的圖像數據中只將由上述再生形狀信號所示的有意義的圖像數據作為畫面內預測小區域的圖像數據、將上述畫面內預測小區域的圖像數據作為最佳預測小區域的圖像數據而輸出；和加法單元，通過將上述第2解碼單元的再生差分小區域的圖像數據與上述發生單元的最佳預測小區域相加，輸出相加結果的已重建的圖像數據，同時，將上述已重建的圖像數據存儲到上述幀存儲器中，并且只將用于生成上述畫面內預測小區域的圖像數據存儲到上述行存儲器中。
本發明的第7方面的圖像預測編碼裝置的特征在于，具有采樣單元，將輸入的圖像信號采樣為分別包含二維排列的像素值的多個塊的圖像數據；變換單元，將由上述采樣單元采樣的塊的圖像數據變換為指定的變換區域的系數數據；塊存儲器，存儲已解碼的塊的系數數據；預測單元，根據在存儲到上述塊存儲器中之前再構筑的塊的系數數據，對由上述變換單元換變的塊的系數數據形成多個預測塊的系數數據；決定單元，從由上述預測單元形成的多個預測塊的系數數據中決定選擇并輸出效率最好的預測塊的系數數據，并將表示上述選擇的預測塊的標識符按指示位的形式向圖像預測解碼裝置發送；第1加法單元，通過將由上述決定單元選擇的預測塊的系數數據從現時刻的當前塊的系數數據減去而輸出減法結果的預測誤差的系數數據；量化單元，對從上述第1加法單元輸出的預測誤差的系數數據進行量化處理；編碼單元，對上述量化單元的預測誤差的系數數據進行熵編碼并將已編碼的預測誤差的系數數據向圖像預測解碼裝置發送；逆量化單元，對上述量化單元的預測誤差的系數數據進行逆量化處理，并輸出已解碼的塊的系數數據；第2加法單元，通過將從上述決定單元輸出的預測塊的系數數據與從上述逆量化單元輸出的預測誤差的系數數據相加而輸出已解碼的塊的系數數據，同時存儲到上述塊存儲器中；和逆變換單元，通過將從上述第2加法單元輸出的塊的系數數據進行逆變換而生成已解碼的塊的圖像數據。
另外，本發明的第8方面的圖像預測編碼裝置的特征在于，具有采樣單元，將輸入的圖像信號采樣為包含二維排列的像素值的多個塊的圖像數據；變換單元，將由上述采樣單元采樣的塊的圖像數據變換為指定的變換區域的系數數據；量化單元，將上述變換單元的變換區域的系數數據進行量化處理；塊存儲器，存儲已解碼的塊的系數數據；預測單元，根據在存儲到上述塊存儲器中之前再構筑的塊的系數數據，對由上述變換單元變換的塊的系數數據形成多個預測塊的系數數據；決定單元，從由上述預測單元形成的多個預測塊的系數數據中決定選擇并輸出效率最好的預測塊的系數數據，并將表示上述選擇的預測塊的標識符按指示位的形式向圖像預測解碼裝置發送；第1加法單元，通過將由上述決定單元選擇的預測塊的系數數據從現時刻的當前塊的系數數據減去而輸出減法結果的預測誤差的系數數據；編碼單元，對上述第1加法單元的預測誤差的系數數據進行熵編碼，并將已編碼的預測誤差的系數數據向圖像預測解碼裝置發送；第2加法單元，通過將上述第1加法單元的預測誤差的系數數據與從上述決定單元輸出的預測塊的系數數據相加而將已量化的當前塊的系數數據進行解碼并輸出，同時存儲到上述塊存儲器中；逆量化單元，將從上述第2加法單元輸出的當前塊的系數數據進行逆量化處理并輸出；和逆變換單元，通過將上述逆量化單元的當前塊的系數數據進行逆變換而生成已解碼的塊的圖像數據。
此外，本發明的第9方面的圖像預測編碼裝置的特征在于，具有采樣單元，將輸入的圖像信號采樣為分別包含二維排列的像素值的多個塊的圖像數據；補償單元，通過對輸入的塊的圖像數據進行動補償處理而生成已進行動補償的塊預測誤差的圖像數據并輸出；第1加法單元，將從上述補償單元輸出的塊的預測誤差的圖像數據從上述采樣單元輸出的塊的圖像數據中減去，并輸出減法結果的塊的圖像數據；變換單元，將從上述第1加法單元輸出的塊的圖像數據變換為指定的變換區域的系數數據；塊存儲器，存儲已解碼的塊的系數數據；預測單元，根據在存儲到上述塊存儲器之前再構筑的塊的系數數據，對由上述變換單元變換的塊的系數數據形成多個預測塊的系數數據；決定單元，從由上述預測單元形成的多個預測塊的系數數據中決定選擇并輸出效率最好的預測塊的系數數據，并將表示上述所選擇的預測塊的標識符按指示位的形式向圖像預測解碼裝置發送；第2加法單元，通過將由上述決定單元選擇的預測塊的系數數據從現時刻的當前塊的系數數據中減去并輸出減法結果的預測誤差的系數數據；量化單元，將從上述第2加法單元輸出的預測誤差的系數數據進行量化處理；編碼單元，將上述量化單元的預測誤差的系數數據進行熵編碼，并將已編碼的預測誤差的系數數據向圖像預測解碼裝置發送；逆量化單元，將上述量化單元的預測誤差的系數數據進行逆量化處理，并輸出已解碼的塊的系數數據；第3加法單元，通過將從上述決定單元輸出的預測塊的系數數據與從上述逆量化單元輸出的預測誤差的系數數據相加而輸出已解碼的塊的系數數據，同時存儲到上述塊存儲器中；
逆變換單元，通過將從上述第3加法單元輸出的塊的系數數據進行逆變換而生成已解碼的塊的圖像數據；和第4加法單元，通過將從上述補償單元輸出的進行了動補償的塊的預測誤差的圖像數據與上述逆變換單元的已解碼的塊的圖像數據相加，將已解碼的塊的圖像數據向上述補償單元輸出。
此外，本發明的第10方面的圖像預測編碼裝置的特征在于，具有采樣單元，將輸入的圖像信號采樣為包含二維排列的像素值的多個塊的圖像數據；補償單元，通過對輸入的塊的圖像數據進行動補償處理而生成并輸出進行了動補償的塊的預測誤差的圖像數據；第1加法單元，將從上述補償單元輸出的塊的預測誤差的圖像數據從上述采樣單元輸出的塊的圖像數據中減去而輸出減法結果的塊的圖像數據；變換單元，將從上述第1加法單元輸出的塊的圖像數據變換為指定的變換區域的系數數據；量化單元，將上述變換單元的變換區域的系數數據進行量化處理；塊存儲器，存儲已解碼的塊的系數數據；預測單元，根據在存儲到上述塊存儲器中之前再構筑的塊的系數數據，對由上述變換單元變換的塊的系數數據形成多個預測塊的系數數據；決定單元，從由上述預測單元形成的多個預測塊的系數數據中決定選擇并輸出效率最好的預測塊的系數數據，并將表示上述所選擇的預測塊的標識符按指示位的形式向圖像預測解碼裝置發送；第2加法單元，通過將由上述決定單元選擇的預測塊的系數數據從現時刻的當前塊的系數數據中減去，輸出減法結果的預測誤差的系數數據；編碼單元，對上述第2加法單元的預測誤差的系數數據進行熵編碼，并將已編碼的預測誤差的系數數據向圖像預測解碼裝置發送；第3加法單元，通過將上述第2加法單元的預測誤差的系數數據與從上述決定單元輸出的預測塊的系數數據相加而將已量化的當前塊的系數數據進行解碼并輸出，同時存儲到上述塊存儲器中；
逆量化單元，將從上述第3加法單元輸出的當前塊的系數數據進行逆量化處理并輸出；逆變換單元，通過將上述逆量化單元的當前塊的系數數據進行逆變換而生成已解碼的塊的圖像數據；和第4加法單元，通過將從上述補償單元輸出的進行了動補償的塊的預測誤差的圖像數據與上述逆變換單元的已解碼的塊的圖像數據相加，將已解碼的塊的圖像數據向上述補償單元輸出。
本發明的第11方面的圖像預測解碼裝置是與本發明的第7方面的圖像預測編碼裝置對應地設置的圖像預測解碼裝置，其特征在于，具有抽出單元，從由上述圖像預測編碼裝置接收的接收數據中抽出指示位；塊存儲器，存儲已解碼的塊的系數數據；其他預測單元，根據由上述抽出單元抽出的指示位表示的預測塊，使用在存儲到上述塊存儲器之前已解碼的塊的系數數據，對在上述接收數據中包含的現時刻的當前塊的系數數據，生成并輸出預測塊的系數數據；解碼單元，將上述接收數據進行熵解碼，并輸出已解碼的預測誤差的系數數據；逆量化單元，將從上述解碼單元輸出的預測誤差的系數數據進行逆量化處理并輸出；第3加法單元，通過將從上述其他預測單元輸出的預測塊的系數數據與從上述逆量化單元輸出的預測誤差的系數數據相加，將現時刻的當前塊的系數數據進行解碼并輸出，同時存儲到上述塊存儲器中；和其他逆變換單元，將從上述第3加法單元輸出的當前塊的系數數據進行逆變換，并輸出已解碼的當前塊的圖像數據。
另外，本發明的第12方面的圖像預測解碼裝置是與本發明的第8方面的圖像預測編碼裝置對應地設置的圖像預測解碼裝置，其特征在于，具有抽出單元，從由上述圖像預測編碼裝置接收的接收數據中抽出指示位；塊存儲器，存儲已解碼的塊的系數數據；
其他預測單元，根據由上述抽出單元抽出的指示位表示的預測塊，使用在存儲到上述塊存儲器中之前已解碼的塊的系數數據，對在上述接收數據中包含的現時刻的當前塊的系數數據生成并輸出預測塊的系數數據；解碼單元，將上述接收數據進行熵解碼，并輸出已解碼的預測誤差的系數數據；第3加法單元，通過將從上述預測單元輸出的預測塊的系數數據與從上述解碼單元輸出的預測誤差的系數數據相加，將現時刻的當前塊的系數數據進行解碼并輸出，同時存儲到上述塊存儲器中；逆量化單元，將從上述第3加法單元輸出的預測誤差的系數數據進行逆量化處理；和其他逆變換單元，將從上述逆量化單元輸出的當前塊的系數數據進行逆變換，并輸出已解碼的當前塊的圖像數據。
此外，本發明的第13方面的圖像預測解碼裝置是與本發明的第9方面的圖像預測編碼裝置對應地設置的圖像預測解碼裝置，其特征在于，具有抽出單元，從由上述圖像預測編碼裝置接收的接收數據中抽出指示位；塊存儲器，存儲已解碼的塊的系數數據；其他預測單元，根據由上述抽出單元抽出的指示位表示的預測塊，使用在存儲到上述塊存儲器中之前已解碼的塊的系數數據，對在上述接收數據中包含的現時刻的當前塊的系數數據生成并輸出預測塊的系數數據的別；解碼單元，將上述接收數據進行熵解碼，并輸出已解碼的預測誤差的系數數據；逆量化單元，將從上述解碼單元輸出的預測誤差的系數數據進行逆量化處理并輸出；第3加法單元，通過將從上述別的預測單元輸出的預測塊的系數數據與從上述逆量化單元輸出的預測誤差的系數數據相加而將現時刻的當前塊的系數數據進行解碼并輸出，同時存儲到上述塊存儲器中；其他逆變換單元，將從上述第3加法單元輸出的當前塊的系數數據進行逆變換而輸出已解碼的當前塊的圖像數據；其他補償單元，通過對從上述其他逆變換單元輸出的當前塊的圖像數據進行動補償處理而輸出動補償的預測誤差數據；和第5加法單元，將從上述其他補償單元輸出的動補償的預測誤差數據從上述其他逆變換單元輸出的當前塊的圖像數據中減去而輸出減法結果的已解碼的塊的圖像數據。
另外，本發明的第14方面的圖像預測解碼裝置是與本發明的第10方面的圖像預測編碼裝置對應地設置的圖像預測解碼裝置，其特征在于，具有抽出單元，從由上述圖像預測編碼裝置接收的接收數據中抽出指示位；塊存儲器，存儲已解碼的塊的系數數據；其他預測單元，根據由上述抽出單元抽出的指示位表示的預測塊，使用在存儲到上述塊存儲器中之前已解碼的塊的系數數據，對在上述接收數據中包含的現時刻的當前塊的系數數據生成并輸出預測塊的系數數據；解碼單元，將上述接收數據進行熵解碼，并輸出已解碼的預測誤差的系數數據；第3加法單元，通過將從上述預測單元輸出的預測塊的系數數據與從上述解碼單元輸出的預測誤差的系數數據相加，將現時刻的當前塊的系數數據進行解碼并輸出，同時，將其存儲到上述塊存儲器中；逆量化單元，將從上述第3加法單元輸出的預測誤差的系數數據進行逆量化處理并輸出；其他逆變換單元，將從上述逆量化單元輸出的當前塊的系數數據進行逆變換并輸出已解碼的當前塊的圖像數據；其他補償單元，通過對從上述別的逆變換單元輸出的當前塊的圖像數據進行動補償處理而輸出動補償的預測誤差數據；和第5加法單元，將從上述別的補償單元輸出的動補償的預測誤差數據從上述其他逆變換單元輸出的當前塊的圖像數據中減去，輸出減法結果的已解碼的塊的圖像數據。
本發明的第15方面的圖像預測編碼裝置的特征在于，具有
采樣單元，將輸入的圖像信號采樣為分別包含二維排列的像素值的多個塊的圖像數據；變換單元，將由上述采樣單元采樣的塊的圖像數據變換為指定的變換區域的系數數據；塊存儲器，存儲已解碼的塊的系數數據；預測單元，根據在存儲到上述塊存儲器中之前再構筑的塊的系數數據，對由上述變換單元變換的塊的系數數據形成多個預測塊的系數數據；決定單元，從由上述預測單元形成的多個預測塊的系數數據中決定選擇并輸出效率最好的預測塊的系數數據和掃描方法，并將表示上述選擇的預測塊和掃描方法的標識符按指示位的形式向圖像預測解碼裝置發送；第1加法單元，通過將由上述決定單元選擇的預測塊的系數數據從現時刻的當前塊的系數數據中減去而輸出減法結果的預測誤差的系數數據；量化單元，將從上述第1加法單元輸出的預測誤差的系數數據進行量化處理；掃描單元，對上述量化單元的預測誤差的系數數據，按照由上述決定單元決定的掃描方法進行掃描處理，并輸出掃描處理后的預測誤差的系數數據；編碼單元，將從上述掃描單元輸出的掃描處理后的預測誤差的系數數據進行熵編碼，并將已編碼的預測誤差的系數數據向圖像預測解碼裝置發送；逆量化單元，將上述量化單元的預測誤差的系數數據進行逆量化處理，并輸出已解碼的塊的系數數據；第2加法單元，通過將從上述決定單元輸出的預測塊的系數數據與從上述逆量化單元輸出的預測誤差的系數數據相加而輸出已解碼的塊的系數數據，同時將其存儲到上述塊存儲器中；和逆變換單元，通過對從上述第2加法單元輸出的塊的系數數據進行逆變換而生成已解碼的塊的圖像數據。
另外，本發明的第16方面的圖像預測編碼裝置的特征在于，具有
采樣單元，將輸入的圖像信號采樣為分別包含二維排列的像素值的多個塊的圖像數據；變換單元，將由上述采樣單元采樣的多個塊的圖像數據變換為指定的變換區域的系數數據；量化單元，將從上述變換單元來的變換區的系數數據量化；塊存儲器，存儲已解碼的塊的系數數據；預測單元，根據在存儲到上述塊存儲器中之前再構筑的塊的系數數據，對由上述變換單元變換的塊的系數數據形成多個預測塊的系數數據；決定單元，從由上述預測單元形成的多個預測塊的系數數據中決定選擇并輸出效率最好的預測塊的系數數據和掃描方法，并將表示上述選擇的預測塊和掃描方法的標識符按指示位的形式向圖像預測解碼裝置發送；第1加法單元，通過將由上述決定單元選擇的預測塊的系數數據從現時刻的當前塊的系數數據中減去而輸出減法結果的預測誤差的系數數據；掃描單元，對上述第1加法單元的預測誤差的系數數據，按照由上述決定單元決定的掃描方法進行掃描處理，并輸出掃描處理后的預測誤差的系數數據；編碼單元，將從上述掃描單元輸出的掃描處理后的預測誤差的系數數據進行熵編碼，并將已編碼的預測誤差的系數數據向圖像預測解碼裝置發送；第2加法單元，通過將上述第1加法單元的預測誤差的系數數據與從上述決定單元輸出的預測塊的系數數據相加，將已量化的當前塊的系數數據進行解碼并輸出，同時將其存儲到上述塊存儲器中；逆量化單元，將從上述第2加法單元輸出的當前塊的系數數據進行逆量化處理并輸出；和逆變換單元，通過將上述逆量化的當前塊的系數數據進行逆變換而生成已解碼的塊的圖像數據。
此外，本發明的第17方面的圖像預測編碼裝置的特征在于，具有采樣單元，將輸入的圖像信號采樣為分別包含二維排列的像素值的多個塊的圖像數據；補償單元，通過對輸入的塊的圖像數據進行動補償處理而生成并輸出進行了動補償的塊的預測誤差的圖像數據；第1加法單元，將從上述補償單元輸出的塊的預測誤差的圖像數據從上述采樣單元輸出的塊的圖像數據中減去而輸出減法結果的塊的圖像數據；變換單元，將從上述第1加法單元輸出的塊的圖像數據變換為指定的變換區域的系數數據；塊存儲器，存儲已解碼的塊的系數數據；預測單元，根據在存儲到上述塊存儲器中之前再構筑的塊的系數數據，對由上述變換單元變換的塊的系數數據形成多個預測塊的系數數據；決定單元，從由上述預測單元形成的多個預測塊的系數數據中決定選擇并輸出效率最好的預測塊的系數數據和掃描方法，并將表示上述所選擇的預測塊和掃描方法的標識符按指示位的形式向圖像預測解碼裝置發送；第2加法單元，通過將由上述決定單元選擇的預測塊的系數數據從現時刻的當前塊的系數數據中減去，輸出減法結果的預測誤差的系數數據；量化單元，將從上述第2加法單元輸出的預測誤差的系數數據進行量化處理；掃描單元，對上述量化單元的預測誤差的系數數據，按照由上述決定單元決定的掃描方法進行掃描處理，并輸出掃描處理后的預測誤差的系數數據；編碼單元，將從上述掃描單元輸出的掃描處理后的預測誤差的系數數據進行熵編碼，并將已編碼的預測誤差的系數數據向圖像預測解碼裝置發送；逆量化單元，將上述量化單元的預測誤差的系數數據進行逆量化處理，并輸出已解碼的塊的系數數據；第3加法單元，通過將從上述決定單元輸出的預測塊的系數數據與從上述逆量化單元輸出的預測誤差的系數數據相加，輸出已解碼的塊的系數數據，同時，將其存儲到上述塊存儲器中；逆變換單元，通過將從上述第3加法單元輸出的塊的系數數據進行逆變換，生成已解碼的塊的圖像數據；和第4加法單元，通過將從上述補償單元輸出的進行了動補償的塊的預測誤差的圖像數據與上述逆變換單元的已解碼的塊的圖像數據相加，將已解碼的塊的圖像數據向上述補償單元輸出。
另外，本發明的第18方面的圖像預測編碼裝置的特征在于，具有采樣單元，將輸入的圖像信號采樣為分別包含二維排列的像素值的多個塊的圖像數據；補償單元，通過對輸入的塊的圖像數據進行動補償處理，生成并輸出進行了動補償的塊的預測誤差的圖像數據；第1加法單元，將從上述補償單元輸出的塊的預測誤差的圖像數據從上述采樣單元輸出的塊的圖像數據中減去，輸出減法結果的塊的圖像數據；變換單元，將從上述第1加法單元輸出的塊的圖像數據變換為指定的變換區域的系數數據；量化單元，將上述變換單元的變換區域的系數數據進行量化處理；塊存儲器，存儲已解碼的塊的系數數據；預測單元，根據在存儲到上述塊存儲器中之前再構筑的塊的系數數據，對由上述變換單元變換的塊的系數數據形成多個預測塊的系數數據；決定單元，從由上述預測單元形成的多個預測塊的系數數據中決定選擇并輸出效率最好的預測塊的系數數據和掃描方法，并將表示上述所選擇的預測塊和掃描方法的標識符按指示位的形式向圖像預測解碼裝置發送；第2加法單元，通過將由上述決定單元選擇的預測塊的系數數據從現時刻的當前塊的系數數據中減去，輸出減法結果的預測誤差的系數數據；掃描單元，對上述第2加法單元的預測誤差的系數數據，按照由上述決定單元決定的掃描方法進行掃描處理，并輸出掃描處理后的預測誤差的系數數據；
編碼單元，將從上述掃描單元輸出的掃描處理后的預測誤差的系數數據進行熵編碼，并將已編碼的預測誤差的系數數據向圖像預測解碼裝置發送；第3加法單元，通過將上述第2加法單元的預測誤差的系數數據與從上述決定單元輸出的預測塊的系數數據相加，將已量化的當前塊的系數數據進行解碼并輸出，同時，將其存儲到上述塊存儲器中；逆量化單元，將從上述第3加法單元輸出的當前塊的系數數據進行逆量化處理并輸出；逆變換單元，通過將上述逆量化單元的當前塊的系數數據進行逆變換而生成已解碼的塊的圖像數據；和第4加法單元，通過將從上述補償單元輸出的進行了動補償的塊的預測誤差的圖像數據與上述逆變換單元的已解碼的塊的圖像數據相加，將已解碼的塊的圖像數據向上述補償單元輸出。
本發明的第19方面的圖像預測解碼裝置是與本發明的第15方面的圖像預測編碼裝置對應地設置的圖像預測解碼裝置，其特征在于，具有抽出單元，從由上述圖像預測編碼裝置接收的接收數據中抽出指示位；塊存儲器，存儲已解碼的塊的系數數據；其他預測單元，根據由上述抽出單元抽出的指示位表示的預測塊，使用在存儲到上述塊存儲器中之前已解碼的塊的系數數據，對在上述接收數據中包含的現時刻的當前塊的系數數據生成并輸出預測塊的系數數據；解碼單元，將上述接收數據進行熵解碼，并輸出已解碼的預測誤差的系數數據；逆掃描單元，根據由上述抽出單元抽出的指示位表示的掃描方法，對從上述解碼單元輸出的預測誤差的系數數據進行逆掃描處理，并輸出逆掃描處理后的預測誤差的系數數據；逆量化單元，將從上述逆掃描單元輸出的逆掃描處理后的預測誤差的系數數據進行逆量化處理并輸出；第3加法單元，通過將從上述別的預測單元輸出的預測塊的系數數據與從上述逆量化單元輸出的預測誤差的系數數據相加，將現時刻的當前塊的系數數據進行解碼并輸出，同時，將其存儲到上述塊存儲器中；和其他逆變換單元，將從上述第3加法單元輸出的當前塊的系數數據進行逆變換，并輸出已解碼的當前塊的圖像數據。
另外，本發明的第20方面的圖像預測解碼裝置是與本發明的第16方面的圖像預測編碼裝置對應地設置的圖像預測解碼裝置，其特征在于，具有抽出單元，從由上述圖像預測編碼裝置接收的接收數據中抽出指示位；塊存儲器，存儲已解碼的塊的系數數據；其他預測單元，根據由上述抽出單元抽出的指示位表示的預測塊，使用在存儲到上述塊存儲器中之前已解碼的塊的系數數據，對在上述接收數據中包含的現時刻的當前塊的系數數據生成并輸出預測塊的系數數據；解碼單元，將上述接收數據進行熵解碼，并輸出已解碼的預測誤差的系數數據；逆掃描單元，根據由上述抽出單元抽出的指示位表示的掃描方法，對從上述解碼單元輸出的預測誤差的系數數據進行逆掃描處理，并輸出逆掃描處理后的預測誤差的系數數據；第3加法單元，通過將從上述預測單元輸出的預測塊的系數數據與從上述逆掃描單元輸出的預測誤差的系數數據相加，將現時刻的當前塊的系數數據進行解碼并輸出，同時將其存儲到上述塊存儲器中；逆量化單元，將從上述第3加法單元輸出的預測誤差的系數數據進行逆量化處理并輸出；和其他逆變換單元，將從上述逆量化單元輸出的當前塊的系數數據進行逆變換，并輸出已解碼的當前塊的圖像數據。
此外，本發明的第21方面的圖像預測解碼裝置是與本發明的第17方面的圖像預測編碼裝置對應地設置的圖像預測解碼裝置，其特征在于，具有抽出單元，從由上述圖像預測編碼裝置接收的接收數據中抽出指示位；塊存儲器，存儲已解碼的塊的系數數據；其他預測單元，根據由上述抽出單元抽出的指示位表示的預測塊，使用在存儲到上述塊存儲器中之前已解碼的塊的系數數據，對在上述接收數據中包含的現時刻的當前塊的系數數據生成并輸出預測塊的系數數據；解碼單元，將上述接收數據進行熵解碼，并輸出已解碼的預測誤差的系數數據；逆掃描單元，根據由上述抽出單元抽出的指示位表示的掃描方法，對從上述解碼單元輸出的預測誤差的系數數據進行逆掃描處理，并輸出逆掃描處理后的預測誤差的系數數據；逆量化單元，將從上述逆掃描單元輸出的逆掃描處理后的預測誤差的系數數據進行逆量化處理并輸出；第3加法單元，通過將從上述別的預測單元輸出的預測塊的系數數據與從上述逆量化單元輸出的預測誤差的系數數據相加，將現時刻的當前塊的系數數據進行解碼并輸出，同時，將其存儲到上述塊存儲器中；其他逆變換單元，將從上述第3加法單元輸出的當前塊的系數數據進行逆變換，并輸出已解碼的當前塊的圖像數據；其他動補償單元，通過對從上述其他逆變換單元輸出的當前塊的圖像數據進行動補償處理，輸出動補償的預測誤差數據；和第5加法單元，將從上述別的補償單元輸出的動補償的預測誤差數據從上述別的逆變換單元輸出的當前塊的圖像數據中減去，輸出減法結果的已解碼的塊的圖像數據。
此外，本發明的第22方面的圖像預測解碼裝置是與本發明的第18方面的圖像預測編碼裝置對應地設置的圖像預測解碼裝置，其特征在于，具有抽出單元，從由上述圖像預測編碼裝置接收的接收數據中抽出指示位；塊存儲器，存儲已解碼的塊的系數數據；其他預測單元，根據由上述抽出單元抽出的指示位表示的預測塊，使用在存儲到上述塊存儲器中之前已解碼的塊的系數數據，對在上述接收數據中包含的現時刻的當前塊的系數數據生成并輸出預測塊的系數數據；解碼單元，將上述接收數據進行熵解碼，并輸出已解碼的預測誤差的系數數據；逆掃描單元，根據由上述抽出單元抽出的指示位表示的掃描方法，對從上述解碼單元輸出的預測誤差的系數數據進行逆掃描處理，并輸出逆掃描處理后的預測誤差的系數數據；第3加法單元，通過將從上述預測單元輸出的預測塊的系數數據與從上述逆掃描單元輸出的預測誤差的系數數據相加，將現時刻的當前塊的系數數據進行解碼并輸出，同時，將其存儲到上述塊存儲器中；逆量化單元，將從上述第3加法單元輸出的預測誤差的系數數據進行逆量化處理并輸出；其他逆變換單元，將從上述逆量化單元輸出的當前塊的系數數據進行逆變換，并輸出已解碼的當前塊的圖像數據；其他動補償單元，通過對從上述別的逆變換單元輸出的當前塊的圖像數據進行動補償處理，輸出動補償的預測誤差數據；和第5加法單元，將從上述別的補償單元輸出的動補償的預測誤差數據從上述別的逆變換單元輸出的當前塊的圖像數據中減去，輸出減法結果的已解碼的塊的圖像數據。
另外，本發明的第23方面的圖像預測編碼方法的特征在于包括將上述圖像預測編碼裝置的各單元分別置換為各步驟的步驟。
此外，本發明的第24方面的圖像預測解碼方法的特征在于包括將上述圖像預測解碼裝置的各單元分別置換為各步驟的步驟。
另外，本發明的第25方面的記錄媒體是記錄包括上述圖像預測編碼方法的各步驟的程序的記錄媒體。
此外，本發明的第26方面的記錄媒體是記錄包括上述圖像預測解碼方法的各步驟的程序的記錄媒體。
附圖的簡單說明圖1是表示本發明實施例1的圖像預測編碼裝置的結構的框圖。
圖2是將輸入到圖1的圖像預測編碼裝置的輸入圖像分割為8×8的塊時的模式圖。
圖3是將輸入到圖1的圖像預測編碼裝置的輸入圖像分割為三角區域時的模式圖。
圖4是表示在圖1的圖像預測編碼裝置中使用的預測信號發生器的實施例1的結構的框圖。
圖5是表示在圖1的圖像預測編碼裝置中使用的預測信號發生器的實施例2的結構的框圖。
圖6是表示在圖1的圖像預測編碼裝置中使用的預測信號發生器的實施例3的結構的框圖。
圖7是表示在圖1的圖像預測編碼裝置中使用的預測信號發生器的實施例4的結構的框圖。
圖8是表示本發明實施例2的圖像預測編碼裝置的結構的框圖。
圖9是輸入圖1和圖8的圖像預測編碼裝置的輸入圖像、即表示具有有意義的像素的輸入圖像的一例的模式圖。
圖10是輸入圖1和圖8的圖像預測編碼裝置的輸入圖像、即表示具有有意義的像素的輸入圖像的一例的模式圖。
圖11是輸入圖1和圖8的圖像預測編碼裝置的輸入圖像、即表示不具有有意義的像素的輸入圖像的一例的模式圖。
圖12是表示本發明實施例3的圖像預測解碼裝置的結構的框圖。
圖13是表示本發明實施例4的圖像預測解碼裝置的結構的框圖。
圖14是表示先有技術的圖像預測編碼裝置的結構的框圖。
圖15是用于說明畫面內預測用的自適應的DCT變換區域的圖像的模式圖。
圖16是表示本發明實施例5的圖像預測編碼裝置的結構的框圖。
圖17是表示本發明實施例6的圖像預測編碼裝置的結構的框圖。
圖18是表示圖16和圖17的DCT變換區域預測電路的結構的框圖。
圖19是表示圖18的DCT變換區域預測電路的DC/AC預測的編碼方法的一例的圖像的模式圖。
圖20是表示本發明實施例7的圖像預測解碼裝置的結構的框圖。
圖21是表示圖20的圖像預測解碼裝置的DC/AC預測的解碼方法的流程圖。
圖22是表示先有技術的圖像預測編碼裝置的結構的框圖。
圖23是表示先有技術的圖像預測編碼裝置的結構的框圖。
圖24是表示本發明實施例8的圖像預測編碼裝置的結構的框圖。
圖25是表示本發明實施例8的圖像預測解碼裝置的結構的框圖。
圖26是表示實施例8的幀的宏塊和塊的結構并且表示塊預測方法的圖像的模式圖。
圖27是用于說明在實施例8的系數掃描中使用的水平掃描順序的圖像的模式圖。
圖28是用于說明在實施例8的系數掃描中使用的垂直掃描順序的圖像的模式圖。
圖29是用于說明在實施例8的系數掃描中使用的鋸齒形掃描順序的圖像的模式圖。
圖30是表示在實施例8中使用的模式決定處理的流程圖。
圖31是表示實施例8的默認模式決定的塊的關系的圖像的模式圖。
實施發明的最佳的形式下面，參照
本發明的優選實施例。
第1實施例組包括實施例1～實施例4。
(實施例1)圖1是表示本發明實施例的圖像預測編碼裝置的結構的框圖。
在圖1中，101是輸入端子，102是第1加法器，103是編碼器，106是輸出端子，107是解碼器，110是第2加法器，111是行存儲器，112是預測信號發生器。
下面，說明圖像預測編碼裝置的結構和動作。將作為編碼的處理對象的圖像數據輸入到輸入端子101。這里，輸入的圖像數據分割為多個相鄰的小區域。
在圖2中表示分割為8×8的小區域時輸入的圖像數據的圖像，在圖3中表示分割為三角形小區域時輸入的圖像數據的圖象。將多個小區域的圖像數據順序進行編碼，處理目標的小區域的圖像數據通過輸入端子101和線113輸入到加法器102。另一方面，預測信號發生器112發生畫面內預測小區域的圖像數據，并將所發生的圖像數據作為最佳預測小區域的圖像數據通過線121向加法器102輸出。
加法器102將預測信號發生器112的最佳預測小區域的對應像素值從處理目標的小區域中輸入的圖像數據的像素值中減去，生成減法結果的差分小區域的圖像數據，向編碼器103輸出，進行壓縮編碼處理。在本實施例中，編碼器103具有DCT變換器104和量化器(Q)105，差分小區域的圖像數據由DCT變換器104變換為頻率區域的圖像信號，得到DCT變換系數。其次，DCT變換系數由量化器105進行量化處理。已量化的小區域的DCT系數通過線116向輸出端子106輸出，進而變換為一串可變長或固定長的代碼后，存儲到例如光盤等記錄媒體上或通過通信線路進行傳輸(圖中未示出)。
同時，已量化的小區域的DCT系數輸入解碼器107，這里，該解碼器107具有逆量化器108是逆DCT變換器109，將所輸入的小區域的圖像數據解碼為解壓差分小區域的圖像數據。在本實施例中，輸入的小區域的DCT系數由逆量化器108進行逆量化處理后，已逆量化的DCT系數由逆離散余弦變換器(以下，稱為逆DCT變換器)109變換為空間區域的圖像信號。這樣得到的解壓差分小區域的圖像數據向加法器110輸出，加法器110將從預測信號發生器112通過線121和線122而輸出的最佳預測圖像信號與解壓差分小區域的圖像數據相加，生成已重建的小區域的圖像數據，將已重建的小區域的圖像數據中用于生成畫面內預測圖像信號的已重建的像素值存儲到行存儲器111中。預測信號發生器112如以下所述的那樣發生畫面內預測小區域的圖像數據。即，預測信號發生器112發生與處理目標的小區域的圖像數據相鄰的已重建的圖像數據的像素值作為畫面內預測小區域的圖像數據的像素值。
在圖2中，設塊200為處理目標的小區域，則相鄰的已重建的圖像數據的像素值為a0、a1、a2、a3、a4、a5、a6、a7、b0、b1、b2、b3、b4、b5、b6、b7。在圖3中，設三角形301為處理目標的小區域，則相鄰的已重建的圖像數據的像素值為g0、g1、g2、g3、g4、f0、f1、f2、f3、f4、f5、f6、f8。另外，設圖3的三角形300為處理目標的小區域，則相鄰的已重建的的圖像數據的像素值是e0、h0、h1、……、h4。將這些像素值存儲到行存儲器111中。預測信號發生器112訪問行存儲器111，將相鄰的圖像數據的像素值作為畫面內預測小區域的圖像數據的像素值而讀出。
圖4和圖5分別表示在圖1的圖像預測編碼裝置中使用的預測信號發生器的實施例1和實施例2的結構的框圖。
在圖4中，對于處理目標的小區域，在水平方向相鄰的像素值a0、a1、a2、……、a6、a7從行存儲器111輸入預測信號發生器112，預測信號發生器112內的發生器401通過在水平方向上將同一像素反復輸出例如8次，生成畫面內預測小區域的圖像數據403。這里，畫面內預測小區域的圖像數據403對于處理目標的小區域在不存在在垂直方向相鄰的像素時使用。
在圖5中，對于處理目標的小區域，在垂直方向相鄰的像素值b0、b1、b2……、b6、b7從行存儲器111輸入預測信號發生器112，預測信號發生器112內的發生器402通過在垂直方向上將像素反復輸出例如8次，生成畫面內預測小區域的圖像數據404。這里，畫面內預測小區域的圖像數據404對于處理目標的小區域在不存在在水平方向相鄰的像素時使用。同時存在與水平方向和垂直方向相鄰的像素值時，如圖6所示的實施例3那樣生成畫面內預測小區域的圖像數據。
圖6是表示在圖1的圖像預測編碼裝置中使用的預測信號發生器的實施例3的結構的框圖。
在圖6中，將由發生器401發生的畫面內預測小區域的圖像數據403(參考圖5)和由發生器402發生的畫面內預測小區域的圖像數據404輸入到加法器500，加法器500通過用2去除輸入的2個圖像數據之和，將這2個圖像數據求平均。這樣，通過發生器401、402反復輸出相鄰的再生的像素并由加法器500進行求平均運算，所以，可以高速地生成畫面內預測小區域的圖像數據。另外，也可以通過將相鄰的2個圖像數據像素值進行線性內插而生成畫面內預測小區域的圖像數據。
圖7是表示在圖1的圖像預測編碼裝置中使用的預測信號發生器的實施例4的結構的框圖。
在圖7中，對于處理目標的小區域，在水平方面相鄰的圖像數據的像素值a0、a1、a2、……、a6、a7從行存儲器111輸入發生器401，發生器401通過在水平方向上反復輸出像素而生成第1畫面內預測小區域的圖像數據。另一方面，對于處理目標的小區域，在垂直方向相鄰的像素值b0、b1、b2、……、b6、b7從行存儲器111輸入到發生器402，發生器402通過在垂直方向上反復輸出像素而生成第2畫面內預測小區域的圖像數據。將第1畫面內預測小區域的圖像數據和第2畫面內預測小區域的圖像數據輸入到加法器500，通過將這2個圖像數據求平均，生成第3畫面內預測小區域的圖像數據。
另一方面，處理目標的小區域的圖像數據通過線616輸入誤差計算器601、602、603。這里，上述第1畫面內預測小區域的圖像數據和處理目標的小區域的圖像數據輸入誤差計算器601，誤差計算器601計算這2個圖像數據的誤差的絕對值、即第1絕對誤差，并向比較器604輸出。另外，將上述第2畫面內預測小區域的圖像數據和處理目標的小區域的圖像數據輸入誤差計算器602，誤差計算器602計算這2個圖像數據的誤差的絕對值、即第2絕對誤差，并向比較器604輸出。此外，將上述第3畫面內預測小區域的圖像數據和處理目標的小區域的圖像數據輸入到誤差計算器603，誤差計算器603計算這2個圖像數據的誤差的絕對值、即第3絕對誤差，并向比較器604輸出。
比較器604將輸入的3個絕對誤差進行相互比較，決定絕對誤差最小者并控制開關605以使將與其對應的畫面內預測小區域的圖像數據向線121輸出。比較器604同時將用于識到第1、第2和第3畫面內預測小區域的圖像數據的標識符通過線615向接收側或再生側的裝置輸出。在接收側或再生側，由該標識符唯一地決定畫面內預測小區域的圖像數據。這樣，通過使用誤差最小的畫面內預測小區域的圖像數據，可以抑制編碼時的差分信號，從而可以減少發生位數。
(實施例2)
圖8是表示本發明實施例2的圖像預測編碼裝置的結構的框圖，和圖1相同的部分標以相同的符號。
圖8的圖像預測編碼裝置與圖1的圖像預測編碼裝置相比，其特征在于增加了動檢測器700、動補償器701、最佳模式選擇器703和幀存儲器702。
下面，說明圖8的圖像預測編碼裝置的結構和動作。
和實施例1一樣，輸入的處理目標的小區域的圖像數據通過輸入端子101輸入加法器102，加法器102將處理目標的小區域的圖像數據從最佳模式選擇器703通過線121輸入的最佳預測小區域的圖像數據中減去后，將減法結果的圖像數據向編碼器103輸出。編碼器103在將輸入的減法結果的圖像數據進行壓縮編碼并通過輸出端子106輸出的同時，將已壓縮編碼的小區域的圖像數據向解碼器107輸出并進行解壓解碼后，向加法器110輸出，將已解壓解碼的圖像數據與最佳預測小區域的圖像數據相加。
其次，和實施例1一樣，只將為了生成畫面內預測小區域的圖像數據而使用的圖像數據的像素值存儲到行存儲器111中，另一方面，將已重建的全部象素的像素值存儲到幀存儲器702中。
通過輸入端子101輸入下一個圖像的圖像數據時，將處理目標的小區域的圖像數據和幀存儲器702存儲的已重建的圖像數據輸入動檢測器700，動檢測器700按塊匹配等方法檢測圖像的活動，通過線705輸出動矢量。輸出的動矢量在進行例如可變長編碼并存儲或傳輸(圖中未示出)的同時，向動補償器701傳輸。動補償器701從動矢量所指示的幀存儲器702的已重建的圖像中生成時間預測小區域的圖像數據，并向最佳模式選擇器703輸出。在動檢測處理和動補償處理中，有前方預測、后方預測和雙向預測，這些方法已在例如美國專利第5193004號說明書中公開。
另一方面，和實施例1一樣，預測信號發生器112在發生畫面內預測小區域的圖像數據并向最佳模式選擇器703輸出。同時，將要處理目標的小區域的圖像數據向最佳模式選擇器703輸出。最佳模式選擇器703從畫面內預測小區域的圖像數據和時間預測小區域的圖像數據中選擇在處理目標的小區域的圖像數據中誤差(例如，各像素之差的絕對值之和)最小的圖像數據，將選擇的圖像數據作為最佳預測小區域的圖像數據向加法器102輸出。另外，將表示選擇了哪個預測小區域的圖像數據的標識符通過線709向接收一側或再生一側輸出并進行傳輸。
這樣，通過將畫面內預測導入預測模式編碼的圖像數據中，就不必傳輸幀間的動矢量，所以，可以進一步削減位數。
在實施例1和2中，是在整個圖像中存在有意義的像素的情況。有時，在畫面內同時存在有意義的像素和無意義的像素。例如，在利用色度鍵拍攝的圖像中，表示被攝體的像素是有意義的像素，表示作為背景的藍色等區域的像素就是無意義的像素。通過將有意義的物體的結構及其形狀進行編碼并傳輸，可以進行物體為單元的再生顯示。對于這樣的輸入圖像，用預測信號發生器112生成畫面內預測小區域的圖像數據時，就不能使用無意義的像素值。
圖9～圖11是表示具有有意義的像素和無意義的像素的輸入圖像的模式圖。在本實施例中，為了表示像素是否有意義，使用形狀信號。將形狀信號安放指定的方法進行壓縮編碼并向接收一側或再生一側傳輸。作為將形狀進行編碼的方法，有鏈路編碼等方法。將已壓縮的形狀信號再進行解壓再生，并將再生的形狀信號如以下所述的那樣生成畫面內預測信號。
在圖9中，形狀曲線800是邊界線，箭頭所示的方向是物體的內部，物體的內部的圖像數據由有意義的像素構成。在與處理目標的小區域802相鄰的已再生的像素中，b4、b5、b6、b7是有意義的像素，只使這些像素值反復作為處理目標的小區域802的畫面內預測小區域的像素值。
另外，在圖10中，形狀曲線804是邊界線，箭頭所示的方向是物體的內部，物體的內部的圖像數據由有意義的像素構成。在與處理目標的小區域805相鄰的已再生的像素中，a4、a5、a6、a7是有意義的像素，只使這些像素值反復作為處理目標的小區域805的畫面內預測小區域的像素值。
此外，在圖11中，曲線808是邊界線，箭頭所示的方向是物體的內部，物體的內部的圖像數據由有意義的像素構成。在與處理目標的小區域810相鄰的已再生的像素中，a5、a6、a7、b4、b5、b6、b7是有意義的像素，只反復輸出這些像素值，在2個像素值重疊的地方，將對這些像素值求平均的值作為處理目標的小區域810的畫面內預測小區域的像素值。
在圖11中，例如取處理目標的小區域810的像素Z77的值為a7和b7的平均值。另外，在1個像素值也沒有地方，就取與水平方向和垂直方向相鄰的2個像素值的平均值。例如，取像素Z14的值為a5和b4的平均值。就這樣來生成具有任意形狀的圖像的畫面預測小區域的圖像數據。
在以上的實施例中，說明了分割為正方形的小區域，但是，本發明不限于此，也可以和圖3一樣將畫面分割為三角形的小區域。這時，圖像處理也一樣進行。
另外，作為別的實施例，也可以只使用有意義的像素值求平均值，并將該平均值作為畫面內預測小區域的像素值。具體而言，在圖9中，就是計算像素b4、b5、b6、b7的平均值，并將計算的平均值作為畫面內預測小區域的像素值。在圖10中，就是計算像素a4、a5、a6、a7的平均值，并將計算的平均值作為畫面內預測小區域的像素值。在圖11中，就是計算a5、a6、a7、b4、b5、b6、b7的平均值，并作為畫面內預測小區域的像素值。
(實施例3)圖12是表示本發明實施例3的圖像預測解碼裝置的結構的框圖。
在圖12中，901是輸入端子，902是數據分析器，903是解碼器，906是加法器，907是輸出端子，908是控制器，909是動補償器，910是預測信號發生器，911是行存儲器，912是幀存儲器。
下面，說明圖12的圖像預測解碼裝置的結構和動作。在圖12中，將已壓縮編碼的圖像數據輸入數據分析器902，數據分析器902分析輸入的圖像數據，并通過線915將壓縮差分小區域的圖像數據向解碼器903輸出，另外，通過線926將控制信號向控制器908輸出，此外，將上述動矢量(僅在存在時)向動補償器909輸出。解碼器903具有逆量化器904和逆DCT變換器905，將已壓縮的差分小區域的圖像數據解壓后恢復為解壓差分小區域的圖像數據。
在本實施例中，已壓縮的差分小區域的圖像數據由逆量化器904進行逆量化處理，逆量化后的頻率區域的圖像數據由逆DCT變換器905變化為空間區域的圖像數據。將變換后的解壓差分小區域的圖像數據輸入加法器906，加法器906將輸入的解壓差分小區域的圖像數據與從動補償器923或預測信號發生器922通過開關913和線924傳送來的最佳預測小區域的圖像數據相加，生成加法結果的再生小區域的圖像數據。加法器906在將已重建的圖像數據通過線917向輸出端子907輸出的同時，存儲到幀存儲備器912中。另外，將為了生成畫面內預測小區域的圖像而使用的圖像數據的像素值存儲到行存儲器911中。
最佳預測小區域的圖像數據根據數據分析器902的控制信號，由控制器908決定，并控制開關913的切換。畫面內預測小區域的圖像數據由控制器908選擇時，開關913就將線924與線922連接，預測信號發生器910應答控制器908的控制信號而訪問行存儲器911，將相鄰的再生像素值作為畫面內預測小區域的像素值而輸出。關于預測信號發生器910的動作的詳細情況，已參照圖4、圖5和圖6進行了詳細說明。另外，時間預測小區域的圖像數據由控制器908選擇時，開關913就將線924與線923連接，動補償器909應答控制器908的控制信號，根據從數據分析器902通過線925傳送來的動矢量，通過對幀存儲器912的圖像數據進行動補償處理，發生時間預測小區域的圖像數據，并通過開關913和線924向加法器906輸出。
(實施例4)圖13是表示本發明實施例4的圖像預測解碼裝置的結構的框圖。在圖13中，對于和圖12相同的部分標以相同的符號。圖13的圖像預測解碼裝置的特征在于，除了圖12的圖像預測解碼裝置的基本結構外，增加了形狀解碼器990。由于圖13的圖像預測解碼裝置的基本動作也和圖12相同，所以，下面，只詳細說明不同的動作。
在本實施例中，在已壓縮編碼的圖像數據中包含已壓縮編碼的形狀數據。數據分析器902抽出該形狀數據后向形狀解碼器990輸出，應答該動作，形狀解碼器990將形狀信號進行解壓再生。在已重建的形狀信號向接收一側或再生一側傳輸的同時，輸入預測信號發生器910。預測信號發生器910根據該已重建的形狀信號如參照圖9～圖11說明的那樣生成畫面內預測小區域的圖像數據。這樣，便可生成具有任意形狀的圖像的畫面內預測小區域的圖像數據，能夠在接收一側或再生一側將圖像數據進行解碼及再生。
實施例3和4的特征是具有行存儲器911。如果沒有行存儲器911，就必須從幀存儲器912中存取用于生成畫面內預測小區域的圖像數據的像素。為了用相鄰的小區域的像素生成預測信號，必須對幀存儲器進行高速地寫入或讀出。通過設置專用的行存儲器或緩沖器，不使用高速的幀存儲器就可以高速地生成畫面內預測小區域的圖像數據。
在以上的實施例中，多個像素值的平均值也可以是指定的加權平均值。
如上所述，按照本發明的第1實施例組，僅將與處理目標的小區域的圖像數據相鄰的已重建的像素值作為畫面內預測信號的像素值，就可以以比先有技術低的運算量簡單地生成高精度的預測信號，從而可以獲得可以削減幀內編碼的位數的特有效果。另外，由于為了存儲用于生成畫面內預測信號的而使用的已重建的像素值而設置了行存儲器911，所以，可以高速地存取像素值，從而可以高速地生成畫面內預測信號。
第2實施例組第2實施例組包括實施例5～7。
本發明鑒于先有技術的問題，通過不僅去除2個圖像間或1個圖像內的2個塊的內部之間的冗余性，而且去除1個圖像內的2個塊間的冗余性，發現進一步改善了圖像編碼效率。
本發明者發現相鄰塊的相同位置的DCT變換系數在多數情況下是非常相似的。特別是與2個塊對應的原圖像的組織非常相似時或包含相同的圖像圖案(例如直線、角以及其他)時，發現近似程度高。根據信息理論，相同的信息就意味著冗余。
超出塊外在DCT變換區域中存在的這種冗余，可以利用以前的塊的自適應的內部預測(幀內預測)而除去或大幅度地減少。并且，此后的VLC熵編碼處理可以利用預測的小的熵進一步實現高的編碼效率。作為該DCT變換區域的預測的結果，向VLC熵編碼電路的冗余數據的輸入可以大幅度地減少。因此，可以期望節約很多位。因此，已編碼的圖像數據的畫面質量明確地獲得改善。
本發明的本實施例提供適當地預測其他塊的DCT變換系數的方式。利用該方式去除超出相鄰的塊而存在的冗余性，進一步減少已量化的DCT變換系數的熵，結果，便可減少用于對DCT變換系數進行編碼所需要的位數。
根據以前的相鄰的塊中在相同位置的DCT變換系數，可以預測處理目標即現時刻的當前塊(以下，稱為當前塊)的DCT變換系數。相鄰的塊在處理時已進行了解碼。即，利用以前已解碼的相鄰的1個塊中的第1DC系數預測第1DC系數。另外，第2系數AC1根據相同的已解碼的塊中的第2系數AC1進行預測。以下，同樣照此辦理。通過使用該方法，對于在現時刻進行編碼的DCT變換塊，可以根據位于左上側、斜左側、斜右上側和上側的相鄰的已解碼的塊求出數個預測的塊。對于這些已預測的塊，通過進行實際的熵編碼而進行檢查。并且，在選擇具有更少的位數的預測塊后，進行熵編碼，并且與附加的指示位一起向接收一側或再生一側的圖像預測解碼裝置傳送。向圖像預測解碼裝置報告當前塊是根據哪個相鄰的塊預測的。
本發明的本實施例的方法可以預測當前塊的DCT變換系數。該DCT變換系數通常具有與其他相鄰的塊的DCT變換系數高的相關性。其理由在于，DCT變換對于同樣的塊圖像處于提供DCT變換系數的相同值或相同分布的傾向。
對于作為內部幀或時間預測的幀即已輸入的圖像數據，通常首先根據塊進行DCT變換處理。在獲得當前塊的DCT變換系數后，可以在量化前或量化后進行DCT變換區域的預測處理。
如圖15所示，當前塊的DCT變換系數是已解碼的塊，可以根據相鄰的塊即左上的塊B1、上面的塊B2、右上的塊B3、左邊的塊B4進行預測。已預測的塊可以通過將當前塊的全部DCT變換系數從處于相同位置的以前的相鄰的塊的全部DCT變換系數中減去而得到。另外，也可以通過部分地減去DCT變換系數取代全部的DCT變換系數而得到。
如果在量化之前進行預測，就將已預測的不同塊的已預測的DCT變換系數進行量化處理。其次，對于DCT變換系數，進行熵編碼處理。該熵編碼處理和圖像預測編碼裝置的處理相同，檢查哪個已預測的塊作為低位位使用。
選擇使用低位位的預測塊，所選擇的預測塊與對于預測決定通知圖像預測解碼裝置的指示位一起進行熵編碼。
在圖像預測解碼裝置中，使用指示位對已預測的塊進行解碼。即，對于1個塊，在對已預測的DCT變換系數進行逆熵解碼后，與該塊對應的DCT變換系數通過將由指示位表示的前面已解碼的相鄰塊的DCT變換系數與上述已解碼的DCT變換系數相加而得到。最后，逆DCT變換處理應用于與各塊對應的已解碼的DCT變換系數，可以獲得已解碼的圖像數據。
本發明的本實施例除了通過通常DCT變換那樣的變換去除的空間冗余性、通過動檢測和補償在幀間去除的冗余性和在塊內的量化變換系數中通過熵編碼去除的統計冗余性外，還提供可以減少超出相鄰塊、在DCT變換區域存在的其他種類的冗余性的圖像編碼裝置。
由表示先有技術的圖像預測編碼裝置的圖14可知，在先有的圖像編碼中(例如，在MPEG)通常使用的圖像預測編碼裝置具有塊采樣單元1001、DCT變換單元1004、量化器1005和熵編碼器1006。
在內部幀編碼(幀內編碼)中，對于輸入的圖像信號，首先進行塊采樣處理。然后直接進行DCT變換處理。接著，進行量化處理和熵編碼處理。另一方面，在內部幀編碼(預測幀編碼)中，在塊采樣處理之后，對于處理目標的現時刻的幀的圖像數據，進行動檢測單元1002和動補償單元1003的處理，此外，還進行DCT變換處理。進而，再進行量化處理和熵編碼處理。
這里，在熵編碼單元1006中，量化值進行熵編碼后，輸出編碼數據。所謂熵編碼，就是通過對經常發生的值分配短的代碼、對不經常發生的值分配長的代碼，編碼為接近作為平均信息量的熵，從而大幅度地削減總體的代碼量的方式。這就是可逆編碼。作為熵編碼，已提案了各種方式，但是，在基線系統中，使用霍夫曼編碼。在已量化的DC系數值和AC系數值中，霍夫曼編碼的方法不同，即，DC系數表示8×8像素塊的平均值，在一般的圖像中，與相鄰的塊的平均值多數具有相似的值。因此，在取與前一塊的差分后，進行熵編碼。這樣，由于數值集中在0附近，所以，熵編碼有效。另外，關于AC系數，例如進行鋸齒形掃描，將二維數據變換為一維數據。此外，特別是包含高頻成分的AC系數很多為0，所以，將具有0以外的值的AC系數的值和其前面有幾個0(行程)為一組進行熵編碼。
速率控制器1007反饋以前在已編碼的塊中使用的位，控制量化單元1005的處理，并且調整代碼位速率。這里，速率控制器1007根據已編碼的單位的性質及可以利用的位控制代碼位速率，用以對各已編碼的目標數據、各幀和各已編碼的塊分配不同的位量。另外，逆量化處理和逆DCT變換處理在作為局部解碼器的一部分的單元1008和1009中進行。由局部解碼器解碼的圖像數據存儲到局部解碼幀存儲器1010中，用于進行動檢測處理。1011是為了進行動檢測而保存前面的原幀的基準幀存儲器。并且，最后，從熵編碼單元1006輸出位流，向接收一側或再生一側的圖像預測解碼裝置傳送。
圖15是用于說明畫面內預測用的自適應DCT變換區域的圖像的模式圖。
在圖15中，在DCT變換區域中，示出了8×8的4各DCT變換塊構成宏塊的情況。這里，B0表示具有8×8的DCT變換系數的現時刻的當前塊。B2表示已解碼的與上側相鄰的塊。B1和B3表示已解碼的斜上方相鄰的2各塊。B4表示左側相鄰的正前方的塊。由圖15可知，具有DCT變換系數的塊能夠根據具有8×8的DCT變換系數的已解碼的相鄰多個塊進行預測。
應該注意，當前塊根據哪個塊進行預測總是不同的。因此，根據最小位使用規則進行決定，該決定可以自適應地向圖像預測解碼裝置一側的不同的塊提供。該決定利用指示位通知圖像預測解碼裝置。這里，最小位使用規則用于在不同的多個預測方法中決定預測方法，在應用各預測方法后，計數將塊進行編碼所使用的位量。作為結果，將造成所使用的最小位量的方法選擇為應使用的預測方法。
另外，DCT變換區域預測可以在量化處理之后和量化處理之前進行。
(實施例5)圖16是表示本發明實施例5的圖像預測編碼裝置的結構的框圖。圖16的圖像預測編碼裝置的特征在于，DCT變換區域預測處理在量化處理之后進行。
在圖16中，對于輸入的圖像信號先由塊采樣單元1012進行塊采樣。并且，在內部幀編碼中，采樣的塊圖像數據不進行加法器1013的處理，而通過加法器1013輸入到DCT變換單元1014。另一方面，在預測幀編碼中，加法器1013將從動檢測和補償單元1025輸出的動檢測圖像數據從采樣的塊圖像數據中減去，并將減法結果的圖像數據向DCT變換單元1014輸出。并且，在由單元1014進行DCT變換處理后，由單元1015進行量化處理。
DCT變區域預測處理由單元1017進行，1018是用于存儲為了預測前面已解碼的塊的塊存儲器。加法器1016將從DCT變換區域預測單元1017輸出的已解碼的相鄰塊從量化單元1015輸出的現時刻的DCT變換塊中減去。該已編碼的相鄰的塊的決定在DCT變換區域預測單元1017中進行。最后，對于已預測的DCT變換塊，由單元1020進行熵VLC編碼處理，已編碼的位寫入位流中。
加法器1019通過將預測所使用的前面的相鄰的塊與預測塊相加，對現時刻的DCT變換塊進行解碼。其次，對于已解碼的DCT變換塊，逆量化處理和逆DCT變換處理分別在單元1021和1022中進行。局部已解碼的從逆DCT變換單元1022輸出的塊的圖像數據輸入加法器1023。加法器1023通過將前面的幀的圖像數據與已解碼的塊的圖像數據相加，獲得再構筑的圖像數據并將其存儲到幀存儲器1024中。動檢測和補償處理由單元1025進行。為了存儲動檢測和補償處理用的前面的幀，使用幀存儲器1024。
(實施例6)圖17是表示本發明實施例6的圖像預測編碼裝置的結構的框圖。圖17的圖像預測編碼裝置的特征在于，在量化處理之前進行DCT變換區域預測處理。對于輸入的圖像信號，在單元1026中進行塊采樣處理。其次，加法器1027為了預測幀編碼而進行減法運算，減法結果的圖像數據通過DCT變換單元1028、加法器1029和量化單元1030向熵VLC編碼單元1034和逆量化單元1033輸出。
塊存儲器1032存儲為了單元1031的DCT變換區域預測處理而使用的前面塊的圖像數據。由加法器1029，將從DCT變換單元1028輸出的現時刻的DCT變換塊的圖像數據從按照最小位使用規則由DCT變換區域預測單元1031所選擇的前面的DCT變換塊中減去。減法結果的DCT變換塊的圖像數據由量化單元1030進行量化處理后，向逆量化單元1033和熵VLC編碼單元1034輸出。逆量化單元1033通過對輸入的已量化的DCT變換塊的圖像數據進行逆量化處理而進行解碼，并向加法器1055輸出。加法器1055將已解碼的DCT變換塊的圖像數據與DCT變換區域預測單元1031的前面的DCT變換塊的圖像數據相加，將加法結果的前面的塊的圖像數據存儲到塊存儲器1032中，同時向逆DCT變換單元1036輸出。
逆DCT變換單元1036對從加法器1035輸入的前面的塊的圖像數據進行逆DCT變換處理，并將變換處理后的已解碼的圖像數據向加法器1037輸出。加法器1037將從動檢測和補償單元1025輸出的前面的幀的圖像數據與從逆DCT變換單元1036輸出的已解碼的圖像數據相加，將加法結果的圖像數據暫時存儲到幀存儲器1038中后，向動檢測和補償單元1025輸出。
B1.模式決定的一般的說明圖18是表示圖16和圖17的DCT變換區域預測電路1017、1031的結構的框圖。
在圖18中，1040是存儲預測所使用的前面的相鄰的塊的圖像數據的塊存儲器。將處理目標的現時刻的當前塊輸入到單元1041，單元1041將輸入的當前塊的圖像數據從由塊存儲器1040存儲的前面相鄰的DCT變換塊中減去，得到如下4種預測DCT變換塊的圖像數據。
(a)由1042所示的No-Pred塊、(b)由1043所示的Up-Pred塊、(c)由1044所示的Left-Pred塊、(d)由1045所示的Other-Pred塊。
這里，用2位表示上述4種塊。即，例如“00”表示No-Pred塊，“01”表示Up-Pred塊，“10”表示Left-Pred塊，“11”表示Other-Pred塊。
No-Pred塊是無預測時的現時刻的DCT變換塊的圖像數據本身。Up-Pred塊表示預測使用的塊是上方相鄰的DCT變換塊B2時得到的預測塊的圖像數據。Left-Pred塊表示預測使用的塊是左側相鄰的DCT變換塊B4時得到的預測塊的圖像數據。Other-Pred塊表示預測只對DC系數進行時的預測塊的圖像數據。在Other-Pred的情況下，存在2種預測方法。即，Up-DC-Pred(1046)表示根據上方相鄰的DCT變換塊B2只對DC系數進行預測時得到的預測塊的圖像數據。Left-DC-Pred(1047)表示根據左側相鄰的DCT變換塊B4只對DC系數進行預測時得到的預測塊的圖像數據。對于這兩種情況，為了指示還需要1位。例如，使用“0”表示Up-DC-Pred(1046)，使用“1”表示Left-DC-Pred(1047)。
基于傾斜方向相鄰的塊B1、B3的預測也是可能的，但是，該預測結果沒有利用上方或左側的塊預測的那樣好，所以在本實施例中不使用。
對于全部已預測的塊，通過由單元1048進行實際的熵編碼處理而進行檢查。在單元1049中對在不同的已預測的塊中使用的位進行比較。最后，單元1050根據最小位使用規則決定已預測的DCT變換塊，與指示位一起輸出已預測的DCT變換塊。即，選擇位數最小的已預測的DCT變換塊。
B2.模式決定的實施圖19是表示圖18的DCT變換區域預測電路的DC/AC預測的編碼方法的一例的圖像的模式圖。
在圖19中，對于實際使用，圖示出了前面已定義的DC/AC已預測的圖像數據的部分集合。當前塊1101是當前宏塊的上部左側的8×8塊，當前塊1102是當前宏塊的上部右側的8×8塊。A和B是與當前塊1101相鄰的8×8塊。當前塊1101的所強調的上部行和左列分別根據相鄰塊即A和B的同一場所進行預測。即，當前塊1101的最上一行根據其上面的塊A的最上一行進行預測，當前塊1101的左列根據其左邊的塊B的左列進行預測。按照同樣的順序，當前塊1102根據其上面的塊D和其左邊的當前塊1進行預測。
設C(u，v)為應編碼的塊，Ei為模式i時的預測誤差，假定是將預測值從A(u，v)和/或B(u，v)的各塊中減去而求出的。在實際的實施中，只使用在B1節所述的頻度最多的3個模式。
(a)模式0只預測DCE0(0，0)＝C(0，0)-(A(0，0)+B(0，0))/2，E0(u，v)＝C(u，v)，u≠0；v≠0；u＝0，…，7；v＝0，…，7…(1)(b)模式1根據上側塊預測DC/ACE1(0，)＝C(0，)-A(0，)，v＝0，…，7，E1(u，v)＝C(u，v)，u＝1，…，7；v＝0，…，7…(2)(c)模式2根據左側塊預測DC/ACE2(u，0)＝C(u，0)-B(u，0)，u＝0，…，7，E2(u，v)＝C(u，v)，u＝0，…，7；v＝1，…，7。 …(3)模式的選擇通過對宏塊的4個亮度信號的塊計算已預測的誤差的絕對值之和SADmodei并選擇具有其中最小值的模式而進行。
SADmodei]]>=Σb[Ei(0,0)+32·ΣuEi(u,0)+32·ΣvEi(0,v),]]>
i＝0，…，2；b＝0，…，3；u，v＝1，…，7…(4)模式的決定與以不同的編碼位速率為目標的應用程序的不同有關，可以利用塊基線和宏塊基線進行。模式使用下表1的可變長代碼進行編碼。
表1 DC/AC模式用VLC表
在量化處理后進行DC/AC預測時，在先行的水平方向的相鄰塊或垂直方向的相鄰塊中，通常由于使用的量化的步長不同，所以，為了正確地進行DC/AC預測，需要用于換算已量化的DCT變換系數的幾種加權系數。
設QacA為塊A(參見圖19)的已量化的DCT變換系數、QacB為塊B(參見圖19)的已量化的DCT變換系數。設QstepA為塊A的量化所使用的量化步長，則QstepB就是塊B的量化所使用的量化步長，QstepC就是當前塊C的量化所應使用的量化步長，因此，換算方程如下Q’acA＝(QacA×QstepA)/QstepC …(5)Q’acB＝(QacB×QstepB)/QstepC …(6)這里，Q’acA是根據塊A的DCT變換系數，在當前塊C的最上一行的預測中使用。另外，Q’acB是根據塊B的DCT變換系數，在當前塊C的左列的預測中使用。
(實施例7)圖20是表示本發明實施例7的圖像預測解碼裝置的結構的框圖。
在圖20中，將圖像預測編碼裝置的位流輸入到熵VLD解碼單元1051，進行可變長解碼。已解碼的圖像數據由加法器1052通過與DCT變換區域預測單元1053的前面相鄰的DCT變換塊的圖像數據相加，復原DCT變換塊的圖像數據。前面相鄰的DCT變換塊根據從位流中取出的指示位而知道是哪個塊，在單元1053中用于進行預測。1054是用于存儲預測所使用的相鄰的DCT變換塊的塊存儲器。從加法器1052得到的已復原的DCT變換塊向逆DCT變換單元1055輸出。逆DCT變換單元1055通過對輸入的DCT變換塊進行逆DCT變換處理而生成已復原的DCT變換系數的圖像數據，并向加法器1056輸出。加法器1056通過將逆DCT變換單元1055的已復原的圖像數據與動檢測和補償單元1057的前面的幀的圖像數據相加，生成已動檢測和補償并且已解碼的圖像數據并輸出。該已解碼的圖像數據暫時存儲到存儲用于動檢測和補償的前面幀的圖像數據的幀存儲器中后，向動檢測和補償單元1057輸出。動檢測和補償單元1057對輸入的圖像數據進行動檢測和補償處理。
此外，從加法器1056輸出的已解碼的圖像數據通過與圖16和圖17的塊采樣單元1012、1026的處理對應的相反的復原處理，而復原原來的圖像數據。
另外，1059是逆量化單元，如圖17所示，在量化處理前進行DCT變換區域預測處理時，該逆量化單元1059插入到圖20的1059a的位置，另一方面，如圖16所示，在量化處理后進行DCT變換區域預測處理時，該逆量化單元1059就插入到圖20的1059b的位置。
圖21是表示圖20的圖像預測解碼裝置的DC/AC預測的解碼方法的流程圖。即，在圖21中，圖示了取得DC/AC預測模式、根據相鄰的DC/AC預測值再構成DCT變換系數的位流的解碼的詳細情況。
首先，在步驟1059，根據輸入的位流將指示位進行解碼，在步驟1060，檢查指示位的標志，如果標志為「0」，就在步驟1061根據上側塊和左側塊的圖像數據的平均值計算Dc值，并進入步驟1063。若在1060為“否”，就進入步驟1062，在步驟1062，如果檢查的指示標志為「10」，就在步驟1063抽出左側塊的左列的圖像數據，并進入步驟1065。若在步驟1062為“否”，就進入步驟1064，在步驟1064，如果檢查的指示標志為「11」，就在步驟1065抽出上側塊的最上一行的圖像數據，并進入步驟1066。最后，在步驟1066，將在步驟1061、1063或1065取得或抽出的DCT變換系數與當前塊的對應DCT變換系數相加。
下面，說明本實施例組的變形例。
(a)上述塊采樣單元1012、1026也可以包括交替地插入像素的交叉處理，以使4個塊組中的二維排列的像素在第1塊中由位于奇數行的奇數像素構成，在第2塊中由位于奇數行的偶數像素構成，在第3塊中由位于偶數行的奇數像素構成，在第4塊中由位于偶數行的偶數像素構成。
(b)上述預測塊存儲到上述塊存儲器中，是前面已復原的塊，從位于與已編碼的當前塊相鄰的塊中進行選擇，可以選擇塊中所有的變換系數。
(c)上述預測塊存儲到上述塊存儲器中，是前面已復原的塊，從位于與已編碼的當前塊相鄰的塊中進行選擇，可以將預先決定的子集合選擇為塊的變換系數。
(d)上述預測塊存儲到上述塊存儲器中，是前面已復原的塊，從位于與已編碼的當前塊的上方和左側相鄰的塊中進行選擇，可以只使用該塊的最上一行和該塊的最左一列的變換系數，其余的變換系數可以設定為0。
(e)上述預測塊存儲到上述塊存儲器中，是前面已復原的塊，從位于已編碼的當前塊的附近的塊中進行選擇，各塊的變換系數可以用不同的加權函數進行加權。
(f)上述預測塊存儲到上述塊存儲器中，是前面已復原的塊，從位于已編碼的當前塊的附近的塊中進行選擇，可以對各塊的變換系數進行變換運算。
(g)上述預測塊存儲到上述塊存儲器中，是前面已復原的塊，可以求位于已編碼的當前塊的附近的多個塊的加權平均。
(h)根據已解碼的圖像數據，由交叉的4個塊構成的多個組形成二維排列的像素并復原原來的圖像數據時，可以對上述已解碼的圖像數據進行逆交叉處理，以使位于奇數行的奇數像素全部根據第1塊求取，位于奇數行的偶數像素根據第2塊求取，位于偶數行的奇數像素根據第3塊求取，位于偶數行的偶數像素根據第4塊求取。
如上所述，若按照本發明的本實施例組，則在用以去除或減少相鄰的塊間的DCT變換區域的冗長性方面有很大的效果，結果，可以減少使用的位數，從而最終可以大大改善編碼效率。作為詳細的圖像預測編碼裝置的例子，參照圖18，預測處理最好只通過使用上側或左側的相鄰的塊而進行。
對于包含QCIF的序列，對上位位速率編碼可以節約6.4％的位，對下位位速率編碼可以節約20％的位。另外，例如對于Akiyo、Mother和Daughter等試驗序列等其他QCIF序列可以節約約10％的位。此外，對于CIF和CCIR序列可以節約更多的位。
如上所述，按照本發明的第2實施例組，可以提供增大現時刻的編碼效率的新的圖像預測編碼裝置和圖像預測解碼裝置。在該裝置中，提高編碼效率不需要復雜的裝置，其電路結構可以非常簡單而容易地形成。
第3實施例組第3實施例組包括實施例8。
本發明者鑒于先有技術的問題，考慮通過不僅削減2個圖像間或1個圖像內的塊的內部的冗長性而且削減圖像內的塊間的冗長性、同時通過適當地采用塊的掃描方式來改善圖像編碼效率的冗長性。
我們發現，即使是相同的位置，相鄰的塊中的DCT變換系數在多數情況下是非常相似的。在對2個塊的原圖像的性質非常相似時或者水平或垂直線、對角線以及其他圖像圖案包含相同的內容時，可以說上述情況是正確的。根據信息理論的觀點，相同的信息就意味著冗長性。
超出塊之外在DCT變換區域中存在的冗長性可以通過以前的塊的自適應預測而除去或削減。這就是VLC熵編碼可以獲得比預測誤差信號小的熵的更高的編碼效率的結果。
同時，水平和垂直的結構成為重要的DCT變換系數集中在最左側的列和最上一行的變換塊中的結果，是眾所周知的。因此，本發明的實施例根據預測模式通過使掃描自適應化，就可以解決系數的掃描中的上述問題。
本發明的實施例提供根據其他的塊自適應地預測當前塊的DCT變換系數、從而去除塊間的冗余性的方法。預測誤差的信息，在進一步減小量化DCT變換系數的熵的預測模式中通過使掃描方法自適應化而進而縮小。結果，可以削減用于對DCT變換系數進行編碼的位的數。
為了解決該問題，可以根據利用各預測和掃描方法而發生的實際的位速率得到進行預測模式的決定的方法。
本發明的實施例提供預測現在的當前塊的DCT變換系數的方法。DCT變換有對相同的塊的圖像數據給予相同的值或相同的DCT變換系數的分布的傾向，所以，當前塊通常保持著與其他相鄰的塊中的DCT變換系數的良好相互關系。
輸入的圖像數據是內部幀或暫時預測的幀中的某一個，首先，對輸入的圖像數據進行以通常塊為基礎的DCT變換處理。在得到當前塊的DCT變換系數后，可以在量化前或量化后進行DCT變換區域的預測。
當前塊中的DCT變換系數，可以根據在上方的左側位于對角線方向(傾斜方向)的以前相鄰的塊進行預測。如圖23所示，它們在該時刻已進行了解碼。已預測的塊通過從當前塊的相同位置的DCT系數中減去以前相鄰的塊的1個或1個以上的DCT系數來發生已預測的誤差信號。
如果在量化處理之前進行預測，則不同的預測模式的預測誤差信號就進行量化處理。已量化的預測誤差信號在進行熵編碼之前對序列的(一連串的)圖像數據進行掃描。根據最小位使用規則，選擇已預測的塊、即具有最小的位的預測塊。該塊的編碼數據與所使用的預測模式一起向圖像預測解碼裝置傳送。
圖像預測解碼裝置利用所使用的預測模式和塊的已編碼的數據對已預測的塊進行解碼。在對塊的已編碼的數據進行相反的熵解碼后，已量化的預測誤差按照所使用的掃描方式進行反向掃描。如果在預測處理之后進行量化處理，就對塊進行逆量化處理。再構筑的塊可以通過將由預測模式指示的以前已解碼的相鄰的塊中的DCT變換系數與現在的DCT變換系數相加而得到。另一方面，如果在預測處理之前進行量化處理，就對再構筑的系數進行逆量化處理。最后，逆DCT變換處理對各塊應用于再構筑的DCT變換系數，可以獲得已解碼的圖像。
本發明的實施例提供減少超出相鄰的塊之外而在DCT變換區域中存在的冗余性的圖像預測編碼裝置和圖像預測解碼裝置．(實施例8)圖24是表示本發明實施例8的圖像預測編碼裝置的結構的框圖。圖24的圖像預測編碼裝置與圖22的先有技術的圖像預測編碼裝置相比，其特征在于具有(a)加法器2035、(b)H/V/Z掃描單元2036、(c)加法器2038、(d)塊存儲器2039、和(e)具有量化換算的DCT變換區域預測單元2040。
在內部幀編碼(幀內編碼)中，對于輸入的圖像信號，在由單元2031進行塊采樣處理后，直接由單元2033進行DCT變換處理。其次，由單元2034對從DCT變換單元2033輸出的DCT變換系數進行量化處理。另一方面，在內部幀編碼或幀間編碼(預測幀編碼)中，在單元2031的塊采樣處理后，加法器2032將從動檢測和補償單元2045輸出的圖像數據從塊采樣處理后的圖像數據中減去，得到預測誤差數據。然后，該預測誤差數據通過進行DCT變換處理的DCT變換單元2033和進行量化處理的量化單元2034向加法器2035輸出。DCT變換系數通過單元2040的DCT變換區域處理而進行預測，將已預測的DCT變換系數輸入加法器2035。加法器2035將DCT變換區域預測單元2040的已預測的DCT變換系數從量化單元2034的DCT變換系數中減去，并將減法結果的預測誤差的DCT變換系數向H/V/Z掃描單元2036和加法器2038輸出。H/V/Z掃描單元2036按照所選擇的預測模式，對輸入的DCT變換系數自適應地進行水平掃描、垂直掃描或鋸齒形掃描，并將掃描處理后的DCT變換系數向熵VLC編碼單元2037輸出。其次，熵VLC編碼單元2037對輸入的DCT變換系數進行熵VLC編碼處理，并將已編碼的位流向接收一側或再生一側的圖像預測解碼裝置傳送。
加法器2038通過將從加法器2035輸出的已量化的DCT變換系數與DCT變換區域預測單元2040的已預測的DCT變換系數相加，而得到已復原的量化DCT變換系數數據。該量化DCT變換系數數據向塊存儲器2039和逆量化單元2041輸出。
在設置在該圖像預測編碼裝置中的局部解碼器中，加法器2038的已復原的DCT變換系數數據為了進行下一個預測而暫時存儲到存儲1個塊的數據的塊存儲器2039中后，向DCT變換區域預測單元2040輸出。逆量化單元2041將輸入的量化DCT變換系數進行逆量化處理，并向逆DCT變換單元2042輸出，然后，逆DCT變換單元2042對輸入的已復原的DCT變換系數進行逆DCT變換處理，將現時刻的塊的圖像數據復原后向加法器2043輸出。
在幀間編碼中，為了生成已局部解碼的圖像數據，加法器2043將由動檢測和補償單元2045進行了動檢測和補償的圖像數據與逆DCT變換單元2042的已復原的圖像數據相加，得到已局部解碼的圖像數據，并存儲到局部解碼器的幀存儲器2044中。加法器2043、幀存儲器2044、動檢測和補償單元2045的結構及處理和圖22的先有技術的單元2009、2010、2011相同。
最后，位流從熵編碼單元2037輸出，向圖像預測編碼裝置傳送。
圖25是表示本發明實施例8的圖像預測解碼裝置的結構的框圖。圖25的圖像預測解碼裝置和圖23的先有技術的圖像預測解碼裝置相比，其特征在于具有(a)H/V/Z掃描單元2052、(b)加法器2053、(c)DCT變換區域預測單元2055、和(d)塊存儲器2054。
在圖25中，圖像預測編碼裝置的位流在可變長解碼器單元2051中進行解碼。將已解碼的數據輸入到H/V/Z逆掃描單元2052，按照掃描模式，分別按水平逆方向、垂直逆方向或鋸齒形逆方向進行掃描。將掃描處理后的數據輸入到加法器2053，加法器2053通過將逆掃描處理后的數據與DCT變換預測單元2055的預測誤差數據相加，得到已解碼的DCT變換系數數據，并將其向逆量化單元2056輸出，同時，將其存儲到塊存儲器2054中。其次，逆量化單元2056將輸入的已編碼的DCT變換系數數據進行逆量化處理，得到已逆量化的DCT變換系數，并向逆DCT變換單元2057輸出。逆DCT變換單元2057對輸入的DCT變換系數數據進行逆DCT變換處理，復原原來的圖像數據，并向加法器2058輸出。在幀間編碼中，加法器2058將逆DCT變換單元2057的圖像數據與動檢測和補償單元2060的預測誤差數據相加，得到局部地已解碼的圖像數據，并向外部裝置輸出，同時，存儲到幀存儲器2059中。
此外，從加法器2058輸出的已解碼的圖像數據通過與圖24的塊采樣單元2031的處理對應的逆向的復原處理，復原為原來的圖像數據。
在上述實施例中，量化處理在預測處理之前進行。在變形例中，也可以在預測處理之后進行量化處理。這時，在局部解碼器和圖像預測解碼裝置中，在將預測值相加之前進行逆量化處理。其他詳細情況全部和上述實施例相同。
圖26是表示在實施例8中根據塊分割而得到的幀的宏塊和塊的結構的圖，并且是表示塊預測方法的圖像的模式圖。圖26的放大圖表示對當前塊的預測數據是怎樣編碼的。這里，塊C(u，v)可以根據上側相鄰的塊A(u，v)和左方向相鄰的塊B(u，v)得到。下面，更詳細地說明本發明的該實施例。
C1.預測所使用的系數的序號預測所使用的系數的序號與圖像數據的序列有關。標志AC_Coeff用于自適應地選擇各圖像所使用的系數的最佳的數。標志列于下面的表2中，作為側邊信息的一部分從圖像預測編碼裝置向圖像預測解碼裝置傳送。與標志AC_Coeff對應的固定長代碼和FLC示于表2。這里，FLC(Fixed Length Coding；固定長編碼)是為了表示所有的可能事件而分配固定長的代碼字的可逆編碼。
表2.與標志AC_Coeff對應的固定長代碼、FLC
這里，ACn與所使用的代碼有關，是A(0，n)或B(n，0)。
在本實施例的特別的情況下，最上一行和最左一列的所有的AC系數用于進行預測。在此情況下，在默認缺省值時，圖像預測編碼裝置和圖像預測解碼裝置都不需要標志。
C2.量化步長的換算相鄰的塊使用當前塊的不同的量化步長尺寸時，AC系數的預測不那么有效。因此，該預測方法變形為預測數據根據現在的當前塊的量化步長尺寸之比和預測數據的塊的量化步長之比進行換算。該定義使用以下的節C3.的方程式給出。
C3.預測模式設定的多個模式如下(a)模式0根據處理塊進行上側塊的DC預測(簡稱為「上DC模式」)E0(0，0)＝C(0，0)-A(0，0)，E0(u，v)＝C(u，v) …(7)(b)模式1根據處理塊進行左側的塊的DC預測(簡稱為「左DC模式」)E1(0，0)＝C(0，0)-B(0，0)，E1(u，v)＝C(u，v)…(8)(c)模式2根據處理塊進行上側的塊的DC/AC預測(簡稱為「上DC/AC模式」)E2(0，0)＝C(0，0)-A(0，0)，E2(0，v)＝C(0，v)-A(0，v)·QA/Qc，v＝1，2，…，AC_Coeff，E2(u，v)＝C(u，v) …(9)(d)模式3根據處理塊進行左側的塊的DC/AC預測(簡稱為「左DC/AC模式」)E3(0，0)＝C(0，0)-B(0，0)，E3(u，0)＝C(u，0)-B(u，0)·QB/QCu＝1，2，…，AC_Coeff，E3(u，v)＝C(u，v) …(10)C4.自適應的水平/垂直/鋸齒形掃描如果給定以上4個預測模式，幀內編碼的效率通過采用系數的掃描就可以進一步改善。
圖27、圖28和圖29分別是用于說明實施例8的系數掃描所使用的水平掃描、垂直掃描和鋸齒形掃描的順序的圖像的模式圖。這里，這些掃描可以集中地作為H/V/Z掃描而參照。
C5.明顯的模式決定在明顯的模式決定中，預測模式的決定在圖像預測編碼裝置中進行，該決定信息使用位流的幾個已編碼的位信息，從圖像預測編碼裝置向圖像預測解碼裝置明顯地傳送。
圖30是表示實施例8使用的模式決定處理的流程圖。
在圖30中，將當前塊的DCT變換系數輸入到單元2062，單元2062通過將輸入的當前塊的DCT變換系數數據從塊存儲器2061的相鄰塊的DCT變換系數數據中減去而進行DCT變換預測處理。在單元2062中，按照在節C3.中說明的4個模式進行DCT變換預測處理。其次，在H/V/Z掃描單元2063中，進行系數的掃描處理，這里，如圖30所示，進行在節C4.中說明的各對應的掃描處理。此外，掃描處理后的DCT變換系數數據向熵編碼單元2064傳送，在這里進行可變長編碼處理。然后，在單元2065中，將按不同的模式發生的所有的位進行比較，在單元2066中，選擇發生最少的位的預測模式的DCT變換系數的塊。這些DCT變換系數數據的位與預測模式的值一起從單元2066作為位流向圖像預測解碼裝置傳送。預測模式使用如下表3的固定長代碼進行編碼。
表3.DC/AC/掃描模式用的FLC表
C6.默認模式的決定在模式決定的實施例2中，圖像預測編碼裝置和圖像預測解碼裝置共同具有相同的預測模式決定功能。圖像預測編碼裝置和圖像預測解碼裝置都根據與當前塊相鄰的已解碼的塊的DC系數值決定與預測模式的決定有關的方向性。即，在默認模式的決定中，默認模式的決定使用幾個規則，在圖像預測編碼裝置和圖像預測解碼裝置中進行。并且，表示模式決定的附加的信息數據不從圖像預測編碼裝置向圖像預測解碼裝置傳送。
圖31是表示實施例8的默認模式決定中塊的關系的圖像的模式圖。即，圖31表示各塊與預測對象即當前塊的位置關系。
在圖31中，塊C是現在預測中的處理對象的當前塊。塊A是預測中的當前塊C的上側的塊。塊B是位于當前塊C左側的塊。塊C’是位于與當前塊C對角位置的塊A和塊B之間的塊。
首先，決定DC的方向。使用個別的決定方法，和AC系數一樣決定是否在預測中。為了進行決定，將預測系數的絕對值之差的總和與非預測系數的絕對值進行比較，判斷哪個小。向圖像預測解碼裝置的該指示使用1位。在是否已預測了DC預測的方向性和AC系數的決定中，使用以下公式。表3是有可能的4個結論的歸納。
(A1)如果(B(0，0)-C’(0，0)＜C’(0，0)-A(0，0))
…(11)時，則E(0，0)＝C(0，0)-A(0，0) …(12)(a1)如果(Σv=17C(0,v)≥Σv=17C(0,v)-A(0,v))...(13)]]>時，則E(0，v)＝C(0，v)-A(0，v)·QA/QC，v＝1，…，7，…(14)(a2)如果上述(13)式不成立，則E(0，v)＝C(0，v) …(15)(A2)如果上述(11)式不成立，則E(0，0)＝C(0，0)-B(0，0) …(16)(b1)如果(Σv=17C(u,0)≥Σv=17C(u,0)-B(u,0))...(17)]]>時，則E(u，0)＝C(u，0)-B(u，0)·QB/QC，v＝1，…，7，…(18)(b2)如果上述(17)式不成立，則E(u，0)＝C(u，0) …(19)此外，對于其他所有的系數，則E(u，v)＝C(u，v) …(20)
表4.默認決定的DC/AC掃描模式用的FLC表
在上述實施例8中，DCT變換系數預測處理由單元2040對已量化的變換系數數據進行，但是，本發明不限于此，和圖17的實施例6一樣，也可以對未量化的變換系數數據進行。這時，在對應的圖像預測解碼裝置中，在圖25中，將逆量化單元2056，移動插入到逆掃描單元2052和加法器2053之間。
下面，說明實施例8的變形例。
(a)塊采樣單元2031也可以包含交替地插入像素的交叉處理，以使4個塊組中的二維排列的像素在第1塊中由位于奇數行的奇數像素構成，在第2塊中由位于奇數行的偶數像素構成，在第3塊中由位于偶數行的奇數像素構成，在第4塊中由位于偶數行的偶數像素構成。
(b)上述預測塊存儲到上述塊存儲器中，是以前已復原的塊，從位于與已編碼的當前塊相鄰的塊中選擇，也可以選擇塊中的所有的系數數據。
(c)上述預測塊存儲到上述塊存儲器中，是以前已復原的塊，從位于與已編碼的當前塊相鄰的塊中選擇，也可以選擇預先決定的子集合作為塊的系數數據。
(d)上述預測塊存儲到上述塊存儲器中，是以前已復原的塊，從位于與已編碼的當前塊的上方和左側相鄰的塊中選擇，可以只使用該塊的最上一行和該塊的最左一列的系數數據，將其余的系數數據設定為0。
(e)上述預測塊存儲到上述塊存儲器中，從以前已復原的塊中按照上述基準進行選擇，也可以通過圖像預測編碼裝置與圖像預測解碼裝置進行通信來決定使用只包含該塊的最上一行或最左一列的1個或1個以上的系數數據的子集合。
(f)上述預測塊存儲到上述塊存儲器中，根據以前已復原的塊按照上述基準進行選擇，也可以通過圖像預測編碼裝置決定使用只包含該塊的最上一行或最左一列的1個或1個以上的系數數據的子集合，并將表示所決定的子集合和系數數據的數的標志周期性地插入向圖像預測解碼裝置發送的數據中，通知圖像預測解碼裝置。
(g)上述預測塊存儲到上述塊存儲器中，根據以前已復原的塊按照上述基準進行選擇，各塊的系數數據也可以按照和已編碼的當前塊的量化步長尺寸與預測塊的量化步長尺寸之比相等的比進行乘法運算。
(h)上述預測塊存儲到上述塊存儲器中，根據以前已復原的塊按照上述基準進行選擇，各塊的系數數據也可以用不同的加權函數進行加權。
(i)上述預測塊存儲到上述塊存儲器中，根據以前已復原的塊按照上述基準進行選擇，也可以對各塊的系數數據進行指定的變換運算。
(j)上述預測塊與已編碼的當前塊相鄰，存儲到上述塊存儲器中，也可以作為以前已復原的塊的加權平均值而得到。
(k)掃描方法可以包括(I)系數數據每一行從左向右、從最上一行開始到最下一行結束而掃描的水平掃描、(II)系數數據每一列從最上一行向最下一行、從最左一列開始到最右一列結束而掃描的垂直掃描、(III)系數數據從最上一行的最左的系數數據向最下一行的最右的系數數據、沿對角線方向掃描的鋸齒形掃描中的至少1種掃描方法。
(l)上述預測塊存儲到上述塊存儲器中，根據以前已復原的塊按照上述基準進行選擇，上述預測塊的預測模式包括(i)只將表示位于處理目標的當前塊的上側的塊的、稱為DC系數的該塊的平均值的最上和最左的系數數據用于進行預測的第1模式、(ii)只將位于處理目標的當前塊的左側的塊的DC系數用于進行預測的第2模式、(iii)將位于處理目標的當前塊的上側的塊的最上一行的DC系數和包含高頻成分的0個或0個以上的AC系數用于進行預測的第3模式、
(iv)將位于處理目標的當前塊的左側的塊的最左一列的DC系數和包含高頻成分的0個或0個以上的AC系數用于進行預測的第4模式中的至少1個預測模式，上述預測誤差的系數數據也可以用鋸齒形掃描的掃描方法進行掃描。
(m)上述預測塊存儲到上述塊存儲器中，根據以前已復原的塊按照上述基準進行選擇，上述預測誤差的系數數據按照上述掃描方法中的1種進行掃描，預測上述預測誤差的系數數據的預測方法可以包括(i)只將位于處理目標的當前塊的上側的塊的DC系數用于進行預測、對上述預測誤差的系數數據用鋸齒形掃描進行掃描處理的第1模式、(ii)只將位于處理目標的當前塊的左側的塊的DC系數用于進行預測、對上述預測誤差的系數數據用鋸齒形掃描進行掃描處理的第2模式、(iii)將位于處理目標的當前塊的上側的塊的最上一行的DC系數和包含高頻成分的0個或0個以上的AC系數用于進行預測、對上述預測誤差的系數數據用水平掃描進行掃描處理的第3模式、(iv)將位于處理目標的當前塊的左側的塊的最左一列的DC系數和包含高頻成分的0個或0個以上的AC系數用于進行預測、對上述預測誤差的系數數據用垂直掃描進行掃描處理的第4模式中的至少1種。
(n)根據上述已解碼的圖像數據，從由交叉的4個塊構成的多個組形成二維排列的像素從而復原為原來的圖像數據時，為了使位于奇數行的奇數像素全部根據第1塊來求取、位于奇數行的偶數像素根據第2塊來求取、位于偶數行的奇數像素根據第3塊來求取、位于偶數行的偶數像素根據第4塊來求取，也可以對上述已解碼的圖像數據進行逆交叉處理。
(o)圖像預測編碼裝置和圖像預測解碼裝置也可以使用預先決定的同一規則來決定上述預測模式。
(p)圖像預測編碼裝置和圖像預測解碼裝置也可以使用預先決定的同一規則來決定上述掃描方法。
如上所述，按照本發明的第3實施例組，削減或去除超出相鄰的塊之外而在DCT變換區域中存在的冗余性是非常有效的，可以削減使用位的位數，從而可以大幅度地改善編碼的效率。作為新的視頻壓縮算法語言的工具，這也是有用的。
在以上的實施例中，說明了圖像預測編碼裝置和圖像預測解碼裝置，但是，本發明不限于此，既可以是包括將上述圖像預測編碼裝置的各部分、各單元等結構要素分別置換為各步驟的步驟的圖像預測編碼方法，也可以是包括將上述圖像預測解碼裝置的各部分、各單元等結構要素分別置換為各步驟的步驟的圖像預測解碼方法。這時，例如，上述圖像預測編碼方法和/或上述圖像預測解碼方法的各步驟作為程序存儲到存儲裝置中，微處理器單元(MPU)、中央運算處理裝置(CPU)等控制器通過執行該程度進行圖像預測編碼處理和/或上述圖像預測解碼處理。
另外，本發明也可以是記錄包括上述圖像預測編碼方法和/或上述圖像預測解碼方法的各步驟的程序的記錄媒體。該記錄媒體具有例如記錄區域分割為扇形的或記錄區域渦旋形狀分割為各塊的圓盤形狀，例如是CD-ROM、DVD等光盤或光磁盤或者軟盤等磁記錄盤。
產業上利用的可能性如上所述，按照本發明的圖像預測編碼裝置，具有分割單元，將輸入的編碼圖像數據分割為相互相鄰的多個小區域的圖像數據；第1生成單元，由上述分割單元分割的相互相鄰的多個小區域的圖像數據中對處理目標的小區域的圖像數據進行編碼時，將與上述處理目標的小區域的圖像數據相鄰的已重建的小區域的圖像數據作為上述處理目標的小區域的畫面內預測小區域的圖像數據、將上述畫面內預測小區域的圖像數據作為最佳預測小區域的圖像數據而生成上述處理目標小區域的圖像數據與上述最佳預測小區域的圖像數據的差份、即差分小區域的圖像數據；編碼單元，對由上述生成單元生成的差分小區域的圖像數據進行編碼；解碼單元，對由上述編碼單元所編碼的差分小區域的圖像數據進行解碼；和圖2生成單元，通過將由上述解碼單元解碼的差分小區域的圖像數據與上述最佳預測小區域的圖像數據相加，生成已進行了重建的小區域的圖像數據。
因此，僅將與處理對象的小區域的圖像數據相鄰的已重建的像素值作為畫面內預測序號的像素值，與先有技術相比，就可以用低的運算量簡單地生成高精度的預測信號，從而可以獲得可以削減幀內編碼的位數的特有效果。
另外，按照本發明的圖像預測編碼裝置，具有采樣單元，將輸入的圖像信號采樣為分別包含二維排列的像素值的多個塊的圖像數據；變換單元，將由上述采樣單元采樣的塊的圖像數據變換為指定的變換區域的系數數據；塊存儲器，存儲已解碼的塊的系數數據；預測單元，根據在存儲到上述塊存儲器中之前再構筑的塊的系數數據，對由上述變換單元變換的塊的系數數據形成多個預測塊的系數數據；決定單元，從由上述預測單元形成的多個預測塊的系數數據中決定選擇并輸出效率最好的預測塊的系數數據，并將表示上述選擇的預測塊的標識符按指示位的形式向圖像預測解碼裝置發送；第1加法單元，通過將由上述決定單元選擇的預測塊的系數數據從現時刻的當前塊的系數數據減去，輸出減法結果的預測誤差的系數數據；量化單元，對從上述第1加法單元輸出的預測誤差的系數數據進行量化處理；編碼單元，對上述量化單元的預測誤差的系數數據進行熵碼，并將已編碼的預測誤差的系數數據向圖像預測解碼裝置發送；逆量化單元，對上述量化單元的預測誤差的系數數據進行逆量化處理，并輸出已解碼的塊的系數數據；第2加法單元，通過將從上述決定單元輸出的預測塊的系數數據與從上述逆量化單元輸出的預測誤差的系數數據相加，輸出已解碼的塊的系數數據，同時將其存儲到上述塊存儲器中；和逆變換單元，通過將從上述第2加法單元輸出的塊的系數數據進行逆變換而生成已解碼的塊的圖像數據。
因此，可以提供使現時刻的編碼效率增大的新的圖像預測編碼裝置和圖像預測解碼裝置。在該裝置中，不需要用于提高編碼效率的復雜的裝置，該電路結構可以非常簡單而容易地形成。
此外，按照本發明的圖像預測編碼裝置，具有采樣單元，將輸入的圖像信號采樣為分別包含二維排列的像素值的多個塊的圖像數據；變換單元，將由上述采樣單元采樣的塊的圖像數據變換為指定的變換區域的系數數據；塊存儲器，存儲已解碼的塊的系數數據；預測單元，根據在存儲到上述塊存儲器中之前再構筑的塊的系數數據，對由上述變換單元變換的塊的系數數據形成多個預測塊的系數數據；決定單元，從由上述預測單元形成的多個預測塊的系數數據中決定選擇并輸出效率最好的預測塊的系數數據和掃描方法，并將表示上述選擇的預測塊和掃描方法的標識符按指示位的形式向圖像預測解碼裝置發送；第1加法單元，通過將由上述決定單元選擇的預測塊的系數數據從現時刻的當前塊的系數數據中減去，輸出減法結果的預測誤差的系數數據；量化單元，將從上述第1加法單元輸出的預測誤差的系數數據進行量化處理；掃描單元，對上述量化單元的預測誤差的系數數據，按照由上述決定單元決定的掃描方法進行掃描處理，并輸出掃描處理后的預測誤差的系數數據；編碼單元，將從上述掃描單元輸出的掃描處理后的預測誤差的系數數據進行熵編碼，并將已編碼的預測誤差的系數數據向圖像預測解碼裝置發送；逆量化單元，將上述量化單元的預測誤差的系數數據進行逆量化處理，并輸出已解碼的塊的系數數據；第2加法單元，通過將從上述決定單元輸出的預測塊的系數數據與從上述逆量化單元輸出的預測誤差的系數數據相加，輸出已解碼的塊的系數數據，同時，將其存儲到上述塊存儲器中；和逆變換單元，通過對從上述第2加法單元輸出的塊的系數數據進行逆變換，生成已解碼的塊的圖像數據。
因此，削減或去除超出相鄰的塊之外而在變換區域中存在的冗余性是非常有效的，可以削減使用位的位數，從而可以大幅度地改善編碼的效率，作為新的視頻壓縮算法語言的工具，這也是有用的。
權利要求
1.一種圖像預測編碼方法，包括將圖像信號采樣成多個塊；把這些塊的圖像信號變換成具有DC系數和AC系數的變換系數的一個二維陣列；把該變換系數的二維陣列量化成已量化的變換系數；以及根據從左側塊或者上側塊中自適應地選擇的一個緊緊相鄰的塊的變換系數，預測當前的塊的已量化的DC系數和已量化的AC系數。
2.權利要求1的圖像預測編碼方法，還包括提供一個指示比特，它指示當前的塊的已量化的AC系數是不是根據該緊緊相鄰的塊預測的。
全文摘要
能顯著改善變換效率的圖像預測編/解碼裝置和方法及記錄媒體。其中將輸入的編碼圖像數據分割為相鄰的多個小區域的圖像數據，將與處理目標的小區域的圖像數據相鄰的已重建的小區域的圖像數據作為處理所述目標的小區域的畫面內預測小區域的圖像數據，將畫面內預測小區域的圖像數據作為最佳預測小區域的圖像數據，生成處理所述目標的小區域的圖像數據與最佳預測小區域的圖像數據的差分即差分小區域的圖像數據。
文檔編號H04N7/50GK1893655SQ200610095680
公開日2007年1月10日 申請日期1997年5月28日 優先權日1996年5月28日
發明者文仲丞, 申省梅, 陳朝慶 申請人:松下電器產業株式會社