圖像解碼方法

專利名稱：圖像解碼方法
技術領域：
本發明涉及一種圖像解碼方法、圖像編碼方法、圖像編碼裝置、圖像解碼裝置、用軟件來實施的程序和記錄該程序的記錄媒體。
背景技術：
近年來，隨著多媒體應用的發展，一般可統一處理圖像、聲音、文本等所有媒體的信息。此時，可通過數字化所有媒體來統一處理媒體。但是，因為數字化的圖像具有龐大的數據量，所以為了存儲、傳送，圖像的信息壓縮技術是不可缺少的。另一方面，為了相互運用壓縮的圖像數據，壓縮技術的標準化也是重要的。作為圖像壓縮技術的標準參考，有ITU-T建議(國際電氣通信聯盟電氣通信標準化部門)的H.261、H.262、ISO(國際標準化機構)的MPEG(移動圖像專家組)-1、MPEG-2、MPEG-4等。


圖1是表示現有的圖像編碼裝置100的結構框圖。在本發明中，將構成1個圖像的單位稱為圖象(picture)。在交織(interlace)圖像信號中，圖象意味著場或者幀，在漸進(progressive)圖像中，圖象意味著幀。
圖像編碼裝置100具備差分器101、圖像編碼部102、可變長度編碼部103、圖像解碼部104、加法器105、象素間濾波器106、圖像存儲器107、圖象間預測部108和圖象間預測推定部109。差分器101從輸入正輸入端子的輸入圖像中減去輸入負輸入端子的預測圖像，輸出差分圖像。圖像編碼部102編碼輸入的差分圖像。例如，使用DCT變換等變頻輸入的數據，通過量化變換結果的步驟數據來進行編碼。可變長度編碼部103可變長度編碼編碼的差分圖像和來自圖象間預測推定部109的預測參數，向結果得到的編碼數據附加記述與該編碼數據相關聯信息的頭等關聯數據，整理為輸出編碼位流的格式后，輸出到圖像編碼裝置100的外部。圖像解碼部104對于由圖像編碼部102編碼的差分圖像，通過實施圖像編碼部102進行的編碼的逆處理，解碼編碼的差分圖像，進行解碼。例如，對于編碼的差分圖像，在實施逆量化處理后，例如實施逆DCT變換等逆步驟變換，解碼輸入圖像與預測圖像的差分。加法器105將解碼的差分圖像與預測圖像相加，編碼輸入圖像。象素間濾波器106執行例如抑制解碼輸入圖像的高頻分量的編碼噪聲等濾波。圖像存儲器107將加法器105中解碼圖像的至少1圖象大小的圖像數據保持為參考圖像。圖象間預測部108根據圖象間預測推定部109產生的預測結果，從圖像存儲器107內的參考圖像中讀取預測圖像。圖象間預測推定部109導出作為輸入圖像對參考圖像的運動變化量的預測參數PredParam。
更具體而言，從外部向圖像編碼裝置100輸入圖像數據Img。將圖像數據Img輸入差分器101的正輸入端子。差分器101求出圖像數據Img與輸入負輸入端子的預測圖像數據Pred的象素值差分，作為差分圖像數據Res輸出。如下得到預測圖像數據Pred。首先，作為已編碼圖象的圖像，在暫時編碼后，進行解碼，將編碼成1圖象大小的圖像的參考圖像數據Ref存儲在圖像存儲器107中。接著，根據預測參數PredParam，從參考圖像數據Ref中，對應于每個輸入圖像數據Img的塊，切出表示塊圖像的數據。表面該塊圖像的數據是預測圖像數據Pred。圖像編碼裝置100將幾個完成編碼的圖象作為預測用參考圖像數據Ref存儲在圖像存儲器107中，圖象間預測部108根據圖像存儲器107中存儲的參考圖像數據Ref生成預測圖像數據Pred。圖象間預測推定部109根據輸入圖像數據Img和參考圖像數據Ref，求出用于預測的預測參數數據PredParam(例如MPEG的圖像編碼方式中使用的運動矢量信息等)。在圖象內編碼的情況下，設預測圖像的象素值為0。
圖像編碼部102編碼差分圖像數據Res，作為差分圖像編碼數據CodedRes輸出。圖像解碼部104根據編碼的差分圖像編碼數據CodedRes解碼原始圖像，為了用作圖象間預測的參考圖像，解碼差分圖像編碼數據CodedRes，作為解碼差分圖像數據ReconRes輸出。在加法器105中將解碼差分圖像數據ReconRes表示的象素值和預測圖像數據Pred表示的象素值相加，作為解碼圖像數據Recon輸出。象素間濾波器106濾波運算處理解碼圖像數據Recon，作為完成濾波解碼圖像數據FilteredImg存儲在圖像存儲器107中。
在象素間濾波器106中，在降低解碼圖像數據Recon的編碼噪聲、將圖像用作參考圖像的情況下，具有使預測效率提高的效果。作為象素間濾波器106的實例，有ITU-T建議的H.261的環路濾波器。將由象素間濾波器106執行象素間濾波運算的完成濾波解碼圖像數據FilteredImg存儲在圖像存儲器107中，在編碼以后的圖象時用作參考圖像。可變長度編碼部103可變長度編碼差分圖像編碼數據CodedRes和預測參數數據PredParam，匯總成一個編碼數據Bitstream后，輸出到圖像編碼裝置100的外部。圖2是表示現有圖像解碼裝置200的結構框圖。圖像解碼裝置200具備可變長度解碼部201、圖像解碼部202、加法器203、象素間濾波器204、圖像存儲器205和圖象間預測部206。從外部向圖像解碼裝置200輸入編碼數據Bitstream。可變長度解碼部201可變長度解碼輸入的編碼數據Bitstream，并分離成差分圖像編碼數據CodedRes和預測參數數據PredParam。圖像解碼部202解碼差分圖像編碼數據CodedRes，作為解碼差分圖像數據ReconRes輸出。將參照作為解碼差分圖像數據ReconRes輸出的圖象的、即圖像編碼裝置100中相當于參考圖像數據Ref的圖象存儲在已解碼的圖像存儲器107中。因此，圖象間預測部206根據預測參數數據PredParam，基于參考圖像數據Ref生成預測圖像數據Pred。加法器203將預測圖像數據Pred與解碼差分圖像數據ReconRes相加，作為解碼圖像數據Recon輸出。象素間濾波器204對解碼圖像數據Recon實施象素間濾波運算，作為完成濾波圖像數據FilteredImg，輸出到圖像解碼裝置200的外部。所謂圖像解碼裝置200的外部例如是電視等顯示裝置。另外，將完成濾波解碼圖像數據FilteredImg存儲在圖像存儲器205中，作為以后的圖象參考圖像數據Ref來參照。
但是，例如，若考慮使用便攜電話等來傳送動態圖像的情況等時，為了使便攜設備一次充電就可長時間使用，期望抑制設備整體的消耗功率，所以最好不具備為了圖像處理而必需大功率的高性能處理能力。因此，為了圖像處理，若以只能使用處理能力低的運算器的便攜設備為對象，則有時只能使用要求的處理量小的象素間濾波器。另一方面，在對高畫質動態圖像的傳送和高編碼效率要求強的應用中，對運算器要求的處理量大，但有時也想使用性能高的象素間濾波器。若編碼方式彈性對應于這些要求，則根據該編碼方式、該解碼方式的圖像編碼裝置和圖像解碼裝置等動作范圍是廣泛有益的。
鑒于這些現有問題，本發明的目的在于提供一種根據多種狀況來選擇使用象素間濾波器并生成編碼數據的圖像編碼裝置、和解碼編碼數據的圖像解碼裝置。

發明內容
一種圖像解碼方法，所述方法包括將編碼圖像解碼時，使用由參考圖像生成的預測圖像進行解碼，或者不使用所述預測圖像進行解碼的方法，解碼步驟，將所述編碼圖像解碼，并將解碼圖像復原；濾波步驟，根據表示是否用所述預測圖像的信息，將解碼圖像用象素間濾波器進行濾波；存儲步驟，將濾波后的解碼圖像儲存。
所述圖像解碼方法，其特征在于當編碼圖像為切片時，將編碼圖像解碼時表示是否用所述預測圖像的信息則為表示切片的類型的信息；當編碼圖像為圖像時，將編碼圖像解碼時表示是否用所述預測圖像的信息則為圖像的類型的信息。
所述圖像解碼方法，其特征在于當編碼圖像為宏塊時，將編碼圖像解碼時表示是否用所述預測圖像的信息則為表示宏塊和塊的類型中至少一種的信息。
所述圖像解碼方法，其特征在于用所述預測圖像將所述編碼圖像解碼，包括前方預測解碼和雙向預測解碼中的至少一種，表示是否使用所述預測圖像的信息，為表示不使用預測圖像解碼，表示在用預測圖像解碼時用前方預測解碼，以及表示在用預測圖像解碼時用雙向預測解碼中至少一個的信息。
所述圖像解碼方法，其特征在于從切片頭抽出表示是否使用所述預測圖像的信息，在所述濾波步驟中，根據抽出來的所述信息，將由解碼步驟得到的解碼圖像以切片為單位進行濾波。
所述圖像解碼方法，其特征在于從切片頭抽出表示是否使用所述預測圖像的信息，在所述濾波步驟中，根據抽出的所述信息，將由解碼步驟得到的解碼圖像以圖像為單位進行濾波。
所述圖像解碼方法，其特征在于不使用預測圖像被解碼的解碼圖像所使用的象素間濾波器的平滑度高于使用預測圖像被解碼的解碼圖像所使用的象素間濾波器的平滑度。
一種圖像解碼方法，其是將編碼圖像解碼時使用由參考圖像生成的預測圖像進行解碼、或者不使用所述預測圖像進行解碼的方法，所述解碼方法包括解碼步驟，將所述編碼圖像解碼，并將解碼圖像復原；濾波步驟，對解碼圖像用象素間濾波器進行濾波；存儲步驟，將濾波后的解碼圖像進行儲存；所述解碼圖像在不使用所述預測圖像被解碼時所用的濾波器的平滑度高于所述解碼圖像在使用預測圖像被解碼時所用的濾波器的平滑度。
另外，根據本發明的圖像解碼裝置根據編碼表示動態圖像中圖象的圖像數據和表示動畫中其它圖象的預測圖像數據的差分所得到的編碼圖像數據，解碼表示原始動態圖像的多個圖像數據，其特征在于具備解碼部，將上述編碼圖像數據的解碼結果、與對應于該編碼圖像數據的、已解碼的預測圖像數據相加，解碼表示原始圖象的圖像數據；選擇部，從對解碼的上述圖像數據實施象素間濾波運算的多個象素間濾波器中選擇1個；和預測圖像生成部，根據由選擇的上述象素間濾波器實施上述運算的圖像數據，生成對應于其它編碼圖像數據的預測圖像數據。
因此，在根據本發明的圖像解碼裝置中，具有如下效果對應于圖像解碼裝置的處理能力和有無圖像參照，選擇象素間濾波器，可生成預測圖像。另外，在由圖像編碼裝置切換象素間濾波器的情況下，即使圖像解碼裝置也可使用對應的象素間濾波器來正確解碼。
并且，根據本發明的圖像編碼裝置(和圖像解碼裝置)編碼重復輸入的幀圖像，其特征在于具備編碼部，通過對幀圖像實施規定的變換處理來執行編碼；逆變換部，對由上述編碼部編碼的幀圖像實施上述變換處理的逆變換處理；濾波部，對幀圖像實施濾波處理；存儲部，存儲幀圖像；和控制部，進行控制，使對由上述逆變換部進行逆變換處理得到的幀圖像實施上述濾波部進行的濾波處理后，將該幀圖像存儲在上述存儲部中，或不實施上述濾波部進行的濾波處理，將該幀圖像存儲在上述存儲部中，上述編碼部邊參照上述存儲部中存儲的過去的幀圖像邊編碼上述幀圖像。
因此，在圖像編碼(和圖像解碼)中，通常不用添加去除噪聲等的象素間濾波器，必要時可選擇地添加象素間濾波器，所以例如通過僅向對畫質影響大的幀圖像添加象素間濾波器，即使是處理能力小的圖像編碼裝置(圖像解碼裝置)，也可采用象素間濾波器，從而以低的位速率得到高的畫質改善效果。
這里，上述控制部也可控制成在上述幀圖像的重要性高的情況下，對該幀圖像實施上述濾波處理，在上述幀圖像的重要性低的情況下，對該幀圖像不實施上述濾波處理。例如，上述控制部控制成在上述幀圖像是由上述編碼部執行面內編碼的幀圖像的情況下，判斷該幀的重要性高，對該幀圖像實施上述濾波處理，在上述幀圖像是由上述編碼部執行面間編碼的幀圖像的情況下，判斷該幀的重要性低，對該幀圖像不實施上述濾波處理，或控制成在上述幀圖像是由上述編碼部執行前向預測編碼的幀圖像的情況下，判斷該幀的重要性高，對該幀圖像實施上述濾波處理，在上述幀圖像是由上述編碼部執行雙向預測編碼的幀圖像的情況下，判斷該幀的重要性低，對該幀圖像不實施上述濾波處理，或控制成在上述幀圖像是由上述編碼部執行基本層(base layer)編碼的幀圖像的情況下，判斷該幀的重要性高，對該幀圖像實施上述濾波處理，在上述幀圖像是由上述編碼部執行增強層(enhancement layer)編碼的幀圖像的情況下，判斷該幀的重要性低，對該幀圖像不實施上述濾波處理，由此，因為優先對具有對其它幀圖像影響性大的幀圖像、即面內編碼幀圖像、前向預測編碼幀圖像、基本層幀圖像等實施象素間濾波，所以對于相同處理負載的增大，可更有效地得到象素間濾波器進行的噪聲去除等畫質改善效果。
另外，上述控制部也可控制成監視該圖像編碼裝置(圖像解碼裝置)的處理能力的余量，在有余量的情況下，實施濾波處理，直到重要性更低的幀圖像，在沒有余量的情況下，不實施濾波處理，直到重要性更高的幀圖像。例如，向上述幀圖像對應附加對應于上述重要性的優先順序，上述控制部也可控制成通過監視該圖像編碼裝置具備的CPU運轉率來監視上述余量，在上述運轉率高的情況下，僅對優先級高的幀圖像實施濾波處理，在上述運轉率低的情況下，實施濾波處理，直到優先級低的幀圖像。
從而，因為可控制濾波處理的ON/OFF，以充分發揮圖像編碼裝置(圖像解碼裝置)的處理能力，所以可高效率使用CPU，即使是相同的硬件資源，也可實現高畫質的編碼(解碼)。
如上所述，通過本發明，可以低的位速率(高壓縮率)來實現高畫質的圖像編碼及圖像解碼，尤其是，可在有限的硬件資源下發揮軟件的圖像編碼處理和圖像解碼處理的高畫質改善效果，在信息通信技術和計算機廣泛普及的今天，實用價值極高。
附圖的簡要說明圖1是表示現有圖像編碼裝置的結構框圖。
圖2是表示現有圖像解碼裝置的結構框圖。
圖3是表示根據本發明實施例1的圖像編碼裝置的結構框圖。
圖4是表示在每個輸入圖像切片中切換象素間濾波器的圖像編碼裝置的結構框圖。
圖5(a)是表示本發明的圖像編碼裝置輸出的編碼數據位流Bitstream的流結構的圖。圖5(b)是表示本發明的圖像編碼裝置在以切片為單位切換象素間濾波器的情況下輸出的編碼數據位流Bitstream的流結構的圖。
圖6是表示解碼由根據本實施例1的圖像編碼裝置生成的編碼數據位流Bitstream的圖像解碼裝置的結構框圖。
圖7是表示在內部不具備指定象素間濾波器的情況下，代用具備的象素間濾波器的圖像解碼裝置的結構框圖。
圖8是表示根據本發明實施例2的圖像編碼裝置的結構框圖。
圖9是表示作為圖8所示象素間濾波器一例的分塊濾波器的運算內容的圖。(a)是表示濾波前的塊交界附近的象素值的圖。(b)是表示濾波后的塊交界附近的象素值的圖。
圖10是表示象素間濾波器的濾波處理流程的流程圖。
圖11是表示可選擇進行或不進行象素間濾波處理的圖像解碼裝置的結構框圖。
圖12是表示在輸出級還具備可選擇象素間濾波器的圖像解碼裝置的結構框圖。
圖13是表示可對應于各幀的圖象類型來選擇象素間濾波器的圖像解碼裝置的結構框圖。
圖14是表示根據本發明實施例3的圖像編碼裝置的功能結構框圖。
圖15是表示圖14所示優先順序決定部的詳細功能結構的框圖。
圖16是表示圖14所示濾波器處理控制部的詳細功能結構的框圖。
圖17是表示存儲在圖14所示圖像存儲器中的幀圖像的參照關系的圖。
圖18是表示圖16所示開關切換處理部執行的開關驅動處理的流程圖。
圖19是表示根據本發明實施例4的圖像解碼裝置的功能結構框圖。
圖20是使用存儲上述實施例1到實施例3的圖像編碼方法或圖像解碼方法的軟盤，由計算機系統進行實施的情況說明圖。(a)表示作為記錄媒體主體的軟盤的物理格式的實例。(b)表示從軟件正面看到的外觀、截面結構及軟盤，(c)表示在軟盤FD上執行上述程序的記錄再現用的結構。
圖21是表示實現內容配送服務的內容提供系統的整體結構框圖。
圖22是表示便攜電話外觀一例的圖。
圖23是表示便攜電話結構的框圖。
圖24是說明進行上述實施例中所示編碼處理或解碼處理的設備和使用該設備的系統的圖。
實施發明的最佳形態(實施例1)下面，參照附圖來說明本發明的具體實施例。圖3是表示根據本發明實施例1的圖像編碼裝置300的結構框圖。圖中，因為已說明與圖1所示現有圖像編碼裝置100一樣的結構要素和數據，所以標以相同符號，并省略說明。在以后的圖中也一樣，對已說明的現有結構要素和數據標以相同符號，并省略說明。圖像編碼裝置300具備差分器101、圖像編碼部102、可變長編碼部305、圖像解碼部104、加法器105、圖像存儲器107、圖象間預測部108、圖象間預測推定部109、開關301、開關302、象素間濾波器A303和象素間濾波器B304。開關301和開關302分別是對應于濾波器種類數據FilterType1的值，來選擇連接端子1和端子2之一的開關。開關301被設置在加法器105的輸出端子、與象素間濾波器A303和象素間濾波器B304的輸入端子之間。開關302被設置在圖像存儲器107的輸入端子、與象素間濾波器A303和象素間濾波器B304的輸出端子之間。象素間濾波器A303和象素間濾波器B304是，例如對塊間交界附近的高頻噪聲進行平滑處理，去除塊失真的分塊濾波器(デブロツクフイルタ)，各自平滑處理的程度不同。另外，對應于平滑處理的程度，平滑處理用運算處理量不同。另外，開關301和開關302等圖示的結構既可安裝成硬件，也可安裝成軟件。另外，在其它附圖中也一樣。
可變長度編碼部305分別可變長度編碼、例如霍夫曼編碼輸入的濾波器種類數據FilterType1、差分圖像編碼數據CodedRes和預測參數數據PredParam，匯聚成一個編碼數據位流Bitstream1后，輸出到圖像編碼裝置300的外部。
更具體說明與現有圖像編碼裝置100相比新構成上述結構的圖像編碼裝置300動作的部分。首先，從外部向圖像編碼裝置300輸入濾波器種類數據FilterType1。這里，所謂從外部輸入是指例如用戶從圖像編碼裝置外部使用鍵盤等用戶接口的輸入、或者是由裝置固定的數據，是由裝置依據位速率(壓縮率)或圖像尺寸來決定的值。將該濾波器種類數據FilterType1輸入開關301和開關302。該開關301和開關302對應于該濾波器種類數據FilterType1的值來切換連接于端子“1”和端子“2”之一上。例如，在濾波器種類數據FilterType1的值為“1”的情況下，開關301和開關302都連接端子“1”。此時對于從加法器105輸出的解碼圖像數據Recon，適用象素間濾波器A303的濾波。在濾波器種類數據FilterType1的值為“2”的情況下，開關301和開關302切換到端子“2”側，對于從加法器105輸出的解碼圖像數據Recon，適用象素間濾波器B304的濾波。因此，將實施了象素間濾波器A303或象素間濾波器B304的濾波的完成濾波解碼圖像數據FilteredImg1存儲在圖像存儲器107中，用作以后圖象的預測編碼中的參考圖像。另外，將特定象素間濾波器的濾波器種類數據FilterType1與同一圖象的差分圖像編碼數據CodedRes和預測參數數據PredParam一起輸入可變長度編碼部305，分別進行可變長度編碼。濾波器種類數據FilterType1的可變長度編碼結果與該差分圖像編碼數據CodedRes和預測參數數據PredParam的可變長度編碼結果相對應后，存儲在編碼數據Bitstream1中，存儲于記錄媒體中，也傳送給圖像解碼裝置。即，對各圖象的解碼圖像數據Recon適用的象素間濾波器種類由存儲在編碼數據Bitstream1中的濾波器種類數據FilterType1通知給圖像解碼裝置。從而，在解碼編碼數據Bitstream1的圖像解碼裝置中，可特定在圖像編碼裝置300中適用于各圖象的解碼圖像數據Recon的象素間濾波器，所以可分各圖象的解碼圖像使用與其相同的濾波器。在上述說明中雖設濾波器種類數據FilterType1的值為“1”、“2”，但這是方便說明來定義的值，只要是可區別多個種類的值，也可是任何值。
如上所述，在圖像編碼裝置300中，作為象素間濾波器，具備多個不同預測性能、處理量的象素間濾波器，可對應于從外部輸入的濾波器種類數據FilterType1來切換使用。如此切換使用不同預測性能、處理量的象素間濾波器具有以下優點。首先，為了說明，設象素間濾波器A303的處理量比象素間濾波器B304的少，另一方面，象素間濾波器B304的噪聲抑制效果比象素間濾波器A303的高，預測編碼效率提高。作為本發明的解碼圖像編碼裝置300輸出的編碼數據的圖像解碼裝置，考慮僅具備象素間濾波器A303的圖像解碼裝置A、和具備象素間濾波器A303和象素間濾波器B304兩者的圖像解碼裝置B這兩種圖像解碼裝置。前者的圖像解碼裝置A要求的處理量小，適于處理能力低的設備。后者的圖像解碼裝置B適于處理量大的設備。后者的圖像解碼裝置B也可解碼使用象素間濾波器A303和象素間濾波器B304任一象素間濾波器的編碼數據，對前者的圖像解碼裝置A具有上位互換性。在這種情況下，圖像編碼裝置300可用作還對應于上述兩種任一圖像解碼裝置的圖像編碼裝置。即，如上所述，在圖像編碼裝置300中，通過對應于設為對象的圖像解碼裝置的處理能力來選擇適當預測性能、處理量的象素間濾波器，對種類廣范的設備，可適用使用與圖像編碼裝置300中適用的相同象素間濾波器的編碼方法(對編碼數據Bitstream1解碼)。
另外，在所謂對應于圖像解碼裝置的處理能力的編碼數據生成的用途之外，還可對應于圖像編碼裝置300的處理能力來切換象素間濾波器。例如，在編碼圖像尺寸和圖象速率大的情況下，編碼處理整體所需的處理量變大。因此，在編碼圖像尺寸和圖象速率小于一定值的情況下，使用要求的處理能力高的象素間濾波器B304，在編碼圖像尺寸和圖象速率大于一定值的情況下，使用要求的處理能力低的象素間濾波器A303，編碼處理整體所需的處理量不會變高。另外，在由1臺裝置時分執行多個處理的時隙系統上實現圖像編碼的情況下，圖像編碼所用處理量可在其它處理的影響下動態變化。因此，在圖像編碼所用處理量在規定以上的情況下，使用處理量高的象素間濾波器B304，在圖像編碼所用處理量在規定以小的情況下，使用處理量比象素間濾波器B304少的象素間濾波器A303。
象素間濾波器的切換定時也可是具備多個適于特定性質圖像的象素間濾波器，對應于各圖像的性質，以圖象單位切換象素間濾波器。例如，在文字等邊緣信息重要的情況下，使用邊緣保存性好的象素間濾波器。通過邊緣檢測或文字檢測等圖像處理技術來自動判斷執行切換，也可由用戶從明示的適于自然圖像的象素間濾波器、適于文字的象素間濾波器、適于邊緣的象素間濾波器中進行選擇。這樣，若多個象素間濾波器的切換成為可能，則因為可選擇適于圖像性質的濾波器，所以可進一步提高預測效率。即，不對應于處理量來切換，而是切換濾波器來提高畫質也是有效的。因此，在本實施例中說明了對應于處理量來進行切換，但也可切換濾波器來提高畫質。
切換象素間濾波器的單位不限于圖象單位，因為圖像的性質也可因圖像內的部分而不同，所以例如也可以MPEG切片、宏塊和塊等比圖象小的圖像區域作為單位，也可將至少多于1個象素集合的區域作為單位來切換象素間濾波器。
圖4是表示在每個輸入圖像切片中切換象素間濾波器的圖像編碼裝置400的結構框圖。圖像編碼裝置400是以MPEG切片單位切換象素間濾波器來執行解碼象素的濾波的圖像編碼裝置，具備差分器101、圖像編碼部102、圖像解碼部104、加法器105、圖像存儲器107、圖象間預測部108、圖象間預測推定部109、開關403、開關404、象素間濾波器A303、象素間濾波器B304、可變長度編碼部305、濾波器切換位置判斷部401和開關402。濾波器切換位置判斷部401根據從外部輸入的圖像數據Img來檢測輸入圖像的切片，每次切換檢測到的切片時，例如，向開關402輸出例如輸出1個脈沖的濾波器切換控制數據SetFType。開關402是在不輸出濾波器切換控制數據SetFType期間截斷端子間連接的開關，在輸出濾波器切換控制數據SetFType的瞬間，僅以極短的時間將從外部輸入的濾波器種類數據FilterType1導向開關403和開關404。開關403和開關404都對應于每次切換輸入圖像數據Img的切片時瞬間輸入的濾波器種類數據FilterType1的值，連接端子“1”或端子“2”之一，保持該狀態。即，在截斷開關402的連接期間，不切換象素間濾波器。結果，每次切換輸入圖像數據Img的切片時，通過濾波器種類數據FilterType1來選擇新的象素間濾波器，可防止在切片途中切換象素間濾波器。
如上所述，通過本發明的象素編碼裝置，可使用對應于再現本發明圖像編碼裝置輸出的編碼數據的圖像解碼裝置的處理能力的象素間濾波器，生成編碼數據。另外，可對應于圖像編碼裝置的處理能力來選擇象素間濾波器。
本實施例的圖像編碼裝置具備的象素間濾波器雖為兩個，但也可具備3個以上的象素間濾波器。與本實施例一樣，選擇3個以上象素間濾波器之一來使用，只要編碼數據中包含表示使用的象素間濾波器種類的濾波器種類數據即可。
另外，也可不對應于處理量來進行切換，而是切換濾波器來提高畫質。
另外，在圖像編碼裝置400中，雖設濾波器切換控制數據SetFType為在每次檢測切片(スライス)切換時表示值“1”、在此外的期間表示值“0”的脈沖波形，但本發明不限于此，例如，也可以是每個切換切片時反轉的矩形波，也可是其它波形。另外，雖設開關402為在濾波器切換控制數據SetFType為同相位期間截斷端子間連接的開關，但本發明不限于此，在不是濾波器切換位置的情況下，濾波器切換位置判斷部401也可輸出表示截面開關402的濾波器切換控制數據SetFType。另外，在圖像編碼裝置400中，雖設以圖像數據Img的切片單位來切換象素間濾波器，但也可以圖象單位來切換象素間濾波器。另外，也可以塊、宏塊或各一定多個象素為單位來切換象素間濾波器。
圖5(a)是表示本發明的圖像編碼裝置輸出的編碼數據位流Bitstream的流結構的圖。圖5(b)是表示本發明的圖像編碼裝置在以切片為單位切換象素間濾波器的情況下輸出的編碼數據Bitstream的流結構的圖。本發明的編碼數據的特征在于特定多個象素間濾波器之一的濾波器種類數據FilterType1包含在編碼數據Bitstream中。在通過該流結構來解碼本發明的編碼數據Bitstream的圖像解碼裝置中，通過調查編碼數據Bitstream中包含的濾波器種類數據FilterType1，可使用與編碼時使用的象素間濾波器相同的象素間濾波器。
在圖5(a)所示的編碼數據Bitstream中，在附加在編碼數據Bitstream整體上的頭901中(例如斜線部)記述表示用于各圖象濾波的象素間濾波器的濾波器種類數據FilterType的值。該編碼數據Bitstream對應于圖3所示從圖像編碼裝置300輸出的編碼數據Bitstream1，另外，在圖5(b)所示的編碼數據Bitstream中，在每個切片中設置的切片頭902中(例如斜線部)記述表示用于該切片濾波的象素間濾波器的濾波器種類數據FilterType的值。該編碼數據Bitstream對應于圖4所示從圖像編碼裝置400輸出的編碼數據Bitstream1。這樣，通過將濾波器種類數據FilterType存儲在作為編碼數據Bitstream開頭部分的頭901、和作為數據記錄、傳送基本單位、還作為糾錯、修正單位的切片開頭的切片頭902等中，在圖像解碼裝置中，通過從頭901或切片輸入編碼數據Bitstream，可在該切片解碼之前特定該切片的濾波種類。
這里，雖說明以切片單位來切換象素間濾波器，但不僅切片單位，也可以由比切片小的圖像領域單位(只要集合1個以上象素的區域即可，例如MPEG宏塊、塊等)切換象素間濾波器。另外，也可以作為比切片大的圖像區域單位的圖象來進行切換。此時，除記述在圖5(a)所示頭901中(例如斜線部)以外，例如也可將對應于各圖象的濾波器種類數據FilterType1的值記述在對每個圖象編碼數據設置的圖象頭中。另外，在設宏塊或塊為濾波方法的切換單位的情況下，只要對每個切片匯集各宏塊或各塊的濾波器種類數據FilterType1的值，記述在切片頭中即可。
另外，也可在由包等傳送的情況下分離成頭部和數據部來分別傳送。此時，如圖5所示，頭部和數據部不會成為一個位流。但是，在包的情況下，即使傳送順序多少有前有后，但對應于對應數據部的頭部僅由其它包來傳送，即使不成為一個位流，理論上也與圖5中說明的位流情況相同。
如上所述，通過設定輸入本發明圖像編碼裝置的濾波器種類數據FilterType1的值來選擇對應于圖像解碼裝置的處理能力的象素間濾波器，可生成對應于再現本發明圖像編碼裝置輸出的編碼數據的圖像解碼裝置處理能力的編碼數據。另外，可對應于圖像編碼裝置的處理能力來選擇象素間濾波器。
另外，也可不對應于處理量來進行切換，而切換濾波器來提高畫質。
圖6是表示解碼由根據本實施例1的圖像編碼裝置生成的編碼數據Bitstream的圖像解碼裝置1000的結構框圖。圖像解碼裝置1000是根據記述在輸入的編碼數據Bitstream1頭中的濾波器種類數據FilterType1，對每個圖象或每個切片切換象素間濾波器，解碼編碼數據Bitstream1的編碼數據的圖像解碼裝置，具備可變長度解碼部201、圖像解碼部202、加法器203、圖像存儲器205、圖象間預測部206、開關1001、開關1002、象素間濾波器A1003和象素間濾波器B1004。
從外部向圖像解碼裝置1000輸入編碼數據Bitstream1。通過例如實施例1中的圖像編碼裝置300或圖像編碼裝置400來編碼編碼數據Bitstream1。可變長度解碼部201可變長度解碼輸入的編碼數據Bitstream1，分離成差分圖像編碼數據CodedRes、預測參數數據PredParam和濾波器種類數據FilterType1，分別向圖像解碼部202輸出差分圖像編碼數據CodedRes，向圖象間預測部206輸出預測參數數據PredParam，向開關1001和開關1002輸出濾波器種類數據FilterType1。開關1001和開關1002在輸入值“1”來作為濾波器種類數據FilterType1的情況下，切換到端子“1”側，對解碼圖像數據Recon適用象素間濾波器A1003的濾波。在輸入值“2”來作為濾波器種類數據FilterType1的情況下，開關1001和開關1002切換到端子“2”側，對解碼圖像數據Recon適用象素間濾波器B1004的濾波。在通過任一象素間濾波器實施象素間濾波運算的情況下，都會在將完成濾波解碼圖像數據FilteredImg1存儲在圖像存儲器205中，同時，輸出到圖像解碼裝置1000的外部，例如顯示裝置等。
如上所述，根據本發明的圖像解碼裝置1000，可解碼在頭部包含特定象素間濾波器種類的濾波器種類數據FilterType1的編碼數據Bitstream1。
本實施例的圖像解碼裝置具備的象素間濾波器雖為兩個，但也可具備3個以上的象素間濾波器。與本實施例一樣，只要根據編碼數據Bitstream內的濾波器種類數據，選擇3個以上象素間濾波器之一來使用即可。
如實施例1所示，在以圖象單位、或比圖象小的圖像區域單位來切換濾波器種類的情況下，在變更濾波器種類的時刻切換象素間濾波器。
圖7是表示在內部不具備指定象素間濾波器的情況下，代用具備的象素間濾波器的圖像解碼裝置1100的結構框圖。圖像解碼裝置1100的特征在于在圖像解碼裝置1100內不具備由編碼數據中包含的濾波器種類數據選擇的象素間濾波器的情況下，代替使用圖像編碼裝置1100中具備的任一象素間濾波器。該圖像解碼裝置1100具備可變長度解碼部201、圖像解碼部202、加法器203、圖像存儲器205、圖象間預測部206、開關1001、開關1002、象素間濾波器A1003、象素間濾波器B1004和濾波器種類數據變換部1101。
例如，設圖像解碼裝置1100中僅具備濾波器種類數據FilterType1的值“1”和值“2”表示的兩種象素間濾波器A1003和象素間濾波器B1004。從外部向圖像解碼裝置1100輸入編碼數據Bitstream3。可變長度解碼部201可變長度解碼輸入的編碼數據Bitstream3，分離成差分圖像編碼數據CodedRes、預測參數數據PredParam和濾波器種類數據FilterType3，分別向圖像解碼部202輸出差分圖像編碼數據CodedRes，向圖象間預測部206輸出預測參數數據PredParam，向濾波器種類數據變換部1101輸出濾波器種類數據FilterType3。濾波器種類數據變換部1101在濾波器種類數據FilterType3的值為表示圖像解碼裝置1100中不具備的象素間濾波器的值“3”時，將濾波器種類數據FilterType3的值“3”變換為表示平滑度與例如圖像解碼裝置1100中具備的象素間濾波器中指定象素間濾波器最近似的象素間濾波器的“2”的值，作為濾波器種類數據FilterType4輸出。
通過執行這種變換處理，在圖像解碼裝置1100中，因為使用與編碼時不同的象素間濾波器，所以多少產生畫質惡化，但因為可進行接近原來解碼圖像的解碼處理，所以作為簡易的圖像解碼裝置是非常有效的。在輸入值“1”來作為濾波器種類數據FilterType4的情況下，開關1001和開關1002都切換到端子“1”側，對解碼圖像數據Recon適用象素間濾波器A1003的濾波。在輸入值“2”來作為濾波器種類數據FilterType4的情況下，開關1001和開關1002都切換到端子“2”側，對解碼圖像數據Recon適用象素間濾波器B1004的濾波。將作為象素間濾波器處理結果的完成濾波解碼圖像數據FilteredImg3輸出到圖像解碼裝置1100外的顯示裝置等。
如上所述，根據圖像解碼裝置1100，即使指定圖像解碼裝置100不具備的象素間濾波器的濾波器種類數據FilterType3在包含于輸入編碼數據Bitstream3中的情況下，也可代用內部具備的象素間濾波器來執行解碼。因此，不會導致大幅度的畫質惡化，可解碼編碼數據Bitstream。
在圖像解碼裝置1100具備的象素間濾波器(也包含沒有象素間濾波運算)為1個的情況下，可通過強制使用該象素間濾波器來執行解碼。
在本實施例的圖像解碼裝置中，雖具備兩個象素間濾波器(沒有象素間濾波運算也算作1個濾波器)，但即使有3個以上的象素間濾波器也可進行同樣的處理。即，作為1個象素間濾波器，也包含不執行象素間濾波運算，將解碼圖像數據Recon原樣存儲在圖像存儲器205中的處理。
如實施例1所示，在以圖象單位、或比圖象小的圖像區域單位來切換濾波器種類的情況下，在變更濾波器種類的時刻切換象素間濾波器。
用圖9和圖10來更詳細說明象素間濾波器303、304、1003、1004的動作。圖9是表示作為象素間濾波器一例的分塊濾波器的運算內容的圖。圖9(a)是表示濾波前的塊交界附近的象素值的圖。圖9(b)是表示濾波后的塊交界附近的象素值的圖。圖10是表示象素間濾波器的濾波處理流程的流程圖。圖9(a)表示同一水平掃描線上的象素601-象素608中的各個象素值。象素601-象素604都是塊610內的象素，而象素605-象素608是鄰接于塊610的塊611內的象素。象素601-象素604的象素值分別為p3、p2、p1和p0，象素605-象素608的象素值分別為q0、q1、q2和q3。在圖像編碼裝置中，通過以塊(或宏塊)等為單位來執行圖象間預測、圖像編碼、可變長度編碼和圖像解碼等處理。因此，跨過相鄰塊(或宏塊)間的交界、例如塊610與塊611的交界的象素間、例如象素604與象素605中，在高頻下容易產生編碼噪聲。例如，在圖9(a)所示象素604的象素值p0與象素605的象素值q0中，傾向于象素值的差由于編碼噪聲的影響而容易變大。因此，象素間濾波器可使用多個參照來決定濾波器，例如是對應于決定濾波器的參數α、β的濾波器，通過該象素間濾波器來濾波跨過塊交界的象素組的象素值。
如圖10所示，象素間濾波器首先求出跨過塊交界的象素604與象素605的象素值的差(p0-q0)的絕對值，判斷求出的絕對值是否小于參數α的值(S701)。判斷結果，若象素值的差(p0-q0)的絕對值大于參數α的值，則象素間濾波器對由解碼圖像數據Recon表示的象素值不執行分塊濾波處理(S704)。另一方面，若步驟S701中的判斷結果是跨過塊交界的相鄰象素間的象素值差(p0-q0)的絕對值小于參數α，則象素間濾波器還求出象素604與象素603的象素值之差(p1-q0)的絕對值，判斷求出的絕對值是否小于參數β的值(S702)。這里，象素604和象素603是同一塊610內的相鄰象素。判斷結果，若象素值之差(p1-q0)的絕對值大于參數β的值，則象素間濾波器503對由解碼圖像數據Recon表示的象素值不執行分塊濾波處理(S704)。另外，若判斷結果是象素值差(p1-q0)的絕對值小于參數β，則還求出象素605與象素606的象素值之差(q1-q0)的絕對值，判斷求出的絕對值是否小于參數β的值(S703)。這里，象素605和象素606是同一塊611內的相鄰象素。判斷結果，若象素值之差(q1-q0)的絕對值大于參數β的值，則象素間濾波器對由解碼圖像數據Recon表示的象素值不執行分塊濾波處理(S704)。另一方面，若象素值之差(q1-q0)的絕對值小于參數β的值，則象素間濾波器503對解碼圖像數據Recon執行濾波，去除編碼噪聲，結束處理。象素間濾波器對跨過塊交界的水平掃描線方向和垂直掃描線方向的各象素列重復以上處理。從而，在3組相鄰象素的象素值之差都小于一定值的情況下，通過實施分塊濾波處理，去除失真。
在上述步驟S704的分塊濾波處理中，對交界附近的象素執行平滑處理濾波(抑制高頻分量濾波)。例如，可對象素604的象素值p0、象素605的象素值q0、象素603的象素值p1和象素606的象素值q1使用抑制高頻分量的低通濾波器(Low Pass Filter)來生成平滑處理產生的象素604的新的象素值P0。
(實施例2)圖8是表示根據實施例2的圖像編碼裝置500的結構框圖。圖像編碼裝置500與圖像編碼裝置300的不同之處在于作為象素間濾波處理，可選擇將解碼圖像數據Recon作為參考圖像數據Ref原樣存儲在圖像存儲器107中。
圖像編碼裝置500具備差分器101、圖像編碼部102、圖像解碼部104、加法器105、圖像存儲器107、圖象間預測部108、圖象間預測推定部109、開關501、開關502、象素間濾波器503、表格保持部504和可變長度編碼部505。
在濾波器種類數據FilterType2的值為“0”時，開關501和開關502都切換到端子“0”側，將從加法器105輸出的解碼圖像數據Recon原樣存儲在圖像存儲器107中。在濾波器種類數據FilterType2的值為“1”時，開關501和開關502都切換到端子“1”側，將從加法器105輸出的解碼圖像數據Recon導向象素間濾波器503。象素間濾波器503是用于象素值濾波的濾波器，例如是抑制塊交界中高頻分量的編碼噪聲的分塊濾波器。將通過象素間濾波器503進行象素間濾波運算的完成濾波解碼圖像數據FilteredImg2存儲在圖像存儲器107中。可變長度編碼部505可變長度編碼濾波器種類數據FilterType2、差分圖像編碼數據CodedRes和預測參數數據PredParam，匯聚成圖5(a)所示的1個編碼數據Bitstream2，輸出到圖像編碼裝置500的外部。
圖像編碼裝置500具備的象素間濾波器為1個，但也可以是2個以上象素間濾波器。選擇2個以上象素間濾波器之一或無象素間濾波運算并使用，編碼數據中最好包含表示使用的象素間濾波器種類(包含無象素間濾波運算)的濾波器種類數據。另外，圖像編碼裝置500中也可省略表格保持部504，而在象素間濾波器503的內部具備表格保持部504的功能。
如上所述，在本發明的圖像編碼裝置500中，可使用對應于再現從該圖像編碼裝置500輸出的編碼數據Bitstream2的圖像解碼裝置處理能力的象素間濾波器來生成編碼數據。另外，可對應于圖像編碼裝置500的處理能力來選擇象素間濾波器。另外，也可以圖象單位或比圖象還小的圖像區域單位來切換濾波器種類。
圖11是表示可選擇進行或不進行象素間濾波處理的根據實施例2的圖像解碼裝置1200的結構框圖。圖像解碼裝置1200與圖6的圖像解碼裝置1000的不同點在于可選擇不執行象素間濾波運算，作為象素間濾波處理，將解碼圖像數據Recon作為參考圖像數據Ref，原樣存儲在圖像存儲器205中。圖像解碼裝置1200具備可變長度解碼部201、圖像解碼部202、加法器203、圖像存儲器205、圖象間預測部206、開關1201、開關1202和象素間濾波器1203。
向圖像解碼裝置1200輸入例如由圖8的圖像編碼裝置500編碼的圖9(a)的編碼數據那樣、在頭內包含表示編碼時適用的象素間濾波器的濾波器種類數據FilterType2的編碼數據Bitstream2。在濾波器種類數據FilterType2中包含作為濾波器種類的表示“無象素間濾波運算”的值。可變長度解碼部201可變長度解碼輸入的編碼數據Bitstream2，分離成差分圖像編碼數據CodedRes、預測參數數據PredParam和濾波器種類數據FilterType2，將分離后的差分圖像編碼數據CodedRes、預測參數數據PredParam和濾波器種類數據FilterType2分別輸出到圖像解碼部202、圖象間預測部206和開關1201及開關1202。
在輸入值“0”來作為濾波器種類數據FilterType2的情況下，開關1201和開關1202都切換到端子“0”側，將從加法器203輸出的解碼圖像數據Recon原樣存儲在圖像存儲器205中。在輸入值“1”來作為濾波器種類數據FilterType2的情況下，開關1201和開關1202都切換到端子“1”側，對解碼圖像數據Recon適用象素間濾波器1203的濾波。
另外，也可在根據濾波器種類數據來判斷作為參考圖像的解碼圖像中未使用象素間濾波器的情況下，在將該解碼圖像作為參考圖像存儲在圖像存儲器中時，不進行象素間濾波器的濾波，僅在向圖像解碼裝置的外部輸出時，才使用象素間濾波器。圖12是表示在圖像輸出部中還具備可選擇象素間濾波器的圖像解碼裝置1300的結構框圖。如上所述，圖像解碼裝置1300是如下的圖像解碼裝置在濾波器種類數據FilterType2表示對從加法器203輸出的解碼圖像不執行象素間濾波器的濾波時，對圖像存儲器中存儲的解碼圖像不濾波，通過設置在輸出側的象素間濾波器來對輸出到外部的解碼圖像執行濾波，具備可變長度解碼部201、圖像解碼部202、加法器203、圖像存儲器205、圖象間預測部206、開關1201、開關1202、象素間濾波器1203、開關1301、開關1302和象素間濾波器1303。
在濾波器種類數據FilterType2的值為“1”的情況下，開關1201、開關1202、開關1301、開關1302都切換到端子“1”側。此時，開關1201和開關1202導通加法器203的輸出、象素間濾波器1203和圖像存儲器205，開關1302截斷開關1202的輸出與象素間濾波器1303的導通，與開關1301短路。因此，象素間濾波器1203對解碼圖像數據Recon執行濾波運算，輸出完成濾波解碼圖像數據FilterdImg3。將完成濾波解碼圖像數據FilterdImg3作為輸出圖像OutImg原樣、即不由象素間濾波器1303重復濾波地輸出到圖像解碼裝置外的顯示裝置等。在濾波器種類數據FilterType2的值為“0”的情況下，開關1201、開關1202、開關1301、開關1302都切換到端子“0”側。此時，開關1201截斷加法器203的輸出與象素間濾波器1203的導通，與開關1202短路。另一方面，開關1302導通開關1202的輸出、象素間濾波器1303與開關1301的外部輸出端子。因此，象素間濾波器1203不對從加法器203輸出的解碼圖像數據Recon執行象素間濾波運算，而作為參考圖像，原樣存儲在圖像存儲器205中。從開關1202的輸出側取得的解碼圖像數據Recon、即實際上未濾波的完成濾波解碼圖像數據FilterdImg3由象素間濾波器1303實施象素間濾波運算，作為輸出圖像OutImg，輸出到圖像解碼裝置1300以外的顯示裝置等。
這里，為了說明，將象素間濾波器1203和象素間濾波器1303記載為不同的結構要素，但安裝上也可使用相同的象素間濾波器(因為兩個象素間濾波器不同時動作，所以即使使用相同的象素間濾波器也沒問題)。另外，象素間濾波器1203和象素間濾波器1303也可是現有的象素間濾波器106，或是圖8所示內置表格保持部504的象素間濾波器503。并且，也可以是內置多個保持參數表620的表格保持部504的象素間濾波器503。此時，還必需向象素間濾波器503輸入濾波器種類數據FilterType2’。
如上所述，根據圖像解碼裝置1300，即使對成為參考圖像的解碼圖像不實施濾波的情況下，也可對該解碼圖像實施象素間濾波器的濾波，所以在顯示從圖像解碼裝置1300輸出的輸出圖像OutImg的顯示裝置中，可顯示更高畫質的動態圖像。這在對成為參考圖像的解碼圖像不實施濾波的情況下，處理能力有余量的設備情況下特別有效。
如實施例1所示，在以圖象單位、或比圖象小的圖像區域單位來切換由濾波器種類數據FilterType2表示的象素間濾波器的種類的情況下，在變更濾波器種類的時刻切換象素間濾波器。
圖13是表示可對應于各圖象的圖象類型來選擇象素間濾波器1203的圖像解碼裝置1400的結構框圖。圖像解碼裝置1400是解碼是否將完成解碼的圖象用作參考圖像的信息、例如包含各圖象的圖象種類等的編碼數據的圖像解碼裝置，具備圖像解碼部202、加法器203、圖像存儲器205、圖象間預測部206、象素間濾波器1203、可變長度解碼部1401、開關1402、開關1403和圖象種類數據變換部1404。
可變長度解碼部1401可變長度解碼從外部輸入的編碼數據Bitstream4，并分離成圖象種類數據Ptype、差分圖像編碼數據CodedRes和預測參數數據PredParam。分別將分離后的圖象種類數據Ptype輸出到圖象種類數據變換部1404，將差分圖像編碼數據CodedRes輸出到圖像解碼部202，將預測參數數據PredParam輸出到圖象間預測部206。圖象種類數據Ptype是表示該圖象是否可被用作參考圖像的信息。例如，在作為國際標準參考的MPEG-1、2中，編碼數據中包含每幀中稱為圖象類型的信息，稱為B圖象的幀不被用作參考圖像。因此，也可將編碼數據中包含的圖象類型用作本實施例的圖象種類數據。若對不被用作參考圖像的圖象執行象素間濾波器的濾波時，不會對其它圖象解碼產生過多壞影響。
這里，圖像解碼裝置1400在該圖象不被用作參考圖像的情況下不執行象素間濾波。例如，在圖像解碼裝置1400的處理能力低，在再現時刻不能執行與時間一致的解碼時，通過不對未被用作參考圖像的圖象執行象素間濾波器的濾波，可減輕圖像解碼裝置1400的處理量。當用圖13的框圖來說明時，首先，圖象種類數據變換部1404若輸入的圖象種類數據Ptype表示B圖象以外的圖象，即表示將該圖象用作參考圖像，則開關1402和開關1403都被切換到端子“1”。從而，圖像解碼裝置1400使用象素間濾波器1203，對解碼圖像數據Recon執行象素間濾波運算，將運算結果作為完成濾波解碼圖像數據FilterdImg5存儲在圖像存儲器205中，同時，輸出到圖像解碼裝置1400以外的顯示裝置等。另一方面，圖象種類數據Ptype若表示該圖象是B圖象，即該圖象不被用作參考圖像，則開關1402和開關1403被切換到端子“0”，不使用象素間濾波器1203，將從加法器105輸出的解碼圖像數據Recon原樣輸出到外部。
如上所述，根據圖像解碼裝置1400，因為對沒有參考其它圖象的B圖象省略了象素間濾波器1203的濾波，所以對其它圖象的解碼沒有產生大的影響，可減輕編碼數據Bitstream的解碼要求的處理量。另外，因為圖像解碼裝置1400對應于編碼數據的圖象類型來選擇象素間濾波器，所以象素間濾波器的選擇信息未進入圖象頭(ヘツダ)等頭信息中，即使對從現有圖像編碼裝置輸出的編碼數據，也可省略對未參考圖像的濾波處理，可減輕濾波處理的負載。
未參照的圖象無不進行濾波處理無關，例如圖13所示，不必保存在圖像存儲器205中。由此，只要在僅保存參照的圖象、在圖像存儲器205中進行濾波處理的數據即可。
嚴格地說不意味著未參照B圖象的圖像，還考慮參照B圖像的圖像編碼方法。因此，不是單純由圖象類型來選擇象素間濾波器，若判斷是否實際參照的圖象，則即使在參照B圖象的情況下，也可進行更適當的處理。即使在參照B圖象的情況下，為了簡化安裝，也單純地由圖象類型來進行切換。
另外，不切換是否執行象素間濾波器，如圖6或圖7所示，也可由圖象種類或是否參考圖象來切換象素間濾波器1003、象素間濾波器1004與兩個濾波器。
另外，說明通過圖象種類和是否參考圖象來切換象素間濾波器的圖像解碼裝置的實例，但即使在圖像編碼裝置中也可同樣執行該切換。
(實施例3)圖14是表示根據本發明實施例3的圖像編碼裝置1500的功能結構框圖。圖像編碼裝置1500由具備CPU、存儲器、安裝了圖像編碼用程序的硬盤(HD)等的計算機裝置實現，作為功能，具備操作接收部1505、前處理部1510、減法部1512、正交變換部1513、量化部1514、可變長度編碼部1517、后處理部1520、逆量化部1521、逆正交變換部1522、加法部1524、開關部1530、象素間濾波器1540、圖像存儲器1541、運動檢測部1542、運動補償部1543、優先順序決定部1550和濾波器處理控制部1560。
操作接收部1505接收操作者的輸入操作。前處理部1510具備模式變換部，將輸入的圖像信號模式變換為由操作接收部1505的操作指定的空間分辨率；和圖象重新排列部，與圖象種類一致，重新排列圖象，等，依次輸出圖象種類和各幀的幀圖像等。
圖象類型中有畫面內編碼模式時生成的、無參考圖像的I圖象(IntraPicture面內編碼圖像)、畫面間編碼模式時生成的僅參照1個圖象的P圖象(Predictive Picture預測編碼圖像)及還可參照后方圖像的B圖象(BiPredictive Picture多個預測圖像)，限制在畫面間編碼模式時的運動檢測時，存儲在圖像存儲器1541中的可由運動檢測部5142同時參照的解碼圖像個數。
另外，在編碼幀圖像的情況下，有使用3個圖象種類來編碼情況的模式(下面還將該模式稱為IPB編碼模式)、和僅使用I圖象和P圖象這兩個圖象來進行編碼情況的模式。在僅使用I圖象和P圖象這兩個圖象來進行編碼情況的模式下，有對可參照的P圖象及不可參照的P圖象進行編碼的模式(下面還將該模式稱為第1IP編碼模式)、和對層次編碼中的基本層的P圖象、可由增強層參照的P圖象及不可由增強層參照的P圖象進行編碼的模式(下面還將該模式稱為第2IP編碼模式)。所謂層次編碼是將圖象分成基本層和增強層這兩個層，基本層是可僅由基本層的圖象組單獨再現的集合，增強層是為了編碼、解碼而必需基線圖象組的圖象組。若僅是基本層，則位數少，若基本層與增強層結合，則位數多，但圖象數變多，所以基線在所有情況下記錄、傳送，增強層僅在必需高畫質的情況下記錄、傳送，可容易實現兩種用途是層次編碼的特征。
在第1IP編碼模式的情況下，在向幀圖像附加[有可能]或[無可能]的信息的同時，向圖象種類附加[有可能]或[無可能]的信息。另外，在第2編碼模式的情況下，向幀圖像附加[基本]、[有可能]或[無可能]的信息的同時，向圖象種類附加[基本]、[有可能]或[無可能]的信息。
減法部1512在畫面內編碼模式時原樣輸出從前處理部1510輸出的幀圖像，在畫面間編碼模式時，計算作為幀圖像與從運動補償部1543輸出的運動補償圖像的差分值的運動補償誤差(殘差圖像)。
正交變換部1513通過分別對從減法部1512輸出的畫面內編碼模式時的幀圖像及畫面間編碼模式時的運動補償誤差執行離散余弦變換等正交變換，輸出變換為頻域的頻率分量。量化部1514通過量化從正交變換部1513輸出的頻率分量，輸出量化值。可變長度編碼部1517通過對從量化部1514輸出的量化值使用分配對應于發生頻度的碼長的可變長度碼(霍夫曼碼)，輸出還實施信息壓縮的編碼信號。后處理部1520具有暫時存儲編碼信號等的緩沖器、和控制量化部1514中的量化寬度用的速率控制部等，將上述運動矢量、圖象種類等、和從可變長度編碼部1517輸出的編碼信號變換為位流的編碼信號后輸出。
逆量化部1521通過逆量化量化部1514生成的量化值，解碼頻率分量。逆正交變換部1522通過逆正交變換由逆量化部1512解碼的頻率分量，在畫面內編碼模式時解碼幀圖像，在畫面間編碼模式時解碼作為象素差分值的運動補償誤差(殘差圖像)。加法部1524在畫面內編碼模式時原樣輸出由逆正交變換部1522解碼的幀圖像(解碼圖像)，在畫面間編碼模式時，通過將由逆正交變換部1522解碼的殘差圖像和由運動補償部1543生成的運動補償圖像相加，解碼幀圖像。
開關部1530由通過濾波處理控制部1560對每個圖象的開關ON/OFF控制、同步切換開關形態的一對開關1531、1532構成，將象素間濾波器1540組裝環內，或離開環，即，跳過象素間濾波器1540的處理。象素間濾波器1540在開關1531、1532ON時，對從加法部1524輸出的解碼圖像，以塊單位執行空間低通濾波處理，生成沒有塊失真等的解碼圖像。例如，算出某個象素、其周圍象素與平均值，若某個象素與周圍象素的差在規定范圍內，則一個一個地對塊交界附近的象素執行將該某個象素置換成算出的平均值的處理。
圖像存儲器1541以多個幀大小存儲從開關部1530輸出的解碼圖像。從而，可在與解碼從后處理部1520輸出的編碼信號的圖像解碼裝置相同的狀態下，監視解碼圖像，并將解碼圖像用作畫面間編碼模式時的參考圖像。在第1IP編碼模式和第2IP編碼模式中，必需將附加有參照可能性信息的P圖象解碼圖像存儲在圖像存儲器1541中，不必將附加無參照可能性的信息的P圖象解碼圖像存儲在圖像存儲器1541中。因此，有/無可能性的信息表示與將解碼圖像存儲/不存儲到圖像存儲器1541中相同的含義。
運動檢測部1542在畫面間編碼模式時，從存儲在圖像存儲器1541中的解碼圖像中檢索與從前處理部1510輸出的幀圖像的差分最小的參考圖像，輸出作為差分象素運動量的運動矢量。在輸出運動矢量時，輸出參考圖像是前方圖像、后方圖像、兩圖像的平均值等塊預測種類。運動補償部1543執行由運動矢量及塊預測種類表示的運算，生成運動補償圖像。優先順序決定部1550對應于圖象種類、基本層、增強層，輸出該圖象的優先級。濾波器處理控制部1560對應于從優先順序決定部1550輸出的優先級或CPU運轉率，ON/OFF控制開關1531、1532。
圖15是表示圖14所示優先順序決定部1550的詳細功能結構的框圖。如圖所示，優先順序決定部1550對應于圖象種類及基本層、增強層來輸出圖象的優先級，如圖15所示，由3個表格1551-1553、選擇器1554和決定處理部1555構成。在第2IP編碼模式中的P圖象的情況下，還向圖象種類附加表示[基本]、[有參照可能性]或[無]的信息。
表格1551在通過操作接收部1505的操作來指定IPB編碼模式情況下被選擇，是對應幀圖像的圖象種類和優先級的表格，在I圖象中，優先級設定為
，在P圖象中，優先級設定為[1]，在B圖象中，優先級設定為[2]。另外，設定為隨著數值變大，優先級變低。
表格1552在通過操作接收部1505的操作來指定第1IP編碼模式情況下被選擇，是對應幀圖像的圖象種類和優先級的表格，在I圖象中，優先級設定為
，在P(有參照可能性)圖象中，優先級設定為[1]，在P(無參照可能性)圖象中，優先級設定為[2]。
表格1553是在指定第2IP編碼模式I、P(基本、有參照可能性、無參照可能性)編碼模式的情況下被選擇的表格，是對應幀圖像的圖象種類和優先級的表格，在I圖象中，優先級設定為
，在P(基本)圖象中，優先級設定為[1]，在P(有參照可能性)圖象中，優先級設定為[2]，在P(無參照可能性)圖象中，優先級設定為[3]。
選擇器1554根據由操作接收部1505指定的編碼模式(IPB編碼模式、第1IP編碼模式)，選擇表格1551-1553之一。決定處理部1555參照由選擇器1554選擇的表格，決定對應于從前處理部1510輸出的圖象種類及基本層、增強層的優先級，輸出決定的優先級。具體而言，在指定IPB編碼模式的情況下，選擇器1554選擇表格1551，決定處理部1555在每次從前處理部1510輸出圖象種類時，輸出對應于I圖象、P圖象、B圖象的優先級。另外，在指定第1IP編碼模式的情況下，選擇器1554選擇表格1552，決定處理部1555根據圖像種類、附加在P圖象上的數據([有可能性]、[無可能性])，輸出優先級。并且，在指定第2IP編碼模式的情況下，選擇器1554選擇表格1553，決定處理部1555根據圖像種類、附加在P圖象上的數據(參照的[基本]、[有可能性]、[無可能性])，輸出優先級。
圖16是表示圖14所示濾波器處理控制部1560的詳細功能結構的框圖。如圖所示，濾波處理控制部1560對應于從優先順序決定部1550輸出的優先級及CPU運轉率，ON/OFF控制開關1531、1532，如圖16所示，由3個表格1561-1563、選擇器1564和開關切換處理部1565構成。表格1561在指定IPB編碼模式的情況下被選擇，是表示實施濾波處理情況下的優先級與CPU運轉率的組合的表格，設定在CPU的運轉率小于70％、優先級為0-2的情況下，開關ON，在CPU的運轉率大于70％小于80％、優先級僅為0和1的情況下，開關ON，在CPU的運轉率大于80％、優先級僅為0的情況下，開關ON。
表格1562在指定第1IP編碼模式的情況下被選擇，是表示實施濾波處理情況下的優先級與CPU運轉率的組合的表格，設定在CPU的運轉率小于70％、優先級為0-2的情況下，開關ON，在CPU的運轉率大于70％小于80％、優先級僅為0和1的情況下，開關ON，在CPU的運轉率大于80％、優先級僅為0的情況下，開關ON。
表格1563在指定第2IP編碼模式的情況下被選擇，是表示實施濾波處理情況下的優先級與CPU運轉率的組合的表格，設定在CPU的運轉率小于70％、優先級為0-3的情況下，開關ON，在CPU的運轉率大于70％小于80％、優先級僅為0、1和2的情況下，開關ON，在CPU的運轉率大于80％、優先級僅為0和1的情況下，開關ON。
選擇器1564根據由操作接收部1505指定的編碼模式(IPB編碼模式、新第1IP編碼模式)，選擇表格1561-1563之一。開關切換處理部1565參照由選擇器1564選擇的表格，根據對從優先順序決定部1550輸出的各優先級和圖象取得的CPU運轉率，輸出開關ON或OFF信號，ON/OFF控制開關部1530的開關1531、1532。
具體而言，在指定IPB編碼模式的情況下，選擇器1564選擇表格1561，開關切換處理部1565在CPU運轉率小于70％的情況下，對所有I圖象、P圖象、B圖象輸出開關ON信號。另外，在CPU運轉率大于70％小于80％的情況下，開關切換處理部1565僅在I圖象和P圖象的情況下輸出開關ON信號。另外，在CPU運轉率大于80％的情況下，開關切換處理部1565僅在I圖象的情況下輸出開關ON信號。
另外，在指定第1IP編碼模式的情況下，選擇器1564選擇表格1562，開關切換處理部1565在CPU運轉率小于70％的情況下，對所有I圖象、P圖象(有可能性)、P圖象(無可能性)輸出開關ON信號。另外，在CPU運轉率大于70％小于80％的情況下，開關切換處理部1565僅在I圖象和P圖象(有可能性)的情況下輸出開關ON信號。另外，在CPU運轉率大于80％的情況下，開關切換處理部1565僅在I圖象的情況下輸出開關ON信號。
并且，在指定第2IP編碼模式的情況下，選擇器1564選擇表格1563，開關切換處理部1565對所有I圖象、P圖象(基本)、P圖象(有可能性)、P圖象(無可能性)輸出開關ON信號。另外，在CPU運轉率大于70％小于80％的情況下，開關切換處理部1565僅在I圖象、P圖象(基本)、P圖象(有可能性)的情況下輸出開關ON信號。另外，在CPU運轉率大于80％的情況下，開關切換處理部1565僅在I圖象、P圖象(基本)的情況下輸出開關ON信號。
接著，說明如此構成的圖像編碼裝置1500的動作。
在將幀圖像作為I圖象進行編碼的畫面內編碼模式時，通過正交變換部1513的正交變換將從前處理部1510輸出的幀圖像壓縮編碼成頻率分量，通過量化部1514的量化壓縮編碼成量化值。該量化值可通過可變長度編碼部1517的可變長度編碼進行可變長度壓縮編碼，通過后處理部1520變換為I圖象的位流編碼信號，存儲在硬盤等存儲媒體中。
另一方面，從量化部1514輸出的量化值由逆量化部1521的逆正交變換解碼成頻率分量，由逆正交變換部1522的逆正交變換解碼成幀圖像。解碼后的幀圖像(解碼圖像)在控制開關1531、1532通過濾波處理控制部1560的控制ON的情況下，由象素間濾波器1540實施去除塊失真的濾波處理后，存儲在圖像存儲器1541中，在OFF開關1531、1532的情況下，不實施濾波處理，存儲在圖像存儲器1541中。
另外，在將幀圖像作為P圖象及B圖象進行編碼的畫面間編碼模式時，由運動檢測部1542生成運動矢量，由運動補償部1543生成運動補償圖像(預測圖像)，由減法部1512生成運動補償誤差(差分圖像)。運動檢測部1542根據前方或后方的1個或多個參考圖像，檢索圖像存儲器1541中存儲的解碼圖像中與從前處理部1510輸出的幀圖像的差分最小的預測圖像。
圖17是表示存儲在圖像存儲器1541中的幀圖像的參照關系的圖。尤其是，圖17(a)是表示IPB方式情況預測中的參考圖像的圖，圖17(b)是表示第1IP方式情況預測中的參考圖像的圖，圖17(c)是表示第2IP方式情況預測中的參考圖像的圖。在各方式的各圖象下欄中示出對應于該圖象的優先順序(優先級)。
在圖17(a)的IPB方式情況的P圖象預測中，可參照前方的I圖象及P圖象。在B圖象的預測中，可參照前方的I圖象或P圖象，同時，可參照1個后方時間上最近的I圖象或P圖象。
在H.26L的B圖象預測中，除I圖象、P圖象外，也可將B圖象作為前方圖像來參照。在將B圖象用作參考圖像的模式情況下，在向B圖象的幀圖像附加[有可能性]或[無可能性]的信息的同時，向圖象種類附加[有可能性]或[無可能性]的信息。另外，在該模式中，必需將附加有參照可能性信息的B圖象解碼圖像存儲在圖像存儲器1541中，不必將附加無參照可能性信息的B圖象解碼圖像存儲在圖像存儲器1541中。
在圖17(b)的第1IP方式情況中的P(有參照可能性)圖象的預測中，可參照前方的I圖象及P(有參照可能性)圖象。在P(無參照可能性)圖象的預測中，可參照前方的I圖象或P(有參照可能性)圖象。
在圖17(c)的第2IP方式情況中的P(基本)圖象的預測中，可參照前方的I圖象及P(基本)圖象。在P(有參照可能性)圖象的預測中，可參照前方的I圖象或P(基本)圖象。在P(無參照可能性)圖象的預測中，可參照多個前方的I圖象、P(基本)圖象或P(有參照可能性)圖象。
為了說明方便，說明指定IPB編碼模式的情況。
在這種限制下，運動檢測部1542輸出檢索的參考圖像與從前處理部1510輸出的幀圖像的差分象素的運動量，作為運動矢量，同時，輸出表示參考圖像是前方圖像、后方圖像或是雙向圖像平均值的塊預測種類。運動補償部1543對差分象素執行由從運動檢測部1542輸出的運動矢量和塊預測種類表示的運算，生成運動補償圖像。減法部1512通過將從前處理部1510輸出的幀圖像與由運動補償部1543生成的運動補償圖像相減，生成運動補償誤差(差分圖像)。
從減法部1512輸出的運動補償誤差(差分圖像)通過正交變換部1513的正交變換，壓縮編碼成頻率分量，通過量化部1514的量化壓縮編碼成量化值。該量化值可通過可變長度編碼部1517的可變長度編碼進行可變長度壓縮編碼，通過后處理部1520，與運動矢量等一起變換為P圖象或B圖象的位流編碼信號，存儲在硬盤等存儲媒體中。
另一方面，從量化部1514輸出的具有參照可能性的P圖象或B圖象的量化值由逆量化部1521的逆正交變換解碼成頻率分量，由逆正交變換部1522的逆正交變換解碼成運動補償誤差(差分圖像)。通過由加法部1524將運動補償誤差(差分圖像)與運動補償圖像相加，解碼成幀圖像。解碼后的幀圖像(解碼圖像)在控制開關1531、1532通過濾波處理控制部1560的控制ON的情況下，由象素間濾波器1540實施去除塊失真的濾波處理后，存儲在圖像存儲器1541中，在OFF開關1531、1532的情況下，不實施濾波處理，存儲在圖像存儲器1541中。
這里，詳細說明濾波處理控制部1560的開關1531、1532的ON/OFF控制。
圖18是表示濾波處理控制部1560的開關切換處理部1565執行的開關驅動處理的流程圖。
可是，優先順序決定部1550的決定處理部1555參照由選擇器1554選擇的表格1551，對從前處理部1510輸出的每個圖象決定對應于圖象種類的優先級，輸出決定的優先級。具體而言，在指定IPB編碼模式的情況下，選擇器1554選擇表格1551，決定處理部1555在每次從前處理部1510輸出圖象種類時，在I圖象的情況下，輸出優先級
，在P圖象的情況下，輸出優先級[1]，在B圖象的情況下，輸出優先級[2]。
濾波處理控制部1560的開關切換處理部1565在每次圖象編碼時取得該圖象的優先級和圖像編碼裝置1500具備的CPU運轉率(S21)，決定表格(圖16的實例中為表格1561)參照的入口(entry)(S22)。
具體而言，若CPU運轉率小于70％，則將參照的入口決定為第1行，若CPU運轉率大于70％小于80％，則將參照的入口決定為第2行，若CPU運轉率大于80％，則將參照的入口決定為第3行。
若決定結束參照入口，則開關切換處理部1565讀取該入口的右欄(S23)，判斷對解碼圖像的圖象種類設定的優先級是否在右欄(S24)。若在右欄(S24為是)，則開關切換處理部1565向開關1531、1532輸出開關接通的信號(S25)。從而對解碼圖像實施濾波處理，將實施了濾波處理的解碼圖像存儲在圖像存儲器1541中。
相反，若不在右欄(S24為否)，則開關切換處理部1565向開關1531、1532輸出開關斷開的信號(S26)。從而跳過對解碼圖像的濾波處理，不實施濾波處理，將解碼圖像存儲在圖像存儲器1541中。
對每個圖象執行這種控制，將實施了濾波處理的解碼圖像和未實施濾波處理的解碼圖像依次存儲在圖像存儲器1541中。因此，在圖像編碼中，通常不需要噪聲去除等象素間濾波器，必要時可選擇地附加象素間濾波器，例如，通過僅向對畫質影響大的幀圖像附加象素間濾波器，即使是處理能力小的圖像編碼裝置，也能維持圖像存儲器中存儲的重要幀的畫質，在圖像存儲器中存儲的解碼圖像中積累的塊失真變少，運動補償部的預測效率提高，與MPEG技術相比，還可減少畫質惡化，以低的位速率得到高的畫質改善效果。
即，因為優先向對其它幀圖像具有大的影響度的幀圖像、即畫面內編碼幀圖像、前向預測編碼幀圖像、基本層的幀圖像等實施象素間濾波，所以對相同處理負載的增大，可更有效地得到象素間濾波器的噪聲去除等畫質改善效果。
因為可控制濾波處理的ON/OFF，以充分發揮圖像編碼裝置的處理能力，所以可以高效率使用CPU，即使是相同的硬件資源，也可實現高畫質的編碼。
(實施例4)接著，說明根據本發明實施例的圖像解碼裝置。圖19是表示根據本發明實施例4的圖像解碼裝置1600的功能結構框圖。
圖像解碼裝置1600解碼由圖14所示圖像編碼裝置1500編碼的編碼信號，由具有CPU、存儲器、安裝圖像解碼用程序的硬盤(HD)等的計算機裝置實現，作為功能，具備前處理部1610、可變長度解碼部1617、逆量化部1621、逆正交變換部1622、加法部1624、開關部1630、象素間濾波器1640、后處理部1670、圖像存儲器1641、運動補償部1643、優先順序決定部1650和濾波處理控制部1660。
前處理部1610具備暫時存儲編碼信號的緩沖器等，分離包含在編碼信號中的圖象種類、運動矢量、圖像自身的編碼信號后輸出。另外，在圖像的編碼信號為第1IP編碼模式的情況下，在向幀圖像附加[有可能]或[無可能]的信息的同時，向圖象種類附加[有可能]或[無可能]的信息。另外，在第2編碼模式的情況下，向幀圖像附加[基本]、[有可能]或[無可能]的信息的同時，向圖象種類附加[基本]、[有可能]或[無可能]的信息。
可變長度解碼部1617通過對從前處理部1610輸出的編碼信號進行解碼(霍夫曼解碼)，輸出固定長度的量化值。逆量化部1621通過逆量化從可變長度解碼部1617輸出的量化值，解碼頻率分量。逆正交變換部1622通過逆正交變換由逆量化部1612解碼的頻率分量，在畫面內編碼模式時解碼幀圖像，在畫面間編碼模式時解碼作為象素差分值的運動補償誤差(殘差圖像)。
加法部1624在畫面內編碼模式時原樣輸出由逆正交變換部1622解碼的幀圖像(解碼圖像)，在畫面間編碼模式時，通過將由逆正交變換部1622解碼的運動補償誤差(殘差圖像)和由運動補償部1643生成的運動補償圖像相加，解碼幀圖像。開關部1630由通過濾波處理控制部1660對每個圖象的開關ON/OFF控制、同步切換開關形態的一對開關1631、1632構成，將象素間濾波器1640組裝環內，或離開環，即，跳過象素間濾波器1640的處理。
象素間濾波器1640在開關1631、1632ON時，對從加法部1624輸出的解碼圖像，以塊單位執行空間低通濾波處理，生成沒有塊失真等的解碼圖像。例如，算出某個象素、其周圍象素與平均值，若某個象素與周圍象素的差在規定范圍內，則一個一個地對塊交界附近的象素執行將該某個象素置換成算出的平均值的處理。
后處理部1670具有格式變換部，格式變換為規定空間分辨率；和畫面順序恢復部，將與圖象種類一致后重新排列的畫面恢復為原始順序，等，將解碼圖像輸出到監視器等。圖像存儲器1641以多個幀大小存儲從開關部1630輸出的具有參照可能性的解碼圖像。運動補償部1643對圖像存儲器1641中存儲的解碼圖像執行由從前處理部1610輸出的運動矢量及塊預測種類表示的運算，生成運動補償圖像。優先順序決定部1650與圖15所示的優先順序決定部1550結構相同，對應于從前處理部1610輸出的圖象種類、基本層、增強層，輸出該圖象的優先級。濾波處理控制部1660與圖16所示濾波處理控制部1560的結構相同，對應于從優先順序決定部1650輸出的優先級或通過監視得到的CPU運轉率，ON/OFF控制開關部1630的開關1631、1632。
接著，說明如此構成的圖像解碼裝置1600的動作。與圖像編碼裝置1500一致，為了說明方便，說明指定IPB編碼模式的情況。
在將I圖象的編碼信號解碼成幀圖像的畫面內編碼模式時，通過可變長度解碼部1617可變長度解碼從前處理部1610輸出的編碼信號，解碼成量化值，通過逆量化部1621的逆正交變換，擴展解碼成頻率分量，通過逆正交變換部1622的逆正交變換解碼成幀圖像(解碼圖像)。解碼后的幀圖像(解碼圖像)在開關1631、1632通過濾波處理控制部1660的控制ON的情況下，由象素間濾波器1640實施去除塊失真的濾波處理后，存儲在圖像存儲器1641中，同時，后處理部1670將圖像的順序恢復為原始順序，進行格式變換，輸出到監視器等。相反，在OFF開關1631、1632的情況下，解碼圖像不實施濾波處理就存儲在圖像存儲器1641中，同時，后處理部1670將圖像的順序恢復為原始順序，進行格式變換，輸出到監視器等。
另外，在將P圖象及B圖象的編碼信號解碼成幀圖像的畫面間編碼模式時，由可變長度解碼部1617可變長度解碼從前處理部1610輸出的編碼信號，解碼成量化值，通過逆量化部1621的逆正交變換，擴展解碼成頻率分量，通過逆正交變換部1622的逆正交變換，解碼成運動補償誤差(差分圖像)。
另一方面，通過運動補償部1643生成運動補償圖像(預測圖像)。運動補償部1643對從圖像存儲器1641中讀取的參考圖像的差分象素執行由從前處理部1610輸出的運動矢量和塊預測種類表示的運算，生成運動補償圖像。
通過由加法部1624將運動補償誤差(差分圖像)與運動補償圖像相加，解碼成幀圖像。解碼后的幀圖像(解碼圖像)在開關1631、1632通過濾波處理控制部1660的控制ON的情況下，由象素間濾波器1640實施去除塊失真的濾波處理后，后處理部1670將圖像的順序恢復為原始順序，進行格式變換，輸出到監視器等，同時，將具有參照可能性的解碼圖像存儲在圖像存儲器1641中。相反，在OFF開關1631、1632的情況下，不實施濾波處理，后處理部1670將圖像的順序恢復為原始順序，進行格式變換，輸出到監視器等，同時，將具有參照可能性的解碼圖像存儲在圖像存儲器1641中。這里，與圖像編碼裝置1500的開關1531、1532的情況一樣，由濾波處理控制部1660來ON/OFF控制開關1631、1632。
即，濾波處理控制部1660的開關切換處理部在每次圖象編碼時取得該圖象的優先級和圖像解碼裝置1600具備的CPU運轉率，決定IPB編碼模式用表格參照的入口，讀取該入口的右欄，判斷對解碼圖像的圖象種類設定的優先級是否在右欄。若在右欄，則濾波處理控制部1660的開關切換處理部向開關1631、1632輸出開關接通的信號。從而對解碼圖像實施濾波處理，將實施了濾波處理的解碼圖像存儲在圖像存儲器1641中。相反，若不在右欄，則濾波處理控制部1660的開關切換處理部向開關1631、1632輸出開關斷開的信號。從而跳過對解碼圖像的濾波處理，不實施濾波處理，將解碼圖像存儲在圖像存儲器1641中。
對每個圖象執行這種控制，將實施了濾波處理的解碼圖像和未實施濾波處理的解碼圖像依次存儲在圖像存儲器1641中。
因此，在圖像解碼中，通常不需要噪聲去除等象素間濾波器，必要時可選擇地附加象素間濾波器，例如，通過僅向對畫質影響大的幀圖像附加象素間濾波器，即使是處理能力小的圖像編碼裝置，也能維持圖像存儲器中存儲的重要幀的畫質，在圖像存儲器中存儲的解碼圖像中積累的塊失真變少，運動補償部的預測效率提高，與MPEG技術相比，還可減少畫質惡化，以低的位速率得到高的畫質改善效果。
即，因為優先向對其它幀圖像具有大的影響度的幀圖像、即畫面內編碼幀圖像、前向預測編碼幀圖像、基本層幀圖像等實施象素間濾波，所以對相同處理負載的增大，可更有效地得到象素間濾波器的噪聲去除等畫質改善效果。
因為可控制濾波處理的ON/OFF，以充分發揮圖像解碼裝置的處理能力，所以可以高效率使用CPU，即使是相同的硬件資源，也可實現高畫質的編碼。
本發明不僅可實現為這種圖像編碼裝置和圖像解碼裝置，而且還可實現將這些裝置具備的特征部作為頻率的圖像編碼方法和圖像解碼方法，或實現為在計算機中執行這些步驟的程序。另外，不用說，該程序可通過CD-ROM等記錄媒體或因特網等傳輸媒體進行流通。
(實施例5)通過將實現上述各實施例中所示圖像編碼方法或圖像解碼方法結構的程序記錄在軟盤等記錄媒體中，可在獨立計算機系統中簡單實施上述各實施例中所示處理。
圖20是使用存儲上述實施例1到實施例2的圖像編碼方法或圖像解碼方法的軟盤，由計算機系統進行實施的情況說明圖。
圖20(b)表示從軟件正面看到的外觀、截面結構及軟盤，圖20(a)表示作為記錄媒體主體的軟盤的物理格式的實例。軟盤FD內置于殼體F內，在該盤表面從外周向內周以同心圓狀形成多個軌道Tr，將各軌道沿角度方向分割成16個扇區Se。因此，在存儲上述程序的軟盤中，在上述軟盤FD上分配的區域中，記錄作為上述程序的圖像編碼方法。
另外，圖20(c)表示在軟盤FD上執行上述程序的記錄再現用的結構。在軟盤FD上記錄上述程序的情況下，從計算機系統Cs經軟盤驅動器寫入作為上述程序的圖像編碼方法或圖像解碼方法。另外，在通過軟盤內的程序將上述圖像編碼方法構筑在計算機系統中的情況下，由軟盤驅動器從軟盤中讀取程序，傳輸到計算機系統。
在上述說明中，說明將軟盤用作記錄媒體，但即使使用光盤也可一樣執行。另外，記錄媒體不限于此，若是IC卡、ROM盒等可記錄程序的媒體也可同樣實施。
圖21至圖24是說明執行上述實施例中所示編碼處理或解碼處理的設備和使用該設備的系統的圖。
圖21是表示實現內容配送服務的內容提供系統ex100的整體結構框圖。將通信服務的提供區域分割成期望大小，在各小區內分別設置作為固定無線站的基站ex107-ex110。該內容提供系統ex100例如經因特網服務提供商ex102和電話網ex104，將計算機ex111、PDA(personal digital assistant)ex112、攝像機ex113、便攜電話ex114連接于因特網ex101上。但是，內容提供系統ex100不限于圖21的組合，也可以是任意組合后連接。另外，也可不通過作為固定無線站的基站ex107-ex110而直接連接在電話網ex104上。
攝像機ex113是數字視頻攝像機等可動畫攝像的設備。另外，便攜電話是PDC(Personal Digital Communications)方式、CDMA(Code Division MultipleAccess)方式、W-CDMA(Wideband-Code Division Multiple Access)方式或GSM(Global System for Mobile Communications)方式的便攜電話機，或PHS(Personal Handyphone System)等，任一個都無妨。
從攝像機ex113經基站ex109、電話網ex104連接流動服務器(ストリ一ミングサ一バ)ex103，使用攝像機ex113可進行基于用戶發送的編碼處理數據的實況配送等。可由攝像機ex113來執行攝像數據的編碼處理，也可由進行數據發送處理的服務器等來執行。由攝像機116拍攝的動畫數據也可經計算機ex111發送到流動服務器ex103。攝像機ex116是數字攝像機等可拍攝靜止畫面、動畫的設備。此時，既可由攝像機ex116也可由計算機ex111任一來執行動畫數據的編碼。另外，在計算機ex111或攝像機ex116具有的LSIex117中處理編碼處理。也可將圖像編碼、解碼用軟件組裝作為計算機ex111等中讀取記錄媒體的任一存儲媒體(CD-ROM、軟盤、硬盤等)中。另外，也可由帶攝像機的便攜電話ex115來發送動畫數據。此時的動畫數據是由便攜電話115具有的LSI編碼處理的數據。
圖22是表示便攜電話ex115一例的圖。便攜電話ex115具有與基站ex110之間收發信電波用的天線ex201、CCD攝像機等可拍攝電影、靜止畫面的攝像部ex203、顯示解碼由攝像部203拍攝的電影、由天線ex201接收的電影等的數據的液晶顯示器等顯示部ex202、由操作鍵組構成的主體部ex204、進行聲音輸出用的揚聲器等聲音輸出部ex208、進行聲音輸入用的麥克風等聲音輸入部ex205、保持拍攝的動畫或靜止畫面數據、接收到的郵件數據、動畫數據或靜止畫面數據等編碼數據或解碼數據的存儲媒體ex207、可將存儲媒體ex207安裝在便攜電話ex115上的插槽部ex206。存儲媒體ex207為SD卡等在塑料殼體內容納作為可電改寫或擦除的非易失性存儲器EEPROM(Electrically Erasable andProgrammable Read Only Memory)的一種的閃存元件的媒體。
在內容提供系統ex100中，與上述實施例一樣編碼處理用戶用攝像機ex113、攝像機ex116等拍攝的內容(例如拍攝音樂現場的電影等)，發送給流動服務器ex103，另一方面，流動服務器ex103對有要求的客戶機流配送上述內容數據。作為客戶機，有可解碼上述編碼處理后的數據的計算機ex111、PDAex112、攝像機113ex、便攜電話ex114等。由此，內容提供系統ex100是如下系統可在客戶機接收編碼后的數據并再現，并在客戶機實時接收后進行解碼并再現，從而也可實現個人播放。
用圖23來說明便攜電話ex115。便攜電話ex115對于統一控制顯示部ex202和主體部ex204各部的主控制部ex311，通過同步總線ex313來彼此連接電源電路部ex310、操作輸入控制部ex304、圖像編碼部ex312、攝像機接口部ex303、LCD(Liquid Crystal Display)控制部ex302、圖像解碼部ex309、復用分離部ex308、記錄再現部ex307、解調電路部ex306及聲音處理部ex305。電源電路部ex310若由于用戶操作而結束通話及電源鍵變為接通狀態時，通過從電池組向各部供電，啟動帶攝像機的數字便攜電話ex115為可動作狀態。便攜電話ex115根據由CPU、ROM和RAM等構成的主控制部ex311的控制，在聲音通話模式時，通過聲音處理部ex305將由聲音輸入部ex205音響共鳴的聲音數據變換為數字聲音數據，由解調電路部ex306進行頻譜擴展處理，由收發信電路部ex301實施數字模擬變換處理及變頻處理后，經天線ex201發送。另外，便攜電話機ex115放大聲音通話模式時由天線ex201接收的接收數據，實施變頻處理及模擬數據變換處理，由解調電路部ex306進行頻譜逆擴展處理，由聲音處理部ex305變換為模擬聲音數據后，經聲音輸出部208輸出。并且，在數據通信模式時發送電子郵件的情況下，將通過主體部ex204的操作鍵操作輸入的電子郵件的文本數據經操作輸入控制部ex304送出到主控制部ex311。主控制部ex311在解調電路部ex306頻譜擴展處理文本數據，在收發信電路部ex301實施數字模擬變換處理及變頻處理后，經天線ex201發送給基站ex110。
在數據通信模式時發送圖像數據的情況下，將攝像部ex203拍攝的圖像數據經攝像機接口部ex303提供給圖像編碼部ex312。另外，在不發送圖像數據的情況下，也可將由攝像部ex203拍攝的圖像數據經攝像機接口部ex303和LCD控制部ex302直接顯示在顯示部ex202上。
圖像編碼部ex312通過上述實施例中示出的編碼方法進行壓縮編碼，將從攝像部ex203提供的圖像數據變換為編碼圖像數據，并將其發送給復用分離部ex308。另外，與此同時，便攜電話機ex115經聲音處理部ex305，將攝像部ex203在拍攝中由聲音輸入部ex205音響共鳴的聲音作為數字聲音數據發送給復用分離部ex308。
復用分離部ex308按規定方式復用從圖像編碼部ex312提供的編碼圖像數據和從聲音處理部ex305提供的聲音數據，由解調電路部ex306頻譜擴展處理結果得到的復用數據，在實施數字模擬變換處理及變頻處理后，由收發信電路部ex301經天線ex201進行發送。
在數據通信模式時，在接收鏈接主頁等的動態圖像文件的數據情況下，由解調電路部ex306頻譜逆擴展處理經天線ex201從基站ex110接收到的接收數據，將結果得到的復用數據發送給復用分離部ex308。
在解碼經天線ex201接收到的復用數據中，復用分離部ex308通過分離復用數據而分成編碼圖像數據和聲音數據，經同步總線ex313將該編碼圖像數據提供給圖像解碼部ex309，同時，將該聲音數據提供給聲音處理部ex305。
接著，圖像解碼部ex309通過由對應于上述實施例所示編碼方法的解碼方法解碼編碼圖像數據，生成再現動態圖像數據，經LCD控制部ex302提供給顯示部ex202，從而，顯示例如包含在鏈接在主頁上的動態圖像文件中的動畫數據。與此同時，聲音處理部ex305將聲音數據變換為模擬聲音數據后，提供給聲音輸出部ex208，從而，再現例如包含在鏈接在主頁上的動態圖像文件中的聲音數據。
另外，不限于上述系統實例，最近，衛星、地面波的數字播放成為話題，如圖24所示，也可在數字播放用系統中組裝上述實施例的至少編碼方法或解碼方法之一。具體而言，播放站ex409經電波將電影信息的編碼位流傳送給通信或播放衛星ex410。接收到位流的播放衛星ex410發送播放用電波，具有衛星播放接收設備的家庭天線ex406接收該電波，通過電視(接收機)ex401或機頂盒(STB)ex407等裝置解碼編碼位流，對其進行再現。另外，讀取記錄在作為記錄媒體的CD或DVD等存儲媒體ex402中的編碼位流，在編碼的再現裝置ex403中也可安裝上述實施例中所示圖像解碼裝置。此時，在監視器ex404中顯示再現的電影信號。另外，還考慮如下結構在與有線電視用電纜ex405或衛星/地面波播放天線ex406連接的機頂盒ex407內安裝圖像解碼裝置，由電視的監視器ex408來再現。此時也可不是機頂盒，而在電視內組裝圖像解碼裝置。另外，也可以由具有天線ex411的車ex412來從衛星ex410或從基站ex107接收信號，在車ex412具有的汽車導航系統ex413等的顯示裝置中再現動畫。
另外，也可由上述實施例所示圖像編碼裝置來編碼圖像信號，并記錄在記錄媒體中。作為具體例，有將圖像信號記錄在DVD盤ex421上的DVD記錄器、和記錄在硬盤中的盤式記錄器等記錄器ex420。還可記錄在SD卡ex422中。若記錄器ex420具有上述實施例所示圖像解碼裝置，則可再現DVD盤ex421或SD卡ex422中記錄的圖像信號，并顯示在監視器ex408中。
汽車導航系統ex413的結構雖與例如圖23所示便攜電話ex115一樣，但考慮從圖23所示結構中去除攝像部ex203和攝像機接口部ex303、圖像編碼部ex312的結構。同樣還可考慮計算機ex111或電視(接收機)ex401等。
另外，上述便攜電話ex114的終端除具有編碼器、解碼器兩者的收發信型終端外，考慮僅編碼器的發送終端、僅解碼器的接收終端的三種安裝形式。
因此，通過本說明書中示出的編碼方法、解碼方法，可實現本實施例所示任一裝置、系統。
產業上的可利用性根據本發明的圖像編碼裝置用作具備通信功能的個人計算機、PDA和便攜電話等中具備的圖像編碼裝置。
根據本發明的圖像解碼裝置用作具備通信功能的個人計算機、PDA和便攜電話等中具備的圖像解碼裝置。
權利要求
1.一種用于編碼圖像的方法，所述方法包括在使用或不使用參考圖像的情況下對輸入圖像進行編碼以獲得編碼數據；解碼所述編碼數據以獲得解碼圖像；基于表明所述解碼圖像是否被用作參考圖像來編碼后續輸入圖像的信息來改變所述解碼圖像的濾波；和存儲經過濾波的解碼圖像，以用作參考圖像來編碼后續輸入圖像，其中在所述解碼圖像被用作參考圖像時執行的濾波的平滑度高于在所述解碼圖像未被用作參考圖像時執行的濾波的平滑度。
2.如權利要求1所述的編碼方法，其中在所述解碼圖像未被用作參考圖像時不對所述解碼圖像執行所述濾波。
全文摘要
本發明的圖像編碼方法和圖像解碼方法，圖像編碼裝置(300)編碼表示輸入圖像的圖像數據(Img)、與表示對上述輸入圖像的預測圖像的預測圖像數據(Pred)的差分，生成編碼圖像數據，其中，具備圖像解碼部(104)，在編碼圖像數據(Img)后，進行解碼；象素間濾波器A、B(303、304)，對由圖像解碼部(104)得到的解碼圖像數據(Recon)實施象素間濾波運算；開關(301、302)，選擇上述象素間濾波器之一；和圖象間預測部(108)，將由選擇的象素間濾波器得到的完成濾波解碼圖像數據(FilteredImg)用作參考圖像數據(Ref)，生成相對輸入圖像數據(Img)的預測圖像數據(Pred)。
文檔編號H04N7/34GK1968412SQ20061009979
公開日2007年5月23日 申請日期2002年9月11日 優先權日2001年9月12日
發明者羽飼誠, 角野真也 申請人:松下電器產業株式會社