圖像編碼方法

專利名稱：圖像編碼方法
圖像編碼方法發明領域本發明涉及一種有效壓縮運動圖像的圖像編碼方法，以及一種對 此壓縮的運動圖像進行解碼的圖像解碼方法，以及它們的圖像編碼裝 置和圖像解碼裝置，并且，更具體地，涉及用于獲得高壓縮比的改進 技術。技術背景在這個對綜合處理音頻、視頻及其他像素值的多媒體時代中，現 有的信息媒體，即，報紙、雜志、電視、廣播、電話和其他用于向人 們傳遞信息的方式，近來已經包括在多媒體的范圍中。通常，所說的 多媒體不僅表示字符，還有圖像，聲音，以及尤其是圖像等，它們彼 此相聯系。然而，為了將前面提到的現有的信息媒體包括在多媒體的 范圍中，絕對需要用數字的形式表示這樣的信息。然而，當以數字信息量的形式計算包含在每一種前面所述的信息媒體中的信息量時，如果為字符時，每字符的信息量為1~2字節，如 果是聲音(電話音質)時，所需要的信息量是每秒鐘64k比特或者更高， 如果是運動圖像(目前的電視接收畫質)時，為每秒鐘100M比特或者 更高。因此，對于前面所述的信息媒體而言，當如此大量的信息以數 字化的形式出現時，處理它們不現實的。例如，盡管視頻電話已經通 過利用傳輸速率為64Kbit/s 1.5Mbit/s的綜合服務數字網絡(ISDN)投 入實用，但是不可能直接通過ISDN發送電視和攝像機的視頻。應對這樣的情況，需要信息壓縮技術，例如，在視頻電話中應用 符合由ITU-T(國際通信聯盟通信標準部)推薦的H.261和H.263標準 的運動圖像壓縮技術。并且,根據符合MPEG-1標準的信息壓縮技術，可以將圖像信息和音頻信息一起存儲在普通音樂CD(緊致盤)中。這里，MPEG(運動圖像專家組)是由ISO/正C(國際標準化組織/ 國際電氣技術委員會)進行標準化的關于運動圖像信號壓縮的國際標 準，MPEG-1是用于將電視信號信息壓縮至將近百分之一的標準，從 而運動圖像信號可以以1.5Mbit/s的速率傳輸。進一步地，由于由 MPEG-1標準獲得的傳輸速率為大約1.5Mbit/s的中等質量速度，因 此，從滿足進一步改善圖像質量的需求的意圖出發制定的MPEG-2， 允許以和電視廣播相同的質量進行數據傳輸，運動圖像信號通過它以 2 15Mbit/s的速率傳輸。并且，推動MPEG-1和MPEG-2標準化的工 作組(IS0/IECJTC1/SC29/WG11)對MPEG-4進行了標準化。MPEG-4 提供了比MPEG-1和MPEG-2更高的壓縮率，并且能夠進行基于對 象的編碼/解碼/操作，能夠提供這個多媒體時代需要的新功能。在標 準化的幵始階段，MPEG-4的目標是提供低比特率的編碼方法，但是 它己經擴展成為支持更多通用的處理隔行掃描圖像以及高比特率編 碼的編碼標準。目前，已經由ISO/IEC和ITU-T聯合研究將MPEG-4 AVC和ITU-T H.264標準化，作為提供更高壓縮率的下一代編碼方 法。一般地，在運動圖像編碼中，通過減少時間和空間方向上的冗余 壓縮信息量。因此，在目標為減少時間冗余的圖像間預測編碼中，參 照前或后的圖像，逐塊地執行運動預測和預測圖像生成，然后基于獲 得的預測圖像和當前待編碼的圖像中的圖像的差值進行編碼。這里， 術語"圖像"代表一幅圖像。在逐行圖像的情況下，"圖像"表示幀，但 是，在隔行圖像的情況下，它表示幀或者場。這里，"隔行圖像"是包 括捕獲時間上分離的兩場的幀圖像。在隔行圖像的編碼和解碼中，可 以將一幀作為(l)跟本身一樣的一幀，(2)兩場，或者(3)在幀內以每 塊為基礎的幀結構或者場結構而處理。通過不參照任何圖像的圖像內預測進行編碼的圖像將被稱為I圖像。通過只參照一幅圖像的圖像間預測進行編碼的圖像將被稱為P圖 像。以及，通過同時參照兩幅圖像的使用圖像間預測編碼的圖像將被 稱為B圖像。對于B圖像，可以參照從在顯示順序上前面/后面圖像 的任意組合的兩幅圖像。對于作為基本編碼/解碼單元的每個塊，可 以確定參照圖像(參照圖像)。通過調用在編碼比特流中較先描述的參 照圖像作為第一參照圖像，以及通過調用在比特流中較晚描述的參照 圖像作為第二參照圖像，將在這些參照圖像之間做出區分。注意到， 作為對這些類型圖像編碼和解碼的條件，用于參照的圖像需要已經被 編碼和解碼。P圖像和B圖像使用運動補償圖像間預測進行編碼。通過使用運動補償圖像間預測的編碼是在圖像間預測編碼中使用了運動補償的 編碼方法。與僅僅基于一幅參考圖像中的像素值進行預測的方法不 同，運動估計是一種能夠改進預測精度并減少數據量的技術，這通過 估計圖像內每一部分的運動量(下文中稱為"運動矢量")以及進一步在 考慮此運動量的情況下進行預測實現。例如，可以通過利用估計當前 待編碼圖像的運動矢量并隨后利用對預測值和當前編碼圖像之間的 預測殘差進行編碼，就可以通過運動補償減小數據量，其中所述預測值通過只轉換(shifting)相應的運動矢量的量獲得。在此技術中，由于 在解碼時需要運動矢量信息，所以運動矢量同樣被以編碼形式記錄或 者發送。在逐宏塊的基礎上估算運動矢量。更具體地，宏塊應該在當前編 碼圖像中預先固定，從而通過在參考圖像中的搜索區域內查找與此宏 塊最相似的參考塊的位置估算運動矢量。

圖1為說明了比特流的數據結構的例子的簡圖。如圖1所示，該 比特流具有以下的層次結構。該比特流(流)由多于一個的圖像組(GOP) 構成。通過使用GOP作為基本編碼單元，使得既能夠編輯運動圖像 又能夠進行隨機訪問。每個GOP由多個圖像構成，其中每個圖像為I圖像，P圖像，和B圖像中的一個。每一圖像進一步由多個片(slice) 構成。每一片進一步由多個宏塊構成，片為每一圖像中的帶狀區域。 并且，每個流，GOP，圖像，以及片包括用于表示每個單元結束點的 同步信號(sync)和所述的每個單元共有數據的標題(header)。注意，如果數據不是以形成序列流的比特流，而是以數據包等分 塊單元的形式發送，那么標題和與標題不同的數據部分，可以分別發 送。在此情況下，標題和數據部分將不被編入如圖1所示的相同的 比特流中。然而，在采用數據包的情況下，即使當標題和數據部分不 是連續傳輸時，相應于該數據部分的標題也只是在另一數據包中發 送。因此，即使當標題和數據部分不編入同一比特流時，參照圖l所 述的編碼比特流的概念也可以用于數據包。圖2為示出了己有的圖像編碼裝置的結構的框圖。在此附圖中， 圖像編碼裝置1是用于對輸入圖像信號Vin進行壓縮編碼的工具，從 而輸出已經通過進行可變長度編碼等編碼成為比特流的編碼圖像信 號Str。此圖像編碼裝置1包括運動估計單元ME，運動補償單元MC， 減法單元Sub，正交變換單元T，量化單元Q,反量化單元IQ，反正 交變換單元IT，加法單元Add，圖像存儲器PicMem，開關SW，以 及可變長度編碼單元VLC。圖像信號Vin輸入到減法單元Sub和運動估計單元ME。減法單 元Sub基于逐塊計算在輸入圖像信號Vin中每一圖像和在每一預測圖 像之間的差，作為預測誤差，并將此計算的預測誤差輸出到正交變換 單元T。該正交變換單元T在預測誤差的基礎上進行正交變換，將其 變換為頻率系數，并將此頻率系數輸出至量化單元Q。該量化單元Q 將此輸入的頻率系數進行量化，并將該量化值Qcoef輸出至可變長度 編碼單元VLC。該反量化單元IQ對離散值Qcoef進行反量化，從而將它們變為 頻率系數，并將此頻率系數輸出至反正交變換單元IT。該反正交變換單元IT對此頻率系數進行逆頻率變換，從而將其轉換為預測誤差，并將此預測誤差輸出至加法單元Add。該加法單元Add將每一預測 誤差和從運動補償單元MC輸出的每一預測圖像相加，從而形成解碼 圖像。表示應該保存此解碼圖像時該開關SW變為ON，并且將此解 碼圖像保存到圖像存儲器PicMem中。同吋，基于宏塊接收圖像信號Vin的運動估計單元ME，從存儲 在圖像存儲器PicMem中的解碼圖像中探測最接近此輸入圖像信號 Vin的圖像區域，并確定表示此區域的位置的運動矢量MV。對通過 進一步分解宏塊得到的每個塊估算運動矢量。完成這一步后，可以使 用不止一幅圖像作為參照圖像。將利用標識號(參照索引Index)標識 用于估計運動矢量的參照圖像。存儲在圖像存儲器中PicMem中的各 個圖像的圖像號與參照索引Index相關聯。基于上述處理中探測的運動矢量和參考索引Index,運動補償單 元MC從存儲在圖像存儲器PicMem中的解碼圖像中讀出最優圖像作 為預測圖像。可變長度編碼單元VLC對量化值Qcoef，參照索引Index,以及 運動矢量MV的每一個進行可變長度編碼，從而以編碼流Str輸出它 們。圖3為示出了己有圖像解碼裝置結構的框圖。在此附圖中，為與 圖2所示的圖像編碼裝置的單元工作方式相同的單元分配了相同的 標記，并且省略了對它們的描述。可變長度解碼單元VLD將編碼流Str解碼為量化值Qcoef，參照 索引Index,以及運動矢量MV。將這些量化值Qcoef，參照索引Index， 以及運動矢量MV輸入至圖像存儲器PicMem，運動補償單元MC， 以及反量化單元IQ，在其中進行解碼處理。在此解碼過程中進行的 處理與在圖2中已有的圖像編碼裝置中進行的處理相同。(非專利文件)ITU-T Rec. H,264 | ISO/IEC 14496-10 AVC JointFinal Committee Draft of Joint Video Specification(2002-8-10)。然而，根據已有的圖像編碼裝置，難以對所有包含很多像素的圖 像和所有包含各種內容的圖像采用高壓縮率。因而這樣的己有圖像編 碼裝置需要能夠在提供高壓縮率的同時提高圖像質量。更具體地，該已有圖像編碼裝置使用固定尺寸的塊作為進行正交 變換的單元(正交變換尺寸)。這使得對于既包括具有諸如高、低分辨 率圖像這樣多種內容的圖像，又包括在亮度和色彩上有多種或者不多 變化的圖像的運動圖像信號，難以獲得高壓縮率。原因是，舉個例子 說，在MPEG-I，MPEG-2 ，以及MPEG-4的情況下，正交變換尺寸 為8x8像素，然而，在MPEG-4AVC，艮口， ITU-TH.264的情況下， 正交變換的尺寸為4x4像素。在這一點上，由于像素間的相關性更強， 并且相對于低分辨率圖像而言，顯示器(例如CRT)的像素密度更高， 所以對于高分辨率圖像(例如HDTV)，人們相信使用更大的正交變換 尺寸更為理想。并且，在很多情況下，對于具有較少高頻分量的內容， 使用較大的正交變換尺寸也更加理想，然而，對于具有大量高頻分量 的內容，使用較小的正交變換尺寸更為理想。發明內容本發明已經從上述問題的角度進行了表述，本發明的目標是無論 圖像的分辨率和比特率或高或低，且無論在亮度和顏色上是否有很多 的變化，都能提供一種圖像編碼方法，圖像解碼方法，圖像編碼裝置， 圖像解碼裝置，以及它們的程序，用于進行高壓縮率編碼。為了達到上述目標，根據本發明的圖像編碼方法是基于逐塊對圖像進行編碼的圖像編碼方法，包括選擇步驟，在至少兩種尺寸中選 擇一種作為塊的尺寸，其中應該對此塊進行正交變換；變換步驟，在 具有選擇的尺寸的塊上進行正交變換；編碼步驟，對在變換步驟中獲 得所述的塊的數據進行編碼；以及生成步驟，生成包括編碼塊數據和 關于在選擇步驟中所選尺寸的尺寸信息的碼流。利用這種結構，由于選擇了正交變換尺寸，可以根據分辨率的高 低與否，比特率的高低與否，以及是否有多種亮度和顏色的變化，以 合適的方式進行正交變換。因此，可以將各種圖像以高壓縮率進行壓 縮。這里，該尺寸信息可以表明該尺寸是否是編碼流中預定區域內的 固定塊尺寸，并且該預定區域可能是序列， 一組圖像，圖像，片，和 宏塊中的一種。利用上述結構，對于上述每一種預定的區域，可以表明在編碼流 中用于正交變換的塊尺寸是否固定。這里，該尺寸信息可能表明在選擇步驟中選擇的尺寸是否為第一 尺寸和與所述第一尺寸不同的第二尺寸中的一種，并且該第一尺寸可能是由4乘4像素組成的塊的尺寸，該第二尺寸可能是由8乘8像素 組成的塊的尺寸。利用上述結構，可以通過在用于4x4像素塊的第一尺寸和用于 8x8像素塊的第二尺寸之間進行選擇性轉換而提高壓縮率。這里，在變換步驟中，正交變換塊的數據可能通過使用相應于所 述塊尺寸的加權矩陣被量化。利用上述結構，在利用加權的方法量化正交變換頻率分量時，加 權矩陣被用于改變基于頻率分量的量化步驟的尺寸。通過使用相應于 第一尺寸和第二尺寸中每一種尺寸的加權矩陣，就可以進一步改進編 碼效率。這里，在編碼步驟中，可以對相應于該第二尺寸的加權矩陣進行 編碼，在生成步驟中，可以將所述的編碼加權矩陣編入編碼流。利用上述結構，可以在圖像編碼和解碼方法中都將相應于第一尺 寸的加權矩陣設置為默認加權矩陣，從而使得在圖像編碼方法中能夠 有選擇性的使用相應于第二尺寸的加權矩陣。這里，在選擇步驟中，可以根據下列的至少一種，選擇第一尺寸或者第二尺寸中的一種，即根據編碼流的比特率；圖像的分辨率； 以及來自外界的指示。利用上述結構，可以根據編碼流的比特率，圖像的分辨率，以及 來自外界的指示中的任意一個，靈活的選擇第一尺寸或者第二尺寸。如上所述，根據本發明的圖像編碼方法以及圖像解碼方法，可以 有效地壓縮任意種類的圖像，而無論圖像分辨率的高低，比特率的高 低，以及是否有多種亮度和顏色的變化。并且，可以通過根據本發明的圖像編碼裝置，圖像解碼裝置，及 其相應的程序，獲得上述的效果。在這里并入于2003年2月21日提交的序號為60/449135的美國 臨時專利申請用于參考，作為關于本申請技術背景的進一步的信息。附圖簡述下面通過結合說明本發明特定實施例的附圖對其進行的描述，本 發明的這些以及其他目標，優點和特征將是顯而易見的。圖中圖1為說明了比特流的數據結構的例子的簡圖； 圖2為示出了已有圖像編碼裝置構成的框圖， 圖3為示出了已有圖像解碼裝置構成的框圖； 圖4為示出了根據本發明的實施例的圖像編碼裝置構成的框圖； 圖5A 5G為簡圖，示出了在內部圖像編碼時，用于運動補償的 塊尺寸；圖6A為框圖，示出了 16x16像素的亮度(Iuma)宏塊以及它的正 交變換塊；圖6B為框圖，示出了 8x8像素的色度宏塊以及它的正交變換塊； 圖7A為示出了用于8x8像素塊的加權矩陣的簡圖； 圖7B為示出了用于4x4像素塊的加權矩陣的簡圖； 圖8為流程圖，示出了在根據本發明的實施例的圖像編碼裝置中 進行的編碼過程；圖9A 9C為簡圖，示出了每個編碼流中在何處插入尺寸信息； 圖10A 10C為簡圖，示出了在每個基于每個GOP(per-GOP)的編碼流中，在何位置插入尺寸信息和加權矩陣；圖11A 11C為簡圖，示出了在每個基于每個片段(per-slice)的編碼流的中，在何位置插入尺寸信息和加權矩陣；圖12為流程圖，示出了圖像編碼過程的變化的例子；圖13為流程圖，示出了在從8x8加權矩陣導出4x4加權矩陣的情況下，進行的圖像編碼過程；圖14為框圖，示出了根據本發明的實施例的圖像解碼裝置的構成；圖15為流程圖，示出了由根據本發明的實施例的圖像解碼裝置 進行的可變長度解碼過程；圖16為流程圖，示出了在從W8mat加權矩陣導出W4mat加權 矩陣的情況下，進行的圖像解碼過程；圖17A-17C為說明存儲程序的記錄介質的簡圖，該程序用于通 過計算機系統，實現根據上述實施例的圖像編碼方法和圖像解碼方 法；圖18為示出了內容提供系統整體構成的框圖； 圖19為簡圖，示出了采用圖像編碼方法和圖像解碼方法的手機 的外觀視圖；圖20為示出了該手機的構成的框圖；以及圖21為示出了數字廣播系統的整體構成的簡圖。實施本發明的最佳方式下面參照圖4 21描述了本發明的實施例； <圖像編碼裝置>圖4為框圖，示出了根據本發明的實施例的圖像編碼裝置的構 成。在此附圖中，圖像編碼裝置1包括判定單元DE，運動估計單元ME，運動補償單元MC，減法單元Sub，正交變換單元T1，量化單 元Q1，反量化單元IQ1，反正交變換單元IT1，加法單元Add，圖像 存儲器PicMem，開關SW，可變長度編碼單元VLC1 。判定單元DE判定(l)將由正交變換單元Tl對其進行正交變換的 塊的塊尺寸Tsize(下文中稱為"正交變換尺寸")以及(2)加權矩陣 Wmatrix，其用于改變在量化單元Ql中使用的量化矩陣。存在兩種 正交變換尺寸Tsize，第一尺寸和第二尺寸，其基于每個宏塊進行有 選擇性判定。這里，第一尺寸將表示4x4像素，第二尺寸將表示8x8 像素。至于加權矩陣Wmatrix，對于第一尺寸有加權矩陣W4，對于 第二尺寸有加權矩陣W8。基于編碼的當前圖像的分辨率，在亮度和顏色上是否有很多變 化(高頻分量)，以及編碼流Str的比特率等，判定正交變換尺寸。例 如，判定單元DE以下列方式選擇正交變換尺寸-例l:當前編碼圖像的分辨率水平等于或者大于第一閾值時，判 定單元DE選擇第二尺寸，而當前編碼圖像的分辨率水平小于第一閾 值時，判定單元DE選擇第一尺寸。HDTV等的分辨率水平可以作為 第一閾值；例2:編碼后的比特率等于或者大于第二閾值時，判定單元DE 選擇第二尺寸，而編碼后的比特率小于第二閾值時，判定單元DE選 擇第一尺寸。例如，第二閾值可以是10Mbps;并且例3:從前面的正交變換的結果中，判定單元DE判斷高頻分量 的數量，并且當此高頻分量的數量大于第三閾值的時候，選擇第二尺 寸，而當此數量小于第三閾值時，判定單元DE選擇第一尺寸。換句 話說，在這里利用對高于第"n"階的頻率系數的數量或者值進行計數， 判斷是否有大量的高頻分量。在上述的例子1 3中，判定單元DE可以根據用于運動補償的塊 尺寸進一步判定正交變換尺寸。圖5A 5G為簡圖，示出了在中間圖像編碼時用于運動補償的塊 尺寸(下文中稱為"運動補償尺寸")。這些圖中，圖5A示出了 16x16 像素的運動補償尺寸，圖5B示出了 16x8像素，圖5C示出了 8x16 像素，圖5D示出了8x8像素。進一步地，圖5D中示出的8x8像素的運動補償尺寸可以進一步分割成下面的尺寸之一，用作運動補償尺 寸圖5E所示的8x4像素，圖5F所示的4x8像素，圖5G所示的4x4 像素。在用作運動補償尺寸的塊尺寸和用作正交變換尺寸的塊尺寸之 間最好具有一致性，從而簡化處理并且在塊邊界上的贗像不會擴散。 考慮到這些，判定單元DE以這樣一種方法判定正交變換尺寸，在此 方法中正交變換尺寸變得小于運動補償尺寸。更具體地，在中間圖像編碼的情況下，當運動補償尺寸為圖 5A 5D中所示(16xl6像素，16x8像素，8x16像素，8x8像素)時，包 含有正好一個或者更多個圖5D所示的8x8像素塊。在這些情況下， 由于通過在8x8像素塊基礎上進行正交變換獲得更高的效率，判定單 元DE將選擇第二尺寸(8x8像素)作為正交變換尺寸。同時，當運動 補償尺寸比如圖5E 5G所示的8x8像素小時，判定單元DE將選擇 第一尺寸(4x4像素)。判定單元DE在第一尺寸和第二尺寸之間轉換正交變換尺寸越 頻繁，則圖像編碼裝置和圖像解碼裝置的結構變得越復雜。但是，利 用它可以獲得更好的編碼效率。注意到判定單元DE可以基于片段/圖像/GOP/序列，而不是基于宏塊，判定正交變換尺寸。并且，在從圖像編碼裝置外部說明正交變 換尺寸的情況下，判定單元DE可以使用此說明的尺寸作為正交變換 尺寸Tsize。運動補償單元MC根據由運動估計單元ME估算的運動矢量讀 取參考塊，從而從此參考塊生成預測圖像，并將此生成的預測圖像輸 出到減法單元Sub。為每個塊輸出預測圖像，其中該塊具有從圖5A 5G所示的運動補償尺寸中選擇的運動補償尺寸。減法單元Sub計算在圖像信號Vin中的圖像和對于每個具有從 圖5A 5G所示的運動補償尺寸中選擇的運動補償尺寸的塊的預測圖 像之間的差異，作為預測誤差，并且將此計算的預測誤差輸出到正交 變換單元T1。正交變換單元T1對預測誤差進行正交變換，從而將其轉換為針 對每個具有從判定單元DE輸出的正交變換尺寸Tsize的塊的頻率系 數，并且將該結果輸出到量化單元Q。這里，參照圖6A和6B，描述 了在正交變換尺寸Tsize為第二尺寸(8x8像素)的情況下，所進行的正 交變換。在圖6A左側所示的為16x16像素的亮度宏塊。由于在內部 圖像編碼的情況下，第二尺寸被指定為正交變換尺寸Tsize，因此正 交變換單元Tl基于8x8像素塊進行正交變換。進一步地，如圖6A 右側所示，正交變換單元Tl綜合四個經過正交變換的8x8像素塊的 四個DC分量，以生成2x2像素亮度DC塊，然后對此亮度DC塊進 行2x2像素塊正交變換。注意，可能會省略生成亮度DC塊和進行2x2 像素塊正交變換。同時，由于在中間圖像編碼的情況下，第二尺寸被 指定為正交變換尺寸Tsize，因此正交變換單元Tl基于8x8像素塊進 行正交變換。在此情況下，將不會進行生成亮度DC塊和進行正交變 換。圖6B左側所示的為8x8像素色度宏塊。 一般地，對于圖像信號 而言，色度信號相對于亮度信號，在水平和垂直方向上都只有一半數 量的像素。這樣，在色度宏塊中的像素數量為8x8像素。在內部圖像 編碼的情況下，正交變換單元Tl基于4x4像素塊進行正交變換，此 像素塊是指定為正交變換尺寸Tsize的第二尺寸的尺寸的一半。然后， 正交變換單元Tl綜合四個經過正交變換的4x4色度塊的四個DC分 量，以生成一個2x2像素色度DC塊,然后基于此色度DC塊進行2x2 像素塊正交變換。注意，可能會省略生成色度DC塊和進行2x2像素塊正交變換。同時，由于在中間圖像編碼的情況下，正交變換單元Tl基于4x4像素塊進行正交變換，其中該像素塊尺寸是被指定為正 交變換尺寸Tsize的第二尺寸的尺寸一半。在此情況下，將不會進行 生成色度DC塊和進行2x2像素塊正交變換。如上所述，當正交變換尺寸Tsize指定第二尺寸時，在內部圖像 編碼的情況下，正交變換單元T1對亮度塊和色度塊進行兩步正交變 換，而在中間圖像編碼的情況下，進行單步正交變換。同時，當正交 變換尺寸Tsize表示第一尺寸時，由于在第一尺寸和第二尺寸之間的 差別是在塊尺寸上的不同，所以正交變換單元T1進行如在第二尺寸 情況下的正交變換，但是在內部圖像編碼和中間圖像編碼的情況下都 將進行單步編碼。量化單元Ql將從正交變換單元Tl輸入的4x4-或者8x8像素頻 率系數塊量化，并且將量化的值Qcoef輸入到可變長度編碼單元 VLC。由此，量化單元Ql根據由判定單元DE確定的加權矩陣 Wmatrix對量化矩陣加權，并且使用此加權量化矩陣對該頻率系數塊 進行量化。圖7A和7B為說明加權矩陣的簡圖。當正交變換的尺寸 為第一尺寸時，從判定單元DE輸入的加權矩陣Wmatrix將為圖7B 所示的4x4像素加權矩陣W4mat，而當正交變換的尺寸為第二尺寸 時，加權矩陣Wmatrix將為圖7A所示的8x8像素加權矩陣W8mat。 通過使用加權矩陣，在對正交變換的頻率分量量化時，量化步驟的尺 寸基于每個頻率分量變化。眾所周知，在MPEG-2中使用加權矩陣提 高了編碼效率，由于在本實施例中，在多個正交變換尺寸間進行切換， 以此可以通過對每個正交變換尺寸采用不同的加權矩陣，進一步提高 編碼效率。在圖7A中，W8i,j("i"和"j"分別為0~7中的任意數字)表示 將施加到八行中第"i"行和八列中第"j，，列分量上的權重。在圖7B中， W4i，j("i"和"j"分別為0~3中的任意數字)表示將施加到四行中第"i"行 和四列中第"j"列分量上的權重。反量化單元IQ1對量化值Qcoef進行反量化，從而將它們轉換 為頻率系數，并且將此頻率系數輸出到反正交變換單元IT1。換句話 說，根據從判定單元DE輸入的加權矩陣Wmatrix，反量化單元IQ1 進行與量化單元Ql所進行的處理相反的處理。反正交變換單元IT1對從反量化單元IQ1接收的頻率系數塊進 行反頻率變換，以將其變換為預測誤差，并將此預測誤差輸出到加法 單元Add。換句話說，針對每個具有從判定單元DE輸入的正交變換 尺寸Tsize的塊，反正交變換單元IT1進行與正交變換單元Tl進行的 處理相反的處理。針對每個具有與己由減法單元Sub在上面進行過處理的塊相同 運動補償尺寸的塊，加法單元Add將預測誤差與從運動補償單元MC 輸出的預測圖像相加，并生成解碼圖像。當表示此解碼圖像應該保存時開關SW變為ON，并且將該解碼 圖像保存到圖像存儲器PicMem中。同時，基于宏塊接收圖像信號Vin的運動估計單元ME，從存儲 在圖像存儲器PicMem中的解碼圖像中估算最靠近此輸入圖像信號 Vin的圖像區域，并確定表示此區域位置的運動矢量MV。對于每個 利用進一步分割宏塊獲得的塊進行估算運動矢量。當完成這一步之 后，可以使用多于一幅圖像作為參考圖像。用于估算運動矢量的參考 圖像將由標識號(參考索引Index)表示。存儲在圖像存儲器PicMem中的各幅圖像的圖像編號與參考索引相關聯。基于在上述步驟中探測的運動矢量和參考索引Index,運動補償 單元MC從存儲在圖像存儲器PicMem中的解碼圖像中讀取最佳圖像 作為預測圖像。可變長度編碼單元VLC1對于每個量化值Qcoef，參考索引 Index,以及運動矢量MY進行可變長度編碼，以將它們作為編碼流 Str輸出。在此過程中，可變長度編碼單元VLC1根據每個正交變換尺寸Tsize生成尺寸信息TsizeFlag,并對此尺寸信息TsizeFlag和加權 矩陣Wmatrix進行編碼。有兩種類型的加權矩陣Wmatrix:用于8x8 正交變換的加權矩陣W8mat和用于4x4正交變換的加權矩陣W4mat。圖8為流程圖，示出了在根據本實施例的圖像編碼裝置中進行的 編碼過程。判定單元DE基于每個宏塊確定正交編碼尺寸Tsize和加 權矩陣Wmatrix (SIO)。將基于此確定的正交變換尺寸Tsize和加權矩 陣Wmatrix進行正交變換和量化。進一步地，對于每個預定的部分， 即，下列部分中的某一個序列，GOP，圖像，片，以及宏塊，可變 長度編碼單元VLC1按照使得表示Tsize的尺寸信息TsizeFlag被編入 編碼流Str的方式進行編碼。這里，尺寸信息TsizeFlag為下列意義中 的任意一種(A)在預定部分中的所有正交變換尺寸為8x8像素；(B) 在預先確定的部分中的所有正交變換尺寸為4x4像素；以及(C)在預 先確定的部分中不知道所有正交變換尺寸為8x8像素還是4x4像素 (即，4x4像素塊和8^8像素塊混用)。注意，并不需要將所有的尺寸 信息TsizeFlag(A) (C)相互區分開，因此可能只在例如(A)和(C)之間， (B)和(C)之間進行區分。進一步地，當不應該有4x4和8x8正交變換 混用時，可能只在(A)和(B)之間進行區分。如圖9A所示，當基于每個GOP將尺寸信息TsizeFlag編碼作為 預定部分時，可變長度編碼單元VLC1判斷是否此部分內的所有的正 交變換尺寸Tsize為第二尺寸(8x8像素)或者第一尺寸(4x4像素)(Sll 和S12)。當判斷的結果表明只有8x8像素塊時，可變長度編碼單元VLC1 對表示GOP中所有的正交變換塊尺寸都為8x8像素的尺寸信息 TsizeFlag進行編碼(S13)，并且對用于8x8像素塊的加權矩陣W8mat 進行編碼(S14)。圖10B示出了在此情況下生成的編碼流Str。當判斷的結果表明只有4x4像素塊時，可變長度編碼單元VLC1 對表示GOP中所有的正交變換塊尺寸都為4x4像素的尺寸信息TsizeFlag進行編碼(S15)，并且對用于4x4像素塊的加權矩陣W4mat 進行編碼(S16)。圖10C示出了在此情況下生成的編碼流Str。當判斷的結果表明既不能將全部正交變換塊歸為8x8像素塊，也 不能全部歸為4x4像素塊時(即，混合使用它們)，可變長度編碼單元 VLC1對表示GOP中所有的正交變換塊尺寸不僅僅為4x4像素或者 8x8像素的尺寸信息TsizeFlag進行編碼(S17)，并且對用于4x4像素 塊的加權矩陣W4mat和用于8x8像素塊的加權矩陣W8mat進行編碼 (S18)。圖10A示出了在此情況下生成的編碼流Str。注意，為了通知 解碼裝置每個宏塊的正交變換尺寸Tsize為第一尺寸還是第二尺寸， 可變長度編碼單元VLC1最好采用基于宏塊編入正交變換尺寸Tsize 的方式進行編碼。在上面的描述中，給出了在可變長度編碼單元VLC1基于每個 GOP對尺寸信息TsizeFlag進行編碼的情況下的例子，但是可變長度 編碼單元VLC1可以基于每個片段對尺寸信息TsizeFlag進行編碼， 如圖9B所示。在此情況下，將如圖11A 11C所示對加權矩陣進行編 碼。圖11A示出了在預定部分內部混合第一尺寸和第二尺寸的情況 下，編碼流的結構。在此編碼流的報頭中，(在將要編碼的當前圖像 之前)對表示上述兩種正交變換尺寸混和的尺寸信息TsizeFlag進行編 碼，并且將8x8正交變換加權矩陣W8mat和4x4正交變換加權矩陣 W4mat在尺寸信息TsizeFlag之后編碼。注意，8x8正交變換加權矩 陣W8mat和4x4正交變換加權矩陣W4mat不必按照此順序，因此這 兩種類型的矩陣可以確定為按照相反的順序排列。圖IIB示出了在預 定部分內只使用第二尺寸進行正交變換的情況下，編碼流的結構。在 此編碼流的報頭中，(在將要編碼的當前圖像之前)對表示8x8正交變 換尺寸的尺寸信息TsizeFlag進行編碼，并且將8x8正交變換加權矩 陣W8mat在尺寸信息TsizeFlag之后編碼。圖11C示出了在預定部分內部只使用第一尺寸進行正交變換的情況下，編碼流的結構。在此編碼流的報頭中，(在將要編碼的當前圖像之前)對表示4x4正交變換尺 寸的尺寸信息TsizeFlag進行編碼，并且將4><4正交變換加權矩陣 W4mat在尺寸信息TsizeFlag之后編碼。進一步地，如圖9C所示，可變長度編碼單元VLC1可以基于宏 塊對尺寸信息TsizeFlag進行編碼。然而，在圖9C的情況下，可以對 正交變換尺寸Tsize本身而不是尺寸信息TsizeFlag進行編碼。上述的 圖9A 9C，分別表示在何處插入尺寸信息TsizeFlag。在對于構成大 量圖像的每個流或者序列，將正交變換尺寸轉換到另一尺寸的情況 下，最好將尺寸信息TsizeFlag插入到每個流或者序列的頂部，如圖 9A所示。在整個流或者序列中尺寸和圖像質量變化不大的情況下， 這是有效的。同時，在圖像內容按照一幅一幅圖像改變，并且因此對 于每個圖像需要將正交變換尺寸轉換到另一尺寸的情況下，最好將尺 寸信息TsizeFlag置于每幅圖像的頂部，如圖9B所示。進一步地，在 宏塊的基礎上需要將正交變換尺寸轉換到另一尺寸的情況下，最好將 尺寸信息TsizeFlag置于每個宏塊的頂部，如圖9C所示。<變化>(1) 圖12為流程圖，示出了圖8所示的圖像編碼過程的變化的 例子。此附圖示出了當在上述的尺寸信息TsizeFlag(B)和(C)之間進行 區分的情況下，進行的編碼處理。與圖8中顯示的步驟相同的步驟分 配了相同的標記。利用此結構，尺寸信息TsizeFlag說明了上述在預 定部分中是否所有的正交變換尺寸都為4M像素，并且將用1比特表 示這種說明。(2) 最好為每個加權矩陣W8mat和加權矩陣W4mat設置最優 值。然而，當判定單元DE基于每個流或者每個圖像確定加權矩陣 Wmatrix時，可以從加權矩陣W4mat導出加權矩陣W8mat，反之亦 然。圖13為流程圖，示出了在從加權矩陣W8mat導出加權矩陣 W4mat的情況下，進行的圖像編碼過程。相對圖8所示的流程圖， 該流程圖新加入了步驟19。為與圖8中步驟相同的步驟分配了相同 的標記，并省略了對其的描述。這里，只描述了圖8和9的不同點。 在步驟S19中，可變長度編碼單元VLC1按照下列方式從8x8加權矩 陣W8mat導出4x4加權矩陣W4mat，并對導出的加權矩陣W4mat 進行編碼W4 i，j=K*W8 2i，2j("i"和"j"分別為0~3中任意一個，"K"為常數)注意，正交變換單元T1按照類似的方式導出加權矩陣W4mat， 以使用它進行正交變換。還要注意，可變長度編碼單元VLC1可以不對導出的4x4加權矩 陣W4mat進行編碼。并且，甚至當在這些類型的編碼中已經按照相同的正交變換尺寸 進行處理后，量化單元Q1和反量化單元IQ1也可以對內部圖像編碼 和中間圖像編碼使用不同的加權矩陣。進一步地，量化單元Q1和反 量化單元IQ1可以對亮度信號和色度信號使用不同的加權矩陣。同樣，量化單元Ql和反量化單元IQ1可以從大量的加權矩陣中 選擇用于量化的加權矩陣。進一步地，量化單元Q1和反量化單元IQ1可以使用只針對較大 正交變換尺寸(例如第二尺寸)的加權矩陣對量化矩陣進行加權，其中 使用加權矩陣特別有效，并且不能使用加權矩陣對針對另一尺寸(第 一尺寸)的量化矩陣進行加權。<圖像解碼裝置>圖14為框圖，示出了根據本發明的本實施例的解碼工具的構成。 在此附圖中，為與圖4中所示圖像編碼裝置中顯示的元件相同的 元件分配了相同的標記，并因此省略了對它們的描述。由可變長度編碼單元VLD1對編碼流Str進行解碼。此解碼的結果包括加權矩陣Wmatrix和正交變換尺寸Tsize。反量化單元IQ1使 用加權矩陣Wmatrix對量化矩陣進行加權，并且使用該加權的量化矩 陣進行反量化。反正交變換單元IT1根據確定的正交變換尺寸Tsize 進行反正交變換。其他的操作與圖3的框圖中描述操作相同，圖3示 出了實現現有圖像解碼方法的圖像解碼裝置。圖15為流程圖，示出了由本實施例的圖像解碼裝置進行的可變 長度解碼過程。如此附圖中所示，可變長度解碼單元VLD1對合并在 編碼流Str中的尺寸信息TsizeFlag進行解碼(S30)，并判斷此尺寸信 息TsizeFlag是否表示只存在具有第二尺寸(8x8像素)的塊(S31)。當判 斷只存在具有第二尺寸的塊的時候，可變長度解碼單元VLD1對加權 矩陣W8mat進行解碼(S33)。同時，當此尺寸信息TsizeFlag不表示只 應用了 8x8正交變換，并且當此尺寸信息TsizeFlag表示只存在具有 第一尺寸(4x4像素)的塊的時候(S32),可變長度解碼單元VLDl對4x4 加權矩陣W4mat進行解碼(S34)。進一步地，當尺寸信息TsizeFlag不 表示只應用了 4x4正交變換時，可變長度解碼單元VLD1對8x8加 權矩陣W8mat和4x4加權矩陣W4mat進行解碼(S35)。然后根據此 解碼的結果進行反量化和反正交變換。注意，當沒有加權矩陣W4mat在編碼流Str中編碼時，圖像解碼 裝置可以從加權矩陣W8mat導出加權矩陣W4mat。圖16為流程圖， 示出了在從加權矩陣W8mat導出加權矩陣W4mat的情況下，進行的 圖像解碼過程。相對圖15，此流程圖新增加了步驟S36。在步驟S36 中，按照與圖13中所示的步驟S19相同的方式，從加權矩陣W8mat 導出加權矩陣W4mat。如上所述，根據本實施例的圖像解碼裝置能夠正確地對由圖4所 示的圖像編碼裝置編碼的編碼流Str進行解碼。注意，上述正交變換 尺寸Tsize為可以從可變長度解碼單元VLDl獲得。然而，在正交變 換尺寸Tsize被轉換為依賴于上述的運動補償塊尺寸的另一尺寸的情況下，可以基于此運動補償塊尺寸導出正交變換尺寸Tsize。進一步地，如果在上述實施例中用于實現圖像編碼方法和圖像解 碼方法的程序被記錄在例如軟盤的記錄介質上的時候，那么可以在獨 立的計算機系統中方便地進行上述實施例中給出的過程。圖17A， 17B，和17C為簡圖，說明了存儲用于實現根據上述實 施例的圖像編碼方法和圖像解碼方法的程序的記錄介質。圖17B示出了軟盤外部視圖的頂視圖，它的剖面示意圖，以及 軟盤本身，而圖17A說明了軟盤作為記錄介質本身的物理形式的例 子。軟盤FD容納在外殼F中，在軟盤FD的表面上從外圍開始，沿 著徑向形成大量的同心磁道Tr，每條磁道在角度方向上被分為16個 扇區Se。因此，在存儲上述程序的軟盤中，作為此程序的圖像編碼 方法和圖像解碼方法被記錄在軟盤FD上分配給它的區域上。同時圖17C示出了用于在軟盤FD上記錄和從上面讀取程序的結 構。當要在軟盤FD上記錄實現上述圖像編碼方法和圖像解碼方法 的程序的時候，將通過計算機系統Cs，利用軟盤驅動器FDD寫入 此程序。同時，當要利用軟盤FD上的程序在計算機系統Cs中建立 圖像編碼方法和圖像解碼方法的時候，將通過軟盤驅動器FDD從軟 盤FD中讀取該程序，然后發送至計算機系統Cs。上面給出的描述基于記錄介質為軟盤的假設，但是也可能使用光 盤。此外，記錄介質不局限于此，可以使用如IC卡，ROM盒式磁帶 之類的任何其他能夠記錄程序的介質。下面描述了在上述實施例中所示的圖像編碼方法和圖像解碼方 法的應用實例，以及使用它們的系統。圖18為框圖，示出了實現內容分配服務的內容提供系統ex100 的整體結構。提供通信服務的區域被分成所需尺寸的小區，基站 exl07 exll0位于各小區內，其中基站為固定無線站。在此內容提供系統exlOO中，如計算機exlll， PDA(個人數字助理)exl12，攝像機exl13，手機exl14，以及帶攝像機的手機exl15這 樣的設備通過互聯網服務提供商exl02，電話網絡exl04，以及基站 exl07 ex110，分別連接到互聯網exl01上。然而，內容提供系統exlOO不局限于如圖18所示的組合，并且 可以用它們中任意組合相連。同樣，每個設備可以直接連接電話網絡 exl04，而不通過固定無線基站exl07 ex110。攝像機exll3是諸如數字視頻攝像機此類能夠拍攝運動圖像的設 備。手機可以為PDC(個人數字通訊)系統，CDMA(碼分多址)系統， W-CDMA(寬帶碼分多址)系統或者GSM(全球數字移動通訊系統)系 統，PHS(個人手提電話)系統等的手機，并且可以是它們當中的任意 一種。進一步地，流服務器exl03通過基站exl09以及電話網絡exl04 連接到攝像機exl13，能夠基于用戶利用使用攝像機exl13傳輸的編 碼數據，實現實時分配等功能。攝像機exll3或者服務器等能夠進行 數據發送處理的設備可以對拍攝的數據進行編碼。同樣，利用照相機 exl16拍攝的圖像數據可以通過計算機exlll發送到流服務器exl03， 照相機exl16是諸如數字相機之類的能夠拍攝靜態和運動圖像的設 備。在這種情況下，照相機exll6或者計算機ex111可以對運動圖像 數據進行編碼。在這種情況下，包含在計算機exlll或者照相機exl16 中的LSI exl17進行編碼處理。注意用于編碼和解碼的軟件可以一起 存儲在某種存儲介質中(如CD-ROM，軟盤以及硬盤)，此存儲介質是 能夠被計算機exlll等讀取的記錄介質。進一步地，裝備有攝像機的 手機exl15可以發送運動圖像數據。利用包含在手機exl15中的LSI 對此運動圖像數據進行編碼。在此內容提供系統ex100中，按照與上述實施例相同的方式對己 經由用戶利用攝像機ex113、照相機exll6等拍攝的內容(例如，音樂 現場視頻)進行編碼，并發送到流服務器ex103，并且流服務器ex103按照客戶機的請求向它們進行內容數據的流的分配。這里的客戶機包括計算機exlll， PDAexl12，攝像機exl13,手機exll4等能夠對上 述編碼數據進行解碼的設備。具有上述結構的內容提供系統ex100為 能夠使客戶機接收并再現編碼數據，并通過允許客戶機實時接收，解 碼以及再現數據，實現個人廣播的系統。上述實施例中提出的圖像編碼裝置和圖像解碼裝置可以用于在 組成上述系統中的每個設備中進行編碼和解碼。給出了對手機的說明作為例子。圖19為簡圖，示出了采用上面實施例中所述圖像編碼方法和圖 像解碼方法的手機ex115。手機exll5具有用于向/從基站exl10發 射/接收無線電波的天線ex201，能夠拍攝視頻和靜止圖像的攝像單元 ex203，如CCD照相機，用于顯示數據的顯示單元ex202，如液晶顯 示器，其通過對由攝像單元ex203拍攝的視頻等和通過天線ex201接 收的視頻等進行解碼獲得此數據，裝有一組操作按鍵ex204的主體， 用于輸出聲音的聲音輸出單元ex208，如揚聲器，用于輸入聲音的聲 音輸入單元ex205，如麥克風，用于存儲編碼數據和解碼數據的記錄 介質ex207，數據為諸如由照相機拍攝的運動圖像和靜態圖像數據， 接收的電子郵件數據和運動圖像數據或者靜態圖像數據，以及用于使 記錄介質ex207能夠連接到手機exl15的插槽單元ex206。記錄介質 ex207采用閃存器件，這是一種EEPROM(電可擦除與可編程只讀存 儲器)，為可電擦除以及重寫的非易失性的存儲器，裝在塑料盒中， 如SD卡。下一步，參照圖20，對手機exl15進行了描述。在手機exl15 中，主控單元ex311主要用于控制顯示單元ex202，且具有操作按鍵 ex204的主體的每個單元的配置方式是其中使得電源電路單元 ex310，操作輸入控制單元ex304，圖像編碼單元ex312，攝像機接口 單元ex303， LCD(液晶顯示屏)控制單元ex302，圖像解碼單元ex309，多路復用/解復用單元ex308，記錄/再現單元ex307，調制解調器電路 單元ex306，以及聲音處理單元ex305通過同步總線ex313互連。當用戶操作打開通話結束(call-end)按鍵或者電源按鍵時，電源電 路單元ex310從電池塊向每個單元供電，并且激活裝有攝像機的數字 手機exl15，使其處于準備狀態。在手機exl15中，在主控單元ex311控制下，聲音處理單元ex305 將利用聲音輸入單元ex205在通話模式下接收的語音信號轉化為數 字語音數據，主控單元ex311包括CPU， ROM, RAM等，調制解調 器電路單元ex306對其進行擴頻處理，發射/接收電路單元ex301對 該數據進行數模轉換處理與頻率變換處理，以通過天線ex201發射結 果。同樣，在手機exll5中，在通話模式下由天線ex201接收的數據 被放大并進行頻率變換處理與模數轉換處理，調制解調器電路單元 ex306對結果進行逆擴頻處理，聲音處理單元ex305將其轉化為模擬 語音數據，以通過聲音輸出單元ex208將其輸出。進一步地，當在數據通信模式中發送電子郵件時，通過主體上操 作按鍵ex204輸入的電子郵件的文本數據通過操作輸入控制單元 ex304送到主控單元ex311。在主控單元ex311中，經過調制解調器 電路單元ex306對該文本數據進行擴頻處理，并且發射/接收電路單 元ex301對其進行數模轉換處理和頻率變換處理，處理的結果通過天 線ex201發射至基站ex110。當在數據通信模式中發射圖像數據時，由攝像單元ex203拍攝的 圖像數據通過攝像機接口單元ex303提供給圖像編碼單元ex312。當 沒有發射圖像數據時，也可以通過攝像機接口單元ex303和LCD控 制單元ex302在顯示單元ex202上直接顯示由攝像單元ex203拍攝的 此圖像數據。包括根據本發明的圖像編碼裝置的圖像編碼單元ex312，使用上 述實施例中給出的圖像編碼裝置所采用的編碼方法，對由攝像單元ex203提供的圖像數據進行壓縮編碼，從而將其轉化為編碼圖像數據， 并將其發送至多路復用/解復用單元ex308。在這時候，當攝像單元 ex203進行拍攝的時候，手機exll5通過聲音處理單元ex305，以數 字語音數據的形式將利用聲音輸入單元ex205接收的語音發送到多 路復用/解復用單元ex308。多路復用/解復用單元ex308使用預定的方法，對由圖像編碼單 元ex312提供的編碼圖像數據和由聲音處理單元ex305提供的語音數 據進行復用，調制解調器電路單元ex306對得到的復用數據進行擴頻 處理，并且發射/接收電路單元ex301對結果進行數模轉換處理和頻 率變換處理，以通過天線ex201發射經過處理的數據。在數據通信模式中，當接收與網頁等鏈接的運動圖像文件數據 時，調制解調器電路單元ex306對通過天線ex201從基站exllO接收的接收信號進行逆擴頻處理，并將得到的復用數據發送至多路復用/ 解復用單元ex308。為了對通過天線ex201接收的復用數據進行解碼，多路復用/解 復用單元ex308將復用數據分為圖像數據的編碼比特流和語音數據 的編碼比特流，并且通過同步總線ex313將此編碼圖像數據提供給圖 像解碼單元ex309，將語音數據提供給聲音處理單元ex305。下面，包括根據本發明的圖像解碼裝置的圖像解碼單元ex309， 使用與上述實施例所示的編碼方法對應的解碼方法，對圖像數據的編 碼比特流數據進行解碼，以生成用于再現的運動圖像數據，并通過 LCD控制單元ex302將此數據提供給顯示單元ex202。從而，比如說， 顯示包括在與網頁鏈接的運動圖像文件中的運動圖像數據。同時，聲 音處理單元ex305將語音數據轉換為模擬語音信號，然后將其提供給 聲音輸出單元ex208。從而，比如說，再現包含在與網頁鏈接的運動 圖像文件中的語音數據。注意到上述系統不是唯一的例子，因此，在衛星/地面數字廣播己經成為最近談論的話題的背景下，至少上述實施例中的圖像編碼裝 置或者圖像解碼裝置可以被如圖21所示的數字廣播系統采用。更具體地，在廣播站ex409中，利用無線電波向用于通信或者廣播的衛星 ex410發射視頻信息的編碼比特流。接收到它之后，廣播衛星ex410 發射無線電波用于廣播，裝備有衛星廣播接收設備的機房的天線 ex406接收此無線電波，諸如電視(接收機)ex401和機頂盒(STP)ex407 之類的裝置對此編碼比特流進行解碼并再現該解碼數據。上述實施例 中所述的圖像解碼裝置可以應用在再現裝置ex403中，用于對記錄在 存儲介質ex402上的編碼比特流進行讀取和解碼，存儲介質ex402為 如CD和DVD的記錄介質。在此情況下，在監視器ex404上顯示再 現的視頻信號。也可以設想，該圖像解碼裝置應用在與用于有線電視 的電纜ex405或者用于衛星/地面廣播的天線ex406相連的機頂盒 ex407中，從而在電視監視器ex408上再現它。在此情況下，電視機 而不是機頂盒可能采用該圖像解碼裝置。或者，裝有天線ex411的汽 車ex412可以從衛星ex410，基站exl07等接收信號，以在顯示器， 比如裝在汽車ex412上的車載導航系統ex413上再現運動圖像。進一歩地，也可以利用上述實施例給出的圖像編碼裝置，對圖像 信號進行編碼并在記錄介質上記錄結果。例子包括用于將圖像信號記 錄在DVD光盤ex421上的DVD記錄器，以及記錄器ex420，例如用于將圖像信號記錄在硬盤上的硬盤記錄器。并且，圖像信號還可以記 錄在SD卡ex422中。如記錄器ex420裝備有上述實施例中給出的圖 像解碼裝置，就可以再現記錄在DVD光盤ex421或者SD卡ex422 中，并將其顯示在監視器ex408上。可以設想，在圖20所示的配置之外，將沒有攝像單元ex203和 攝像機接口單元ex303的配置作為車載導航系統ex413的配置。同樣 也適用于計算機exlll，電視(接收機)ex401等。至于諸如手機exl14的終端，具有編碼器和解碼器的發射/接收終端，以及只具有編碼器的發射終端和只具有解碼器的接收終端都可 能成為實施的形式。如上所述，可以將上述實施例中給出的圖像編碼方法和圖像解碼 方法應用到上述的設備與系統中的任意一個中。因此，可以獲得上述 實施例中描述的效果。通過這樣的發明描述，顯然可以以多種方法改變本發明的實施 例。這樣的改變不被視為背離本發明的精神和范圍，并且對于本領域 的技術人員，所有這樣的修改將顯而易見并且包含在下述的權利要求 的范圍內。工業應用本發明適合用于以逐塊為基礎對圖像進行編碼的圖像編碼裝置以及圖像解碼裝置，還適用于分配運動圖像的Web服務器，用于接 收此運動圖像的網絡終端，能夠記錄和再現運動圖像的數字攝像機， 裝有攝像機的手機，DVD錄像機/播放器，PDA，個人計算機等。
權利要求
1、一種基于逐塊方式對圖像數據進行編碼的圖像編碼方法，包括選擇第一尺寸和第二尺寸中之一作為應被執行正交變換的塊的正交變換尺寸；對具有所選正交變換尺寸的塊進行正交變換，并且獲得所得到的變換系數；利用與所選正交變換尺寸相一致的加權矩陣，對所述變換系數進行量化；以及對所述量化的變換系數進行可變長度編碼，并輸出所得到的編碼流。
2、 如權利要求l所述的圖像編碼方法，其中所述選擇步驟包括當對于應被執行正交變換的塊進行圖像 間預測編碼時，基于運動補償塊尺寸選擇所述正交變換尺寸。
3、 如權利要求2所述的圖像編碼方法， 其中所述第一尺寸小于所述第二尺寸，而且， 所述選擇步驟包括當所述運動補償塊尺寸小于所述第二尺寸時，選擇所述第一 尺寸作為所述正交變換尺寸。
4、 如權利要求1所述的圖像編碼方法，還包括 將尺寸信息加入所述編碼流中，所述尺寸信息指示包含在所述圖像數據中的預定單元內的所有塊的正交變換尺寸是所述第一尺寸，還 是所述第一尺寸和所述第二尺寸的混合。
5、 如權利要求4所述的圖像編碼方法，其中所述尺寸信息置于 所述編碼流中的每個圖像內。
6、 如權利要求l所述的圖像編碼方法，其中，所述第一尺寸指示4像素高、4像素寬的塊的尺寸；以及所述第二尺寸指示8像素高、8像素寬的塊的尺寸。
全文摘要
本發明的圖像編碼方法是基于逐塊方式對圖像數據進行編碼的圖像編碼方法，包括選擇第一尺寸和第二尺寸中之一作為應被執行正交變換的塊的正交變換尺寸；對具有所選正交變換尺寸的塊進行正交變換，并且獲得所得到的變換系數；利用與所選正交變換尺寸相一致的加權矩陣，對所述變換系數進行量化；以及對所述量化的變換系數進行可變長度編碼，并輸出所得到的編碼流。
文檔編號H04NGK101247524SQ20081008386
公開日2008年8月20日 申請日期2004年2月18日 優先權日2003年2月21日
發明者小塚雅之, 柏木吉一郎, 角野真也, 路久懷 申請人:松下電器產業株式會社