預測圖像產生方法及設備和圖像視頻編/解碼方法及設備的制作方法

專利名稱：預測圖像產生方法及設備和圖像視頻編/解碼方法及設備的制作方法
技術領域：
本發明涉及彩色圖像編碼和/或解碼，更具體地講，涉及一種對所有彩色分量使用單一編碼模式的圖像和視頻編碼和解碼方法以及設備。
背景技術：
通常，由裝置獲得的圖像是RGB格式。然而，當這樣獲得的圖像被壓縮時，圖像被轉換為YCbCr圖像格式。這時候，Y是單色并僅具有亮度分量，Cb和Cr具有色度分量。在RGB圖像中，信息在R、G、和B數據之間均勻分布，但是在YCbCr圖像格式中，信息集中在Y分量中，較少的信息在Cb和Cr分量中。因此，當以YCbCr圖像格式執行壓縮時，壓縮效率得到提高。
由于YCbCr圖像中的Y分量的統計特征與Cb和Cr分量的統計特征不同，所以，在傳統的編碼方法中，分別使用不同的方法來壓縮Y分量以及Cb和Cr分量。例如，在最近標準化的由ISO/IEC MPEG和ITU-T VCEG的聯合視頻組提出的MPEG-4 AVC/H.264標準(″Text of ISO/IEC FDIS 14496-10Information Technology-Coding of audio-visual objects-Part 10AdvancedVideo Coding″，ISO/IEC JTC 1/SC 29/WG 11，N5555，March 2003)中，當Y分量作為視頻信號中的幀內圖像被編碼時，沿著預測方向使用9種預測方法以4×4塊為單位執行空間預測。此外，可沿著預測方向使用4種預測方法以16×16塊為單位執行空間預測。然而，由于包括Cb和Cr分量的圖像比包含Y分量的圖像相對簡單，所以當Cb和Cr分量作為視頻信號中的幀內圖像被編碼時，使用4種預測方法沿著預測方向以8×8塊為單位執行空間預測而與Y分量無關。
此外，當以幀間模式執行圖像的編碼時，通過使用6抽頭濾波器擴展預測圖像來精確地執行Y分量的運動補償，而通過使用雙線性濾波器擴展預測圖像來執行Cb和Cr分量的運動補償。因此，在傳統的方法中，因為Y分量與Cb和Cr分量的統計特征彼此不同，所以對于Y分量與Cb和Cr分量使用不同的壓縮方法。
然而，當RGB圖像轉換為YCbCr圖像時，會發生諸如彩色失真的圖像質量損失，因此，近期已經在研究RGB圖像的直接編碼方法。特別地，MPEG-4-AVC/H.264標準的保真度范圍擴展標準支持RGB圖像的直接編碼。在這一新近采用的技術中，殘余變換技術用于執行RGB圖像中的空間或時間預測，在獲得殘余圖像之后，在R、G、和B數據的每一個中存在的冗余信息被去除，從而在沒有降低圖像質量的情況下提高了編碼效率。
當RGB圖像被編碼時，因為用于YCbCr的方法被不加改變地應用，所以如上所述，傳統方法的編碼效率被降低。因此，當RGB輸入圖像在RGB域中被編碼而沒有將所述圖像轉換為YCbCr圖像時，需要通過根據RGB圖像的統計特征執行空間預測和時間預測以在保持高圖像質量的情況下提高編碼效率的方法。

發明內容
本發明的另外的方面和/或優點將部分地在下面的描述中闡述，部分地通過所述描述將變得清楚，或者可通過本發明的實踐得知。
本發明提供一種對所有彩色分量使用單一編碼模式來產生空間預測圖像的方法。
本發明還提供一種對所有彩色分量使用單一編碼模式來產生時間預測圖像的方法。
本發明還提供一種用于對所有彩色分量使用單一編碼模式來產生預測圖像的方法和設備。
本發明還提供一種使用單一編碼模式的圖像和視頻編碼方法和設備。
本發明還提供一種使用單一編碼模式的圖像和視頻解碼方法和設備。
根據本發明的一方面，提供一種空間預測圖像產生方法，該方法包括對包括至少兩個圖像分量的原始圖像中的每一圖像分量應用同樣的預測方向；和從空間上與當前幀的預定大小的像素塊靠近的像素來獲得空間預測圖像。
像素塊的大小可以是4×4，9種預測方向中的任何一種可以被確定為預測方向。
根據本發明的另一方面，提供一種時間預測圖像產生方法，該方法包括對包括至少兩個圖像分量的原始圖像中的每一圖像分量應用同樣的塊大小、運動矢量、和運動插值方法；和從在每一圖像分量的前一幀和當前幀之間以預定大小的塊為單位估計運動來獲得時間預測圖像。
根據本發明的另一方面，提供一種預測圖像產生方法，該方法包括對包括至少兩個圖像分量的原始圖像中的每一圖像分量應用同樣的預測方向；從空間上與當前幀的預定大小的像素塊靠近的像素來獲得空間預測圖像；對包括至少兩個圖像分量的原始圖像中的每一圖像分量應用同樣的塊大小、運動矢量、和運動插值方法；通過在每一圖像分量的前一幀和當前幀之間以預定大小的塊為單位估計運動來獲得時間預測圖像；使用空間預測圖像和時間預測圖像選擇編碼模式；和通過將選擇的編碼模式同樣地應用于每一分量來產生預測圖像。
在編碼模式的選擇中，可計算空間預測圖像和時間預測圖像的每一個的比特量和圖像質量失真，可選擇與最小總和對應的編碼模式為編碼模式，其中所述最小總和是通過累加空間預測圖像和時間預測圖像的每一個的比特量和圖像質量失真獲得的。
根據本發明的另一方面，提供一種預測圖像產生設備，該設備包括空間預測圖像產生單元，用于對包括至少兩個圖像分量的原始圖像中的每一圖像分量應用同樣的預測方向，并從空間上與當前幀的預定大小的像素塊靠近的像素來獲得空間預測圖像；時間預測圖像產生單元，用于對包括至少兩個圖像分量的原始圖像中的每一圖像分量應用同樣的塊大小、運動矢量、和運動插值方法，并通過在每一圖像分量的前一幀和當前幀之間以預定大小的塊為單位估計運動來獲得時間預測圖像；編碼模式選擇單元，用于通過使用空間預測圖像和時間預測圖像選擇編碼模式；和單一模式預測圖像產生單元，用于通過將在編碼模式選擇單元中選擇的編碼模式同樣地應用于每一分量來產生預測圖像。
編碼模式選擇單元可包括空間比特量/圖像質量失真計算單元，用于計算空間預測圖像的比特量和圖像質量失真；時間比特量/圖像質量失真計算單元，用于計算時間預測圖像的比特量和圖像質量失真；和性能比較單元，用于比較通過累加空間預測圖像和時間預測圖像的每一個的比特量和圖像質量失真獲得的值，并選擇與較小的值對應的編碼模式。
根據本發明的另一方面，提供了一種對所有彩色分量使用單一編碼模式的圖像編碼設備，該設備包括預測圖像產生單元，通過對包括至少兩個圖像分量的原始圖像中的每個圖像分量使用同樣的編碼模式來產生預測圖像；殘余產生單元，產生與原始圖像和預測圖像之間的差相應的殘余；和編碼單元，通過對殘余數據編碼來產生比特流。
所述預測圖像產生單元可包括空間預測圖像產生單元，當執行幀內方法時，對原始圖像的每個圖像分量從空間上與當前幀的像素塊相鄰的像素應用同樣的預測方向來獲得預測圖像；時間預測圖像產生單元，當執行幀間方法時，在原始圖像的每個圖像分量的前一幀和當前幀之間以同樣大小的塊為單位應用同樣的運動估計和運動插值方法來獲得預測圖像；編碼模式選擇單元，通過使用空間預測圖像和時間預測圖像來選擇編碼模式；和單一模式預測圖像產生單元，通過對彩色圖像的每個分量同樣地應用在編碼模式選擇單元中選擇的編碼模式來產生預測圖像。
所述編碼模式選擇單元可包括空間比特量和/或圖像質量失真計算單元，計算空間預測圖像的比特量和圖像質量的失真；時間比特量/圖像質量失真計算單元，計算時間預測圖像的比特量和圖像質量的失真；和性能比較單元，比較通過累加空間預測圖像和時間預測圖像的每一個的比特量和/或圖像質量失真獲得的值，并選擇與較小值相應的編碼模式。
所述設備還可包括殘余變換單元，所述殘余變換單元通過使用圖像分量的殘余之間的相關來對殘余產生單元產生的殘余執行殘余變換，其中，所述編碼單元將每個圖像分量的殘余產生為比特流。
所述設備還可包括變換/量化單元，所述變換/量化單元以預定大小的塊為單位對由殘余變換單元變換的殘余執行變換和量化，其中，所述編碼單元將變換和量化的系數產生為比特流。
根據本發明的另一方法，提供了一種對所有彩色分量使用單一編碼模式的圖像編碼方法，該方法包括通過對包括至少兩個圖像分量的原始圖像中的每個圖像分量使用同樣的編碼模式來產生預測圖像；產生與原始圖像和預測圖像之間的差相應的殘余；和通過對殘余數據編碼產生比特流。
所述產生預測圖像的步驟可包括對于包括至少兩個圖像分量的原始圖像的每個圖像分量，通過從空間上與當前幀的像素塊相鄰的像素應用同樣的預測方向來獲得預測圖像；通過對包括至少兩個圖像分量的原始圖像中的每個圖像分量應用同樣的塊大小、運動矢量和運動插值方法，并通過在每個圖像分量的前一幀和當前幀之間以預定大小的塊為單位估計運動，來獲得預測圖像；通過使用空間預測圖像和時間預測圖像來選擇編碼模式；和通過對彩色圖像的每個分量同樣地應用選擇的編碼模式來產生預測圖像。
在選擇編碼模式的步驟中，空間預測圖像和時間預測圖像的每一個的比特量和/或圖像質量的失真可被計算，與空間預測圖像和時間預測圖像的每一個的比特量和/或圖像質量失真的最小總和相應的編碼模式可被選擇作為編碼模式。
所述方法還可包括通過使用圖像分量的殘余之間的相關來對產生的殘余執行殘余變換，其中，在產生比特流的步驟中，將每個圖像分量的變換的殘余產生為比特流。
所述方法還可包括以預定大小的塊為單位對變換的殘余執行變換和量化，其中，在產生比特流的步驟中，變換和量化的系數的每一個被產生為比特流。
根據本發明的另一方面，提供一種對所有彩色分量使用單一編碼模式的圖像解碼設備，包括數據恢復單元，當假設在包括至少兩個圖像分量的原始圖像和在原始圖像中的預測圖像之間的差是殘余時，通過從比特流解碼殘余信息來恢復殘余信息；和預測補償單元，通過將預測圖像與恢復的殘余數據相加來恢復圖像，所述預測圖像是通過應用同樣的編碼模式所產生。
預測補償單元可包括空間預測補償單元，當執行幀內方法時，通過將恢復的殘余數據與預測圖像相加來恢復圖像，所述預測圖像是通過對原始圖像的每一圖像分量從空間上與當前幀的像素塊靠近的像素應用同樣的預測方向來獲得；和時間預測補償單元，當執行幀間方法時，通過將恢復的殘余數據與預測圖像相加來恢復圖像，所述預測圖像是通過在原始圖像的每一圖像分量的前一幀和當前幀之間以同樣大小的塊為單位應用同樣的運動估計和運動補償方法來獲得。
所述設備還可包括逆殘余變換單元，如果在數據恢復單元中恢復的數據是殘余變換的數據，則使用圖像分量的殘余之間的相關對殘余變換的數據執行逆變換，其中，預測補償單元通過將逆殘余變換的殘余與預測圖像相加來執行預測補償，所述預測圖像是對每一圖像分量使用同樣的編碼模式所產生。
所述設備還可包括逆量化/逆變換單元，如果在數據恢復單元中恢復的數據是變換和量化的殘余數據，則以預定大小的塊為單位對變換和量化的數據執行逆量化和逆變換，其中，預測補償單元通過將逆量化和逆變換的殘余與預測圖像相加來執行預測補償，所述預測圖像是對每一圖像分量使用同樣的編碼模式所產生。
根據本發明的另一方面，提供一種對所有彩色分量使用單一編碼模式的圖像解碼方法，包括當假設在包括至少兩個圖像分量的原始圖像和在原始圖像中的預測圖像之間的差是殘余時，通過從比特流解碼殘余信息來恢復殘余信息；和通過將預測圖像與恢復的殘余數據相加來恢復圖像，所述預測圖像是應用同樣的編碼模式所產生。
圖像的恢復步驟可包括當執行幀內方法時，通過對原始圖像的每一圖像分量從空間上與當前幀的像素塊靠近的像素應用同樣的預測方向來獲得預測圖像；和當執行幀間方法時，通過在原始圖像的每一圖像分量的前一幀和當前幀之間以同樣大小的塊為單位應用同樣的運動估計和運動補償方法來獲得預測圖像。
所述方法還可包括使用圖像分量的殘余之間的相關對產生的殘余執行逆變換，其中，通過將逆殘余變換的殘余與預測圖像相加來恢復圖像，所述預測圖像是對每一圖像分量使用同樣的編碼模式所產生。
所述方法還可包括以預定大小的塊為單位對產生的殘余執行逆量化和逆變換，其中，通過將逆量化和逆變換的殘余與預測圖像相加來恢復圖像，所述預測圖像是對每一圖像分量使用同樣的編碼模式所產生。
根據本發明的另一方面，提供一種在其上實施用于執行所述方法的計算機程序的計算機可讀記錄介質。


通過下面結合附圖進行的對實施例的描述，本發明的這些和/或其他方面和優點將會變得清楚和更加容易理解，其中圖1是根據本發明實施例的在彩色分量中使用單一編碼模式的預測圖像產生設備的方框圖；圖2是根據本發明實施例的預測圖像產生方法的流程圖；圖3是根據本發明實施例的在彩色分量中使用單一編碼模式的圖像和視頻編碼設備的方框圖；圖4是根據本發明實施例的對所有彩色分量使用單一編碼模式的圖像和視頻編碼方法的流程圖；
圖5是根據本發明實施例的對所有彩色分量使用單一編碼模式的圖像和視頻解碼設備的方框圖；圖6是根據本發明實施例的預測補償單元的詳細方框圖；圖7是根據本發明實施例的對所有彩色分量使用單一編碼模式的圖像和視頻解碼方法的流程圖；圖8A和圖8B示出根據本發明的用于空間預測的鄰近像素的位置、將被預測的當前塊的像素的位置和預測方向；圖9示出根據本發明實施例的為了時間預測在ME/MC(運動估計/運動補償)中劃分宏塊的方法；圖10示出根據本發明實施例的使用6抽頭濾波器的MC(運動補償)插值方法；和圖11示出根據本發明實施例的使用雙線性濾波器的MC(運動補償)插值方法。
具體實施例方式
現在將詳細參照本發明的實施例，其示例在附圖中示出，其中，相同的標號始終指的是相同的部件。下面描述實施例以通過參照附圖解釋本發明。
現在將參照附圖更加全面地描述本發明，附圖中示出本發明的示例性實施例。
圖1是根據本發明實施例的在彩色分量中使用單一編碼模式的預測圖像產生設備的方框圖。參照圖1，該預測圖像產生設備包括空間預測圖像產生單元100、時間預測圖像產生單元120、編碼模式選擇單元140、和單一模式預測圖像產生單元160。
空間預測圖像產生單元100對包括至少兩個圖像分量的原始圖像中的每一圖像分量應用(基本上)同樣的預測方法，并從空間上與當前幀中的預定大小的像素塊靠近的像素來產生空間預測圖像。
時間預測圖像產生單元120使用(基本上)同樣的塊大小和(基本上)同樣的運動矢量，對包括至少兩個圖像分量的原始圖像中的每一圖像分量應用(基本上)同樣的運動插值方法，并通過在每一圖像分量的前一幀和當前幀之間以預定大小的塊為單位估計運動來產生時間預測圖像。
編碼模式選擇單元140基于空間預測圖像和時間預測圖像選擇編碼模式。編碼模式選擇單元140包括空間比特量/圖像質量失真計算單元142、時間比特量/圖像質量失真計算單元144、和性能比較單元146。
關于空間預測圖像，空間比特量/圖像質量失真計算單元142計算空間預測圖像的比特量和圖像質量失真。時間比特量/圖像質量失真計算單元144計算時間預測圖像的比特量和圖像質量失真。性能比較單元146比較通過累加空間預測圖像和時間預測圖像的每一個的比特組成的數量和圖像質量失真獲得的值，并選擇與較小的值對應的編碼模式作為單一編碼模式。
單一模式預測圖像產生單元160通過將選擇的編碼模式應用于彩色圖像的每一分量來產生預測圖像。
圖2是根據本發明實施例的預測圖像產生方法的流程圖。現在將簡要地解釋所述方法。在操作200中，通過對彩色圖像的各個彩色分量應用使用同樣的預測方向的方法，產生空間預測圖像。此外，在操作220中，使用同樣的塊大小和同樣的運動矢量，對原始圖像中的每一彩色分量應用同樣的運動插值方法，產生時間預測圖像。在操作240中，計算產生的空間預測圖像和時間預測圖像的每一個的比特組成的數量和圖像質量失真。在操作260中，通過比較計算的結果，選擇產生具有最小的比特量和/或圖像質量失真的圖像的編碼模式。在操作280中，通過應用選擇的編碼模式產生預測圖像。
現在將參照圖1和圖2詳細解釋根據本發明實施例的在彩色分量中使用單一編碼模式來產生預測圖像的方法以及用于產生預測圖像的設備的操作。
假設在用于使用單一編碼模式產生預測圖像的設備中輸入的彩色圖像Fn是RGB圖像。以塊為單位處理所述彩色圖像。為了增加編碼效率，使用采用時間預測的幀間方法和采用空間預測的幀內方法，在所述采用時間預測的幀間方法中，通過從前一預測圖像F′n-1估計運動來執行預測；在所述采用空間預測的幀內方法中，在空間上靠近當前預測圖像F′n的塊中執行預測。這時候，選擇多種編碼模式中最有效的模式或相對有效的模式。
在空間預測模式中，即，在幀內模式中，對R、G、和B使用同樣的預測模式來產生空間預測圖像，增加了R、G、和B的殘余之間的相關。
在時間預測中，即，在幀間模式中，同樣的塊大小和同樣的運動矢量用于R、G、和B，并且當預測圖像被擴展時，同樣的濾波器用于插值，并且產生時間預測圖像。
當使用空間預測方法時，確定哪一種采用的模式是最有效的或相對有效的。例如，在MPEG-4 AVC/H.264中，如圖8A和8B所示，在每一4×4中使用9種預測方法執行預測。此外，使用16×16塊大小和4種預測方法執行預測。這時候，通過對R、G、和B應用同樣的預測方法來執行預測。計算作為以每一模式執行預測的結果獲得的比特量和/或圖像質量失真，并且選擇具有通過累加比特量和/或失真獲得的最小值的預測方法。這時候，可通過執行變換和量化，其后執行熵編碼來計算比特量。為了確定圖像質量失真，可使用原始圖像和通過恢復圖像獲得的恢復圖像之間的均方差D=Σi=0N(pi-qi)2······(1)]]>其中，D是圖像質量失真的數值，p是當前圖像的像素值，q是前一圖像的像素值。此外，當累加圖像質量失真和比特量時，為了對于所述兩個比特量獲得相同的單位，如下面的等式2所示，使用預定常數L＝D+λR......(2)這里，R是比特率，λ是預定常數。對于每一預測方法計算該值，并且選擇具有最小L的預測方法。
在幀間方法中，塊被分為如圖9所示，并執行運動估計。這時候，使用與如上所述相同的方法，對每一預測方法計算L，并選擇具有最小L的方法。應理解可僅使用任一個，即D、R或λR來選擇預測方法。
這時候，對于R、G、和B分量的每一個應用同樣的預測方法。此外，同樣的運動矢量用于R、G、和B分量的每一個。此外，為了詳述運動預測，使用插值和擴展預測圖像的方法。在本發明的實施例中，可使用6抽頭濾波器或雙線性濾波器。
圖9示出當前一幀的圖像以垂直和水平方向被四倍插值以便插值和擴展預測圖像時使用6抽頭濾波器的塊劃分的示例。6抽頭濾波器用于MPEG-4AVC/H.264標準中。在圖10中，當像素A至像素U在前一幀中時，根據下面的方法執行1/4或1/2插值。
首先，根據下面的等式3和4，在垂直或水平方向的1/2像素位置的像素b和h的每一個分別被使用前一幀的6個鄰近像素插值b1＝(E-5×F+20×G+20×H-5×I+J)h1＝(A-5×C+20×G+20×M-5×R+T)......(3)b＝Clip1((b1+16)＞＞5)
h＝Clip1((h1+16)＞＞5)......(4)這里，Clip1(x)將x截取到圖像像素的比特范圍之內。在8比特圖像中，如果x小于0，則將x設置為0，如果x大于255，則將x設置為255。其它值保持為它們的原始值。用于插值的濾波器抽頭是[1，-5，20，20，-5，1]，其是使用更多鄰近像素的6抽頭濾波器。
根據下面的等式5，在垂直和水平方向的1/2像素位置的像素j被使用在1/2像素位置的6個先前恢復的垂直或水平的鄰近像素插值j1＝cc-5×dd+20×h1+20×m1-5×ee+ff或j1＝aa-5×bb+20×b1+20×s1-5×gg+hhj＝Clip1((j1+512)＞＞10)......(5)這里，鄰近像素cc、dd、h1、m1、ee、和ff或aa、bb、b1、s1、gg、hh是通過等式3使用6抽頭濾波器插值獲得的中間結果。
類似地，根據等式4通過像素s1和m1恢復在1/2像素位置的像素s和m的值。根據下面的等式6，獲得作為垂直方向或水平方向上兩個鄰近像素的平均值的在1/4像素位置的像素a、c、d、n、f、i、k、和qa＝(G+b+1)＞＞1c＝(H+b+1)＞＞1d＝(G+h+1)＞＞1n＝(M+h+1)＞＞1f＝(b+j+1)＞＞1i＝(h+j+1)＞＞1k＝(j+m+1)＞＞1q＝(j+s+1)＞＞1 ......(6)獲得作為兩個對角方向鄰近像素的平均值的在1/4像素位置的e、g、p、和re＝(b+h+1)＞＞1g＝(b+m+1)＞＞1p＝(h+s+1)＞＞1
r＝(m+s+1)＞＞2 ......(7)圖11示出當在垂直和水平方向上對前一幀的圖像進行4倍插值以對預測圖像進行插值和擴展時使用雙線性插值方法的示例。該雙線性插值方法被用在MPEG-4AVC/H.264標準中。
在前一幀的像素A、B、C和D中，根據下面的方程10來獲得在1/4或1/2像素位置的像素a＝((4-dx)×(4-dy))×A+dx×(4-dy)×B+(4-dx)×dy×C+dx×dy×D+8)＞＞4...(10)這里，dx指的是A或C距a的水平距離，dy指的是A或B在垂直方向上距a的垂直距離。
該雙線性插值方法比使用6抽頭濾波器的方法使用更少的鄰近像素和與將被插值的值接近的更多的鄰近值。
根據本發明的一方面，對R、G和B分量應用同樣的插值方法，以便R、G和B殘余信號彼此相似。其結果是，增強了殘余變換的效果。為了應用同樣的插值方法，可對所有的R、G和B分量應用6抽頭濾波器。另外，可對所有的R、G和B分量應用所述雙線性方法。另外，可為每個塊選擇最佳方法，并可使用選擇的方法對該塊進行編碼。因此，當通過對所有的R、G和B分量使用同樣的預測方法并使用同樣的插值方法執行了時空預測時，可增強R、G和B分量的殘余之間的相關。
圖8A示出用于空間預測的鄰近像素的位置和當前塊的像素的位置。該方法與MPEG-4 AVC/H.264標準編碼方法中使用的方法相同。在圖8A中，為了預測4×4塊中的預測塊數據Pa、Pb、...、Pq，使用被先前編碼和恢復并與將被預測的塊數據Pa、Pb、...、Pq空間鄰近的像素值P0、P1、...、P12。圖8B顯示0至8的9個預測方向，可通過從空間鄰近像素投影來使用所述9個預測方向以預測當前塊。例如，在方向0的情況下，在垂直方向上鄰近像素值P1、P2、P3和P4被投影，數據Pa、Pe、Pi和Pm被預測為像素值P1，數據Pb、Pf、Pj和Pn被預測為像素值P2，數據Pc、Pg、Pk和Po被預測為像素值P3，數據Pd、Ph、P1和Pq被預測為像素值P4。對于其它方向，以相同的方式通過投影來執行預測。
圖9示出劃分宏塊的方法，所述宏塊被用作用于圖像的時間預測的運動的基本單位。該方法被用在MPEG-4 AVC/H.264標準編碼方法中。參照圖9，16×16宏塊被分成包括16×16塊、16×8塊、8×16塊和/或8×8塊的多種大小的塊，運動矢量被獲得，并且圖像值被進行時間預測。8×8塊被再分成8×8塊、8×4塊、4×8塊和/或4×4塊，以便細微的運動可被準確檢測。
如上所述，通過使用在空間預測圖像產生單元100中產生的預測圖像，空間比特量/圖像質量失真計算單元142計算在幀內方法的每個模式下獲得的比特量和/或圖像質量的失真。另外，時間比特量/圖像質量失真計算單元144計算在幀間方法的每個模式下獲得的比特量和/或圖像質量的失真。然后，性能比較單元146比較計算的值，并選擇具有最高編碼效率或相對高的編碼效率的編碼模式。單一模式預測圖像產生單元160通過應用選擇的編碼模式來產生預測圖像。
在上面所述的由編碼模式選擇單元140執行的具有最高編碼效率的模式的選擇中比特量和/或圖像質量失真的計算和比較僅為本發明一個實施例的一部分。根據本發明其它實施例，可通過使用除比特量和/或圖像質量失真之外的其它因素來選擇具有最高編碼效率的編碼模式。
圖3是根據本發明實施例的對所有彩色分量使用單一編碼模式的圖像和視頻編碼設備的方框圖。所述圖像和視頻編碼設備包括預測圖像產生單元300、殘余產生單元310、變換/量化單元330、熵編碼單元340、逆量化/逆變換單元350、逆殘余變換單元360和預測補償單元370。
預測圖像產生單元300通過對包括至少兩個圖像分量的原始圖像中的每個圖像分量使用同樣的編碼模式來產生預測圖像。預測圖像產生單元300使用圖1的根據本發明實施例的預測圖像產生設備。因此，如圖1所示，預測圖像產生單元300可包括空間預測圖像產生單元100、時間預測圖像產生單元120、編碼模式選擇單元140和單一模式預測圖像產生單元160。
殘余產生單元310產生與原始圖像和預測圖像之間的差相應的殘余。殘余變換單元320通過使用圖像分量的每個殘余的相關對殘余產生單元310中產生的殘余執行殘余變換。變換/量化單元330以預定大小的塊為單位對由殘余變換單元320變換的殘余執行變換和量化。熵編碼單元340對由變換/量化單元330變換和量化的數據執行熵編碼，并產生比特流。
逆量化/逆變換單元350、逆殘余變換單元360和預測補償單元370對由變換/量化單元330變換和量化的數據分別執行逆量化/逆變換、逆殘余變換和預測補償，以產生當在預測圖像產生單元300中產生預測圖像時使用的當前幀的預測圖像F′n和前一幀的預測圖像F′n-1。
圖4是根據本發明實施例的對所有彩色分量使用單一編碼模式的圖像和視頻編碼方法的流程圖。
首先，在操作400中，通過使用單一編碼模式產生預測圖像。操作400與上面參照圖2描述的預測圖像產生方法相同，更多的解釋將被省略。然后，在操作420中，通過獲得原始圖像和預測圖像之間的差，產生了殘余，并對產生的殘余進行變換。然后，在操作440中，執行諸如DCT變換的變換和量化，在操作460中，通過對變換和量化的數據進行熵編碼，產生比特流。
根據本發明實施例的編碼設備的輸入彩色圖像Fn是RGB圖像，并以塊為單位對該圖像進行處理。為了提高編碼效率，該編碼設備應用使用時間預測的幀間方法和使用空間預測的幀內方法，在所述使用時間預測的幀間方法中，通過對先前預測圖像F′n-1進行運動估計來執行預測，在所述使用空間預測的幀內方法中，在空間上鄰近當前預測圖像F′n的塊中執行預測。此時，由編碼模式選擇單元140在多種編碼模式之中選擇最有效的模式。當選擇了空間預測模式時，對所有R、G和B分量使用同樣的預測模式，以便能夠增強R、G和B分量的殘余之間的相關。當時間預測被執行時，對R、G和B分量使用同樣的塊大小和同樣的運動矢量，并且當預測圖像被擴展時，對R、G和B分量的插值使用同樣的濾波器。這里，如果根據選擇的編碼模式信息執行空間或時間預測編碼，則可獲得R、G和B分量的每個的殘余信號。為了移除每個分量中的重疊信息，在每個分量之間執行殘余變換。然后，為了以塊為單位壓縮每個分量，執行諸如離散余弦變換(DCT)或離散整數變換的變換，然后對變換的系數進行量化并進行熵編碼以產生比特流。通過編碼的逆處理恢復的圖像被用于隨后塊的預測編碼。
圖5是根據本發明實施例的對所有彩色分量使用單一編碼模式的圖像和視頻解碼設備的方框圖。該圖像和視頻解碼設備包括熵解碼單元500、逆量化/逆變換單元520、逆殘余變換單元540和預測補償單元560。
熵解碼單元500對比特流進行熵解碼，逆量化/逆變換單元520以預定大小的塊為單位對熵解碼的數據執行逆量化和逆變換。
假設在包括至少兩個圖像分量的原始圖像和該原始圖像的預測圖像之間的差是殘余，則逆殘余變換單元540使用在逆量化和逆變換的數據之間的關聯，即圖像分量的殘余之間的關聯，對變換的殘余進行逆變換，由此恢復殘余數據。
預測補償單元560將預測圖像與恢復的殘余數據相加，并恢復圖像，所述預測圖像是對R、G和B分量的每個使用同樣的編碼模式所產生。
圖6是預測補償單元560的詳細方框圖。預測補償單元560包括空間預測補償單元600和時間預測補償單元650。
在幀內方法中，對于原始圖像的每一分量，空間預測補償單元600將預測圖像與恢復的殘余數據相加，由此恢復圖像，所述預測圖像是從空間上與當前幀的像素塊相鄰的像素應用同樣的預測方向所獲得。
在幀間方法中，對于原始圖像的每一分量，時間預測補償單元650將預測圖像與恢復的殘余數據相加，由此恢復圖像，所述預測圖像是通過在前一幀和當前幀之間以同樣大小的塊為單位應用同樣的運動估計和運動補償方法所獲得。
圖7是根據本發明實施例的對所有彩色分量使用單一編碼模式的圖像和視頻解碼方法的流程圖。
假設在包括至少兩個圖像分量的原始圖像和該原始圖像的預測圖像之間的差是殘余，則從比特流來解碼殘余信息，并恢復殘余信息。如果通過熵編碼產生比特流，則在操作700，對所述比特流進行熵解碼。然后，在操作720，以預定大小的塊為單位對熵解碼的數據進行逆量化和逆變換。在操作740，通過使用逆量化和逆變換的數據之間的關聯，即圖像分量的殘余之間的關聯，來對變換的殘余進行逆變換并恢復殘余數據。在操作760，通過將預測圖像與每一圖像分量的殘余相加，來恢復圖像，所述預測圖像是對R、G和B分量中的每個使用同樣的編碼模式所產生。現在，將解釋操作760的預測圖像的獲得。在幀內方法中，對于原始圖像的每一分量，預測圖像是通過從空間上與將被預測的當前幀的像素塊相鄰的像素應用同樣的預測方向所獲得。在幀間方法中，對于原始圖像的每一分量，預測圖像是通過在前一幀和當前幀之間以同樣大小的塊為單位應用同樣的運動估計和運動補償方法所獲得。
通過以上參照圖3和圖4描述編碼處理的逆過程，從壓縮的比特流恢復圖像。
由熵解碼單元500、逆量化和逆變換單元520和逆殘余變換單元540來處理壓縮的數據，并獲得R、G和B分量中的每個的殘余信號。在幀間模式情況下，將每一分量的殘余值與從先前預測的圖像F’n-1預測的值相加，在幀內模式情況下，將每一分量的殘余值與使用空間預測方法從空間鄰近塊值預測的值相加。使用所述殘余值恢復圖像。
本發明還可被實施為計算機可讀記錄介質上的計算機可讀代碼。所述計算機可讀記錄介質是可存儲其后可由計算機系統讀取的數據的任何數據存儲裝置。所述計算機可讀記錄介質的示例包括只讀存儲器(ROM)、隨機訪問存儲器(RAM)、CD-ROM、磁帶、軟盤和光學數據存儲裝置。
根據本發明的對所有彩色分量使用單一編碼模式的預測圖像產生方法和設備，以及對所有彩色分量使用單一編碼模式的圖像和視頻編碼和/或解碼方法和設備，當使用空間鄰近像素或時間接近像素對彩色圖像的彩色分量進行預測編碼時，對每一彩色分量使用同樣的預測方法。由此，彩色分量的預測誤差信號之間的冗余信息增加，從而可提高編碼效率。
例如，當使用RGB彩色圖像，但是RGB輸入圖像不被變換成YCbCr圖像而是直接在RGB域中被編碼時，根據RGB圖像的統計特征來執行空間預測和時間預測，由此在保持高圖像質量的同時可提高編碼效率。
此外，通過直接壓縮可直接從裝置獲得而不用執行將RGB視頻圖像變換到YCbCr域中的傳統的處理來獲得的RGB視頻圖像，不存在圖像質量的損失，諸如當將RGB域變換到YCbCr域中時發生的圖像的失真，這是因為在RGB域中直接執行編碼，。因此，本發明的方法和設備適于需要高質量圖像信息的諸如數字電影和數字檔案的應用。
盡管參照本發明的示例性實施例已經詳細顯示和描述了本發明，但本領域的普通技術人員應該理解，在不脫離由權利要求所限定的本發明的精神和范圍的情況下，可在形式和細節上對其進行各種改變。所述實施例應該僅被理解為描述的意義，而不是限制的目的。因此，本發明的范圍不是由本發明的詳細的描述所限定，而是由權利要求所限定，并且落于所述范圍內的所有不同將被理解為包括在本發明中。
權利要求
1.一種空間預測圖像產生方法，該方法包括對包括至少兩個圖像分量的原始圖像中的每一圖像分量應用同樣的預測方向；和從空間上與當前幀的預定大小的像素塊靠近的像素來獲得空間預測圖像。
2.如權利要求1所述的方法，其中，像素塊的大小可以是4×4，9種預測方向中的任何一種被確定為預測方向。
3.一種時間預測圖像產生方法，該方法包括對包括至少兩個圖像分量的原始圖像中的每一圖像分量應用同樣的塊大小、運動矢量、和運動插值方法；和通過在每一圖像分量的前一幀和當前幀之間以預定大小的塊為單位估計運動來獲得時間預測圖像。
4.一種預測圖像產生方法，該方法包括對在包括至少兩個圖像分量的原始圖像中的每一圖像分量應用同樣的預測方向；從空間上與當前幀的預定大小的像素塊靠近的像素來獲得空間預測圖像；對包括至少兩個圖像分量的原始圖像中的每一圖像分量應用同樣的塊大小、運動矢量、和運動插值方法；通過在每一圖像分量的前一幀和當前幀之間以預定大小的塊為單位估計運動來獲得時間預測圖像；使用空間預測圖像和時間預測圖像選擇編碼模式；和通過將選擇的編碼模式同樣地應用于每一分量來產生預測圖像。
5.如權利要求4所述的方法，其中，在編碼模式的選擇中，計算空間預測圖像和時間預測圖像的每一個的比特量和/或圖像質量失真，選擇與最小總和對應的編碼模式為編碼模式，其中所述最小總和是通過累加空間預測圖像和時間預測圖像的每一個的比特量和/或圖像質量失真獲得的。
6.一種預測圖像產生設備，包括空間預測圖像產生單元，對包括至少兩個圖像分量的原始圖像中的每個圖像分量應用同樣的預測方向，并從空間上與當前幀的預定大小的像素塊相鄰的像素獲得空間預測圖像；時間預測圖像產生單元，對包括至少兩個圖像分量的原始圖像中的每個圖像分量應用同樣的塊大小、運動矢量和運動插值方法，并通過在每個圖像分量的前一幀和當前幀之間以預定大小的塊為單位進行運動估計來獲得時間預測圖像；編碼模式選擇單元，通過使用空間預測圖像和時間預測圖像來選擇編碼模式；和單一模式預測圖像產生單元，通過對每個分量同樣地應用在編碼模式選擇單元中選擇的編碼模式來產生預測圖像。
7.如權利要求6所述的設備，其中，所述編碼模式選擇單元包括空間比特量和/或圖像質量失真計算單元，計算空間預測圖像的比特量和/或圖像質量的失真；時間比特量/圖像質量失真計算單元，計算時間預測圖像的比特量和圖像質量的失真；和性能比較單元，比較通過累加空間預測圖像和時間預測圖像的每一個的比特量和/或圖像質量失真獲得的值，并選擇與較小值相應的編碼模式。
8.一種對所有彩色分量使用單一編碼模式的圖像編碼設備，包括預測圖像產生單元，通過對包括至少兩個圖像分量的原始圖像中的每個圖像分量使用同樣的編碼模式來產生預測圖像；殘余產生單元，產生與原始圖像和預測圖像之間的差相應的殘余；和編碼單元，通過對殘余數據編碼產生比特流。
9.如權利要求8所述的設備，其中，預測圖像產生單元包括空間預測圖像產生單元，通過當執行幀內方法時對原始圖像的每個圖像分量從空間上與當前幀的像素塊相鄰的像素應用同樣的預測方向來獲得預測圖像；時間預測圖像產生單元，通過當執行幀間方法時在原始圖像的每個圖像分量的前一幀和當前幀之間以同樣大小的塊為單位應用同樣的運動估計運動插值方法來獲得預測圖像；編碼模式選擇單元，通過使用空間預測圖像和時間預測圖像來選擇編碼模式；和單一模式預測圖像產生單元，通過對彩色圖像的每個分量同樣地應用在編碼模式選擇單元中選擇的編碼模式來產生預測圖像。
10.如權利要求9所述的設備，其中，所述編碼模式選擇單元包括空間比特量和/或圖像質量失真計算單元，計算空間預測圖像的比特量和/或圖像質量的失真；時間比特量和/或圖像質量失真計算單元，計算時間預測圖像的比特量和/或圖像質量的失真；和性能比較單元，比較通過累加空間預測圖像和時間預測圖像的每一個的比特量和/或圖像質量失真獲得的值，并選擇與較小值相應的編碼模式。
11.如權利要求8所述的設備，還包括殘余變換單元，通過使用圖像分量的殘余之間的相關來對殘余產生單元產生的殘余執行殘余變換，其中，所述編碼單元將每個圖像分量的殘余產生為比特流。
12.如權利要求11所述的設備，還包括變換/量化單元，以預定大小的塊為單位對由殘余變換單元變換的殘余執行變換和量化，其中，所述編碼單元將變換和量化的系數產生為比特流。
13.一種對所有彩色分量使用單一編碼模式的圖像編碼方法，包括通過對包括至少兩個圖像分量的原始圖像中的每個圖像分量使用同樣的編碼模式來產生預測圖像；產生與原始圖像和預測圖像之間的差相應的殘余；和通過對殘余數據編碼產生比特流。
14.如權利要求13所述的方法，其中，所述產生預測圖像的步驟包括對于包括至少兩個圖像分量的原始圖像的每個圖像分量，通過從空間上與當前幀的像素塊相鄰的像素應用同樣的預測方向來獲得預測圖像；通過對包括至少兩個圖像分量的原始圖像中的每個圖像分量應用同樣的塊大小、運動矢量和運動插值方法，并通過在每個圖像分量的前一幀和當前幀之間以預定大小的塊為單位估計運動，來獲得預測圖像；通過使用空間預測圖像和時間預測圖像來選擇編碼模式；和通過對彩色圖像的每個分量同樣地應用選擇的編碼模式來產生預測圖像。
15.如權利要求14所述的方法，其中，在選擇編碼模式的步驟中，空間預測圖像和時間預測圖像的每一個的比特量和/或圖像質量的失真被計算，與空間預測圖像和時間預測圖像的每一個的比特量和/或圖像質量失真的最小總和相應的編碼模式被選擇為編碼模式。
16.如權利要求13所述的方法，還包括通過使用圖像分量的殘余之間的相關來對產生的殘余執行殘余變換，其中，在產生比特流的步驟中，將每個圖像分量的變換的殘余產生為比特流。
17.如權利要求16所述的方法，還包括以預定大小的塊為單位對變換的殘余執行變換和量化，其中，在產生比特流的步驟中，變換和量化的系數的每一個被產生為比特流。
18.一種對所有彩色分量使用單一編碼模式的圖像解碼設備，包括數據恢復單元，當包括至少兩個圖像分量的原始圖像和該原始圖像的預測圖像之間的差是殘余時，通過對來自比特流的殘余信息解碼來恢復該殘余信息；和預測補償單元，通過將通過應用同樣的編碼模式產生的預測圖像與恢復的殘余數據相加來恢復圖像。
19.如權利要求18所述的設備，其中，所述預測補償單元包括空間預測補償單元，當執行幀內方法時，通過將預測圖像與所述恢復的殘余數據相加來恢復圖像，其中，所述預測圖像通過對原始圖像的每個圖像分量從空間上與當前幀的像素塊相鄰的像素應用同樣的預測方向而獲得；和時間預測補償單元，當執行幀間方法時，通過將所述恢復的殘余數據和預測圖像相加來恢復圖像，其中，所述預測圖像是通過在原始圖像的每個圖像分量的前一幀和當前幀之間以同樣大小的塊為單位應用同樣的運動估計和運動插值方法而獲得。
20.如權利要求18所述的設備，還包括逆殘余變換單元，如果在數據恢復單元中恢復的數據是殘余變換的數據，則使用圖像分量的殘余之間的關聯對殘余變換的數據執行逆變換，其中，預測補償單元通過將逆殘余變換的殘余與預測圖像相加來執行預測補償，所述預測圖像是對每一圖像分量使用同樣的編碼模式所產生。
21.如權利要求18所述的設備，還包括逆量化/逆變換單元，如果在數據恢復單元中恢復的數據是變換和量化的殘余數據，則以預定大小的塊為單位對變換和量化的數據執行逆量化和逆變換，其中，預測補償單元通過將逆量化和逆變換的殘余與預測圖像相加來執行預測補償，所述預測圖像是對每一圖像分量使用同樣的編碼模式所產生。
22.一種對所有彩色分量使用單一編碼模式的圖像解碼方法，包括當在包括至少兩個圖像分量的原始圖像和在原始圖像中的預測圖像之間的差是殘余時，通過從比特流解碼殘余信息來恢復殘余信息；和通過將預測圖像與恢復的殘余數據相加來恢復圖像，所述預測圖像是應用同樣的編碼模式所產生。
23.如權利要求22所述的方法，其中，所述圖像的恢復步驟包括當執行幀內方法時，通過對原始圖像的每一圖像分量從空間上與當前幀的像素塊靠近的像素應用同樣的預測方向來獲得預測圖像；和當執行幀間方法時，通過在原始圖像的每一圖像分量的前一幀和當前幀之間以同樣大小的塊為單位應用同樣的運動估計和運動插值方法來獲得預測圖像。
24.如權利要求22所述的方法，還包括使用圖像分量的殘余之間的關聯對產生的殘余執行逆變換，其中，通過將逆殘余變換的殘余與預測圖像相加來恢復圖像，所述預測圖像是對每一圖像分量使用同樣的編碼模式所產生。
25.如權利要求22所述的方法，還包括以預定大小的塊為單位對產生的殘余執行逆量化和逆變換，其中，通過將逆量化和逆變換的殘余與預測圖像相加來恢復圖像，所述預測圖像是對每一圖像分量使用同樣的編碼模式所產生。
26.一種用于具有至少兩個圖像分量的圖像的預測圖像產生方法，包括使用第一圖像預測方法獲得所述至少兩個圖像分量的第一預測圖像；使用第二圖像預測方法獲得所述至少兩個圖像分量的第二預測圖像；使用第一和第二預測圖像選擇編碼模式；和通過將選擇的編碼模式應用到每一分量來產生預測圖像。
27.如權利要求26所述的方法，其中，第一和第二圖像預測方法中的一個是空間預測圖像方法。
28.如權利要求26所述的方法，其中，第一和第二圖像預測方法中的一個是時間預測圖像方法。
29.如權利要求26所述的方法，其中，在編碼模式的選擇中，計算第一預測圖像和第二預測圖像中的每個的比特量和/或圖像質量的失真，并且與通過將第一預測圖像和第二預測圖像的每個的比特量和/或圖像質量的失真相加所獲得的最小總和相應的編碼模式被選擇為編碼模式。
30.一種預測圖像產生設備，包括圖像產生單元，產生至少兩個圖像分量的第一和第二預測圖像；編碼模式選擇單元，通過使用第一和第二預測圖像選擇編碼模式；和單一預測圖像產生單元，通過對每一分量使用在編碼模式選擇單元中選擇的編碼模式來產生預測圖像。
31.如權利要求30所述的設備，其中，圖像產生單元包括空間預測圖像部分；和時間預測圖像產生部分。
32.如權利要求30所述的方法，其中，編碼模式選擇單元用于計算第一預測圖像和第二預測圖像的每個的比特量和/或圖像質量的失真以及相應的編碼模式，并選擇具有通過累加第一預測圖像和第二預測圖像的每個的比特量和/或圖像質量的失真所獲得的最小總和的編碼模式。
33.一種在其上實施用于執行權利要求1到5、13到17、和22到29的方法中的任意一個的計算機程序的計算機可讀記錄介質。
全文摘要
提供一種對所有彩色分量使用單一編碼模式的預測圖像產生方法和設備，以及圖像和視頻編碼和解碼方法和設備。預測圖像產生設備包括空間預測圖像產生單元，對包括至少兩個圖像分量的原始圖像中的每一分量應用同樣的預測方向，并從空間上與當前幀的預定大小的像素塊靠近的像素來獲得空間預測圖像；時間預測圖像產生單元，對每一圖像分量應用同樣的塊大小、運動矢量、運動插值方法，在每一圖像分量的前一幀和當前幀之間以預定大小的塊為單位估計運動來獲得時間預測圖像；編碼模式選擇單元，選擇編碼模式；單一模式預測圖像產生單元，將選擇的模式應用于每一分量來產生預測圖像。通過增加彩色分量的預測誤差信號之間的信息冗余，提高編碼效率。
文檔編號H04N7/32GK1829328SQ200610058050
公開日2006年9月6日 申請日期2006年2月28日 優先權日2005年2月28日
發明者金祐湜, 金鉉文, 趙大星, 帝彌撤·勃依諾 申請人:三星電子株式會社