動態圖像預測編碼裝置、動態圖像預測編碼方法、動態圖像預測解碼裝置和動態圖像預測 ...的制作方法
【技術領域】
[0001]本發明涉及動態圖像預測編碼裝置和方法、以及動態圖像預測解碼裝置和方法，特別涉及針對畫面內的預測編碼中使用的參照樣本的濾波處理。
【背景技術】
[0002]為了高效地進行動態圖像數據的傳送和蓄積而使用壓縮編碼技術。在動態圖像的情況下，廣泛使用MPEGl?4或H.261?H.264的方式。
[0003]在這些編碼方式中，在將作為編碼對象的圖像分割成多個塊后進行編碼/解碼處理。在畫面內的預測編碼中，使用位于與對象塊相同的畫面內的相鄰的已再現的圖像信號(對已壓縮的圖像數據進行復原后的圖像信號)生成預測信號后，對從對象塊的信號中減去該預測信號而得到的差分信號進行編碼。在畫面間的預測編碼中，參照位于與對象塊不同的畫面內的相鄰的已再現的圖像信號進行運動的校正，生成預測信號，對從對象塊的信號中減去該預測信號而得到的差分信號進行編碼。
[0004]在通常的畫面間預測(幀間預測)編碼中，針對作為編碼對象的塊，利用從已經再現的畫面中搜索與該像素信號類似的信號的方法生成預測信號。然后，對對象塊與搜索到的信號構成的區域之間的空間上的位移量即運動矢量、以及對象塊的像素信號和預測信號的殘差信號進行編碼。這樣按照每個塊搜索運動矢量的手法被稱為塊匹配。
[0005]圖10是用于說明塊匹配處理的示意圖。這里，以編碼對象的畫面701上的對象塊702為例來說明預測信號的生成順序。參照畫面703已經再現，區域704在空間上是與對象塊702同一位置的區域。在塊匹配中，設定包圍區域704的搜索范圍705，從該搜索范圍的像素信號中檢測與對象塊702的像素信號之間的絕對值誤差和最小的區域706。該區域706的信號成為預測信號，從區域704到區域706的位移量被檢測為運動矢量707。并且，還經常使用如下方法:準備多個參照畫面703，按照每個對象塊選擇要實施塊匹配的參照畫面，檢測參照畫面選擇信息。在H.264中，為了對應圖像的局部特征的變化，準備用于對運動矢量進行編碼的塊尺寸不同的多個預測類型。H.264的預測類型例如記載在專利文獻2中。
[0006]在H.264的畫面內預測(幀內預測)編碼中，采用在規定方向上對與作為編碼對象的塊相鄰的已再現的像素值進行外插而生成預測信號的方法。圖11是用于說明ITUH.264中使用的畫面內預測方法的示意圖。在圖1l(A)中，對象塊802是作為編碼對象的塊，由與該對象塊802的邊界相鄰的像素A?M構成的像素群(參照樣本群)801是相鄰區域，是在過去的處理中已經再現的圖像信號。
[0007]該情況下，向下方拉伸位于對象塊802正上方的相鄰像素即像素群(參照樣本群)801而生成預測信號。并且，在圖1l(B)中，向右側拉伸位于對象塊804左側的已再現像素(I?L)而生成預測信號。生成預測信號的具體方法例如記載在專利文獻I中。取得這樣利用圖1l(A)?(I)所示的方法生成的9個預測信號分別與對象塊的像素信號的差分，設差分值最小的預測信號為最佳的預測信號。如上所述，通過對像素進行外插，能夠生成預測信號(幀內預測樣本)。以上的內容記載在下述專利文獻I中。
[0008]并且，在非專利文獻I所示的畫面內預測中，除了上述9種以外，還準備參照樣本的拉伸方向不同的25種(共34種)預測信號生成方法。
[0009]并且，在非專利文獻I中，為了抑制參照樣本中產生的失真，在生成預測信號之前，對參照樣本實施低通濾波。具體而言，對參照樣本應用權重系數為I '2:1的121濾波器后進行外插預測。該處理被稱為幀內平滑(intra smoothing) ο
[0010]利用圖7和圖8對非專利文獻I的畫面內預測進行說明。圖7示出塊分割的例子。與塊尺寸為NXN樣本的對象塊210相鄰的5個塊220、230、240、250、260已經再現。在對象塊210的幀內預測中使用ref [X] (x = O?4N)所示的參照樣本。圖8示出畫面內預測的處理流程。首先，在步驟310中，實施畫面內預測處理的預測信號生成器從保存再現像素的存儲器中取得參照樣本ref [X] (x = O?4N)。此時，有時由于編碼順序等理由而使得相鄰塊還未再現，無法取得全部4N+1個參照樣本ref [X]。此時，在填充(padding)處理(復制附近存在的樣本值)中代用不存在的樣本，準備4N+1個參照樣本。填充處理的詳細情況記載在非專利文獻I中。接著，在步驟320中，預測信號生成器利用121濾波器對參照樣本實施平滑化處理。最后，在步驟330中，預測信號生成器利用外插法(畫面內預測的方向)估計對象塊內的信號，生成預測信號(幀內預測樣本)。
[0011]現有技術文獻
[0012]專利文獻
[0013]專利文獻1:美國特許公報第6765964號
[0014]專利文獻2:美國特許公報第7003035號
[0015]非專利文獻
[0016]非專利文獻1:B.Bross et.Al, “High efficiency video coding (HEVC) textspecificat1n draft 8，，，Joint Collaborative Team on Video Coding(JCT-VC) of ITU-TSG16WP3and IS0/IEC JTC1/SC29/WG11, JCTVC-J1003, 10th Meeting Stockholm, Sweden, Il-20July, 2012.
【發明內容】
[0017]發明要解決的課題
[0018]圖9示出像素值的類似的平坦區域的信號的例子，但是，當利用較粗的量化對原來的像素值(原始樣本值)410進行編碼時，塊內的再現值(再現樣本值)420成為固定值，在塊邊界430產生階梯狀的失真。認為該失真是塊噪聲，通常，對再現圖像實施用于去除塊噪聲的濾波來去除該失真。但是，由于畫面內預測中使用的參照樣本是去除該塊噪聲的濾波處理之前的信號，所以，殘留在塊邊界的參照樣本中的塊噪聲通過畫面內預測而傳播到對象塊的預測信號(幀內預測樣本)中。傳播到預測信號中的塊噪聲在針對再現信號的塊噪聲去除處理中不能去除，所以，直接被傳播到下一個對象塊的參照樣本群中。
[0019]在非專利文獻I中，在畫面內預測的外插法(畫面內預測的方向)中準備34種不同的外插方向，所以，塊噪聲改變方向并進行傳播。其結果，在圖像內的平坦區域的再現信號中產生多個偽輪廓。特別是當噪聲傳播到尺寸較大的塊中時，成為偽輪廓在大塊內橫穿的狀況，視覺影響較大。
[0020]【背景技術】中說明的121濾波器具有去除參照樣本內的噪音的效果，但是，由于抽頭數較短，所以取法去除圖9所示的階梯狀的噪聲。
[0021]因此，本發明的目的在于，抑制上述偽輪廓這樣的人工噪聲。
[0022]用于解決課題的手段
[0023]本發明的一個側面的動態圖像預測編碼裝置的特征在于，該動態圖像預測編碼裝置具有:塊分割單元，其將輸入圖像分割成多個塊；預測信號生成單元，其使用與對象塊相鄰的已再現的參照樣本，生成與所述對象塊之間的相關度高的塊的畫面內預測信號，其中所述對象塊是由所述塊分割單元分割后的塊中的作為編碼對象的塊；殘差信號生成單元，其生成所述對象塊的預測信號與所述對象塊的像素信號之間的殘差信號；殘差信號壓縮單元，其對由所述殘差信號生成單元生成的殘差信號進行壓縮；殘差信號復原單元，其生成對所述殘差信號的壓縮數據進行復原后的再現殘差信號；編碼單元，其對所述殘差信號的壓縮數據進行編碼；以及塊存儲單元，其通過對所述預測信號和所述再現殘差信號進行相加來復原所述對象塊的像素信號，保存復原后的所述對象塊的像素信號以用作所述參照樣本，所述預測信號生成單元從所述塊存儲單元中保存的所述對象塊的周圍的已再現塊中取得參照樣本，從所述參照樣本中選擇2個以上的關鍵參照樣本，對所述關鍵參照樣本間進行內插處理，以生成內插參照樣本，決定畫面內預測的方向，并根據所決定的畫面內預測的方向對所述內插參照樣本進行外插，生成所述畫面內預測，所述編碼單元將所述畫面內預測的方向信息包含在壓縮數據中進行編碼。
[0024]在上述動態圖像預測編碼裝置中，也可以是，所述預測信號生成單元根據所述關鍵參照樣本與預定閾值的比較，相應地切換實施所述參照樣本的內插處理和參照樣本的平滑化處理。
[0025]并且，在上述動態圖像預測編碼裝置中，也可以是，設所述參照樣本為位于參照樣本群的端部的參照樣本，所述內插處理是針對所述關鍵參照樣本間的參照樣本的雙一次內插處理。
[0026]本發明的一個側面的動態圖像預測解碼裝置的特征在于，該動態圖像預測解碼裝置具有:解碼單元，其從分割成多個塊并被編碼后的壓縮數據中，解碼出作為解碼對象的對象塊的畫面內預測中使用的畫面內預測方向信息和殘差信號的壓縮數據；預測信號生成單元，其使用所述畫面內預測方向信息和與所述對象塊相鄰的已再現的參照樣本生成畫面內預測信號；殘差信號復原單元，其從所述殘差信號的壓縮數據中復原所述對象塊的再現殘差信號；以及塊存儲單元，其通過對所述預測信號和所述再現殘差信號進行相加來復原所述對象塊的像素信號，保存復原后的所述對象塊的像素信號以用作所述參照樣本，所述預測信號生成單元從所述塊存儲單元中保存的所述對象塊的周圍的已再現塊中取得參照樣本，從所述參照樣本中選擇2個以上的關鍵參照樣本，對所述關鍵參照樣本間進行內插處理，以生成內插參照樣本，根據所述畫面內預測的方向對所述內插參照樣本進行外插，生成所述畫面內預測。
[0027]在上述動態圖像預測解碼裝置中，也可以是，所述預測信號生成單元根據所述關鍵參照樣本與預定閾值的比較，相應地切換實施所述參照樣本的內插處理和參照樣本的平滑化處理。
[0028]并且，在上述動態圖像預測解碼裝置中，也可以是，設所述參照樣本為位于參照樣本群的端部的參照樣本，所述內插處理是針對所述關鍵參照樣本間的參照樣本的雙一次內插處理。
[0029]本發明還能夠掌握為動態圖像預測編碼方法的發明、動態圖像預測解碼方法的發明、動態圖像預測編碼程序的發明、動態圖像預測解碼程序的發明，能夠如下記述。
[0030]本發明的一個側面的動態圖像預測編碼方法是由動態圖像預測編碼裝置執行的動態圖像預測編碼方法，其特征在于，該動態圖像預測編碼方法具有以下步驟:塊分割步驟，將輸入圖像分割成多個塊；預測信號生成步驟，使用與對象塊相鄰的已再現的參照樣本，生成與所述對象塊之間的相關度高的塊的畫面內預測信號，其中所述對象塊是通過所述塊分割步驟分割后的塊中的作為編碼對象的塊；殘差信號生成步驟，生成所述對象塊的預測信號與所述對象塊的像素信號之間的殘差信號；殘差信號壓縮步驟，對通過所述殘差信號生成步驟生成的殘差信號進行壓縮；殘差信號復原步驟，生成對所述殘差信號的壓縮數據進行復原后的再現殘差信號；編碼步驟，對所述殘差信號的壓縮數據進行編碼；以及塊存儲步驟，通過對所述預測信號和所述再現殘差信號進行相加來復原所述對象塊的像素信號，保存復原后的所述對象塊