動態圖像預測解碼裝置、動態圖像預測解碼方法
【專利說明】動態圖像預測解碼裝置、動態圖像預測解碼方法
[0001]本申請是申請號為201180013583.6的發明專利申請(國際申請號:PCT/JP2011/055915，申請日:2011年03月14日，發明名稱:動態圖像預測編碼裝置、動態圖像預測編碼方法、動態圖像預測編碼程序、動態圖像預測解碼裝置、動態圖像預測解碼方法、動態圖像預測解碼程序)的分案申請。
技術領域
[0002]本發明涉及動態圖像預測解碼裝置、和方法。
【背景技術】
[0003]為了高效地進行動態圖像數據的傳輸和蓄積，采用了壓縮編碼技術。對于動態圖像廣泛采用了 MPEGl?4和H.261?H.264的方式。
[0004]在這些編碼方式中，將作為編碼的對象的圖像分割為多個塊，對各個塊進行編碼/解碼處理。為了提高編碼效率采用了如下所述的預測編碼方法。在畫面內的預測編碼中，使用與對象塊相同畫面內的相鄰的已再現的圖像信號(將過去被編碼的圖像數據復原得到的信號)來生成預測信號，并對從對象塊的信號中減去預測信號得到的差分信號進行編碼。在畫面間的預測編碼中，參照與對象塊不同的畫面內的已再現的圖像信號而檢索信號的位移，并對該位移量進行補償而生成預測信號，對從對象塊的信號中減去預測信號得到的差分信號進行編碼。將此時為了進行動態的檢索/補償而參照的已再現的圖像稱為參照圖像。
[0005]另外，在雙向畫面間預測中存在如下情況，即不僅參照在顯示時間順序中被顯示于對象圖像前面的過去的圖像，而且也一并參照被顯示于對象圖像后面的未來的圖像(但是，需要先于對象圖像對未來的圖像進行編碼并預先再現)。并且，對從過去的圖像取得的預測信號和從未來的圖像取得的預測信號雙方進行平均，由此對被隱藏的新出現的物體的信號的預測比較有效，并且具有減輕雙方的預測信號中包含的雜音的效果。
[0006]另外，在H.264的畫面間預測編碼中，關于針對對象塊的預測信號，參照過去被編碼并再現的多個參照圖像，在進行動態檢索的同時將誤差最小的圖像信號選擇為最佳的預測信號。并且，求出對象塊的像素信號與該最佳的預測信號之差分，對差分實施離散余弦變換并進行量化，然后進行熵編碼。同時，對有關從哪個參照圖像取得針對對象塊的最佳的預測信號的信息(參照索引)以及有關從參照圖像內的哪個區域取得最佳的預測信號的信息(運動向量)一并進行編碼。在H.264中，已被再現的4?5張圖像被作為參照圖像被存儲在幀存儲器中。另外，在本說明書中，假設幀存儲器包括所謂再現圖像緩沖器(decodedpicture buffer)ο
[0007]畫面間預測編碼雖然能夠運用圖像間的相關高效地進行壓縮編碼，但是為了能夠通過電視的頻道切換從中途視聽影像節目，需要切斷畫面間的依賴性。下面，在動態圖像的壓縮比特流中，將不存在畫面間的依賴性的位置稱為“隨機訪問點(random accesspoint) ”。除頻道的切換之外，在編輯動態圖像的情況下以及將不同的動態圖像的壓縮數據連接起來的情況下，都需要隨機訪問點。在H.264中，指定IDR圖片，利用上述的畫面內預測編碼方法對所指定的IDR圖片進行編碼，同時將存儲在幀存儲器中的再現圖像設定為不要，將該再現圖像設為不可參照，由此實質上將幀存儲器釋放(刷新(refresh))。這種處理被稱為“存儲器刷新”，根據情況也被稱為“幀存儲器刷新(memory refresh) ”或者“緩沖器刷新(buffer refresh) ”。
[0008]圖11⑷是表示包括IDR圖片的動態圖像的預測構造的示意圖。該圖11⑷所示的多個圖像901、902、…、909是構成動態圖像的圖像組的一部分，將各個圖像也稱為“圖片”或者“幀”。各個箭頭表示預測的方向。例如，圖像902將朝向圖像902的兩個箭頭的起點即圖像903、905作為參照圖像取得預測信號。另外，假設圖1l(A)的圖像901是參照圖1l(A)未示出的過去的圖像進行了編碼的圖像。然后對圖像902、903、904進行編碼，但此時采用上述的雙向預測編碼方法，以便提高壓縮率。即，先對圖像905進行編碼/再現，然后參照已再現的圖像901和905對圖像903進行編碼(在圖11 (A)中省略了源自圖像901的箭頭)。并且，圖像902、904分別將已再現的3個圖像901、905、903作為參照圖像進行編碼(在圖11㈧中省略了源自圖像901的箭頭)。同樣地，圖像906、907、908參照圖像905和909進行編碼。并且，這樣被編碼(壓縮)后的各個圖像的壓縮數據按照圖1l(B)所示的順序進行傳輸或者蓄積。關于圖1l(B)的壓縮數據和圖1l(A)的圖像，利用P1、IDR5、B3等共同的符號示出其對應關系。例如，壓縮數據910是指附加了相同符號Pl的圖像901的壓縮數據，壓縮數據911是指附加了相同符號IDR5的圖像905的壓縮數據。
[0009]另外，考慮到隨機訪問，對將圖像905指定為IDR圖片進行畫面內預測編碼的情況進行說明。在這種情況下，根據H.264中的IDR規則，在剛剛對壓縮數據911進行解碼來再現圖像905后(或者也可以是即將開始壓縮數據911的解碼之前)，必須將在幀存儲器中存儲的全部參照圖像(即包括圖像901的過去的再現圖像)設定為不要，使不可參照。其結果是，圖11 (A)的圖像901不可參照，在對圖像902、903、904進行編碼時不能參照圖像901。這種與IDR圖片相關的處理例如記述在下述的非專利文獻I中。
[0010]現有技術文獻
[0011]專利文獻
[0012]專利文獻1:日本國際公開公報TO2005/006763A1
[0013]非專利文獻
[0014]非專利文獻1:1ain E.G.Richardson, “H.264and MPEG_4VideoCompress1n，，，John ffiley&Sons, 2003, sect1n6.4.2
【發明內容】
[0015]發明要解決的問題
[0016]由于IDR圖片的導入，在上述預測中使用的參照圖像受限制，因而不能高效地對在圖像的顯示順序中位于IDR圖片前面的圖像(圖1l(A)的圖像902、903、904)進行編碼。為了解決該問題，在上述專利文獻I中公開了如下的方法:使刷新幀存儲器的定時(即將幀存儲器內的參照圖像設定為不要的定時)延遲到對在IDR圖片后面被編碼的圖像執行編碼的時刻。通過延遲幀存儲器刷新的定時，在圖1l(A)的圖像902、903、904的編碼執行時刻，圖像901殘留在幀存儲器中，因而在對圖像902、903、904進行編碼時能夠參照圖像901，能夠高效地進行編碼。
[0017]根據專利文獻1，關于延遲存儲器刷新的定時的方法公開了如下的方法。
[0018]方法1:對IDR圖片附加與使延遲的圖像的張數相關的信息。
[0019]方法2:對與實施存儲器刷新的定時對應的圖像的壓縮數據附加用于指示執行存儲器刷新的信號(標志)。
[0020]方法3:將在IDR圖片之后出現的第一個P圖片(單向預測圖像)設為刷新的定時。
[0021]可是，上述的方法具有下述缺點。
[0022]缺點1:在上述的方法I中，在編輯動態圖像時是這樣進行的，即將多張圖像中的一部分圖像舍去，將另一部分圖像連接起來并插入另一部分圖像，因而對IDR圖片附加的“與使延遲的圖像的張數相關的信息”不貼切，存在導致錯誤動作的情況。
[0023]缺點2:在上述的方法2中，同樣即使是在采用標志的情況下，在通過編輯動態圖像而使得對應的圖像的壓縮數據被刪除時，附加于被刪除的壓縮數據的標志消失，也存在導致錯誤動作的情況。
[0024]缺點3:在上述的方法3中，存儲器刷新的信號(定時)被限定為P圖片，因而存在不能利用其它方法進行編碼的情況。例如，對于場景的變化銜接處，不能作為畫面內預測(I圖片)進行編碼。
[0025]另外，此處的“錯誤動作”是指由于不能在恰當的定時進行存儲器刷新，致使成為在對后續數據進行解碼時需要的參照圖像沒有存儲在幀存儲器中的狀態，其結果是后續的圖像不能準確再現。
[0026]本發明目的在于解決上述問題，對作為隨機訪問的位置的圖像的前后圖像高效地進行壓縮編碼，同時消除由于現有技術的缺點導致的問題。
[0027]用于解決問題的手段
[0028]為了達到上述目的，本發明的一個實施方式的動態圖像預測編碼裝置的特征在于，該動態圖像預測編碼裝置具有:輸入單元，其輸入構成動態圖像的多個圖像；編碼單元，其利用畫面內預測方法或者畫面間預測方法對所輸入的所述圖像進行編碼，生成包含成為隨機訪問的圖像即隨機訪問圖像在內的壓縮圖像數據，并且對與所述圖像的顯示順序信息相關的數據進行編碼；復原單元，其對所生成的所述壓縮圖像數據進行解碼，由此復原再現圖像；圖像存儲單元，其將被復原的所述再現圖像作為用于對后續的圖像進行編碼的參照圖像進行存儲；以及存儲器管理單元，其控制所述圖像存儲單元，在生成所述隨機訪問圖像的編碼處理結束后，所述存儲器管理單元在對顯示順序信息比所述隨機訪問圖像的顯示順序信息大的第一個圖像即將進行編碼之前或者剛剛進行編碼之后，將存儲于所述圖像存儲單元的參照圖像中除所述隨機訪問圖像之外的參照圖像設定為不要，由此刷新所述圖像存儲單元。
[0029]也可以是，對于包括顯示順序信息比所述隨機訪問圖像的顯示順序信息大、而且在生成所述隨機訪問圖像的編碼處理結束后第一個成為編碼對象的圖像在內的一個以上的編碼對象圖像，所述編碼單元對所述編碼對象圖像的顯示順序信息與所述隨機訪問圖像的顯示順序信息之間的差分值進行編碼，作為與所述編碼對象圖像的顯示順序信息相關的數據。
[0030]并且，也可以是，所述編碼單元對于從在隨機訪問圖像之后成為編碼對象的圖像開始、到顯示順序信息比所述隨機訪問圖像的顯示順序信息大、而且在生成所述隨機訪問圖像的編碼處理結束后第一個成為編碼對象的圖像為止的各個圖像，對各個圖像的顯示順序信息與所述隨機訪問圖像的顯示順序信息之間的差分值進行編碼，作為與該各個圖像的顯示順序信息相關的數據。
[0031]本發明的一個實施方式的動態圖像預測解碼裝置的特征在于，該動態圖像預測解碼裝置具有:輸入單元，其輸入利用畫面內預測方法或者畫面間預測方法對構成動態圖像的多個圖像進行編碼得到的、包括成為隨機訪問的圖像即隨機訪問圖像在內的壓縮圖像數據、以及通過對與所述圖像的顯示順序信息相關的數據進行編碼得到的顯示順序編碼數據；復原單元，其通過對所述壓縮圖像數據進行解碼而復原再現圖像，并且通過對所述顯示順序編碼數據進行解碼而復原顯示順序信息；圖像存儲單元，其將被復原的所述再現圖像作為用于對后續的圖像進行解碼的參照圖像進行存儲；以及存儲器管理單元，其控制所述圖像存儲單元，在對所述隨機訪問圖像進行解碼的解碼處理結束后，在對顯示順序信息比所述隨機訪問圖像的顯示順序信息大的第一個圖像即將進行解碼之前或者剛剛進行解碼之后，所述存儲器管理單元將存儲于所述圖像存儲單元的參照圖像中除所述隨機訪問圖像之外的參照圖像設定為不要，由此刷新所述圖像存儲單元。
[0032]也可以是，所述復原單元對于包括顯示順序信息比所述隨機訪問圖像的顯示順序信息大、而且在對所述隨機訪問圖像進行解碼的解碼處理結束后第一個成為解碼對象的圖像在內的一個以上的解碼對象圖像的顯示順序信息，將對該解碼對象圖像的顯示順序編碼數據進行解碼得到的該解碼對象圖像的顯示順序信息與所述隨機訪問圖像的顯示順序信息之間的差分值、和所述隨機訪問圖像的顯示順序信息進行相加，由此復原該解碼對象圖像的顯示順序信息。
[0033]并且，也可以是，所述復原單元對于從在隨機訪問圖像之后成為解碼對象的圖像開始、到顯示順序信息比所述隨機訪問圖像的顯示順序信息大、而且在生成所述隨機訪問圖像的解碼處理結束后第一個成為解碼對象的圖像為止的各個圖像的顯示順序信息，將對該各個圖像的顯示順序編碼數據進