專利名稱：圖像編碼方法及圖像譯碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及利用畫面間的相關(guān)高效率地壓縮動畫圖像信號的圖像編碼方法，和將其正確地進行譯碼的圖像譯碼方法，以及用于用軟件執(zhí)行該操作的程序等。
背景技術(shù)：
近年來，迎接統(tǒng)一處理聲音、圖像、其他象素值的多媒體時代，將現(xiàn)有的信息媒體，即報紙、雜志、電視、收音機、電話等的信息傳達給人的裝置，作為多媒體對象成了熱點。一般地，所謂多媒體，是指不僅文字，同時還關(guān)聯(lián)圖形、聲音，特別是圖像等進行表示的信息媒體，但是，要想將上述現(xiàn)有的信息媒體作為多媒體的對象，其必要條件為將其信息以數(shù)字形式表示。
但是，若將上述各信息媒體所持有的信息量作為數(shù)字信息量來估計，則在信息為文字時每一個文字的信息量為1～2字節(jié)，而信息為聲音時每一秒的信息量為64kbits(電話質(zhì)量)，另外，對于動畫，則每一秒需要100Mbits(現(xiàn)行電視接收質(zhì)量)以上的信息量，在上述信息媒體中以數(shù)字形式原樣處理該龐大信息是不現(xiàn)實的。例如，利用具有64kbps～1.5Mbps傳輸速度的綜合服務(wù)數(shù)字網(wǎng)絡(luò)(ISDNIntegrated Services Digital Network)已實現(xiàn)可視電話，但不能用ISDN原樣發(fā)送電視和攝影機的影像。
因此，這就需要信息的壓縮技術(shù)，例如，可視電話的情況下，正在使用由ITU-T(國際電信同盟，國際電信標準化部門)國際標準化的H.261和H.263標準的動畫壓縮技術(shù)。此外，根據(jù)MPEG-1標準的信息壓縮技術(shù)，也可以在通常的音樂用CD(激光唱盤)中與聲音信息一同寫入圖像信息。
在此，所述MPEG(Moving Picture Experts Group即，動畫圖形專家組)是活動圖像信號的數(shù)字壓縮國際標準，MPEG-1將活動圖像信號壓縮到1.5Mbps，即將電視信號的信息壓縮到大約百分之一的標準。此外，以MPEG-1標準為對象的傳輸速度主要限定在大約1.5Mbps，因此，在為滿足高畫質(zhì)的要求而標準化的MPEG-2中，活動圖像信號被壓縮到2～15Mbps。
另外，現(xiàn)在，由推進MPEG-1、MPEG-2標準化的工作組(ISO/IECJTC1/SC29/WG11)，已規(guī)范出更高壓縮率的MPEG-4。在MPEG-4中，一開始不僅能以低位速率進行高效率的編碼，而且導(dǎo)入了即使傳輸線路產(chǎn)生錯誤，也能減小主觀的畫質(zhì)劣化的強有力的防差錯技術(shù)。此外，ISO/IEC和ITU共同推進了作為下一代畫面編碼方式的JVT(Joint Video Team即，聯(lián)合視頻小組)的標準化活動，現(xiàn)在最新的稱為聯(lián)合模型2(JM2)。
在JVT中，與現(xiàn)有的動畫圖像編碼不同，作為前方參照圖像，能從多個圖像(畫面)中選擇任意圖像(畫面)作為參照圖像。在此，所述畫面表示幀或信息組(filed)。
圖1(a)是參照從存儲器內(nèi)保存的多個參照圖像中選擇了的圖像，進行編碼的圖像編碼的說明圖。圖1(b)是示出保存圖像的存儲器的結(jié)構(gòu)的結(jié)構(gòu)圖。
如圖1(b)所示，存儲器由短時間保存存儲器和長時間保存存儲器構(gòu)成。短時間保存存儲器存儲在緊前面進行了譯碼的多幅圖像，相當于稱作MPEG-1和MPEG-2的P畫面(前方預(yù)測編碼畫面)及B畫面(雙向預(yù)測編碼畫面)的參照圖像。長時間保存存儲器用于比短時間保存存儲器長時間保存圖像信號。
通常，短時間保存存儲器是FIFO(先入先出)存儲器，在短時間保存存儲器中保存超過存儲器上限的圖像的情況下，消除短時間保存存儲器內(nèi)的最早時刻的圖像，在該區(qū)域中保存新的圖像。因此，通常，在欲參照利用FIFO結(jié)構(gòu)從存儲器中消除了的參照圖像的情況下，通過預(yù)先將該參照圖像從短時間保存存儲器移動到長時間保存存儲器中來，保存在長時間保存存儲器內(nèi)，就能長時間參照。長時間存儲器是明示保存區(qū)域的方法，只要不指定相同的區(qū)域進行重寫，就可以參照保存在該區(qū)域中的畫面。
圖1(a)示出圖像編碼時的預(yù)測狀況，畫面編號2的圖像參照畫面編號0的圖像，畫面編號1的圖像參照畫面編號0或畫面編號2的圖像。同樣地，畫面編號4的圖像參照畫面編號0、2的圖像，畫面編號6的圖像參照畫面編號0的圖像。另外，在畫面編號5的圖像中則能參照畫面編號0、2、4、6的圖像。
另外，在該圖1(a)中，相對于畫面編號0、6、12的圖像可在比較長時間以后仍被參照，畫面編號2、4、8的圖像等僅由短時間以后的圖像進行參照。因此，如圖1(b)所示，將保存圖像的存儲器區(qū)域分割成短時間保存用存儲器和長時間保存存儲器，能在需要長時間保存的存儲器中保存畫面(幀)編號為0、6、12的圖像。
另外，為了效率使用如圖1(a)所示的存儲器，需要高度的存儲器管理，在JVT中導(dǎo)入用于控制存儲器的結(jié)構(gòu)。
控制存儲器的指令如下1.選擇可參照的圖像的指令；2.在短時間保存存儲器中釋放存儲器區(qū)域的指令，所述存儲器區(qū)域是保存著作為預(yù)測編碼的參照圖像成為不需要的畫面存儲器區(qū)域；3.將短時間保存存儲器的內(nèi)容向長時間保存存儲器移動的指令。
在圖像編碼和譯碼中，由于從可參照的圖像中按塊單位選擇預(yù)測誤差小的圖像作為參照圖像，因此，需要有按塊單位指示參照圖像的信號。通過預(yù)先選擇可參照的圖像，將參照圖像的候補數(shù)壓縮成適當?shù)闹?，能?jié)約按塊單位所需的參照圖像指示信號的位數(shù)。
此外，在從短時間保存存儲器移動到長時間保存存儲器中的情況下，在短時間保存存儲器和長時間保存存儲器兩方保存相同的內(nèi)容是浪費的，因此，消除短時間保存存儲器內(nèi)的圖像。
圖2(a)(b)是示出現(xiàn)有的圖像編碼方法和圖像譯碼方法的流程圖。
圖2(a)示出在釋放存儲器區(qū)域時的圖像編碼裝置的動作，該存儲區(qū)域是保存著作為預(yù)測編碼的參照圖像成為不需要的畫面的存儲器區(qū)域。在圖2(a)中，首先，圖像編碼裝置對所輸入的輸入圖像進行編碼(步驟100)。編碼之后在存儲器內(nèi)檢查不需要的區(qū)域(在以后的編碼中不參照的圖像)(步驟101)，判定是否有不需要的存儲器區(qū)域(步驟102)。在判定為有不需要的存儲器區(qū)域的情況下(步驟102的Yes)，將釋放不需要的存儲器區(qū)域的指令作為存儲器管理信息，進行編碼(步驟103)，并釋放該不需要的存儲器區(qū)域(消除存儲器內(nèi)的圖像)(步驟104)，結(jié)束處理。另一方面，在圖像編碼裝置判定為沒有不需要的存儲器區(qū)域的情況下(步驟102的No)，不進行步驟103和步驟104的動作，結(jié)束處理。
下面，按照圖2(b)的流程圖，說明在釋放存儲器區(qū)域時的圖像譯碼裝置進行的動作，該存儲器區(qū)域是保存著作為預(yù)測編碼的參照圖像而成為不需要的畫面的存儲器區(qū)域。首先，圖像譯碼裝置對存儲器管理信息進行譯碼(步驟110)，然后，根據(jù)編碼信號對圖像信號進行譯碼(步驟111)。圖像譯碼裝置判定檢查的結(jié)果是否有存儲器釋放指令(步驟112)，若有存儲器釋放指令(步驟112的Yes)，就判定是否有應(yīng)該用該指令消除的圖像，或者是否已經(jīng)釋放完存儲器(圖像消除完了)(步驟113)。若判定為已釋放完(步驟113的Yes)，則設(shè)定為錯誤(ERROR)。這是因為，在JVT中，禁止在從存儲器消除了圖像之后發(fā)出再次消除相同圖像的指令，因此，在再次釋放釋放完的存儲器的情況下，就設(shè)為錯誤。另一方面，圖像譯碼裝置若判定為沒釋放完(步驟113的No)，就釋放存儲器(步驟114)，之后結(jié)束處理。此外，在判定為沒有存儲器釋放指令的情況下(步驟112的No)，不進行步驟113和步驟114的動作，結(jié)束處理。再有，步驟110和步驟111的順序不同，所述兩步驟的順序可以互換。
圖3(a)(b)是示出現(xiàn)有的其他圖像編碼方法和圖像譯碼方法的流程圖。
圖3(a)示出從短時間保存存儲器向長時間保存存儲器移動圖像時的圖像編碼裝置進行的動作。
在圖3(a)中，首先，圖像編碼裝置對輸入圖像進行編碼(步驟120)。編碼之后檢查是否有應(yīng)該向長時間保存存儲器移動的圖像(步驟121)，并判定是否有應(yīng)該移動的圖像(步驟122)。若有應(yīng)該移動的圖像(步驟122的Yes)，就將表示如何向長時間保存存儲器移動的指令作為存儲器管理信息，進行編碼(步驟123)，按照該指令向長時間保存存儲器移動圖像(步驟124)，之后結(jié)束處理。另一方面，圖像編碼裝置在判定為沒有應(yīng)該向長時間保存存儲器移動的圖像的情況下(步驟122的No)，就不進行步驟123和步驟124的動作，結(jié)束處理。
下面，按照圖3(b)的流程圖，說明從短時間保存存儲器向長時間保存存儲器移動圖像時的圖像譯碼裝置進行的動作。首先，圖像譯碼裝置對存儲器管理信息進行譯碼(步驟130)，接著，根據(jù)編碼信號對圖像信號進行譯碼(步驟131)。然后，圖像譯碼裝置判定在已譯碼的存儲器管理信息中是否有向長時間保存存儲器移動的指令(步驟132)，若判定為有(步驟132的Yes)，則接著判定是否有應(yīng)該按該指令移動的圖像，或者是否已移動完(由于移動之后消除完了而圖像不存在)(步驟133)。在JVT中，禁止在向長時間保存存儲器移動之后發(fā)送再次向長時間保存存儲器移動相同圖像的指令，因此，在再次向長時間保存存儲器移動已經(jīng)向長時間保存存儲器移動完了的圖像的情況下，就設(shè)為錯誤。因而，圖像譯碼裝置若判定為已完成向長時間保存存儲器移動(步驟133的Yes)，則設(shè)為錯誤(ERROR)；若判定為沒移動完，則向長時間保存存儲器移動(步驟134)，之后結(jié)束處理。
另一方面，圖像譯碼裝置在判定為沒有向長時間保存存儲器移動的指令的情況下(步驟132的No)，就不進行步驟133和步驟134的動作，結(jié)束處理。再有，步驟130和步驟131的順序不同，可以交換所述兩步驟的順序。
圖4(a)、(b)是示出現(xiàn)有的另外的圖像編碼方法和圖像譯碼方法的流程圖。
首先，按照圖4(a)的流程圖，說明選擇可參照圖像時的圖像編碼裝置進行的動作。
首先，圖像編碼裝置選擇預(yù)計為與被編碼圖像相關(guān)密切的參照圖像(通常是時間上接近的參照圖像)，作為參照圖像的候補(步驟200)。接著，將示出所選擇的參照圖像的候補的指示信息(存儲器管理信息的一種)進行編碼(步驟201)，從所選擇的參照圖像的候補中按塊單位參照適當?shù)膮⒄請D像，進行編碼(步驟202)，之后結(jié)束處理。再有，步驟201和步驟202的順序不同，可以交換所述兩步驟的順序。
下面，按照圖4(b)的流程圖，說明選擇可參照圖像時的圖像譯碼裝置進行的動作。
首先，圖像譯碼裝置對作為存儲器管理信息的一種的指示信息進行譯碼(步驟210)，作為其結(jié)果，從存儲器中選擇參照圖像的候補(步驟211)，從選擇了的參照圖像的候補中按塊單位選擇適當?shù)膮⒄請D像進行參照并進行譯碼(步驟212)，之后結(jié)束處理。
另外，在象這樣的現(xiàn)有的圖像編碼方法和圖像譯碼方法中，用圖像編碼裝置將從存儲器中消除不需要的圖像的指令、和從短時間保存存儲器向長時間保存存儲器移動圖像的指令進行編碼之后輸出，并傳輸?shù)綀D像譯碼裝置中進行譯碼，但是，由于該傳輸次數(shù)僅限定為一個畫面，因此，在隨著該指令的畫面因傳輸錯誤等消失了的情況下，就不能正確地復(fù)原存儲器內(nèi)的圖像配置，因此就不能對圖像進行譯碼。
此外，在圖像的編碼和譯碼中，在選擇參照圖像時，若簡單地將在時間上接近的圖像設(shè)為參照圖像候補，則不能進行考慮了圖像的譯碼的可變性(scalability)(在圖1(a)的預(yù)測結(jié)構(gòu)的例子中，即使B畫面沒有進行譯碼，I畫面和P畫面也能進行譯碼，或即使不對畫面編號4、10、16的P畫面進行譯碼，其他的P畫面也能進行譯碼)的最佳的編碼。即，雖然在時間上與畫面編號6的圖像接近的圖像是畫面編號4、2的圖像，但實際上，僅能參照畫面編號0的圖像，因此，若將不能參照的畫面編號4、2的圖像放入?yún)⒄請D像的候補中，則編碼效率不太好。
另外，在現(xiàn)有的圖像編碼方法中，禁止附隨著存儲器中不保存的圖像傳輸消除存儲器內(nèi)的不需要的圖像的指令、或從短時間保存存儲器向長時間保存存儲器移動圖像的指令，因此，妨礙了柔性的存儲器管理信息的指令傳輸。禁止附隨著存儲器中不保存的圖像傳輸該指令有下述理由。即，這是因為，由于存儲器中不保存的圖像的重要度最低，不能按可變性(scalability)譯碼的可能性高，因此，是為了避免附隨了該存儲器中不保存的圖像的該指令不被譯碼而導(dǎo)致不能正確復(fù)原存儲器內(nèi)的圖像配置。
發(fā)明內(nèi)容
因此，本發(fā)明為了解決以上的課題，目的在于提供一種即使因傳輸線路錯誤而一部分存儲器管理信息消失，也能正確地復(fù)原的圖像編碼方法和圖像譯碼方法等，和更適當?shù)剡x擇可參照的參照圖像的候補來提高編碼效率的圖像編碼方法和圖像譯碼方法等。
為了解決該課題，本發(fā)明涉及的圖像編碼方法，參照從存儲器內(nèi)保存著的多個參照畫面中選擇的參照畫面進行編碼，包括下述步驟畫面編碼步驟，參照上述選擇了的參照畫面，對編碼對象畫面進行編碼；管理信息編碼步驟，將用于控制管理上述存儲器中保存著的參照畫面的存儲器管理信息，附隨著上述已編碼的編碼對象畫面進行編碼；管理信息再編碼步驟，與上述管理信息編碼步驟中的編碼分開地、再次對上述存儲器管理信息進行編碼。
這樣，由于存儲器管理信息多次被編碼輸出，因此，即使在向譯碼裝置傳輸時產(chǎn)生了傳輸線路錯誤的情況下，由于考慮到將多次被傳輸?shù)拇鎯ζ鞴芾硇畔⒅械哪骋粋€被傳輸并被譯碼，因而能正確地復(fù)原畫面的可能性提高。
此外，在上述管理信息再編碼步驟中，也可以使確定在上述管理信息編碼步驟中使存儲器管理信息附隨的上述編碼對象畫面的信息，附隨上述已再次被編碼的存儲器管理信息。
這樣，在附隨著編碼對象畫面向圖像譯碼裝置傳輸最初已被編碼的存儲器管理信息時產(chǎn)生了傳輸錯誤的情況下，由于確定存儲器管理信息附隨的編碼對象畫面，能檢測在哪個時刻產(chǎn)生了傳輸錯誤。
此外，在上述管理信息編碼步驟中，使上述存儲器管理信息附隨著不保存在上述存儲器中的編碼對象畫面的情況下，在上述管理信息再編碼步驟中，也可以使上述存儲器管理信息還附隨保存在上述存儲器中的編碼對象畫面。
這樣，由于存儲器管理信息附隨譯碼后保存在存儲器中的重要圖像，因此，能準確地進行存儲器管理信息的譯碼，能正確地復(fù)原畫面的可能性提高。
此外，本發(fā)明的圖像譯碼方法參照從存儲器內(nèi)保存著的多個參照畫面中選擇的參照畫面進行譯碼，其特征在于，在對用于控制管理上述存儲器中保存著的參照畫面的存儲器管理信息進行譯碼，并基于已譯碼的存儲器管理信息，釋放上述存儲器中成為不需要的存儲器區(qū)域的情況下，若進行釋放的存儲器區(qū)域沒釋放完，則釋放存儲器區(qū)域；若進行釋放的存儲器區(qū)域已經(jīng)釋放完，則不對上述存儲器做任何處理。
這樣，即使在多次接收到表示從存儲器消除畫面的存儲器管理信息的情況下，也不進行錯誤處理，而能正確地譯碼畫面。
此外，參照從存儲器內(nèi)保存著的多個參照畫面中選擇的參照畫面進行譯碼的圖像譯碼方法中，上述存儲器包括參照畫面的保存時間短的短時間保存存儲器、和參照畫面的保存時間比上述短時間保存存儲器長的長時間保存存儲器，上述圖像譯碼方法在對用于控制管理上述存儲器中保存著的參照畫面的存儲器管理信息進行譯碼，并基于已譯碼的存儲器管理信息，將在上述存儲器中保存著的參照畫面從上述短時間保存存儲器向上述長時間保存存儲器移動的情況下，若移動對象的參照畫面存在于上述短時間保存存儲器中，則將該參照畫面從上述短時間保存存儲器向上述長時間保存存儲器移動；若移動對象的參照畫面不存在于上述短時間保存存儲器中，則不進行上述存儲器內(nèi)的移動。
這樣，即使在多次接收到存儲器管理信息的情況下，也不進行錯誤處理，而能正確地對畫面進行譯碼。
此外，參照從存儲器內(nèi)保存著的多個參照畫面中選擇的參照畫面進行編碼的圖像編碼方法，也可以將重要度比編碼對象畫面高的、上述存儲器內(nèi)保存著的參照畫面，作為參照畫面的候補進行編碼。
這樣，能更適當?shù)剡x擇可參照的畫面的候補，提高編碼效率。
此外，本發(fā)明涉及的圖像編碼方法的特征在于，包括下述步驟對編碼對象畫面進行編碼的步驟；在對上述編碼對象畫面進行編碼之后，判斷存儲器內(nèi)是否有不被參照的參照畫面的步驟；若有上述不被參照的參照畫面，則作為釋放因不被參照而成為不需要的存儲器區(qū)域的指令，在對編碼數(shù)據(jù)進行譯碼的譯碼裝置中對上述編碼對象畫面進行了譯碼之后，對表示釋放上述成為不需要的存儲器區(qū)域的指令進行編碼的步驟；釋放上述成為不需要的存儲器區(qū)域的步驟；在對比上述編碼對象畫面晚被編碼的另外的編碼對象畫面進行編碼時，在對上述另外的編碼對象畫面進行譯碼之前，對表示釋放上述成為不需要的存儲器區(qū)域的內(nèi)容的指令進行編碼的步驟。
這樣，即使在表示釋放成為不需要的存儲器區(qū)域的、最初的指令遺漏的情況下，也能在畫面的譯碼之前執(zhí)行接著傳輸?shù)闹噶睿虼?，能減少指令執(zhí)行的滯后。
此外，本發(fā)明涉及的圖像譯碼方法的特征在于，包括下述步驟對附隨譯碼對象畫面的、管理存儲器的存儲器管理信息進行譯碼的步驟；第一判斷步驟，判斷上述存儲器管理信息是否是表示譯碼前用指令，該譯碼前用指令表示在對上述譯碼對象畫面進行譯碼之前進行管理存儲器的處理；第二判斷步驟，在上述第一判斷步驟中判斷為上述存儲器管理信息是上述譯碼前用指令時，判斷管理存儲器的處理是否完了；在上述第二判斷步驟中判斷為管理存儲器的處理已完了時，對上述譯碼對象畫面進行譯碼，在上述第二判斷步驟中判斷為管理存儲器的處理還沒完了時，在根據(jù)上述存儲器管理信息進行了管理存儲器的處理之后，對上述譯碼對象畫面進行譯碼的步驟。
這樣，即使在表示釋放成為不需要的存儲器區(qū)域的、最初的指令遺漏的情況下，也能在畫面的譯碼之前執(zhí)行接著傳輸?shù)闹噶?，因此，能減少指令執(zhí)行的滯后。
此外，本發(fā)明涉及的圖像編碼方法的特征在于，包括下述步驟對編碼對象畫面進行編碼的步驟；判斷步驟，在對上述編碼對象畫面進行了編碼之后，判斷在存儲器內(nèi)的參照畫面是否全部是不被參照的畫面；在上述判斷步驟中判斷為在存儲器內(nèi)的參照畫面全部是不被參照的畫面時，對作為將上述存儲器內(nèi)的參照畫面全部刪除的命令的、初始化指令進行編碼的步驟；將在上述存儲器內(nèi)的參照畫面全部刪除的初始化步驟；在對比上述編碼對象畫面晚被編碼的另外的編碼對象畫面進行編碼時，根據(jù)附加信息，對初始化重發(fā)指令進行編碼的步驟，所述附加信息將在對上述編碼對象畫面進行編碼時被刪除的、比上述編碼對象畫面先保存在上述存儲器內(nèi)的全部參照畫面作為刪除對象，所述初始化重發(fā)指令是表示刪除在存儲器內(nèi)的參照畫面的命令。
這樣，在向譯碼裝置傳輸初始化指令時，即使在因傳輸線路錯誤而初始化指令遺漏的情況下，也能根據(jù)初始化重發(fā)指令的附加信息，正常地進行存儲器內(nèi)的初始化。
此外，本發(fā)明涉及的圖像譯碼方法的特征在于，包括下述步驟對附隨著譯碼對象畫面的、管理存儲器的存儲器管理信息進行譯碼的步驟；對上述譯碼對象畫面進行譯碼的步驟；初始化判斷步驟，判斷在上述存儲器管理信息中是否有全部刪除在存儲器內(nèi)的參照畫面的命令即初始化指令；在上述初始化判斷步驟中沒判斷到上述存儲器管理信息中有上述初始化指令時，初始化重發(fā)判斷步驟，即，為了刪除參照畫面而根據(jù)表示刪除對象的附加信息，判斷在上述存儲器管理信息中是否有刪除存儲器內(nèi)的參照畫面的命令即初始化重發(fā)指令，上述要刪除的參照畫面是應(yīng)該在對比上述譯碼對象畫面先被譯碼了的另外的譯碼對象畫面進行譯碼時進行初始化并刪除的、比上述另外的譯碼對象畫面先保存在上述存儲器中的參照畫面；初始化完了判斷步驟，在上述初始化重發(fā)判斷步驟中判斷為上述存儲器管理信息是上述初始化重發(fā)指令時，判斷在存儲器內(nèi)的參照畫面是否已被全部刪除；刪除步驟，在上述初始化完了判斷步驟中判斷為在存儲器內(nèi)的參照畫面未被全部刪除時，根據(jù)上述附加信息刪除在存儲器內(nèi)的畫面。
這樣，在向譯碼裝置傳輸初始化指令時，即使在因傳輸線路錯誤而初始化指令遺漏的情況下，也能根據(jù)初始化重發(fā)指令的附加信息，正常地進行存儲器內(nèi)的初始化。
此外，記錄了參照從存儲器內(nèi)保存著的多個參照畫面中選擇的畫面按片單位進行了編碼的數(shù)據(jù)流的記錄媒體，在從存儲器消除上述存儲器內(nèi)保存著的參照畫面的情況下，也可以附隨著至少兩個片來對指定消除對象的參照畫面的信息進行編碼。
這樣，在按片單位進行編碼的情況中，即使在向譯碼裝置傳輸時產(chǎn)生了傳輸線路錯誤，也由于考慮到對多次被傳輸?shù)?、指定從存儲器消除的對象的參照畫面的信息中的某一個進行傳輸并譯碼，因此，能按片單位正確地復(fù)原畫面的可能性提高。
此外，本發(fā)明的記錄媒體，記錄了參照從存儲器內(nèi)保存著的多個參照畫面中選擇了的畫面按片單位編碼了的數(shù)據(jù)流，在從存儲器消除上述存儲器內(nèi)保存著的參照畫面的情況下，附隨著至少兩個片來對指定消除對象的參照畫面的信息進行編碼；另外，也可以附隨著上述片，將表示上述片具有指定上述消除對象的參照畫面的信息的內(nèi)容的信息進行編碼；在不具有指定上述行消除的對象的參照畫面的信息的片中，參照指定上述消除對象的參照畫面的信息時，也可以將表示參照指定上述消除對象的參照畫面的信息的信息進行編碼。
這樣，在不具有指定上述消除對象的參照畫面的信息的片中，能省略上述信息的附加，能提高編碼效率。
如上所述地，根據(jù)本發(fā)明涉及的圖像編碼方法和圖像譯碼方法，能實現(xiàn)即使因傳輸線路錯誤而一部分存儲器管理信息消失，也能正確地復(fù)原的圖像編碼方法和圖像譯碼方法，和更適當?shù)剡x擇可參照的參照圖像的候補，提高編碼效率的圖像編碼方法和圖像譯碼方法，其實用價值很高。
再有，本發(fā)明不僅能實現(xiàn)象上述的圖像編碼方法和圖像譯碼方法，也能實現(xiàn)使用了上述方法的圖像編碼裝置和圖像譯碼裝置，也能實現(xiàn)記錄了由圖像編碼方法進行了編碼的數(shù)據(jù)流的記錄媒體，也能實現(xiàn)將圖像編碼方法和圖像譯碼方法中的步驟在計算機中執(zhí)行的程序。當然，象這樣的程序也可以通過CD-ROM等記錄媒體和因特網(wǎng)等傳輸媒體來發(fā)送。
再有，本說明書中摘錄了前日本特許申請“特愿2002-110424”、“特愿2002-190955”、“特愿2003-49711”和美國申請“60/377656”的內(nèi)容。
圖1(a)是參照從保存在存儲器中的多個參照圖像選擇的圖像進行編碼的圖像編碼的說明圖，圖1(b)是示出保存圖像的存儲器的結(jié)構(gòu)的結(jié)構(gòu)圖。
圖2(a)是示出現(xiàn)有的圖像編碼方法的流程圖，圖2(b)是示出現(xiàn)有的圖像譯碼方法的流程圖。
圖3(a)是示出現(xiàn)有的圖像編碼方法的另一種流程圖，圖3(b)是示出現(xiàn)有的圖像譯碼方法的另一種流程圖。
圖4(a)是示出現(xiàn)有的圖像編碼方法的另一種流程圖，圖3(b)是示出現(xiàn)有的圖像譯碼方法的另一種流程圖。
圖5是示出本發(fā)明的圖像編碼裝置的結(jié)構(gòu)框圖。
圖6是示出本發(fā)明的實施方式1中的圖像編碼方法的流程圖。
圖7是示出本發(fā)明的圖像譯碼裝置的結(jié)構(gòu)框圖。
圖8是示出本發(fā)明的實施方式2中的圖像譯碼方法的流程圖。
圖9是示出本發(fā)明的實施方式3中的圖像編碼方法的流程圖。
圖10是示出本發(fā)明的實施方式4中的圖像譯碼方法的流程圖。
圖11是示出本發(fā)明的實施方式5中的圖像編碼方法的流程圖。
圖12是示出本發(fā)明的實施方式6中的圖像編碼方法的流程圖。
圖13是示出本發(fā)明的實施方式7中的圖像編碼方法的流程圖。
圖14(a)是示出圖像的畫面編號、保存畫面編號及傳輸順序的關(guān)系的說明圖，圖14(b)是示出進行譯碼的畫面編號、保存著的畫面編號及被刪除的畫面編號之間關(guān)系的關(guān)系圖，圖14(c)是示出進行譯碼的畫面編號、保存著的畫面編號及被刪除的畫面編號的其他關(guān)系的關(guān)系圖。
圖15是示出本發(fā)明中的存儲器管理信息的指令的對應(yīng)圖。
圖16是示出本發(fā)明的實施方式8中的指令執(zhí)行順序的流程圖。
圖17是示出各畫面的編碼信號中的標題信息與幀數(shù)據(jù)之間關(guān)系的模式圖。
圖18是示出編碼信號的標題信息中的存儲器管理信息的指令的模式圖。
圖19是示出各圖像的畫面編號、保存畫面編號及傳輸順序的關(guān)系的說明圖。
圖20是示出將初始化指令進行編碼的方法的流程圖。
圖21是示出將已編碼的初始化指令進行譯碼的方法的流程圖。
圖22是示出在本發(fā)明的實施方式8中使用的存儲器管理信息的指令的對應(yīng)圖。
圖23是示出使用了本發(fā)明中的初始化重發(fā)指令的圖像編碼方法的流程圖。
圖24是示出本發(fā)明中的將已編碼的初始化重發(fā)指令進行譯碼的方法的流程圖。
圖25是示出各圖像的畫面編號、保存畫面編號及傳輸順序的其他關(guān)系的說明圖。
圖26是示出在本發(fā)明的實施方式9中使用的存儲器管理信息的指令的對應(yīng)圖。
圖27是示出本發(fā)明的實施方式9中的圖像編碼方法的流程圖。
圖28是示出本發(fā)明的實施方式9中的圖像譯碼方法的流程圖。
圖29(a)是示出指令的內(nèi)容和附加信息的對應(yīng)圖，圖29(b)是示出指令的執(zhí)行定時的對應(yīng)圖。
圖30是示出編碼信號的標題信息中的存儲器管理信息指令的模式圖。
圖31是示出其他編碼信號的標題信息中的存儲器管理信息指令的模式圖。
圖32是示出按片單位編碼的數(shù)據(jù)流結(jié)構(gòu)的模式圖。
圖33(a)(b)都是示出按片單位編碼的數(shù)據(jù)流結(jié)構(gòu)的模式圖。
圖34(a)(b)(c)都是對用于存儲程序的存儲媒體的說明圖，所述程序是計算機系統(tǒng)實現(xiàn)本發(fā)明的實施方式1至實施方式10的圖像編碼方法和圖像譯碼方法的程序。
圖35是示出使用本發(fā)明的圖像編碼方法和圖像譯碼方法的內(nèi)容供給系統(tǒng)的整體結(jié)構(gòu)的框圖。
圖36是示出使用本發(fā)明的圖像編碼方法和圖像譯碼方法的攜帶式電話的一例的外觀圖。
圖37是示出上述攜帶式電話結(jié)構(gòu)的結(jié)構(gòu)框圖。
圖38是示出使用本發(fā)明的圖像編碼方法和圖像譯碼方法的數(shù)字廣播用系統(tǒng)的結(jié)構(gòu)的結(jié)構(gòu)圖。
具體實施例方式
以下，用
本發(fā)明的實施方式。
(實施方式1)首先，對實施方式1進行說明。
圖5是示出用于實現(xiàn)本實施方式中的圖像編碼方法的圖像編碼裝置的結(jié)構(gòu)框圖。
圖像編碼裝置100由存儲器信息控制部101、短時間保存存儲器管理部102、長時間保存存儲器管理部103、非保存存儲器管理信息部104、管理信息編碼部105、參照圖像選擇部106、保存區(qū)域指定部107、參照區(qū)域指定部108、圖像存儲器109、圖像譯碼部111、圖像編碼部110、可變長編碼部112、計數(shù)器113、計數(shù)器114等構(gòu)成。
參照圖像選擇部106根據(jù)從外部輸入的重要度指示信號Pri和畫面類型信息PicType，選擇參照圖像的候補，并通知存儲器信息控制部101。
存儲器信息控制部101根據(jù)畫面類型信息PicType，判斷前方和后方的哪一方或兩方的圖像(畫面)是否可參照，命令參照區(qū)域指定部108，從圖像存儲器109向圖像編碼部110輸出對應(yīng)的參照圖像。
圖像編碼部110參照從圖像存儲器109輸出的參照圖像，對輸入圖像信號Vin進行編碼，可變長編碼部112進一步進行可變長編碼之后，輸出圖像編碼流VideoStr。此外，圖像編碼部110的輸出被圖像譯碼部111譯碼而成為譯碼圖像，作為參照圖像存儲到圖像存儲器109中。
這時，圖像存儲器109中的譯碼圖像的可存儲的存儲器位置如下進行指定。即，存儲器信息控制部101向短時間保存存儲器管理部102查詢，在短時間存儲器中確定圖像已被消除的存儲器位置，保存區(qū)域指定部107對圖像存儲器109發(fā)出指示，以使在該存儲器位置上記錄譯碼圖像。
短時間保存存儲器管理部102檢測短時間保存存儲器內(nèi)的不需要(不被參照)的圖像，并向存儲器信息控制單元部101通知消除(釋放存儲器)的指令。此外，長時間保存存儲器管理部103向存儲器信息控制部101通知將短時間保存存儲器內(nèi)的圖像向長時間保存存儲器移動的指令。該不需要的圖像的消除(存儲器的釋放)指令和將短時間保存存儲器內(nèi)的圖像向長時間保存存儲器移動的指令，在管理信息編碼部105被進行編碼成為存儲器管理信息流CtlStr。
另一方面，為了防止因傳輸線路錯誤而一部分存儲器管理信息流CtlStr消失，從而存儲器管理信息被損壞，用短時間保存存儲器用的計數(shù)器113和長時間保存存儲器用的計數(shù)器114，計測不需要的圖像的消除指令和將短時間保存存儲器內(nèi)的圖像向長時間保存存儲器移動的指令的編碼次數(shù)，能根據(jù)需要進行上述指令的多次傳輸。
此外，非保存存儲器管理信息部104，管理不需要的圖像的消除指令和將短時間保存存儲器內(nèi)的圖像向長時間保存存儲器移動的指令是否附隨著重要度低且難被譯碼的圖像已被編碼，在上述指令附隨著重要度低的圖像被編碼了的情況下，向存儲器信息控制部101發(fā)出指示，以使附隨著更高重要度的圖像再次對指令進行編碼。
下面，對本發(fā)明的實施方式1中的圖像編碼方法進行說明。圖6是示出實施方式1中的圖像編碼方法的流程圖，示出圖5示出的圖像編碼裝置100進行的動作。再有，在圖6中，對與圖2(a)動作相同的部分標注相同的標記。
圖6中示出的圖像編碼方法的特征在于，在存儲器內(nèi)作為預(yù)測編碼的參照圖像存在不需要的圖像(畫面)的情況下，反復(fù)對釋放保存著該圖像的存儲器區(qū)域(消除該圖像)的存儲器管理信息的指令進行編碼。象這樣地，通過反復(fù)對存儲器管理信息的指令進行編碼，即使因傳輸線路錯誤而其中一方存儲器管理信息的指令消失，也能根據(jù)另一方存儲器管理信息的指令復(fù)原保存在存儲器內(nèi)的圖像的管理信息，因此，即使有傳輸線路錯誤也能正確地復(fù)原圖像的可能性提高。
圖6中，首先，對輸入圖像(步驟100)進行編碼。編碼之后在存儲器內(nèi)檢查不需要的區(qū)域(在以后的編碼中不參照的圖像)(步驟101)，判定是否有不需要的存儲器區(qū)域(步驟102)。在有不需要的存儲器區(qū)域的情況下(步驟102的Yes)，管理信息編碼部105將釋放不需要的存儲器區(qū)域的指令作為存儲器管理信息進行編碼(步驟103)。然后，釋放該不需要的存儲器區(qū)域(步驟104)。在沒有不需要的存儲器區(qū)域的情況下(步驟102的No)，就不進行步驟103和步驟104的動作。
接著，存儲器信息控制部101判定釋放不需要的存儲器區(qū)域的指令是否附隨著在緊前面已編碼的圖像(編碼對象之前的圖像)，作為存儲器管理信息進行了編碼(步驟105)，在指令沒有被編碼了的情況下(步驟105的No)結(jié)束處理，并在指令已被編碼了的情況下(步驟105的Yes)，管理信息編碼部105再次將釋放該不需要的存儲器區(qū)域的指令作為存儲器管理信息進行編碼(步驟106)，并結(jié)束處理。
象這樣地，若在緊前面的圖像的編碼中，釋放不需要的存儲器(存儲器管理信息的)的指令被編碼，則存儲器管理信息的指令再次被編碼。附隨著緊前面的圖像的編碼而被編碼了的存儲器管理信息、和再次被編碼了的存儲器管理信息，分別由圖像編碼裝置輸出，傳輸?shù)綀D像譯碼裝置中被譯碼。
再有，在步驟105中，附隨著緊前面已被編碼的圖像的編碼信號，釋放不需要的存儲器區(qū)域的指令被編碼了的情況下，再次編碼指令，但在不是附隨著緊前面的圖像的情況，而是附隨著幾個圖像以前的圖像的情況下，并且，將上述指令作為存儲器管理信息反復(fù)進行編碼，并附隨多個圖像進行傳輸也可以。
此外，若能將釋放上述不需要的存儲器區(qū)域的指令作為存儲器管理信息多次傳輸就好，在再次編碼該指令進行傳輸時，無需一定使之附隨著圖像的編碼信號進行傳輸。
此外，在重發(fā)存儲器管理信息的指令的情況下，其重發(fā)的指令也可以不是在與已被編碼的畫面相同的流中，而是例如作為另外的流進行傳輸，也可以記錄在存儲媒體的另外的區(qū)域中。
如上所述，由于可認為通過多次傳輸釋放不需要的存儲器區(qū)域(存儲器管理信息的)的指令，即使在產(chǎn)生了傳輸線路錯誤的情況下，多次傳輸?shù)闹噶钪械哪骋粋€被傳輸并被譯碼，因此，能正確地復(fù)原圖像的可能性提高。
(實施方式2)下面，對本發(fā)明的實施方式2進行說明。
圖7是用于實現(xiàn)實施方式2中的圖像譯碼方法的圖像譯碼裝置的框圖。
圖像譯碼裝置200由存儲器信息控制部201、短時間保存存儲器管理部202、長時間保存存儲器管理部203、管理信息譯碼部205、保存區(qū)域指定部207、參照區(qū)域指定部208、圖像存儲器209、圖像譯碼部210、可變長譯碼部212等構(gòu)成。
存儲器信息控制部201根據(jù)畫面類型信息PicType，對編碼對象判斷前方和后方的哪一方或兩方的圖像是否可參照，命令參照區(qū)域指定部208，從圖像存儲器209向圖像譯碼部210輸出對應(yīng)的參照圖像。
可變長譯碼部212對編碼流VideoStr進行譯碼，圖像譯碼部210將其進一步譯碼，作為譯碼圖像信號Vout輸出，并作為參照圖像存儲到圖像存儲器209中。
這時，圖像存儲器209中的譯碼圖像的可存儲的存儲器位置如下進行指定。存儲器信息控制部201向短時間保存存儲器管理部202查詢，確定的已消除圖像的存儲器位置，保存區(qū)域指定部207對圖像存儲器209發(fā)出指示，以使在該存儲器位置上記錄譯碼圖像。
管理信息譯碼部205對存儲器管理信息流CtlStr進行譯碼，通過存儲器信息控制部201，向短時間保存存儲器管理部202通知短時間保存存儲器內(nèi)的不需要(不參照)的圖像信息，對長時間保存存儲器管理部203通知將短時間保存存儲器內(nèi)的圖像向長時間保存存儲器移動的指令。
下面，對本發(fā)明的實施方式2中的圖像譯碼方法進行說明。圖8是示出實施方式2中的圖像譯碼方法的流程圖，示出圖7示出的圖像譯碼裝置200進行的動作。再有，圖8中，在與圖2(b)動作相同的部分上標記相同的標記。
在圖像編碼裝置多次傳輸了釋放不需要的存儲器區(qū)域的指令的情況下，只要不因傳輸線路錯誤而指令消失，圖像譯碼裝置就多次接收釋放存儲器內(nèi)的相同圖像區(qū)域的指令。因此，必須實現(xiàn)這樣的圖像譯碼方法，即，即使在圖像譯碼裝置接收到了再次釋放已經(jīng)釋放了的存儲器區(qū)域的指令的情況下，也不作為錯誤進行處理，而相反判斷為能正確地接收。在本實施方式中，實現(xiàn)了這樣的圖像譯碼方法。
圖8中，首先，管理信息譯碼部205對存儲器管理信息譯碼(步驟110)。接著，根據(jù)編碼信號對圖像信號(步驟111)進行譯碼。然后，存儲器信息控制部201判定在譯碼后的存儲器管理信息中是否有釋放存儲器的指令(步驟112)。若有釋放存儲器的指令(步驟112的Yes)，就判定是否有應(yīng)該用該指令消除的圖像，或者是否已經(jīng)釋放完(消除完)(步驟113)，若存儲器釋放完(步驟113的Yes)，就不做任何處理而結(jié)束，若不是這樣，就釋放存儲器(步驟114)，之后結(jié)束處理。另一方面，在沒有存儲器釋放指令的情況下(步驟112的No)，就不進行步驟113和步驟114的動作而結(jié)束處理。再有，步驟110和步驟111的順序不同，可以互換所述兩步驟的順序。
根據(jù)如上所述的動作，用實施方式1的圖像編碼方法多次編碼并傳輸釋放存儲器內(nèi)的相同圖像的區(qū)域的指令，即使圖像譯碼裝置200多次接收到該信號的情況下，由于不作為錯誤進行處理，因而能夠?qū)崿F(xiàn)能正確地譯碼的圖像譯碼方法。
再有，只要將釋放上述不需要的存儲器區(qū)域的指令作為存儲器管理信息多次進行傳輸就好，在將該指令再次編碼并傳輸時，無需必須使其附隨著圖像的編碼信號進行傳輸。
此外，在重發(fā)存儲器管理信息的指令的情況下，其重發(fā)的指令也可以不是在與已被編碼的畫面相同的流中，而是例如作為另外的流進行傳輸，也可以記錄在存儲媒體的另外的區(qū)域中。
(實施方式3)下面，對實施方式3中的圖像編碼方法進行說明。圖9是示出實施方式3中的圖像編碼方法的流程圖，示出圖像編碼裝置100進行的動作。在圖9中，在與圖3(a)動作相同的部分標注相同的標記。
本實施方式的特征在于，在存儲器內(nèi)存在應(yīng)該從短時間保存存儲器向長時間保存存儲器移動的圖像的情況下，反復(fù)對移動該圖像的存儲器管理信息的指令進行編碼。通過反復(fù)編碼存儲器管理信息的指令，即使因傳輸線路錯誤而其中部分存儲器管理信息的指令消失，也能根據(jù)另一部分存儲器管理信息的指令復(fù)原保存在存儲器內(nèi)的圖像的管理信息，因此，即使有傳輸線路錯誤也能正確地復(fù)原圖像的可能性提高。
圖9中，首先，對輸入圖像(步驟120)進行編碼。編碼之后檢查是否有應(yīng)該向長時間保存存儲器移動的圖像(步驟121)。然后，存儲器信息控制部101判定是否有向長時間保存存儲器移動的圖像(步驟122)。若有應(yīng)該移動的圖像(步驟122的Yes)，管理信息編碼部105就把表示如何向長時間保存存儲器移動的指令作為存儲器管理信息進行編碼(步驟123)。然后，按照該指令把圖像向長時間保存存儲器中移動(步驟124)。
接著，存儲器信息控制部101判定是否將編碼信號向長時間保存存儲器移動的指令，作為存儲器管理信息進行了編碼(步驟125)，所述編碼信號是附隨著緊前面已編碼的圖像(編碼對象之前的圖像)的信號。若沒進行編碼(步驟125的No)，就結(jié)束處理；若已編碼(步驟125的Yes)，則管理信息編碼部105就將向該長時間保存存儲器移動的指令作為存儲器管理信息，再次進行編碼(步驟126)，之后結(jié)束處理。
如上，若在緊前面的圖像的編碼中向長時間保存存儲器移動(存儲器管理信息的)的指令被編碼，則編碼存儲器管理信息的指令再次被編碼。分別由圖像編碼裝置輸出附隨著緊前面的圖像的編碼而被編碼了的存儲器管理信息和已再次被編碼的存儲器管理信息，并傳輸?shù)綀D像譯碼裝置中進行譯碼。
再有，在步驟125中，在附隨著緊前面已編碼的圖像的編碼信號，向長時間保存存儲器移動的指令已被編碼的情況下，再次對指令進行編碼，但也可以不是附隨著緊前面的圖像的情況，而是附隨幾個圖像之前的圖像的情況，并且，將上述指令作為存儲器管理信息反復(fù)進行編碼，可以附隨著多個圖像。
此外，只要能多次傳輸向上述長時間保存存儲器移動的指令作為存儲器管理信息就好，無需在再次對該指令進行編碼并傳輸時，必須使之附隨著圖像的編碼信號進行傳輸。
此外，在重發(fā)存儲器管理信息的指令的情況下，其重發(fā)的指令也可以不是在與已編碼的畫面相同的流中，而是例如作為另外的流進行傳輸，也可以記錄在存儲媒體的另外的區(qū)域中。
如上所述，由于可認為通過多次傳輸向長時間保存存儲器移動的指令，即使在產(chǎn)生了傳輸線路錯誤的情況下，多次傳輸?shù)闹噶钪械哪骋粋€仍被傳輸并被譯碼，因此，能正確地復(fù)原圖像的可能性提高。
(實施方式4)下面，對實施方式4的圖像譯碼方法進行說明。
在圖像編碼裝置多次傳輸了向長時間保存存儲器移動的指令的情況下，指令不因傳輸線路錯誤而消失，圖像譯碼裝置則多次接收將短時間保存存儲器內(nèi)的相同圖像區(qū)域向長時間保存存儲器移動的指令。因此，必須實現(xiàn)這樣的圖像譯碼方法，即，即使在圖像譯碼裝置接收到再次移動已移動的圖像的指令的情況下，也不作為錯誤進行處理，而相反地判斷為能正確地接收。本實施方式中的圖像譯碼方法的特征在于實現(xiàn)這樣的圖像譯碼方法。
圖10是示出實施方式4中的圖像譯碼方法的流程圖，示出圖7中示出的圖像譯碼裝置200的動作。在圖10中，在與圖3(b)動作相同的部分上標記相同的標記。
圖10中，首先，管理信息譯碼部205譯碼存儲器管理信息(步驟130)。然后，根據(jù)編碼信號對圖像信號進行譯碼(步驟131)。
然后，存儲器信息控制部201判定在已譯碼的存儲器管理信息中是否有向長時間保存存儲器移動圖像的指令(步驟132)。若有向長時間保存存儲器移動的指令(步驟132的Yes)，則判定是否有應(yīng)該按該指令移動的圖像，或是否已經(jīng)移動完(因為在移動之后消除完而不存在圖像)(步驟133)，若向長時間保存存儲器移動完(步驟133的Yes)，就不做任何處理而結(jié)束，若不是這樣，就向長時間保存存儲器移動(步驟134)后結(jié)束處理。
另一方面，在沒有向長時間保存存儲器移動的指令的情況下(步驟132的No)，就不進行步驟133和步驟134的動作而結(jié)束處理。再有，步驟130和步驟131的順序不同，也可以交換所述兩步驟的順序。
根據(jù)如上所述的動作，即使用實施方式3的圖像編碼方法多次編碼并傳輸向長時間保存存儲器移動圖像的指令，也能夠?qū)崿F(xiàn)能正確地譯碼的圖像譯碼方法。
再有，只要將向上述長時間保存存儲器移動的指令作為存儲器管理信息進行多次傳輸就好，無需必須在再次編碼該指令進行傳輸時，必須使之附隨著圖像的編碼信號進行傳輸。
此外，在重發(fā)存儲器管理信息的指令的情況下，其重發(fā)的指令也可以不是在與已編碼的畫面相同的流中，而是例如作為另外的流進行傳輸，也可以記錄在存儲媒體的另外的區(qū)域中。
(實施方式5)下面，對本實施方式中的圖像編碼方法進行說明。圖11是示出實施方式5中的圖像編碼方法的流程圖，示出圖5中示出的圖像編碼裝置100的動作。在圖11中，在與圖6動作相同的部分上標注相同的標記。
圖11中示出的本實施方式的特征在于，在存儲器內(nèi)存在不需要的圖像的情況下，反復(fù)對消除該圖像的存儲器管理信息的指令進行編碼，至少一次附隨著保存在存儲器中的重要畫面進行傳輸。在反復(fù)編碼存儲器管理信息的指令的情況下，即使在附隨著重要度不高的圖像傳輸了存儲器管理信息的指令，在譯碼重要度不高的圖像沒有全部被譯碼時，就不能取得存儲器管理信息的指令。
例如，在圖1(a)中，由于畫面編號4的圖像在將畫面編號5的圖像進行編碼之后就成為不需要，因此，能夠附隨著畫面編號5的圖像，對釋放畫面編號4的圖像的某個存儲器區(qū)域的指令進行編碼。
但是，在除了附隨著畫面編號5的圖像，將釋放該畫面編號4的圖像所在的存儲器區(qū)域的指令進行編碼之外，附隨著畫面編號7的圖像進行編碼時，附隨著重要度最低(在不譯碼的情況下畫質(zhì)劣化少)的B畫面，上述指令被編碼。有時這些B畫面不被譯碼，釋放畫面編號4的圖像所在的存儲器區(qū)域的指令不被譯碼，就不能正確地再現(xiàn)存儲器內(nèi)的管理信息。因此，必須要至少一次附隨著重要度高的、必須譯碼的、保存在存儲器中的圖像，來對釋放圖像區(qū)域的指令進行編碼。
圖11中，首先，對輸入圖像進行編碼(步驟100)。編碼之后在存儲器內(nèi)檢查不需要的區(qū)域(在以后的編碼中不參照的圖像)(步驟101)，判定是否有不需要的存儲器區(qū)域(步驟102)。若有不需要的存儲器區(qū)域(步驟102的Yes)，管理信息編碼部105就將釋放不需要的存儲器區(qū)域的指令進行編碼，作為存儲器管理信息(步驟103)。然后，釋放該不需要的存儲器區(qū)域(步驟104)。在沒有不需要的存儲器區(qū)域的情況下(步驟102的No)，不進行步驟103和步驟104的動作。
接著，存儲器信息控制部101判定是否附隨著重要圖像(保存在譯碼的存儲器中)，過去已被編碼的、釋放不需要的存儲器區(qū)域的指令被編碼(步驟140)，若附隨著重要圖像進行了編碼(步驟140的Yes)，就結(jié)束處理，若沒附隨著重要圖像進行了編碼(步驟140的No)，管理信息編碼部105就再次將釋放該不需要的存儲器區(qū)域的指令作為存儲器管理信息進行編碼(步驟141)，之后結(jié)束處理。
這樣，釋放不需要的存儲器區(qū)域的指令附隨著重要圖像被編碼。
如上所述，由于上述指令附隨譯碼后保存在存儲器中的重要圖像，因此，就譯碼上述指令被譯碼，在產(chǎn)生了傳輸線路錯誤時能正確地復(fù)原圖像的可能性提高。
再有，只要能將釋放上述不需要的存儲器區(qū)域的指令作為存儲器管理信息多次傳輸就可以，在再次編碼該指令并進行傳輸時，無需必須使之附隨圖像的編碼信號進行傳輸。
此外，在重發(fā)存儲器管理信息的指令的情況下，其重發(fā)的指令也可以不是在與已被編碼的畫面相同的流中，而是例如作為另外的流進行傳輸，也可以記錄在存儲媒體的另外的區(qū)域中。
(實施方式6)下面，對本實施方式的圖像編碼方法進行說明。圖12是示出實施方式6中的圖像編碼方法的流程圖。圖12示出圖5中示出的圖像編碼裝置100的動作。在圖12中，與圖9動作相同的部分標注相同的標記。
圖12中示出的本實施方式的特征在于，反復(fù)對向長時間保存存儲器移動圖像的存儲器管理信息的指令進行編碼，至少一次附隨著重要畫面(譯碼后保存在存儲器中)進行傳輸。在反復(fù)對向長時間保存存儲器移動圖像的存儲器管理信息的指令進行編碼的情況下，即使附隨著重要度不高的圖像傳輸了存儲器管理信息的指令，在重要度不高的圖像沒有全部被譯碼的情況下，就不能取得存儲器管理信息的指令。
圖12中，首先，對輸入圖像進行編碼(步驟120)。編碼之后檢查是否有應(yīng)該向長時間保存存儲器移動的圖像(步驟121)，判定是否有應(yīng)該移動的圖像(步驟122)。
若有應(yīng)該移動的圖像(步驟122的Yes)，管理信息編碼部105就把表示如何向長時間保存存儲器移動的指令作為存儲器管理信息已被編碼(步驟123)，并將照該指令將圖像移動到長時間保存存儲器中(步驟124)。
接著，存儲器信息控制部101判定過去已編碼的向長時間保存存儲器移動的指令，是否附隨著重要圖像(保存在譯碼的存儲器中)進行編碼(步驟150)，若附隨著重要圖像(步驟150的Yes)，就結(jié)束處理，若沒附隨著重要圖像(步驟150的No)，管理信息編碼部105就再次將該向長時間保存存儲器移動的指令作為存儲器管理信息進行編碼(步驟151)，之后結(jié)束處理。
這樣，向長時間保存存儲器移動圖像的指令附隨著重要圖像被編碼。
如上所述，由于上述指令附隨著譯碼后保存在存儲器中的重要圖像，因此，就上述指令被譯碼，在產(chǎn)生了傳輸線路錯誤時能正確地復(fù)原圖像的可能性提高。
再有，只要多次傳輸向上述長時間保存存儲器移動的指令作為存儲器管理信息進行傳輸就可以，在再次編碼該指令進行傳輸時，無需必須使之附隨著圖像的編碼信號進行傳輸。
此外，在重發(fā)存儲器管理信息的指令的情況下，其重發(fā)的指令也可以不是在與已編碼的畫面相同的流中，而是例如作為另外的流進行傳輸，也可以記錄在存儲媒體的另外的區(qū)域中。
(實施方式7)對實施方式7中的圖像編碼方法進行說明。
本實施方式的特征在于，是參照根據(jù)圖像的重要度選擇的參照圖像來進行編碼的圖像編碼方法。
圖13是示出本發(fā)明的實施方式7中的圖像編碼方法的流程圖。圖13示出圖5中示出的圖像編碼裝置100進行的動作。
圖13中，首先，設(shè)定編碼對象的各圖像的重要度(步驟160)。例如，I畫面和P畫面的重要度高，B畫面的重要度低。此外，即使是相同的P畫面，被許多圖像參照的P畫面的重要度高，不太被參照的P畫面的重要度低。
接著，從存儲器內(nèi)的參照圖像選擇重要度與編碼對象圖像同等以上的圖像，設(shè)為參照圖像的候補(步驟161)。例如，B畫面能參照I畫面和P畫面，但P畫面中重要度低的P畫面不在參照圖像的候補之內(nèi)。
接著，對示出選擇的參照圖像的候補的指示信息(存儲器管理信息的一種)進行編碼(步驟162)，從選擇的參照圖像的候補中按塊單位參照適當?shù)膮⒄請D像進行編碼(步驟163)。再有，步驟162和步驟163的順序不同，也可以互換所述兩步驟的順序。
象這樣地，使在參照圖像的候補中不加入重要度比編碼對象圖像的重要度低的圖像。
如上所述地，由于在參照圖像的候補中不加入重要度比編碼對象圖像的重要度低的圖像，因此，在生成了能實現(xiàn)可變性(scalability)的流的情況下，能將不能參照的圖像從參照圖像的候補中除去，編碼效率提高。
在此，對根據(jù)如上所述地設(shè)定的圖像的重要度進行的圖像編碼方法，用圖14進行具體地說明。
圖14(a)是表示賦予各幀的編號(畫面(幀)編號)、各幀保存在存儲器中時的編號(保存畫面(幀)編號)、表示各幀被傳輸?shù)男蛱柕木幪?傳輸順序)的關(guān)系的說明圖。
在圖14(a)中，畫面編號0的I畫面因為不參照其他的畫面而保存在存儲器中，因此保存畫面編號為0。接著，由于參照畫面編號0的I畫面的畫面編號2的P畫面保存在存儲器中，因此與畫面編號2的P畫面有關(guān)的保存畫面編號為1。然后，由于參照畫面編號0的I畫面和畫面編號2的P畫面的畫面編號1的B畫面保存在存儲器內(nèi)，因此畫面編號1的B畫面的保存畫面編號為2。傳輸各畫面的序號為保存在存儲器中的序號。按同樣的順序決定畫面編號與保存畫面編號及傳輸順序的關(guān)系。
下面，對進行譯碼(decode)的畫面編號、保存在存儲器中的畫面編號、和被刪除的畫面編號的關(guān)系的一例，用圖14(b)進行說明。
圖14(b)是示出進行譯碼的畫面編號(幀編號)、保存著的畫面編號(幀編號)、和被刪除的畫面編號(幀編號)的關(guān)系的關(guān)系圖。再有，在此，設(shè)能保存在存儲器中的畫面的最大幅數(shù)為5。在存儲器中按傳輸順序保存畫面。
此外，例如，在畫面編號為4的P畫面被譯碼時，由于畫面編號為4的P畫面的保存畫面編號是3，因此，就在存儲器上保存保存畫面編號為0、1、2的畫面。在進行譯碼的畫面編號為3的B畫面被譯碼時，如圖14(b)所示，保存著畫面編號為4、1、2、0的畫面。在此，如圖14(a)所示，由于在譯碼了畫面編號3的畫面之后，畫面編號1的B畫面不再被任何畫面參照，因此，畫面編號為3的畫面在被譯碼的時候，刪除畫面編號1的B畫面。
同樣地，在進行譯碼的畫面編號為5的B畫面被譯碼時，如圖14(b)所示，保存著畫面編號為6、3、4、2、0的畫面。在此，由于在譯碼了畫面編號5的畫面之后，畫面編號3的B畫面不再被任何畫面參照，因此，在畫面編號為5的B畫面被譯碼了的時刻，刪除畫面編號3的B畫面。
另外，在進行譯碼的畫面編號為8的P畫面被譯碼時，如圖14(b)所示，保存著畫面編號為5、6、4、2、0的畫面。在此，由于在存儲器中最大僅能保存5幀，因此，為了在后面參照畫面編號8的P畫面，就必須確保刪除畫面編號為5、6、4、2、0的某一個畫面并存儲畫面編號8的P畫面的存儲器。因而，作為在圖14(b)中刪除幀的選擇基準，在將畫面編號8的P畫面進行譯碼的時刻，刪除在P畫面的譯碼、即在偶數(shù)號畫面編號的譯碼中時間上最老的畫面，即該情況下是畫面編號為0的I畫面。
同樣地，在進行譯碼的畫面編號為7的B畫面被譯碼時，如圖14(b)所示，保存著畫面編號為8、5、6、4、2的畫面。在此，由于在譯碼了畫面編號7的B畫面之后，畫面編號5的B畫面不再被任何畫面所參照，因此，在譯碼了畫面編號為7的B畫面的時刻，刪除畫面編號5的B畫面。
另外，在進行譯碼的畫面編號為10的P畫面被譯碼時，如圖14(b)所示，保存著畫面編號為7、8、6、4、2的畫面。在此，由于在存儲器中最大僅能保存5幀，因此，為了在后面參照畫面編號10的P畫面，就必須確保刪除畫面編號為7、8、6、4、2的某一個畫面并存儲畫面編號10的畫面的存儲器。因而，作為在圖14(b)中刪除幀的選擇基準，在譯碼了畫面編號10的P畫面的時刻，刪除在P畫面的譯碼、即在偶數(shù)號畫面編號的畫面的譯碼中時間上最舊的畫面編號為2的畫面。
象這樣地，在刪除畫面時，用于刪除畫面的存儲器管理信息的指令被編碼后，附隨著將被譯碼的畫面的編碼信號，進行傳輸。
在上述圖14(b)示出的例子中，對在存儲器內(nèi)存在不需要的圖像(畫面)，發(fā)送一次消除該圖像的存儲器管理信息指令的例子進行了敘述。如上，若將消除的存儲器管理信息指令僅發(fā)送一次，則有不能執(zhí)行附隨著B畫面發(fā)送的存儲器管理信息的指令的可能性。這是因為，由于B畫面作為在P畫面的編碼和譯碼中參照的圖像來使用的可能性低，因此，在不能確保充足的存儲容量和傳輸容量的情況下，優(yōu)先廢棄B畫面的數(shù)據(jù)的可能性高，其結(jié)果，就有不能執(zhí)行附隨著B畫面發(fā)送的存儲器管理信息的指令的可能性。
為了解決該問題，說明將消除圖像的存儲器管理信息的指令反復(fù)進行編碼并傳輸?shù)睦?。以下，對圖14(c)具體地進行說明。
圖14(c)是示出進行譯碼的畫面編號(幀編號)、保存著的畫面編號(幀編號)、和被刪除的畫面編號(幀編號)的其他關(guān)系的關(guān)系圖。在圖14(c)中，示出將被刪除的畫面編號的畫面進行刪除的指令附隨著進行譯碼的畫面編號畫面的編碼信號的情況。
如圖14(c)所示，在畫面編號為3的B畫面被譯碼時，保存著畫面編號為4、1、2、0的畫面。在此，畫面編號1的B畫面如圖14(a)所示，在譯碼了畫面編號3的畫面之后，不再被任何畫面所參照。因此，在譯碼了畫面編號為3的畫面的時刻，刪除畫面編號1的B畫面，用于刪除的存儲器管理信息的指令附隨著畫面編號3的畫面。
但是，由于畫面編號3的畫面是B畫面，因此，與I畫面和P畫面相比，在圖像再現(xiàn)的這一點上，其重要度如上所述那樣低，由于發(fā)送時數(shù)據(jù)易被廢棄，因此有不能執(zhí)行指令的可能性(如圖25所示的保存幀的情況)，該指令為附隨著畫面編號3的B畫面發(fā)送的存儲器管理信息的指令。
因此，使表示刪除附隨著畫面編號3的畫面編號1的畫面的存儲器管理信息的指令，附隨著接著進行譯碼的、在圖像的再現(xiàn)這點上比畫面編號3的B畫面其重要度高的畫面編號6的P畫面(參照圖14(c))。
同樣地，使附隨著畫面編號5的B畫面的存儲器管理信息的指令(示出刪除畫面編號3的畫面)附隨著畫面編號8的P畫面；使附隨著畫面編號7的B畫面的存儲器管理信息的指令(示出刪除畫面編號5的畫面)附隨著畫面編號10的P畫面。再有，由于畫面編號8的畫面是P畫面，因此，如圖14(c)所示，不使附隨著畫面編號8的畫面的存儲器管理信息的指令附隨著畫面編號7的B畫面，但也可以附隨。
以上，如圖14(c)所示，使與最初附隨著B畫面的存儲器管理信息的指令相同的存儲器管理信息的指令，反復(fù)附隨著比最初使存儲器管理信息的指令附隨的B畫面晚保存或傳輸?shù)漠嬅妫以摫环磸?fù)附隨的畫面是在圖像再現(xiàn)中重要度比B畫面高的畫面。這樣，即使遺漏了最初附隨著存儲器管理信息的指令的B畫面，也能正常地執(zhí)行存儲器管理信息的指令。
再有，如用圖14(c)說明的，即使在使存儲器管理信息的指令附隨著B畫面，進一步反復(fù)使存儲器管理信息的指令附隨著P畫面的情況下，也使用已設(shè)定的重要度。再有，重要度的設(shè)定不限于本實施方式示出的方式。
再有，在本實施方式中，并非根據(jù)各圖像的重要度來決定是否發(fā)送各圖像，而且不能將各圖像的重要度象上述實施方式中示出的存儲器管理信息那樣附隨著各圖像來進行編碼。因此，本實施方式中已編碼的數(shù)據(jù)的譯碼處理與現(xiàn)有的方法相同。
(實施方式8)下面，對實施方式8進行說明。
本實施方式的特征在于，刪除存儲器內(nèi)的全部圖像(畫面)，將進行存儲器區(qū)域的初始化的(存儲器管理信息的)指令多次進行編碼并傳輸。
在上述各實施方式中示出的存儲器管理信息，被作為如圖15中示出的代碼信息而被賦予。
圖15是示出存儲器管理信息的指令的對應(yīng)圖，示出代碼編號(Code)、指令的內(nèi)容(指令)、其附加信息(附加信息)。
例如，釋放短時間保存存儲器中不需要的存儲器區(qū)域的指令(釋放短時間保存存儲器)作為代碼信息Code1而被賦予，進行釋放的畫面編號(幀編號)作為附加信息而被附加。
此外，代碼信息作為圖17中示出的各幀的標題信息而被賦予。
圖17是示出各畫面的編碼信號中的標題信息與幀數(shù)據(jù)的關(guān)系的模式圖。在圖17中，各編碼信號示出了后述的幀F(xiàn)rm12、Frm11、Frm14的編碼信號。各編碼信號包括具有標題信息的幀標題和與圖像的編碼有關(guān)的幀數(shù)據(jù)。例如，幀F(xiàn)rm12的編碼信號包括幀標題Frm12Hdr和由各數(shù)據(jù)MB12a、MB12b、MB12c、MB12d構(gòu)成的幀數(shù)據(jù)。
圖18的模式圖中示出該編碼信號的詳細情況。
圖18是示出編碼信號的標題信息中的存儲器管理信息的指令的模式圖。
如圖18所示，幀F(xiàn)rmA的編碼信號包括具有標題信息的幀標題FrmAHdr和由各數(shù)據(jù)MBa、MBb、MBc、MBd等構(gòu)成的幀數(shù)據(jù)。然后，在幀標題FrmAHdr上附加指令的代碼信息CodeA，之后附加代碼信息CodeA的附加信息AddA，接著，附加應(yīng)在代碼信息CodeA的指令之后執(zhí)行的指令的代碼信息CodeB和代碼信息CodeB的附加信息AddB。若沒有附加信息，就如代碼信息CodeC僅附加代碼信息。
下面，在圖16中示出指令執(zhí)行的順序。
圖16是示出指令執(zhí)行順序的流程圖。
在圖16中，首先，取得指令(步驟C0)，判定指令的取得是否已結(jié)束(步驟C1)。若指令的取得還沒有結(jié)束而取得指令(步驟C1的No)，則執(zhí)行所取得的指令(步驟C2)，返回到步驟C0，反復(fù)進行該動作。另一方面，若指令的取得結(jié)束而未取得指令(步驟C1的Yes)，則結(jié)束指令執(zhí)行處理。對每一個幀進行一次該過程。再有，即使在按由多個宏塊構(gòu)成的片單位發(fā)送指令信息的情況下，也按上述順序執(zhí)行指令。
下面，對在上述實施方式1中消除不需要的圖像(釋放存儲器)的存儲器管理信息的指令進行說明。另外，在實施方式1中，通過反復(fù)對消除不需要的圖像的存儲器管理信息的指令進行編碼，即使因傳輸線路錯誤而其中部分存儲器管理信息的指令消失，也能根據(jù)另一些存儲器管理信息的指令復(fù)原保存在存儲器內(nèi)的圖像的管理信息，能正確地復(fù)原圖像的可能性提高。
在此，關(guān)于圖15中示出的代碼信息中的、消除存儲器內(nèi)的全部信息的初始化指令Code5進行討論。
在僅發(fā)送一次初始化指令Code5時，若因傳輸線路錯誤而該初始化指令Code5消失，就對本來已初始化之后進行的存儲器管理等的處理產(chǎn)生影響。在此，用圖19，對與實施方式1同樣反復(fù)編碼初始化指令Code5后傳輸?shù)那闆r進行說明。
圖19是關(guān)系說明圖，示出賦予各幀的編號(畫面(幀)編號)、在存儲器內(nèi)保存各幀時的編號(保存畫面(幀)編號)、示出傳輸各幀的序號的編號(傳輸順序)的關(guān)系。
以下，對圖19具體地進行說明。首先，畫面編號0的I畫面由于不參照其他畫面，因此保存在存儲器中，其保存畫面編號為0。接著，由于在存儲器中保存參照畫面編號0的I畫面的畫面編號2的P畫面，因此與畫面編號2的P畫面有關(guān)的保存畫面編號成為1。然后，由于在存儲器中保存參照畫面編號0的I畫面和畫面編號2的P畫面的畫面編號1的B畫面，因此畫面編號1的B畫面的保存畫面編號成為2。傳輸各畫面的序號設(shè)為保存在存儲器中的序號。按同樣的順序決定畫面編號和保存畫面編號及傳輸順序的關(guān)系。
設(shè)定在對圖19中示出的畫面編號12的I畫面進行編碼時發(fā)送圖15中示出的初始化指令Code5。由于畫面編號12的I畫面的保存畫面編號是11，因此，能利用該初始化指令Code5，從存儲器內(nèi)全部消除保存畫面編號為10以下的畫面。
在此，用圖20對編碼初始化指令Code5的方法進行說明。
圖20是示出編碼初始化指令Code5的方法的流程圖，示出圖5中示出的圖像編碼裝置100進行的動作。
首先，對輸入圖像進行編碼(步驟A0)。編碼之后檢查存儲器內(nèi)可參照的全部畫面是否不需要(是否在以后的編碼中不被任何圖像所參照)(初始化檢查)(步驟A1)，并判定在存儲器中存儲著的畫面是否在以后未被參照而進行初始化好一些(步驟A2)。
若進行初始化好(步驟A2的Yes)，則將初始化存儲器區(qū)域的初始化指令Code5作為存儲器管理信息，進行編碼(步驟A3)，并進行初始化(步驟A4)，結(jié)束處理。另一方面，在沒有進行初始化的必要的情況下(步驟A2的No)，就不進行步驟A3和步驟A4的動作而結(jié)束處理。
下面，用圖21，對將已編碼的初始化指令Code5進行譯碼的方法進行說明。
圖21是示出對已編碼的初始化指令Code5進行譯碼的方法的流程圖，示出圖7中示出的圖像編碼裝置200進行的動作。
首先，將存儲器管理信息進行譯碼(步驟A10)，根據(jù)編碼信號對圖像信號進行譯碼(步驟A11)。接著，判定在譯碼后的存儲器管理信息中是否有初始化指令Code5(步驟A12)，若有初始化指令Code5(步驟A12的Yes)，則將存儲器內(nèi)存儲著的畫面全部消除，并進行初始化(步驟A13)，結(jié)束處理。但是，這時不消除已譯碼的圖像(步驟A11中)。
另一方面，若在存儲器管理信息中沒有初始化指令Code5(步驟A12的No)，就結(jié)束處理。
以下，用圖19具體說明進行存儲器的初始化的方法。設(shè)對圖19中示出的畫面編號11的B畫面賦予與對畫面編號12的I畫面賦予的初始化指令Code5相同的初始化指令Code5。
若如在圖17所示，則為在幀F(xiàn)rm12(畫面編號12)的幀標題Frm12Hdr和幀F(xiàn)rm11(畫面編號11)的幀標題Frm11Hdr上賦予初始化指令Code5。由于初始化指令Code5如圖15所示，不具有附加信息，因此，就在被譯碼了的時刻全部消除存儲器內(nèi)保存著的畫面。
因此，若賦予了畫面編號12(保存畫面編號11)的I畫面的初始化指令Code5因傳輸線路錯誤而消失，并執(zhí)行賦予了畫面編號11(保存畫面編號12)的B畫面的初始化指令Code5，則在保存畫面編號11之前譯碼了的畫面中，存儲器中保存著的畫面全部被消除。即，本來不應(yīng)消除的畫面編號12(保存畫面編號11)的I畫面也被消除。
如上，在對畫面編號11的B畫面賦予了與對畫面編號12的I畫面賦予了的初始化指令Code5相同的初始化指令Code5時，就遺漏一幅畫面(畫面編號12的I畫面)。另一方面，若對畫面編號14(保存畫面編號1 3)的P畫面賦予與對畫面編號12(保存畫面編號11)的I畫面賦予的初始化指令Code5相同的初始化指令Code5，并對畫面編號12的I畫面賦予的初始化指令Code5因傳輸線路錯誤而消失，且賦予畫面編號14的P畫面的初始化指令Code5被執(zhí)行，則導(dǎo)致遺漏兩幅畫面(畫面編號11的B畫面和畫面編號12的I畫面)。
再有，在反復(fù)編碼初始化指令Code5，并且最初發(fā)送的初始化指令Code5和接著發(fā)送的初始化指令Code5都在沒有傳輸線路錯誤地執(zhí)行的情況下，也產(chǎn)生與上述相同的問題。這是因為，根據(jù)最初發(fā)送的初始化指令Code5進行初始化，又根據(jù)接著發(fā)送的初始化指令Code5再次進行初始化。
對用于解決這樣的存儲器的初始化中存在的問題的方法進行說明。
圖22中示出為了解決存儲器的初始化中存在的問題而使用的存儲器管理信息的指令。
與圖15的不同點是在圖22中新附加了初始化重發(fā)指令Code6。此外，該初始化重發(fā)指令Code6具有初始化畫面(幀)編號(附隨初始化存儲器區(qū)域的初始化指令Code5的幀的編號)作為附加信息。
以下，用圖23對使用了該初始化重發(fā)指令Code6的圖像編碼處理的流程進行說明。
圖23是示出使用了初始化重發(fā)指令Code6的圖像編碼方法的流程圖，示出圖5中示出的圖像編碼裝置100進行的動作。在圖23中，在與圖20相同的動作上標注相同的標記。
首先，編碼輸入圖像(步驟A0)。編碼之后檢查存儲器內(nèi)可參照的全部畫面是否不需要(是否在以后的編碼中哪個圖像也不被參照)(初始化檢查)(步驟A1)。存儲器信息控制部101判定是否需要初始化(步驟A2)，若需要初始化(步驟A2的Yes)，管理信息編碼部105就將初始化存儲器區(qū)域的初始化指令Code5作為存儲器管理信息進行編碼(步驟A3)，并進行初始化(步驟A4)。在不需要初始化的情況下(步驟A2的No)，就不進行步驟A3和步驟A4的動作。
接著，存儲器信息控制部101判定是否將附隨著緊前面已編碼的圖像(比編碼對象早的圖像)的編碼信號進行初始化存儲器區(qū)域的初始化指令Code5，作為存儲器管理信息進行了編碼(步驟A30)，若進行了編碼(步驟A30的Yes)，則管理信息編碼部105就將初始化該存儲器區(qū)域的初始化重發(fā)指令Code6作為存儲器管理信息進行編碼(步驟A31)，之后結(jié)束處理。
此外，若沒有附隨著緊前面已編碼的圖像(比編碼對象早的圖像)的編碼信號，將初始化存儲器區(qū)域的初始化指令Code5作為存儲器管理信息進行了編碼(步驟A30的No)，則結(jié)束處理。
再有，在圖23中示出的方法中，在附隨緊前面已編碼的圖像的編碼信號，初始化存儲器區(qū)域的初始化指令Code5被編碼的情況下，就再次編碼初始化重發(fā)指令Code6，但也可以在不是附隨著緊前面的已編碼的圖像的編碼，而是附隨著幾個圖像以前已編碼的圖像的編碼，將初始化存儲器區(qū)域的初始化指令Code5進行編碼的情況下，再次編碼初始化重發(fā)指令Code6，此外，也可以附隨著多個圖像，將初始化存儲器區(qū)域的初始化重發(fā)指令Code6作為存儲器管理信息，反復(fù)進行編碼。
具體地，如圖19所示，在附隨著畫面編號12的I畫面的編碼，將初始化指令Code5進行編碼的情況下，也可以附隨著畫面編號11的B畫面的編碼，將初始化重發(fā)指令Code6進行編碼，此外，也可以附隨著畫面編號14的P畫面的編碼，將初始化重發(fā)指令Code6進行編碼。
前者的情況若用圖17示出，就是在幀F(xiàn)rm12的幀標題Frm12Hdr上賦予初始化指令Code5，另外，在幀F(xiàn)rm11的幀標題Frm11Hdr上賦予初始化重發(fā)指令Code6。此外，后者的情況，在幀F(xiàn)rm12的幀標題Frm12Hdr上賦予初始化指令Code5，在幀F(xiàn)rm14的幀標題Frm14Hdr上賦予初始化重發(fā)指令Code6。
另外，也可以在附隨著畫面編號11的B畫面的編碼對初始化重發(fā)指令Code6進行編碼的同時，附隨著畫面編號14的P畫面的編碼對初始化重發(fā)指令Code6進行編碼。該情況下，若用圖17示出，就是在幀F(xiàn)rm12的幀標題Frm12Hdr上賦予初始化指令Code5，在幀F(xiàn)rm11的幀標題Frm11Hdr和幀F(xiàn)rm14的幀標題Frm14Hdr上賦予初始化重發(fā)指令Code6。
下面，用圖24對將已編碼了上述初始化重發(fā)指令Code6的數(shù)據(jù)進行譯碼時的處理進行說明。圖24是示出對已編碼的初始化重發(fā)指令Code6進行譯碼的方法的流程圖，示出圖7中示出的圖像譯碼裝置200的動作。在圖24中，在與圖21動作相同的部分標注相同的標記。
首先，管理信息譯碼部205對存儲器管理信息進行譯碼(步驟A10)。然后，根據(jù)編碼信號對圖像信號進行譯碼(步驟A11)。
判定在譯碼后的存儲器管理信息中是否有初始化指令Code5(步驟A12)，若有初始化指令Code5(步驟A12的Yes)，則全部消除存儲器內(nèi)的畫面，并進行初始化(步驟A13)，若沒有初始化指令Code5(步驟A12的No)，就不進行初始化。
接著，存儲器信息控制部101判定在存儲器管理信息中是否有初始化重發(fā)指令Code6(步驟A40)。若沒有初始化重發(fā)指令Code6(步驟A40的No)，則結(jié)束處理，若有初始化重發(fā)指令Code6(步驟A40的Yes)，則檢查初始化是否完了(步驟A41)。若初始化完了(步驟A41的Yes)，就結(jié)束處理，若還沒進行初始化(步驟A41的No)，就基于初始化重發(fā)指令Code6的附加信息，刪除初始化幀(初始化存儲器區(qū)域的初始化指令Code5附隨的幀)以前的保存幀(在初始化幀進行編碼的時刻，參照用圖像存儲器中存儲著的幀)，并且，設(shè)定長時間保存存儲器大小為0(步驟A42)，結(jié)束處理。再有，不使用長時間保存幀的情況下，則無需使長時間保存存儲器的大小設(shè)為0。
因此，在圖19中示出的初始化指令Code5附隨著畫面編號12的畫面，和初始化重發(fā)指令Code6附隨著畫面編號14進行編碼的情況中，在初始化指令Code5不因傳輸線路錯誤而消失的情況下，就由初始化指令Code5，在初始化指令Code5因傳輸線路錯誤而消失的情況下，就由初始化重發(fā)指令Code6，來全部刪除保存在存儲器中的畫面中保存畫面編號為10以下的畫面。
象這樣地，由于在反復(fù)編碼初始化指令Code5進行傳輸時，在第二次以后，將附加了作為附加信息的初始化畫面編號的初始化重發(fā)指令Code6進行編碼并傳輸，因此，就根據(jù)該附加信息初始化幀以前的保存幀(在最初初始化指令Code5附隨的初始化幀進行編碼的時候，參照用圖像存儲器中存儲著的幀)全部被刪除。因此，能解決需要的圖像(畫面)遺漏的上述問題。
再有，如圖25所示，即使在與圖19不同的保存畫面編號的賦予方法中，上述說明的初始化重發(fā)指令Code6也是有效的。
以下，具體地說明。
圖25是示出賦予各幀的編號(畫面(幀)編號)、各幀保存在存儲器內(nèi)時的編號(保存畫面(幀)編號)、表示傳輸各幀的序號的編號(傳輸順序)的其他關(guān)系的說明圖。
對這些編號的賦予方法進行說明。首先，由于畫面編號0的I畫面不參照其他畫面，因此保存在存儲器中，其保存畫面編號就為0。接著，由于參照畫面編號0的I畫面的畫面編號2的P畫面保存在存儲器中，因此與畫面編號2的P畫面有關(guān)的保存畫面編號就為1。然后，參照畫面編號0的I畫面和畫面編號2的P畫面的畫面編號1的B畫面保存在存儲器中，但由于該B畫面不被其他畫面所參照，因此，保存畫面編號與緊前面保存的畫面編號2的P畫面的保存畫面編號相同，均為1。傳輸各畫面的序號設(shè)為保存在存儲器中的序號。按同樣的順序決定畫面編號和保存畫面編號及傳輸順序的關(guān)系。
如圖25所示，設(shè)定在對畫面編號12的I畫面進行編碼時，附隨著發(fā)送圖15中示出的初始化指令Code5。由于畫面編號12的I畫面的保存畫面編號是6，因此，能由該初始化指令Code5從存儲器內(nèi)全部消除保存畫面編號為5以下的畫面。
在此，在反復(fù)對初始化指令Code5進行編碼的情況下，具體地對在畫面編號14的P畫面上賦予與在畫面編號12的I畫面上賦予了的初始化指令Code5相同的初始化指令Code5的情況進行說明。
初始化指令Code5如圖15所示，不具有附加信息，因此，就在被譯碼了的時刻，全部消除參照用存儲器內(nèi)保存著的畫面。因此，若賦予了畫面編號12(保存畫面編號6)的I畫面的初始化指令Code5因傳輸線路錯誤而消失，且賦予了畫面編號14(保存畫面編號7)的P畫面的初始化指令Code5被執(zhí)行，就在保存畫面編號6以下的畫面中，保存在存儲器中的畫面全部被刪除。即，本來不應(yīng)消除的畫面編號12(保存畫面編號6)的I畫面都被消除。
但是，由于取代初始化指令Code5，使上述初始化重發(fā)指令Code6附隨著畫面編號14的P畫面，因此，在附隨畫面編號12的I畫面的初始化指令Code5不因傳輸線路錯誤而消失的情況下，就由初始化指令Code5，在初始化指令Code5因傳輸線路錯誤而消失了的情況下，就由附隨畫面編號14的P畫面的初始化重發(fā)指令Code6，來全部刪除保存在存儲器中的畫面中保存畫面編號為5以下的畫面。
即，由于在初始化重發(fā)指令Code6中附加了初始化幀(該情況中，畫面編號12)編號作為附加信息，因此，刪除初始化幀以前的保存幀(在保存初始化幀的時候保存在參照用圖像存儲器中的保存畫面編號為5以下的保存幀)。
如上所述，由于具有附加信息的初始化重發(fā)指令Code6，即使在初始化指令Code5因傳輸線路錯誤而遺漏的情況下也能正常地執(zhí)行初始化的可能性提高。再有，也可以將附加信息作為初始化重發(fā)指令附隨的畫面編號，用本實施方式中示出的初始化重發(fā)指令代用作初始化指令，用一個指令來實現(xiàn)圖22中示出的Code5和Code6。這是因為，由于在為了重發(fā)初始化信息的而進行初始化重發(fā)時，初始化指令指定附隨的幀的編號，因此，不使用重發(fā)該幀這樣的畫面編號。這時，也可以使初始化指令Code5無效。
再有，如上，在用一個指令實現(xiàn)上述實施方式中示出的初始化重發(fā)指令和初始化指令Code5的情況下，也可以以初始化重發(fā)指令作為具有與最初發(fā)送的初始化指令Code5相同功能的指令，所述初始化重發(fā)指令是具有在上述實施方式中示出的初始化重發(fā)指令中不使用的特別的值作為附加信息的指令。
此外，如在上述各實施方式所說明，在再次傳輸釋放不需要的存儲器區(qū)域的指令和初始化指令等的存儲器管理信息時，也可以如圖17和圖18所示，不是包含在與圖像的編碼有關(guān)的幀數(shù)據(jù)上附加的標題信息中進行傳輸?shù)模桥c幀數(shù)據(jù)分開另外傳輸存儲器管理信息包含的標題信息。即，重發(fā)的上述指令不在與已編碼的畫面相同的流中，而也可以例如作為另外的流進行傳輸。此外，也可以記錄在存儲媒體的另外的區(qū)域中。
另外，在本實施方式中，在重發(fā)初始化指令時，將使初始化指令最初附隨的畫面的畫面編號(初始化幀編號)作為附加信息，附加在初始化重發(fā)指令中，但當然也可以在重發(fā)上述各實施方式中示出的、存儲器管理信息的指令時，也將最初使該指令附隨并傳輸?shù)木幋a對象畫面的畫面編號(確定畫面的信息)作為參數(shù)包含進行傳輸也可以。所述存儲器管理信息為示出釋放的存儲器區(qū)域的指令、和指定從短時間保存存儲器向長時間保存存儲器移動的對象的畫面的指令等。這樣，能檢測出在傳輸哪個畫面時產(chǎn)生了傳輸線路錯誤。
(實施方式9)下面，對實施方式9中的圖像編碼方法和圖像譯碼方法進行說明。
本實施方式的特征在于，在多次傳輸存儲器管理信息時，改變基于在第二次以后被傳輸?shù)拇鎯ζ鞴芾硇畔⒌奶幚淼亩〞r。
在對將上述實施方式中示出的存儲器管理信息反復(fù)進行編碼了的數(shù)據(jù)進行譯碼時，在進行反復(fù)發(fā)送的存儲器管理信息的處理之前，必須將存儲器管理信息附隨的圖像信號進行譯碼。作為具體例在實施方式2中說明了的、多次傳輸釋放不需要的存儲器區(qū)域的指令的情況，用圖19再次進行說明。
使圖22中示出的Code1的指令附隨著圖19中示出的畫面編號12的畫面進行編碼，另外，使Code1的指令也附隨著畫面編號11的畫面進行編碼。這時，按照圖8進行譯碼。
首先，附隨畫面編號12的畫面的Code1被譯碼(步驟110)。接著，畫面編號12的畫面被譯碼(步驟111)。在此，若本來應(yīng)該正在附隨著畫面編號12的畫面的Code1在傳輸途中遺漏了(步驟112的No)，結(jié)束與該幀有關(guān)的處理。
在傳輸順序中，在畫面編號12的畫面之后進行譯碼處理的是畫面編號11的畫面。
首先，對附隨著畫面編號11的畫面進行編碼了的Code1被譯碼(步驟110)。接著，畫面編號12的畫面被譯碼(步驟111)。在該Code1不在傳輸途中遺漏而傳輸了的情況下，由于在已譯碼的存儲器管理信息中存在存儲器釋放的指令Code1(步驟112的Yes)，因此就過渡到下面的處理(步驟113)。
在此，由于在對畫面編號11的畫面被譯碼之前被譯碼的畫面編號12的畫面進行譯碼時，存儲器未被釋放(步驟113的No)，因此就進行存儲器釋放處理(步驟114)。
如上述具體例中所示，伴隨著多次傳輸釋放不需要的存儲器區(qū)域的指令的操作，應(yīng)該對本來沒有進行最初的指令執(zhí)行的畫面(畫面編號12)執(zhí)行的指令，在從后面發(fā)送的畫面(畫面編號11)的圖像信號的譯碼處理之后來執(zhí)行，產(chǎn)生指令執(zhí)行的延遲。
因此，在本實施方式中，用圖26、圖27和圖28對用于解決上述問題的方法進行說明。
圖26是示出在本實施方式中使用的存儲器管理信息和指令的關(guān)系的對應(yīng)圖。
在圖26中，Code表示指令的編號，指令表示指令的內(nèi)容，附加信息表示附加在指令中的附加信息，處理位置表示執(zhí)行指令的定時。
與圖15的不同點是，在圖26中，將CodeA1～CodeA4設(shè)定為在圖像的譯碼處理之后執(zhí)行的指令，另一方面，將與CodeA1～CodeA4對應(yīng)的CodeA6～CodeA9設(shè)定為在圖像的譯碼處理之前執(zhí)行的指令。
然后，在反復(fù)發(fā)送存儲器管理信息的情況下，將最初進行編碼的存儲器管理信息的指令設(shè)定為處理位置是譯碼后的(在圖像的譯碼之后執(zhí)行)指令(從CodeA1到CodeA4)，將反復(fù)(第二次以后)進行編碼的指令設(shè)定為處理位置是譯碼前(在圖像的譯碼之前執(zhí)行)的指令(從CodeA6到CodeA9)。
這樣，即使在最初發(fā)送的存儲器管理信息遺漏了的情況下，本來應(yīng)該按最初發(fā)送的存儲器管理信息執(zhí)行的指令早期執(zhí)行，而不容易引起延遲等問題。
以下，用圖27和圖28對使用圖26的指令時的處理順序進行說明。
圖27是示出本實施方式中的圖像編碼方法的流程圖，示出圖5中示出的圖像編碼裝置100的動作。
在圖27中，首先，編碼圖像(步驟B0)。編碼之后檢查存儲器內(nèi)的不需要的區(qū)域(在以后的編碼中不參照的圖像)(步驟B1)，判定是否有不需要的存儲器區(qū)域(步驟B2)。若有不需要的存儲器區(qū)域(步驟B2的Yes)，就把釋放不需要的存儲器區(qū)域的指令作為在圖像信號的譯碼之后執(zhí)行的指令，將譯碼后用的存儲器管理信息進行編碼(步驟B3)，釋放該不需要的存儲器區(qū)域(步驟B4)。另一方面，在沒有不需要的存儲器區(qū)域的情況下(步驟B2的No)，就不進行步驟B3和步驟B4的動作。
接著，存儲器信息控制部101判定是否將附隨著之前已編碼的圖像(比編碼對象早的圖像)的編碼釋放不需要的存儲器區(qū)域的指令，作為存儲器管理信息進行編碼(步驟B30)。若沒編碼(步驟B30的No)， 就結(jié)束處理，若已編碼(步驟B30的Yes)，管理信息編碼部105就將釋放該不需要的存儲器區(qū)域的指令作為在圖像信號的譯碼之前執(zhí)行的指令，對譯碼前用的存儲器管理信息進行編碼(步驟B31)，結(jié)束處理。
再有，在步驟B30中，在釋放不需要的存儲器區(qū)域的指令附隨著緊前面已編碼的圖像的編碼信號被編碼了的情況下，就再次對指令進行編碼，但也可以不是附隨著緊前面的圖像的情況，而是附隨著幾個圖像以前的圖像的情況，并且，也可以反復(fù)編碼上述指令作為存儲器管理信息，附隨著多個圖像進行傳輸。
下面，用圖28和圖19，對譯碼已按照圖27的順序編碼了的數(shù)據(jù)進行譯碼的順序進行說明。
圖28是示出本實施方式中的圖像譯碼方法的流程圖，示出圖7中示出的圖像譯碼裝置200進行的動作。
在以下的說明中，在圖19中，假設(shè)圖26中示出的CodeA1的指令附隨著畫面編號12的畫面被進行了編碼，并且，使CodeA6的指令附隨著畫面編號11的畫面被進行了編碼。如在圖17中示出，就成為在畫面編號12的幀F(xiàn)rm12的幀標題Frm12Hdr上賦予CodeA1，在畫面編號11的幀F(xiàn)rm11的幀標題Frm11Hdr上賦予CodeA6。
再有，在圖像譯碼裝置中，只要指令不因傳輸線路錯誤而消失，就多次接收釋放存儲器內(nèi)的相同的圖像區(qū)域的指令。因此，必須使圖像譯碼裝置進行的圖像譯碼方法，在接收到再次釋放已經(jīng)釋放了的圖像的指令的情況下，也不當作錯誤來處理，而相反地，判斷為能正確地接收。
首先，對與畫面編號12的畫面有關(guān)的譯碼處理進行說明。
在圖28中，首先，譯碼畫面編號12的畫面的存儲器管理信息(步驟B5)，檢查該存儲器管理信息是否是譯碼前用的存儲器管理信息(步驟B7)。在此，由于該存儲器管理信息(CodeA1)是譯碼后用的存儲器管理信息(步驟B7的No)，因此畫面編號12的圖像信號被譯碼。然后，如上所述地，由于存儲器管理信息(CodeA1)是譯碼后用的存儲器管理信息(步驟B9的Yes)，因此釋放存儲器(步驟B11)，結(jié)束與畫面編號12的畫面的存儲器管理信息有關(guān)的處理。
另一方面，在存儲器管理信息的CodeA1遺漏了時，在步驟B7中，不判斷為是譯碼前用的存儲器管理信息(步驟B7的No)，此外，在步驟B9中也不判斷為是譯碼后用的存儲器管理信息(步驟B9的No)，而僅進行畫面編號12的圖像信號的譯碼(步驟B6)，結(jié)束與畫面編號12的存儲器管理信息有關(guān)的處理。
下面，用圖28對與畫面編號11的幀有關(guān)的譯碼處理進行說明。
首先，對畫面編號11的存儲器管理信息進行譯碼(步驟B5)，檢查該存儲器管理信息是否是譯碼前用的存儲器管理信息(步驟B7)。在此，由于CodeA6是譯碼前用的存儲器管理信息(步驟B7的Yes)，因此檢查存儲器是否已釋放完(步驟B8)。在畫面編號12的處理中，若正在執(zhí)行CodeA1，則由于存儲器已釋放完(步驟B8的Yes)，因此就不進行存儲器釋放處理(步驟B10)，而進行畫面編號11的圖像信號的譯碼(步驟B6)。然后，判定存儲器管理信息是否是譯碼后用的信息(步驟B9)，但由于CodeA6是譯碼前用的存儲器管理信息(步驟B9的No)，因此結(jié)束與畫面編號11的畫面的存儲器管理信息有關(guān)的處理。
但是，若因傳輸過程中的包的遺漏等而畫面編號12的存儲器管理信息遺漏，在與畫面編號12有關(guān)的處理中，沒進行存儲器釋放，則在與畫面編號11有關(guān)的處理中，判定為存儲器未釋放完(步驟B8的No)，在接著的步驟中，釋放存儲器(步驟B10)。在存儲器被釋放之后，畫面編號11的圖像信號被譯碼(步驟B6)。然后，由于CodeA6是譯碼前用的存儲器管理信息(步驟B9的No)，因此結(jié)束與畫面編號11的畫面的存儲器管理信息有關(guān)的處理。
如上所述，通過對重發(fā)部分比圖像信號的譯碼先執(zhí)行指令，即使最初發(fā)送的指令遺漏，也能減少指令執(zhí)行的滯后。
再有，作為具體例，對存儲器管理信息為CodeA1和CodeA6的情況進行了說明，但在使用CodeA2和CodeA7的情況下，也能用同樣的處理來實現(xiàn)，在使用CodeA3和CodeA8、CodeA4和CodeA9的情況下，也能用同樣的處理來實現(xiàn)。
此外，也可以設(shè)圖26中示出的初始化指令CodeA5為譯碼后用的存儲器管理信息，設(shè)圖22中示出的初始化重發(fā)指令CodeA6為譯碼前用的存儲器管理信息，將它們成對地使用。
此外，在對一個幀賦予了譯碼后用的存儲器管理信息和多個譯碼前用的存儲器管理信息作為標題信息的情況下，也可以比譯碼后用的存儲器管理信息先處理多個譯碼前用的存儲器管理信息。
即，也可以在圖17中示出的標題信息的前頭賦予譯碼前用的存儲器管理信息并進行編碼。
此外，也可以由圖29(a)和圖29(b)中示出的命令的組合，將存儲器管理信息是譯碼前用的管理信息還是譯碼后用的管理信息的內(nèi)容，作為另外的信息，實現(xiàn)上述實施方式中示出的指令。
圖29(a)是示出指令的內(nèi)容與附加信息的對應(yīng)圖。圖29(b)是示出指令的執(zhí)行定時(處理位置)的對應(yīng)圖。
圖30是示出編碼信號的標題信息中的存儲器管理信息的指令的模式圖。
在圖30中，幀F(xiàn)rmB的編碼信號具有幀標題FrmBHdr和MBa、MBb等幀數(shù)據(jù)等，幀標題FrmBHdr作為標題信息，具有代碼信息CodeD等。
這時，例如，如圖30所示，可以設(shè)幀F(xiàn)rmB的幀標題FrmBHdr從前到后為指令的代碼信息CodeD、表示處理位置的FlagD、表示指令的附加信息的附加信息AddD。在沒有附加信息的情況下，如圖30所示，可以在幀標題FrmBHdr上附加指令的CodeE和表示處理位置的FlagE。通過在示出指令的Code之后，不設(shè)置表示附加信息的Add，而設(shè)置表示處理位置的Flag，使圖28中示出的步驟B7和步驟B9的處理最優(yōu)化。
此外，為了區(qū)別指令的執(zhí)行定時是圖像信號的譯碼前和譯碼后的哪一個，也可以使用表示指令的處理位置的新指令，在譯碼之后實施位于比表示該處理位置的指令的幀標題上的位置靠前的指令，在譯碼之前實施位于比表示該處理位置的指令在幀標題上的位置靠后的指令。這樣，在有多個指令時，能用一個指令表示各指令的執(zhí)行定時(處理位置)，與對每一個指令發(fā)送表示處理位置的Flag的情況相比，發(fā)送的信息減少，編碼效率提高。
用圖31說明具體例。
圖31是示出其他的編碼信號的標題信息中的存儲器管理信息的指令的模式圖。
在圖31中，幀F(xiàn)rmC的編碼信號具有幀標題FrmCHdr和MBa、MBb等幀數(shù)據(jù)等，幀標題FrmCHdr作為標題信息，從前依次為指令CodeF、指令dif、指令CodeG、附加信息AddG、指令CodeH。
然后，判別表示處理位置的指令dif是否在幀標題FrmCHdr中，在幀F(xiàn)rmC的譯碼之后執(zhí)行位于比表示處理位置的指令dif靠前位置的指令CodeF，在幀F(xiàn)rmC的譯碼之前執(zhí)行位于比指令dif靠后位置的指令CodeG和指令CodeH也可以。該情況下，若沒有示出處理位置的指令dif，就在幀F(xiàn)rmC的譯碼處理之后執(zhí)行幀標題FrmCHdr內(nèi)的全部指令。
再者，如在上述各實施方式中說明的，在再次傳輸釋放成為不需要的存儲器區(qū)域的指令和初始化指令等存儲器管理信息時，也可以不包含在圖像的編碼信號中附加的標題信息中進行傳輸，而存儲器管理信息被包含的標題信息與圖像的編碼信號分開另外傳輸。即，重發(fā)的上述指令也可以不在與已編碼的畫面相同的流中，而例如作為另外的流進行傳輸。此外，也可以記錄在存儲媒體的另外的區(qū)域中。
(實施方式10)下面，對本發(fā)明的實施方式10進行說明。
在本實施方式中，進行編碼的單位與上述各實施方式不同。即，在上述實施方式1中，在多次傳輸釋放不需要的存儲器區(qū)域的指令時，所述的相當于上述指令的圖5中示出的存儲器管理信息流CtlStr和圖像編碼流VideoStr是按圖像(畫面)單位進行編碼的，但在本實施方式中，也可以象圖32中示出的流結(jié)構(gòu)，將一幀按片單位進行編碼。
所述按片單位進行編碼，是指對幀具有的每一個片編碼標題、存儲器管理信息流CtlStr、圖像編碼流VideoStr，以便使圖32的幀1的片1具有標題1-1、ctlStr1、VideoStr1-1，幀1的片2具有標題1-2、ctlStr1、VideoStr1-2。在圖像編碼裝置中進行編碼之后，圖像編碼裝置輸出數(shù)據(jù)流。再有，片是同步復(fù)位單位，是由一個或多個塊構(gòu)成的帶狀區(qū)域，由多個片構(gòu)成畫面。此外，畫面是對應(yīng)于一幅圖像的基本的編碼單位，塊是編碼和譯碼的基本單位。
此外，設(shè)如上所述地多次傳輸存儲器管理信息流CtlStr時的內(nèi)容在同一幀內(nèi)為同一信息。通過設(shè)為同一信息，能省略該存儲器管理信息流CtlStr的在片單位中的附加。例如，在片的標題中附加表示在該片中是否省略了多次傳輸?shù)男畔?，在該片中省略了多次傳輸上述指令的?nèi)容時，就附加“0”，在該片中傳輸了上述指令時(沒省略時)，就附加“1”。具體地在圖33(a)中示出一例，以下進行說明。從幀1中的片1到片3中的標題和圖像編碼流VideoStr各不相同。另一方面，在片1和片2中具有同一存儲器管理信息流CtlStr1，在同一幀中的多個片中，片1和片2分別具有表示編碼了同一存儲器管理信息流CtlStr1的內(nèi)容的信息“1”。此外，片3具有示出省略了存儲器管理信息流CtlStr1的信息“0”。這樣，在該片中省略了多次傳輸?shù)男畔r，前頭的片等參照表示為上述“1”的片中的存儲器管理信息流CtlStr，由此可以省略存儲器管理信息流CtlStr的附加，能減少位數(shù)。
即，表示省略了上述存儲器管理信息流CtlStr1的信息“0”，是在不具有指定信息的片(片3)中參照指定信息時，表示參照指定信息的信息。上述指定信息是指定進行消除的對象畫面的信息。
象這樣的能省略存儲器管理信息流CtlStr的附加的方法，由于在傳輸過程中存儲器管理信息流CtlStr多次遺漏的可能性少，因此很有效。
另外，在沒有表示省略了存儲器管理信息流CtlStr的信息的情況下能夠判別有無存儲器管理信息流CtlStr，也可以如圖33(b)所示，省略該信息。例如，在能區(qū)別存儲器管理信息流CtlStr的標頭與圖像編碼流VideoStr的標頭的情況下，如圖33(b)所示，能同判別從各片中的標頭到規(guī)定位置上是否有規(guī)定的信息，來確認是否有表示編碼存儲器管理信息流CtlStr1的信息化是否已被編碼。
象這樣的能省略存儲器管理信息流CtlStr的附加的方法，對削減編碼存儲器管理信息流CtlStr的次數(shù)、減少位數(shù)很有效。
以上，對編碼進行了說明，但可以同樣地按片單位進行一個幀的譯碼。在上述實施方式2中，在多次傳輸釋放不需要的存儲器區(qū)域的指令時，在圖7中示出的圖像譯碼裝置200中，分離相當于上述指令的圖32中示出的、具有管理信息流CtlStr和圖像編碼流VideoStr的流結(jié)構(gòu)，將其各自按圖像(畫面)單位進行輸入，但也可以分別按片單位進行輸入。
再有，在其他實施方式中的編碼和譯碼中，也可以同樣用片單位編碼和譯碼一個幀。
此外，上述實施方式1～10中示出的編碼方法和譯碼方法，可以利用LSI等半導(dǎo)體安裝在攜帶式電話、汽車駕駛導(dǎo)向系統(tǒng)系統(tǒng)等移動通信設(shè)備、數(shù)碼攝像機、數(shù)碼相機等攝影設(shè)備上。此外，作為安裝形式，除具有編碼器和譯碼器兩種的收發(fā)型終端之外，還可以考慮僅有編碼器的發(fā)送終端和僅有譯碼器的接收終端的三種形式。
(實施方式11)下面，對本發(fā)明的實施方式11進行說明。
在本實施方式中，另外，將用于實現(xiàn)從實施方式1到實施方式10中示出的圖像編碼方法或圖像譯碼方法的程序，記錄在軟盤等存儲媒體中，就能在獨立的計算機系統(tǒng)中簡單地實施在上述實施方式中示出的處理。
圖34是使用存儲了上述實施方式1的圖像編碼方法或圖像譯碼方法的軟盤，由計算機系統(tǒng)實施的情況的說明圖。
圖34(b)示出從軟盤的正面看的外觀、剖面結(jié)構(gòu)和軟盤，圖34(a)示出作為記錄媒體主體的軟盤的物理格式例。軟盤FD1內(nèi)裝在殼F內(nèi)，在該磁盤的表面，從外周向內(nèi)周以同心圓狀形成多個磁道Tr，各磁道在角度方向上分割為16個扇區(qū)Se。因此，在存儲了上述程序的軟盤中，在上述軟盤FD1上分割的區(qū)域中記錄著作為上述程序的圖像編碼方法。
此外，圖34(c)示出用于在軟盤FD1上進行上述程序的記錄播放的結(jié)構(gòu)。在軟盤FD1上記錄上述程序的情況下，從計算機系統(tǒng)Cs通過軟盤驅(qū)動器FDD，寫入作為上述程序的圖像編碼方法或圖像譯碼方法。此外，利用軟盤FD1內(nèi)的程序?qū)⑸鲜鰣D像編碼方法安裝到計算機系統(tǒng)中時，利用軟盤驅(qū)動器FDD從軟盤FD1中讀出程序，傳送到計算機系統(tǒng)Cs中。
再有，在上述說明中，使用軟盤作為記錄媒體進行了說明，但是，使用光盤也能同樣地進行。此外，記錄媒體不限于此，IC卡、盒式ROM等，只要能記錄程序的都能同樣地實施。
此外，上述實施方式中示出的圖像編碼方法和圖像譯碼方法，可以利用LSI等半導(dǎo)體安裝在攜帶式電話、汽車駕駛導(dǎo)向系統(tǒng)等移動通信設(shè)備或數(shù)字式錄像機、普通攝影機等攝影設(shè)備上。此外，作為安裝形式，可以考慮除具有編碼器和譯碼器的兩種的收發(fā)型終端之外，還可以是僅有編碼器的發(fā)送終端和僅有譯碼器的接收終端的三種形式。
在此，對從上述實施方式1到實施方式10中示出的圖像編碼方法和圖像譯碼方法的應(yīng)用例和使用了它的系統(tǒng)進行說明。
圖35是示出實現(xiàn)內(nèi)容發(fā)送服務(wù)的內(nèi)容供給系統(tǒng)ex100的整體結(jié)構(gòu)框圖。將通信服務(wù)的提供區(qū)域分割成期望的大小，在各單元內(nèi)分別設(shè)置作為固定無線局的基站ex107～ex110。
該內(nèi)容供給系統(tǒng)ex100例如通過因特網(wǎng)服務(wù)提供商ex102和電話網(wǎng)ex104及基站ex107～ex110，與因特網(wǎng)ex101連接計算機ex111、PDA(personaldigital assistant即，個人數(shù)字化處理器)ex112、攝影機ex113、攜帶式電話ex114、帶攝影機的攜帶式電話ex115等各設(shè)備。
但是，內(nèi)容供給系統(tǒng)ex100不限定于如圖35中的組合，也可以組合其中某一個來連接。此外，也可以不通過固定無線局即基站ex107～ex110，而在電話網(wǎng)ex104上直接連接各設(shè)備。
攝影機ex113是數(shù)字式錄像機等能拍攝動畫的設(shè)備。此外，攜帶式電話是PDC(Personal Digital Communications即，個人數(shù)字化通信)方式、CDMA(Code Division Multiple Access即，碼分多路訪問)方式、W-CDMA(Wideband-Code Division Multiple Access即，寬帶碼分多路訪問)方式、或GSM(Global System for Mobile Communications即，全球移動通信系統(tǒng))方式的攜帶式電話機，或者PHS(Personal Handyphone System即，個人手持電話系統(tǒng))等，哪一種都可以。
此外，流服務(wù)器ex103從攝影機ex113通過基站ex109和電話網(wǎng)ex104進行連接，能使用攝影機ex113來進行基于用戶發(fā)送的已編碼處理的數(shù)據(jù)的實況發(fā)信等。拍攝到的數(shù)據(jù)的編碼處理可以用攝影機ex113進行，也可以用進行數(shù)據(jù)的發(fā)送處理的服務(wù)器等進行。此外，也可以通過計算機ex111向流服務(wù)器ex103發(fā)送用攝影機ex116拍攝到的動畫數(shù)據(jù)。攝影機ex116是數(shù)字式攝影機等可攝影靜止畫面和動畫的設(shè)備。該情況下，動畫數(shù)據(jù)的編碼即可以用攝影機ex116進行，也可以用計算機ex111進行。此外，編碼處理是在計算機ex111和攝影機ex116所具有的LSIex117中進行處理。再有，也可以將圖像編碼和譯碼用的軟件裝在能用計算機ex111等讀取的記錄媒體的任一種存儲媒體(CD-ROM、軟盤、硬盤等)中。另外，也可以用帶攝影機的攜帶式電話ex115發(fā)送動畫數(shù)據(jù)。這時的動畫數(shù)據(jù)是用攜帶式電話ex115所具有的LSI進行編碼處理后的數(shù)據(jù)。
在該內(nèi)容供給系統(tǒng)ex100中，一方面，與上述實施方式同樣地對用戶用攝影機ex113和攝影機(camera)ex116等拍攝的內(nèi)容(例如，攝影了音樂實況的影像等)進行編碼處理，并向流服務(wù)器ex103發(fā)送，另一方面，流服務(wù)器ex103對有請求的客戶終端流發(fā)送上述內(nèi)容數(shù)據(jù)。作為客戶終端，有能進行對上述已編碼處理的數(shù)據(jù)進行譯碼的計算機ex111、PDAex112、攝影機ex113、攜帶式電話ex114等。通過這樣做，內(nèi)容供給系統(tǒng)ex100能在客戶終端接收已編碼的數(shù)據(jù)并進行播放，另外，能在客戶終端實時地接收、譯碼、播放，因此是能實現(xiàn)個人廣播的系統(tǒng)。
在構(gòu)成該系統(tǒng)的各設(shè)備的編碼和譯碼中，也可以使用在上述各實施方式中示出的圖像編碼方法或圖像譯碼方法。
作為一例，對攜帶式電話進行說明。
圖36是示出使用了在上述實施方式中說明了的圖像編碼方法和圖像譯碼方法的攜帶式電話ex115的圖。攜帶式電話ex115具有下列部分用于與基站ex110之間收發(fā)電波的天線ex201；CCD攝影機等能拍攝影像和靜止畫面的攝影機部ex203；液晶顯示器等顯示部ex202，顯示用攝影機部ex203攝影到的影像和用天線ex201接收到的影像等被譯碼了的數(shù)據(jù)；由操作鍵ex204群構(gòu)成的主體部；用于進行聲音輸出的揚聲器等聲音輸出部ex208；用于進行聲音輸入的話筒等聲音輸入部ex205；記錄媒體ex207，用于保存攝影到的動畫或靜止畫面數(shù)據(jù)、接收到的郵件數(shù)據(jù)、動畫數(shù)據(jù)或靜止圖像數(shù)據(jù)等已編碼的數(shù)據(jù)或已譯碼的數(shù)據(jù)；用于能在攜帶式電話ex115中裝入記錄媒體ex207的卡槽部ex206。記錄媒體ex207是SD卡等在塑料殼體內(nèi)電氣地裝入能改寫和擦除的不易失存儲器即EEPROM(Electronically Erasable and ProgrammableRead Only Memory即，電可擦可編程只讀存儲器)的快閃存儲器元件的裝置。
另外，用圖37對攜帶式電話ex115進行說明。攜帶式電話ex115對主控制部ex311，通過同步總線ex313，相互連接著電源電路部ex310、操作輸入控制部ex304、圖像編碼部ex312、攝影機接口部ex303、LCD(Liquid CrystalDisplay即，液晶顯示器)控制部ex302、圖像譯碼部ex309、多重分離部ex308、記錄播放部ex307、調(diào)制解調(diào)電路部ex306和聲音處理部ex305。主控制部ex311對包括顯示部ex202和操作鍵ex204的主體部的各部分進行統(tǒng)一控制。
電源電路部ex310若由用戶操作成通話結(jié)束和電源鍵處于開通狀態(tài)，則通過由電源向各部分供給電力，來啟動帶攝影機的數(shù)字攜帶式電話ex115使其處于可工作的狀態(tài)。
攜帶式電話ex115基于由CPU、ROM和RAM等構(gòu)成的主控制部ex311的控制，在聲音通話模式時，利用聲音處理部ex305將用聲音輸入部ex205集音到的聲音信號轉(zhuǎn)換成數(shù)字聲音數(shù)據(jù)，將其用調(diào)制解調(diào)電路部ex306進行頻譜擴散處理，在由收發(fā)信電路部ex301實施了數(shù)字模擬轉(zhuǎn)換處理和頻率變換處理之后，通過天線ex201發(fā)送。此外，攜帶式電話機ex115在聲音通話模式時，放大由天線ex201接收到的接收數(shù)據(jù)，并對所述接收的數(shù)據(jù)實施頻率變換處理和模擬數(shù)字轉(zhuǎn)換處理，用調(diào)制解調(diào)電路部ex306進行頻譜逆擴散處理，并用聲音處理部ex305轉(zhuǎn)換成模擬聲音數(shù)據(jù)之后，將其通過聲音輸出部ex208輸出。
另外，在數(shù)據(jù)通信模式時發(fā)送電子郵件的情況下，由主體部的操作鍵ex204的操作輸入的電子郵件的文本數(shù)據(jù)，通過操作輸入控制部ex304向主控制部ex311發(fā)送。主控制部ex311用調(diào)制解調(diào)部ex306對文本數(shù)據(jù)進行頻譜擴散處理，在用收發(fā)信電路部ex301實施了數(shù)字模擬轉(zhuǎn)換處理和頻率變換處理之后，通過天線ex201，向基站ex110發(fā)送。
在數(shù)據(jù)通信模式時發(fā)送圖像數(shù)據(jù)的情況下，通過攝影機接口部ex303，向圖像編碼部ex312供給用攝影機部ex203拍攝到的圖像數(shù)據(jù)。此外，在不發(fā)送圖像數(shù)據(jù)的情況下，也可以通過攝影機接口部ex303和LCD控制部ex302，在顯示部ex202直接顯示用攝影機部ex203攝像到的圖像數(shù)據(jù)。
圖像編碼部ex312的結(jié)構(gòu)具有已在本申請中說明了的圖像編碼裝置，利用在上述實施方式示出的圖像編碼裝置中使用的編碼方法，將由攝影機部ex203供給的圖像數(shù)據(jù)進行壓縮編碼，轉(zhuǎn)換成編碼圖像數(shù)據(jù)，將其向多重分離部ex308發(fā)送。此外，與此同時，攜帶式電話機ex115將由攝影機部ex203在攝像中利用聲音輸入部ex205集音到的聲音作為數(shù)字聲音數(shù)據(jù)，通過聲音處理部ex305向多重分離部ex308送出。
多重分離部ex308用規(guī)定的方式，將由圖像編碼部ex312供給的編碼圖像數(shù)據(jù)和由聲音處理部ex305供給的聲音數(shù)據(jù)進行多重化，由調(diào)制解調(diào)電路部ex306對其結(jié)果得到的多重數(shù)據(jù)進行頻譜擴散處理，在由收發(fā)信電路部ex301實施了數(shù)字模擬轉(zhuǎn)換處理和頻率變換處理之后，通過天線ex201發(fā)送。
在數(shù)據(jù)通信模式時接收與首頁鏈接的動畫圖像文件數(shù)據(jù)的情況下，用調(diào)制解調(diào)電路部ex306對通過天線ex201從基站ex110接收到的接收數(shù)據(jù)頻譜逆擴散處理，將其結(jié)果得到的多重化數(shù)據(jù)向多重分離部ex308發(fā)送。
此外，為對通過天線ex201接收到的多重數(shù)據(jù)進行編碼，多重分離部ex308通過分離多重化數(shù)據(jù)，分成圖像數(shù)據(jù)位流和聲音數(shù)據(jù)位流，通過同步總線ex313向圖像譯碼部ex309供給該編碼圖像數(shù)據(jù)的，并向聲音處理部ex305供給該聲音數(shù)據(jù)。
接著，圖像譯碼部ex309的結(jié)構(gòu)具有已在本申請發(fā)明中說明了的圖像譯碼裝置，通過用對應(yīng)于上述實施方式中示出的編碼方法的譯碼方法，對圖像數(shù)據(jù)的位流進行譯碼，生成播放動畫圖像數(shù)據(jù)，將其通過LCD控制部ex302向顯示部ex202供給，這樣，顯示例如與首頁鏈接的動畫圖像文件中包含的動畫數(shù)據(jù)。與此同時，聲音處理部ex305在將聲音數(shù)據(jù)轉(zhuǎn)換成模擬聲音數(shù)據(jù)之后，向聲音輸出部ex208供給，這樣，播放例如與首頁鏈接的動畫圖像文件中包含的聲音數(shù)據(jù)。
再有，不限于上述系統(tǒng)的例子，最近，利用衛(wèi)星和地面波進行的數(shù)字廣播成為熱門話題，如圖38所示，也可以在數(shù)字廣播用系統(tǒng)中組合至少一種上述實施方式的圖像編碼裝置或圖像譯碼裝置。具體地說，在廣播電臺ex409中，通過電波向通信或廣播衛(wèi)星ex410傳輸影像信息的位流。接收到該位流的廣播衛(wèi)星ex410，發(fā)送廣播用電波，由具有衛(wèi)星廣播接收設(shè)備的家庭天線ex406接收該電波，由電視機(接收機)ex401或機頂盒設(shè)備(STB)ex407等裝置將位流進行譯碼并播放。此外，也可以在將記錄在記錄媒體CD和DVD等存儲媒體ex402上的位流進行讀取并播放的裝置ex403上，安裝上述實施方式中示出的圖像譯碼裝置。該情況下，在監(jiān)視器ex404上顯示播放的影像信號。此外，也可以考慮在與有線電視用的電纜ex405或衛(wèi)星/地面波廣播的天線ex406連接的機頂盒設(shè)備ex407內(nèi)安裝圖像譯碼裝置，用電視機的監(jiān)視器ex408進行播放的結(jié)構(gòu)。這時，不僅在機頂盒設(shè)備，也可以在電視機內(nèi)裝入圖像譯碼裝置。此外，也可以用具有天線ex411的車ex412從衛(wèi)星ex410或基站ex107等接收信號，在車ex412所具有的汽車駕駛導(dǎo)向系統(tǒng)ex413等顯示裝置中播放動畫。
另外，也可以用上述實施方式中示出的圖像編碼裝置將圖像信號進行編碼，并記錄在記錄媒體中。作為具體例，有在DVD盤ex421中記錄圖像信號的DVD記錄器和在硬盤中記錄的盤式記錄器等的記錄器ex420。另外，也可以記錄在SD卡ex422中。若記錄器ex420具有上述實施方式中示出的圖像譯碼裝置，則能播放記錄在DVD盤ex421和SD卡ex422中的圖像信號，用監(jiān)視器ex408顯示。
再有，汽車駕駛導(dǎo)向系統(tǒng)ex413的結(jié)構(gòu)可以是例如在圖37中示出的結(jié)構(gòu)中除去攝影機部ex203和攝影機接口部ex303、圖像編碼部ex312的結(jié)構(gòu)，可以考慮用計算機ex111和電視機(接收機)ex401等代替所述去除的部分。
此外，上述攜帶式電話ex114等終端可以是除具有編碼器和譯碼器兩種的收發(fā)型終端之外，還可以是僅有編碼器的發(fā)送終端和僅有譯碼器的接收終端的三種安裝形式。
如上，就能在上述的某一個設(shè)備和系統(tǒng)中使用上述實施方式中示出的圖像編碼方法或圖像譯碼方法，通過使用本發(fā)明，能得到上述實施方式中說明的效果。
本發(fā)明不僅限定于上述實施方式，可以在不脫離本發(fā)明的范圍內(nèi)作各種各樣的變形和修正。
工業(yè)上利用的可能性本發(fā)明的圖像編碼裝置作為在具有通信功能的個人計算機、PDA、數(shù)字廣播的廣播電臺和攜帶式電話機等中具有的圖像編碼裝置，非常有用。
此外，本發(fā)明的圖像譯碼裝置作為在具有通信功能的個人計算機、PDA、接收數(shù)字廣播的STB和攜帶式電話機等中具有的圖像譯碼裝置，非常有用。
權(quán)利要求
1.一種圖像編碼方法，參照從存儲器內(nèi)保存著的多個參照畫面中選擇的參照畫面進行編碼，其特征在于，包括下述步驟畫面編碼步驟，參照上述選擇了的參照畫面，對編碼對象畫面進行編碼；管理信息編碼步驟，將用于對上述存儲器中保存著的參照畫面進行控制管理的存儲器管理信息，附隨上述已被編碼的編碼對象畫面進行編碼；管理信息再編碼步驟，與上述管理信息編碼步驟中的編碼分開地、對上述存儲器管理信息再次進行編碼。
2.如權(quán)利要求1所述的圖像編碼方法，其特征在于，在上述管理信息再編碼步驟中，使確定在上述管理信息編碼步驟中使存儲器管理信息附隨的上述編碼對象畫面的信息，附隨上述已再次被編碼的存儲器管理信息。
3.如權(quán)利要求1或權(quán)利要求2所述的圖像編碼方法，其特征在于，在上述管理信息再編碼步驟中，反復(fù)進行上述存儲器管理信息的編碼。
4.如權(quán)利要求1至3的任一項所述的圖像編碼方法，其特征在于，上述存儲器管理信息是指定上述存儲器中成為不需要而釋放的存儲器區(qū)域的信息。
5.如權(quán)利要求1至3的任一項所述的圖像編碼方法，其特征在于，上述存儲器包括參照畫面的保存時間短的短時間保存存儲器、和參照畫面的保存時間比上述短時間保存存儲器長的長時間保存存儲器，上述存儲器管理信息是指定從上述短時間保存存儲器向上述長時間保存存儲器移動的對象的參照畫面的信息。
6.如權(quán)利要求1至5的任一項所述的圖像編碼方法，其特征在于，在上述管理信息再編碼步驟中，附隨著至少一個其他的編碼對象畫面，對上述存儲器管理信息再次進行編碼，所述其他的編碼對象畫面與在上述管理信息編碼步驟中使上述存儲器管理信息附隨的編碼對象畫面不同。
7.如權(quán)利要求6所述的圖像編碼方法，其特征在于，在上述管理信息編碼步驟中，使上述存儲器管理信息附隨著不保存在上述存儲器中的編碼對象畫面的情況下，在上述管理信息再編碼步驟中，使上述存儲器管理信息還附隨保存在上述存儲器中的編碼對象畫面。
8.一種圖像譯碼方法，參照從存儲器內(nèi)保存著的多個參照畫面中選擇的參照畫面進行譯碼，其特征在于，在對用于控制管理上述存儲器中保存著的參照畫面的存儲器管理信息進行譯碼，并根據(jù)已譯碼的存儲器管理信息釋放上述存儲器中成為不需要的存儲器區(qū)域的情況下，若進行釋放的存儲器區(qū)域沒釋放完，則釋放存儲器區(qū)域；若進行釋放的存儲器區(qū)域已經(jīng)釋放完，則不對上述存儲器做任何處理。
9.一種圖像譯碼方法，參照從存儲器內(nèi)保存著的多個參照畫面中選擇的參照畫面進行譯碼，其特征在于，上述存儲器包括參照畫面的保存時間短的短時間保存存儲器、和參照畫面的保存時間比上述短時間保存存儲器長的長時間保存存儲器，上述圖像譯碼方法中，在對用于控制管理上述存儲器中保存著的參照畫面的存儲器管理信息進行譯碼，并根據(jù)已譯碼的存儲器管理信息，將上述存儲器內(nèi)保存著的參照畫面從上述短時間保存存儲器向上述長時間保存存儲器移動的情況下，若移動對象的參照畫面存在于上述短時間保存存儲器中，則將該參照畫面從上述短時間保存存儲器向上述長時間保存存儲器移動；若移動對象的參照畫面不存在于上述短時間保存存儲器中，則不進行上述存儲器內(nèi)的移動。
10.一種圖像編碼方法，參照從存儲器內(nèi)保存著的多個參照畫面中選擇的參照畫面進行編碼，其特征在于，將重要度比編碼對象畫面高的、上述存儲器內(nèi)保存著的參照畫面，作為參照畫面的候補進行編碼。
11.一種記錄媒體，記錄了參照參照畫面進行了編碼的數(shù)據(jù)流，所述參照畫面是從存儲器內(nèi)保存著的多個參照畫面中選擇的，其特征在于，所記錄的數(shù)據(jù)流包括參照上述已選擇的參照畫面，對編碼對象畫面進行了編碼的編碼數(shù)據(jù)；將用于控制管理上述存儲器中保存著的參照畫面的存儲器管理信息，附隨著上述已被編碼的編碼數(shù)據(jù)進行了編碼的管理信息編碼數(shù)據(jù)；與上述管理信息編碼數(shù)據(jù)分開地、再次對上述存儲器管理信息進行了編碼的管理信息再編碼數(shù)據(jù)。
12.一種記錄媒體，記錄了參照從存儲器內(nèi)保存著的多個參照畫面中選擇的參照畫面進行了編碼的數(shù)據(jù)流，其特征在于，所記錄的數(shù)據(jù)流包括與最初附隨著編碼對象畫面被編碼了的存儲器管理信息分開地、上述存儲器管理信息再次被編碼了的管理信息再編碼數(shù)據(jù)，所述編碼對象畫面是參照上述選擇的參照畫面進行了編碼的畫面。
13.如權(quán)利要求12所述的記錄了數(shù)據(jù)流的記錄媒體，其特征在于，在上述管理信息再編碼數(shù)據(jù)上，附隨著確定上述已被編碼的編碼對象畫面的信息。
14.一種圖像編碼裝置，參照從存儲器內(nèi)保存著的多個參照畫面中選擇的參照畫面進行編碼，其特征在于，包括下述單元畫面編碼單元，參照上述選擇了的參照畫面對編碼對象畫面進行編碼；管理信息編碼單元，將用于控制管理上述存儲器中保存著的參照畫面的存儲器管理信息，附隨著上述已被編碼的編碼對象畫面進行編碼；管理信息再編碼單元，與上述管理信息編碼單元進行的編碼分開地、再次對上述存儲器管理信息進行編碼。
15.如權(quán)利要求14所述的圖像編碼裝置，其特征在于，上述管理信息再編碼單元，使確定上述管理信息編碼單元使存儲器管理信息附隨的上述編碼對象畫面的信息，附隨上述已再次被編碼的存儲器管理信息。
16.如權(quán)利要求14或權(quán)利要求15所述的圖像編碼裝置，其特征在于，上述存儲器管理信息是指定上述存儲器中成為不需要而釋放的存儲器區(qū)域的信息。
17.如權(quán)利要求14或權(quán)利要求15所述的圖像編碼裝置，其特征在于，上述存儲器包括參照畫面的保存時間短的短時間保存存儲器、和參照畫面的保存時間比上述短時間保存存儲器長的長時間保存存儲器，上述存儲器管理信息是指定從上述短時間保存存儲器向上述長時間保存存儲器移動的對象的參照畫面的信息。
18.如權(quán)利要求14至17的任一項所述的圖像編碼裝置，其特征在于，上述管理信息再編碼單元，附隨著至少一個其他的編碼對象畫面，對上述存儲器管理信息再次進行編碼，所述其他的編碼對象畫面與上述管理信息編碼單元使上述存儲器管理信息附隨的編碼對象畫面不同。
19.一種圖像譯碼裝置，參照從存儲器內(nèi)保存著的多個參照畫面中選擇的參照畫面進行譯碼，其特征在于，包括下述單元管理信息譯碼單元，對存儲器管理信息進行譯碼，所述存儲器管理信息用于對上述存儲器中保存著的參照畫面進行控制管理；存儲器管理信息控制單元，在根據(jù)上述管理信息譯碼單元譯碼了的存儲器管理信息，釋放上述存儲器的存儲器區(qū)域的情況下，若進行釋放的存儲器區(qū)域沒釋放完，則釋放存儲器區(qū)域；若進行釋放的存儲器區(qū)域已經(jīng)釋放完，則不對上述存儲器做任何處理。
20.一種圖像譯碼裝置，參照從存儲器內(nèi)保存著的多個參照畫面中選擇的參照畫面進行譯碼，所述存儲器包括畫面的保存時間短的短時間保存存儲器、和圖像的保存時間比上述短時間保存存儲器長的長時間保存存儲器，其特征在于，包括下述單元管理信息譯碼單元，對存儲器管理信息進行譯碼，所述存儲器管理信息用于對上述存儲器中保存著的畫面進行控制管理；存儲器管理信息控制單元，若移動對象的參照畫面存在于存儲器中，則將該參照畫面從上述短時間保存存儲器向上述長時間保存存儲器移動；若移動對象的參照畫面不存在于存儲器中，則不對上述存儲器進行任何處理，所述移動對象是上述管理信息譯碼單元譯碼了的存儲器管理信息所指定的、將上述存儲器內(nèi)保存著的畫面從上述短時間保存存儲器向上述長時間保存存儲器移動的對象。
21.一種圖像編碼裝置，參照從存儲器內(nèi)保存著的多個參照畫面中選擇的參照畫面進行編碼，其特征在于，包括這樣的編碼單元將重要度比編碼對象畫面高的、上述存儲器內(nèi)保存著的參照畫面，作為參照畫面的候補進行編碼。
22.一種程序，用于利用計算機執(zhí)行這樣的圖像編碼方法參照從存儲器內(nèi)保存著的多個參照畫面中選擇的參照畫面進行編碼，其特征在于，在計算機中執(zhí)行下述步驟畫面編碼步驟，參照上述已選擇的參照畫面，對編碼對象畫面進行編碼；管理信息編碼步驟，將用于對上述存儲器中保存著的參照畫面進行控制管理的存儲器管理信息，附隨著上述已被編碼的編碼對象畫面進行編碼；管理信息再編碼步驟，與上述管理信息編碼步驟中的編碼分開地、再次對上述存儲器管理信息進行編碼。
23.如權(quán)利要求22所述的程序，其特征在于，上述管理信息編碼步驟中的上述存儲器管理信息，是指定上述存儲器中成為不需要而被釋放的存儲器區(qū)域的信息。
24.如權(quán)利要求22所述的程序，其特征在于，上述存儲器包括參照畫面的保存時間短的短時間保存存儲器、和參照畫面的保存時間比上述短時間保存存儲器長的長時間保存存儲器，上述存儲器管理信息是指定從上述短時間保存存儲器向上述長時間保存存儲器移動的對象的參照畫面的信息。
25.一種程序，用于利用計算機執(zhí)行這樣的圖像譯碼方法參照從存儲器內(nèi)保存著的多個參照畫面中選擇的參照畫面進行譯碼，其特征在于，在計算機中執(zhí)行下述步驟在對用于控制管理上述存儲器中保存著的參照畫面的存儲器管理信息進行譯碼，并根據(jù)已譯碼的存儲器管理信息，釋放上述存儲器中成為不需要的存儲器區(qū)域的情況下，若進行釋放的存儲器區(qū)域沒釋放完，則釋放存儲器區(qū)域；若進行釋放的存儲器區(qū)域已經(jīng)釋放完，則不對上述存儲器做任何處理。
26.一種程序，用于利用計算機執(zhí)行這樣的圖像譯碼方法參照從存儲器內(nèi)保存著的多個參照畫面中選擇的參照畫面進行譯碼，其特征在于，上述存儲器包括參照畫面的保存時間短的短時間保存存儲器、和參照畫面的保存時間比上述短時間保存存儲器長的長時間保存存儲器，在計算機中執(zhí)行這樣的上述圖像譯碼方法的步驟在對用于控制管理上述存儲器中保存著的參照畫面的存儲器管理信息進行譯碼，并根據(jù)已譯碼的存儲器管理信息，將上述存儲器內(nèi)保存著的參照畫面從上述短時間保存存儲器向上述長時間保存存儲器移動的情況下，若移動對象的參照畫面存在于上述短時間保存存儲器中，則將該參照畫面從上述短時間保存存儲器向上述長時間保存存儲器移動；若移動對象的參照畫面不存在于上述短時間保存存儲器中，則不進行上述存儲器內(nèi)的移動。
27.一種程序，用于利用計算機執(zhí)行這樣的圖像譯碼方法參照從存儲器內(nèi)保存著的多個參照畫面中選擇的參照畫面進行譯碼，其特征在于，在計算機中執(zhí)行這樣的步驟將重要度比編碼對象畫面高的、上述存儲器內(nèi)保存著的參照畫面，作為參照畫面的候補進行編碼。
28.一種圖像編碼方法，其特征在于，包括下述步驟對編碼對象畫面進行編碼的步驟；在對上述編碼對象畫面進行編碼之后，判斷存儲器內(nèi)是否有不被參照的參照畫面的步驟；若有上述不被參照的參照畫面，則作為將因不被參照而成為不需要的存儲器區(qū)域進行釋放的指令，在對編碼數(shù)據(jù)進行譯碼的譯碼裝置中對上述編碼對象畫面進行譯碼之后，對表示釋放上述成為不需要的存儲器區(qū)域的指令進行編碼的步驟；釋放上述成為不需要的存儲器區(qū)域的步驟；在對比上述編碼對象畫面晚被編碼的另外的編碼對象畫面進行編碼時，在對上述另外的編碼對象畫面進行譯碼之前，對表示釋放上述成為不需要的存儲器區(qū)域的指令進行編碼的步驟。
29.一種圖像譯碼方法，其特征在于，包括下述步驟對附隨著譯碼對象畫面的、管理存儲器的存儲器管理信息進行譯碼的步驟；第一判斷步驟，判斷上述存儲器管理信息是否是譯碼前用指令，該譯碼前用指令表示在對上述譯碼對象畫面進行譯碼之前進行管理存儲器的處理；第二判斷步驟，在上述第一判斷步驟中判斷為上述存儲器管理信息是上述譯碼前用指令時，判斷管理存儲器的處理是否已完；在上述第二判斷步驟中判斷為管理存儲器的處理已完時，對上述譯碼對象畫面進行譯碼；在上述第二判斷步驟中判斷為管理存儲器的處理還沒完時，在根據(jù)上述存儲器管理信息進行了管理存儲器的處理之后，對上述譯碼對象畫面進行譯碼的步驟。
30.一種圖像譯碼方法，其特征在于，包括下述步驟對附隨著譯碼對象畫面的、管理存儲器的存儲器管理信息進行譯碼的步驟；第一判斷步驟，判斷上述存儲器管理信息是否是譯碼前用指令，該譯碼前用指令表示在對上述譯碼對象畫面進行譯碼之前進行管理存儲器的處理；譯碼步驟，對上述譯碼對象畫面進行譯碼；第三判斷步驟，在上述第一判斷步驟中判斷為上述存儲器管理信息不是上述譯碼前用指令時，判斷上述存儲器管理信息是否是譯碼后用指令，該譯碼后用指令表示在對譯碼對象畫面進行了譯碼之后進行管理存儲器的處理；在上述第三判斷步驟中判斷為上述存儲器管理信息是上述譯碼后用指令時，根據(jù)上述存儲器管理信息進行管理存儲器的處理的步驟。
31.一種圖像編碼方法，其特征在于，包括下述步驟對編碼對象畫面進行編碼的步驟；判斷步驟，在對上述編碼對象畫面進行了編碼之后，判斷在存儲器內(nèi)的參照畫面是否全部是不被參照的畫面；在上述判斷步驟中判斷為在上述存儲器內(nèi)的參照畫面全部是不被參照的畫面時，對作為將在上述存儲器內(nèi)的參照畫面全部刪除的命令的、初始化指令進行編碼的步驟；將在上述存儲器內(nèi)的參照畫面全部刪除的初始化步驟；在對比上述編碼對象畫面晚被編碼的另外的編碼對象畫面進行編碼時，根據(jù)附加信息，對初始化重發(fā)指令進行編碼的步驟，所述附加信息將上述編碼對象畫面的編碼時被刪除的、比上述編碼對象畫面先保存在上述存儲器內(nèi)的全部參照畫面作為刪除對象，所述初始化重發(fā)指令是表示刪除在存儲器內(nèi)的參照畫面的命令。
32.一種圖像譯碼方法，其特征在于，包括下述步驟對附隨著譯碼對象畫面的、管理存儲器的存儲器管理信息進行譯碼的步驟；對上述譯碼對象畫面進行譯碼的步驟；初始化判斷步驟，判斷在上述存儲器管理信息中是否有初始化指令，初始化指令是將在存儲器內(nèi)的參照畫面全部刪除的命令；在上述初始化判斷步驟中沒有判斷到上述存儲器管理信息中有上述初始化指令時，初始化重發(fā)判斷步驟，為了刪除參照畫面，而根據(jù)表示刪除對象的附加信息，判斷在上述存儲器管理信息中是否有刪除在存儲器內(nèi)的參照畫面的命令即初始化重發(fā)指令，所述要刪除的參照畫面是應(yīng)該在對比上述譯碼對象畫面先被譯碼了的另外的譯碼對象畫面進行譯碼時進行初始化并刪除的、比上述另外的譯碼對象畫面先保存在上述存儲器中的參照畫面；初始化完了判斷步驟，在上述初始化重發(fā)判斷步驟中判斷為上述存儲器管理信息是上述初始化重發(fā)指令時，判斷在存儲器內(nèi)的參照畫面是否已被全部刪除；刪除步驟，在上述初始化完了判斷步驟中判斷為在存儲器內(nèi)的參照畫面未被全部刪除時，根據(jù)上述附加信息刪除在存儲器內(nèi)的參照畫面。
33.如權(quán)利要求32所述的圖像譯碼方法，其特征在于，上述存儲器具有作為先入先出存儲器的短時間保存存儲器、和用于比短時間保存存儲器長時間保存參照畫面的長時間保存存儲器，在上述刪除步驟中進一步設(shè)定上述長時間保存存儲器的大小(size)為0。
34.一種記錄媒體，記錄了參照參照畫面按片單位進行了編碼的數(shù)據(jù)流，所述參照畫面是從存儲器內(nèi)保存著的多個參照畫面中選擇的，其特征在于，記錄了這樣的數(shù)據(jù)流在從存儲器中消除上述存儲器內(nèi)保存著的參照畫面的情況下，將指定消除對象的參照畫面的信息，至少附隨著兩個片進行了編碼的數(shù)據(jù)流。
35.一種記錄媒體，記錄了參照參照畫面按片單位進行了編碼的數(shù)據(jù)流，所述參照畫面是從存儲器內(nèi)保存著的多個參照畫面中選擇的，其特征在于，記錄了這樣的數(shù)據(jù)流在從存儲器中消除上述存儲器內(nèi)保存著的參照畫面的情況下，將指定消除對象的參照畫面的信息，至少附隨著兩個片進行編碼；并且，將表示上述片具有指定上述消除對象的參照畫面的信息的情況的信息，附隨著上述片進行編碼；在不具有指定上述消除對象的參照畫面的信息的片中，參照指定上述消除對象的參照畫面的信息時，對表示參照指定上述消除對象的參照畫面的情況的信息進行了編碼的數(shù)據(jù)流。
全文摘要
一種圖像編碼方法，包括下列步驟進行圖像的編碼的步驟(步驟100)；判定是否有不需要的存儲器的步驟(步驟102)；在有不需要的存儲器的情況下，對釋放不需要的存儲器的存儲器管理信息進行編碼的步驟(步驟103)；釋放不需要的存儲器的步驟(步驟104)；判斷在緊前面的圖像的編碼中釋放不需要的存儲器的存儲器管理信息是否已被編碼的步驟(步驟105)；在存儲器管理信息已被編碼的情況下，再次對釋放不需要的存儲器的存儲器管理信息進行編碼的步驟(步驟106)。
文檔編號H04N7/64GK1509575SQ0380023
公開日2004年6月30日 申請日期2003年4月10日 優(yōu)先權(quán)日2002年4月12日
發(fā)明者角野真也, 志, 近藤敏志, 史, 羽飼誠, 安倍清史 申請人:松下電器產(chǎn)業(yè)株式會社