專利名稱：發(fā)送和接收動態(tài)圖像數(shù)據(jù)的方法及其設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種音頻-視頻發(fā)送機和音頻-視頻接收機、數(shù)據(jù)處理設(shè)備和方法、波形數(shù)據(jù)發(fā)送方法和設(shè)備和波形數(shù)據(jù)接收方法和設(shè)備以及視頻發(fā)送方法和設(shè)備和視頻接收方法和設(shè)備。
背景技術(shù)：
已有一種設(shè)備，它滿足了感覺到你面前出現(xiàn)的對方圖像實際存在的要求，其目的在于進行現(xiàn)實圖像通信，這是通過從例如有你本人的風景圖像中提取出某人的圖像，然后，將此人的圖像(即對方發(fā)送來的某人的圖像)和要與預先存儲的對方圖像一起顯示的虛擬空間圖像相互疊加，并加以顯示來實現(xiàn)的(日本專利申請No.4-24914)。
具體地說，在已有技術(shù)的情況下，已有了涉及加速圖像合成和減小存儲器的方法的一些發(fā)明(例如日本專利公開No.5-46592的官方公報圖像合成器)。
雖然已有技術(shù)已提出了利用圖像合成對兩維靜止圖像或三維CG數(shù)據(jù)進行合成的通信系統(tǒng)，但從下面的觀點來看，同時合成多幅圖像和多路聲音并進行顯示的系統(tǒng)，其實現(xiàn)方法還沒有進行具體討論。
即，從下面列舉的方法來看，存在沒有具體討論的問題。
(A1)一種方法，它利用在一條或多條實際傳輸線路上由軟件構(gòu)成的多條邏輯傳輸線路獨立地傳輸數(shù)據(jù)和控制信息(由與控制終端側(cè)處理數(shù)據(jù)不同的數(shù)據(jù)包傳輸?shù)男畔?的環(huán)境下傳輸(通信和廣播)并控制圖像和聲音。
(A2)一種方法，它動態(tài)地改變要加到待發(fā)送的圖像或聲音數(shù)據(jù)中的首部信息(對應于本發(fā)明的控制信息)；(A3)一種方法，它動態(tài)地改變要加入的首部信息(對應于本發(fā)明的傳輸控制信息)，以便進行傳輸；(A4)一種方法，它通過動態(tài)動復接和分離多條邏輯傳輸線路來傳輸信息；(A5)一種方法，它考慮了節(jié)目或數(shù)據(jù)的讀取和增長周期，以傳輸圖像和聲音；(A6)一種考慮了快速切換傳輸圖像和聲音的方法。
然而，就動態(tài)調(diào)整要傳輸?shù)骄W(wǎng)絡的數(shù)據(jù)量而言，已提出了改變編碼系統(tǒng)的方法和根據(jù)圖像幀的類型討論幀數(shù)據(jù)的方法(H.Jinzenji和T.Tajiri撰寫的分配自適應型VOD系統(tǒng)的研究，D-8，刊登于電子、信息和通信工程學會(IEICE)系統(tǒng)社的D-8(1995))。
能在受限制的處理時間下提供高質(zhì)量圖像的動態(tài)通過量換算算法已作為一種調(diào)整編碼器側(cè)的通過量提出(T.Osako、Yajima、H.Kodera、H.Watanabe、K.shimamura等撰寫的利用動態(tài)通過量換算算法對軟件視頻進行編碼，刊登于IEICE的論文期刊D-2，Vol.80-D-2，第二期，第444-458頁，1997)。
而且，存在MPEG1/MPEG2系統(tǒng)作為實現(xiàn)同步再現(xiàn)圖像和聲音的例子。
(B1)對應于圖像幀的類型討論圖像的傳統(tǒng)方法有這樣一個問題，即通過處理多個視頻數(shù)據(jù)流或多個音頻數(shù)據(jù)流，難以與聲音同步地重點再現(xiàn)重要的場面，反映編輯的意圖，這是由于可以處理的信息的等級位于單一信息流中。
(B2)而且，由于其必要條件是用硬件來實現(xiàn)MPEG1/MPEG2，所以解碼器必須可以對每個提供的位流進行解碼。因此，其問題就是如何適應超出解碼器通過出量的情況。
此外，為了傳輸圖像，已有一些系統(tǒng)，例如H.261(ITU-T建議H.261的px.64聲像業(yè)務視頻編碼解碼器)，并且它們是用硬件組裝的。因此，由于在設(shè)計硬件時考慮了必要性能的上限，所以沒有產(chǎn)生不能在指定時間內(nèi)完成解碼的情況。
上面的指定時間表示發(fā)送編碼一張圖像獲得的位流所需要的時間。如果解碼不能在該時間內(nèi)完成，其額外的時間就成為延遲。如果把這種延遲累積，則發(fā)送側(cè)到接收側(cè)的的延遲就增加，系統(tǒng)就不能用作可視電話。這種狀態(tài)必須避免。
而且，當由于通信對方產(chǎn)生了規(guī)定以外的位流而不能在指定時間內(nèi)完成解碼時，則就產(chǎn)生不能傳輸圖像的問題。
上述問題不僅產(chǎn)生在視頻數(shù)據(jù)中，而且也產(chǎn)生在音頻數(shù)據(jù)中。
然而，近年來，由于個人計算機(PC)所形成網(wǎng)絡環(huán)境的布局帶來互聯(lián)網(wǎng)和ISDN的擴展，所以傳輸速率已得到改善，已經(jīng)可以利用PC和網(wǎng)絡傳輸圖像。而且，用戶傳輸圖像的要求也已高速增長。又由于CPU性能已得到改善，所以完全可以用軟件來對視頻信號的解碼。
然而，由于結(jié)構(gòu)上不同的個人計算機，例如CPU、總線寬度或加速器等方面不同的個人計算機可以執(zhí)行相同的軟件，所以預先考慮必要性能的上限是困難的，因此，產(chǎn)生了圖像不能在指定時間內(nèi)解碼的問題。
而且，當發(fā)送長度超過接收機通過量的視頻編碼數(shù)據(jù)，就不能在指定時間內(nèi)完成編碼。
問題(C1)減小在指定時間內(nèi)解碼圖像的延遲。
當把視頻信號輸入成本發(fā)明的權(quán)利要求C1的波形數(shù)據(jù)，或者把視頻信號輸出成本發(fā)明的權(quán)利要求C7的波形數(shù)據(jù)作為解決問題1的手段時，剩下的問題是由于部分傳輸位流沒有利用，傳輸線路的實際工作效率降低。而且，存在一些根據(jù)最后的編碼圖像(例如P圖像)，產(chǎn)生當前解碼視頻的編碼系統(tǒng)。然而，由于最后的解碼圖像通過解決問題1的手段沒有完全恢復，所以存在著隨時間變化而使圖像質(zhì)量劣化的嚴重的問題。
問題(C2)在解決問題1的手段的情況下，傳輸線路的實際工作效率降低。而且，擴大了圖像質(zhì)量的劣化。
在用軟件安裝的情況下，圖像的幀速率是由一次編碼所需要的時間來指定的。因此，當用戶指定的幀速率超過計算機的通過量時，不可能符合這種指定。
問題(C3)當用戶指定的幀速率超過計算機的通過量時，不可能符合這種指定。
考慮第一種已有技術(shù)的問題(A1)至(A6)，本發(fā)明的目的在于提供一種音頻-視頻發(fā)送機和音頻-視頻接收機以及數(shù)據(jù)處理設(shè)備和方法，以至少解決上述問題之一。
且，考慮第二種已有技術(shù)的問題(B1)至(B2)，本發(fā)明的另一目的在于提供一種數(shù)據(jù)處理設(shè)備和方法，以至少解決上述問題之一。
再，考慮第三種已有技術(shù)的問題(C1)至(C3)，本發(fā)明的再一目的在于提供一種波形數(shù)據(jù)接收方法和設(shè)備、波形數(shù)據(jù)發(fā)送方法和設(shè)備以及視頻發(fā)送方法和設(shè)備和視頻接收方法和設(shè)備，以至少解決上述問題之一。
發(fā)明內(nèi)容
根據(jù)權(quán)利要求1的本發(fā)明是一種音頻-視頻發(fā)送設(shè)備，它包含發(fā)送裝置，通過與要發(fā)送的數(shù)據(jù)的傳輸線路相同的傳輸線路或與該數(shù)據(jù)傳輸線路不同的傳輸線路發(fā)送涉及傳輸方法的內(nèi)容和/或要發(fā)送的數(shù)據(jù)的結(jié)構(gòu)或?qū)?nèi)容作為發(fā)送格式信息表示的標識符；其中所述要發(fā)送的數(shù)據(jù)是視頻數(shù)據(jù)和/或音頻數(shù)據(jù)。
根據(jù)權(quán)利要求2的本發(fā)明是根據(jù)權(quán)利要求1的音頻-視頻發(fā)送設(shè)備，其中，所述發(fā)送格式信息至少包括在加到所述數(shù)據(jù)上以控制所述數(shù)據(jù)的數(shù)據(jù)控制信息、加到所述數(shù)據(jù)上以發(fā)送所述數(shù)據(jù)的發(fā)送控制信息和控制終端側(cè)的處理的信息三者之一中。
根據(jù)權(quán)利要求3的本發(fā)明是根據(jù)權(quán)利要求2的音頻-視頻發(fā)送設(shè)備，其中，至少所述數(shù)據(jù)控制信息、發(fā)送控制信息和控制所述終端側(cè)處理的信息三者之一動態(tài)地改變。
根據(jù)權(quán)利要求4的本發(fā)明是根據(jù)權(quán)利要求3的音頻-視頻發(fā)送設(shè)備，其中，所述數(shù)據(jù)被分成多個數(shù)據(jù)包，所述數(shù)據(jù)控制信息或所述發(fā)送控制信息不僅加到所述分割數(shù)據(jù)包的首數(shù)據(jù)包，也加到中間數(shù)據(jù)包中。
根據(jù)權(quán)利要求5的本發(fā)明是根據(jù)權(quán)利要求1的音頻-視頻發(fā)送設(shè)備，其中，將是否使用與所述數(shù)據(jù)有關(guān)的定時信息作為表示所述數(shù)據(jù)的再現(xiàn)時間的信息表示的標識符包括在所述發(fā)送格式信息中。
根據(jù)權(quán)利要求6的本發(fā)明是根據(jù)權(quán)利要求1的音頻-視頻發(fā)送設(shè)備，其中，所述發(fā)送格式信息是所述數(shù)據(jù)的結(jié)構(gòu)信息，接收所述數(shù)據(jù)的發(fā)送結(jié)構(gòu)信息的接收設(shè)備輸出的信號確認該結(jié)構(gòu)信息可以接收后，所述發(fā)送裝置向所述接收設(shè)備發(fā)送相應的數(shù)據(jù)。
根據(jù)權(quán)利要求7的本發(fā)明是根據(jù)權(quán)利要求1的音頻-視頻發(fā)送設(shè)備，其中，所述發(fā)送格式信息包括(1)標識接收設(shè)備以后使用的節(jié)目或數(shù)據(jù)的標識符和(2)作為獲知所述節(jié)目或數(shù)據(jù)使用的特定時間或使用所述節(jié)目或數(shù)據(jù)的有效期的信息的標記、計數(shù)和定時三者中至少一種。
根據(jù)權(quán)利要求8的本發(fā)明是根據(jù)權(quán)利要求7的音頻-視頻發(fā)送設(shè)備，其中，利用發(fā)送序列號把所述節(jié)目或數(shù)據(jù)使用的所述特定時間作為發(fā)送控制信息來發(fā)送，以識別傳輸序列，或者作為與控制終端側(cè)處理的數(shù)據(jù)不同的數(shù)據(jù)包要發(fā)送的信息來。
根據(jù)權(quán)利要求9的本發(fā)明是根據(jù)權(quán)利要求2或3的音頻-視頻發(fā)送設(shè)備，其中，包括存儲裝置，用于存儲多項涉及所述傳輸方法的內(nèi)容和/或所述要發(fā)送的數(shù)據(jù)的結(jié)構(gòu)及其多個標識符，所述標識符至少包括在所述數(shù)據(jù)控制信息、發(fā)送控制信息和控制終端側(cè)處理的作為所述發(fā)送格式信息的信息三者之一中。
根據(jù)權(quán)利要求10的本發(fā)明是根據(jù)權(quán)利要求2或3的音頻-視頻發(fā)送設(shè)備，其中，包括存儲裝置，用于存儲多項涉及所述傳輸方法的內(nèi)容和/或所述要發(fā)送的數(shù)據(jù)的結(jié)構(gòu)，所述內(nèi)容至少包括在所述數(shù)據(jù)控制信息、發(fā)送控制信息和控制終端側(cè)處理的作為所述傳輸格式信息的信息三者之一中。
根據(jù)權(quán)利11的本發(fā)明是根據(jù)權(quán)利要求1、2或3的音頻-視頻發(fā)送設(shè)備，其中，增加了缺省標識符，以表示是否改變涉及所述傳輸方法的內(nèi)容和或要發(fā)送的數(shù)據(jù)的結(jié)構(gòu)。
根據(jù)權(quán)利要求12的本發(fā)明是根據(jù)權(quán)利要求9、10或11的音頻-視頻發(fā)送設(shè)備，其中，把所述標識符或所述缺省標識符加到待發(fā)送信息的的長度固定的預定區(qū)域中或所述預定位置上。
根據(jù)權(quán)利要求13的本發(fā)明是一種音頻-視頻接收設(shè)備，包含接收裝置，接收權(quán)利要求1至12中任一個音頻-視頻發(fā)送設(shè)備發(fā)送的所述發(fā)送格式信息；發(fā)送信息解釋裝置，解釋所述接收的發(fā)送格式信息。
根據(jù)權(quán)利要求14的本發(fā)明是根據(jù)權(quán)利要求13的音頻-視頻接收設(shè)備，其中包括存儲裝置，用于存儲多項涉及傳輸方法的內(nèi)容和/或所述要傳輸?shù)臄?shù)據(jù)的結(jié)構(gòu)及其多個標識符；把存儲在所述存儲裝置中的內(nèi)容用于解釋所述發(fā)送格式信息。
根據(jù)權(quán)利要求15的本發(fā)明是一種音頻-視頻發(fā)送設(shè)備，它包含信息多路復用裝置，用于控制多路復用傳輸數(shù)據(jù)和/或控制信息的；多條邏輯傳輸線的信息的開始和結(jié)束；其中，不僅把所述信息多路復用裝置多路復用的所述數(shù)據(jù)和/或控制信息作為多路復用控制信息發(fā)送，也把與所述信息多路復用裝置的所述多路復用開始和結(jié)束有關(guān)的控制內(nèi)容作為多路復用控制信息發(fā)送，所述數(shù)據(jù)包括視頻數(shù)據(jù)和/或音頻數(shù)據(jù)。
根據(jù)權(quán)利要求16的本發(fā)明是根據(jù)權(quán)利要求15的音頻-視頻發(fā)送設(shè)備，其中可以選擇安排所述多路復用控制信息不進行多路復用，從而在所述數(shù)據(jù)和/或控制信息之前發(fā)送所述多路復用控制信息，或者通過與傳輸所述數(shù)據(jù)和/或控制信息的傳輸線路不同的傳輸線路發(fā)送所述多路復用控制信息不進行多路復用。
根據(jù)權(quán)利要求17的本發(fā)明是一種音頻-視頻接收設(shè)備，包含接收裝置，接收權(quán)利要求15的音頻-視頻傳輸裝置發(fā)送的所述多路復用控制信息和所述多路復用數(shù)據(jù)和/或控制信息；分離裝置，根據(jù)所述多路復用控制信息分離所述多路復用數(shù)據(jù)和/或控制信息。
根據(jù)權(quán)利要求18的本發(fā)明是一種音頻-視頻接收設(shè)備，包含主視聽裝置，用于觀看和收聽廣播節(jié)目；輔助視聽裝置，用于周期性地檢測與通過所述主視聽裝置觀看和收聽的廣播節(jié)目不同廣播節(jié)目的狀態(tài)；其中進行所述檢測以便在通過所述主視聽裝置觀看和收聽的所述廣播節(jié)目被轉(zhuǎn)換到其它廣播節(jié)目時，可以平滑地處理所需的節(jié)目和/或數(shù)據(jù)，所述數(shù)據(jù)包括視頻數(shù)據(jù)和/或音頻數(shù)據(jù)。
根據(jù)權(quán)利要求19的本發(fā)明是根據(jù)權(quán)利要求1的音頻-視頻發(fā)送設(shè)備，其中優(yōu)先值可以根據(jù)情況，通過發(fā)送表示處理所述數(shù)據(jù)的優(yōu)先級的信息的偏移值來改變。
根據(jù)權(quán)利要求20的本發(fā)明是一種音頻-視頻接收設(shè)備，包含接收裝置，接收預加到與在過載狀態(tài)下處理的優(yōu)先級有關(guān)的信息的編碼信息；優(yōu)先級確定裝置，用確定閾值，作為選擇是否處理所述接收裝置接收到的所述信息內(nèi)的對象的標準；其中把輸出所述接收信息的時間與在開始處理后經(jīng)過的時間比較，或者把解碼所述接收信息的時間與開始處理后經(jīng)過的時間比較，以根據(jù)比較結(jié)果改變所述閾值，并包括視頻數(shù)據(jù)和/或音頻數(shù)據(jù)，作為編碼對象。
根據(jù)權(quán)利要求21的本發(fā)明是根據(jù)權(quán)利要求20的音頻-視頻接收設(shè)備，其中包括重發(fā)請求優(yōu)先級確定裝置，用于需要重發(fā)所述信息時，確定閾值，作為選擇是否請求重發(fā)一些在發(fā)送中丟失而沒有接收到的所述信息的標準，并且所述確定閾值是至少根據(jù)所述優(yōu)先級確定裝置控制的優(yōu)先級、重發(fā)次數(shù)、信息丟失因數(shù)、幀內(nèi)編碼幀之間的插入間隔以及優(yōu)先級劃分之一確定的。
根據(jù)權(quán)利要求22的本發(fā)明是一種音頻-視頻發(fā)送設(shè)備，包含重發(fā)優(yōu)先級確定裝置，用于請求重發(fā)所述未接收信息時，確定閾值，作為選擇是否請求重發(fā)一些因發(fā)送時丟失而沒有接收到的所述信息的標準，其中，所述確定閾值是至少根據(jù)權(quán)利要求20的所述音頻-視頻接收設(shè)備的優(yōu)先級確定裝置控制的優(yōu)先級、重發(fā)次數(shù)、信息丟失因數(shù)、幀內(nèi)編碼幀之間的插入間隔以及優(yōu)先級劃分之一確定的。
根據(jù)權(quán)利要求23的本發(fā)明是一種音頻-視頻發(fā)送設(shè)備，利用加到所述編碼信息中的優(yōu)先級傳輸所述編碼信息，從而若(1)實際傳輸速率超過視頻或音頻信息目標傳輸速率或(2)把開始傳輸后經(jīng)過的時間與加到所述編碼信息的解碼或輸出周期相比結(jié)果判定把所述編碼信息寫入到發(fā)送緩存器延遲，則使發(fā)送信息減少。
根據(jù)權(quán)利要求25的本發(fā)明是一種數(shù)據(jù)處理設(shè)備，它包含接收裝置，接收數(shù)據(jù)序列，該數(shù)據(jù)序列包括(1)音頻或視頻時間序列數(shù)據(jù)，(2)表示所述時間序列數(shù)據(jù)值之間處理的優(yōu)先級的時間序列數(shù)據(jù)間優(yōu)先級，以及(3)多個時間序列數(shù)據(jù)內(nèi)優(yōu)先級，后者用于劃分所述時間序列數(shù)據(jù)值，以表示所劃分數(shù)據(jù)值之間的處理優(yōu)先級；數(shù)據(jù)處理裝置，當同時出現(xiàn)多個所述時間序列數(shù)據(jù)值時，同時利用所述互時間序列數(shù)據(jù)間優(yōu)先級和所述時間序列數(shù)據(jù)內(nèi)優(yōu)先級進行處理。
根據(jù)權(quán)利要求27的本發(fā)明是一種數(shù)據(jù)處理設(shè)備，包含接收裝置，接收數(shù)據(jù)系列，該數(shù)據(jù)系列包括(1)音頻或視頻時間序列數(shù)據(jù)，(2)表示所述時間序列數(shù)據(jù)值之間處理的優(yōu)先級的時間序列數(shù)據(jù)間優(yōu)先級，以及(3)多個內(nèi)時間序列數(shù)據(jù)內(nèi)優(yōu)先級，后者用于劃分所述時間序列數(shù)據(jù)值，以表示所劃分數(shù)據(jù)值之間的處理優(yōu)先級；數(shù)據(jù)處理裝置，根據(jù)所述時間序列數(shù)據(jù)間優(yōu)先級為每個所述時間序列數(shù)據(jù)值分配通過量，而且，根據(jù)所述時間序列數(shù)據(jù)內(nèi)優(yōu)先級自適應地降低所述時間序列數(shù)據(jù)內(nèi)所劃分數(shù)據(jù)的處理質(zhì)量，以把每個所述時間序列數(shù)據(jù)保持在所述分配的通過量內(nèi)。
根據(jù)權(quán)利要求29的本發(fā)明是一種數(shù)據(jù)處理設(shè)備，其特征在于，當每幀所述視頻數(shù)據(jù)提升視頻的時間序列數(shù)據(jù)內(nèi)優(yōu)先級，并且把每幀的所述視頻數(shù)據(jù)分割成多個數(shù)據(jù)包時，僅把所述時間序列數(shù)據(jù)內(nèi)優(yōu)先級加到數(shù)據(jù)包的首部，以把可訪問的一幀所述視頻數(shù)據(jù)的首部作為獨立的信息傳輸。
根據(jù)權(quán)利要求31的本發(fā)明是根據(jù)權(quán)利要求25、27和29之任一的數(shù)據(jù)處理設(shè)備，其中所述時間序列數(shù)據(jù)內(nèi)優(yōu)先級在數(shù)據(jù)包的首部描述，以進行優(yōu)先級處理。
根據(jù)權(quán)利要求33的本發(fā)明是根據(jù)權(quán)利要求25、27和29之任一的數(shù)據(jù)處理設(shè)備，其中，能表示所述時間序列數(shù)據(jù)內(nèi)優(yōu)先級的值的范圍是可變的，以進行優(yōu)先級處理。
根據(jù)權(quán)利要求34的本發(fā)明是一種數(shù)據(jù)處理方法，它包含下列步驟輸入數(shù)據(jù)序列，該數(shù)據(jù)序列包括音頻或視頻時間序列數(shù)據(jù)和表示所述時間序列數(shù)據(jù)值之間處理的優(yōu)先級的時間序列數(shù)據(jù)間優(yōu)先級；以及利用所述時間序列數(shù)據(jù)間優(yōu)先級把優(yōu)先級處理成相對或絕對優(yōu)先級值。
根據(jù)權(quán)利要求36的本發(fā)明是一種數(shù)據(jù)處理方法，它包含下列步驟對音頻或視頻時間序列數(shù)據(jù)進行分類；輸入數(shù)據(jù)系列，該數(shù)據(jù)系列包括所述時間序列數(shù)據(jù)和表示所述分類數(shù)據(jù)值之間處理優(yōu)先級的多個時間序列數(shù)據(jù)內(nèi)優(yōu)先級；利用所述時間序列數(shù)據(jù)內(nèi)優(yōu)先級把優(yōu)先級處理成相對或絕對優(yōu)先級值。
而且，為了解決問題(C1)，本發(fā)明的特征在于根據(jù)權(quán)利要求63的波形數(shù)據(jù)發(fā)送方法，輸入例如視頻信號作為波形數(shù)據(jù)；或根據(jù)權(quán)利要求69的波形數(shù)據(jù)接收方法，輸出例如視頻信號作為波形數(shù)據(jù)。
而且，為了解決問題(C2)，本發(fā)明的特征在于(d)根據(jù)權(quán)利要求69的波形數(shù)據(jù)接收方法，輸出通過估計獲得的每組執(zhí)行時間；或(d)輸入由每組執(zhí)行時間構(gòu)成的數(shù)據(jù)串；(e)根據(jù)權(quán)利要求63的波形數(shù)據(jù)發(fā)送方法，按照接收裝置的每一執(zhí)行時間，對每組執(zhí)行次數(shù)計數(shù)，以在發(fā)送由速率控制器等的標示所確定的碼長所需要的時間內(nèi)完成解碼。
而且，為了解決問題(C3)，本發(fā)明的特征在于(d)根據(jù)對視頻信號編碼所需要的時間和計數(shù)裝置輸出的各執(zhí)行次數(shù)，估計每組執(zhí)行時間；(e)根據(jù)權(quán)利要求67的波形數(shù)據(jù)發(fā)送方法，利用上述執(zhí)行時間估計對視頻信號編碼所需要的處理時間，并計算處理時間不超過由用戶指定的幀速率確定的可用于處理一張圖像的時間的每組執(zhí)行次數(shù)。
本發(fā)明具有上述結(jié)構(gòu)，以獲得必要處理的執(zhí)行次數(shù)和非必要處理的執(zhí)行次數(shù)后，向接收側(cè)發(fā)送執(zhí)行次數(shù)，并根據(jù)執(zhí)行次數(shù)和解碼時間估計每個處理所需要的時間。
根據(jù)對每個處理的估計時間，減少非必要處理的執(zhí)行次數(shù)，使解碼所需要的時間比指定時間短，這樣可以把解碼時間控制到指定時間或更短，以保持延遲小。
列出的權(quán)利要求67和73主要作為解決問題(C1)的發(fā)明。
而且，通過向發(fā)送側(cè)發(fā)送接收側(cè)估計的必要處理的執(zhí)行時間和非必要處理的執(zhí)行時間，并在發(fā)送側(cè)根據(jù)每個執(zhí)行時間確定每個執(zhí)行次數(shù)可以把解碼執(zhí)行時間設(shè)置成等于或小于指定時間的值。
列出的權(quán)利要求75和77主要作為解決問題(C3)的發(fā)明。
而且，通過估計必要處理的執(zhí)行時間和非必要處理的執(zhí)行時間，并根據(jù)每個執(zhí)行時間和由用戶指定的幀速率決定的用戶指定時間確定每個執(zhí)行次數(shù)，可以把編碼估計時間設(shè)置成等于或小于用戶的指定時間的值。
列出的權(quán)利要求79主要作為解決問題(C3)的發(fā)明。
本發(fā)明的一種接收終端，其特征在于，具有接收由視頻數(shù)據(jù)和/或聲音數(shù)據(jù)構(gòu)成的主內(nèi)容的主內(nèi)容接收部；接收包含與所述主內(nèi)容相關(guān)的視頻的流數(shù)據(jù)的副流數(shù)據(jù)接收部；以及當從第1主內(nèi)容切換到第2主內(nèi)容時，選擇與所述副流數(shù)據(jù)接收部接收的所述第2主內(nèi)容相關(guān)的副流數(shù)據(jù)、并提示的提示部。
如上所述的接收終端，其特征在于，所述提示部在提示與所述第2主內(nèi)容相關(guān)的副流數(shù)據(jù)后，提示所述第2主內(nèi)容。
如上所述的接收終端，其特征在于，所述主內(nèi)容作為與所述副流數(shù)據(jù)不同的流而接收。
如上所述的接收終端，其特征在于，所述副流數(shù)據(jù)是削減全種類內(nèi)容的數(shù)據(jù)量而得到。
附圖概述
圖1是本發(fā)明一個實施例的音頻-視頻收發(fā)機的示意性框圖；圖2是接收控制部分和分離部分的示意圖；圖3是利用多個邏輯傳輸線路發(fā)送和控制視頻和音頻的方法的示意圖；圖4是動態(tài)地改變加到要的視頻或音頻數(shù)據(jù)中的首部信息的方法的示意圖；圖5(a)和5(b)是增加AL信息的方法的示意圖；圖6(a)至6(d)是增加AL信息的方法的例子的示意圖；圖7是通過動態(tài)動多路復用和分離多個邏輯傳輸線路傳輸信息的方法的示意圖；圖8是傳輸廣播節(jié)目過程的示意圖；圖9(a)示出了當在接收端出現(xiàn)節(jié)目或數(shù)據(jù)時，考慮了節(jié)目或數(shù)據(jù)的讀取和增長時間的圖像或聲音發(fā)送方法；圖9(b)示出了當傳輸節(jié)目或數(shù)據(jù)時，考慮了節(jié)目或數(shù)據(jù)讀取或增長時間傳輸視頻或音頻的方法；圖10(a)是對應于快速切換的方法的示意圖；圖10(b)是對應于快速切換的方法的示意圖；圖11(a)示出了在終端之間實際傳輸?shù)膮f(xié)議的具體例子；圖11(b)示出了在終端之間實際傳輸?shù)膮f(xié)議的具體例子；圖12示出了在終端之間實際傳輸?shù)膮f(xié)議的具體例子；圖13(a)示出了在終端之間實際傳輸?shù)膮f(xié)議的具體例子；圖13(b)示出了在終端之間實際傳輸?shù)膮f(xié)議的具體例子；圖13(c)示出了在終端之間實際傳輸?shù)膮f(xié)議的具體例子；圖14示出了在終端之間實際傳輸?shù)膮f(xié)議的具體例子；圖15示出了在終端之間實際傳輸?shù)膮f(xié)議的具體例子；
圖16(a)示出了在終端之間實際傳輸?shù)膮f(xié)議的具體例子；圖16(b)示出了在終端之間實際傳輸?shù)膮f(xié)議的具體例子；圖17示出了在終端之間實際傳輸?shù)膮f(xié)議的具體例子；圖18示出了在終端之間實際傳輸?shù)膮f(xié)議的具體例子；圖19(a)示出了在終端之間實際傳輸?shù)膮f(xié)議的具體例子；圖19(b)示出了在終端之間實際傳輸?shù)膮f(xié)議的具體例子；圖20(a)至20(c)是本發(fā)明CGD的示范系統(tǒng)的框圖；圖21示出了編碼器過載時增加優(yōu)先級的方法；圖22示出了過載時，在接收終端確定優(yōu)先級的方法；圖23示出了臨時改變優(yōu)先級；圖24示出了數(shù)據(jù)流優(yōu)先級和對象優(yōu)先級；圖25是本發(fā)明一個實施例的視頻編碼器和視頻解碼器的示意性框圖；圖26是本發(fā)明一個實施例的音頻編碼器和音頻解碼器的示意性框圖；圖27(a)和27(b)示出了過載時控制優(yōu)先級處理的優(yōu)先級增加部分和優(yōu)先級確定部分；圖28(a)和28(b)示出了增加優(yōu)先等級；圖29示出了向多分辨率視頻數(shù)據(jù)分配優(yōu)先級的方法；圖30示出了構(gòu)成通信有效負載的方法；圖31示出對應于通信有效負載產(chǎn)生數(shù)據(jù)的方法；圖32示出了對象優(yōu)先級、數(shù)據(jù)流優(yōu)先級和通信數(shù)據(jù)包優(yōu)先級之間的關(guān)系；圖33是本發(fā)明第一實施例的發(fā)送機的框圖；圖34是第一實施例的示意圖；圖35是本發(fā)明第三實施例的接收機的框圖；圖36是本發(fā)明第五實施例的接收機的框圖；圖37是第五實施例的示意圖；圖38是本發(fā)明第六實施例的發(fā)送機的框圖；圖39是本發(fā)明第八實施例的發(fā)送機的框圖；圖40是本發(fā)明第二實施例的發(fā)送方法的流程圖；圖41是本發(fā)明第四實施例的接收方法的流程圖；圖42是本發(fā)明第七實施例的發(fā)送方法的流程圖；圖43是本發(fā)明第九實施例的發(fā)送方法的流程圖；
圖44是本發(fā)明音頻-視頻發(fā)送機的框圖；圖45是本發(fā)明音頻-視頻接收機的框圖；圖46出了向本發(fā)明的音頻-視頻發(fā)送機的視頻和音頻數(shù)據(jù)增加優(yōu)先級的優(yōu)先級添加裝置的解釋圖；圖47示出了通過解釋加到本發(fā)明的音頻-視頻接收機的視頻和音頻數(shù)據(jù)中的優(yōu)先級確定是否進行解碼的優(yōu)先級確定裝置的解釋圖。
符號說明11 接收控制部分12 分離部分13 發(fā)送部分14 視頻擴展部分(圖像擴展部分)15 視頻擴展控制部分(圖像擴展控制部分)16 視頻合成部分(圖像合成部分)17 輸出部分18 終端控制部分4011 發(fā)送控制部分4012 視頻編碼部分(圖像編碼部分)4013 接收控制部分4014 視頻解碼部分(圖像解碼部分)4015 視頻合成部分(圖像合成部分)4016 輸出部分4101 視頻編碼器(圖像編碼器)4102 視頻解碼器(圖像解碼器)301 接收裝置302 估計裝置303 視頻解碼器(即動態(tài)圖像或活動圖像解碼器)304 次數(shù)削減裝置306 輸出端307 輸入端3031 可變解碼裝置3032 反正交變換裝置
3033 轉(zhuǎn)換單元3034 移動補償裝置3035 執(zhí)行時間測量裝置本發(fā)明的實施方式下面參照附圖描述本發(fā)明的實施例。
下面描述的實施例主要解決上述問題(A1)至(A6)中的任一項。
本發(fā)明所用的“圖像”包括靜止圖像和活動圖像。而且，提出的圖像可以是象計算機制圖(CG)的兩維圖像或由線框模型構(gòu)成的三維圖像數(shù)據(jù)。
圖1是本發(fā)明一個實施例的音頻-視頻收發(fā)機的示意性框圖。
在圖1中，接收信息的接收控制部分11和發(fā)送信息的發(fā)送部分13是諸如同軸電纜、CATV、LAN和調(diào)制解調(diào)器等的信息傳輸裝置。通信環(huán)境可以是能用多條邏輯傳輸線路而不用考慮多路復用裝置的環(huán)境，例如互聯(lián)網(wǎng)，或者可以是必須考慮多路復用裝置的環(huán)境，例如模擬電話或衛(wèi)星廣播。
而且，作為終端連接系統(tǒng)，可列舉在諸如可視電話或電話會議系統(tǒng)等終端之間進行雙向傳送視頻或音頻數(shù)據(jù)的系統(tǒng)，或通過衛(wèi)星廣播、CATV或互聯(lián)網(wǎng)播發(fā)廣播型視頻或音頻數(shù)據(jù)的系統(tǒng)。本發(fā)明考慮了這些終端連接系統(tǒng)。
圖1所示的分離部分12是用于分析接收到的信息并把數(shù)據(jù)與控制信息分離的裝置。具體地說，部分12是分解出加到數(shù)據(jù)中的發(fā)送首部信息和數(shù)據(jù)，或者分解出加到數(shù)據(jù)中的數(shù)據(jù)控制首部和數(shù)據(jù)內(nèi)容。圖像擴展部分14是擴展接收到的圖像的裝置。例如，要擴展的圖像可以是標準化的活動(動態(tài))或靜止圖像的壓縮圖像，例如H.261，H.263，MPEG 1/2或JPEG等。
圖1所示的圖像擴展控制部分15是用于監(jiān)視圖像擴展狀態(tài)的裝置。例如，通過監(jiān)視圖像的擴展狀態(tài)，當接收緩存器幾乎引起溢出時，可以讀空接收緩存器，而不擴展圖像，并在已準備好圖像以便擴展之后重新開始擴展圖像。
在圖1中，圖像合成部分16是用于合成擴展圖像的裝置。圖像合成方法可以通過用諸如JAVA、VRML或MHEG等腳本語言，描述圖像及其結(jié)構(gòu)信息來(顯示位置和顯示時間(而且，可以包括顯示周期))、對圖像分組的方法、圖像顯示層(深度)、對象ID(以后描述的SSRC)以及它們的屬性之間的關(guān)系來定義。描述合成方法的腳本通過網(wǎng)絡或本地存儲器輸入或輸出。
輸出部分17是顯示器或打印機，用于輸出圖像合成結(jié)果。終端控制部分18是用于控制每個部分的裝置。此外，可以采用擴展聲音而不是圖像的結(jié)構(gòu)(可以通過把圖像擴展部分改成聲音擴展部分，把圖像擴展控制部分改成聲音擴展控制部分，把圖像合成部分改成聲音合成部分來構(gòu)成這種結(jié)構(gòu))，或者采用擴展圖像和聲音，使二者同步并加以顯示的結(jié)構(gòu)，然而保持暫時同步。
也可以利用壓縮圖像的圖像壓縮部分?？刂茍D像壓縮部分的圖像壓縮控制部分、壓縮聲音的聲音壓縮部分和控制聲音壓縮部分的聲音壓縮控制部分來發(fā)送圖像和聲音。
圖2示出了接收控制部分和分離部分。
圖1的接收控制部分11由接收數(shù)據(jù)的數(shù)據(jù)接收部分101和接收控制數(shù)據(jù)的控制信息的控制信息接收部分102構(gòu)成，分離部分12由存儲解釋發(fā)送內(nèi)容的發(fā)送結(jié)構(gòu)(后面詳述)的發(fā)送格式存儲部分103和根據(jù)存儲在格式存儲部分103內(nèi)的發(fā)送結(jié)構(gòu)解釋發(fā)送內(nèi)容的發(fā)送信息解釋部分104構(gòu)成，這種結(jié)構(gòu)可以獨立地接收數(shù)據(jù)和控制信息。因此，例如，不難在接收視頻或音頻數(shù)據(jù)的同時刪除或移動該數(shù)據(jù)。
如上所述，可以接收控制部分11要求的通信環(huán)境可以利用能使用多條邏輯傳輸線路而不用考慮多路復用裝置的環(huán)境(互聯(lián)網(wǎng)類環(huán)境)，如互聯(lián)網(wǎng)，也可以利用多路復用裝置的環(huán)境(原類環(huán)境)，如必須考慮模擬電話或衛(wèi)星廣播等。然而，用戶住處的通信環(huán)境備有多條邏輯傳輸線路(邏輯通道)(例如，在可以使用TCP/IP的通信環(huán)境的情況下，通常使用稱為“通信端口”的表述)。
如圖2所示，假設(shè)接收控制部分11接收一種或多種類型的數(shù)據(jù)傳輸線路和一種或多種類型的控制邏輯傳輸線路，以控制要傳輸?shù)臄?shù)據(jù)。也可以準備多條傳輸線路傳輸數(shù)據(jù)，僅準備一條傳輸線路控制數(shù)據(jù)。還可以準備一條傳輸線路在每次數(shù)據(jù)傳輸時控制數(shù)據(jù)，如也用于H.323的RTP/RTCP。當考慮利用UDP的廣播時，可以使用利用單個通信端口(多播地址)的通信系統(tǒng)。
圖3的示意圖用于解釋利用多條邏輯傳輸線路傳輸和控制視頻和音頻數(shù)據(jù)的方法。要發(fā)送的數(shù)據(jù)稱為ES(基本數(shù)據(jù)流)，它可以是一幀的圖像信息或GOB中的圖像信息，或者在圖像的情況下小于一幀的宏塊。
在音頻數(shù)據(jù)的情況下，可以使用用戶決定的固定長度。而且，把要加到要發(fā)送的數(shù)據(jù)中的數(shù)據(jù)控制首部信息稱為AL(自適應層信息)。把表示是否為能處理數(shù)據(jù)的開始位置的信息、表示數(shù)據(jù)再現(xiàn)時間的信息和表示數(shù)據(jù)處理的優(yōu)先級的信息列為AL信息。本發(fā)明的數(shù)據(jù)控制信息對應于AL信息。而且，本發(fā)明所用的ES和AL并不總是必須與MPEG 1/2所定義的內(nèi)容一致。
表示是否為可以處理數(shù)據(jù)的開始位置的信息具體包括兩種類型的信息。第一種是隨機訪問標記，即，表示可以個別讀取和獨立再現(xiàn)前后數(shù)據(jù)的信息，例如在圖像的情況下的幀內(nèi)(I圖像)。第二種是能把訪問標記定義成表示可以個別讀取的標記的信息，即，表示開始位置為GOB圖像首部或在圖像的情況下為宏塊首部的信息。因此，沒有訪問標記表示數(shù)據(jù)的中部。這兩種隨機訪問標記和隨機標記作為表示能處理數(shù)據(jù)的開始位置的信息，并非總是需要的。
有這樣一種情況，如果在諸如電話會議等的實時通信的情況下，沒有加入這兩種標記，則不會產(chǎn)生問題。然而，為了簡化編輯工作，隨機訪問標記是必需的。也可以在傳送數(shù)據(jù)之前，通過通信通道決定標記是否必需，或者需要何種標記。
指示數(shù)據(jù)再現(xiàn)時間的信息表示再現(xiàn)圖像和聲音時的時間同步的信息，在MPEG1/2的情況下，它稱為PTS(展現(xiàn)時間標志)。由于在諸如電話會議等實時通信的情況下，一般不考慮時間同步，所以表示再現(xiàn)時間的信息并不總是必需的。編碼幀之間的時間間隔可以是必需的信息。
在接收側(cè)調(diào)整時間間隔，可以防止幀間隔有較大波動。然而，接收側(cè)調(diào)整再現(xiàn)間隔可能發(fā)生延遲。因此，可以判定表示編碼幀之間幀間隔的時間信息是不必要的。
為了確定表示數(shù)據(jù)再現(xiàn)時間的信息是否表示PTS或幀間隔，也可以決定在傳輸數(shù)據(jù)之前，不把數(shù)據(jù)再現(xiàn)時間加到數(shù)據(jù)中，并把該決定通過通信通道傳送給接收終端，并與決定的數(shù)據(jù)控制信息一起發(fā)送數(shù)據(jù)。
當由于接收終端的負載或網(wǎng)絡的負載的原因而不能處理或發(fā)送表示處理數(shù)據(jù)的優(yōu)先級的信息時，可以停止處理或發(fā)送數(shù)據(jù)，減小接收終端或網(wǎng)絡的負載。
接收終端可以用圖像擴展控制部分15處理數(shù)據(jù)，網(wǎng)絡可以用中繼終端或路由器處理數(shù)據(jù)?？梢杂脭?shù)值或標記表示優(yōu)先級。而且，在接收終端或網(wǎng)絡的負載有突然的波動時，把表示數(shù)據(jù)處理優(yōu)先級的信息的偏移值作為控制信息或數(shù)據(jù)控制信息(AL信息)與數(shù)據(jù)一起發(fā)送，并將該偏移值與預先分配組視頻或音頻數(shù)據(jù)的優(yōu)先級值相加，由此，可以對應于系統(tǒng)的操作狀態(tài)設(shè)置動態(tài)優(yōu)先級。
而且，把鑒別是否有加密編碼、是否有版權(quán)、以及是原件還是復制件等的信息作為控制信息與和數(shù)據(jù)分開的數(shù)據(jù)標識符(SSRC)一起發(fā)送，簡化在中繼節(jié)點去除加密編碼。
表示數(shù)據(jù)處理優(yōu)先級的信息可以加到用許多圖像或聲音的幀集合或每幀視頻或音頻數(shù)據(jù)構(gòu)成的每個數(shù)據(jù)流中。
為發(fā)送終端單元提供優(yōu)先級添加裝置，該裝置在過載情況下，利用諸如H.263或G.723等編碼方法，根據(jù)預定規(guī)則確定編碼信息的處理優(yōu)先級，并使編碼信息對應于確定的優(yōu)先級(見圖46)。
圖46是用于解釋優(yōu)先級添加裝置5201把優(yōu)先級加到圖像或聲音中的示意圖。
即，如圖46所示，根據(jù)預定的規(guī)則，把優(yōu)先級加到編碼視頻數(shù)據(jù)(由視頻編碼裝置5202處理)和編碼音頻數(shù)據(jù)(由音頻編碼裝置5203處理)中。添加優(yōu)先級的規(guī)則存儲在優(yōu)先級添加規(guī)則5204中。這些規(guī)則包括把比P幀(幀間編碼圖像幀)的優(yōu)先級高的優(yōu)先級加給I幀(幀內(nèi)編碼圖像幀)的規(guī)則和把比音頻數(shù)據(jù)的優(yōu)先級低的優(yōu)先級加給圖像的規(guī)則。而且，根據(jù)用戶的指定可以改變這些規(guī)則。
在圖像的情況下，優(yōu)先級添加對象為場成變化，在編輯者或用戶指定的圖像幀數(shù)據(jù)或聲音的情況下，則為有聲區(qū)和無聲區(qū)。
為了在圖像幀或音頻幀中加入優(yōu)先級，以在過載的情況下規(guī)定處理優(yōu)先級，考慮使用下列方法把優(yōu)先級增加到通信首部的方法和進行編碼時把優(yōu)先級嵌入到已對視頻或音頻數(shù)據(jù)編碼的位流的首部中的方法，前一方法可以在不進行解碼的情況下獲得優(yōu)先級信息，而后一方法可以與系統(tǒng)無關(guān)的地獨立地處理單一位流。
當把一圖像幀(例如幀內(nèi)編碼的I幀或幀間編碼的P或B幀)分成多個傳輸數(shù)據(jù)包時，在圖像的情況下，僅把優(yōu)先級加到通信首部，以把可訪問的圖像幀的首部作為獨立的信息發(fā)送(當優(yōu)先級在相同圖像幀中一樣時，可以認為在下一個可訪問圖像幀出現(xiàn)之前優(yōu)先級沒有改變)。
而且，使值的范圍能表示優(yōu)先級變量(例如，根據(jù)用途，用16位或32位表示時間信息)，可實現(xiàn)與控制信息一致的結(jié)構(gòu)。
在解碼器的情況下，根據(jù)所接收各種編碼信息片段過載時的優(yōu)先級，為接收終端單元提供優(yōu)先級確定裝置，以確定處理方法(見圖47)。
圖47是用于解釋加到圖像或聲音中的優(yōu)先級和解釋確定是否進行解碼的優(yōu)先級確定裝置5301示意圖。
即，如圖47所示，這些優(yōu)先級包括加到每一圖像或聲音的每一數(shù)據(jù)流的優(yōu)先級和加到每幀圖像或聲音數(shù)據(jù)中的優(yōu)先級?？梢元毩⒌乩眠@些優(yōu)先級，或者使幀優(yōu)先級對應于數(shù)據(jù)流優(yōu)先級。優(yōu)先級確定裝置5301根據(jù)這些優(yōu)先級確定要解碼的數(shù)據(jù)流或幀。
解碼是利用兩種類型的優(yōu)先級進行的，以確定終端過載時的處理優(yōu)先級。
即，定義了用于規(guī)定諸如圖像和聲音的位流之間的相對優(yōu)先級的數(shù)據(jù)流優(yōu)先級(時間序列間優(yōu)先級)；用于規(guī)定諸如相同數(shù)據(jù)流中的圖像幀等解碼單元之間的相對優(yōu)先級(時間序列內(nèi)優(yōu)先級)(圖24)。
前一種數(shù)據(jù)流優(yōu)先級可以處理多個視頻或音頻數(shù)據(jù)。后一種幀優(yōu)先級使可根據(jù)編輯者的意圖改變場面或?qū)ν粠瑑?nèi)編碼圖像幀(I幀)增加不同的優(yōu)先級。
使數(shù)據(jù)流優(yōu)先級對應于分配給操作系統(tǒng)(OS)的時間，對圖像或聲音進行編碼或解碼，或進行優(yōu)先級處理，從而控制數(shù)據(jù)流優(yōu)先級，由此，可以在OS層上控制處理時間。例如，在微軟公司的Windows 95/NT的情況下，可以在五個OS層上定義優(yōu)先級。用軟件以線索段實現(xiàn)編碼或解碼裝置，可以在分配給每個線索段的OS層上根據(jù)目的數(shù)據(jù)流的數(shù)據(jù)流優(yōu)先級確定優(yōu)先級。
上述的幀優(yōu)先級和數(shù)據(jù)流優(yōu)先級可以加到傳輸媒體或數(shù)據(jù)記錄媒體上。例如，把要發(fā)送的數(shù)據(jù)包優(yōu)先級定義為訪問單元優(yōu)先級，可以根據(jù)幀優(yōu)先級與數(shù)據(jù)流優(yōu)先級之間的關(guān)系，例如根據(jù)訪問單元優(yōu)先級＝數(shù)據(jù)流優(yōu)先級-幀優(yōu)先級，確定與數(shù)據(jù)包發(fā)送有關(guān)的優(yōu)先級和在過載時終端的處理優(yōu)先級。
而且，可以把軟盤或光盤用作數(shù)據(jù)記錄媒體，確定優(yōu)先級。再者，不僅可以利用記錄媒體而且還可以利用能記錄程序的諸如IC卡或ROM盒等物體確定優(yōu)先級。而且，可以使用諸如路由器或網(wǎng)關(guān)等圖像或聲音的轉(zhuǎn)發(fā)器中繼數(shù)據(jù)。
作為利用優(yōu)先級的具體方法，當接收終端過載時，把確定要處理的編碼信息的優(yōu)先級閾值的優(yōu)先級確定裝置設(shè)置成圖像擴展控制部分或聲音擴展控制部分，把要顯示的時間(PTS)與開始處理后經(jīng)過的時間進行比較，或者把要解碼的時間(DTS)與開始處理后經(jīng)過的時間比較，根據(jù)比較結(jié)果改變要處理的編碼信息的優(yōu)先級閾值(也可以參照幀的插入間隔或優(yōu)先級等作為改變閾值的信息)。
圖20(a)所示的例子中，在編碼時，用編碼器(H.263)對具有捕獲的QCIF或CIF尺寸的圖像進行編碼，與編碼信息一起輸出表示解碼時間(DTS)或顯示圖像的時間的時間標志(PTS)和表示過載時的處理順序(CGD，計算適度弱化)、幀類型和序列號(SN)的優(yōu)先級信息。
而且，在圖20(b)所示的例子中，還通過話筒進行記錄，通過編碼器(G.721)進行編碼，與編碼信息一起輸出表示解碼時間(DTS)或再現(xiàn)聲音的時間、優(yōu)先級信息(CGD)和序列號(SN)的時間標志(PTS)。
如圖20(c)所示，在解碼時，把圖像和聲音提供給分離緩存器，把它們各自的DTS(解碼時間)與開始處理后經(jīng)過的時間進行比較。如果DTS不滯后，則把該圖像和聲音提供給它們相應的解碼器(H.263和G.721)。
圖21的例子描述了一種在過載時利用編碼器增加優(yōu)先級的方法。對于一幅圖像，把高優(yōu)先級的“0”和“1”分配給I幀(幀內(nèi)編碼圖像幀)(數(shù)字越小，優(yōu)先級越低)。P幀的優(yōu)先級“2”低于I幀。由于把兩種級別的優(yōu)先級分配給I幀，所以當解碼終端的負載較大時，可以僅再現(xiàn)優(yōu)先級為“0”的I幀。而且，必須根據(jù)優(yōu)先級增加方法調(diào)整I幀的插入間隔。
圖22的例子示出了一種在過載時，在接收終端確定優(yōu)先級的方法。把不用的幀的優(yōu)先級設(shè)置成比截止優(yōu)先級大的值。即，把每個圖像幀假設(shè)成待處理的對象。把加到圖像幀的優(yōu)先級最大值從發(fā)送側(cè)傳送給接收側(cè)(步驟101)可以事先得知該值。
當把DTS與開始處理之后經(jīng)過的時間相比較，并且其結(jié)果是經(jīng)過的時間長于DTS(當解碼沒有及時進行時)，則要處理的圖像或聲音的優(yōu)先級閾值減小，以減少處理(步驟102)。然而，若開始處理之后經(jīng)過的時間短于DTS(及時進行了解碼)，則優(yōu)先級的閾值增加，以增加可以處理的圖像或聲音的數(shù)量(步驟103)。
如果該幀之前的圖象跳過了P幀，則不進行處理。如果沒有，則把優(yōu)先級偏移值加到圖像幀(或音頻數(shù)據(jù)幀)的優(yōu)先級上，以把該優(yōu)先級偏移值與優(yōu)先級閾值比較。當該偏移值不超過該閾值時，把要解碼的數(shù)據(jù)提供給解碼器(步驟104)。
優(yōu)先級偏移可用于事先檢查機器的性能，并把該偏移值傳送給接收終端(用戶也可以在接收終端發(fā)出指定)，還可用于改變數(shù)據(jù)流中的視頻和音頻數(shù)據(jù)流的優(yōu)先級(例如，通過增加最后面背景的偏移值來減少處理)。
當提出了多數(shù)據(jù)流時，也可以對每個數(shù)據(jù)流加優(yōu)先級，并確定跳過對圖像或聲音的解碼。而且，在實時通信的情況下，通過處理H263與DTS相似的TR(臨時基準)可以確定解碼是超前還是滯后，并且實現(xiàn)與上文所述相同的跳過。
圖23示出了利用上述算法進行的優(yōu)先級的臨時改變。
圖23示出了要加到圖像幀中的優(yōu)先級的變化。該優(yōu)先級是在終端過載時決定是否進行解碼的優(yōu)先級，它加到每一幀中。優(yōu)先級值越小，優(yōu)先級越高。在圖23的例子中，0的優(yōu)先級最高。當優(yōu)先級的閾值為3時，添加了值大于3的優(yōu)先級的幀不使用，不進行解碼，對添加了值為3或小于3的優(yōu)先級的幀進行解碼。根據(jù)優(yōu)先級有選擇地討論這些幀，可以控制終端的負載。也可以根據(jù)當前處理時間和要加到每幀上的解碼時間(DTS)之間關(guān)系，動態(tài)地決定優(yōu)先級閾值。根據(jù)同樣的過程，這種技術(shù)不僅可以應用于圖像幀，也可以應用于聲音。
在傳輸線路為互聯(lián)網(wǎng)等的情況下，設(shè)置重發(fā)請求優(yōu)先級確定部分，根據(jù)優(yōu)先級信息、重發(fā)次數(shù)、信息丟失率、幀內(nèi)編碼幀的插入間隔、受優(yōu)先級確定部分控制的優(yōu)先級的級別(例如五級優(yōu)先)，對接收控制部分確定要重發(fā)的編碼信息的優(yōu)先級閾值，并確定加給會受到請求重發(fā)的編碼信息的優(yōu)先級閾值，這樣，當必須重發(fā)傳輸時丟失的編碼信息時，可以僅重發(fā)接收側(cè)要求的圖像或音頻數(shù)據(jù)。如果重發(fā)次數(shù)很多或信息丟失率很高，則必須提高要重發(fā)信息的優(yōu)先級，減少重發(fā)次數(shù)或降低丟失率。而且，了解優(yōu)先級確定部分使用的優(yōu)先級，可以防止發(fā)送要處理的信息。
在發(fā)送終端，當實際傳送速率超過發(fā)送端的信息的目標傳送速率時，或者當開始傳送處理后經(jīng)過的時間與加到要解碼或顯示的編碼信息的時間比較，把編碼信息寫入到發(fā)送緩存器的過程滯后時，可用加到編碼信息中的優(yōu)先級，與目標速率一致地發(fā)送圖像或聲音數(shù)據(jù)，且接收終端過載時，其優(yōu)先級確定部分使用該成先級，從而減少信息的發(fā)送。在接收終端過載時，還把處理跳過功能引入到發(fā)送終端，由此，可以控制發(fā)送終端過載引起的故障。
通過根據(jù)需要僅發(fā)送上述AL信息中必要的信息，可以調(diào)整要發(fā)送到諸如模擬電話線等窄帶通信通道上的信息量。在發(fā)送數(shù)據(jù)之前確定在發(fā)送終端上要增加到數(shù)據(jù)中的數(shù)據(jù)控制信息，把要使用的數(shù)據(jù)控制信息作為控制信息(例如僅使用隨機訪問標記)傳送給接收終端，并根據(jù)獲得的控制信息，在接收終端上重寫與存儲在發(fā)送格式存儲部分103內(nèi)的發(fā)送結(jié)構(gòu)(見圖16)有關(guān)的信息。
圖4是一幅示意圖，用于解釋動態(tài)改變要加到待發(fā)送的圖像或音頻數(shù)據(jù)中的首部信息的方法。在圖4的例子中，把要發(fā)送的數(shù)據(jù)(ES)分解成數(shù)據(jù)片并以通信首部的形式在這些數(shù)據(jù)片增添表示數(shù)據(jù)順序的識別信息(序列號)、表示是否為能處理數(shù)據(jù)片的開始位置的信息(標記位)和與數(shù)據(jù)片的傳送有關(guān)的時間信息(時間標記)，其中假設(shè)上述各信息對應于本發(fā)明的傳輸控制信息。
具體地說，RTP(實時傳送協(xié)議，RFC1889)利用上述序列號的信息、標記位、時間標志、對象ID(稱為SSRC)和版本號作為通信首部。雖然可以擴充首部信息項，但上述各項總是作為固定項添加。然而，當諸如可視電話等實時通信和諸如影視點播等累積媒體的傳輸一起出現(xiàn)在要同時傳輸多個不同的編碼圖像或聲音的環(huán)境下時，由于通信首部的含義彼此不同，所以必需有鑒別裝置。
例如，在MPEG 1/2情況下，如上所述，時間標記信息表示PTS為再現(xiàn)時間。然而，在H.261或H.263中，時間標記信息表示對信息編碼時的間隔時間。為了與音頻數(shù)據(jù)同步處理H.263，必須表示時間標記為PTS信息。這是因為在H.263的情況下，時間標記信息表示編碼幀之間的時間間隔，RTP定義第一幀的時間標記是隨機的。
因此，必須增加一種表示時間標志是否為PTS的標記作為(a)通信首部信息(必須擴充通信首部)或(b)H.263或H.261的首部信息(即，AL信息)(在這種情況下，必須擴充有效負荷信息)。
用作表示是否為能處理數(shù)據(jù)片的開始位置的信息的標記位作為RTP首部信息添加。而且，如上所述，往往必須提供表示是能訪問數(shù)據(jù)的開始位置的訪問標記和表示可以隨機訪問數(shù)據(jù)以獲得AL信息的隨機訪問標記。由于雙重提供了通信首部的標記降低了效率，所以也考慮了一種由通信首部準備的標記替代AL標記的方法。
(c)新提供一種標記，表示AL標記被加到通信首部的首部替代，而不向通信首部的AL增加一個標記，或定義通信首部的標記位與AL的相同，(與提供AL標記的情況相比，預期解釋可以更快地進行)，由此，解決上述問題。即，采用一種標記，表示標記位是否具有與AL標記相同的含義。在這種情況下，認為改善了通信首部或在擴充的范圍內(nèi)描述首部。
然而，(d)也可以解釋通信首部的標記位的含義，以表示至少隨機訪問標記和訪問標記之一出現(xiàn)在AL中。在這種情況下，由通信首部的版本號可以得知解釋的含義與傳統(tǒng)的情況不同。而且，僅通過為通信首部或AL首部提供訪問標記或隨機訪問標記就簡化了處理(對于前者，考慮兩個首部都提供該標記的情況，但必須重新擴充通信首部)。
已經(jīng)描述了添加表示數(shù)據(jù)處理優(yōu)先級的信息，作為AL信息。通過把數(shù)據(jù)處理優(yōu)先級加到通信首部，可以確定數(shù)據(jù)處理優(yōu)先級的處理，而不用解釋仍在網(wǎng)絡上的數(shù)據(jù)內(nèi)容。而且，在IPv6的情況下，可以在比RTP級更低的層上加該優(yōu)先級。
通過向RTP通信首部增加表示數(shù)據(jù)處理的有效周期的計時器或計數(shù)器，可以決定如何改變所發(fā)數(shù)據(jù)包的狀態(tài)。例如，當必需的解碼軟件存儲在低訪問速率的存儲器時，可以由計數(shù)器或定時器確定解碼器所需要的信息以及什么時候需要信息。在這種情況下，根據(jù)用途，對于AL信息來說，計時器或計數(shù)器的優(yōu)先級信息或數(shù)據(jù)處理的優(yōu)先級信息不是必需的。
圖5(a)和5(b)以及圖6(a)至6(d)是解釋增加AL信息的方法的示意圖。
如圖5(b)所示，向接收終端發(fā)送控制信息，傳送是否如圖5(a)所示把AL僅加到要發(fā)送的數(shù)據(jù)的首部，或者傳達是否把AL增加到在把要發(fā)送的數(shù)據(jù)(ES)分解成一個或多個數(shù)據(jù)片之后的每個數(shù)據(jù)片中，這樣可以選擇處理發(fā)送信息的等級。當訪問滯后成問題時，把AL加到分割數(shù)據(jù)中是有效的。
如上所述，為了事先把在接收側(cè)數(shù)據(jù)控制信息的重組合或把數(shù)據(jù)控制信息配置到數(shù)據(jù)中的方法的變化傳送給接收終端，接收終端可以利用標記、計數(shù)器或定時器的表述平滑地進行響應，從而把該表述準備成AL信息或通信首部，以把它傳送給接收終端。
在上述例子中，描述了避免用AL信息復制RTP首部(或通信首部)的方法和擴充RTP或AL信息通信首部的方法。然而，對于本發(fā)明來說，并不總是必須使用RTP。例如，也可以利用UDP或TCP重新定義原通信首部或AL信息。雖然互聯(lián)網(wǎng)類環(huán)境有時利用了RTP，但在原類環(huán)境中并沒有定義諸如RTP等多功能首部?？紤]了下面四種類型的概念用于AL信息和通信首部(參見圖6(a)至6(d))。
(1)對RTP或AL信息的首部信息進行校正和擴充，以使已分配給RTP的首部信息和已分配給AL的首部信息不重疊(具體是，時間標記的信息重疊，計時器、計數(shù)器或數(shù)據(jù)處理的優(yōu)先級信息變成擴充信息)?；蛘撸梢岳貌粩U充RTP首部和不考慮用RTP信息復制AL信息的方法。它們對應于至此已說明的內(nèi)容。由于H.323實際已使用了一部分RTP，所以擴充具有兼容性的RTP是有效的。(參見圖6(a)。)(2)與RTP無關(guān)，簡化通信首部(例如，僅使用序列號)，把余下的內(nèi)容提供給AL信息，作為多功能控制信息。而且，使得可以在通信前可變地設(shè)置AL信息使用的項目，這樣可以指定靈活的發(fā)送格式。(參見圖6(b)。)(3)與RTP無關(guān)，簡化AL信息(極端的例子是AL不添加信息)，并把每個控制信息提供給通信首部。保持經(jīng)常用作通信首部的序列號、時間標記、標記位、有效負荷類型和對象ID作為固定信息，并向數(shù)據(jù)處理優(yōu)先級信息和定時器信息分別提供以表示擴展信息是否存在的標識符，作為與擴充信息，以便定義該信息時參考(參見圖6(c)。)(4)與RTP無關(guān)，簡化通信首部和AL信息，把格式定義成與通信首部或AL信息分開的數(shù)據(jù)包，以發(fā)送該格式。例如，也考慮這樣一種方法，對AL信息僅定義標記位、時間標記和對象ID，對通信首部僅定義序列號，把有效負載信息、數(shù)據(jù)處理優(yōu)先級信息和計時器信息定義成與上述信息分開的信息數(shù)據(jù)包(第二數(shù)據(jù)包)，并發(fā)送(參見圖6(d)。)如上所述，當考慮用途和已加到圖像或聲音數(shù)據(jù)中的首部信息時，根據(jù)該用途，能自由地定義(定制)要與通信首部、AL信息分開發(fā)送的數(shù)據(jù)包(第二數(shù)據(jù)包)，這是較佳的方式。
圖7的示意圖用于解釋通過動態(tài)多路復用和分離多條邏輯傳輸線路來傳輸信息的方法。為邏輯傳輸線路提供能開始和結(jié)束多路復用信息的信息多路復用部分可以減少邏輯傳輸線路的數(shù)量，以根據(jù)用戶的指定或者發(fā)送部分和信息分離部分所用邏輯傳輸線路的數(shù)量，發(fā)送多個數(shù)據(jù)或控制信息，該分離部為接收控制部分分離多路復用信息。
在圖7中，信息多路復用部分稱為“組MUX”，具體地說，它可以使用諸如H.223的多路復用系統(tǒng)。可以為傳輸/接收終端提供組MUX。通過向中繼路由器或終端提供組MUX，可以對應于窄帶通信通道。而且，用H.223實現(xiàn)組MUX，可以使H.223和H.324互連。
為了快速地取得信息多路復用部分的控制信息(多路復用控制信息)，通過另一邏輯傳輸線路發(fā)送信息多路復用部分內(nèi)的控制信息，而信息多路復用部分不將控制信息與數(shù)據(jù)復接，可以減少多路復用引起的延遲。因而，通過傳達和發(fā)送，將與信息多路復用部分有關(guān)的控制信息與數(shù)據(jù)復接后發(fā)送，或者控制信息不與數(shù)據(jù)復接，通過另一邏輯傳輸線路發(fā)送，用戶可以選擇是保持與傳統(tǒng)多路復用一致，還是減少由于多路復用引起的延遲。在這種情況下，與信息多路復用部分相關(guān)的多路復用控制信息是表示與信息多路復用部分如何對每片數(shù)據(jù)進行多路復用有關(guān)的多路復用的內(nèi)容的信息。
同樣，如上所述，根據(jù)表述方法，例如根據(jù)標記、計數(shù)器或計時器，可以傳送發(fā)送方法的通知，該方法至少發(fā)送傳達多路復用開始和結(jié)束的信息、傳達多路復用邏輯傳輸線路的組合的信息和與多路復用有關(guān)的控制信息(多路復用控制信息)之一，作為控制信息，或者可以與數(shù)據(jù)一起將數(shù)據(jù)控制信息發(fā)送給接收終端，從而減少接收側(cè)的設(shè)置時間。而且，如上所述，可以提供表示傳輸RTP首部的標記、計數(shù)器或計時器的項目。
當存在多個信息多路復用部分或多個信息分離部分時，與標識符一起傳送控制信息(多路復用控制信息)，以鑒別信息多路復用部分或信息分離部分，可以鑒別控制信息屬于哪個信息多路復用部分?？刂菩畔?多路復用控制信息)包括多路復用模式。而且，利用隨機數(shù)表，從而確定終端之間的信息多路復用部分或信息分離部分，可以產(chǎn)生信息多路復用部分的標識符。例如，可以在發(fā)送和接收終端之間確定的范圍內(nèi)產(chǎn)生隨機數(shù)，并使信息多路復用部分的標識符(鑒別號)采用其最大值。
由于信息多路復用部分多路復用的數(shù)據(jù)在傳統(tǒng)上與RTP中定義的多媒體類型不同，所以必須定義信息，以表示它是RTP有效負載類型的多路復用部分(定義新媒體類型H.223)多路復用的信息。
在控制信息和數(shù)據(jù)信息的序列中配置要在信息多路復用部分發(fā)送或記錄的信息，以提高對多路復用數(shù)據(jù)的訪問速度，謀求快速地分析出多路復用信息。而且，固定根據(jù)加到控制信息中的數(shù)據(jù)控制信息描述的項，并增加和多路復用與數(shù)據(jù)不同的標識符(唯一的模式)，可以快速分析出首部信息。
圖8的示意圖用于解釋廣播節(jié)目的傳輸過程。把邏輯傳輸線路的標識符與廣播節(jié)目的標識符之間的關(guān)系用作廣播節(jié)目的信息，從而發(fā)送控制信息或者使數(shù)據(jù)增加廣播節(jié)目的標識符，作為數(shù)據(jù)控制信息(AL信息)，可以鑒別出為哪個節(jié)目廣播通過多條傳輸線路傳輸?shù)臄?shù)據(jù)。而且，向接收終端發(fā)送數(shù)據(jù)標識符(在RTP的情況下為SSRC)和邏輯傳輸線路的標識符(例如LAN端口號)之間的關(guān)系，作為控制信息，并在確認了接收終端可以接收控制信息之后(Ack/Reject)，發(fā)送相應數(shù)據(jù)，即使控制信息和數(shù)據(jù)都分別通過獨立的傳輸線路傳輸，也可以形成數(shù)據(jù)片之間的對應關(guān)系。
組合表示廣播節(jié)目的傳輸序列的標識符和具有表示廣播節(jié)目或數(shù)據(jù)可以用作信息的有效期限的計數(shù)器或計時器信息的數(shù)據(jù)。把組合標識符和信息增加到廣播節(jié)目或數(shù)據(jù)中加以發(fā)送，可以實現(xiàn)廣播，而不無需返回信道(當有效期限幾乎失效時，即使信息不夠，也開始再現(xiàn)廣播節(jié)目的信息或數(shù)據(jù))。而且，可以考慮這樣一種方法，其中，利用單個通信端口(多播地址)，廣播控制信息和數(shù)據(jù)而不使它們彼此分離。
在返回信道的通信中，必須在發(fā)送數(shù)據(jù)之前充分地發(fā)送控制信息，以使接收終端能得知數(shù)據(jù)結(jié)構(gòu)。而且，控制信息應當通過不會產(chǎn)生數(shù)據(jù)包丟失的、可靠性高的傳輸信道發(fā)送。然而，當利用可靠性低的傳輸信道時，必須循環(huán)發(fā)送相同傳輸序列號的控制信息。這不限于發(fā)送與設(shè)置時間有關(guān)的控制信息的情況。
而且，通過選擇可以作為數(shù)據(jù)信息增加的項(例如訪問標記、隨機訪問標記、數(shù)據(jù)再現(xiàn)時間(PTS)，或數(shù)據(jù)處理優(yōu)先級信息)，確定是否與數(shù)據(jù)的標識符(SSRC)一起通過與數(shù)據(jù)的傳輸線路不同邏輯傳輸線路發(fā)送數(shù)據(jù)控制信息，或者確定是否在發(fā)送數(shù)據(jù)之前，把數(shù)據(jù)控制信息作為數(shù)據(jù)控制信息與發(fā)送側(cè)的數(shù)據(jù)一起發(fā)送，并且把該數(shù)據(jù)作為控制信息傳達并發(fā)送給接收側(cè)，可以靈活地控制和發(fā)送數(shù)據(jù)。
因而，可以不向AL增加信息而發(fā)送數(shù)據(jù)信息。因此，為了利用RTP發(fā)送圖像或聲音數(shù)據(jù)，不必擴大對至此已定義的有效負載的定義。
圖9(a)和9(b)為考慮節(jié)目或數(shù)據(jù)的讀取和增長時間的圖像或聲音發(fā)送方法的示意圖。具體地說，當如沒有返回信道的單向的衛(wèi)星廣播或便攜終端那樣，終端資源受到限制時，或節(jié)目或數(shù)據(jù)出現(xiàn)在接收側(cè)終端上加以使用，以及必要的程序(例如H.263，MPEG 1/2，或音頻解碼器軟件)或數(shù)據(jù)(例如視頻數(shù)據(jù)或音頻數(shù)據(jù))存儲在需要較長讀取時間的存儲器(例如VD、硬盤或網(wǎng)絡上的文件服務器)時，可以根據(jù)諸如鑒別節(jié)目或數(shù)據(jù)的標識符等表述方法、要的數(shù)據(jù)流的標識符(例如SSRC或邏輯信道號)或估計接收端所必需的特定時間點標記、計數(shù)器(升/降計數(shù))或計時器，通過事先把節(jié)目作為控制信息接收，或與數(shù)據(jù)一起作為數(shù)據(jù)控制信息接收來減少前期需要的節(jié)目或數(shù)據(jù)的設(shè)置時間(圖18)。
當發(fā)送節(jié)目或數(shù)據(jù)時，從發(fā)送側(cè)將表示節(jié)目或數(shù)據(jù)在接收終端的存儲器目標(例如硬盤或存儲器)的信息、開始或讀取所需的時間、終端的類型或存儲目標與開始或讀取所需的時間之間的關(guān)系(例如CPU功率、存儲設(shè)備和平均響應時間之間的關(guān)系)和使用的序列與節(jié)目或數(shù)據(jù)一起發(fā)送，這樣如果實際要求接收終端所必需的節(jié)目或數(shù)據(jù)，則可以計劃安排節(jié)目或數(shù)據(jù)的存儲目標和讀取時間。
圖10(a)和10(b)的示意圖用于解釋對應于快速切換(切換電視頻道)的方法。
與傳統(tǒng)的衛(wèi)星廣播僅接收圖像的情況不同，當必須在接收終端執(zhí)行程序時，讀取程序并開始執(zhí)行前的設(shè)置時間是一個大問題。對于可用的資源受到限制的便攜終端的情況也存在同樣問題。
希望接收側(cè)終端的設(shè)置時間可以通過以下方式減少(a)利用用戶進行觀看和收聽的主視聽部分和接收終端循環(huán)監(jiān)視用戶未觀看和收聽的節(jié)目的輔視聽部分，并接收鑒別事先要求的節(jié)目或數(shù)據(jù)的標識符之間的相對關(guān)系、用于估計接收終端所需的特定時間的標記、計數(shù)器或定時器的信息以及程序作為控制信息(由與數(shù)據(jù)的數(shù)據(jù)包不同的數(shù)據(jù)包發(fā)送給控制終端處理的信息)或作為數(shù)據(jù)控制信息(AL信息)，并準備與數(shù)據(jù)一起讀取節(jié)目或數(shù)據(jù)，作為在需要較長讀取時間的存儲器內(nèi)出現(xiàn)用戶沒有觀看或收聽的所需節(jié)目或數(shù)據(jù)的一種解決措施。
作為第二種解決措施，設(shè)置廣播頻道，僅廣播通過多頻信道廣播的圖像的標題圖像，并由用戶切換節(jié)目，可以防止屏幕在設(shè)置時停止，因而，當在需要較長讀取時間的存儲器中出現(xiàn)需要的節(jié)目或數(shù)據(jù)時，臨時選擇用戶要求的節(jié)目的標題圖像，并把它向用戶顯示，或者顯示當前讀取節(jié)目或數(shù)據(jù)，而且在由存儲器讀取需要的節(jié)目或數(shù)據(jù)后，重新啟動用戶要求的節(jié)目。
上面的標題圖像包括對通過多頻道廣播的節(jié)目循環(huán)取樣獲得的廣播圖像。
而且，定時器體現(xiàn)一種時間，表示必需要有解碼發(fā)輸側(cè)發(fā)送的數(shù)據(jù)流所需的程序需要的特定時間。計數(shù)器是發(fā)送和接收終端之間確定的基本時間單位，它可以是表示第幾次的信息。標記與在設(shè)置所必需的時間之前發(fā)送的數(shù)據(jù)或控制信息(通過與控制終端處理的數(shù)據(jù)的數(shù)據(jù)包不同的數(shù)據(jù)包發(fā)送的信息)一起發(fā)送和傳達。可把它們嵌入到數(shù)據(jù)中發(fā)送，或者把它們作為控制信息發(fā)送。
而且，為了確定設(shè)置時間，可以在利用諸如工作在時基上的ISDN等傳輸線路時，把鑒別傳輸序列的傳輸序列號用作控制信息，以從發(fā)送終端向接收終端傳達要節(jié)目或數(shù)據(jù)的特定，從而把序列號與數(shù)據(jù)一起作為數(shù)據(jù)控制信息或控制信息傳送給接收終端，由此，估計進行設(shè)置的時間。而且，當傳輸時間由于如互聯(lián)網(wǎng)的跳動或延遲而波動，則考慮到傳輸?shù)膫鞑r延，必須根據(jù)實現(xiàn)RTCP(互聯(lián)網(wǎng)使用的媒體傳輸協(xié)議)的裝置的跳動或時延，把傳輸時間加到設(shè)置時間中。
圖11(a)至19(b)示出了終端之間實際傳送的協(xié)議的具體例子。
在ASN.1中描述了發(fā)送格式和傳輸過程。而且，發(fā)送格式根據(jù)ITU的H.245擴展。如圖11(a)所示，圖像和聲音的對象可以具有分層結(jié)構(gòu)。在該例子的情況下，每個目標ID具有廣播節(jié)目標識符(節(jié)目ID)和對象ID(S SRC)的屬性和結(jié)構(gòu)信息，圖像之間的合成方法用諸如Java或VRML等腳本語言描述。
圖11(a)示出了對象之間關(guān)系的例子。
在圖11(a)中，對象是諸如聲音-圖像、CG和文本等媒體。在圖11(a)的例子中，對象構(gòu)成分層結(jié)構(gòu)。每個對象的節(jié)目號“節(jié)目ID”對應于TV頻道，對象標識符“對象ID”用于鑒別對象。當根據(jù)RTP(互聯(lián)網(wǎng)使用的傳輸媒體的媒體傳輸協(xié)議，實時傳輸協(xié)議)傳輸每個對象時，使對象標識符對應于SSRC(同步源標識符)可以容易地鑒別出對象。而且，可以利用諸如JAVA或VRML等描述語言描述對象之間的結(jié)構(gòu)。
考慮用兩種類型的傳輸對象的方法。一種是廣播類型，把對象單方面從發(fā)送側(cè)終端發(fā)送。另一種是在發(fā)送和接收終端(終端A和B)之間傳送對象的類型(通信類型)。
例如，在互聯(lián)網(wǎng)的情況下，可以把RTP用作傳輸方法。在可視電話標準的情況下，利用稱作LCNO的傳輸通道，傳輸控制信息。在圖11(a)的例子中，用多個傳輸通道來傳輸。把相同的節(jié)目通道(節(jié)目ID)分配給這些通道。
圖11(b)的示意圖用于解釋如何實現(xiàn)這種實現(xiàn)了本發(fā)明描述的功能的協(xié)議。下面描述可視電話標準(H.324和H.323)所用的傳輸協(xié)議(H.245)。本發(fā)明描述的功能通過擴展H.245來實現(xiàn)。
圖11(b)中的例子示出的描述方法是稱為ASN.1的協(xié)議描述方法?！敖K端性能集(“Terminal Capabilitycet”)表述終端的性能。在圖11(b)的例子中，描述成“mpeg 4性能”的功能是對傳統(tǒng)H.245的擴展。
在圖12中，“mpeg 4性能”(“MPEG4 Capability”)描述了可以同時被終端處理的最大圖像數(shù)據(jù)(“Max Namber of Video”)和最大聲音信號數(shù)(“Max Numbeof Sounds”)，還描述終端可以實現(xiàn)的最大多路復用功能數(shù)(“Max Number ofMux”)。
在圖12中，表示成可以處理的最大對象量(“Number of ProcessObject”)。而且，描述了表示是否可以改變通信首部(在圖12中表示成AL)的標記。當標記的值為真時，可以改變通信首部。為了利用“MPEG 4性能確認(“MEG 4Capbility ACK”)彼此傳達在終端之間可以處理的對象數(shù)，如果被傳達側(cè)可以接受(處理)這些對象，被傳達側(cè)把“MPEG 4 Capbility ACK”送回給發(fā)送“MPEG 4Capbility”的終端，如果不能，則向該終端回送“MEPG 4性能拒絕”(“MPEG4Capbility Reject”)。
圖13(a)示出了如何描述利用上述組MUX把多個邏輯信通道多路復用成一個傳輸通道(在本例中為LAN傳輸通道)的協(xié)議，以便邏輯通道共用傳輸通道。在圖13(a)的例子中，使多路復用裝置(組MUX)對應于LAN(局域網(wǎng))傳輸通道(LAN端口號，“LAN Poxt Number”)?！敖MMux ID”(“Group Max ID”)是用于鑒別多路復用裝置的標識符。為了“創(chuàng)建組Max”(“Create group Mux”)，使終端共用多路復用裝置，并在終端之間相互傳送，如果被傳送側(cè)可以接受(使用)該多路復用裝置，就向發(fā)送“Greate Group Mux”的終端回送“Greate Group Mux Ack”，如果不能接受，就向該終端回送“Greate Group Mux Reject”?？梢杂孟嗤姆椒▽崿F(xiàn)分離裝置，用作進行與多路復用裝置的操作相反的裝置。
在圖13(b)，描述了刪除了已產(chǎn)生的多路復用裝置的情況(“Destory GroupMux”“破壞組Mux”)。
在圖13(c)中，描述了LAN傳輸通道與多個邏輯通道之間的關(guān)系。
根據(jù)“LAN Port Numbef”描述LAN的傳輸通道，根據(jù)“邏輯端口號”(“Logical Port Number”)描述了邏輯通道。
在圖13(c)的情況下，可以使一個LAN的傳輸通道對應多達15個邏輯通道。
在圖13中，當可以使用的MUX的數(shù)量僅為一個時，組Mux ID就不是必需的了。而且，為了使用多個Mux，對于H.223的每個命令都必須有組Mux ID?？梢允褂脴擞洠詡鬟_多路復用裝置與分離裝置之間使用的端口之間關(guān)系。還可以使用命令使得能選擇是對控制信息進行多路復用，還是通過另一邏輯傳輸線傳輸信息。
圖13(a)至圖13(c)所示的解釋例中，傳輸通道利用LAN。然而，也可使用利用例如H.223或MPEG 2等的互聯(lián)網(wǎng)協(xié)議的系統(tǒng)。
在圖14中，“開邏輯通道”(“Open Logical Channel”)顯示定義傳輸通道屬性的協(xié)議描述。在圖14的例子中，“MPEG 4邏輯通道參數(shù)”(“MPEG4 LogicalParameters”)根據(jù)H.245協(xié)議擴展和定義。
圖15示出了節(jié)目號(對應于TV頻道)，使節(jié)目號被制成對應于LAN的傳輸通道(“MPEG 4邏輯通道參數(shù)”)。
而且，在圖15中“廣播通道節(jié)目”(“Broadcesting Channel Program”)表示根據(jù)廣播類型發(fā)送LAN傳輸通道與節(jié)目號之間對應關(guān)系的描述方法。圖15的例子使得可以發(fā)送多達1023個傳輸通道與節(jié)目號之間對應關(guān)系。由于在廣播的情況下，發(fā)送側(cè)單方面向接收側(cè)發(fā)送，所以考慮到在傳輸期間的丟失現(xiàn)象，必須循環(huán)發(fā)送這些信息片。
在圖16(a)中，描述了要作為節(jié)目傳輸?shù)膶ο?例如圖像或聲音)的屬性(“MPEG4對象類別定義”)(“MPEG4 Object Calssdefinition”)。把對象信息(“對象結(jié)構(gòu)單元”)(“Object Structure Element”)對應于節(jié)目標識符(“ProgramID”)?？梢允苟噙_1023個對象對應于節(jié)目標識符。對于對象信息，描述了LAN傳輸通道(“LAN端口號”)、表示是否使用加密編碼的標記(“加密編碼標記”)(Scramble Flag)、終端過載時定義改變處理優(yōu)先級的偏移值的字段(“CGD偏移”)(“CGD Offset”)以及鑒別要傳輸?shù)拿襟w類型(圖像或聲音)的標識符(“媒體類型”)(“Media type”)。
在圖16(b)所示的例子中，增加了AL(在本例中，定義成一幀解碼圖像所需的附加信息)以控制對ES(在本例中，定義成對應于一幀的圖像的數(shù)據(jù)串)的解碼。對于AL信息，定義如下。
(1)隨機訪問標記(表示是否可獨立再現(xiàn)的標記，真表示幀內(nèi)編碼的圖像幀)(2)展現(xiàn)時間標志(幀顯示的時間)(3)CGD優(yōu)先級(確定當終端過載時的處理優(yōu)先級的優(yōu)先級值)該例子示出了利用RTP(通過互聯(lián)網(wǎng)傳送連續(xù)的媒體的協(xié)議，即實時傳送協(xié)議)傳送一幀的數(shù)據(jù)串的情況。“AL重構(gòu)”是改變可以用上述的AL表示的最大值的傳輸表述。
圖16(b)的例子使得可以把多達2位表示成“隨機訪問標記最大位數(shù)”(“Random Access Flag Max Flag”)。例如，當沒有位時，不使用隨機訪問標記。當有兩位時，最大值等于3。
而且，可以用實數(shù)部分和尾數(shù)部分表示(例如3∧6)。當不設(shè)置數(shù)據(jù)時，可以在缺省確定狀態(tài)下工作。
在圖17中，“設(shè)置請求”(“Setup Request”)表示傳輸設(shè)置時間的傳輸表述?！霸O(shè)置請求”在傳輸節(jié)目之前傳輸，使要傳輸?shù)膫鬏斖ǖ捞?“邏輯通道號”)、要執(zhí)行的程序ID(“執(zhí)行程序號”)(“execative Program Number”)要使用的數(shù)據(jù)ID(“data Number”)和要執(zhí)行的命令I(lǐng)D(“執(zhí)行命令號”)(“excutiveCommand Number”)成彼此對應，并傳輸給接收終端。而且，作為另外的表述方法，可以采用執(zhí)行授權(quán)標記(“flag”)、描述在接收設(shè)置請求多少次時開始執(zhí)行的計數(shù)器(“counter”)和表示在經(jīng)過多少時間后開始執(zhí)行的定時器值(“timer”)，并使它們對應于傳輸通道號。
作為要提出的請求的例子，可列舉重寫AL信息和確保組Mux的增長時間。
圖18的示意圖用于解釋傳輸表述，是否利用圖16(b)描述的AL從發(fā)送終端向接收終端傳送AL(“控制AL定義”)(“Control AL Definstion”)。
在圖18中，如果“隨機訪問標記使用”(“Random Access Flag Use”)為真，則使用隨機訪問標記。如果不為真，就不使用?？梢园袮L變化通知作為控制信息通過與數(shù)據(jù)傳輸通道分開的通道進行傳輸，或通過與數(shù)據(jù)相同的傳輸通道，與數(shù)據(jù)一起傳輸。
作為要執(zhí)行的程序，可列出解碼程序?？梢园言O(shè)置請求用于廣播和通信。根據(jù)上述請求，對接收終端指定用作控制信息的哪一項用作AL信息。而且，可以指定把哪一項用作通信首部，把哪一項用作AL信息，把哪一項用作對接收終端的控制信息。
圖19(a)示出了一種傳輸表述，它利用發(fā)送和接收終端之間的信息幀標識符(“首部ID”)(“header ID”)，根據(jù)用途改變首部信息的結(jié)構(gòu)(數(shù)據(jù)控制信息、傳輸控制信息和控制信息)。
在圖19(a)中，“類別ES首部”(“Calss ES_header”)根據(jù)信息幀標識符，區(qū)分要通過與數(shù)據(jù)傳輸通道相同的通道傳輸?shù)臄?shù)據(jù)控制信息的結(jié)構(gòu)與傳輸控制信息用以在發(fā)送和接收終端之間傳輸?shù)男畔⒌慕Y(jié)構(gòu)通道相同。
例如，當“header ID”值為0時，僅使用“緩存器規(guī)模的ES”(“bufferSize ES”)項，而當“header ID”值為1時，增加(“reserved”)項。
而且，利用缺省標識符(“使用首部擴展”)(“use Header Extension”)，確定是否使用缺省類型信息幀。當“使用首部擴展”是真時，使用如果語句中的項。假設(shè)事先在發(fā)送和接收終端之間確定了這些結(jié)構(gòu)信息。而且，可以使用一種結(jié)構(gòu)，以使用信息幀標識符和缺省標識符之一。
在圖19(b)的例子中，“AL配置”(“AL Configuration”)表示這樣一個例子，它根據(jù)用途通過與發(fā)送和接收終端之間傳輸?shù)臄?shù)據(jù)不同的傳輸通道改變要傳輸?shù)目刂菩畔⒔Y(jié)構(gòu)。信息幀標識符的作用和缺省標識符的作用與圖19(a)的情況相同。
在本發(fā)明的情況下，從下面的觀點具體描述實現(xiàn)同時合成和顯示多個圖像和多個聲音的方法。
(1)通過多條邏輯傳輸線路傳輸(傳達和廣播)圖像和聲音并控制它們的方法。尤其是，描述了通過獨立的邏輯傳輸線路分別傳輸控制信息和數(shù)據(jù)的方法。
(2)動態(tài)改變加到要傳輸?shù)膱D像或聲音的數(shù)據(jù)中的首部信息(AL信息)的方法。
(3)動態(tài)改變增加的通信首部信息以便傳輸?shù)姆椒ā?br>
具體地說，對于第(2)和(3)項，描述了一種控制重疊在AL信息和通信首部上的信息的方法和把AL信息作為控制信息傳輸?shù)姆椒ā?br>
(4)動態(tài)地多路復用和分離多條邏輯傳輸線路和傳輸信息的方法。
描述了一種節(jié)省傳輸線路的通道數(shù)的方法和實現(xiàn)有效多路復用的方法。
(5)考慮到增長時間讀取節(jié)目或數(shù)據(jù)，并傳輸圖像和聲音的方法。而且，描述了減少各種功能和用戶的視在設(shè)置時間的方法。
(6)針對頻道快速切換的圖像或聲音傳輸方法。
本發(fā)明并不僅限于合成兩維圖像。也可以使用把兩維圖像與三維圖像組合的表述方法，或者可以包括合成多幅圖像以使它們?nèi)鐚捯曇皥D像(全景圖像)一樣彼此相鄰接的圖像合成方法。
而且，本發(fā)明不僅僅以諸如雙向CATV和B-ISDN的通信系統(tǒng)為對象。例如，可以使用無線電波(例如VHF頻段或UHF頻段)，或者從中央終端向家用終端傳輸圖像和聲音的廣播衛(wèi)星以及從家用終端向中央終端傳送信息的模擬電話線或N-ISND(并不總是必須多路復用圖像、聲音或數(shù)據(jù))。
而且，可以使用無線電通信系統(tǒng)，諸如IrDA、PHS(個人手持電話)，或者無線電LAN。而且，對象終端可以是例如便攜式信息終端的便攜式終端或例如設(shè)置盒或個人計算機等桌面終端。而且，作為應用范圍，還有可視電話、多點監(jiān)視系統(tǒng)、多媒體系統(tǒng)、多媒體數(shù)據(jù)庫檢索系統(tǒng)和游戲機。本發(fā)明不僅包括接收終端，而且還包括連接到接收終端的服務器和轉(zhuǎn)發(fā)器。
在上述例子中，描述了避免RTP(通信)首部與AL信息重疊的方法和擴充RTP通信首部或AL信息的方法。然而，本發(fā)明并不總是必須使用RTP。例如，也可以利用UDP或TCP重新定義原通信首部或AL信息。雖然互聯(lián)網(wǎng)類環(huán)境有時使用RTP，但對于原類環(huán)境并不定義諸如RTP等多功能首部。如上所述，有四種關(guān)于AL信息和通信首部的概念。
因此，通過動態(tài)動確定數(shù)據(jù)控制信息的信息幀、傳輸控制信息或發(fā)送和接收終端使用的控制信息(例如包括要增加的信息序列和以序列號的形式首先把隨機訪問標記分配成1位標記信息和其后把隨機訪問標記分配成16位的位數(shù)的信息幀)，可以根據(jù)用途或傳輸線路僅改變對應于狀況的信息幀。
每一信息的幀可以是如圖6(a)至6(d)已示出了任一種，在RTP的情況下，數(shù)據(jù)控制信息(AL)可以是每種媒體的首部信息(例如，在H.263的情況下，可以是視頻首部信息或H.263固有的有效負載的首部信息)，傳輸控制信息可以是RTP首部信息，控制信息可以是控制諸如RTCP等RTP的信息。
而且，在發(fā)送和接收終端之間預先設(shè)置了公知的信息幀的情況下，通過分別發(fā)送和接收數(shù)據(jù)控制信息、傳輸控制信息和控制信息(通過與控制終端處理的數(shù)據(jù)的數(shù)據(jù)包不同的數(shù)據(jù)包傳輸?shù)男畔?，提供缺省的標識符，表示是否處理信息，可以了解信息幀是否改變了。僅當進行改變時，根據(jù)圖16所示的方法，設(shè)置缺省標識符并傳輸已改變的內(nèi)容(例如時間標志信息從32位改變成16位)，這能防止信息的幀信息沒有改變時傳輸不必要的配置信息。
例如，考慮下面的兩種方法，改變數(shù)據(jù)控制信息的信息幀。首先，描述在數(shù)據(jù)本身改變數(shù)據(jù)控制信息的信息幀的方法時，設(shè)置數(shù)據(jù)控制信息的信息幀描述的數(shù)據(jù)中出現(xiàn)的信息的缺省標識符(要寫入到固定區(qū)域或位置)，然后描述信息幀的變化內(nèi)容。
為了改變數(shù)據(jù)控制信息的信息幀，描述另一種把僅改變控制信息(信息幀控制信息)內(nèi)的數(shù)據(jù)的信息幀的方法時，設(shè)置控制信息提供的缺省標識，描述要改變的數(shù)據(jù)控制信息的信息幀的內(nèi)容，并根據(jù)ACK/拒絕傳送給接收終端，確認數(shù)據(jù)控制信息的信息幀改變后，傳輸信息幀已改變的數(shù)據(jù)。也可以根據(jù)上述兩種方法改變傳輸控制信息和控制信息的信息幀(圖19)。
更具體地說，雖然MPEG2的首部信息是固定的，通過為節(jié)目映射表提供缺省標識符(由PSI定義)，使MPEG2-Ts的視頻數(shù)據(jù)流(傳送數(shù)據(jù)流)與其音頻數(shù)據(jù)流相關(guān)聯(lián)，并定義配置數(shù)據(jù)流，描述改變視頻數(shù)據(jù)流和音頻數(shù)據(jù)流信息的幀的方法，可以首先解釋配置數(shù)據(jù)流，然后根據(jù)設(shè)置缺省標識符時配置數(shù)據(jù)流的內(nèi)容，解釋視頻和音頻數(shù)據(jù)流的首部?？梢允古渲脭?shù)據(jù)流具有圖19所示的內(nèi)容。
與傳輸方法和/或要傳輸?shù)臄?shù)據(jù)的結(jié)構(gòu)有關(guān)的本發(fā)明的內(nèi)容(發(fā)送格式信息)對應于例如上述實施例中的信息幀。
對于上述實施例，主要描述了與傳輸方法和/或要傳輸?shù)臄?shù)據(jù)的結(jié)構(gòu)有關(guān)的要改變的內(nèi)容。然而，也可以使用僅傳輸內(nèi)容標識符的結(jié)構(gòu)。在這種情況下，如圖44所示，也可以使用音頻-視頻發(fā)送機，這種發(fā)送機設(shè)置(1)發(fā)送裝置5001，用于通過與數(shù)據(jù)相同的傳輸線路或與前一傳輸線路不同的傳輸線路，發(fā)送與傳輸方法和/或要發(fā)送的數(shù)據(jù)的結(jié)構(gòu)有關(guān)的內(nèi)容或表示內(nèi)容的標識符，作為發(fā)送格式內(nèi)容；(2)存儲裝置5002，用于存儲與傳輸方法和/或要發(fā)送的數(shù)據(jù)的內(nèi)容有關(guān)的多種類型的內(nèi)容和這些內(nèi)容的多種類型的標識符，其中標識符至少包括在數(shù)據(jù)控制信息、傳輸控制信息和控制終端側(cè)處理的信息之一中。而且，如圖45所示，可以使用一種音頻-視頻接收機，該接收機設(shè)置用于接收音頻-視頻發(fā)送機發(fā)送的接收裝置5101和解釋接收到的發(fā)送格式信息的發(fā)送格式信息解釋裝置5102。而且，音頻-視頻接收機可做成具有存儲裝置5103構(gòu)成，用于存儲與傳輸方法和/或要發(fā)送的數(shù)據(jù)的結(jié)構(gòu)有關(guān)的多種類型的內(nèi)容和這些內(nèi)容的多種類型的標識符，當接收標識符作為發(fā)送格式信息時，用存儲在存儲裝置中的內(nèi)容解釋標識符的內(nèi)容。
更具體地說，準備發(fā)送和接收終端之間預先確定的多種類型的信息幀，并與數(shù)據(jù)一起傳輸上述信息幀的標識符和多種類型的數(shù)據(jù)控制信息、多種類型的傳輸控制信息和多種類型的控制信息(傳輸幀控制信息)的信息幀標識符，作為控制信息，這樣，可以根據(jù)要傳輸?shù)拿襟w類型或傳輸線路的容量鑒別多種類型的數(shù)據(jù)控制信息、多種類型的傳輸控制信息和多種類型的控制信息，隨意選擇每種類型信息的信息幀。本發(fā)明的標識符對應于上述信息幀標識符。
即使信息幀在接收側(cè)終端改變了，也可以通過把標識符加到要傳輸?shù)男畔⒌念A定的固定長度區(qū)域中或預定位置上，讀取和解釋這些信息標識符和缺省標識符。
而且，除了上述實施例描述的結(jié)構(gòu)之外，也可以使用這樣一種結(jié)構(gòu)，在花很多時間來設(shè)置需要的節(jié)目或數(shù)據(jù)時，利用廣播通道，僅廣播通過多頻道廣播的圖像的標題圖像，從而臨時選擇用戶要觀看和收聽的節(jié)目的捕獲圖像，并切換用戶要觀看和收聽的節(jié)目。
如上所述，本發(fā)明可以根據(jù)用途或傳輸線路，動態(tài)地確定發(fā)送和接收終端使用的數(shù)據(jù)控制信息的幀、傳輸控制信息或控制信息，從而對應于狀態(tài)改變信息的幀。
而且，可以通過提供缺省標識符，表示是否分別利用發(fā)送和接收終端之間預先設(shè)置的數(shù)據(jù)控制信息、傳輸控制信息和控制信息的公知信息發(fā)送或接收并處理信息，因而可以得知信息幀是否改變，并且即使信息的信息幀由于設(shè)置了缺省標識符沒有改變也可以防止傳輸不必要的配置信息，僅當進行了改變時才傳送改變的內(nèi)容。
再者，通過準備在發(fā)送和接收終端之間預先確定的多種信息幀，并與數(shù)據(jù)一起傳輸鑒別多種類型的數(shù)據(jù)控制信息的信息幀標識符、多種類型的傳輸控制信息和多種類型的控制信息，可以鑒別多種類型的數(shù)據(jù)控制信息、多種類型的傳輸控制信息和多種類型的控制信息，并且根據(jù)要傳輸?shù)拿襟w的類型或傳輸線路的容量，可以隨意地選擇各種類型的信息幀。
即使在接收側(cè)終端上信息幀改變了，通過把標識符加到要傳輸?shù)男畔⒌念A定的固定長度區(qū)域中或預定的位置，也可以讀取和解釋這些信息標識符和缺省標識符。
下面參照附圖描述本發(fā)明的實施例。
在本例中，解釋了上述問題(B1)至(B3)中的一個問題。
本發(fā)明所用的“圖像”包括靜止圖像或活動圖像。而且，提出的圖像可以是二維圖像，例如計算機制圖(CG)圖像，或者可以是用線框型構(gòu)成的三維圖像數(shù)據(jù)。
圖25是本發(fā)明的實施例的圖像編碼器或圖像解碼器的示意性框圖。
發(fā)送或記錄各種編碼信息發(fā)送控制部分4011是傳送軸電纜、CATV、LAN或調(diào)制解調(diào)器等的信息的裝置。圖像編碼器4101具有圖像編碼部分4012，用于對諸如H.263、MPE61/2、JPEG圖像信息進行編碼或進行Huffman編碼，還具有發(fā)送控制部分4011。而且，圖像編碼器4102的輸出部分4016由下列部分構(gòu)成接收各種編碼信息的接收控制部分4013、解碼各種接收到的圖像信息的圖像解碼部分4014、合成一幅或多幅解碼圖像的圖像合成部分4015和由輸出圖像的顯示器和打印機構(gòu)成的輸出部分的4016、圖26是本發(fā)明一個實施例的音頻編碼器和音頻解碼器的示意性框圖。
音頻編碼器(聲音編碼器4021)由下列部分構(gòu)成發(fā)送或記錄各種編碼信息的發(fā)送控制部分4021和對諸如G.721或MPEG1音頻信號的音頻信息進行編碼的音頻編碼部分4022。音頻解碼器(聲音解碼器)4202由下列部分構(gòu)成接收各種編碼信息的接收控制部分4023、解碼上述音頻信息的音頻解碼部分4024、合成一個或多個解碼音頻信號的音頻合成部分(聲音合成部分)4025和輸出音頻信號的輸出裝置4026。
上述編碼或解碼器對聲音或圖像的時間序列數(shù)據(jù)進行具體的編碼或解碼。
圖25和26的通信環(huán)境可以是能使用多條邏輯傳輸線路而不考慮多路復用裝置的環(huán)境，如互聯(lián)網(wǎng)的情況，或者是必需考慮多路復用裝置的環(huán)境，如模擬電話或衛(wèi)星廣播的情況。作為終端連接系統(tǒng)，可列舉諸如在可視電話或可視電話會議等終端之間雙方傳輸圖像或聲音的系統(tǒng)，或在衛(wèi)星廣播、CATV或互聯(lián)網(wǎng)上廣播廣播類型圖像或聲音的系統(tǒng)。
可以用諸如JAVA、VRML或MHEG等腳本語，描述圖像和聲音、圖像和聲音的結(jié)構(gòu)信息(顯示位置和顯示時間)、音頻一視頻分組方法、圖像顯示層(深度)和對象ID(鑒別諸如圖像或聲音等各種對象的ID)和和它們的屬性之間的關(guān)系，這樣可以定義一種合成圖像或聲音的方法。描述合成方法的腳本從網(wǎng)絡或本地存儲器獲得。
而且，可以任意組合任意數(shù)量的圖像編碼器、圖像解碼器、音頻編碼器和音頻解碼器，構(gòu)成發(fā)送或接收終端。
圖27(a)的示意圖用于解釋控制過載處理優(yōu)先級的優(yōu)先級添加部分和優(yōu)先級確定部分。為圖像編碼器4101和音頻編碼器4201設(shè)置優(yōu)先級添加部分31，根據(jù)預定的標準，利用諸如H.263或G.723的編碼方法，確定過載時處理編碼信息的優(yōu)先級，并使編碼信息與確定的優(yōu)先級相關(guān)聯(lián)。
添加優(yōu)先級的基準是在圖像的情況下為場面變化，在編輯者或用戶指定的圖像幀、數(shù)據(jù)流或聲音的情況下為有聲區(qū)和無聲區(qū)。
向通信首部添加優(yōu)先級的方法和在編碼時把優(yōu)先級嵌入到要編碼的視頻或音頻的位流的首部內(nèi)的方法都可以考慮作為定義過載時優(yōu)先級的優(yōu)先級添加方法。前一種方法可以不用解碼信息而獲得與優(yōu)先級有關(guān)的信息，后一種方法可以獨立地處理一個位流，而與系統(tǒng)無關(guān)。
如圖27(b)所示，當把優(yōu)先級信息加到通信首部，并把一圖像幀(例如幀內(nèi)編碼的I幀或幀間編碼的P或B幀)分割成多個傳輸數(shù)據(jù)包時，在圖像的情況下，僅把優(yōu)先級加到通信首部中，以把可訪問的圖像幀的首部作為單一信息傳輸(當在同一圖像中優(yōu)先級相同時，可以假設(shè)一直到下一次出現(xiàn)可訪問圖像幀時，優(yōu)先級都沒有變化)。
又，在解碼器的情況下，根據(jù)在過載時接收到的各種編碼信息的優(yōu)先級，為圖像解碼器4102和音頻解碼器4202設(shè)置了確定處理方法的優(yōu)先級處理部分32。
圖28(a)至28(c)的示意圖用于解釋添加優(yōu)先級的等級。解碼是利用兩種類型的優(yōu)先級進行的，以確定終端過載時處理的優(yōu)先級。
即，定義了用于規(guī)定在位流(諸如圖像和聲音的位流)過載時處理的優(yōu)先級的數(shù)據(jù)流優(yōu)先級(數(shù)據(jù)流優(yōu)先級；時間序列數(shù)據(jù)間優(yōu)先級)；用于規(guī)定同一數(shù)據(jù)流中幀(例如圖像幀)過載時處理的優(yōu)先級的幀優(yōu)先級(幀優(yōu)先級；時間序列數(shù)據(jù)內(nèi)優(yōu)先級)(參見圖28(a))。
前一種數(shù)據(jù)流優(yōu)先級可以處理多個視頻或音頻數(shù)據(jù)。后一種幀優(yōu)先級可以根據(jù)編輯者的意向，向圖像場面變化或同一幀內(nèi)編碼的圖像幀(I幀)增添不同的優(yōu)先級。
數(shù)據(jù)流優(yōu)先級表示的值表示把它處理成相對值和把它處理成絕對值的情況(參見圖28(b)和28(c))。
在網(wǎng)絡上，由諸如路由器或網(wǎng)關(guān)等轉(zhuǎn)發(fā)終端處理數(shù)據(jù)流優(yōu)先級和幀優(yōu)先級；在終端，則由發(fā)送和接收終端進行處理。
考慮用兩種方法表示絕對值或相對值。一種是圖28(b)所示的方法，另一種是圖28(c)所示的方法。
在圖28(b)中，絕對值優(yōu)先級是表示編輯者增加或機器增加的圖像數(shù)據(jù)流(視頻流)或音頻流過載時處理(或要處理)的順序的值(但不是考慮了實際網(wǎng)絡或終端的負荷變化的值)。相對值優(yōu)先級是根據(jù)終端或網(wǎng)絡的負荷改變絕對優(yōu)先級值的值。
根據(jù)網(wǎng)絡的負荷波動等把優(yōu)先級成分相對值和絕對值進行控制值，從而僅在發(fā)送側(cè)或由轉(zhuǎn)發(fā)器改變相對值，這樣可以保留加到視頻或音頻數(shù)據(jù)流中的絕對優(yōu)先級，同時將其值記錄到硬盤上或VTR上。因此，當記錄絕對優(yōu)先級的值時，可以再現(xiàn)不受網(wǎng)絡的負荷波動等影響的圖像或聲音。而且，可以獨立于數(shù)據(jù)通過控制通道傳輸相對或絕對優(yōu)先級。
在圖28(b)中，可以與數(shù)據(jù)流優(yōu)先級進行精細的等級比較，處理幀優(yōu)先級，把過載時的幀處理優(yōu)先級定義成相對優(yōu)先級值，或者把它處理成絕對優(yōu)先級值。例如，描述編碼圖像中的絕對幀優(yōu)先級和描述對應于加到傳輸編碼信息的通信數(shù)據(jù)包的首部中的圖像幀中的絕對優(yōu)先級的相對幀優(yōu)先級，反映網(wǎng)絡或終端的負荷波動，這樣，即使在幀一級的情況下，也可以在保留原優(yōu)先級的同時，添加對應于網(wǎng)絡或終端的負荷的優(yōu)先級。
還可以獨立于數(shù)據(jù)，在控制通道中，而不是通信首部描述與幀的關(guān)系，來傳送相對優(yōu)先級。這樣，可保留原來加到圖像或聲音數(shù)據(jù)流的絕對優(yōu)先級，同時把數(shù)據(jù)記錄到硬盤或VTR上。
而且，在圖28(b)中，當在接收終端再現(xiàn)數(shù)據(jù)，并同時通過網(wǎng)絡傳輸數(shù)據(jù)而不在接收終端上記錄數(shù)據(jù)時，由于不必在接收終端分開絕對值和相對值進行控制，可以在發(fā)送側(cè)對幀和數(shù)據(jù)流兩級計算絕對優(yōu)先級的值和相對優(yōu)先級后，僅傳送絕對值。
在圖28(c)中，絕對值優(yōu)先級是從數(shù)據(jù)流優(yōu)先級和幀優(yōu)先級之間的關(guān)系獲得的幀之間唯一確定的值。相對值優(yōu)先級是表示編輯者添加的或機器添加的圖像數(shù)據(jù)流或音頻數(shù)據(jù)流在過載時處理(或要處理)的順序的值。在圖28(c)的例子中，增添圖像或聲音數(shù)據(jù)流的幀優(yōu)先級(相對；相對值)或每個數(shù)據(jù)流的數(shù)據(jù)流優(yōu)先級。
從相對幀優(yōu)先級和數(shù)據(jù)流優(yōu)先級之和獲得絕對幀優(yōu)先級(絕對；絕對值)(即，絕對幀優(yōu)先級＝相對幀優(yōu)先級+數(shù)據(jù)流優(yōu)先級)。為了獲得絕對優(yōu)先級，也可以使用相減方法或常數(shù)相乘方法。
絕對幀優(yōu)先級主要用于網(wǎng)絡。這是因為利用絕對值的表述不需要確定通過諸如路由器或網(wǎng)關(guān)等轉(zhuǎn)發(fā)器考慮數(shù)據(jù)流優(yōu)先級和幀優(yōu)先級，來確定每幀的優(yōu)先級。利用絕對幀優(yōu)先級，使轉(zhuǎn)發(fā)器廢棄幀之類的處理簡化。
而且，可以希望把相對幀優(yōu)先級主要應用于累積系統(tǒng)，以進行記錄或編輯。在編輯操作的情況下，可以同時處理多個圖像和聲音數(shù)據(jù)流。在這種情況下，可以根據(jù)終端或網(wǎng)絡的負荷情況限制能再現(xiàn)圖像數(shù)據(jù)流的數(shù)量和幀的數(shù)量。
在上述情況下，與僅通過把數(shù)據(jù)流優(yōu)先級與幀優(yōu)先級分離來表述絕對值的情況不同，不必重新計算每個幀優(yōu)先級，即僅通過改變編輯者想優(yōu)先顯示或用戶要看的數(shù)據(jù)流的數(shù)據(jù)流優(yōu)先級即可。因此，必須根據(jù)用途利用絕對表述或相對表述。
通過描述是把數(shù)據(jù)流優(yōu)先級用作相對值還是用作絕對值，可以有效地表示傳輸和累積的優(yōu)先級在圖28(b)的情況下，其區(qū)別是利用表示數(shù)據(jù)流優(yōu)先級表述的值是絕對值還是相對值的標記或標識符，跟蹤數(shù)據(jù)流優(yōu)先級表述的值是相對值還是絕對值的數(shù)據(jù)流優(yōu)先級。在幀優(yōu)先級的情況下，不需要標記或標識符，這是因為在通信首部描述了相對值，在編碼幀內(nèi)描述了絕對值。
在圖28(c)的例子中，使用了鑒別幀優(yōu)先級是絕對值還是相對值的標記或標識符。在絕對值的情況下，幀優(yōu)先級是根據(jù)數(shù)據(jù)流優(yōu)先級和相對幀優(yōu)先級計算得到的優(yōu)先級，因此，轉(zhuǎn)發(fā)器或終端并不進行這種計算。而且，當終端已知計算公式時，可以根據(jù)絕對幀優(yōu)先級和數(shù)據(jù)流優(yōu)先級反向計算相對幀優(yōu)先級。例如，還可以從下面的相對表述獲得要傳輸?shù)臄?shù)據(jù)包的絕對優(yōu)先級(訪問單元優(yōu)先級)“訪問單元優(yōu)先級＝數(shù)據(jù)流優(yōu)先級-幀優(yōu)先級”在這種情況下，由于它是在從數(shù)據(jù)流優(yōu)先級中減去了之后獲得的，所以也可以把幀優(yōu)先級表示也降低優(yōu)先級。
使一個或多個數(shù)據(jù)流優(yōu)先級與通過TCP/IP邏輯通道(LAN的端口號)的數(shù)據(jù)處理的優(yōu)先級相關(guān)聯(lián)，也可以控制數(shù)據(jù)處理。
再者，通過把比字符或控制信息低的數(shù)據(jù)流優(yōu)先級或幀優(yōu)先級分配給圖像或聲音，預期可以減少重發(fā)。這是因為即使部分圖像或聲音丟失，在大多數(shù)情況下也不會產(chǎn)生問題。
圖29的示意圖用于解釋把優(yōu)先級分配給多分辨率視頻數(shù)據(jù)的方法。
當一個數(shù)據(jù)流由多個子數(shù)據(jù)流構(gòu)成時，可以定義一種子數(shù)據(jù)流處理方法，把數(shù)據(jù)流優(yōu)先級加到子數(shù)據(jù)流中，并描述累積或傳輸時的邏輯和或邏輯積。
在子波的情況下，可以把一圖像幀分解成多個不同分辨率的圖像幀。而且，即使在DCT基編碼的方法中，通過把圖像幀分割成高頻分量和低頻分量，并對它們進行編碼，也可以把一圖像幀分解成多個不同分辨率的圖像幀。
除了加到由一系列分解的圖像幀構(gòu)成的多個圖像數(shù)據(jù)流中的數(shù)據(jù)流優(yōu)先級之外，圖像數(shù)據(jù)流之間的關(guān)系用“與”(邏輯積)以及“或”(邏輯和)來定義，以描述這種關(guān)系。具體地說，當數(shù)據(jù)流A的數(shù)據(jù)流優(yōu)先級為5，數(shù)據(jù)流B的數(shù)據(jù)流優(yōu)先級為10時(數(shù)值越小，優(yōu)先級越高)，圖像數(shù)據(jù)流之間的關(guān)系被定義成根據(jù)優(yōu)先級廢棄數(shù)據(jù)流數(shù)據(jù)的情況下，廢棄數(shù)據(jù)流B，但通過描述數(shù)據(jù)流之間的關(guān)系，在“與”的情況下，即使數(shù)據(jù)流B的優(yōu)先級低于閾值優(yōu)先級，也可以傳輸和處理數(shù)據(jù)流B，而不廢棄。
因而，可以處理相關(guān)數(shù)據(jù)流而不廢棄。在“或”的情況下，定義成可以廢棄相關(guān)數(shù)據(jù)流。可以在發(fā)送或接收終端甚至在轉(zhuǎn)發(fā)終端進行廢棄處理。
而且，作為描述關(guān)系的運算符，當把同一視頻剪輯分別編碼成24Kbps和48Kbps時，存在再現(xiàn)24或48Kbps的情況(用異邏輯和“異或”描述關(guān)系)。
當前者的優(yōu)先級被設(shè)置成10后者的優(yōu)先級被設(shè)置成5時，用戶可以根據(jù)優(yōu)先級再現(xiàn)后者，或者不遵循優(yōu)先級，選擇后者。
圖30的示意圖用于解釋通信有效負載的構(gòu)成方法。
當由多個子數(shù)據(jù)流構(gòu)成時，例如根據(jù)加到子數(shù)據(jù)流中的數(shù)據(jù)流優(yōu)先級，從具有最高優(yōu)先級的子數(shù)據(jù)流開始，依次構(gòu)成傳輸數(shù)據(jù)包，則在傳輸數(shù)據(jù)包一級上廢棄變得容易。而且，精細地對分別具有高幀優(yōu)先級的對象的信息進行分等級并組成單元，從而構(gòu)成通信數(shù)據(jù)包可以使在通信數(shù)據(jù)包一級上廢棄變得容易。
通過使圖像的切片結(jié)構(gòu)與通信數(shù)據(jù)包相關(guān)聯(lián)，回送遺漏的數(shù)據(jù)包變得容易。即，通過使圖像的切片結(jié)構(gòu)與數(shù)據(jù)包結(jié)構(gòu)相關(guān)聯(lián)，不需用于再同步的再同步標記。除了與通信數(shù)據(jù)包結(jié)構(gòu)一致的切片結(jié)構(gòu)之外，必須增加再同步標記(告知回送位置的標記)，以便由于遺漏數(shù)據(jù)包使信息受損時，也可以進行再同步。
根據(jù)上文所述述，可認為把高防錯措施應用于具有高優(yōu)先級的通信數(shù)據(jù)包。而且，圖像的切片結(jié)構(gòu)表示諸如GOB或MB等的集合圖像信息單元。
圖31的示意圖用于解釋使數(shù)據(jù)與通信有效負載相關(guān)聯(lián)的方法。通過把數(shù)據(jù)流或?qū)ο笈c通信數(shù)據(jù)包相關(guān)聯(lián)的方法與控制信息或數(shù)據(jù)一起傳送，可以根據(jù)通信狀態(tài)或用途產(chǎn)生任意的數(shù)據(jù)格式。例如在RTP(實時傳送協(xié)議)的情況下，對要處理的每次編碼定義RTP的有效負載。已有的RTP格式是固定。在H.263的情況下，如圖31所示，定義了模式A至模式C的三種數(shù)據(jù)格式。在H.263的情況下，沒有定義以多分辨率圖像格式為對象的通信有效負載。
在圖31的例子中，把層號和上述關(guān)系描述(“與”，“或”)加到模式A的數(shù)據(jù)格式中，并加以定義。
圖32的示意圖用于解釋幀優(yōu)先級、數(shù)據(jù)流優(yōu)先級和通信數(shù)據(jù)包優(yōu)先級之間的關(guān)系。
而且，圖32示出了把在傳輸線路上加到通信數(shù)據(jù)包中的優(yōu)先級用作通信數(shù)據(jù)包優(yōu)先級，并使數(shù)據(jù)流優(yōu)先級和幀優(yōu)先級與通信數(shù)據(jù)包優(yōu)先級相對應的例子。
通常，在利用IP進行通信的情況下，必須使加到圖像或聲音數(shù)據(jù)中的幀優(yōu)先級或數(shù)據(jù)流優(yōu)先級與低端IP數(shù)據(jù)包的優(yōu)先級相對應來傳輸數(shù)據(jù)。由于圖像或聲音數(shù)據(jù)被分割成IP數(shù)據(jù)包來傳輸，所以必須使這些優(yōu)先級彼此相對應。在圖32的例子中，由于數(shù)據(jù)流優(yōu)先級的值為0至3，幀優(yōu)先級的值從0至5，所以高端數(shù)據(jù)的優(yōu)先級可以從0至15。
在Ipv6的情況下，保留了0至7的優(yōu)先級(4位)，用于阻塞控制業(yè)務。保留了優(yōu)先級8至15用于實時通信業(yè)務或非阻塞控制業(yè)務。優(yōu)先級15是最高優(yōu)先級，優(yōu)先級8是最低優(yōu)先級。這表示在IP數(shù)據(jù)包一級的優(yōu)先級。
在利用IP的數(shù)據(jù)傳輸?shù)那闆r下，必須使0至15的高端優(yōu)先級與8至15的低端IP優(yōu)先級相對應。為了使這些優(yōu)先級彼此相對應，可以削除一些高端優(yōu)先級的方法，或者可以利用性能評價函數(shù)使這些優(yōu)先級彼此相對應。建立高端數(shù)據(jù)與低端IP優(yōu)先級的對應關(guān)系在中繼節(jié)點(路由器或網(wǎng)關(guān))或發(fā)送和接收終端上進行的。
傳送手段并不僅限于IP?？梢跃哂邢驛TM或MPEG2的TS(傳送數(shù)據(jù)流)一樣，使用具有表示是否可廢棄的標記的數(shù)據(jù)包。
至此已描述的幀優(yōu)先級和數(shù)據(jù)流優(yōu)先級可以應用于傳輸媒體或數(shù)據(jù)記錄媒體?？梢允褂密洷P或光盤作為數(shù)據(jù)記錄媒體。
不僅可以使用軟盤或光盤，也可以使用諸如IC卡或ROM盒等媒體，只要在這種媒體上可以記錄節(jié)目。再者，也可以使用音頻-視頻轉(zhuǎn)發(fā)器(例如，路由器或網(wǎng)關(guān))來中繼數(shù)據(jù)。
而且，根據(jù)數(shù)據(jù)流優(yōu)先級(時間序列數(shù)據(jù)間優(yōu)先級)或幀優(yōu)先級(時間序列數(shù)據(jù)內(nèi)優(yōu)先級)的信息，確定要重發(fā)的時間序列數(shù)據(jù)，從而實現(xiàn)優(yōu)先重發(fā)。例如，當在接收端根據(jù)優(yōu)先級信息進行解碼時，可以防止非處理對象的數(shù)據(jù)流或幀被重發(fā)。
還可與目前要處理的優(yōu)先極分開，根據(jù)重發(fā)次數(shù)和成功發(fā)送次數(shù)之間的關(guān)系確定具有應重要優(yōu)先級的數(shù)據(jù)流或幀。
此外，在發(fā)送側(cè)終端的情況下，根據(jù)數(shù)據(jù)流優(yōu)先級(時間序列數(shù)據(jù)間優(yōu)先級)或幀優(yōu)先級(時間序列數(shù)據(jù)內(nèi)優(yōu)先級)的信息確定要發(fā)送的時間序列數(shù)據(jù)，從而實現(xiàn)優(yōu)先發(fā)送。例如，根據(jù)平均傳送速率或重發(fā)次數(shù)，確定要發(fā)送的幀或數(shù)據(jù)流的優(yōu)先級，即使網(wǎng)絡過載時也可以發(fā)送自適應圖像或聲音。
上述實施例并不限于二維圖像合成。也可以用的把二維圖像與三維圖像組合而獲得的表述方法，或者包括合成多幅圖像的圖像合成方法，從而如寬視場圖像(全景圖像)那樣，各圖像彼此鄰接。而且，本發(fā)明提出的通信系統(tǒng)并不限于雙向CATV或B-ISDN。例如，把圖像和聲音從中央側(cè)終端傳輸給家庭終端可以使用無線電波(例如VHF或UHF波段)，或者使用衛(wèi)星廣播，把源于家庭側(cè)終端的信息發(fā)送到中央側(cè)終端可以使用模擬電話線路或N-ISDN(并不總是需要多路復用圖像、聲音或數(shù)據(jù))。還可以使用利用無線電的通信系統(tǒng)，例如IrDA、PHS(個人手持電話)或無線電LAN。
而且，目的終端可以是便攜終端(例如便攜信息終端)或桌面終端(例如頂置盒或個人計算機)。
如上所述，本發(fā)明可以容易地處理多個視頻數(shù)據(jù)流和多個音頻數(shù)據(jù)流，并有重點地與聲音同步再現(xiàn)主要場面片段，以反映編輯者的意圖。
下面參照附圖描述本發(fā)明的實施例。
下述的實施例解決了上述問題(C1)至(C3)之一。
圖33示出了第一實施例的發(fā)送機的結(jié)構(gòu)。符號2101表示圖像輸入端，一張圖像的大小為144像素×176像素。符號2102表示視頻編碼器，由四個部分1021、1022、1023和1024構(gòu)成(參見推薦H.261)。
符號1021表示轉(zhuǎn)換單元，把輸入圖像分割成宏塊(16像素×16像素的方形區(qū)域)，并確定對這些塊是進行幀內(nèi)編碼還是進行幀間編碼，1022表示移動補償裝置，根據(jù)可以根據(jù)上次編碼結(jié)果計算得到的本機解碼圖像，產(chǎn)生移動補償圖像，計算移動補償圖像與輸入圖像之間的差異，并以宏塊形式輸出結(jié)果。移動補償包括具有長處理時間的半像素預測和具有短處理時間的全像素預測。符號1023表示正交變換裝置，對每個宏塊進行DCT變換，1024表示長度可變編碼裝置，對DCT變換結(jié)果和其它編碼信息進行加密編碼。
符號2103表示計數(shù)裝置，對視頻編碼器2102的四個部件的執(zhí)行次數(shù)進行計數(shù)，并向變換裝置輸出每個輸入圖像的計數(shù)結(jié)果。在這種情況下，從移動補償裝置1022對半像素預測的執(zhí)行次數(shù)和全像素預測的執(zhí)行次數(shù)進行計數(shù)。
符號2104表示變換裝置，輸出如圖34所示的數(shù)據(jù)串。符號2105表示發(fā)送裝置，把視頻編碼器2102的可變長度碼與變換裝置2104的數(shù)據(jù)串多路復用成一個數(shù)據(jù)串，并向數(shù)據(jù)輸出端2109輸出該數(shù)據(jù)。
根據(jù)上述結(jié)構(gòu)，可以向接收機發(fā)送必要處理(轉(zhuǎn)換單元1021、正交變換裝置1023和長度可變編碼裝置1024)和非必要處理(移動補償裝置1022)的執(zhí)行次數(shù)。
第一實施例的發(fā)送機對應于權(quán)利要求68。
圖40是第二實施例的發(fā)送方法的流程圖。
由于本實施例的操作與第一實施例相似，所以附注了相應的單元。在步驟801(圖像輸入端2101)輸入圖像，并在步驟802把圖像分割成宏塊。此后，重復步驟803至步驟806的處理，直到根據(jù)步驟807內(nèi)的條件分支完成了對應于每個宏塊的處理。而且，當執(zhí)行了每個處理，使能以具體的變量記錄從步驟803至步驟806的處理的次數(shù)時，把相應變量增1。
首先，在步驟803(轉(zhuǎn)換單元1021)確定對要處理的宏塊進行塊內(nèi)編碼還是塊間編碼。當對宏塊進行塊間編碼時，在步驟804(移動補償裝置1022)進行移動補償。此后，在步驟805和步驟806(正交變換裝置1023和可變長度編碼裝置1024)進行DCT變換和可變長度編碼。當完成了對每個宏塊的處理時(在步驟807為“是”的情況下)，在步驟808讀取表示對應于每次處理的執(zhí)行次數(shù)的變量，產(chǎn)生如圖2所示的數(shù)據(jù)串，并多路復用和輸出該數(shù)據(jù)串和代碼。只要繼續(xù)有輸入圖像，就重復執(zhí)行步驟801至步驟808的處理。上棕結(jié)構(gòu)可以傳送每次處理的執(zhí)行次數(shù)。
第二實施例的發(fā)送方法對應于權(quán)利要求67。
圖35示出了第三實施例的接收機結(jié)構(gòu)。
在圖35中，符號307表示輸入端，輸入第一實施例的發(fā)送機的輸出，302表示接收裝置，根據(jù)第一實施例的發(fā)送機的輸出，通過去多路復用，取得可變長度碼和數(shù)據(jù)串，并輸出。在這種情況下，假設(shè)測量并輸出了接收一頁數(shù)據(jù)所需要的時間。
符號303表示把可變長度碼用作輸入的視頻解碼器，它由五個部分構(gòu)成。符號3031表示可變長度解碼裝置，從可變長度碼取得DCT系數(shù)和其它編碼信息，3032表示反正交變換裝置，對DCT系數(shù)進行反DCT變換，3033表示轉(zhuǎn)換裝置，根據(jù)表示宏塊是幀內(nèi)編碼還是幀間編碼的編碼信息向上或向下對每個宏塊的輸出進行轉(zhuǎn)換。符號3034表示移動補償裝置，利用上次解碼圖像和移動編碼信息，產(chǎn)生移動補償圖像，并與反正交變換裝置3032的輸出相加后輸出。符號3035表示執(zhí)行時間測量裝置，測量從把可變長度碼輸入到解碼器303后到完成解碼和輸出圖像的執(zhí)行時間并加輸出。
符號302表示估計裝置，接收根據(jù)接收裝置301傳送的數(shù)據(jù)串，每個單元(編碼裝置3031、反正交變換裝置3032、轉(zhuǎn)換單元3033或移動補償裝置3034)的執(zhí)行次數(shù)和執(zhí)行時間測量裝置305的執(zhí)行時間，以估計每個單元的執(zhí)行時間。
為了估計每個單元的執(zhí)行時間，可以使用線性回歸法，把估計的執(zhí)行時間設(shè)為目的變量y，把每個部件的執(zhí)行次數(shù)設(shè)為解釋變量xui。在這種情況下，可以把回歸參數(shù)aui看作是每個單元的執(zhí)行時間。而且，在線性回歸的情況下，必須累加足夠多的以前的數(shù)據(jù)，結(jié)果浪費了許多存儲器。然而，為了以免浪費許多存儲器，也可以使用卡爾曼濾波器估計內(nèi)狀態(tài)變量?？梢园焉鲜銮闆r看作這樣一種情況把觀察值設(shè)為執(zhí)行時間，把每個單元的執(zhí)行時間設(shè)為內(nèi)狀態(tài)變量，而且每個單元執(zhí)行次數(shù)的每一步都改變執(zhí)行矩陣C。符號304表示次數(shù)削減裝置，改變每個單元的執(zhí)行次數(shù)，以削減全像素預測的執(zhí)行次數(shù)，增加半像素預測的執(zhí)行次數(shù)一相應值。下面示出了計算相應值的方法。
首先，從估計裝置302接收每個單元的執(zhí)行次數(shù)和估計的執(zhí)行時間，以估計執(zhí)行時間。當執(zhí)行時間超過從接收裝置301接收數(shù)據(jù)所需的時間時，增加全像素預測的執(zhí)行次數(shù)，減少半像素預測的執(zhí)行次數(shù)，直到前一時間不超過后一時間。符號306表示解碼圖像的輸出端。
有這樣一種情況，即指定移動補償裝置3034，以根據(jù)編碼信息進行半像素預測。在這種情況下，當超過半像素預測的預定執(zhí)行次數(shù)時，把半像素移動舍入全像素移動，以執(zhí)行全像素預測。
根據(jù)上述第一和第三實施例，按照每個單元的估計執(zhí)行時間來估計解碼的執(zhí)行時間，當解碼執(zhí)行時間可能超過接收一頁數(shù)據(jù)所需要的時間(指定時間)時，用全像素預測代替執(zhí)行時間長的半像素預測。從而，可以防止執(zhí)行時間超過指定時間，解決問題(C1)(對應于權(quán)利要求68和74)。
而且，把必要和非必要處理部分看作兩組的例子對應于權(quán)利要求66和72，把視頻部分看作波形數(shù)據(jù)的例子對應于權(quán)利要求64和70。
接收機在IDCT計算中不利用高頻分量，從而可以減少IDCT計算的處理時間。即，把低頻分量的計算看出必要處理，把高頻分量的計算看作是IDCT計算中的非必要處理，也可以減少IDCT計算中高頻分量的計算次數(shù)。
圖41是第四實施例的接收方法的流程圖。
由于本實施例的操作與第三實施例類似，所以附注相應的單元。在步驟901中，初始化表示每個單元的執(zhí)行時間的變量a_i(估計裝置302)。在步驟902，輸入多路復用數(shù)據(jù)，并測量多路復用該數(shù)據(jù)所需的時間(接收裝置301)。在步驟903中，把多路復用數(shù)據(jù)分割成長度可變碼和數(shù)據(jù)串，并輸出(接收裝置301)。在步驟904中，從數(shù)據(jù)串(圖2)取得各執(zhí)行次數(shù)，并設(shè)置成x_i。在步驟905中，根據(jù)每個單元的執(zhí)行時間a_i和各執(zhí)行次數(shù)x_i計算實際執(zhí)行次數(shù)(次數(shù)削減裝置304)。在步驟906中，開始測量解碼執(zhí)行時間。在步驟907，開始進行下述的解碼子程序。此后，在步驟908，結(jié)束測量解碼執(zhí)行時間(視頻解碼器303和執(zhí)行時間測量裝置3035)。在步驟908，根據(jù)步驟908的解碼執(zhí)行時間和步驟906的每個單元的實際執(zhí)行時間估計每個單元的執(zhí)行時間，以更新a_i(估計裝置302)。對每個輸入的多路復用數(shù)據(jù)進行上述的處理。
而且，步驟907的解碼子程序中，在步驟910進行可變長度解碼(可變長度解碼裝置3031)，在步驟911進行反正交變換(反正交變換裝置3032)后，處理在步驟912根據(jù)通過步驟910的處理取得的塊內(nèi)/塊間編碼處理的信息，進行分叉(轉(zhuǎn)換單元3033)。在塊幀間編碼處理的情況下，步驟913中進行移動補償(移動補償裝置3034)。在步驟913中，對半像素預測的執(zhí)行時間進行計數(shù)。當計數(shù)的執(zhí)行時間超過步驟905中獲得的實際執(zhí)行次數(shù)時，用全像素預測代替半像素預測，以便執(zhí)行。在把上述處理應用于每個宏塊(步驟914)后，結(jié)束該子程序。
根據(jù)上述第二和第四實施例，按照每個單元的估計執(zhí)行時間來估計解碼的執(zhí)行時間，當執(zhí)行時間可能超過接收一頁數(shù)據(jù)所需要的時間(指定時間)時，用全像素預測代替執(zhí)行時間長的半像素預測。由此，可以防止執(zhí)行時間超過指定時間，解決問題(C1)(對應于權(quán)利要求67和73)。
而且，把部分非必要和必要處理部分看出兩組的例子對應于權(quán)利要求65和71，把視頻部分看出波形數(shù)據(jù)的例子對應于權(quán)利要求63和69。
圖36示出了第五實施例的接收機的結(jié)構(gòu)。
該實施例的大多數(shù)部件與第二實施例所述的部件相同。然而，下面描述兩個增加部件和一個改動的部件。
符號402表示估計裝置，它是改動實施例2描述的估計裝置302而得到的，以輸出根據(jù)次數(shù)削減裝置304的輸出獨立估計的結(jié)果獲得的每個單元的執(zhí)行時間。符號408表示發(fā)送裝置，根據(jù)每個單元的執(zhí)行時間產(chǎn)生圖37所示的數(shù)據(jù)串，并輸出。當把微秒為單位用16位表示執(zhí)行時間時，可以表示多達約65毫秒。因此，這約65毫秒將是足夠的。符號409表示把數(shù)據(jù)串傳送給發(fā)送裝置的輸出端。
而且，可以僅緊接在圖40的符號808后增加產(chǎn)生圖37所示的數(shù)據(jù)串的步驟就可以獲得對應于第五實施例的接收方法。
圖38示出了第六實施例的發(fā)送機的結(jié)構(gòu)。
該實施例的大部分部件與第一實施例所述的相同。然而，下面描述兩個增加的部件。符號606表示輸入端，接收第三實施例607的接收機輸出的數(shù)據(jù)串，607表示接收裝置，接收數(shù)據(jù)串，并輸出每個單元的執(zhí)行時間。符號608表示確定裝置，獲得每個單元的執(zhí)行時間，下面描述其獲得過程。首先，轉(zhuǎn)換單元1021處理圖像的每個宏塊，從而獲得轉(zhuǎn)換單元1021在此特定時間的執(zhí)行次數(shù)。進而，可以根據(jù)處理結(jié)果，唯一地確定在此特定時間的移動補償裝置1022、正交變換裝置1023和可變長度編碼裝置1024的執(zhí)行次數(shù)。因此，利用接收裝置607發(fā)送的這些執(zhí)行次數(shù)和執(zhí)行時間，估計在接收機側(cè)解碼所需的執(zhí)行時間。獲得的估計解碼時間作為每個單元的執(zhí)行時間和執(zhí)行次數(shù)之間乘積的和求出。若估計的解碼時間等于或大于傳送通過速率控制器等指定的該圖像產(chǎn)生的碼數(shù)(例如16Kbit)所需的時間(例如在傳輸速率為64Kbits/s時，為250毫秒)，則增加全像素預測的執(zhí)行次數(shù)，減少半像素預測的執(zhí)行次數(shù)，以使估計的解碼執(zhí)行時間不超過傳送所需的時間。(由于全像素預測的執(zhí)行時間短，所以減少全像素預測的次數(shù)可以減少全預測的執(zhí)行時間。)此外，視頻編碼器2102根據(jù)確定裝置608指定的執(zhí)行次數(shù)進行各種處理。例如，在移動補償裝置1022以半像素預測的預定執(zhí)行次數(shù)執(zhí)行了半像素預測之后，僅進行全像素預測。
可以改善選擇方法，使半像素預測在圖像中分散均勻。例如，可以使用下列方法首先獲得需要進行半像素預測的每個宏塊，計算上述宏塊數(shù)的數(shù)(例如12)除以半像素預測的執(zhí)行次數(shù)(例如4)得到的結(jié)果(3)，然后僅對從需要進行半像素預測的宏塊開始的順序號除以上述結(jié)果無余數(shù)的宏塊(0，3，6或9)進行半像素預測。
根據(jù)上述第五和第六實施例，把每個估計的單元執(zhí)行時間傳送給發(fā)送側(cè)，在發(fā)送側(cè)估計解碼的執(zhí)行時間，并用全像素預測代替執(zhí)行時間較長的半像素預測，從而使估計的解碼執(zhí)行時間不超過接收一頁數(shù)據(jù)可能需要的時間(指定時間)。由此，發(fā)送的編碼信息中，沒有廢棄半像素預測信息，而且可以防止執(zhí)行時間超過指定時間，解決問題(C2)(對應于權(quán)利要求76和78)。
此外，在非必要處理的情況下，可以把宏塊間編碼分成三種移動補償正常移動補償；8×8移動補償和重疊移動補償。
圖42是第七實施例的發(fā)送方法的流程圖。
因為本實施例的操作與第六實施例相似，所以附注相應的單元。在步驟1001，對每個處理的執(zhí)行時間設(shè)置初始值。在步驟801輸入圖像(輸入端2101)，并在步驟802把它分成宏塊。在步驟1002，確定對每個宏塊進行塊內(nèi)編碼還是塊間編碼(轉(zhuǎn)換單元1021)。結(jié)果是得到從步驟1005至步驟806的每個處理的執(zhí)行次數(shù)。因此，在步驟1003，根據(jù)上述每個處理的執(zhí)行次數(shù)和執(zhí)行時間計算實際執(zhí)行次數(shù)(確定裝置608)。
此后，重復步驟1005至步驟806的處理，直到根據(jù)步驟807的條件分支完成了每個宏塊的處理。
而且，當執(zhí)行每個處理時，把相應的變量加1，使步驟1005至步驟806的處理次數(shù)可以記錄在特定的變量中。首先在步驟1005，根據(jù)步驟1002的確定結(jié)果進行分叉(轉(zhuǎn)換單元1021)。在塊間編碼的情況下，在步驟804進行移動補償(移動補償裝置1022)。在這種情況下，對半像素預測的次數(shù)進行計數(shù)。當所計次數(shù)超過在步驟1003獲得的實際次數(shù)時，執(zhí)行全像素預測代替執(zhí)行半像素預測。此后，在步驟805和806，進行DCT變換和可變長度編碼(正交變換裝置1023和可變長度編碼裝置1024)。當完成對每個宏塊的處理時，(在步驟807為是的情況下)，在步驟808中讀取表示對應于每個處理的執(zhí)行次數(shù)的變量，產(chǎn)生圖2所示的數(shù)據(jù)串，并多路復用和輸出數(shù)據(jù)串和代碼。在步驟1004中，接收數(shù)據(jù)串，并從該數(shù)據(jù)串是取出每個處理的執(zhí)行時間并進行設(shè)置。
只要有圖像輸入就重復執(zhí)行步驟801至1004的處理。
根據(jù)第五實施例和第七實施例描述部分的最后一個“而且”開始的段落，把每個單元的估計的執(zhí)行時間傳送給發(fā)送側(cè)，在發(fā)送側(cè)估計解碼執(zhí)行時間，用全像素預測代替執(zhí)行時間長的半像素預測，使估計的解碼執(zhí)行時間不超過接收一頁數(shù)據(jù)所需要的可能時間(指定時間)。由此，發(fā)送的編碼信息中，沒有廢棄半像素預測的信息，而且可以防止執(zhí)行時間超過指定時間，解決了問題(C2)(對應于權(quán)利要求75和77)。
圖39示出了本發(fā)明第八實施例的發(fā)送設(shè)備的結(jié)構(gòu)。
該實施例的大部分部件與第一實施例描述的相同。因此，下面描述增加的四個部件。
符號7010表示執(zhí)行時間測量裝置，用于測量圖像向編碼器2102輸入圖像之后到完成編碼和輸出圖像的執(zhí)行時間，并輸出測得的執(zhí)行時間。符號706表示估計裝置，用于從計數(shù)裝置2103的數(shù)據(jù)串接收各單元(轉(zhuǎn)換單元1021、移動補償裝置1022、正交變換裝置1023和可變長度解碼裝置1024)的執(zhí)行次數(shù)，從執(zhí)行時間測量裝置7010接收執(zhí)行時間，并估計每個單元的執(zhí)行時間?？梢岳门c第二實施例的估計裝置302描述的相同的估計方法。符號707表示輸入用戶發(fā)送的幀速率值的輸入端，708表示確定裝置，用于獲得每個單元的執(zhí)行時間。獲得的過程描述如下。
首先，轉(zhuǎn)換單元1021處理圖像中的每個宏塊，以獲得轉(zhuǎn)換單元1021在此特定時間的執(zhí)行次數(shù)。此后，可以根據(jù)至該特定時間的處理結(jié)果，唯一地確定移動補償裝置1022、正交變換裝置1023和可變長度編碼裝置1024的執(zhí)行次數(shù)。然后，對每個單元獲得估計裝置706發(fā)送的每個單元的執(zhí)行次數(shù)和估計時間之間的乘積的總和。當估計的編碼時間等于或大于從符號707所傳送幀速率的倒數(shù)獲得的、可用于一頁圖像編碼的時間時，增加全像素預測的執(zhí)行次數(shù)，減少半像素的執(zhí)行次數(shù)。
重復進行上述執(zhí)行次數(shù)的增減變化，并計算估計的編碼時間，直到估計的編碼時間等于或短于可用的時間，從而確定各執(zhí)行次數(shù)。
而且，視頻編碼器2102根據(jù)確定裝置608指定的執(zhí)行次數(shù)進行各種處理。例如，在移動補償裝置1022以半像素預測的預定執(zhí)行次數(shù)進行了半像素預測后，僅執(zhí)行全像素預測。
而且，也可以改進選擇方法，以便半像素預測在圖像內(nèi)分散結(jié)構(gòu)。例如，可以使用下列方法獲得需要進行半像素預測的每個宏塊，計算需要進行半像素預測的宏塊數(shù)(例如12)除以半像素預測的執(zhí)行次數(shù)(例如4)得到的結(jié)果(3)，然后僅對從需要進行半像素預測的宏塊開始的序號除以上述結(jié)果無余數(shù)的宏塊(0，3，6或9)進行半像素預測。
上面的第八實施例可以解決問題(C3)，它估計每個處理的執(zhí)行時間，根據(jù)估計的執(zhí)行時間估計編碼所需的執(zhí)行時間，并確定執(zhí)行次數(shù)，使估計的編碼時間等于或短于對根據(jù)幀速率確定的圖像進行編碼可用的時間(對應于權(quán)利要求80)。
而且，由于移動補償裝置1022檢測移動矢量，所以有一種全搜索移動矢量檢測方法，在15個水平和垂直像素范圍內(nèi)的矢量中，檢測使SAD(每個像素的絕對差值之和)最小的矢量。還有一種三步移動矢量檢測方法(在H.261的附錄內(nèi)有描述)。三步移動矢量檢測方法執(zhí)行在上述檢索范圍內(nèi)選擇均勻分布的九個點的處理，以選擇具有最小SAD的點，再在接近上述點的窄小范圍內(nèi)選擇九個點，以再次選擇一個具有最小SAD的點。
也可以適當?shù)販p少全搜索移動矢量檢測方法的執(zhí)行時間，適當?shù)卦黾尤揭苿邮噶繖z測方法的執(zhí)行次數(shù)，把這兩種方法作為非必要處理方法，并估計這兩個方法中每個方法的執(zhí)行時間，根據(jù)估計的執(zhí)行時間估計編碼所需要的執(zhí)行時間，以使估計的執(zhí)行時間等于或短于用戶指定的時間。
而且，可以使用檢索次數(shù)的固定移動矢量檢測方法，進一步簡化處理，或者與三頻移動矢量檢測方法，兼用僅返回移動矢量(0，0)作為結(jié)果的移動矢量檢測方法。
圖43是第九實施例的發(fā)送方法的流程圖。
由于本實施例的操作與第八實施例相似，所以附注相應的單元。對每個流程的詳細描述參照相應單元的描述。
而且，由于本實施例幾乎與第二實施例相同，所以下面僅解釋不同點。
在步驟1101，把每個處理的執(zhí)行時間的初始值設(shè)置到變量a_i。在步驟1102，輸入幀速率(輸入端707)。在步驟1103，根據(jù)步驟1102的每個處理的幀速率和執(zhí)行時間a_i以及從1002的塊內(nèi)/塊音編碼處理確定結(jié)果獲得的各處理的執(zhí)行次數(shù)確定實際執(zhí)行次數(shù)(確定裝置708)。在步驟1105和1106中，測量編碼的執(zhí)行時間。在步驟1104中，根據(jù)步驟1106中獲得的執(zhí)行時間和每個處理的實際執(zhí)行次數(shù)估計每個處理的執(zhí)行時間，更新變量a_i(估計裝置706)。
根據(jù)上述第九實施例，先估計每個處理的執(zhí)行時間，可按照所估計的執(zhí)行時間預測編碼所需的執(zhí)行時間。因此，確定執(zhí)行次數(shù)，使估計的編碼時間等于或短于對根據(jù)幀速率確定的圖像進行編碼可用的時間(對應于權(quán)利要求79)，從而能解決問題(C3)。
在第二實施例的情況下，當在步驟808中產(chǎn)生數(shù)據(jù)串時，也可以在圖2所示的開始碼之后增加兩字節(jié)的區(qū)域，向該區(qū)域增加碼長度的二進制標號。
而且，在第四實施例中，當在步驟902輸入多路復用數(shù)據(jù)時，也可以從兩字節(jié)區(qū)域中取出碼長度，并將從該碼長度和碼傳輸速率獲得的碼傳輸時間用于步驟905的執(zhí)行次數(shù)計算(減少半像素預測的執(zhí)行次數(shù)，以不超過碼傳輸時間)。這對應于權(quán)利要求81和83。
而且，在第一實施例中，當在步驟2104產(chǎn)生數(shù)據(jù)串時，也可以在圖2所示的開始碼后增加兩字節(jié)的區(qū)域，在該區(qū)域內(nèi)增加碼長度的二進制標示。
而且，在第三實施例中，當在步驟301輸入多路復用數(shù)據(jù)時，也可以從該兩字節(jié)區(qū)域中取出碼長度，并將從該碼長度和碼傳輸速度獲得的碼傳輸時間用于步驟304的執(zhí)行次數(shù)計算(減少半像素預測的執(zhí)行次數(shù)，以不超過碼傳輸時間)。這對應于權(quán)利要求82和84。
而且，在第四實施例中，緊接在步驟909后記錄半像素預測的實際執(zhí)行次數(shù)，以計算最大值。當最大值等于或小于足夠小的值(例如2或3)時，也可以產(chǎn)生數(shù)據(jù)串(包含具體位模式的數(shù)據(jù)串)，表示不使用半像素預測，并發(fā)送產(chǎn)生的數(shù)據(jù)串。而且，在第二實施例中，確認是否緊接在步驟808后接收到該數(shù)據(jù)串，當接收到表示沒有使用半像素預測的數(shù)據(jù)串時，也可以使移動補償處理在步驟808總是作為全像素預測。這對應于權(quán)利要求93和91。
而且，上述原理也可以應用于不是移動補償?shù)那闆r。例如DCT計算可以不用高頻分量，以減少DCT的計算時間。即，在接收方法的情況下，當IDCT計算執(zhí)行時間對整個計算時間的比率超過某一值時，向發(fā)送側(cè)傳送表示該比率超過某一值的數(shù)據(jù)串。當發(fā)送側(cè)接收到該數(shù)據(jù)串時，也可以通過DCT計算僅計算低頻分量，并把所有高頻分量減少到零。這對應于權(quán)利要求89。
而且，雖然利用圖像描述了本實施例，但也可以把每種方法應用于音頻而不是頻視。這對應于權(quán)利要求85和87。
而且，在第三實施例中，在步驟3034中記錄了半像素預測的實際執(zhí)行次數(shù)，以計算最大執(zhí)行次數(shù)最大值。然后，當該最大值是足夠小值或更小時(例如2或3)，可以產(chǎn)生并發(fā)送表示不使用半像素預測的數(shù)據(jù)串(包含具體位模式的數(shù)據(jù)串)。而且，在第一實施例中，當接收到表示沒有使用半像素預測的數(shù)據(jù)串時，可以使步驟1022的移動補償處理總是作為全像素預測。這對應于權(quán)利要求94和92。
而且，上述原理可以應用于不是移動補償?shù)那闆r。例如DCT計算不利用高頻分量可以減少DCT計算的處理時間。即，在接收方法中，當IDCT計算執(zhí)行時間對整個執(zhí)行時間的比率超過某一值時，向發(fā)送側(cè)傳送表示該比率超過某一值的數(shù)據(jù)串。
當發(fā)送側(cè)接收到該數(shù)據(jù)串時，可以通過DCT計算僅計算低頻分量，把所有高頻分量減少為零。這對應于權(quán)利要求90。
而且，雖然上面利用圖像描述了實施例，但也可以把上述方法應用于聲音而不是圖像。這對應于權(quán)利要求86和88。
如上所述，根據(jù)權(quán)利要求68和74(如第一和第三實施例)，按照每個單元的估計執(zhí)行時間估計解碼的執(zhí)行時間，并且，當估計的解碼執(zhí)行時間可能超過接收一頁數(shù)據(jù)所需的時間(指定時間)時，用全像素預測代替執(zhí)行時間較長的半像素預測。由此，可以防止執(zhí)行時間超過指定時間，解決問題(C1)。
而且，根據(jù)權(quán)利要求75和77(例如第五和第七實施例)，把每個單元的估計執(zhí)行時間傳送給發(fā)送側(cè)，在發(fā)送側(cè)估計解碼執(zhí)行時間，并用全像素預測代替執(zhí)行時間較長的半像素預測，以使估計的解碼時間不超過適于接收一頁數(shù)據(jù)所需要的時間(指定時間)。由此，在發(fā)送的編碼信息中沒有廢棄半像素預測的信息，并可以防止執(zhí)行時間超過指定時間，解決問題(C2)。
而且，根據(jù)權(quán)利要求79(例如第九實施例)，可以解決問題(C3)，其方法是估計每個處理的執(zhí)行時間，按照所估計的執(zhí)行時間估計編碼所需要的執(zhí)行時間，并確定執(zhí)行次數(shù)，使估計的編碼時間等于或小于可用對根據(jù)幀速率確定的圖像進行編碼可作的時間。
因此，本發(fā)明可以實現(xiàn)即使計算負荷增加也減慢質(zhì)量劣化的功能(CGD計算適度弱化)，從而獲得很大的利益。
而且，計算機利用諸如磁記錄媒體或光記錄媒體可以實現(xiàn)上述的操作，其中使計算機的程序?qū)崿F(xiàn)上述實施例中任一實施例中描述的每個步驟(或每個裝置)(或者每個裝置的操作)的全部或部分。
工業(yè)應用性如上所述，本發(fā)明可以對應于狀態(tài)、用途或傳輸線路改變信息幀，動態(tài)地確定數(shù)據(jù)控制信息、傳輸控制信息和用于發(fā)送和接收終端的控制信息的幀。而且，易于處理多個視頻數(shù)據(jù)流或多個音頻數(shù)據(jù)流，并且有重點地與聲音同步地再現(xiàn)主要的場面片段，反映編輯者的意圖。此外，根據(jù)每一估計的元件的執(zhí)行時間，當估計的解碼執(zhí)行時間可能超過接收一頁數(shù)據(jù)所需的時間(指定時間)時，用全像素預測代替執(zhí)行時間較長的半像素預測，可以防止執(zhí)行時間超過指定的時間。
權(quán)利要求
1.一種接收終端，其特征在于，具有接收由視頻數(shù)據(jù)和/或聲音數(shù)據(jù)構(gòu)成的主內(nèi)容的主內(nèi)容接收部；接收包含與所述主內(nèi)容相關(guān)的視頻的流數(shù)據(jù)的副流數(shù)據(jù)接收部；以及當從第1主內(nèi)容切換到第2主內(nèi)容時，選擇與所述副流數(shù)據(jù)接收部接收的所述第2主內(nèi)容相關(guān)的副流數(shù)據(jù)、并提示的提示部。
2.如權(quán)利要求1所述的接收終端，其特征在于，所述提示部在提示與所述第2主內(nèi)容相關(guān)的副流數(shù)據(jù)后，提示所述第2主內(nèi)容。
3.如權(quán)利要求1所述的接收終端，其特征在于，所述主內(nèi)容作為與所述副流數(shù)據(jù)不同的流而接收。
4.如權(quán)利要求1所述的接收終端，其特征在于，所述副流數(shù)據(jù)是削減全種類內(nèi)容的數(shù)據(jù)量而得到。
全文摘要
本發(fā)明包括接收控制部分11，從存儲器或通信通道接收包括數(shù)據(jù)及其發(fā)送格式信息的信息；分析和分離接收到的信息的分離部分12；把信息發(fā)送給存儲器或傳輸通道的發(fā)送部分13；擴展圖像的圖像擴展部分14；圖像擴展控制部分15，控制所述視頻擴展部分14的處理狀態(tài)，以至少擴展一個或多個圖像；由圖像合成部分16構(gòu)成的圖像合成設(shè)備，根據(jù)擴展信息合成圖像；輸出合成結(jié)果的輸出部分17；終端控制部分18，控制上述裝置，使得可以對應于發(fā)送格式信息的動態(tài)范圍同時合成多個圖像。
文檔編號H04N7/15GK1941888SQ20061009975
公開日2007年4月4日 申請日期1998年3月13日 優(yōu)先權(quán)日1997年3月17日
發(fā)明者山口孝雄, 栄藤稔, 荒川博 申請人:松下電器產(chǎn)業(yè)株式會社