專利名稱:發(fā)送和接收動(dòng)態(tài)圖像數(shù)據(jù)的方法及其設(shè)備的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及一種音頻-視頻發(fā)送機(jī)和音頻-視頻接收機(jī)、數(shù)據(jù)處理設(shè)備和方法、波形數(shù)據(jù)發(fā)送方法和設(shè)備和波形數(shù)據(jù)接收方法和設(shè)備以及視頻發(fā)送方法和設(shè)備和視頻接收方法和設(shè)備。
背景技術(shù):
已有一種設(shè)備,它滿足了感覺到你面前出現(xiàn)的對方圖像實(shí)際存在的要求,其目的在于進(jìn)行現(xiàn)實(shí)圖像通信,這是通過從例如有你本人的風(fēng)景圖像中提取出某人的圖像,然后,將此人的圖像(即對方發(fā)送來的某人的圖像)和要與預(yù)先存儲(chǔ)的對方圖像一起顯示的虛擬空間圖像相互疊加,并加以顯示來實(shí)現(xiàn)的(日本專利申請No.4-24914)。
具體地說,在已有技術(shù)的情況下,已有了涉及加速圖像合成和減小存儲(chǔ)器的方法的一些發(fā)明(例如日本專利公開No.5-46592的官方公報(bào)圖像合成器)。
雖然已有技術(shù)已提出了利用圖像合成對兩維靜止圖像或三維CG數(shù)據(jù)進(jìn)行合成的通信系統(tǒng),但從下面的觀點(diǎn)來看,同時(shí)合成多幅圖像和多路聲音并進(jìn)行顯示的系統(tǒng),其實(shí)現(xiàn)方法還沒有進(jìn)行具體討論。
即,從下面列舉的方法來看,存在沒有具體討論的問題。
(A1)一種方法,它利用在一條或多條實(shí)際傳輸線路上由軟件構(gòu)成的多條邏輯傳輸線路獨(dú)立地傳輸數(shù)據(jù)和控制信息(由與控制終端側(cè)處理數(shù)據(jù)不同的數(shù)據(jù)包傳輸?shù)男畔?的環(huán)境下傳輸(通信和廣播)并控制圖像和聲音。
(A2)一種方法,它動(dòng)態(tài)地改變要加到待發(fā)送的圖像或聲音數(shù)據(jù)中的首部信息(對應(yīng)于本發(fā)明的控制信息);(A3)一種方法,它動(dòng)態(tài)地改變要加入的首部信息(對應(yīng)于本發(fā)明的傳輸控制信息),以便進(jìn)行傳輸;(A4)一種方法,它通過動(dòng)態(tài)動(dòng)復(fù)接和分離多條邏輯傳輸線路來傳輸信息;(A5)一種方法,它考慮了節(jié)目或數(shù)據(jù)的讀取和增長周期,以傳輸圖像和聲音;(A6)一種考慮了快速切換傳輸圖像和聲音的方法。
然而,就動(dòng)態(tài)調(diào)整要傳輸?shù)骄W(wǎng)絡(luò)的數(shù)據(jù)量而言,已提出了改變編碼系統(tǒng)的方法和根據(jù)圖像幀的類型討論幀數(shù)據(jù)的方法(H.Jinzenji和T.Tajiri撰寫的分配自適應(yīng)型VOD系統(tǒng)的研究,D-8,刊登于電子、信息和通信工程學(xué)會(huì)(IEICE)系統(tǒng)社的D-8(1995))。
能在受限制的處理時(shí)間下提供高質(zhì)量圖像的動(dòng)態(tài)通過量換算算法已作為一種調(diào)整編碼器側(cè)的通過量提出(T.Osako、Yajima、H.Kodera、H.Watanabe、K.shimamura等撰寫的利用動(dòng)態(tài)通過量換算算法對軟件視頻進(jìn)行編碼,刊登于IEICE的論文期刊D-2,Vol.80-D-2,第二期,第444-458頁,1997)。
而且,存在MPEG1/MPEG2系統(tǒng)作為實(shí)現(xiàn)同步再現(xiàn)圖像和聲音的例子。
(B1)對應(yīng)于圖像幀的類型討論圖像的傳統(tǒng)方法有這樣一個(gè)問題,即通過處理多個(gè)視頻數(shù)據(jù)流或多個(gè)音頻數(shù)據(jù)流,難以與聲音同步地重點(diǎn)再現(xiàn)重要的場面,反映編輯的意圖,這是由于可以處理的信息的等級位于單一信息流中。
(B2)而且,由于其必要條件是用硬件來實(shí)現(xiàn)MPEG1/MPEG2,所以解碼器必須可以對每個(gè)提供的位流進(jìn)行解碼。因此,其問題就是如何適應(yīng)超出解碼器通過出量的情況。
此外,為了傳輸圖像,已有一些系統(tǒng),例如H.261(ITU-T建議H.261的px.64聲像業(yè)務(wù)視頻編碼解碼器),并且它們是用硬件組裝的。因此,由于在設(shè)計(jì)硬件時(shí)考慮了必要性能的上限,所以沒有產(chǎn)生不能在指定時(shí)間內(nèi)完成解碼的情況。
上面的指定時(shí)間表示發(fā)送編碼一張圖像獲得的位流所需要的時(shí)間。如果解碼不能在該時(shí)間內(nèi)完成,其額外的時(shí)間就成為延遲。如果把這種延遲累積,則發(fā)送側(cè)到接收側(cè)的的延遲就增加,系統(tǒng)就不能用作可視電話。這種狀態(tài)必須避免。
而且,當(dāng)由于通信對方產(chǎn)生了規(guī)定以外的位流而不能在指定時(shí)間內(nèi)完成解碼時(shí),則就產(chǎn)生不能傳輸圖像的問題。
上述問題不僅產(chǎn)生在視頻數(shù)據(jù)中,而且也產(chǎn)生在音頻數(shù)據(jù)中。
然而,近年來,由于個(gè)人計(jì)算機(jī)(PC)所形成網(wǎng)絡(luò)環(huán)境的布局帶來互聯(lián)網(wǎng)和ISDN的擴(kuò)展,所以傳輸速率已得到改善,已經(jīng)可以利用PC和網(wǎng)絡(luò)傳輸圖像。而且,用戶傳輸圖像的要求也已高速增長。又由于CPU性能已得到改善,所以完全可以用軟件來對視頻信號的解碼。
然而,由于結(jié)構(gòu)上不同的個(gè)人計(jì)算機(jī),例如CPU、總線寬度或加速器等方面不同的個(gè)人計(jì)算機(jī)可以執(zhí)行相同的軟件,所以預(yù)先考慮必要性能的上限是困難的,因此,產(chǎn)生了圖像不能在指定時(shí)間內(nèi)解碼的問題。
而且,當(dāng)發(fā)送長度超過接收機(jī)通過量的視頻編碼數(shù)據(jù),就不能在指定時(shí)間內(nèi)完成編碼。
問題(C1)減小在指定時(shí)間內(nèi)解碼圖像的延遲。
當(dāng)把視頻信號輸入成本發(fā)明的權(quán)利要求C1的波形數(shù)據(jù),或者把視頻信號輸出成本發(fā)明的權(quán)利要求C7的波形數(shù)據(jù)作為解決問題1的手段時(shí),剩下的問題是由于部分傳輸位流沒有利用,傳輸線路的實(shí)際工作效率降低。而且,存在一些根據(jù)最后的編碼圖像(例如P圖像),產(chǎn)生當(dāng)前解碼視頻的編碼系統(tǒng)。然而,由于最后的解碼圖像通過解決問題1的手段沒有完全恢復(fù),所以存在著隨時(shí)間變化而使圖像質(zhì)量劣化的嚴(yán)重的問題。
問題(C2)在解決問題1的手段的情況下,傳輸線路的實(shí)際工作效率降低。而且,擴(kuò)大了圖像質(zhì)量的劣化。
在用軟件安裝的情況下,圖像的幀速率是由一次編碼所需要的時(shí)間來指定的。因此,當(dāng)用戶指定的幀速率超過計(jì)算機(jī)的通過量時(shí),不可能符合這種指定。
問題(C3)當(dāng)用戶指定的幀速率超過計(jì)算機(jī)的通過量時(shí),不可能符合這種指定。
考慮第一種已有技術(shù)的問題(A1)至(A6),本發(fā)明的目的在于提供一種音頻-視頻發(fā)送機(jī)和音頻-視頻接收機(jī)以及數(shù)據(jù)處理設(shè)備和方法,以至少解決上述問題之一。
且,考慮第二種已有技術(shù)的問題(B1)至(B2),本發(fā)明的另一目的在于提供一種數(shù)據(jù)處理設(shè)備和方法,以至少解決上述問題之一。
再,考慮第三種已有技術(shù)的問題(C1)至(C3),本發(fā)明的再一目的在于提供一種波形數(shù)據(jù)接收方法和設(shè)備、波形數(shù)據(jù)發(fā)送方法和設(shè)備以及視頻發(fā)送方法和設(shè)備和視頻接收方法和設(shè)備,以至少解決上述問題之一。
發(fā)明內(nèi)容
根據(jù)權(quán)利要求1的本發(fā)明是一種音頻-視頻發(fā)送設(shè)備,它包含發(fā)送裝置,通過與要發(fā)送的數(shù)據(jù)的傳輸線路相同的傳輸線路或與該數(shù)據(jù)傳輸線路不同的傳輸線路發(fā)送涉及傳輸方法的內(nèi)容和/或要發(fā)送的數(shù)據(jù)的結(jié)構(gòu)或?qū)?nèi)容作為發(fā)送格式信息表示的標(biāo)識符;其中所述要發(fā)送的數(shù)據(jù)是視頻數(shù)據(jù)和/或音頻數(shù)據(jù)。
根據(jù)權(quán)利要求2的本發(fā)明是根據(jù)權(quán)利要求1的音頻-視頻發(fā)送設(shè)備,其中,所述發(fā)送格式信息至少包括在加到所述數(shù)據(jù)上以控制所述數(shù)據(jù)的數(shù)據(jù)控制信息、加到所述數(shù)據(jù)上以發(fā)送所述數(shù)據(jù)的發(fā)送控制信息和控制終端側(cè)的處理的信息三者之一中。
根據(jù)權(quán)利要求3的本發(fā)明是根據(jù)權(quán)利要求2的音頻-視頻發(fā)送設(shè)備,其中,至少所述數(shù)據(jù)控制信息、發(fā)送控制信息和控制所述終端側(cè)處理的信息三者之一動(dòng)態(tài)地改變。
根據(jù)權(quán)利要求4的本發(fā)明是根據(jù)權(quán)利要求3的音頻-視頻發(fā)送設(shè)備,其中,所述數(shù)據(jù)被分成多個(gè)數(shù)據(jù)包,所述數(shù)據(jù)控制信息或所述發(fā)送控制信息不僅加到所述分割數(shù)據(jù)包的首數(shù)據(jù)包,也加到中間數(shù)據(jù)包中。
根據(jù)權(quán)利要求5的本發(fā)明是根據(jù)權(quán)利要求1的音頻-視頻發(fā)送設(shè)備,其中,將是否使用與所述數(shù)據(jù)有關(guān)的定時(shí)信息作為表示所述數(shù)據(jù)的再現(xiàn)時(shí)間的信息表示的標(biāo)識符包括在所述發(fā)送格式信息中。
根據(jù)權(quán)利要求6的本發(fā)明是根據(jù)權(quán)利要求1的音頻-視頻發(fā)送設(shè)備,其中,所述發(fā)送格式信息是所述數(shù)據(jù)的結(jié)構(gòu)信息,接收所述數(shù)據(jù)的發(fā)送結(jié)構(gòu)信息的接收設(shè)備輸出的信號確認(rèn)該結(jié)構(gòu)信息可以接收后,所述發(fā)送裝置向所述接收設(shè)備發(fā)送相應(yīng)的數(shù)據(jù)。
根據(jù)權(quán)利要求7的本發(fā)明是根據(jù)權(quán)利要求1的音頻-視頻發(fā)送設(shè)備,其中,所述發(fā)送格式信息包括(1)標(biāo)識接收設(shè)備以后使用的節(jié)目或數(shù)據(jù)的標(biāo)識符和(2)作為獲知所述節(jié)目或數(shù)據(jù)使用的特定時(shí)間或使用所述節(jié)目或數(shù)據(jù)的有效期的信息的標(biāo)記、計(jì)數(shù)和定時(shí)三者中至少一種。
根據(jù)權(quán)利要求8的本發(fā)明是根據(jù)權(quán)利要求7的音頻-視頻發(fā)送設(shè)備,其中,利用發(fā)送序列號把所述節(jié)目或數(shù)據(jù)使用的所述特定時(shí)間作為發(fā)送控制信息來發(fā)送,以識別傳輸序列,或者作為與控制終端側(cè)處理的數(shù)據(jù)不同的數(shù)據(jù)包要發(fā)送的信息來。
根據(jù)權(quán)利要求9的本發(fā)明是根據(jù)權(quán)利要求2或3的音頻-視頻發(fā)送設(shè)備,其中,包括存儲(chǔ)裝置,用于存儲(chǔ)多項(xiàng)涉及所述傳輸方法的內(nèi)容和/或所述要發(fā)送的數(shù)據(jù)的結(jié)構(gòu)及其多個(gè)標(biāo)識符,所述標(biāo)識符至少包括在所述數(shù)據(jù)控制信息、發(fā)送控制信息和控制終端側(cè)處理的作為所述發(fā)送格式信息的信息三者之一中。
根據(jù)權(quán)利要求10的本發(fā)明是根據(jù)權(quán)利要求2或3的音頻-視頻發(fā)送設(shè)備,其中,包括存儲(chǔ)裝置,用于存儲(chǔ)多項(xiàng)涉及所述傳輸方法的內(nèi)容和/或所述要發(fā)送的數(shù)據(jù)的結(jié)構(gòu),所述內(nèi)容至少包括在所述數(shù)據(jù)控制信息、發(fā)送控制信息和控制終端側(cè)處理的作為所述傳輸格式信息的信息三者之一中。
根據(jù)權(quán)利11的本發(fā)明是根據(jù)權(quán)利要求1、2或3的音頻-視頻發(fā)送設(shè)備,其中,增加了缺省標(biāo)識符,以表示是否改變涉及所述傳輸方法的內(nèi)容和或要發(fā)送的數(shù)據(jù)的結(jié)構(gòu)。
根據(jù)權(quán)利要求12的本發(fā)明是根據(jù)權(quán)利要求9、10或11的音頻-視頻發(fā)送設(shè)備,其中,把所述標(biāo)識符或所述缺省標(biāo)識符加到待發(fā)送信息的的長度固定的預(yù)定區(qū)域中或所述預(yù)定位置上。
根據(jù)權(quán)利要求13的本發(fā)明是一種音頻-視頻接收設(shè)備,包含接收裝置,接收權(quán)利要求1至12中任一個(gè)音頻-視頻發(fā)送設(shè)備發(fā)送的所述發(fā)送格式信息;發(fā)送信息解釋裝置,解釋所述接收的發(fā)送格式信息。
根據(jù)權(quán)利要求14的本發(fā)明是根據(jù)權(quán)利要求13的音頻-視頻接收設(shè)備,其中包括存儲(chǔ)裝置,用于存儲(chǔ)多項(xiàng)涉及傳輸方法的內(nèi)容和/或所述要傳輸?shù)臄?shù)據(jù)的結(jié)構(gòu)及其多個(gè)標(biāo)識符;把存儲(chǔ)在所述存儲(chǔ)裝置中的內(nèi)容用于解釋所述發(fā)送格式信息。
根據(jù)權(quán)利要求15的本發(fā)明是一種音頻-視頻發(fā)送設(shè)備,它包含信息多路復(fù)用裝置,用于控制多路復(fù)用傳輸數(shù)據(jù)和/或控制信息的;多條邏輯傳輸線的信息的開始和結(jié)束;其中,不僅把所述信息多路復(fù)用裝置多路復(fù)用的所述數(shù)據(jù)和/或控制信息作為多路復(fù)用控制信息發(fā)送,也把與所述信息多路復(fù)用裝置的所述多路復(fù)用開始和結(jié)束有關(guān)的控制內(nèi)容作為多路復(fù)用控制信息發(fā)送,所述數(shù)據(jù)包括視頻數(shù)據(jù)和/或音頻數(shù)據(jù)。
根據(jù)權(quán)利要求16的本發(fā)明是根據(jù)權(quán)利要求15的音頻-視頻發(fā)送設(shè)備,其中可以選擇安排所述多路復(fù)用控制信息不進(jìn)行多路復(fù)用,從而在所述數(shù)據(jù)和/或控制信息之前發(fā)送所述多路復(fù)用控制信息,或者通過與傳輸所述數(shù)據(jù)和/或控制信息的傳輸線路不同的傳輸線路發(fā)送所述多路復(fù)用控制信息不進(jìn)行多路復(fù)用。
根據(jù)權(quán)利要求17的本發(fā)明是一種音頻-視頻接收設(shè)備,包含接收裝置,接收權(quán)利要求15的音頻-視頻傳輸裝置發(fā)送的所述多路復(fù)用控制信息和所述多路復(fù)用數(shù)據(jù)和/或控制信息;分離裝置,根據(jù)所述多路復(fù)用控制信息分離所述多路復(fù)用數(shù)據(jù)和/或控制信息。
根據(jù)權(quán)利要求18的本發(fā)明是一種音頻-視頻接收設(shè)備,包含主視聽裝置,用于觀看和收聽廣播節(jié)目;輔助視聽裝置,用于周期性地檢測與通過所述主視聽裝置觀看和收聽的廣播節(jié)目不同廣播節(jié)目的狀態(tài);其中進(jìn)行所述檢測以便在通過所述主視聽裝置觀看和收聽的所述廣播節(jié)目被轉(zhuǎn)換到其它廣播節(jié)目時(shí),可以平滑地處理所需的節(jié)目和/或數(shù)據(jù),所述數(shù)據(jù)包括視頻數(shù)據(jù)和/或音頻數(shù)據(jù)。
根據(jù)權(quán)利要求19的本發(fā)明是根據(jù)權(quán)利要求1的音頻-視頻發(fā)送設(shè)備,其中優(yōu)先值可以根據(jù)情況,通過發(fā)送表示處理所述數(shù)據(jù)的優(yōu)先級的信息的偏移值來改變。
根據(jù)權(quán)利要求20的本發(fā)明是一種音頻-視頻接收設(shè)備,包含接收裝置,接收預(yù)加到與在過載狀態(tài)下處理的優(yōu)先級有關(guān)的信息的編碼信息;優(yōu)先級確定裝置,用確定閾值,作為選擇是否處理所述接收裝置接收到的所述信息內(nèi)的對象的標(biāo)準(zhǔn);其中把輸出所述接收信息的時(shí)間與在開始處理后經(jīng)過的時(shí)間比較,或者把解碼所述接收信息的時(shí)間與開始處理后經(jīng)過的時(shí)間比較,以根據(jù)比較結(jié)果改變所述閾值,并包括視頻數(shù)據(jù)和/或音頻數(shù)據(jù),作為編碼對象。
根據(jù)權(quán)利要求21的本發(fā)明是根據(jù)權(quán)利要求20的音頻-視頻接收設(shè)備,其中包括重發(fā)請求優(yōu)先級確定裝置,用于需要重發(fā)所述信息時(shí),確定閾值,作為選擇是否請求重發(fā)一些在發(fā)送中丟失而沒有接收到的所述信息的標(biāo)準(zhǔn),并且所述確定閾值是至少根據(jù)所述優(yōu)先級確定裝置控制的優(yōu)先級、重發(fā)次數(shù)、信息丟失因數(shù)、幀內(nèi)編碼幀之間的插入間隔以及優(yōu)先級劃分之一確定的。
根據(jù)權(quán)利要求22的本發(fā)明是一種音頻-視頻發(fā)送設(shè)備,包含重發(fā)優(yōu)先級確定裝置,用于請求重發(fā)所述未接收信息時(shí),確定閾值,作為選擇是否請求重發(fā)一些因發(fā)送時(shí)丟失而沒有接收到的所述信息的標(biāo)準(zhǔn),其中,所述確定閾值是至少根據(jù)權(quán)利要求20的所述音頻-視頻接收設(shè)備的優(yōu)先級確定裝置控制的優(yōu)先級、重發(fā)次數(shù)、信息丟失因數(shù)、幀內(nèi)編碼幀之間的插入間隔以及優(yōu)先級劃分之一確定的。
根據(jù)權(quán)利要求23的本發(fā)明是一種音頻-視頻發(fā)送設(shè)備,利用加到所述編碼信息中的優(yōu)先級傳輸所述編碼信息,從而若(1)實(shí)際傳輸速率超過視頻或音頻信息目標(biāo)傳輸速率或(2)把開始傳輸后經(jīng)過的時(shí)間與加到所述編碼信息的解碼或輸出周期相比結(jié)果判定把所述編碼信息寫入到發(fā)送緩存器延遲,則使發(fā)送信息減少。
根據(jù)權(quán)利要求25的本發(fā)明是一種數(shù)據(jù)處理設(shè)備,它包含接收裝置,接收數(shù)據(jù)序列,該數(shù)據(jù)序列包括(1)音頻或視頻時(shí)間序列數(shù)據(jù),(2)表示所述時(shí)間序列數(shù)據(jù)值之間處理的優(yōu)先級的時(shí)間序列數(shù)據(jù)間優(yōu)先級,以及(3)多個(gè)時(shí)間序列數(shù)據(jù)內(nèi)優(yōu)先級,后者用于劃分所述時(shí)間序列數(shù)據(jù)值,以表示所劃分?jǐn)?shù)據(jù)值之間的處理優(yōu)先級;數(shù)據(jù)處理裝置,當(dāng)同時(shí)出現(xiàn)多個(gè)所述時(shí)間序列數(shù)據(jù)值時(shí),同時(shí)利用所述互時(shí)間序列數(shù)據(jù)間優(yōu)先級和所述時(shí)間序列數(shù)據(jù)內(nèi)優(yōu)先級進(jìn)行處理。
根據(jù)權(quán)利要求27的本發(fā)明是一種數(shù)據(jù)處理設(shè)備,包含接收裝置,接收數(shù)據(jù)系列,該數(shù)據(jù)系列包括(1)音頻或視頻時(shí)間序列數(shù)據(jù),(2)表示所述時(shí)間序列數(shù)據(jù)值之間處理的優(yōu)先級的時(shí)間序列數(shù)據(jù)間優(yōu)先級,以及(3)多個(gè)內(nèi)時(shí)間序列數(shù)據(jù)內(nèi)優(yōu)先級,后者用于劃分所述時(shí)間序列數(shù)據(jù)值,以表示所劃分?jǐn)?shù)據(jù)值之間的處理優(yōu)先級;數(shù)據(jù)處理裝置,根據(jù)所述時(shí)間序列數(shù)據(jù)間優(yōu)先級為每個(gè)所述時(shí)間序列數(shù)據(jù)值分配通過量,而且,根據(jù)所述時(shí)間序列數(shù)據(jù)內(nèi)優(yōu)先級自適應(yīng)地降低所述時(shí)間序列數(shù)據(jù)內(nèi)所劃分?jǐn)?shù)據(jù)的處理質(zhì)量,以把每個(gè)所述時(shí)間序列數(shù)據(jù)保持在所述分配的通過量內(nèi)。
根據(jù)權(quán)利要求29的本發(fā)明是一種數(shù)據(jù)處理設(shè)備,其特征在于,當(dāng)每幀所述視頻數(shù)據(jù)提升視頻的時(shí)間序列數(shù)據(jù)內(nèi)優(yōu)先級,并且把每幀的所述視頻數(shù)據(jù)分割成多個(gè)數(shù)據(jù)包時(shí),僅把所述時(shí)間序列數(shù)據(jù)內(nèi)優(yōu)先級加到數(shù)據(jù)包的首部,以把可訪問的一幀所述視頻數(shù)據(jù)的首部作為獨(dú)立的信息傳輸。
根據(jù)權(quán)利要求31的本發(fā)明是根據(jù)權(quán)利要求25、27和29之任一的數(shù)據(jù)處理設(shè)備,其中所述時(shí)間序列數(shù)據(jù)內(nèi)優(yōu)先級在數(shù)據(jù)包的首部描述,以進(jìn)行優(yōu)先級處理。
根據(jù)權(quán)利要求33的本發(fā)明是根據(jù)權(quán)利要求25、27和29之任一的數(shù)據(jù)處理設(shè)備,其中,能表示所述時(shí)間序列數(shù)據(jù)內(nèi)優(yōu)先級的值的范圍是可變的,以進(jìn)行優(yōu)先級處理。
根據(jù)權(quán)利要求34的本發(fā)明是一種數(shù)據(jù)處理方法,它包含下列步驟輸入數(shù)據(jù)序列,該數(shù)據(jù)序列包括音頻或視頻時(shí)間序列數(shù)據(jù)和表示所述時(shí)間序列數(shù)據(jù)值之間處理的優(yōu)先級的時(shí)間序列數(shù)據(jù)間優(yōu)先級;以及利用所述時(shí)間序列數(shù)據(jù)間優(yōu)先級把優(yōu)先級處理成相對或絕對優(yōu)先級值。
根據(jù)權(quán)利要求36的本發(fā)明是一種數(shù)據(jù)處理方法,它包含下列步驟對音頻或視頻時(shí)間序列數(shù)據(jù)進(jìn)行分類;輸入數(shù)據(jù)系列,該數(shù)據(jù)系列包括所述時(shí)間序列數(shù)據(jù)和表示所述分類數(shù)據(jù)值之間處理優(yōu)先級的多個(gè)時(shí)間序列數(shù)據(jù)內(nèi)優(yōu)先級;利用所述時(shí)間序列數(shù)據(jù)內(nèi)優(yōu)先級把優(yōu)先級處理成相對或絕對優(yōu)先級值。
而且,為了解決問題(C1),本發(fā)明的特征在于根據(jù)權(quán)利要求63的波形數(shù)據(jù)發(fā)送方法,輸入例如視頻信號作為波形數(shù)據(jù);或根據(jù)權(quán)利要求69的波形數(shù)據(jù)接收方法,輸出例如視頻信號作為波形數(shù)據(jù)。
而且,為了解決問題(C2),本發(fā)明的特征在于(d)根據(jù)權(quán)利要求69的波形數(shù)據(jù)接收方法,輸出通過估計(jì)獲得的每組執(zhí)行時(shí)間;或(d)輸入由每組執(zhí)行時(shí)間構(gòu)成的數(shù)據(jù)串;(e)根據(jù)權(quán)利要求63的波形數(shù)據(jù)發(fā)送方法,按照接收裝置的每一執(zhí)行時(shí)間,對每組執(zhí)行次數(shù)計(jì)數(shù),以在發(fā)送由速率控制器等的標(biāo)示所確定的碼長所需要的時(shí)間內(nèi)完成解碼。
而且,為了解決問題(C3),本發(fā)明的特征在于(d)根據(jù)對視頻信號編碼所需要的時(shí)間和計(jì)數(shù)裝置輸出的各執(zhí)行次數(shù),估計(jì)每組執(zhí)行時(shí)間;(e)根據(jù)權(quán)利要求67的波形數(shù)據(jù)發(fā)送方法,利用上述執(zhí)行時(shí)間估計(jì)對視頻信號編碼所需要的處理時(shí)間,并計(jì)算處理時(shí)間不超過由用戶指定的幀速率確定的可用于處理一張圖像的時(shí)間的每組執(zhí)行次數(shù)。
本發(fā)明具有上述結(jié)構(gòu),以獲得必要處理的執(zhí)行次數(shù)和非必要處理的執(zhí)行次數(shù)后,向接收側(cè)發(fā)送執(zhí)行次數(shù),并根據(jù)執(zhí)行次數(shù)和解碼時(shí)間估計(jì)每個(gè)處理所需要的時(shí)間。
根據(jù)對每個(gè)處理的估計(jì)時(shí)間,減少非必要處理的執(zhí)行次數(shù),使解碼所需要的時(shí)間比指定時(shí)間短,這樣可以把解碼時(shí)間控制到指定時(shí)間或更短,以保持延遲小。
列出的權(quán)利要求67和73主要作為解決問題(C1)的發(fā)明。
而且,通過向發(fā)送側(cè)發(fā)送接收側(cè)估計(jì)的必要處理的執(zhí)行時(shí)間和非必要處理的執(zhí)行時(shí)間,并在發(fā)送側(cè)根據(jù)每個(gè)執(zhí)行時(shí)間確定每個(gè)執(zhí)行次數(shù)可以把解碼執(zhí)行時(shí)間設(shè)置成等于或小于指定時(shí)間的值。
列出的權(quán)利要求75和77主要作為解決問題(C3)的發(fā)明。
而且,通過估計(jì)必要處理的執(zhí)行時(shí)間和非必要處理的執(zhí)行時(shí)間,并根據(jù)每個(gè)執(zhí)行時(shí)間和由用戶指定的幀速率決定的用戶指定時(shí)間確定每個(gè)執(zhí)行次數(shù),可以把編碼估計(jì)時(shí)間設(shè)置成等于或小于用戶的指定時(shí)間的值。
列出的權(quán)利要求79主要作為解決問題(C3)的發(fā)明。
本發(fā)明的一種發(fā)送設(shè)備,其特征在于,具有將傳輸格式信息發(fā)送到接收設(shè)備的發(fā)送部分,所述傳輸格式信息包含標(biāo)識在所述接收設(shè)備使用的程序或者數(shù)據(jù)的標(biāo)識符,和與所述標(biāo)識符相關(guān)聯(lián)、表示在所述接收設(shè)備自動(dòng)起動(dòng)所述程序或者所述數(shù)據(jù)的開始時(shí)間的開始時(shí)間信息。
本發(fā)明的一種發(fā)送設(shè)備,其特征在于,
具有將傳輸格式信息發(fā)送到接收設(shè)備的發(fā)送部分,所述傳輸格式信息包含標(biāo)識在所述接收設(shè)備使用的程序或者數(shù)據(jù)的標(biāo)識符,和與所述標(biāo)識符相關(guān)聯(lián)、表示在所述接收設(shè)備處理所述程序或者所述數(shù)據(jù)的期間的處理期間信息。
本發(fā)明的一種接收設(shè)備,其特征在于,具備接收傳輸格式信息的接收部分,所述傳輸格式信息包含標(biāo)識程序或者數(shù)據(jù)的標(biāo)識符,和與所述標(biāo)識符相關(guān)聯(lián)、表示自動(dòng)起動(dòng)所述程序或者所述數(shù)據(jù)的開始時(shí)間的開始時(shí)間信息;以及根據(jù)所述標(biāo)識符和所述開始時(shí)間信息,自動(dòng)起動(dòng)所述程序或者所述數(shù)據(jù)的控制部分。
本發(fā)明的一種接收設(shè)備,其特征在于,具備接收傳輸格式信息的接收部分,所述傳輸格式信息包含標(biāo)識程序或者數(shù)據(jù)的標(biāo)識符,和與所述標(biāo)識符相關(guān)聯(lián)、表示處理所述程序或者所述數(shù)據(jù)的期間的處理期間信息;以及根據(jù)所述標(biāo)識符和所述處理期間信息,自動(dòng)起動(dòng)所述程序或者所述數(shù)據(jù)的控制部分。
本發(fā)明的一種通信系統(tǒng),所述通信系統(tǒng)具有發(fā)送設(shè)備和接收設(shè)備,其特征在于,所述發(fā)送設(shè)備具有發(fā)送傳輸格式信息的發(fā)送部分,所述傳輸格式信息包含標(biāo)識在所述接收設(shè)備使用的程序或者數(shù)據(jù)的標(biāo)識符,和與所述標(biāo)識符相關(guān)聯(lián)、表示在所述接收設(shè)備自動(dòng)起動(dòng)所述程序或者所述數(shù)據(jù)的開始時(shí)間的開始時(shí)間信息,所述接收設(shè)備具有從發(fā)送設(shè)備接收所述傳輸格式信息的接收部分;以及根據(jù)所述標(biāo)識符和所述開始時(shí)間信息,自動(dòng)起動(dòng)所述程序或者所述數(shù)據(jù)的控制部分。
本發(fā)明的一種通信系統(tǒng),所述通信系統(tǒng)具有發(fā)送設(shè)備和接收設(shè)備,其特征在于,所述發(fā)送設(shè)備具有發(fā)送傳輸格式信息的發(fā)送部分,所述傳輸格式信息包含標(biāo)識在所述接收設(shè)備使用的程序或者數(shù)據(jù)的標(biāo)識符,和與所述標(biāo)識符相關(guān)聯(lián)、表示在所述接收設(shè)備處理所述程序或者所述數(shù)據(jù)的處理期間的處理期間信息,所述接收設(shè)備具有從發(fā)送設(shè)備接收所述傳輸格式信息的接收部分;以及根據(jù)所述標(biāo)識符和所述處理期間信息,自動(dòng)起動(dòng)所述程序或者所述數(shù)據(jù)的控制部分。
本發(fā)明的一種發(fā)送方法,其特征在于,
具有將傳輸格式信息發(fā)送到接收設(shè)備的步驟,所述傳輸格式信息包含標(biāo)識在所述接收設(shè)備使用的程序或者數(shù)據(jù)的標(biāo)識符,和與所述標(biāo)識符相關(guān)聯(lián)、表示在所述接收設(shè)備自動(dòng)起動(dòng)所述程序或者所述數(shù)據(jù)的開始時(shí)間的開始時(shí)間信息。
本發(fā)明的一種發(fā)送方法,其特征在于,具有將傳輸格式信息發(fā)送到接收設(shè)備的步驟,所述傳輸格式信息包含標(biāo)識在所述接收設(shè)備使用的程序或者數(shù)據(jù)的標(biāo)識符,和與所述標(biāo)識符相關(guān)聯(lián)、表示在所述接收設(shè)備處理所述程序或者所述數(shù)據(jù)的期間的處理期間信息。
本發(fā)明的一種接收方法,其特征在于,具備接收傳輸格式信息的步驟,所述傳輸格式信息包含標(biāo)識程序或者數(shù)據(jù)的標(biāo)識符,和與所述標(biāo)識符相關(guān)聯(lián)、表示自動(dòng)起動(dòng)所述程序或者所述數(shù)據(jù)的開始時(shí)間的開始時(shí)間信息;以及根據(jù)所述標(biāo)識符和所述開始時(shí)間信息,自動(dòng)起動(dòng)所述程序或者所述數(shù)據(jù)的步驟。
本發(fā)明的一種接收方法,其特征在于,具備接收傳輸格式信息的步驟,所述傳輸格式信息包含標(biāo)識程序或者數(shù)據(jù)的標(biāo)識符,和與所述標(biāo)識符相關(guān)聯(lián)、表示處理所述程序或者所述數(shù)據(jù)的期間的處理期間信息;以及根據(jù)所述標(biāo)識符和所述處理期間信息,自動(dòng)起動(dòng)所述程序或者所述數(shù)據(jù)的步驟。
本發(fā)明的一種通信方法,其特征在于,具備發(fā)送傳輸格式信息的步驟,所述傳輸格式信息包含標(biāo)識程序或者數(shù)據(jù)的標(biāo)識符,和與所述標(biāo)識符相關(guān)聯(lián)、表示自動(dòng)起動(dòng)所述程序或者所述數(shù)據(jù)的開始時(shí)間的開始時(shí)間信息;接收所述傳輸格式信息的步驟;以及根據(jù)所述標(biāo)識符和所述開始時(shí)間信息,自動(dòng)起動(dòng)所述程序或者所述數(shù)據(jù)的步驟。
本發(fā)明的一種通信方法,其特征在于,具備發(fā)送傳輸格式信息的步驟,所述傳輸格式信息包含標(biāo)識程序或者數(shù)據(jù)的標(biāo)識符,和與所述標(biāo)識符相關(guān)聯(lián)、表示處理所述程序或者所述數(shù)據(jù)的處理期間的處理期間信息;接收所述傳輸格式信息的步驟;以及根據(jù)所述標(biāo)識符和所述處理期間信息,自動(dòng)起動(dòng)所述程序或者所述數(shù)據(jù)的步驟。
附圖概述
圖1是本發(fā)明一個(gè)實(shí)施例的音頻-視頻收發(fā)機(jī)的示意性框圖;圖2是接收控制部分和分離部分的示意圖;圖3是利用多個(gè)邏輯傳輸線路發(fā)送和控制視頻和音頻的方法的示意圖;圖4是動(dòng)態(tài)地改變加到要的視頻或音頻數(shù)據(jù)中的首部信息的方法的示意圖;圖5(a)和5(b)是增加AL信息的方法的示意圖;圖6(a)至6(d)是增加AL信息的方法的例子的示意圖;圖7是通過動(dòng)態(tài)動(dòng)多路復(fù)用和分離多個(gè)邏輯傳輸線路傳輸信息的方法的示意圖;圖8是傳輸廣播節(jié)目過程的示意圖;圖9(a)示出了當(dāng)在接收端出現(xiàn)節(jié)目或數(shù)據(jù)時(shí),考慮了節(jié)目或數(shù)據(jù)的讀取和增長時(shí)間的圖像或聲音發(fā)送方法;圖9(b)示出了當(dāng)傳輸節(jié)目或數(shù)據(jù)時(shí),考慮了節(jié)目或數(shù)據(jù)讀取或增長時(shí)間傳輸視頻或音頻的方法;圖10(a)是對應(yīng)于快速切換的方法的示意圖;圖10(b)是對應(yīng)于快速切換的方法的示意圖;圖11(a)示出了在終端之間實(shí)際傳輸?shù)膮f(xié)議的具體例子;圖11(b)示出了在終端之間實(shí)際傳輸?shù)膮f(xié)議的具體例子;圖12示出了在終端之間實(shí)際傳輸?shù)膮f(xié)議的具體例子;圖13(a)示出了在終端之間實(shí)際傳輸?shù)膮f(xié)議的具體例子;圖13(b)示出了在終端之間實(shí)際傳輸?shù)膮f(xié)議的具體例子;圖13(c)示出了在終端之間實(shí)際傳輸?shù)膮f(xié)議的具體例子;圖14示出了在終端之間實(shí)際傳輸?shù)膮f(xié)議的具體例子;圖15示出了在終端之間實(shí)際傳輸?shù)膮f(xié)議的具體例子;圖16(a)示出了在終端之間實(shí)際傳輸?shù)膮f(xié)議的具體例子;圖16(b)示出了在終端之間實(shí)際傳輸?shù)膮f(xié)議的具體例子;圖17示出了在終端之間實(shí)際傳輸?shù)膮f(xié)議的具體例子;
圖18示出了在終端之間實(shí)際傳輸?shù)膮f(xié)議的具體例子;圖19(a)示出了在終端之間實(shí)際傳輸?shù)膮f(xié)議的具體例子;圖19(b)示出了在終端之間實(shí)際傳輸?shù)膮f(xié)議的具體例子;圖20(a)至20(c)是本發(fā)明CGD的示范系統(tǒng)的框圖;圖21示出了編碼器過載時(shí)增加優(yōu)先級的方法;圖22示出了過載時(shí),在接收終端確定優(yōu)先級的方法;圖23示出了臨時(shí)改變優(yōu)先級;圖24示出了數(shù)據(jù)流優(yōu)先級和對象優(yōu)先級;圖25是本發(fā)明一個(gè)實(shí)施例的視頻編碼器和視頻解碼器的示意性框圖;圖26是本發(fā)明一個(gè)實(shí)施例的音頻編碼器和音頻解碼器的示意性框圖;圖27(a)和27(b)示出了過載時(shí)控制優(yōu)先級處理的優(yōu)先級增加部分和優(yōu)先級確定部分;圖28(a)和28(b)示出了增加優(yōu)先等級;圖29示出了向多分辨率視頻數(shù)據(jù)分配優(yōu)先級的方法;圖30示出了構(gòu)成通信有效負(fù)載的方法;圖31示出對應(yīng)于通信有效負(fù)載產(chǎn)生數(shù)據(jù)的方法;圖32示出了對象優(yōu)先級、數(shù)據(jù)流優(yōu)先級和通信數(shù)據(jù)包優(yōu)先級之間的關(guān)系;圖33是本發(fā)明第一實(shí)施例的發(fā)送機(jī)的框圖;圖34是第一實(shí)施例的示意圖;圖35是本發(fā)明第三實(shí)施例的接收機(jī)的框圖;圖36是本發(fā)明第五實(shí)施例的接收機(jī)的框圖;圖37是第五實(shí)施例的示意圖;圖38是本發(fā)明第六實(shí)施例的發(fā)送機(jī)的框圖;圖39是本發(fā)明第八實(shí)施例的發(fā)送機(jī)的框圖;圖40是本發(fā)明第二實(shí)施例的發(fā)送方法的流程圖;圖41是本發(fā)明第四實(shí)施例的接收方法的流程圖;圖42是本發(fā)明第七實(shí)施例的發(fā)送方法的流程圖;圖43是本發(fā)明第九實(shí)施例的發(fā)送方法的流程圖;圖44是本發(fā)明音頻-視頻發(fā)送機(jī)的框圖;圖45是本發(fā)明音頻-視頻接收機(jī)的框圖;圖46示出了向本發(fā)明的音頻-視頻發(fā)送機(jī)的視頻和音頻數(shù)據(jù)增加優(yōu)先級的優(yōu)先級添加裝置的解釋圖;圖47示出了通過解釋加到本發(fā)明的音頻-視頻接收機(jī)的視頻和音頻數(shù)據(jù)中的優(yōu)先級確定是否進(jìn)行解碼的優(yōu)先級確定裝置的解釋圖。
符號說明11接收控制部分12分離部分13發(fā)送部分14視頻擴(kuò)展部分(圖像擴(kuò)展部分)15視頻擴(kuò)展控制部分(圖像擴(kuò)展控制部分)16視頻合成部分(圖像合成部分)17輸出部分18終端控制部分4011發(fā)送控制部分4012視頻編碼部分(圖像編碼部分)4013接收控制部分4014視頻解碼部分(圖像解碼部分)4015視頻合成部分(圖像合成部分)4016輸出部分4101視頻編碼器(圖像編碼器)4102視頻解碼器(圖像解碼器)301接收裝置302估計(jì)裝置303視頻解碼器(即動(dòng)態(tài)圖像或活動(dòng)圖像解碼器)304次數(shù)削減裝置306輸出端307輸入端3031可變解碼裝置3032反正交變換裝置3033轉(zhuǎn)換單元3034移動(dòng)補(bǔ)償裝置3035執(zhí)行時(shí)間測量裝置本發(fā)明的實(shí)施方式下面參照附圖描述本發(fā)明的實(shí)施例。
下面描述的實(shí)施例主要解決上述問題(A1)至(A6)中的任一項(xiàng)。
本發(fā)明所用的“圖像”包括靜止圖像和活動(dòng)圖像。而且,提出的圖像可以是象計(jì)算機(jī)制圖(CG)的兩維圖像或由線框模型構(gòu)成的三維圖像數(shù)據(jù)。
圖1是本發(fā)明一個(gè)實(shí)施例的音頻-視頻收發(fā)機(jī)的示意性框圖。
在圖1中,接收信息的接收控制部分11和發(fā)送信息的發(fā)送部分13是諸如同軸電纜、CATV、LAN和調(diào)制解調(diào)器等的信息傳輸裝置。通信環(huán)境可以是能用多條邏輯傳輸線路而不用考慮多路復(fù)用裝置的環(huán)境,例如互聯(lián)網(wǎng),或者可以是必須考慮多路復(fù)用裝置的環(huán)境,例如模擬電話或衛(wèi)星廣播。
而且,作為終端連接系統(tǒng),可列舉在諸如可視電話或電話會(huì)議系統(tǒng)等終端之間進(jìn)行雙向傳送視頻或音頻數(shù)據(jù)的系統(tǒng),或通過衛(wèi)星廣播、CATV或互聯(lián)網(wǎng)播發(fā)廣播型視頻或音頻數(shù)據(jù)的系統(tǒng)。本發(fā)明考慮了這些終端連接系統(tǒng)。
圖1所示的分離部分12是用于分析接收到的信息并把數(shù)據(jù)與控制信息分離的裝置。具體地說,部分12是分解出加到數(shù)據(jù)中的發(fā)送首部信息和數(shù)據(jù),或者分解出加到數(shù)據(jù)中的數(shù)據(jù)控制首部和數(shù)據(jù)內(nèi)容。圖像擴(kuò)展部分14是擴(kuò)展接收到的圖像的裝置。例如,要擴(kuò)展的圖像可以是標(biāo)準(zhǔn)化的活動(dòng)(動(dòng)態(tài))或靜止圖像的壓縮圖像,例如H.261,H.263,MPEG 1/2或JPEG等。
圖1所示的圖像擴(kuò)展控制部分15是用于監(jiān)視圖像擴(kuò)展?fàn)顟B(tài)的裝置。例如,通過監(jiān)視圖像的擴(kuò)展?fàn)顟B(tài),當(dāng)接收緩存器幾乎引起溢出時(shí),可以讀空接收緩存器,而不擴(kuò)展圖像,并在已準(zhǔn)備好圖像以便擴(kuò)展之后重新開始擴(kuò)展圖像。
在圖1中,圖像合成部分16是用于合成擴(kuò)展圖像的裝置。圖像合成方法可以通過用諸如JAVA、VRML或MHEG等腳本語言,描述圖像及其結(jié)構(gòu)信息來(顯示位置和顯示時(shí)間(而且,可以包括顯示周期))、對圖像分組的方法、圖像顯示層(深度)、對象ID(以后描述的SSRC)以及它們的屬性之間的關(guān)系來定義。描述合成方法的腳本通過網(wǎng)絡(luò)或本地存儲(chǔ)器輸入或輸出。
輸出部分17是顯示器或打印機(jī),用于輸出圖像合成結(jié)果。終端控制部分18是用于控制每個(gè)部分的裝置。此外,可以采用擴(kuò)展聲音而不是圖像的結(jié)構(gòu)(可以通過把圖像擴(kuò)展部分改成聲音擴(kuò)展部分,把圖像擴(kuò)展控制部分改成聲音擴(kuò)展控制部分,把圖像合成部分改成聲音合成部分來構(gòu)成這種結(jié)構(gòu)),或者采用擴(kuò)展圖像和聲音,使二者同步并加以顯示的結(jié)構(gòu),然而保持暫時(shí)同步。
也可以利用壓縮圖像的圖像壓縮部分??刂茍D像壓縮部分的圖像壓縮控制部分、壓縮聲音的聲音壓縮部分和控制聲音壓縮部分的聲音壓縮控制部分來發(fā)送圖像和聲音。
圖2示出了接收控制部分和分離部分。
圖1的接收控制部分11由接收數(shù)據(jù)的數(shù)據(jù)接收部分101和接收控制數(shù)據(jù)的控制信息的控制信息接收部分102構(gòu)成,分離部分12由存儲(chǔ)解釋發(fā)送內(nèi)容的發(fā)送結(jié)構(gòu)(后面詳述)的發(fā)送格式存儲(chǔ)部分103和根據(jù)存儲(chǔ)在格式存儲(chǔ)部分103內(nèi)的發(fā)送結(jié)構(gòu)解釋發(fā)送內(nèi)容的發(fā)送信息解釋部分104構(gòu)成,這種結(jié)構(gòu)可以獨(dú)立地接收數(shù)據(jù)和控制信息。因此,例如,不難在接收視頻或音頻數(shù)據(jù)的同時(shí)刪除或移動(dòng)該數(shù)據(jù)。
如上所述,可以接收控制部分11要求的通信環(huán)境可以利用能使用多條邏輯傳輸線路而不用考慮多路復(fù)用裝置的環(huán)境(互聯(lián)網(wǎng)類環(huán)境),如互聯(lián)網(wǎng),也可以利用多路復(fù)用裝置的環(huán)境(原類環(huán)境),如必須考慮模擬電話或衛(wèi)星廣播等。然而,用戶住處的通信環(huán)境備有多條邏輯傳輸線路(邏輯通道)(例如,在可以使用TCP/IP的通信環(huán)境的情況下,通常使用稱為“通信端口”的表述)。
如圖2所示,假設(shè)接收控制部分11接收一種或多種類型的數(shù)據(jù)傳輸線路和一種或多種類型的控制邏輯傳輸線路,以控制要傳輸?shù)臄?shù)據(jù)。也可以準(zhǔn)備多條傳輸線路傳輸數(shù)據(jù),僅準(zhǔn)備一條傳輸線路控制數(shù)據(jù)。還可以準(zhǔn)備一條傳輸線路在每次數(shù)據(jù)傳輸時(shí)控制數(shù)據(jù),如也用于H.323的RTP/RTCP。當(dāng)考慮利用UDP的廣播時(shí),可以使用利用單個(gè)通信端口(多播地址)的通信系統(tǒng)。
圖3的示意圖用于解釋利用多條邏輯傳輸線路傳輸和控制視頻和音頻數(shù)據(jù)的方法。要發(fā)送的數(shù)據(jù)稱為ES(基本數(shù)據(jù)流),它可以是一幀的圖像信息或GOB中的圖像信息,或者在圖像的情況下小于一幀的宏塊。
在音頻數(shù)據(jù)的情況下,可以使用用戶決定的固定長度。而且,把要加到要發(fā)送的數(shù)據(jù)中的數(shù)據(jù)控制首部信息稱為AL(自適應(yīng)層信息)。把表示是否為能處理數(shù)據(jù)的開始位置的信息、表示數(shù)據(jù)再現(xiàn)時(shí)間的信息和表示數(shù)據(jù)處理的優(yōu)先級的信息列為AL信息。本發(fā)明的數(shù)據(jù)控制信息對應(yīng)于AL信息。而且,本發(fā)明所用的ES和AL并不總是必須與MPEG 1/2所定義的內(nèi)容一致。
表示是否為可以處理數(shù)據(jù)的開始位置的信息具體包括兩種類型的信息。第一種是隨機(jī)訪問標(biāo)記,即,表示可以個(gè)別讀取和獨(dú)立再現(xiàn)前后數(shù)據(jù)的信息,例如在圖像的情況下的幀內(nèi)(I圖像)。第二種是能把訪問標(biāo)記定義成表示可以個(gè)別讀取的標(biāo)記的信息,即,表示開始位置為GOB圖像首部或在圖像的情況下為宏塊首部的信息。因此,沒有訪問標(biāo)記表示數(shù)據(jù)的中部。這兩種隨機(jī)訪問標(biāo)記和隨機(jī)標(biāo)記作為表示能處理數(shù)據(jù)的開始位置的信息,并非總是需要的。
有這樣一種情況,如果在諸如電話會(huì)議等的實(shí)時(shí)通信的情況下,沒有加入這兩種標(biāo)記,則不會(huì)產(chǎn)生問題。然而,為了簡化編輯工作,隨機(jī)訪問標(biāo)記是必需的。也可以在傳送數(shù)據(jù)之前,通過通信通道決定標(biāo)記是否必需,或者需要何種標(biāo)記。
指示數(shù)據(jù)再現(xiàn)時(shí)間的信息表示再現(xiàn)圖像和聲音時(shí)的時(shí)間同步的信息,在MPEG1/2的情況下,它稱為PTS(展現(xiàn)時(shí)間標(biāo)志)。由于在諸如電話會(huì)議等實(shí)時(shí)通信的情況下,一般不考慮時(shí)間同步,所以表示再現(xiàn)時(shí)間的信息并不總是必需的。編碼幀之間的時(shí)間間隔可以是必需的信息。
在接收側(cè)調(diào)整時(shí)間間隔,可以防止幀間隔有較大波動(dòng)。然而,接收側(cè)調(diào)整再現(xiàn)間隔可能發(fā)生延遲。因此,可以判定表示編碼幀之間幀間隔的時(shí)間信息是不必要的。
為了確定表示數(shù)據(jù)再現(xiàn)時(shí)間的信息是否表示PTS或幀間隔,也可以決定在傳輸數(shù)據(jù)之前,不把數(shù)據(jù)再現(xiàn)時(shí)間加到數(shù)據(jù)中,并把該決定通過通信通道傳送給接收終端,并與決定的數(shù)據(jù)控制信息一起發(fā)送數(shù)據(jù)。
當(dāng)由于接收終端的負(fù)載或網(wǎng)絡(luò)的負(fù)載的原因而不能處理或發(fā)送表示處理數(shù)據(jù)的優(yōu)先級的信息時(shí),可以停止處理或發(fā)送數(shù)據(jù),減小接收終端或網(wǎng)絡(luò)的負(fù)載。
接收終端可以用圖像擴(kuò)展控制部分15處理數(shù)據(jù),網(wǎng)絡(luò)可以用中繼終端或路由器處理數(shù)據(jù)??梢杂脭?shù)值或標(biāo)記表示優(yōu)先級。而且,在接收終端或網(wǎng)絡(luò)的負(fù)載有突然的波動(dòng)時(shí),把表示數(shù)據(jù)處理優(yōu)先級的信息的偏移值作為控制信息或數(shù)據(jù)控制信息(AL信息)與數(shù)據(jù)一起發(fā)送,并將該偏移值與預(yù)先分配組視頻或音頻數(shù)據(jù)的優(yōu)先級值相加,由此,可以對應(yīng)于系統(tǒng)的操作狀態(tài)設(shè)置動(dòng)態(tài)優(yōu)先級。
而且,把鑒別是否有加密編碼、是否有版權(quán)、以及是原件還是復(fù)制件等的信息作為控制信息與和數(shù)據(jù)分開的數(shù)據(jù)標(biāo)識符(SSRC)一起發(fā)送,簡化在中繼節(jié)點(diǎn)去除加密編碼。
表示數(shù)據(jù)處理優(yōu)先級的信息可以加到用許多圖像或聲音的幀集合或每幀視頻或音頻數(shù)據(jù)構(gòu)成的每個(gè)數(shù)據(jù)流中。
為發(fā)送終端單元提供優(yōu)先級添加裝置,該裝置在過載情況下,利用諸如H.263或G.723等編碼方法,根據(jù)預(yù)定規(guī)則確定編碼信息的處理優(yōu)先級,并使編碼信息對應(yīng)于確定的優(yōu)先級(見圖46)。
圖46是用于解釋優(yōu)先級添加裝置5201把優(yōu)先級加到圖像或聲音中的示意圖。
即,如圖46所示,根據(jù)預(yù)定的規(guī)則,把優(yōu)先級加到編碼視頻數(shù)據(jù)(由視頻編碼裝置5202處理)和編碼音頻數(shù)據(jù)(由音頻編碼裝置5203處理)中。添加優(yōu)先級的規(guī)則存儲(chǔ)在優(yōu)先級添加規(guī)則5204中。這些規(guī)則包括把比P幀(幀間編碼圖像幀)的優(yōu)先級高的優(yōu)先級加給I幀(幀內(nèi)編碼圖像幀)的規(guī)則和把比音頻數(shù)據(jù)的優(yōu)先級低的優(yōu)先級加給圖像的規(guī)則。而且,根據(jù)用戶的指定可以改變這些規(guī)則。
在圖像的情況下,優(yōu)先級添加對象為場成變化,在編輯者或用戶指定的圖像幀數(shù)據(jù)或聲音的情況下,則為有聲區(qū)和無聲區(qū)。
為了在圖像幀或音頻幀中加入優(yōu)先級,以在過載的情況下規(guī)定處理優(yōu)先級,考慮使用下列方法把優(yōu)先級增加到通信首部的方法和進(jìn)行編碼時(shí)把優(yōu)先級嵌入到已對視頻或音頻數(shù)據(jù)編碼的位流的首部中的方法,前一方法可以在不進(jìn)行解碼的情況下獲得優(yōu)先級信息,而后一方法可以與系統(tǒng)無關(guān)的地獨(dú)立地處理單一位流。
當(dāng)把一圖像幀(例如幀內(nèi)編碼的I幀或幀間編碼的P或B幀)分成多個(gè)傳輸數(shù)據(jù)包時(shí),在圖像的情況下,僅把優(yōu)先級加到通信首部,以把可訪問的圖像幀的首部作為獨(dú)立的信息發(fā)送(當(dāng)優(yōu)先級在相同圖像幀中一樣時(shí),可以認(rèn)為在下一個(gè)可訪問圖像幀出現(xiàn)之前優(yōu)先級沒有改變)。
而且,使值的范圍能表示優(yōu)先級變量(例如,根據(jù)用途,用16位或32位表示時(shí)間信息),可實(shí)現(xiàn)與控制信息一致的結(jié)構(gòu)。
在解碼器的情況下,根據(jù)所接收各種編碼信息片段過載時(shí)的優(yōu)先級,為接收終端單元提供優(yōu)先級確定裝置,以確定處理方法(見圖47)。
圖47是用于解釋加到圖像或聲音中的優(yōu)先級和解釋確定是否進(jìn)行解碼的優(yōu)先級確定裝置5301示意圖。
即,如圖47所示,這些優(yōu)先級包括加到每一圖像或聲音的每一數(shù)據(jù)流的優(yōu)先級和加到每幀圖像或聲音數(shù)據(jù)中的優(yōu)先級??梢元?dú)立地利用這些優(yōu)先級,或者使幀優(yōu)先級對應(yīng)于數(shù)據(jù)流優(yōu)先級。優(yōu)先級確定裝置5301根據(jù)這些優(yōu)先級確定要解碼的數(shù)據(jù)流或幀。
解碼是利用兩種類型的優(yōu)先級進(jìn)行的,以確定終端過載時(shí)的處理優(yōu)先級。
即,定義了用于規(guī)定諸如圖像和聲音的位流之間的相對優(yōu)先級的數(shù)據(jù)流優(yōu)先級(時(shí)間序列間優(yōu)先級);用于規(guī)定諸如相同數(shù)據(jù)流中的圖像幀等解碼單元之間的相對優(yōu)先級(時(shí)間序列內(nèi)優(yōu)先級)(圖24)。
前一種數(shù)據(jù)流優(yōu)先級可以處理多個(gè)視頻或音頻數(shù)據(jù)。后一種幀優(yōu)先級使可根據(jù)編輯者的意圖改變場面或?qū)ν粠瑑?nèi)編碼圖像幀(I幀)增加不同的優(yōu)先級。
使數(shù)據(jù)流優(yōu)先級對應(yīng)于分配給操作系統(tǒng)(OS)的時(shí)間,對圖像或聲音進(jìn)行編碼或解碼,或進(jìn)行優(yōu)先級處理,從而控制數(shù)據(jù)流優(yōu)先級,由此,可以在OS層上控制處理時(shí)間。例如,在微軟公司的Windows 95/NT的情況下,可以在五個(gè)OS層上定義優(yōu)先級。用軟件以線索段實(shí)現(xiàn)編碼或解碼裝置,可以在分配給每個(gè)線索段的OS層上根據(jù)目的數(shù)據(jù)流的數(shù)據(jù)流優(yōu)先級確定優(yōu)先級。
上述的幀優(yōu)先級和數(shù)據(jù)流優(yōu)先級可以加到傳輸媒體或數(shù)據(jù)記錄媒體上。例如,把要發(fā)送的數(shù)據(jù)包優(yōu)先級定義為訪問單元優(yōu)先級,可以根據(jù)幀優(yōu)先級與數(shù)據(jù)流優(yōu)先級之間的關(guān)系,例如根據(jù)訪問單元優(yōu)先級=數(shù)據(jù)流優(yōu)先級-幀優(yōu)先級,確定與數(shù)據(jù)包發(fā)送有關(guān)的優(yōu)先級和在過載時(shí)終端的處理優(yōu)先級。
而且,可以把軟盤或光盤用作數(shù)據(jù)記錄媒體,確定優(yōu)先級。再者,不僅可以利用記錄媒體而且還可以利用能記錄程序的諸如IC卡或ROM盒等物體確定優(yōu)先級。而且,可以使用諸如路由器或網(wǎng)關(guān)等圖像或聲音的轉(zhuǎn)發(fā)器中繼數(shù)據(jù)。
作為利用優(yōu)先級的具體方法,當(dāng)接收終端過載時(shí),把確定要處理的編碼信息的優(yōu)先級閾值的優(yōu)先級確定裝置設(shè)置成圖像擴(kuò)展控制部分或聲音擴(kuò)展控制部分,把要顯示的時(shí)間(PTS)與開始處理后經(jīng)過的時(shí)間進(jìn)行比較,或者把要解碼的時(shí)間(DTS)與開始處理后經(jīng)過的時(shí)間比較,根據(jù)比較結(jié)果改變要處理的編碼信息的優(yōu)先級閾值(也可以參照幀的插入間隔或優(yōu)先級等作為改變閾值的信息)。
圖20(a)所示的例子中,在編碼時(shí),用編碼器(H.263)對具有捕獲的QCIF或CIF尺寸的圖像進(jìn)行編碼,與編碼信息一起輸出表示解碼時(shí)間(DTS)或顯示圖像的時(shí)間的時(shí)間標(biāo)志(PTS)和表示過載時(shí)的處理順序(CGD,計(jì)算適度弱化)、幀類型和序列號(SN)的優(yōu)先級信息。
而且,在圖20(b)所示的例子中,還通過話筒進(jìn)行記錄,通過編碼器(G.721)進(jìn)行編碼,與編碼信息一起輸出表示解碼時(shí)間(DTS)或再現(xiàn)聲音的時(shí)間、優(yōu)先級信息(CGD)和序列號(SN)的時(shí)間標(biāo)志(PTS)。
如圖20(c)所示,在解碼時(shí),把圖像和聲音提供給分離緩存器,把它們各自的DTS(解碼時(shí)間)與開始處理后經(jīng)過的時(shí)間進(jìn)行比較。如果DTS不滯后,則把該圖像和聲音提供給它們相應(yīng)的解碼器(H.263和G.721)。
圖21的例子描述了一種在過載時(shí)利用編碼器增加優(yōu)先級的方法。對于一幅圖像,把高優(yōu)先級的“0”和“1”分配給I幀(幀內(nèi)編碼圖像幀)(數(shù)字越小,優(yōu)先級越低)。P幀的優(yōu)先級“2”低于I幀。由于把兩種級別的優(yōu)先級分配給I幀,所以當(dāng)解碼終端的負(fù)載較大時(shí),可以僅再現(xiàn)優(yōu)先級為“0”的I幀。而且,必須根據(jù)優(yōu)先級增加方法調(diào)整I幀的插入間隔。
圖22的例子示出了一種在過載時(shí),在接收終端確定優(yōu)先級的方法。把不用的幀的優(yōu)先級設(shè)置成比截止優(yōu)先級大的值。即,把每個(gè)圖像幀假設(shè)成待處理的對象。把加到圖像幀的優(yōu)先級最大值從發(fā)送側(cè)傳送給接收側(cè)(步驟101)可以事先得知該值。
當(dāng)把DTS與開始處理之后經(jīng)過的時(shí)間相比較,并且其結(jié)果是經(jīng)過的時(shí)間長于DTS(當(dāng)解碼沒有及時(shí)進(jìn)行時(shí)),則要處理的圖像或聲音的優(yōu)先級閾值減小,以減少處理(步驟102)。然而,若開始處理之后經(jīng)過的時(shí)間短于DTS(及時(shí)進(jìn)行了解碼),則優(yōu)先級的閾值增加,以增加可以處理的圖像或聲音的數(shù)量(步驟103)。
如果該幀之前的圖象跳過了P幀,則不進(jìn)行處理。如果沒有,則把優(yōu)先級偏移值加到圖像幀(或音頻數(shù)據(jù)幀)的優(yōu)先級上,以把該優(yōu)先級偏移值與優(yōu)先級閾值比較。當(dāng)該偏移值不超過該閾值時(shí),把要解碼的數(shù)據(jù)提供給解碼器(步驟104)。
優(yōu)先級偏移可用于事先檢查機(jī)器的性能,并把該偏移值傳送給接收終端(用戶也可以在接收終端發(fā)出指定),還可用于改變數(shù)據(jù)流中的視頻和音頻數(shù)據(jù)流的優(yōu)先級(例如,通過增加最后面背景的偏移值來減少處理)。
當(dāng)提出了多數(shù)據(jù)流時(shí),也可以對每個(gè)數(shù)據(jù)流加優(yōu)先級,并確定跳過對圖像或聲音的解碼。而且,在實(shí)時(shí)通信的情況下,通過處理H263與DTS相似的TR(臨時(shí)基準(zhǔn))可以確定解碼是超前還是滯后,并且實(shí)現(xiàn)與上文所述相同的跳過。
圖23示出了利用上述算法進(jìn)行的優(yōu)先級的臨時(shí)改變。
圖23示出了要加到圖像幀中的優(yōu)先級的變化。該優(yōu)先級是在終端過載時(shí)決定是否進(jìn)行解碼的優(yōu)先級,它加到每一幀中。優(yōu)先級值越小,優(yōu)先級越高。在圖23的例子中,0的優(yōu)先級最高。當(dāng)優(yōu)先級的閾值為3時(shí),添加了值大于3的優(yōu)先級的幀不使用,不進(jìn)行解碼,對添加了值為3或小于3的優(yōu)先級的幀進(jìn)行解碼。根據(jù)優(yōu)先級有選擇地討論這些幀,可以控制終端的負(fù)載。也可以根據(jù)當(dāng)前處理時(shí)間和要加到每幀上的解碼時(shí)間(DTS)之間關(guān)系,動(dòng)態(tài)地決定優(yōu)先級閾值。根據(jù)同樣的過程,這種技術(shù)不僅可以應(yīng)用于圖像幀,也可以應(yīng)用于聲音。
在傳輸線路為互聯(lián)網(wǎng)等的情況下,設(shè)置重發(fā)請求優(yōu)先級確定部分,根據(jù)優(yōu)先級信息、重發(fā)次數(shù)、信息丟失率、幀內(nèi)編碼幀的插入間隔、受優(yōu)先級確定部分控制的優(yōu)先級的級別(例如五級優(yōu)先),對接收控制部分確定要重發(fā)的編碼信息的優(yōu)先級閾值,并確定加給會(huì)受到請求重發(fā)的編碼信息的優(yōu)先級閾值,這樣,當(dāng)必須重發(fā)傳輸時(shí)丟失的編碼信息時(shí),可以僅重發(fā)接收側(cè)要求的圖像或音頻數(shù)據(jù)。如果重發(fā)次數(shù)很多或信息丟失率很高,則必須提高要重發(fā)信息的優(yōu)先級,減少重發(fā)次數(shù)或降低丟失率。而且,了解優(yōu)先級確定部分使用的優(yōu)先級,可以防止發(fā)送要處理的信息。
在發(fā)送終端,當(dāng)實(shí)際傳送速率超過發(fā)送端的信息的目標(biāo)傳送速率時(shí),或者當(dāng)開始傳送處理后經(jīng)過的時(shí)間與加到要解碼或顯示的編碼信息的時(shí)間比較,把編碼信息寫入到發(fā)送緩存器的過程滯后時(shí),可用加到編碼信息中的優(yōu)先級,與目標(biāo)速率一致地發(fā)送圖像或聲音數(shù)據(jù),且接收終端過載時(shí),其優(yōu)先級確定部分使用該成先級,從而減少信息的發(fā)送。在接收終端過載時(shí),還把處理跳過功能引入到發(fā)送終端,由此,可以控制發(fā)送終端過載引起的故障。
通過根據(jù)需要僅發(fā)送上述AL信息中必要的信息,可以調(diào)整要發(fā)送到諸如模擬電話線等窄帶通信通道上的信息量。在發(fā)送數(shù)據(jù)之前確定在發(fā)送終端上要增加到數(shù)據(jù)中的數(shù)據(jù)控制信息,把要使用的數(shù)據(jù)控制信息作為控制信息(例如僅使用隨機(jī)訪問標(biāo)記)傳送給接收終端,并根據(jù)獲得的控制信息,在接收終端上重寫與存儲(chǔ)在發(fā)送格式存儲(chǔ)部分103內(nèi)的發(fā)送結(jié)構(gòu)(見圖16)有關(guān)的信息。
圖4是一幅示意圖,用于解釋動(dòng)態(tài)改變要加到待發(fā)送的圖像或音頻數(shù)據(jù)中的首部信息的方法。在圖4的例子中,把要發(fā)送的數(shù)據(jù)(ES)分解成數(shù)據(jù)片并以通信首部的形式在這些數(shù)據(jù)片增添表示數(shù)據(jù)順序的識別信息(序列號)、表示是否為能處理數(shù)據(jù)片的開始位置的信息(標(biāo)記位)和與數(shù)據(jù)片的傳送有關(guān)的時(shí)間信息(時(shí)間標(biāo)記),其中假設(shè)上述各信息對應(yīng)于本發(fā)明的傳輸控制信息。
具體地說,RTP(實(shí)時(shí)傳送協(xié)議,RFC1889)利用上述序列號的信息、標(biāo)記位、時(shí)間標(biāo)志、對象ID(稱為SSRC)和版本號作為通信首部。雖然可以擴(kuò)充首部信息項(xiàng),但上述各項(xiàng)總是作為固定項(xiàng)添加。然而,當(dāng)諸如可視電話等實(shí)時(shí)通信和諸如影視點(diǎn)播等累積媒體的傳輸一起出現(xiàn)在要同時(shí)傳輸多個(gè)不同的編碼圖像或聲音的環(huán)境下時(shí),由于通信首部的含義彼此不同,所以必需有鑒別裝置。
例如,在MPEG 1/2情況下,如上所述,時(shí)間標(biāo)記信息表示PTS為再現(xiàn)時(shí)間。然而,在H.261或H.263中,時(shí)間標(biāo)記信息表示對信息編碼時(shí)的間隔時(shí)間。為了與音頻數(shù)據(jù)同步處理H.263,必須表示時(shí)間標(biāo)記為PTS信息。這是因?yàn)樵贖.263的情況下,時(shí)間標(biāo)記信息表示編碼幀之間的時(shí)間間隔,RTP定義第一幀的時(shí)間標(biāo)記是隨機(jī)的。
因此,必須增加一種表示時(shí)間標(biāo)志是否為PTS的標(biāo)記作為(a)通信首部信息(必須擴(kuò)充通信首部)或(b)H.263或H.261的首部信息(即,AL信息)(在這種情況下,必須擴(kuò)充有效負(fù)荷信息)。
用作表示是否為能處理數(shù)據(jù)片的開始位置的信息的標(biāo)記位作為RTP首部信息添加。而且,如上所述,往往必須提供表示是能訪問數(shù)據(jù)的開始位置的訪問標(biāo)記和表示可以隨機(jī)訪問數(shù)據(jù)以獲得AL信息的隨機(jī)訪問標(biāo)記。由于雙重提供了通信首部的標(biāo)記降低了效率,所以也考慮了一種由通信首部準(zhǔn)備的標(biāo)記替代AL標(biāo)記的方法。
(c)新提供一種標(biāo)記,表示AL標(biāo)記被加到通信首部的首部替代,而不向通信首部的AL增加一個(gè)標(biāo)記,或定義通信首部的標(biāo)記位與AL的相同,(與提供AL標(biāo)記的情況相比,預(yù)期解釋可以更快地進(jìn)行),由此,解決上述問題。即,采用一種標(biāo)記,表示標(biāo)記位是否具有與AL標(biāo)記相同的含義。在這種情況下,認(rèn)為改善了通信首部或在擴(kuò)充的范圍內(nèi)描述首部。
然而,(d)也可以解釋通信首部的標(biāo)記位的含義,以表示至少隨機(jī)訪問標(biāo)記和訪問標(biāo)記之一出現(xiàn)在AL中。在這種情況下,由通信首部的版本號可以得知解釋的含義與傳統(tǒng)的情況不同。而且,僅通過為通信首部或AL首部提供訪問標(biāo)記或隨機(jī)訪問標(biāo)記就簡化了處理(對于前者,考慮兩個(gè)首部都提供該標(biāo)記的情況,但必須重新擴(kuò)充通信首部)。
已經(jīng)描述了添加表示數(shù)據(jù)處理優(yōu)先級的信息,作為AL信息。通過把數(shù)據(jù)處理優(yōu)先級加到通信首部,可以確定數(shù)據(jù)處理優(yōu)先級的處理,而不用解釋仍在網(wǎng)絡(luò)上的數(shù)據(jù)內(nèi)容。而且,在IPv6的情況下,可以在比RTP級更低的層上加該優(yōu)先級。
通過向RTP通信首部增加表示數(shù)據(jù)處理的有效周期的計(jì)時(shí)器或計(jì)數(shù)器,可以決定如何改變所發(fā)數(shù)據(jù)包的狀態(tài)。例如,當(dāng)必需的解碼軟件存儲(chǔ)在低訪問速率的存儲(chǔ)器時(shí),可以由計(jì)數(shù)器或定時(shí)器確定解碼器所需要的信息以及什么時(shí)候需要信息。在這種情況下,根據(jù)用途,對于AL信息來說,計(jì)時(shí)器或計(jì)數(shù)器的優(yōu)先級信息或數(shù)據(jù)處理的優(yōu)先級信息不是必需的。
圖5(a)和5(b)以及圖6(a)至6(d)是解釋增加AL信息的方法的示意圖。
如圖5(b)所示,向接收終端發(fā)送控制信息,傳送是否如圖5(a)所示把AL僅加到要發(fā)送的數(shù)據(jù)的首部,或者傳達(dá)是否把AL增加到在把要發(fā)送的數(shù)據(jù)(ES)分解成一個(gè)或多個(gè)數(shù)據(jù)片之后的每個(gè)數(shù)據(jù)片中,這樣可以選擇處理發(fā)送信息的等級。當(dāng)訪問滯后成問題時(shí),把AL加到分割數(shù)據(jù)中是有效的。
如上所述,為了事先把在接收側(cè)數(shù)據(jù)控制信息的重組合或把數(shù)據(jù)控制信息配置到數(shù)據(jù)中的方法的變化傳送給接收終端,接收終端可以利用標(biāo)記、計(jì)數(shù)器或定時(shí)器的表述平滑地進(jìn)行響應(yīng),從而把該表述準(zhǔn)備成AL信息或通信首部,以把它傳送給接收終端。
在上述例子中,描述了避免用AL信息復(fù)制RTP首部(或通信首部)的方法和擴(kuò)充RTP或AL信息通信首部的方法。然而,對于本發(fā)明來說,并不總是必須使用RTP。例如,也可以利用UDP或TCP重新定義原通信首部或AL信息。雖然互聯(lián)網(wǎng)類環(huán)境有時(shí)利用了RTP,但在原類環(huán)境中并沒有定義諸如RTP等多功能首部??紤]了下面四種類型的概念用于AL信息和通信首部(參見圖6(a)至6(d))。
(1)對RTP或AL信息的首部信息進(jìn)行校正和擴(kuò)充,以使已分配給RTP的首部信息和已分配給AL的首部信息不重疊(具體是,時(shí)間標(biāo)記的信息重疊,計(jì)時(shí)器、計(jì)數(shù)器或數(shù)據(jù)處理的優(yōu)先級信息變成擴(kuò)充信息)。或者,可以利用不擴(kuò)充RTP首部和不考慮用RTP信息復(fù)制AL信息的方法。它們對應(yīng)于至此已說明的內(nèi)容。由于H.323實(shí)際已使用了一部分RTP,所以擴(kuò)充具有兼容性的RTP是有效的。(參見圖6(a)。)(2)與RTP無關(guān),簡化通信首部(例如,僅使用序列號),把余下的內(nèi)容提供給AL信息,作為多功能控制信息。而且,使得可以在通信前可變地設(shè)置AL信息使用的項(xiàng)目,這樣可以指定靈活的發(fā)送格式。(參見圖6(b)。)(3)與RTP無關(guān),簡化AL信息(極端的例子是AL不添加信息),并把每個(gè)控制信息提供給通信首部。保持經(jīng)常用作通信首部的序列號、時(shí)間標(biāo)記、標(biāo)記位、有效負(fù)荷類型和對象ID作為固定信息,并向數(shù)據(jù)處理優(yōu)先級信息和定時(shí)器信息分別提供以表示擴(kuò)展信息是否存在的標(biāo)識符,作為與擴(kuò)充信息,以便定義該信息時(shí)參考(參見圖6(c)。)(4)與RTP無關(guān),簡化通信首部和AL信息,把格式定義成與通信首部或AL信息分開的數(shù)據(jù)包,以發(fā)送該格式。例如,也考慮這樣一種方法,對AL信息僅定義標(biāo)記位、時(shí)間標(biāo)記和對象ID,對通信首部僅定義序列號,把有效負(fù)載信息、數(shù)據(jù)處理優(yōu)先級信息和計(jì)時(shí)器信息定義成與上述信息分開的信息數(shù)據(jù)包(第二數(shù)據(jù)包),并發(fā)送(參見圖6(d)。)如上所述,當(dāng)考慮用途和已加到圖像或聲音數(shù)據(jù)中的首部信息時(shí),根據(jù)該用途,能自由地定義(定制)要與通信首部、AL信息分開發(fā)送的數(shù)據(jù)包(第二數(shù)據(jù)包),這是較佳的方式。
圖7的示意圖用于解釋通過動(dòng)態(tài)多路復(fù)用和分離多條邏輯傳輸線路來傳輸信息的方法。為邏輯傳輸線路提供能開始和結(jié)束多路復(fù)用信息的信息多路復(fù)用部分可以減少邏輯傳輸線路的數(shù)量,以根據(jù)用戶的指定或者發(fā)送部分和信息分離部分所用邏輯傳輸線路的數(shù)量,發(fā)送多個(gè)數(shù)據(jù)或控制信息,該分離部為接收控制部分分離多路復(fù)用信息。
在圖7中,信息多路復(fù)用部分稱為“組MUX”,具體地說,它可以使用諸如H.223的多路復(fù)用系統(tǒng)??梢詾閭鬏?接收終端提供組MUX。通過向中繼路由器或終端提供組MUX,可以對應(yīng)于窄帶通信通道。而且,用H.223實(shí)現(xiàn)組MUX,可以使H.223和H.324互連。
為了快速地取得信息多路復(fù)用部分的控制信息(多路復(fù)用控制信息),通過另一邏輯傳輸線路發(fā)送信息多路復(fù)用部分內(nèi)的控制信息,而信息多路復(fù)用部分不將控制信息與數(shù)據(jù)復(fù)接,可以減少多路復(fù)用引起的延遲。因而,通過傳達(dá)和發(fā)送,將與信息多路復(fù)用部分有關(guān)的控制信息與數(shù)據(jù)復(fù)接后發(fā)送,或者控制信息不與數(shù)據(jù)復(fù)接,通過另一邏輯傳輸線路發(fā)送,用戶可以選擇是保持與傳統(tǒng)多路復(fù)用一致,還是減少由于多路復(fù)用引起的延遲。在這種情況下,與信息多路復(fù)用部分相關(guān)的多路復(fù)用控制信息是表示與信息多路復(fù)用部分如何對每片數(shù)據(jù)進(jìn)行多路復(fù)用有關(guān)的多路復(fù)用的內(nèi)容的信息。
同樣,如上所述,根據(jù)表述方法,例如根據(jù)標(biāo)記、計(jì)數(shù)器或計(jì)時(shí)器,可以傳送發(fā)送方法的通知,該方法至少發(fā)送傳達(dá)多路復(fù)用開始和結(jié)束的信息、傳達(dá)多路復(fù)用邏輯傳輸線路的組合的信息和與多路復(fù)用有關(guān)的控制信息(多路復(fù)用控制信息)之一,作為控制信息,或者可以與數(shù)據(jù)一起將數(shù)據(jù)控制信息發(fā)送給接收終端,從而減少接收側(cè)的設(shè)置時(shí)間。而且,如上所述,可以提供表示傳輸RTP首部的標(biāo)記、計(jì)數(shù)器或計(jì)時(shí)器的項(xiàng)目。
當(dāng)存在多個(gè)信息多路復(fù)用部分或多個(gè)信息分離部分時(shí),與標(biāo)識符一起傳送控制信息(多路復(fù)用控制信息),以鑒別信息多路復(fù)用部分或信息分離部分,可以鑒別控制信息屬于哪個(gè)信息多路復(fù)用部分??刂菩畔?多路復(fù)用控制信息)包括多路復(fù)用模式。而且,利用隨機(jī)數(shù)表,從而確定終端之間的信息多路復(fù)用部分或信息分離部分,可以產(chǎn)生信息多路復(fù)用部分的標(biāo)識符。例如,可以在發(fā)送和接收終端之間確定的范圍內(nèi)產(chǎn)生隨機(jī)數(shù),并使信息多路復(fù)用部分的標(biāo)識符(鑒別號)采用其最大值。
由于信息多路復(fù)用部分多路復(fù)用的數(shù)據(jù)在傳統(tǒng)上與RTP中定義的多媒體類型不同,所以必須定義信息,以表示它是RTP有效負(fù)載類型的多路復(fù)用部分(定義新媒體類型H.223)多路復(fù)用的信息。
在控制信息和數(shù)據(jù)信息的序列中配置要在信息多路復(fù)用部分發(fā)送或記錄的信息,以提高對多路復(fù)用數(shù)據(jù)的訪問速度,謀求快速地分析出多路復(fù)用信息。而且,固定根據(jù)加到控制信息中的數(shù)據(jù)控制信息描述的項(xiàng),并增加和多路復(fù)用與數(shù)據(jù)不同的標(biāo)識符(唯一的模式),可以快速分析出首部信息。
圖8的示意圖用于解釋廣播節(jié)目的傳輸過程。把邏輯傳輸線路的標(biāo)識符與廣播節(jié)目的標(biāo)識符之間的關(guān)系用作廣播節(jié)目的信息,從而發(fā)送控制信息或者使數(shù)據(jù)增加廣播節(jié)目的標(biāo)識符,作為數(shù)據(jù)控制信息(AL信息),可以鑒別出為哪個(gè)節(jié)目廣播通過多條傳輸線路傳輸?shù)臄?shù)據(jù)。而且,向接收終端發(fā)送數(shù)據(jù)標(biāo)識符(在RTP的情況下為SSRC)和邏輯傳輸線路的標(biāo)識符(例如LAN端口號)之間的關(guān)系,作為控制信息,并在確認(rèn)了接收終端可以接收控制信息之后(Ack/Reject),發(fā)送相應(yīng)數(shù)據(jù),即使控制信息和數(shù)據(jù)都分別通過獨(dú)立的傳輸線路傳輸,也可以形成數(shù)據(jù)片之間的對應(yīng)關(guān)系。
組合表示廣播節(jié)目的傳輸序列的標(biāo)識符和具有表示廣播節(jié)目或數(shù)據(jù)可以用作信息的有效期限的計(jì)數(shù)器或計(jì)時(shí)器信息的數(shù)據(jù)。把組合標(biāo)識符和信息增加到廣播節(jié)目或數(shù)據(jù)中加以發(fā)送,可以實(shí)現(xiàn)廣播,而不無需返回信道(當(dāng)有效期限幾乎失效時(shí),即使信息不夠,也開始再現(xiàn)廣播節(jié)目的信息或數(shù)據(jù))。而且,可以考慮這樣一種方法,其中,利用單個(gè)通信端口(多播地址),廣播控制信息和數(shù)據(jù)而不使它們彼此分離。
在返回信道的通信中,必須在發(fā)送數(shù)據(jù)之前充分地發(fā)送控制信息,以使接收終端能得知數(shù)據(jù)結(jié)構(gòu)。而且,控制信息應(yīng)當(dāng)通過不會(huì)產(chǎn)生數(shù)據(jù)包丟失的、可靠性高的傳輸信道發(fā)送。然而,當(dāng)利用可靠性低的傳輸信道時(shí),必須循環(huán)發(fā)送相同傳輸序列號的控制信息。這不限于發(fā)送與設(shè)置時(shí)間有關(guān)的控制信息的情況。
而且,通過選擇可以作為數(shù)據(jù)信息增加的項(xiàng)(例如訪問標(biāo)記、隨機(jī)訪問標(biāo)記、數(shù)據(jù)再現(xiàn)時(shí)間(PTS),或數(shù)據(jù)處理優(yōu)先級信息),確定是否與數(shù)據(jù)的標(biāo)識符(SSRC)一起通過與數(shù)據(jù)的傳輸線路不同邏輯傳輸線路發(fā)送數(shù)據(jù)控制信息,或者確定是否在發(fā)送數(shù)據(jù)之前,把數(shù)據(jù)控制信息作為數(shù)據(jù)控制信息與發(fā)送側(cè)的數(shù)據(jù)一起發(fā)送,并且把該數(shù)據(jù)作為控制信息傳達(dá)并發(fā)送給接收側(cè),可以靈活地控制和發(fā)送數(shù)據(jù)。
因而,可以不向AL增加信息而發(fā)送數(shù)據(jù)信息。因此,為了利用RTP發(fā)送圖像或聲音數(shù)據(jù),不必?cái)U(kuò)大對至此已定義的有效負(fù)載的定義。
圖9(a)和9(b)為考慮節(jié)目或數(shù)據(jù)的讀取和增長時(shí)間的圖像或聲音發(fā)送方法的示意圖。具體地說,當(dāng)如沒有返回信道的單向的衛(wèi)星廣播或便攜終端那樣,終端資源受到限制時(shí),或節(jié)目或數(shù)據(jù)出現(xiàn)在接收側(cè)終端上加以使用,以及必要的程序(例如H.263,MPEG 1/2,或音頻解碼器軟件)或數(shù)據(jù)(例如視頻數(shù)據(jù)或音頻數(shù)據(jù))存儲(chǔ)在需要較長讀取時(shí)間的存儲(chǔ)器(例如VD、硬盤或網(wǎng)絡(luò)上的文件服務(wù)器)時(shí),可以根據(jù)諸如鑒別節(jié)目或數(shù)據(jù)的標(biāo)識符等表述方法、要的數(shù)據(jù)流的標(biāo)識符(例如SSRC或邏輯信道號)或估計(jì)接收端所必需的特定時(shí)間點(diǎn)標(biāo)記、計(jì)數(shù)器(升/降計(jì)數(shù))或計(jì)時(shí)器,通過事先把節(jié)目作為控制信息接收,或與數(shù)據(jù)一起作為數(shù)據(jù)控制信息接收來減少前期需要的節(jié)目或數(shù)據(jù)的設(shè)置時(shí)間(圖18)。
當(dāng)發(fā)送節(jié)目或數(shù)據(jù)時(shí),從發(fā)送側(cè)將表示節(jié)目或數(shù)據(jù)在接收終端的存儲(chǔ)器目標(biāo)(例如硬盤或存儲(chǔ)器)的信息、開始或讀取所需的時(shí)間、終端的類型或存儲(chǔ)目標(biāo)與開始或讀取所需的時(shí)間之間的關(guān)系(例如CPU功率、存儲(chǔ)設(shè)備和平均響應(yīng)時(shí)間之間的關(guān)系)和使用的序列與節(jié)目或數(shù)據(jù)一起發(fā)送,這樣如果實(shí)際要求接收終端所必需的節(jié)目或數(shù)據(jù),則可以計(jì)劃安排節(jié)目或數(shù)據(jù)的存儲(chǔ)目標(biāo)和讀取時(shí)間。
圖10(a)和10(b)的示意圖用于解釋對應(yīng)于快速切換(切換電視頻道)的方法。
與傳統(tǒng)的衛(wèi)星廣播僅接收圖像的情況不同,當(dāng)必須在接收終端執(zhí)行程序時(shí),讀取程序并開始執(zhí)行前的設(shè)置時(shí)間是一個(gè)大問題。對于可用的資源受到限制的便攜終端的情況也存在同樣問題。
希望接收側(cè)終端的設(shè)置時(shí)間可以通過以下方式減少(a)利用用戶進(jìn)行觀看和收聽的主視聽部分和接收終端循環(huán)監(jiān)視用戶未觀看和收聽的節(jié)目的輔視聽部分,并接收鑒別事先要求的節(jié)目或數(shù)據(jù)的標(biāo)識符之間的相對關(guān)系、用于估計(jì)接收終端所需的特定時(shí)間的標(biāo)記、計(jì)數(shù)器或定時(shí)器的信息以及程序作為控制信息(由與數(shù)據(jù)的數(shù)據(jù)包不同的數(shù)據(jù)包發(fā)送給控制終端處理的信息)或作為數(shù)據(jù)控制信息(AL信息),并準(zhǔn)備與數(shù)據(jù)一起讀取節(jié)目或數(shù)據(jù),作為在需要較長讀取時(shí)間的存儲(chǔ)器內(nèi)出現(xiàn)用戶沒有觀看或收聽的所需節(jié)目或數(shù)據(jù)的一種解決措施。
作為第二種解決措施,設(shè)置廣播頻道,僅廣播通過多頻信道廣播的圖像的標(biāo)題圖像,并由用戶切換節(jié)目,可以防止屏幕在設(shè)置時(shí)停止,因而,當(dāng)在需要較長讀取時(shí)間的存儲(chǔ)器中出現(xiàn)需要的節(jié)目或數(shù)據(jù)時(shí),臨時(shí)選擇用戶要求的節(jié)目的標(biāo)題圖像,并把它向用戶顯示,或者顯示當(dāng)前讀取節(jié)目或數(shù)據(jù),而且在由存儲(chǔ)器讀取需要的節(jié)目或數(shù)據(jù)后,重新啟動(dòng)用戶要求的節(jié)目。
上面的標(biāo)題圖像包括對通過多頻道廣播的節(jié)目循環(huán)取樣獲得的廣播圖像。
而且,定時(shí)器體現(xiàn)一種時(shí)間,表示必需要有解碼發(fā)輸側(cè)發(fā)送的數(shù)據(jù)流所需的程序需要的特定時(shí)間。計(jì)數(shù)器是發(fā)送和接收終端之間確定的基本時(shí)間單位,它可以是表示第幾次的信息。標(biāo)記與在設(shè)置所必需的時(shí)間之前發(fā)送的數(shù)據(jù)或控制信息(通過與控制終端處理的數(shù)據(jù)的數(shù)據(jù)包不同的數(shù)據(jù)包發(fā)送的信息)一起發(fā)送和傳達(dá)??砂阉鼈兦度氲綌?shù)據(jù)中發(fā)送,或者把它們作為控制信息發(fā)送。
而且,為了確定設(shè)置時(shí)間,可以在利用諸如工作在時(shí)基上的ISDN等傳輸線路時(shí),把鑒別傳輸序列的傳輸序列號用作控制信息,以從發(fā)送終端向接收終端傳達(dá)要節(jié)目或數(shù)據(jù)的特定,從而把序列號與數(shù)據(jù)一起作為數(shù)據(jù)控制信息或控制信息傳送給接收終端,由此,估計(jì)進(jìn)行設(shè)置的時(shí)間。而且,當(dāng)傳輸時(shí)間由于如互聯(lián)網(wǎng)的跳動(dòng)或延遲而波動(dòng),則考慮到傳輸?shù)膫鞑r(shí)延,必須根據(jù)實(shí)現(xiàn)RTCP(互聯(lián)網(wǎng)使用的媒體傳輸協(xié)議)的裝置的跳動(dòng)或時(shí)延,把傳輸時(shí)間加到設(shè)置時(shí)間中。
圖11(a)至19(b)示出了終端之間實(shí)際傳送的協(xié)議的具體例子。
在ASN.1中描述了發(fā)送格式和傳輸過程。而且,發(fā)送格式根據(jù)ITU的H.245擴(kuò)展。如圖11(a)所示,圖像和聲音的對象可以具有分層結(jié)構(gòu)。在該例子的情況下,每個(gè)目標(biāo)ID具有廣播節(jié)目標(biāo)識符(節(jié)目ID)和對象ID(S SRC)的屬性和結(jié)構(gòu)信息,圖像之間的合成方法用諸如Java或VRML等腳本語言描述。
圖11(a)示出了對象之間關(guān)系的例子。
在圖11(a)中,對象是諸如聲音-圖像、CG和文本等媒體。在圖11(a)的例子中,對象構(gòu)成分層結(jié)構(gòu)。每個(gè)對象的節(jié)目號“節(jié)目ID”對應(yīng)于TV頻道,對象標(biāo)識符“對象ID”用于鑒別對象。當(dāng)根據(jù)RTP(互聯(lián)網(wǎng)使用的傳輸媒體的媒體傳輸協(xié)議,實(shí)時(shí)傳輸協(xié)議)傳輸每個(gè)對象時(shí),使對象標(biāo)識符對應(yīng)于SSRC(同步源標(biāo)識符)可以容易地鑒別出對象。而且,可以利用諸如JAVA或VRML等描述語言描述對象之間的結(jié)構(gòu)。
考慮用兩種類型的傳輸對象的方法。一種是廣播類型,把對象單方面從發(fā)送側(cè)終端發(fā)送。另一種是在發(fā)送和接收終端(終端A和B)之間傳送對象的類型(通信類型)。
例如,在互聯(lián)網(wǎng)的情況下,可以把RTP用作傳輸方法。在可視電話標(biāo)準(zhǔn)的情況下,利用稱作LCNO的傳輸通道,傳輸控制信息。在圖11(a)的例子中,用多個(gè)傳輸通道來傳輸。把相同的節(jié)目通道(節(jié)目ID)分配給這些通道。
圖11(b)的示意圖用于解釋如何實(shí)現(xiàn)這種實(shí)現(xiàn)了本發(fā)明描述的功能的協(xié)議。下面描述可視電話標(biāo)準(zhǔn)(H.324和H.323)所用的傳輸協(xié)議(H.245)。本發(fā)明描述的功能通過擴(kuò)展H.245來實(shí)現(xiàn)。
圖11(b)中的例子示出的描述方法是稱為ASN.1的協(xié)議描述方法?!敖K端性能集(“Terminal Capabilitycet”)表述終端的性能。在圖11(b)的例子中,描述成“mpeg 4性能”的功能是對傳統(tǒng)H.245的擴(kuò)展。
在圖12中,“mpeg 4性能”(“MPEG4 Capability”)描述了可以同時(shí)被終端處理的最大圖像數(shù)據(jù)(“Max Namber of Video”)和最大聲音信號數(shù)(“Max Numbeof Sounds”),還描述終端可以實(shí)現(xiàn)的最大多路復(fù)用功能數(shù)(“Max Number ofMux”)。
在圖12中,表示成可以處理的最大對象量(“Number of ProcessObject”)。而且,描述了表示是否可以改變通信首部(在圖12中表示成AL)的標(biāo)記。當(dāng)標(biāo)記的值為真時(shí),可以改變通信首部。為了利用“MPEG 4性能確認(rèn)(“MEG 4Capbility ACK”)彼此傳達(dá)在終端之間可以處理的對象數(shù),如果被傳達(dá)側(cè)可以接受(處理)這些對象,被傳達(dá)側(cè)把“MPEG 4 Capbility ACK”送回給發(fā)送“MPEG 4Capbility”的終端,如果不能,則向該終端回送“MEPG 4性能拒絕”(“MPEG4Capbility Reject”)。
圖13(a)示出了如何描述利用上述組MUX把多個(gè)邏輯信通道多路復(fù)用成一個(gè)傳輸通道(在本例中為LAN傳輸通道)的協(xié)議,以便邏輯通道共用傳輸通道。在圖13(a)的例子中,使多路復(fù)用裝置(組MUX)對應(yīng)于LAN(局域網(wǎng))傳輸通道(LAN端口號,“LAN Poxt Number”)。“組Mux ID”(“Group Max ID”)是用于鑒別多路復(fù)用裝置的標(biāo)識符。為了“創(chuàng)建組Max”(“Create group Mux”),使終端共用多路復(fù)用裝置,并在終端之間相互傳送,如果被傳送側(cè)可以接受(使用)該多路復(fù)用裝置,就向發(fā)送“Greate Group Mux”的終端回送“Greate Group Mux Ack”,如果不能接受,就向該終端回送“Greate Group Mux Reject”??梢杂孟嗤姆椒▽?shí)現(xiàn)分離裝置,用作進(jìn)行與多路復(fù)用裝置的操作相反的裝置。
在圖13(b),描述了刪除了已產(chǎn)生的多路復(fù)用裝置的情況(“Destory GroupMux”“破壞組Mux”)。
在圖13(c)中,描述了LAN傳輸通道與多個(gè)邏輯通道之間的關(guān)系。
根據(jù)“LAN Port Numbef”描述LAN的傳輸通道,根據(jù)“邏輯端口號”(“Logical Port Number”)描述了邏輯通道。
在圖13(c)的情況下,可以使一個(gè)LAN的傳輸通道對應(yīng)多達(dá)15個(gè)邏輯通道。
在圖13中,當(dāng)可以使用的MUX的數(shù)量僅為一個(gè)時(shí),組Mux ID就不是必需的了。而且,為了使用多個(gè)Mux,對于H.223的每個(gè)命令都必須有組Mux ID。可以使用標(biāo)記,以傳達(dá)多路復(fù)用裝置與分離裝置之間使用的端口之間關(guān)系。還可以使用命令使得能選擇是對控制信息進(jìn)行多路復(fù)用,還是通過另一邏輯傳輸線傳輸信息。
圖13(a)至圖13(c)所示的解釋例中,傳輸通道利用LAN。然而,也可使用利用例如H.223或MPEG 2等的互聯(lián)網(wǎng)協(xié)議的系統(tǒng)。
在圖14中,“開邏輯通道”(“Open Logical Channel”)顯示定義傳輸通道屬性的協(xié)議描述。在圖14的例子中,“MPEG 4邏輯通道參數(shù)”(“MPEG4 LogicalParameters”)根據(jù)H.245協(xié)議擴(kuò)展和定義。
圖15示出了節(jié)目號(對應(yīng)于TV頻道),使節(jié)目號被制成對應(yīng)于LAN的傳輸通道(“MPEG 4邏輯通道參數(shù)”)。
而且,在圖15中“廣播通道節(jié)目”(“Broadcesting Channel Program”)表示根據(jù)廣播類型發(fā)送LAN傳輸通道與節(jié)目號之間對應(yīng)關(guān)系的描述方法。圖15的例子使得可以發(fā)送多達(dá)1023個(gè)傳輸通道與節(jié)目號之間對應(yīng)關(guān)系。由于在廣播的情況下,發(fā)送側(cè)單方面向接收側(cè)發(fā)送,所以考慮到在傳輸期間的丟失現(xiàn)象,必須循環(huán)發(fā)送這些信息片。
在圖16(a)中,描述了要作為節(jié)目傳輸?shù)膶ο?例如圖像或聲音)的屬性(“MPEG4對象類別定義”)(“MPEG4 Object Calssdefinition”)。把對象信息(“對象結(jié)構(gòu)單元”)(“Object Structure Element”)對應(yīng)于節(jié)目標(biāo)識符(“ProgramID”)??梢允苟噙_(dá)1023個(gè)對象對應(yīng)于節(jié)目標(biāo)識符。對于對象信息,描述了LAN傳輸通道(“LAN端口號”)、表示是否使用加密編碼的標(biāo)記(“加密編碼標(biāo)記”)(Scramble_Flag)、終端過載時(shí)定義改變處理優(yōu)先級的偏移值的字段(“CGD偏移”)(“CGD Offset”)以及鑒別要傳輸?shù)拿襟w類型(圖像或聲音)的標(biāo)識符(“媒體類型”)(“Media type”)。
在圖16(b)所示的例子中,增加了AL(在本例中,定義成一幀解碼圖像所需的附加信息)以控制對ES(在本例中,定義成對應(yīng)于一幀的圖像的數(shù)據(jù)串)的解碼。對于AL信息,定義如下。
(1)隨機(jī)訪問標(biāo)記(表示是否可獨(dú)立再現(xiàn)的標(biāo)記,真表示幀內(nèi)編碼的圖像幀)(2)展現(xiàn)時(shí)間標(biāo)志(幀顯示的時(shí)間)(3)CGD優(yōu)先級(確定當(dāng)終端過載時(shí)的處理優(yōu)先級的優(yōu)先級值)該例子示出了利用RTP(通過互聯(lián)網(wǎng)傳送連續(xù)的媒體的協(xié)議,即實(shí)時(shí)傳送協(xié)議)傳送一幀的數(shù)據(jù)串的情況。“AL重構(gòu)”是改變可以用上述的AL表示的最大值的傳輸表述。
圖16(b)的例子使得可以把多達(dá)2位表示成“隨機(jī)訪問標(biāo)記最大位數(shù)”(“Random Access Flag Max Flag”)。例如,當(dāng)沒有位時(shí),不使用隨機(jī)訪問標(biāo)記。當(dāng)有兩位時(shí),最大值等于3。
而且,可以用實(shí)數(shù)部分和尾數(shù)部分表示(例如3∧6)。當(dāng)不設(shè)置數(shù)據(jù)時(shí),可以在缺省確定狀態(tài)下工作。
在圖17中,“設(shè)置請求”(“Setup Request”)表示傳輸設(shè)置時(shí)間的傳輸表述?!霸O(shè)置請求”在傳輸節(jié)目之前傳輸,使要傳輸?shù)膫鬏斖ǖ捞?“邏輯通道號”)、要執(zhí)行的程序ID(“執(zhí)行程序號”)(“execative Program Number”)要使用的數(shù)據(jù)ID(“data Number”)和要執(zhí)行的命令I(lǐng)D(“執(zhí)行命令號”)(“excutiveCommand Number”)成彼此對應(yīng),并傳輸給接收終端。而且,作為另外的表述方法,可以采用執(zhí)行授權(quán)標(biāo)記(“flag”)、描述在接收設(shè)置請求多少次時(shí)開始執(zhí)行的計(jì)數(shù)器(“counter”)和表示在經(jīng)過多少時(shí)間后開始執(zhí)行的定時(shí)器值(“timer”),并使它們對應(yīng)于傳輸通道號。
作為要提出的請求的例子,可列舉重寫AL信息和確保組Mux的增長時(shí)間。
圖18的示意圖用于解釋傳輸表述,是否利用圖16(b)描述的AL從發(fā)送終端向接收終端傳送AL(“控制AL定義”)(“Control AL Definstion”)。
在圖18中,如果“隨機(jī)訪問標(biāo)記使用”(“Random Access Flag Use”)為真,則使用隨機(jī)訪問標(biāo)記。如果不為真,就不使用。可以把AL變化通知作為控制信息通過與數(shù)據(jù)傳輸通道分開的通道進(jìn)行傳輸,或通過與數(shù)據(jù)相同的傳輸通道,與數(shù)據(jù)一起傳輸。
作為要執(zhí)行的程序,可列出解碼程序。可以把設(shè)置請求用于廣播和通信。根據(jù)上述請求,對接收終端指定用作控制信息的哪一項(xiàng)用作AL信息。而且,可以指定把哪一項(xiàng)用作通信首部,把哪一項(xiàng)用作AL信息,把哪一項(xiàng)用作對接收終端的控制信息。
圖19(a)示出了一種傳輸表述,它利用發(fā)送和接收終端之間的信息幀標(biāo)識符(“首部ID”)(“header ID”),根據(jù)用途改變首部信息的結(jié)構(gòu)(數(shù)據(jù)控制信息、傳輸控制信息和控制信息)。
在圖19(a)中,“類別ES首部”(“Calss ES_header”)根據(jù)信息幀標(biāo)識符,區(qū)分要通過與數(shù)據(jù)傳輸通道相同的通道傳輸?shù)臄?shù)據(jù)控制信息的結(jié)構(gòu)與傳輸控制信息用以在發(fā)送和接收終端之間傳輸?shù)男畔⒌慕Y(jié)構(gòu)通道相同。
例如,當(dāng)“header ID”值為0時(shí),僅使用“緩存器規(guī)模的ES”(“bufferSize ES”)項(xiàng),而當(dāng)“header ID”值為1時(shí),增加(“reserved”)項(xiàng)。
而且,利用缺省標(biāo)識符(“使用首部擴(kuò)展”)(“use Header Extension”),確定是否使用缺省類型信息幀。當(dāng)“使用首部擴(kuò)展”是真時(shí),使用如果語句中的項(xiàng)。假設(shè)事先在發(fā)送和接收終端之間確定了這些結(jié)構(gòu)信息。而且,可以使用一種結(jié)構(gòu),以使用信息幀標(biāo)識符和缺省標(biāo)識符之一。
在圖19(b)的例子中,“AL配置”(“AL Configuration”)表示這樣一個(gè)例子,它根據(jù)用途通過與發(fā)送和接收終端之間傳輸?shù)臄?shù)據(jù)不同的傳輸通道改變要傳輸?shù)目刂菩畔⒔Y(jié)構(gòu)。信息幀標(biāo)識符的作用和缺省標(biāo)識符的作用與圖19(a)的情況相同。
在本發(fā)明的情況下,從下面的觀點(diǎn)具體描述實(shí)現(xiàn)同時(shí)合成和顯示多個(gè)圖像和多個(gè)聲音的方法。
(1)通過多條邏輯傳輸線路傳輸(傳達(dá)和廣播)圖像和聲音并控制它們的方法。尤其是,描述了通過獨(dú)立的邏輯傳輸線路分別傳輸控制信息和數(shù)據(jù)的方法。
(2)動(dòng)態(tài)改變加到要傳輸?shù)膱D像或聲音的數(shù)據(jù)中的首部信息(AL信息)的方法。
(3)動(dòng)態(tài)改變增加的通信首部信息以便傳輸?shù)姆椒ā?br>
具體地說,對于第(2)和(3)項(xiàng),描述了一種控制重疊在AL信息和通信首部上的信息的方法和把AL信息作為控制信息傳輸?shù)姆椒ā?br>
(4)動(dòng)態(tài)地多路復(fù)用和分離多條邏輯傳輸線路和傳輸信息的方法。
描述了一種節(jié)省傳輸線路的通道數(shù)的方法和實(shí)現(xiàn)有效多路復(fù)用的方法。
(5)考慮到增長時(shí)間讀取節(jié)目或數(shù)據(jù),并傳輸圖像和聲音的方法。而且,描述了減少各種功能和用戶的視在設(shè)置時(shí)間的方法。
(6)針對頻道快速切換的圖像或聲音傳輸方法。
本發(fā)明并不僅限于合成兩維圖像。也可以使用把兩維圖像與三維圖像組合的表述方法,或者可以包括合成多幅圖像以使它們?nèi)鐚捯曇皥D像(全景圖像)一樣彼此相鄰接的圖像合成方法。
而且,本發(fā)明不僅僅以諸如雙向CATV和B-ISDN的通信系統(tǒng)為對象。例如,可以使用無線電波(例如VHF頻段或UHF頻段),或者從中央終端向家用終端傳輸圖像和聲音的廣播衛(wèi)星以及從家用終端向中央終端傳送信息的模擬電話線或N-ISND(并不總是必須多路復(fù)用圖像、聲音或數(shù)據(jù))。
而且,可以使用無線電通信系統(tǒng),諸如IrDA、PHS(個(gè)人手持電話),或者無線電LAN。而且,對象終端可以是例如便攜式信息終端的便攜式終端或例如設(shè)置盒或個(gè)人計(jì)算機(jī)等桌面終端。而且,作為應(yīng)用范圍,還有可視電話、多點(diǎn)監(jiān)視系統(tǒng)、多媒體系統(tǒng)、多媒體數(shù)據(jù)庫檢索系統(tǒng)和游戲機(jī)。本發(fā)明不僅包括接收終端,而且還包括連接到接收終端的服務(wù)器和轉(zhuǎn)發(fā)器。
在上述例子中,描述了避免RTP(通信)首部與AL信息重疊的方法和擴(kuò)充RTP通信首部或AL信息的方法。然而,本發(fā)明并不總是必須使用RTP。例如,也可以利用UDP或TCP重新定義原通信首部或AL信息。雖然互聯(lián)網(wǎng)類環(huán)境有時(shí)使用RTP,但對于原類環(huán)境并不定義諸如RTP等多功能首部。如上所述,有四種關(guān)于AL信息和通信首部的概念。
因此,通過動(dòng)態(tài)動(dòng)確定數(shù)據(jù)控制信息的信息幀、傳輸控制信息或發(fā)送和接收終端使用的控制信息(例如包括要增加的信息序列和以序列號的形式首先把隨機(jī)訪問標(biāo)記分配成1位標(biāo)記信息和其后把隨機(jī)訪問標(biāo)記分配成16位的位數(shù)的信息幀),可以根據(jù)用途或傳輸線路僅改變對應(yīng)于狀況的信息幀。
每一信息的幀可以是如圖6(a)至6(d)已示出了任一種,在RTP的情況下,數(shù)據(jù)控制信息(AL)可以是每種媒體的首部信息(例如,在H.263的情況下,可以是視頻首部信息或H.263固有的有效負(fù)載的首部信息),傳輸控制信息可以是RTP首部信息,控制信息可以是控制諸如RTCP等RTP的信息。
而且,在發(fā)送和接收終端之間預(yù)先設(shè)置了公知的信息幀的情況下,通過分別發(fā)送和接收數(shù)據(jù)控制信息、傳輸控制信息和控制信息(通過與控制終端處理的數(shù)據(jù)的數(shù)據(jù)包不同的數(shù)據(jù)包傳輸?shù)男畔?,提供缺省的標(biāo)識符,表示是否處理信息,可以了解信息幀是否改變了。僅當(dāng)進(jìn)行改變時(shí),根據(jù)圖16所示的方法,設(shè)置缺省標(biāo)識符并傳輸已改變的內(nèi)容(例如時(shí)間標(biāo)志信息從32位改變成16位),這能防止信息的幀信息沒有改變時(shí)傳輸不必要的配置信息。
例如,考慮下面的兩種方法,改變數(shù)據(jù)控制信息的信息幀。首先,描述在數(shù)據(jù)本身改變數(shù)據(jù)控制信息的信息幀的方法時(shí),設(shè)置數(shù)據(jù)控制信息的信息幀描述的數(shù)據(jù)中出現(xiàn)的信息的缺省標(biāo)識符(要寫入到固定區(qū)域或位置),然后描述信息幀的變化內(nèi)容。
為了改變數(shù)據(jù)控制信息的信息幀,描述另一種把僅改變控制信息(信息幀控制信息)內(nèi)的數(shù)據(jù)的信息幀的方法時(shí),設(shè)置控制信息提供的缺省標(biāo)識,描述要改變的數(shù)據(jù)控制信息的信息幀的內(nèi)容,并根據(jù)ACK/拒絕傳送給接收終端,確認(rèn)數(shù)據(jù)控制信息的信息幀改變后,傳輸信息幀已改變的數(shù)據(jù)。也可以根據(jù)上述兩種方法改變傳輸控制信息和控制信息的信息幀(圖19)。
更具體地說,雖然MPEG2的首部信息是固定的,通過為節(jié)目映射表提供缺省標(biāo)識符(由PSI定義),使MPEG2-Ts的視頻數(shù)據(jù)流(傳送數(shù)據(jù)流)與其音頻數(shù)據(jù)流相關(guān)聯(lián),并定義配置數(shù)據(jù)流,描述改變視頻數(shù)據(jù)流和音頻數(shù)據(jù)流信息的幀的方法,可以首先解釋配置數(shù)據(jù)流,然后根據(jù)設(shè)置缺省標(biāo)識符時(shí)配置數(shù)據(jù)流的內(nèi)容,解釋視頻和音頻數(shù)據(jù)流的首部??梢允古渲脭?shù)據(jù)流具有圖19所示的內(nèi)容。
與傳輸方法和/或要傳輸?shù)臄?shù)據(jù)的結(jié)構(gòu)有關(guān)的本發(fā)明的內(nèi)容(發(fā)送格式信息)對應(yīng)于例如上述實(shí)施例中的信息幀。
對于上述實(shí)施例,主要描述了與傳輸方法和/或要傳輸?shù)臄?shù)據(jù)的結(jié)構(gòu)有關(guān)的要改變的內(nèi)容。然而,也可以使用僅傳輸內(nèi)容標(biāo)識符的結(jié)構(gòu)。在這種情況下,如圖44所示,也可以使用音頻-視頻發(fā)送機(jī),這種發(fā)送機(jī)設(shè)置(1)發(fā)送裝置5001,用于通過與數(shù)據(jù)相同的傳輸線路或與前一傳輸線路不同的傳輸線路,發(fā)送與傳輸方法和/或要發(fā)送的數(shù)據(jù)的結(jié)構(gòu)有關(guān)的內(nèi)容或表示內(nèi)容的標(biāo)識符,作為發(fā)送格式內(nèi)容;(2)存儲(chǔ)裝置5002,用于存儲(chǔ)與傳輸方法和/或要發(fā)送的數(shù)據(jù)的內(nèi)容有關(guān)的多種類型的內(nèi)容和這些內(nèi)容的多種類型的標(biāo)識符,其中標(biāo)識符至少包括在數(shù)據(jù)控制信息、傳輸控制信息和控制終端側(cè)處理的信息之一中。而且,如圖45所示,可以使用一種音頻-視頻接收機(jī),該接收機(jī)設(shè)置用于接收音頻-視頻發(fā)送機(jī)發(fā)送的接收裝置5101和解釋接收到的發(fā)送格式信息的發(fā)送格式信息解釋裝置5102。而且,音頻-視頻接收機(jī)可做成具有存儲(chǔ)裝置5103構(gòu)成,用于存儲(chǔ)與傳輸方法和/或要發(fā)送的數(shù)據(jù)的結(jié)構(gòu)有關(guān)的多種類型的內(nèi)容和這些內(nèi)容的多種類型的標(biāo)識符,當(dāng)接收標(biāo)識符作為發(fā)送格式信息時(shí),用存儲(chǔ)在存儲(chǔ)裝置中的內(nèi)容解釋標(biāo)識符的內(nèi)容。
更具體地說,準(zhǔn)備發(fā)送和接收終端之間預(yù)先確定的多種類型的信息幀,并與數(shù)據(jù)一起傳輸上述信息幀的標(biāo)識符和多種類型的數(shù)據(jù)控制信息、多種類型的傳輸控制信息和多種類型的控制信息(傳輸幀控制信息)的信息幀標(biāo)識符,作為控制信息,這樣,可以根據(jù)要傳輸?shù)拿襟w類型或傳輸線路的容量鑒別多種類型的數(shù)據(jù)控制信息、多種類型的傳輸控制信息和多種類型的控制信息,隨意選擇每種類型信息的信息幀。本發(fā)明的標(biāo)識符對應(yīng)于上述信息幀標(biāo)識符。
即使信息幀在接收側(cè)終端改變了,也可以通過把標(biāo)識符加到要傳輸?shù)男畔⒌念A(yù)定的固定長度區(qū)域中或預(yù)定位置上,讀取和解釋這些信息標(biāo)識符和缺省標(biāo)識符。
而且,除了上述實(shí)施例描述的結(jié)構(gòu)之外,也可以使用這樣一種結(jié)構(gòu),在花很多時(shí)間來設(shè)置需要的節(jié)目或數(shù)據(jù)時(shí),利用廣播通道,僅廣播通過多頻道廣播的圖像的標(biāo)題圖像,從而臨時(shí)選擇用戶要觀看和收聽的節(jié)目的捕獲圖像,并切換用戶要觀看和收聽的節(jié)目。
如上所述,本發(fā)明可以根據(jù)用途或傳輸線路,動(dòng)態(tài)地確定發(fā)送和接收終端使用的數(shù)據(jù)控制信息的幀、傳輸控制信息或控制信息,從而對應(yīng)于狀態(tài)改變信息的幀。
而且,可以通過提供缺省標(biāo)識符,表示是否分別利用發(fā)送和接收終端之間預(yù)先設(shè)置的數(shù)據(jù)控制信息、傳輸控制信息和控制信息的公知信息發(fā)送或接收并處理信息,因而可以得知信息幀是否改變,并且即使信息的信息幀由于設(shè)置了缺省標(biāo)識符沒有改變也可以防止傳輸不必要的配置信息,僅當(dāng)進(jìn)行了改變時(shí)才傳送改變的內(nèi)容。
再者,通過準(zhǔn)備在發(fā)送和接收終端之間預(yù)先確定的多種信息幀,并與數(shù)據(jù)一起傳輸鑒別多種類型的數(shù)據(jù)控制信息的信息幀標(biāo)識符、多種類型的傳輸控制信息和多種類型的控制信息,可以鑒別多種類型的數(shù)據(jù)控制信息、多種類型的傳輸控制信息和多種類型的控制信息,并且根據(jù)要傳輸?shù)拿襟w的類型或傳輸線路的容量,可以隨意地選擇各種類型的信息幀。
即使在接收側(cè)終端上信息幀改變了,通過把標(biāo)識符加到要傳輸?shù)男畔⒌念A(yù)定的固定長度區(qū)域中或預(yù)定的位置,也可以讀取和解釋這些信息標(biāo)識符和缺省標(biāo)識符。
下面參照附圖描述本發(fā)明的實(shí)施例。
在本例中,解釋了上述問題(B1)至(B3)中的一個(gè)問題。
本發(fā)明所用的“圖像”包括靜止圖像或活動(dòng)圖像。而且,提出的圖像可以是二維圖像,例如計(jì)算機(jī)制圖(CG)圖像,或者可以是用線框型構(gòu)成的三維圖像數(shù)據(jù)。
圖25是本發(fā)明的實(shí)施例的圖像編碼器或圖像解碼器的示意性框圖。
發(fā)送或記錄各種編碼信息發(fā)送控制部分4011是傳送軸電纜、CATV、LAN或調(diào)制解調(diào)器等的信息的裝置。圖像編碼器4101具有圖像編碼部分4012,用于對諸如H.263、MPEG1/2、JPEG圖像信息進(jìn)行編碼或進(jìn)行Huffman編碼,還具有發(fā)送控制部分4011。而且,圖像編碼器4102的輸出部分4016由下列部分構(gòu)成接收各種編碼信息的接收控制部分4013、解碼各種接收到的圖像信息的圖像解碼部分4014、合成一幅或多幅解碼圖像的圖像合成部分4015和由輸出圖像的顯示器和打印機(jī)構(gòu)成的輸出部分的4016、圖26是本發(fā)明一個(gè)實(shí)施例的音頻編碼器和音頻解碼器的示意性框圖。
音頻編碼器(聲音編碼器4021)由下列部分構(gòu)成發(fā)送或記錄各種編碼信息的發(fā)送控制部分4021和對諸如G.721或MPEG1音頻信號的音頻信息進(jìn)行編碼的音頻編碼部分4022。音頻解碼器(聲音解碼器)4202由下列部分構(gòu)成接收各種編碼信息的接收控制部分4023、解碼上述音頻信息的音頻解碼部分4024、合成一個(gè)或多個(gè)解碼音頻信號的音頻合成部分(聲音合成部分)4025和輸出音頻信號的輸出裝置4026。
上述編碼或解碼器對聲音或圖像的時(shí)間序列數(shù)據(jù)進(jìn)行具體的編碼或解碼。
圖25和26的通信環(huán)境可以是能使用多條邏輯傳輸線路而不考慮多路復(fù)用裝置的環(huán)境,如互聯(lián)網(wǎng)的情況,或者是必需考慮多路復(fù)用裝置的環(huán)境,如模擬電話或衛(wèi)星廣播的情況。作為終端連接系統(tǒng),可列舉諸如在可視電話或可視電話會(huì)議等終端之間雙方傳輸圖像或聲音的系統(tǒng),或在衛(wèi)星廣播、CATV或互聯(lián)網(wǎng)上廣播廣播類型圖像或聲音的系統(tǒng)。
可以用諸如JAVA、VRML或MHEG等腳本語,描述圖像和聲音、圖像和聲音的結(jié)構(gòu)信息(顯示位置和顯示時(shí)間)、音頻-視頻分組方法、圖像顯示層(深度)和對象ID(鑒別諸如圖像或聲音等各種對象的ID)和和它們的屬性之間的關(guān)系,這樣可以定義一種合成圖像或聲音的方法。描述合成方法的腳本從網(wǎng)絡(luò)或本地存儲(chǔ)器獲得。
而且,可以任意組合任意數(shù)量的圖像編碼器、圖像解碼器、音頻編碼器和音頻解碼器,構(gòu)成發(fā)送或接收終端。
圖27(a)的示意圖用于解釋控制過載處理優(yōu)先級的優(yōu)先級添加部分和優(yōu)先級確定部分。為圖像編碼器4101和音頻編碼器4201設(shè)置優(yōu)先級添加部分31,根據(jù)預(yù)定的標(biāo)準(zhǔn),利用諸如H.263或G.723的編碼方法,確定過載時(shí)處理編碼信息的優(yōu)先級,并使編碼信息與確定的優(yōu)先級相關(guān)聯(lián)。
添加優(yōu)先級的基準(zhǔn)是在圖像的情況下為場面變化,在編輯者或用戶指定的圖像幀、數(shù)據(jù)流或聲音的情況下為有聲區(qū)和無聲區(qū)。
向通信首部添加優(yōu)先級的方法和在編碼時(shí)把優(yōu)先級嵌入到要編碼的視頻或音頻的位流的首部內(nèi)的方法都可以考慮作為定義過載時(shí)優(yōu)先級的優(yōu)先級添加方法。前一種方法可以不用解碼信息而獲得與優(yōu)先級有關(guān)的信息,后一種方法可以獨(dú)立地處理一個(gè)位流,而與系統(tǒng)無關(guān)。
如圖27(b)所示,當(dāng)把優(yōu)先級信息加到通信首部,并把一圖像幀(例如幀內(nèi)編碼的I幀或幀間編碼的P或B幀)分割成多個(gè)傳輸數(shù)據(jù)包時(shí),在圖像的情況下,僅把優(yōu)先級加到通信首部中,以把可訪問的圖像幀的首部作為單一信息傳輸(當(dāng)在同一圖像中優(yōu)先級相同時(shí),可以假設(shè)一直到下一次出現(xiàn)可訪問圖像幀時(shí),優(yōu)先級都沒有變化)。
又,在解碼器的情況下,根據(jù)在過載時(shí)接收到的各種編碼信息的優(yōu)先級,為圖像解碼器4102和音頻解碼器4202設(shè)置了確定處理方法的優(yōu)先級處理部分32。
圖28(a)至28(c)的示意圖用于解釋添加優(yōu)先級的等級。解碼是利用兩種類型的優(yōu)先級進(jìn)行的,以確定終端過載時(shí)處理的優(yōu)先級。
即,定義了用于規(guī)定在位流(諸如圖像和聲音的位流)過載時(shí)處理的優(yōu)先級的數(shù)據(jù)流優(yōu)先級(數(shù)據(jù)流優(yōu)先級;時(shí)間序列數(shù)據(jù)間優(yōu)先級);用于規(guī)定同一數(shù)據(jù)流中幀(例如圖像幀)過載時(shí)處理的優(yōu)先級的幀優(yōu)先級(幀優(yōu)先級;時(shí)間序列數(shù)據(jù)內(nèi)優(yōu)先級)(參見圖28(a))。
前一種數(shù)據(jù)流優(yōu)先級可以處理多個(gè)視頻或音頻數(shù)據(jù)。后一種幀優(yōu)先級可以根據(jù)編輯者的意向,向圖像場面變化或同一幀內(nèi)編碼的圖像幀(I幀)增添不同的優(yōu)先級。
數(shù)據(jù)流優(yōu)先級表示的值表示把它處理成相對值和把它處理成絕對值的情況(參見圖28(b)和28(c))。
在網(wǎng)絡(luò)上,由諸如路由器或網(wǎng)關(guān)等轉(zhuǎn)發(fā)終端處理數(shù)據(jù)流優(yōu)先級和幀優(yōu)先級;在終端,則由發(fā)送和接收終端進(jìn)行處理。
考慮用兩種方法表示絕對值或相對值。一種是圖28(b)所示的方法,另一種是圖28(c)所示的方法。
在圖28(b)中,絕對值優(yōu)先級是表示編輯者增加或機(jī)器增加的圖像數(shù)據(jù)流(視頻流)或音頻流過載時(shí)處理(或要處理)的順序的值(但不是考慮了實(shí)際網(wǎng)絡(luò)或終端的負(fù)荷變化的值)。相對值優(yōu)先級是根據(jù)終端或網(wǎng)絡(luò)的負(fù)荷改變絕對優(yōu)先級值的值。
根據(jù)網(wǎng)絡(luò)的負(fù)荷波動(dòng)等把優(yōu)先級成分相對值和絕對值進(jìn)行控制值,從而僅在發(fā)送側(cè)或由轉(zhuǎn)發(fā)器改變相對值,這樣可以保留加到視頻或音頻數(shù)據(jù)流中的絕對優(yōu)先級,同時(shí)將其值記錄到硬盤上或VTR上。因此,當(dāng)記錄絕對優(yōu)先級的值時(shí),可以再現(xiàn)不受網(wǎng)絡(luò)的負(fù)荷波動(dòng)等影響的圖像或聲音。而且,可以獨(dú)立于數(shù)據(jù)通過控制通道傳輸相對或絕對優(yōu)先級。
在圖28(b)中,可以與數(shù)據(jù)流優(yōu)先級進(jìn)行精細(xì)的等級比較,處理幀優(yōu)先級,把過載時(shí)的幀處理優(yōu)先級定義成相對優(yōu)先級值,或者把它處理成絕對優(yōu)先級值。例如,描述編碼圖像中的絕對幀優(yōu)先級和描述對應(yīng)于加到傳輸編碼信息的通信數(shù)據(jù)包的首部中的圖像幀中的絕對優(yōu)先級的相對幀優(yōu)先級,反映網(wǎng)絡(luò)或終端的負(fù)荷波動(dòng),這樣,即使在幀一級的情況下,也可以在保留原優(yōu)先級的同時(shí),添加對應(yīng)于網(wǎng)絡(luò)或終端的負(fù)荷的優(yōu)先級。
還可以獨(dú)立于數(shù)據(jù),在控制通道中,而不是通信首部描述與幀的關(guān)系,來傳送相對優(yōu)先級。這樣,可保留原來加到圖像或聲音數(shù)據(jù)流的絕對優(yōu)先級,同時(shí)把數(shù)據(jù)記錄到硬盤或VTR上。
而且,在圖28(b)中,當(dāng)在接收終端再現(xiàn)數(shù)據(jù),并同時(shí)通過網(wǎng)絡(luò)傳輸數(shù)據(jù)而不在接收終端上記錄數(shù)據(jù)時(shí),由于不必在接收終端分開絕對值和相對值進(jìn)行控制,可以在發(fā)送側(cè)對幀和數(shù)據(jù)流兩級計(jì)算絕對優(yōu)先級的值和相對優(yōu)先級后,僅傳送絕對值。
在圖28(c)中,絕對值優(yōu)先級是從數(shù)據(jù)流優(yōu)先級和幀優(yōu)先級之間的關(guān)系獲得的幀之間唯一確定的值。相對值優(yōu)先級是表示編輯者添加的或機(jī)器添加的圖像數(shù)據(jù)流或音頻數(shù)據(jù)流在過載時(shí)處理(或要處理)的順序的值。在圖28(c)的例子中,增添圖像或聲音數(shù)據(jù)流的幀優(yōu)先級(相對;相對值)或每個(gè)數(shù)據(jù)流的數(shù)據(jù)流優(yōu)先級。
從相對幀優(yōu)先級和數(shù)據(jù)流優(yōu)先級之和獲得絕對幀優(yōu)先級(絕對;絕對值)(即,絕對幀優(yōu)先級=相對幀優(yōu)先級+數(shù)據(jù)流優(yōu)先級)。為了獲得絕對優(yōu)先級,也可以使用相減方法或常數(shù)相乘方法。
絕對幀優(yōu)先級主要用于網(wǎng)絡(luò)。這是因?yàn)槔媒^對值的表述不需要確定通過諸如路由器或網(wǎng)關(guān)等轉(zhuǎn)發(fā)器考慮數(shù)據(jù)流優(yōu)先級和幀優(yōu)先級,來確定每幀的優(yōu)先級。利用絕對幀優(yōu)先級,使轉(zhuǎn)發(fā)器廢棄幀之類的處理簡化。
而且,可以希望把相對幀優(yōu)先級主要應(yīng)用于累積系統(tǒng),以進(jìn)行記錄或編輯。在編輯操作的情況下,可以同時(shí)處理多個(gè)圖像和聲音數(shù)據(jù)流。在這種情況下,可以根據(jù)終端或網(wǎng)絡(luò)的負(fù)荷情況限制能再現(xiàn)圖像數(shù)據(jù)流的數(shù)量和幀的數(shù)量。
在上述情況下,與僅通過把數(shù)據(jù)流優(yōu)先級與幀優(yōu)先級分離來表述絕對值的情況不同,不必重新計(jì)算每個(gè)幀優(yōu)先級,即僅通過改變編輯者想優(yōu)先顯示或用戶要看的數(shù)據(jù)流的數(shù)據(jù)流優(yōu)先級即可。因此,必須根據(jù)用途利用絕對表述或相對表述。
通過描述是把數(shù)據(jù)流優(yōu)先級用作相對值還是用作絕對值,可以有效地表示傳輸和累積的優(yōu)先級在圖28(b)的情況下,其區(qū)別是利用表示數(shù)據(jù)流優(yōu)先級表述的值是絕對值還是相對值的標(biāo)記或標(biāo)識符,跟蹤數(shù)據(jù)流優(yōu)先級表述的值是相對值還是絕對值的數(shù)據(jù)流優(yōu)先級。在幀優(yōu)先級的情況下,不需要際記或標(biāo)識符,這是因?yàn)樵谕ㄐ攀撞棵枋隽讼鄬χ?,在編碼幀內(nèi)描述了絕對值。
在圖28(c)的例子中,使用了鑒別幀優(yōu)先級是絕對值還是相對值的標(biāo)記或標(biāo)識符。在絕對值的情況下,幀優(yōu)先級是根據(jù)數(shù)據(jù)流優(yōu)先級和相對幀優(yōu)先級計(jì)算得到的優(yōu)先級,因此,轉(zhuǎn)發(fā)器或終端并不進(jìn)行這種計(jì)算。而且,當(dāng)終端已知計(jì)算公式時(shí),可以根據(jù)絕對幀優(yōu)先級和數(shù)據(jù)流優(yōu)先級反向計(jì)算相對幀優(yōu)先級。例如,還可以從下面的相對表述獲得要傳輸?shù)臄?shù)據(jù)包的絕對優(yōu)先級(訪問單元優(yōu)先級)“訪問單元優(yōu)先級=數(shù)據(jù)流優(yōu)先級-幀優(yōu)先級”在這種情況下,由于它是在從數(shù)據(jù)流優(yōu)先級中減去了之后獲得的,所以也可以把幀優(yōu)先級表示也降低優(yōu)先級。
使一個(gè)或多個(gè)數(shù)據(jù)流優(yōu)先級與通過TCP/IP邏輯通道(LAN的端口號)的數(shù)據(jù)處理的優(yōu)先級相關(guān)聯(lián),也可以控制數(shù)據(jù)處理。
再者,通過把比字符或控制信息低的數(shù)據(jù)流優(yōu)先級或幀優(yōu)先級分配給圖像或聲音,預(yù)期可以減少重發(fā)。這是因?yàn)榧词共糠謭D像或聲音丟失,在大多數(shù)情況下也不會(huì)產(chǎn)生問題。
圖29的示意圖用于解釋把優(yōu)先級分配給多分辨率視頻數(shù)據(jù)的方法。
當(dāng)一個(gè)數(shù)據(jù)流由多個(gè)子數(shù)據(jù)流構(gòu)成時(shí),可以定義一種子數(shù)據(jù)流處理方法,把數(shù)據(jù)流優(yōu)先級加到子數(shù)據(jù)流中,并描述累積或傳輸時(shí)的邏輯和或邏輯積。
在子波的情況下,可以把一圖像幀分解成多個(gè)不同分辨率的圖像幀。而且,即使在DCT基編碼的方法中,通過把圖像幀分割成高頻分量和低頻分量,并對它們進(jìn)行編碼,也可以把一圖像幀分解成多個(gè)不同分辨率的圖像幀。
除了加到由一系列分解的圖像幀構(gòu)成的多個(gè)圖像數(shù)據(jù)流中的數(shù)據(jù)流優(yōu)先級之外,圖像數(shù)據(jù)流之間的關(guān)系用“與”(邏輯積)以及“或”(邏輯和)來定義,以描述這種關(guān)系。具體地說,當(dāng)數(shù)據(jù)流A的數(shù)據(jù)流優(yōu)先級為5,數(shù)據(jù)流B的數(shù)據(jù)流優(yōu)先級為10時(shí)(數(shù)值越小,優(yōu)先級越高),圖像數(shù)據(jù)流之間的關(guān)系被定義成根據(jù)優(yōu)先級廢棄數(shù)據(jù)流數(shù)據(jù)的情況下,廢棄數(shù)據(jù)流B,但通過描述數(shù)據(jù)流之間的關(guān)系,在“與”的情況下,即使數(shù)據(jù)流B的優(yōu)先級低于閾值優(yōu)先級,也可以傳輸和處理數(shù)據(jù)流B,而不廢棄。
因而,可以處理相關(guān)數(shù)據(jù)流而不廢棄。在“或”的情況下,定義成可以廢棄相關(guān)數(shù)據(jù)流??梢栽诎l(fā)送或接收終端甚至在轉(zhuǎn)發(fā)終端進(jìn)行廢棄處理。
而且,作為描述關(guān)系的運(yùn)算符,當(dāng)把同一視頻剪輯分別編碼成24Kbps和48Kbps時(shí),存在再現(xiàn)24或48Kbps的情況(用異邏輯和“異或”描述關(guān)系)。
當(dāng)前者的優(yōu)先級被設(shè)置成10后者的優(yōu)先級被設(shè)置成5時(shí),用戶可以根據(jù)優(yōu)先級再現(xiàn)后者,或者不遵循優(yōu)先級,選擇后者。
圖30的示意圖用于解釋通信有效負(fù)載的構(gòu)成方法。
當(dāng)由多個(gè)子數(shù)據(jù)流構(gòu)成時(shí),例如根據(jù)加到子數(shù)據(jù)流中的數(shù)據(jù)流優(yōu)先級,從具有最高優(yōu)先級的子數(shù)據(jù)流開始,依次構(gòu)成傳輸數(shù)據(jù)包,則在傳輸數(shù)據(jù)包一級上廢棄變得容易。而且,精細(xì)地對分別具有高幀優(yōu)先級的對象的信息進(jìn)行分等級并組成單元,從而構(gòu)成通信數(shù)據(jù)包可以使在通信數(shù)據(jù)包一級上廢棄變得容易。
通過使圖像的切片結(jié)構(gòu)與通信數(shù)據(jù)包相關(guān)聯(lián),回送遺漏的數(shù)據(jù)包變得容易。即,通過使圖像的切片結(jié)構(gòu)與數(shù)據(jù)包結(jié)構(gòu)相關(guān)聯(lián),不需用于再同步的再同步標(biāo)記。除了與通信數(shù)據(jù)包結(jié)構(gòu)一致的切片結(jié)構(gòu)之外,必須增加再同步標(biāo)記(告知回送位置的標(biāo)記),以便由于遺漏數(shù)據(jù)包使信息受損時(shí),也可以進(jìn)行再同步。
根據(jù)上文所述述,可認(rèn)為把高防錯(cuò)措施應(yīng)用于具有高優(yōu)先級的通信數(shù)據(jù)包。而且,圖像的切片結(jié)構(gòu)表示諸如GOB或MB等的集合圖像信息單元。
圖31的示意圖用于解釋使數(shù)據(jù)與通信有效負(fù)載相關(guān)聯(lián)的方法。通過把數(shù)據(jù)流或?qū)ο笈c通信數(shù)據(jù)包相關(guān)聯(lián)的方法與控制信息或數(shù)據(jù)一起傳送,可以根據(jù)通信狀態(tài)或用途產(chǎn)生任意的數(shù)據(jù)格式。例如在RTP(實(shí)時(shí)傳送協(xié)議)的情況下,對要處理的每次編碼定義RTP的有效負(fù)載。已有的RTP格式是固定。在H.263的情況下,如圖31所示,定義了模式A至模式C的三種數(shù)據(jù)格式。在H.263的情況下,沒有定義以多分辨率圖像格式為對象的通信有效負(fù)載。
在圖31的例子中,把層號和上述關(guān)系描述(“與”,“或”)加到模式A的數(shù)據(jù)格式中,并加以定義。
圖32的示意圖用于解釋幀優(yōu)先級、數(shù)據(jù)流優(yōu)先級和通信數(shù)據(jù)包優(yōu)先級之間的關(guān)系。
而且,圖32示出了把在傳輸線路上加到通信數(shù)據(jù)包中的優(yōu)先級用作通信數(shù)據(jù)包優(yōu)先級,并使數(shù)據(jù)流優(yōu)先級和幀優(yōu)先級與通信數(shù)據(jù)包優(yōu)先級相對應(yīng)的例子。
通常,在利用IP進(jìn)行通信的情況下,必須使加到圖像或聲音數(shù)據(jù)中的幀優(yōu)先級或數(shù)據(jù)流優(yōu)先級與低端IP數(shù)據(jù)包的優(yōu)先級相對應(yīng)來傳輸數(shù)據(jù)。由于圖像或聲音數(shù)據(jù)被分割成IP數(shù)據(jù)包來傳輸,所以必須使這些優(yōu)先級彼此相對應(yīng)。在圖32的例子中,由于數(shù)據(jù)流優(yōu)先級的值為0至3,幀優(yōu)先級的值從0至5,所以高端數(shù)據(jù)的優(yōu)先級可以從0至15。
在Ipv6的情況下,保留了0至7的優(yōu)先級(4位),用于阻塞控制業(yè)務(wù)。保留了優(yōu)先級8至15用于實(shí)時(shí)通信業(yè)務(wù)或非阻塞控制業(yè)務(wù)。優(yōu)先級15是最高優(yōu)先級,優(yōu)先級8是最低優(yōu)先級。這表示在IP數(shù)據(jù)包一級的優(yōu)先級。
在利用IP的數(shù)據(jù)傳輸?shù)那闆r下,必須使0至15的高端優(yōu)先級與8至15的低端IP優(yōu)先級相對應(yīng)。為了使這些優(yōu)先級彼此相對應(yīng),可以削除一些高端優(yōu)先級的方法,或者可以利用性能評價(jià)函數(shù)使這些優(yōu)先級彼此相對應(yīng)。建立高端數(shù)據(jù)與低端IP優(yōu)先級的對應(yīng)關(guān)系在中繼節(jié)點(diǎn)(路由器或網(wǎng)關(guān))或發(fā)送和接收終端上進(jìn)行的。
傳送手段并不僅限于IP??梢跃哂邢驛TM或MPEG2的TS(傳送數(shù)據(jù)流)一樣,使用具有表示是否可廢棄的標(biāo)記的數(shù)據(jù)包。
至此已描述的幀優(yōu)先級和數(shù)據(jù)流優(yōu)先級可以應(yīng)用于傳輸媒體或數(shù)據(jù)記錄媒體??梢允褂密洷P或光盤作為數(shù)據(jù)記錄媒體。
不僅可以使用軟盤或光盤,也可以使用諸如IC卡或ROM盒等媒體,只要在這種媒體上可以記錄節(jié)目。再者,也可以使用音頻-視頻轉(zhuǎn)發(fā)器(例如,路由器或網(wǎng)關(guān))來中繼數(shù)據(jù)。
而且,根據(jù)數(shù)據(jù)流優(yōu)先級(時(shí)間序列數(shù)據(jù)間優(yōu)先級)或幀優(yōu)先級(時(shí)間序列數(shù)據(jù)內(nèi)優(yōu)先級)的信息,確定要重發(fā)的時(shí)間序列數(shù)據(jù),從而實(shí)現(xiàn)優(yōu)先重發(fā)。例如,當(dāng)在接收端根據(jù)優(yōu)先級信息進(jìn)行解碼時(shí),可以防止非處理對象的數(shù)據(jù)流或幀被重發(fā)。
還可與目前要處理的優(yōu)先極分開,根據(jù)重發(fā)次數(shù)和成功發(fā)送次數(shù)之間的關(guān)系確定具有應(yīng)重要優(yōu)先級的數(shù)據(jù)流或幀。
此外,在發(fā)送側(cè)終端的情況下,根據(jù)數(shù)據(jù)流優(yōu)先級(時(shí)間序列數(shù)據(jù)間優(yōu)先級)或幀優(yōu)先級(時(shí)間序列數(shù)據(jù)內(nèi)優(yōu)先級)的信息確定要發(fā)送的時(shí)間序列數(shù)據(jù),從而實(shí)現(xiàn)優(yōu)先發(fā)送。例如,根據(jù)平均傳送速率或重發(fā)次數(shù),確定要發(fā)送的幀或數(shù)據(jù)流的優(yōu)先級,即使網(wǎng)絡(luò)過載時(shí)也可以發(fā)送自適應(yīng)圖像或聲音。
上述實(shí)施例并不限于二維圖像合成。也可以用的把二維圖像與三維圖像組合而獲得的表述方法,或者包括合成多幅圖像的圖像合成方法,從而如寬視場圖像(全景圖像)那樣,各圖像彼此鄰接。而且,本發(fā)明提出的通信系統(tǒng)并不限于雙向CATV或B-ISDN。例如,把圖像和聲音從中央側(cè)終端傳輸給家庭終端可以使用無線電波(例如VHF或UHF波段),或者使用衛(wèi)星廣播,把源于家庭側(cè)終端的信息發(fā)送到中央側(cè)終端可以使用模擬電話線路或N-ISDN(并不總是需要多路復(fù)用圖像、聲音或數(shù)據(jù))。還可以使用利用無線電的通信系統(tǒng),例如IrDA、PHS(個(gè)人手持電話)或無線電LAN。
而且,目的終端可以是便攜終端(例如便攜信息終端)或桌面終端(例如頂置盒或個(gè)人計(jì)算機(jī))。
如上所述,本發(fā)明可以容易地處理多個(gè)視頻數(shù)據(jù)流和多個(gè)音頻數(shù)據(jù)流,并有重點(diǎn)地與聲音同步再現(xiàn)主要場面片段,以反映編輯者的意圖。
下面參照附圖描述本發(fā)明的實(shí)施例。
下述的實(shí)施例解決了上述問題(C1)至(C3)之一。
圖33示出了第一實(shí)施例的發(fā)送機(jī)的結(jié)構(gòu)。符號2101表示圖像輸入端,一張圖像的大小為144像素×176像素。符號2102表示視頻編碼器,由四個(gè)部分1021、1022、1023和1024構(gòu)成(參見推薦H.261)。
符號1021表示轉(zhuǎn)換單元,把輸入圖像分割成宏塊(16像素×16像素的方形區(qū)域),并確定對這些塊是進(jìn)行幀內(nèi)編碼還是進(jìn)行幀間編碼,1022表示移動(dòng)補(bǔ)償裝置,根據(jù)可以根據(jù)上次編碼結(jié)果計(jì)算得到的本機(jī)解碼圖像,產(chǎn)生移動(dòng)補(bǔ)償圖像,計(jì)算移動(dòng)補(bǔ)償圖像與輸入圖像之間的差異,并以宏塊形式輸出結(jié)果。移動(dòng)補(bǔ)償包括具有長處理時(shí)間的半像素預(yù)測和具有短處理時(shí)間的全像素預(yù)測。符號1023表示正交變換裝置,對每個(gè)宏塊進(jìn)行DCT變換,1024表示長度可變編碼裝置,對DCT變換結(jié)果和其它編碼信息進(jìn)行加密編碼。
符號2103表示計(jì)數(shù)裝置,對視頻編碼器2102的四個(gè)部件的執(zhí)行次數(shù)進(jìn)行計(jì)數(shù),并向變換裝置輸出每個(gè)輸入圖像的計(jì)數(shù)結(jié)果。在這種情況下,從移動(dòng)補(bǔ)償裝置1022對半像素預(yù)測的執(zhí)行次數(shù)和全像素預(yù)測的執(zhí)行次數(shù)進(jìn)行計(jì)數(shù)。
符號2104表示變換裝置,輸出如圖34所示的數(shù)據(jù)串。符號2105表示發(fā)送裝置,把視頻編碼器2102的可變長度碼與變換裝置2104的數(shù)據(jù)串多路復(fù)用成一個(gè)數(shù)據(jù)串,并向數(shù)據(jù)輸出端2109輸出該數(shù)據(jù)。
根據(jù)上述結(jié)構(gòu),可以向接收機(jī)發(fā)送必要處理(轉(zhuǎn)換單元1021、正交變換裝置1023和長度可變編碼裝置1024)和非必要處理(移動(dòng)補(bǔ)償裝置1022)的執(zhí)行次數(shù)。
第一實(shí)施例的發(fā)送機(jī)對應(yīng)于權(quán)利要求68。
圖40是第二實(shí)施例的發(fā)送方法的流程圖。
由于本實(shí)施例的操作與第一實(shí)施例相似,所以附注了相應(yīng)的單元。在步驟801(圖像輸入端2101)輸入圖像,并在步驟802把圖像分割成宏塊。此后,重復(fù)步驟803至步驟806的處理,直到根據(jù)步驟807內(nèi)的條件分支完成了對應(yīng)于每個(gè)宏塊的處理。而且,當(dāng)執(zhí)行了每個(gè)處理,使能以具體的變量記錄從步驟803至步驟806的處理的次數(shù)時(shí),把相應(yīng)變量增1。
首先,在步驟803(轉(zhuǎn)換單元1021)確定對要處理的宏塊進(jìn)行塊內(nèi)編碼還是塊間編碼。當(dāng)對宏塊進(jìn)行塊間編碼時(shí),在步驟804(移動(dòng)補(bǔ)償裝置1022)進(jìn)行移動(dòng)補(bǔ)償。此后,在步驟805和步驟806(正交變換裝置1023和可變長度編碼裝置1024)進(jìn)行DCT變換和可變長度編碼。當(dāng)完成了對每個(gè)宏塊的處理時(shí)(在步驟807為“是”的情況下),在步驟808讀取表示對應(yīng)于每次處理的執(zhí)行次數(shù)的變量,產(chǎn)生如圖2所示的數(shù)據(jù)串,并多路復(fù)用和輸出該數(shù)據(jù)串和代碼。只要繼續(xù)有輸入圖像,就重復(fù)執(zhí)行步驟801至步驟808的處理。上棕結(jié)構(gòu)可以傳送每次處理的執(zhí)行次數(shù)。
第二實(shí)施例的發(fā)送方法對應(yīng)于權(quán)利要求67。
圖35示出了第三實(shí)施例的接收機(jī)結(jié)構(gòu)。
在圖35中,符號307表示輸入端,輸入第一實(shí)施例的發(fā)送機(jī)的輸出,302表示接收裝置,根據(jù)第一實(shí)施例的發(fā)送機(jī)的輸出,通過去多路復(fù)用,取得可變長度碼和數(shù)據(jù)串,并輸出。在這種情況下,假設(shè)測量并輸出了接收一頁數(shù)據(jù)所需要的時(shí)間。
符號303表示把可變長度碼用作輸入的視頻解碼器,它由五個(gè)部分構(gòu)成。符號3031表示可變長度解碼裝置,從可變長度碼取得DCT系數(shù)和其它編碼信息,3032表示反正交變換裝置,對DCT系數(shù)進(jìn)行反DCT變換,3033表示轉(zhuǎn)換裝置,根據(jù)表示宏塊是幀內(nèi)編碼還是幀間編碼的編碼信息向上或向下對每個(gè)宏塊的輸出進(jìn)行轉(zhuǎn)換。符號3034表示移動(dòng)補(bǔ)償裝置,利用上次解碼圖像和移動(dòng)編碼信息,產(chǎn)生移動(dòng)補(bǔ)償圖像,并與反正交變換裝置3032的輸出相加后輸出。符號3035表示執(zhí)行時(shí)間測量裝置,測量從把可變長度碼輸入到解碼器303后到完成解碼和輸出圖像的執(zhí)行時(shí)間并加輸出。
符號302表示估計(jì)裝置,接收根據(jù)接收裝置301傳送的數(shù)據(jù)串,每個(gè)單元(編碼裝置3031、反正交變換裝置3032、轉(zhuǎn)換單元3033或移動(dòng)補(bǔ)償裝置3034)的執(zhí)行次數(shù)和執(zhí)行時(shí)間測量裝置305的執(zhí)行時(shí)間,以估計(jì)每個(gè)單元的執(zhí)行時(shí)間。
為了估計(jì)每個(gè)單元的執(zhí)行時(shí)間,可以使用線性回歸法,把估計(jì)的執(zhí)行時(shí)間設(shè)為目的變量y,把每個(gè)部件的執(zhí)行次數(shù)設(shè)為解釋變量xui。在這種情況下,可以把回歸參數(shù)aui看作是每個(gè)單元的執(zhí)行時(shí)間。而且,在線性回歸的情況下,必須累加足夠多的以前的數(shù)據(jù),結(jié)果浪費(fèi)了許多存儲(chǔ)器。然而,為了以免浪費(fèi)許多存儲(chǔ)器,也可以使用卡爾曼濾波器估計(jì)內(nèi)狀態(tài)變量??梢园焉鲜銮闆r看作這樣一種情況把觀察值設(shè)為執(zhí)行時(shí)間,把每個(gè)單元的執(zhí)行時(shí)間設(shè)為內(nèi)狀態(tài)變量,而且每個(gè)單元執(zhí)行次數(shù)的每一步都改變執(zhí)行矩陣C。符號304表示次數(shù)削減裝置,改變每個(gè)單元的執(zhí)行次數(shù),以削減全像素預(yù)測的執(zhí)行次數(shù),增加半像素預(yù)測的執(zhí)行次數(shù)一相應(yīng)值。下面示出了計(jì)算相應(yīng)值的方法。
首先,從估計(jì)裝置302接收每個(gè)單元的執(zhí)行次數(shù)和估計(jì)的執(zhí)行時(shí)間,以估計(jì)執(zhí)行時(shí)間。當(dāng)執(zhí)行時(shí)間超過從接收裝置301接收數(shù)據(jù)所需的時(shí)間時(shí),增加全像素預(yù)測的執(zhí)行次數(shù),減少半像素預(yù)測的執(zhí)行次數(shù),直到前一時(shí)間不超過后一時(shí)間。符號306表示解碼圖像的輸出端。
有這樣一種情況,即指定移動(dòng)補(bǔ)償裝置3034,以根據(jù)編碼信息進(jìn)行半像素預(yù)測。在這種情況下,當(dāng)超過半像素預(yù)測的預(yù)定執(zhí)行次數(shù)時(shí),把半像素移動(dòng)舍入全像素移動(dòng),以執(zhí)行全像素預(yù)測。
根據(jù)上述第一和第三實(shí)施例,按照每個(gè)單元的估計(jì)執(zhí)行時(shí)間來估計(jì)解碼的執(zhí)行時(shí)間,當(dāng)解碼執(zhí)行時(shí)間可能超過接收一頁數(shù)據(jù)所需要的時(shí)間(指定時(shí)間)時(shí),用全像素預(yù)測代替執(zhí)行時(shí)間長的半像素預(yù)測。從而,可以防止執(zhí)行時(shí)間超過指定時(shí)間,解決問題(C1)(對應(yīng)于權(quán)利要求68和74)。
而且,把必要和非必要處理部分看作兩組的例子對應(yīng)于權(quán)利要求66和72,把視頻部分看作波形數(shù)據(jù)的例子對應(yīng)于權(quán)利要求64和70。
接收機(jī)在IDCT計(jì)算中不利用高頻分量,從而可以減少IDCT計(jì)算的處理時(shí)間。即,把低頻分量的計(jì)算看出必要處理,把高頻分量的計(jì)算看作是IDCT計(jì)算中的非必要處理,也可以減少IDCT計(jì)算中高頻分量的計(jì)算次數(shù)。
圖41是第四實(shí)施例的接收方法的流程圖。
由于本實(shí)施例的操作與第三實(shí)施例類似,所以附注相應(yīng)的單元。在步驟901中,初始化表示每個(gè)單元的執(zhí)行時(shí)間的變量a_i(估計(jì)裝置302)。在步驟902,輸入多路復(fù)用數(shù)據(jù),并測量多路復(fù)用該數(shù)據(jù)所需的時(shí)間(接收裝置301)。在步驟903中,把多路復(fù)用數(shù)據(jù)分割成長度可變碼和數(shù)據(jù)串,并輸出(接收裝置301)。在步驟904中,從數(shù)據(jù)串(圖2)取得各執(zhí)行次數(shù),并設(shè)置成x_i。在步驟905中,根據(jù)每個(gè)單元的執(zhí)行時(shí)間a_i和各執(zhí)行次數(shù)x_i計(jì)算實(shí)際執(zhí)行次數(shù)(次數(shù)削減裝置304)。在步驟906中,開始測量解碼執(zhí)行時(shí)間。在步驟907,開始進(jìn)行下述的解碼子程序。此后,在步驟908,結(jié)束測量解碼執(zhí)行時(shí)間(視頻解碼器303和執(zhí)行時(shí)間測量裝置3035)。在步驟908,根據(jù)步驟908的解碼執(zhí)行時(shí)間和步驟906的每個(gè)單元的實(shí)際執(zhí)行時(shí)間估計(jì)每個(gè)單元的執(zhí)行時(shí)間,以更新a_i(估計(jì)裝置302)。對每個(gè)輸入的多路復(fù)用數(shù)據(jù)進(jìn)行上述的處理。
而且,步驟907的解碼子程序中,在步驟910進(jìn)行可變長度解碼(可變長度解碼裝置3031),在步驟911進(jìn)行反正交變換(反正交變換裝置3032)后,處理在步驟912根據(jù)通過步驟910的處理取得的塊內(nèi)/塊間編碼處理的信息,進(jìn)行分叉(轉(zhuǎn)換單元3033)。在塊幀間編碼處理的情況下,步驟913中進(jìn)行移動(dòng)補(bǔ)償(移動(dòng)補(bǔ)償裝置3034)。在步驟913中,對半像素預(yù)測的執(zhí)行時(shí)間進(jìn)行計(jì)數(shù)。當(dāng)計(jì)數(shù)的執(zhí)行時(shí)間超過步驟905中獲得的實(shí)際執(zhí)行次數(shù)時(shí),用全像素預(yù)測代替半像素預(yù)測,以便執(zhí)行。在把上述處理應(yīng)用于每個(gè)宏塊(步驟914)后,結(jié)束該子程序。
根據(jù)上述第二和第四實(shí)施例,按照每個(gè)單元的估計(jì)執(zhí)行時(shí)間來估計(jì)解碼的執(zhí)行時(shí)間,當(dāng)執(zhí)行時(shí)間可能超過接收一頁數(shù)據(jù)所需要的時(shí)間(指定時(shí)間)時(shí),用全像素預(yù)測代替執(zhí)行時(shí)間長的半像素預(yù)測。由此,可以防止執(zhí)行時(shí)間超過指定時(shí)間,解決問題(C1)(對應(yīng)于權(quán)利要求67和73)。
而且,把部分非必要和必要處理部分看出兩組的例子對應(yīng)于權(quán)利要求65和71,把視頻部分看出波形數(shù)據(jù)的例子對應(yīng)于權(quán)利要求63和69。
圖36示出了第五實(shí)施例的接收機(jī)的結(jié)構(gòu)。
該實(shí)施例的大多數(shù)部件與第二實(shí)施例所述的部件相同。然而,下面描述兩個(gè)增加部件和一個(gè)改動(dòng)的部件。
符號402表示估計(jì)裝置,它是改動(dòng)實(shí)施例2描述的估計(jì)裝置302而得到的,以輸出根據(jù)次數(shù)削減裝置304的輸出獨(dú)立估計(jì)的結(jié)果獲得的每個(gè)單元的執(zhí)行時(shí)間。符號408表示發(fā)送裝置,根據(jù)每個(gè)單元的執(zhí)行時(shí)間產(chǎn)生圖37所示的數(shù)據(jù)串,并輸出。當(dāng)把微秒為單位用16位表示執(zhí)行時(shí)間時(shí),可以表示多達(dá)約65毫秒。因此,這約65毫秒將是足夠的。符號409表示把數(shù)據(jù)串傳送給發(fā)送裝置的輸出端。
而且,可以僅緊接在圖40的符號808后增加產(chǎn)生圖37所示的數(shù)據(jù)串的步驟就可以獲得對應(yīng)于第五實(shí)施例的接收方法。
圖38示出了第六實(shí)施例的發(fā)送機(jī)的結(jié)構(gòu)。
該實(shí)施例的大部分部件與第一實(shí)施例所述的相同。然而,下面描述兩個(gè)增加的部件。符號606表示輸入端,接收第三實(shí)施例607的接收機(jī)輸出的數(shù)據(jù)串,607表示接收裝置,接收數(shù)據(jù)串,并輸出每個(gè)單元的執(zhí)行時(shí)間。符號608表示確定裝置,獲得每個(gè)單元的執(zhí)行時(shí)間,下面描述其獲得過程。首先,轉(zhuǎn)換單元1021處理圖像的每個(gè)宏塊,從而獲得轉(zhuǎn)換單元1021在此特定時(shí)間的執(zhí)行次數(shù)。進(jìn)而,可以根據(jù)處理結(jié)果,唯一地確定在此特定時(shí)間的移動(dòng)補(bǔ)償裝置1022、正交變換裝置1023和可變長度編碼裝置1024的執(zhí)行次數(shù)。因此,利用接收裝置607發(fā)送的這些執(zhí)行次數(shù)和執(zhí)行時(shí)間,估計(jì)在接收機(jī)側(cè)解碼所需的執(zhí)行時(shí)間。獲得的估計(jì)解碼時(shí)間作為每個(gè)單元的執(zhí)行時(shí)間和執(zhí)行次數(shù)之間乘積的和求出。若估計(jì)的解碼時(shí)間等于或大于傳送通過速率控制器等指定的該圖像產(chǎn)生的碼數(shù)(例如16Kbit)所需的時(shí)間(例如在傳輸速率為64Kbits/s時(shí),為250毫秒),則增加全像素預(yù)測的執(zhí)行次數(shù),減少半像素預(yù)測的執(zhí)行次數(shù),以使估計(jì)的解碼執(zhí)行時(shí)間不超過傳送所需的時(shí)間。(由于全像素預(yù)測的執(zhí)行時(shí)間短,所以減少全像素預(yù)測的次數(shù)可以減少全預(yù)測的執(zhí)行時(shí)間。)此外,視頻編碼器2102根據(jù)確定裝置608指定的執(zhí)行次數(shù)進(jìn)行各種處理。例如,在移動(dòng)補(bǔ)償裝置1022以半像素預(yù)測的預(yù)定執(zhí)行次數(shù)執(zhí)行了半像素預(yù)測之后,僅進(jìn)行全像素預(yù)測。
可以改善選擇方法,使半像素預(yù)測在圖像中分散均勻。例如,可以使用下列方法首先獲得需要進(jìn)行半像素預(yù)測的每個(gè)宏塊,計(jì)算上述宏塊數(shù)的數(shù)(例如12)除以半像素預(yù)測的執(zhí)行次數(shù)(例如4)得到的結(jié)果(3),然后僅對從需要進(jìn)行半像素預(yù)測的宏塊開始的順序號除以上述結(jié)果無余數(shù)的宏塊(0,3,6或9)進(jìn)行半像素預(yù)測。
根據(jù)上述第五和第六實(shí)施例,把每個(gè)估計(jì)的單元執(zhí)行時(shí)間傳送給發(fā)送側(cè),在發(fā)送側(cè)估計(jì)解碼的執(zhí)行時(shí)間,并用全像素預(yù)測代替執(zhí)行時(shí)間較長的半像素預(yù)測,從而使估計(jì)的解碼執(zhí)行時(shí)間不超過接收一頁數(shù)據(jù)可能需要的時(shí)間(指定時(shí)間)。由此,發(fā)送的編碼信息中,沒有廢棄半像素預(yù)測信息,而且可以防止執(zhí)行時(shí)間超過指定時(shí)間,解決問題(C2)(對應(yīng)于權(quán)利要求76和78)。
此外,在非必要處理的情況下,可以把宏塊間編碼分成三種移動(dòng)補(bǔ)償正常移動(dòng)補(bǔ)償;8×8移動(dòng)補(bǔ)償和重疊移動(dòng)補(bǔ)償。
圖42是第七實(shí)施例的發(fā)送方法的流程圖。
因?yàn)楸緦?shí)施例的操作與第六實(shí)施例相似,所以附注相應(yīng)的單元。在步驟1001,對每個(gè)處理的執(zhí)行時(shí)間設(shè)置初始值。在步驟801輸入圖像(輸入端2101),并在步驟802把它分成宏塊。在步驟1002,確定對每個(gè)宏塊進(jìn)行塊內(nèi)編碼還是塊間編碼(轉(zhuǎn)換單元1021)。結(jié)果是得到從步驟1005至步驟806的每個(gè)處理的執(zhí)行次數(shù)。因此,在步驟1003,根據(jù)上述每個(gè)處理的執(zhí)行次數(shù)和執(zhí)行時(shí)間計(jì)算實(shí)際執(zhí)行次數(shù)(確定裝置608)。
此后,重復(fù)步驟1005至步驟806的處理,直到根據(jù)步驟807的條件分支完成了每個(gè)宏塊的處理。
而且,當(dāng)執(zhí)行每個(gè)處理時(shí),把相應(yīng)的變量加1,使步驟1005至步驟806的處理次數(shù)可以記錄在特定的變量中。首先在步驟1005,根據(jù)步驟1002的確定結(jié)果進(jìn)行分叉(轉(zhuǎn)換單元1021)。在塊間編碼的情況下,在步驟804進(jìn)行移動(dòng)補(bǔ)償(移動(dòng)補(bǔ)償裝置1022)。在這種情況下,對半像素預(yù)測的次數(shù)進(jìn)行計(jì)數(shù)。當(dāng)所計(jì)次數(shù)超過在步驟1003獲得的實(shí)際次數(shù)時(shí),執(zhí)行全像素預(yù)測代替執(zhí)行半像素預(yù)測。此后,在步驟805和806,進(jìn)行DCT變換和可變長度編碼(正交變換裝置1023和可變長度編碼裝置1024)。當(dāng)完成對每個(gè)宏塊的處理時(shí),(在步驟807為是的情況下),在步驟808中讀取表示對應(yīng)于每個(gè)處理的執(zhí)行次數(shù)的變量,產(chǎn)生圖2所示的數(shù)據(jù)串,并多路復(fù)用和輸出數(shù)據(jù)串和代碼。在步驟1004中,接收數(shù)據(jù)串,并從該數(shù)據(jù)串是取出每個(gè)處理的執(zhí)行時(shí)間并進(jìn)行設(shè)置。
只要有圖像輸入就重復(fù)執(zhí)行步驟801至1004的處理。
根據(jù)第五實(shí)施例和第七實(shí)施例描述部分的最后一個(gè)“而且”開始的段落,把每個(gè)單元的估計(jì)的執(zhí)行時(shí)間傳送給發(fā)送側(cè),在發(fā)送側(cè)估計(jì)解碼執(zhí)行時(shí)間,用全像素預(yù)測代替執(zhí)行時(shí)間長的半像素預(yù)測,使估計(jì)的解碼執(zhí)行時(shí)間不超過接收一頁數(shù)據(jù)所需要的可能時(shí)間(指定時(shí)間)。由此,發(fā)送的編碼信息中,沒有廢棄半像素預(yù)測的信息,而且可以防止執(zhí)行時(shí)間超過指定時(shí)間,解決了問題(C2)(對應(yīng)于權(quán)利要求75和77)。
圖39示出了本發(fā)明第八實(shí)施例的發(fā)送設(shè)備的結(jié)構(gòu)。
該實(shí)施例的大部分部件與第一實(shí)施例描述的相同。因此,下面描述增加的四個(gè)部件。
符號7010表示執(zhí)行時(shí)間測量裝置,用于測量圖像向編碼器2102輸入圖像之后到完成編碼和輸出圖像的執(zhí)行時(shí)間,并輸出測得的執(zhí)行時(shí)間。符號706表示估計(jì)裝置,用于從計(jì)數(shù)裝置2103的數(shù)據(jù)串接收各單元(轉(zhuǎn)換單元1021、移動(dòng)補(bǔ)償裝置1022、正交變換裝置1023和可變長度解碼裝置1024)的執(zhí)行次數(shù),從執(zhí)行時(shí)間測量裝置7010接收執(zhí)行時(shí)間,并估計(jì)每個(gè)單元的執(zhí)行時(shí)間??梢岳门c第二實(shí)施例的估計(jì)裝置302描述的相同的估計(jì)方法。符號707表示輸入用戶發(fā)送的幀速率值的輸入端,708表示確定裝置,用于獲得每個(gè)單元的執(zhí)行時(shí)間。獲得的過程描述如下。
首先,轉(zhuǎn)換單元1021處理圖像中的每個(gè)宏塊,以獲得轉(zhuǎn)換單元1021在此特定時(shí)間的執(zhí)行次數(shù)。此后,可以根據(jù)至該特定時(shí)間的處理結(jié)果,唯一地確定移動(dòng)補(bǔ)償裝置1022、正交變換裝置1023和可變長度編碼裝置1024的執(zhí)行次數(shù)。然后,對每個(gè)單元獲得估計(jì)裝置706發(fā)送的每個(gè)單元的執(zhí)行次數(shù)和估計(jì)時(shí)間之間的乘積的總和。當(dāng)估計(jì)的編碼時(shí)間等于或大于從符號707所傳送幀速率的倒數(shù)獲得的、可用于一頁圖像編碼的時(shí)間時(shí),增加全像素預(yù)測的執(zhí)行次數(shù),減少半像素的執(zhí)行次數(shù)。
重復(fù)進(jìn)行上述執(zhí)行次數(shù)的增減變化,并計(jì)算估計(jì)的編碼時(shí)間,直到估計(jì)的編碼時(shí)間等于或短于可用的時(shí)間,從而確定各執(zhí)行次數(shù)。
而且,視頻編碼器2102根據(jù)確定裝置608指定的執(zhí)行次數(shù)進(jìn)行各種處理。例如,在移動(dòng)補(bǔ)償裝置1022以半像素預(yù)測的預(yù)定執(zhí)行次數(shù)進(jìn)行了半像素預(yù)測后,僅執(zhí)行全像素預(yù)測。
而且,也可以改進(jìn)選擇方法,以便半像素預(yù)測在圖像內(nèi)分散結(jié)構(gòu)。例如,可以使用下列方法獲得需要進(jìn)行半像素預(yù)測的每個(gè)宏塊,計(jì)算需要進(jìn)行半像素預(yù)測的宏塊數(shù)(例如12)除以半像素預(yù)測的執(zhí)行次數(shù)(例如4)得到的結(jié)果(3),然后僅對從需要進(jìn)行半像素預(yù)測的宏塊開始的序號除以上述結(jié)果無余數(shù)的宏塊(0,3,6或9)進(jìn)行半像素預(yù)測。
上面的第八實(shí)施例可以解決問題(C3),它估計(jì)每個(gè)處理的執(zhí)行時(shí)間,根據(jù)估計(jì)的執(zhí)行時(shí)間估計(jì)編碼所需的執(zhí)行時(shí)間,并確定執(zhí)行次數(shù),使估計(jì)的編碼時(shí)間等于或短于對根據(jù)幀速率確定的圖像進(jìn)行編碼可用的時(shí)間(對應(yīng)于權(quán)利要求80)。
而且,由于移動(dòng)補(bǔ)償裝置1022檢測移動(dòng)矢量,所以有一種全搜索移動(dòng)矢量檢測方法,在15個(gè)水平和垂直像素范圍內(nèi)的矢量中,檢測使SAD(每個(gè)像素的絕對差值之和)最小的矢量。還有一種三步移動(dòng)矢量檢測方法(在H.261的附錄內(nèi)有描述)。三步移動(dòng)矢量檢測方法執(zhí)行在上述檢索范圍內(nèi)選擇均勻分布的九個(gè)點(diǎn)的處理,以選擇具有最小SAD的點(diǎn),再在接近上述點(diǎn)的窄小范圍內(nèi)選擇九個(gè)點(diǎn),以再次選擇一個(gè)具有最小SAD的點(diǎn)。
也可以適當(dāng)?shù)販p少全搜索移動(dòng)矢量檢測方法的執(zhí)行時(shí)間,適當(dāng)?shù)卦黾尤揭苿?dòng)矢量檢測方法的執(zhí)行次數(shù),把這兩種方法作為非必要處理方法,并估計(jì)這兩個(gè)方法中每個(gè)方法的執(zhí)行時(shí)間,根據(jù)估計(jì)的執(zhí)行時(shí)間估計(jì)編碼所需要的執(zhí)行時(shí)間,以使估計(jì)的執(zhí)行時(shí)間等于或短于用戶指定的時(shí)間。
而且,可以使用檢索次數(shù)的固定移動(dòng)矢量檢測方法,進(jìn)一步簡化處理,或者與三頻移動(dòng)矢量檢測方法,兼用僅返回移動(dòng)矢量(0,0)作為結(jié)果的移動(dòng)矢量檢測方法。
圖43是第九實(shí)施例的發(fā)送方法的流程圖。
由于本實(shí)施例的操作與第八實(shí)施例相似,所以附注相應(yīng)的單元。對每個(gè)流程的詳細(xì)描述參照相應(yīng)單元的描述。
而且,由于本實(shí)施例幾乎與第二實(shí)施例相同,所以下面僅解釋不同點(diǎn)。
在步驟1101,把每個(gè)處理的執(zhí)行時(shí)間的初始值設(shè)置到變量a_i。在步驟1102,輸入幀速率(輸入端707)。在步驟1103,根據(jù)步驟1102的每個(gè)處理的幀速率和執(zhí)行時(shí)間a_i以及從1002的塊內(nèi)/塊音編碼處理確定結(jié)果獲得的各處理的執(zhí)行次數(shù)確定實(shí)際執(zhí)行次數(shù)(確定裝置708)。在步驟1105和1106中,測量編碼的執(zhí)行時(shí)間。在步驟1104中,根據(jù)步驟1106中獲得的執(zhí)行時(shí)間和每個(gè)處理的實(shí)際執(zhí)行次數(shù)估計(jì)每個(gè)處理的執(zhí)行時(shí)間,更新變量a_i(估計(jì)裝置706)。
根據(jù)上述第九實(shí)施例,先估計(jì)每個(gè)處理的執(zhí)行時(shí)間,可按照所估計(jì)的執(zhí)行時(shí)間預(yù)測編碼所需的執(zhí)行時(shí)間。因此,確定執(zhí)行次數(shù),使估計(jì)的編碼時(shí)間等于或短于對根據(jù)幀速率確定的圖像進(jìn)行編碼可用的時(shí)間(對應(yīng)于權(quán)利要求79),從而能解決問題(C3)。
在第二實(shí)施例的情況下,當(dāng)在步驟808中產(chǎn)生數(shù)據(jù)串時(shí),也可以在圖2所示的開始碼之后增加兩字節(jié)的區(qū)域,向該區(qū)域增加碼長度的二進(jìn)制標(biāo)號。
而且,在第四實(shí)施例中,當(dāng)在步驟902輸入多路復(fù)用數(shù)據(jù)時(shí),也可以從兩字節(jié)區(qū)域中取出碼長度,并將從該碼長度和碼傳輸速率獲得的碼傳輸時(shí)間用于步驟905的執(zhí)行次數(shù)計(jì)算(減少半像素預(yù)測的執(zhí)行次數(shù),以不超過碼傳輸時(shí)間)。這對應(yīng)于權(quán)利要求81和83。
而且,在第一實(shí)施例中,當(dāng)在步驟2104產(chǎn)生數(shù)據(jù)串時(shí),也可以在圖2所示的開始碼后增加兩字節(jié)的區(qū)域,在該區(qū)域內(nèi)增加碼長度的二進(jìn)制標(biāo)示。
而且,在第三實(shí)施例中,當(dāng)在步驟301輸入多路復(fù)用數(shù)據(jù)時(shí),也可以從該兩字節(jié)區(qū)域中取出碼長度,并將從該碼長度和碼傳輸速度獲得的碼傳輸時(shí)間用于步驟304的執(zhí)行次數(shù)計(jì)算(減少半像素預(yù)測的執(zhí)行次數(shù),以不超過碼傳輸時(shí)間)。這對應(yīng)于權(quán)利要求82和84。
而且,在第四實(shí)施例中,緊接在步驟909后記錄半像素預(yù)測的實(shí)際執(zhí)行次數(shù),以計(jì)算最大值。當(dāng)最大值等于或小于足夠小的值(例如2或3)時(shí),也可以產(chǎn)生數(shù)據(jù)串(包含具體位模式的數(shù)據(jù)串),表示不使用半像素預(yù)測,并發(fā)送產(chǎn)生的數(shù)據(jù)串。而且,在第二實(shí)施例中,確認(rèn)是否緊接在步驟808后接收到該數(shù)據(jù)串,當(dāng)接收到表示沒有使用半像素預(yù)測的數(shù)據(jù)串時(shí),也可以使移動(dòng)補(bǔ)償處理在步驟808總是作為全像素預(yù)測。這對應(yīng)于權(quán)利要求93和91。
而且,上述原理也可以應(yīng)用于不是移動(dòng)補(bǔ)償?shù)那闆r。例如DCT計(jì)算可以不用高頻分量,以減少DCT的計(jì)算時(shí)間。即,在接收方法的情況下,當(dāng)IDCT計(jì)算執(zhí)行時(shí)間對整個(gè)計(jì)算時(shí)間的比率超過某一值時(shí),向發(fā)送側(cè)傳送表示該比率超過某一值的數(shù)據(jù)串。當(dāng)發(fā)送側(cè)接收到該數(shù)據(jù)串時(shí),也可以通過DCT計(jì)算僅計(jì)算低頻分量,并把所有高頻分量減少到零。這對應(yīng)于權(quán)利要求89。
而且,雖然利用圖像描述了本實(shí)施例,但也可以把每種方法應(yīng)用于音頻而不是頻視。這對應(yīng)于權(quán)利要求85和87。
而且,在第三實(shí)施例中,在步驟3034中記錄了半像素預(yù)測的實(shí)際執(zhí)行次數(shù),以計(jì)算最大執(zhí)行次數(shù)最大值。然后,當(dāng)該最大值是足夠小值或更小時(shí)(例如2或3),可以產(chǎn)生并發(fā)送表示不使用半像素預(yù)測的數(shù)據(jù)串(包含具體位模式的數(shù)據(jù)串)。而且,在第一實(shí)施例中,當(dāng)接收到表示沒有使用半像素預(yù)測的數(shù)據(jù)串時(shí),可以使步驟1022的移動(dòng)補(bǔ)償處理總是作為全像素預(yù)測。這對應(yīng)于權(quán)利要求94和92。
而且,上述原理可以應(yīng)用于不是移動(dòng)補(bǔ)償?shù)那闆r。例如DCT計(jì)算不利用高頻分量可以減少DCT計(jì)算的處理時(shí)間。即,在接收方法中,當(dāng)IDCT計(jì)算執(zhí)行時(shí)間對整個(gè)執(zhí)行時(shí)間的比率超過某一值時(shí),向發(fā)送側(cè)傳送表示該比率超過某一值的數(shù)據(jù)串。
當(dāng)發(fā)送側(cè)接收到該數(shù)據(jù)串時(shí),可以通過DCT計(jì)算僅計(jì)算低頻分量,把所有高頻分量減少為零。這對應(yīng)于權(quán)利要求90。
而且,雖然上面利用圖像描述了實(shí)施例,但也可以把上述方法應(yīng)用于聲音而不是圖像。這對應(yīng)于權(quán)利要求86和88。
如上所述,根據(jù)權(quán)利要求68和74(如第一和第三實(shí)施例),按照每個(gè)單元的估計(jì)執(zhí)行時(shí)間估計(jì)解碼的執(zhí)行時(shí)間,并且,當(dāng)估計(jì)的解碼執(zhí)行時(shí)間可能超過接收一頁數(shù)據(jù)所需的時(shí)間(指定時(shí)間)時(shí),用全像素預(yù)測代替執(zhí)行時(shí)間較長的半像素預(yù)測。由此,可以防止執(zhí)行時(shí)間超過指定時(shí)間,解決問題(C1)。
而且,根據(jù)權(quán)利要求75和77(例如第五和第七實(shí)施例),把每個(gè)單元的估計(jì)執(zhí)行時(shí)間傳送給發(fā)送側(cè),在發(fā)送側(cè)估計(jì)解碼執(zhí)行時(shí)間,并用全像素預(yù)測代替執(zhí)行時(shí)間較長的半像素預(yù)測,以使估計(jì)的解碼時(shí)間不超過適于接收一頁數(shù)據(jù)所需要的時(shí)間(指定時(shí)間)。由此,在發(fā)送的編碼信息中沒有廢棄半像素預(yù)測的信息,并可以防止執(zhí)行時(shí)間超過指定時(shí)間,解決問題(C2)。
而且,根據(jù)權(quán)利要求79(例如第九實(shí)施例),可以解決問題(C3),其方法是估計(jì)每個(gè)處理的執(zhí)行時(shí)間,按照所估計(jì)的執(zhí)行時(shí)間估計(jì)編碼所需要的執(zhí)行時(shí)間,并確定執(zhí)行次數(shù),使估計(jì)的編碼時(shí)間等于或小于可用對根據(jù)幀速率確定的圖像進(jìn)行編碼可作的時(shí)間。
因此,本發(fā)明可以實(shí)現(xiàn)即使計(jì)算負(fù)荷增加也減慢質(zhì)量劣化的功能(CGD計(jì)算適度弱化),從而獲得很大的利益。
而且,計(jì)算機(jī)利用諸如磁記錄媒體或光記錄媒體可以實(shí)現(xiàn)上述的操作,其中使計(jì)算機(jī)的程序?qū)崿F(xiàn)上述實(shí)施例中任一實(shí)施例中描述的每個(gè)步驟(或每個(gè)裝置)(或者每個(gè)裝置的操作)的全部或部分。
工業(yè)應(yīng)用性如上所述,本發(fā)明可以對應(yīng)于狀態(tài)、用途或傳輸線路改變信息幀,動(dòng)態(tài)地確定數(shù)據(jù)控制信息、傳輸控制信息和用于發(fā)送和接收終端的控制信息的幀。而且,易于處理多個(gè)視頻數(shù)據(jù)流或多個(gè)音頻數(shù)據(jù)流,并且有重點(diǎn)地與聲音同步地再現(xiàn)主要的場面片段,反映編輯者的意圖。此外,根據(jù)每一估計(jì)的元件的執(zhí)行時(shí)間,當(dāng)估計(jì)的解碼執(zhí)行時(shí)間可能超過接收一頁數(shù)據(jù)所需的時(shí)間(指定時(shí)間)時(shí),用全像素預(yù)測代替執(zhí)行時(shí)間較長的半像素預(yù)測,可以防止執(zhí)行時(shí)間超過指定的時(shí)間。
權(quán)利要求
1.一種發(fā)送設(shè)備,其特征在于,具有將傳輸格式信息發(fā)送到接收設(shè)備的發(fā)送部分,所述傳輸格式信息包含標(biāo)識在所述接收設(shè)備使用的程序或者數(shù)據(jù)的標(biāo)識符,和與所述標(biāo)識符相關(guān)聯(lián)、表示在所述接收設(shè)備自動(dòng)起動(dòng)所述程序或者所述數(shù)據(jù)的開始時(shí)間的開始時(shí)間信息。
2.如權(quán)利要求1所述的發(fā)送設(shè)備,其特征在于,所述開始時(shí)間信息包含圖表、計(jì)數(shù)以及計(jì)時(shí)中的至少一個(gè)。
3.一種發(fā)送設(shè)備,其特征在于,具有將傳輸格式信息發(fā)送到接收設(shè)備的發(fā)送部分,所述傳輸格式信息包含標(biāo)識在所述接收設(shè)備使用的程序或者數(shù)據(jù)的標(biāo)識符,和與所述標(biāo)識符相關(guān)聯(lián)、表示在所述接收設(shè)備處理所述程序或者所述數(shù)據(jù)的期間的處理期間信息。
4.如權(quán)利要求3所述的發(fā)送設(shè)備,其特征在于,所述處理期間信息包含圖表、計(jì)數(shù)以及計(jì)時(shí)中的至少一個(gè)。
5.一種接收設(shè)備,其特征在于,具備接收傳輸格式信息的接收部分,所述傳輸格式信息包含標(biāo)識程序或者數(shù)據(jù)的標(biāo)識符,和與所述標(biāo)識符相關(guān)聯(lián)、表示自動(dòng)起動(dòng)所述程序或者所述數(shù)據(jù)的開始時(shí)間的開始時(shí)間信息;以及根據(jù)所述標(biāo)識符和所述開始時(shí)間信息,自動(dòng)起動(dòng)所述程序或者所述數(shù)據(jù)的控制部分。
6.如權(quán)利要求5所述的接收設(shè)備,其特征在于,所述開始時(shí)間信息包含圖表、計(jì)數(shù)以及計(jì)時(shí)中的至少一個(gè)。
7.一種接收設(shè)備,其特征在于,具備接收傳輸格式信息的接收部分,所述傳輸格式信息包含標(biāo)識程序或者數(shù)據(jù)的標(biāo)識符,和與所述標(biāo)識符相關(guān)聯(lián)、表示處理所述程序或者所述數(shù)據(jù)的期間的處理期間信息;以及根據(jù)所述標(biāo)識符和所述處理期間信息,自動(dòng)起動(dòng)所述程序或者所述數(shù)據(jù)的控制部分。
8.如權(quán)利要求7所述的發(fā)送設(shè)備,其特征在于,所述處理期間信息包含圖表、計(jì)數(shù)以及計(jì)時(shí)中的至少一個(gè)。
9.一種通信系統(tǒng),所述通信系統(tǒng)具有發(fā)送設(shè)備和接收設(shè)備,其特征在于,所述發(fā)送設(shè)備具有發(fā)送傳輸格式信息的發(fā)送部分,所述傳輸格式信息包含標(biāo)識在所述接收設(shè)備使用的程序或者數(shù)據(jù)的標(biāo)識符,和與所述標(biāo)識符相關(guān)聯(lián)、表示在所述接收設(shè)備自動(dòng)起動(dòng)所述程序或者所述數(shù)據(jù)的開始時(shí)間的開始時(shí)間信息,所述接收設(shè)備具有從發(fā)送設(shè)備接收所述傳輸格式信息的接收部分;以及根據(jù)所述標(biāo)識符和所述開始時(shí)間信息,自動(dòng)起動(dòng)所述程序或者所述數(shù)據(jù)的控制部分。
10.一種通信系統(tǒng),所述通信系統(tǒng)具有發(fā)送設(shè)備和接收設(shè)備,其特征在于,所述發(fā)送設(shè)備具有發(fā)送傳輸格式信息的發(fā)送部分,所述傳輸格式信息包含標(biāo)識在所述接收設(shè)備使用的程序或者數(shù)據(jù)的標(biāo)識符,和與所述標(biāo)識符相關(guān)聯(lián)、表示在所述接收設(shè)備處理所述程序或者所述數(shù)據(jù)的處理期間的處理期間信息,所述接收設(shè)備具有從發(fā)送設(shè)備接收所述傳輸格式信息的接收部分;以及根據(jù)所述標(biāo)識符和所述處理期間信息,自動(dòng)起動(dòng)所述程序或者所述數(shù)據(jù)的控制部分。
11.一種發(fā)送方法,其特征在于,具有將傳輸格式信息發(fā)送到接收設(shè)備的步驟,所述傳輸格式信息包含標(biāo)識在所述接收設(shè)備使用的程序或者數(shù)據(jù)的標(biāo)識符,和與所述標(biāo)識符相關(guān)聯(lián)、表示在所述接收設(shè)備自動(dòng)起動(dòng)所述程序或者所述數(shù)據(jù)的開始時(shí)間的開始時(shí)間信息。
12.一種發(fā)送方法,其特征在于,具有將傳輸格式信息發(fā)送到接收設(shè)備的步驟,所述傳輸格式信息包含標(biāo)識在所述接收設(shè)備使用的程序或者數(shù)據(jù)的標(biāo)識符,和與所述標(biāo)識符相關(guān)聯(lián)、表示在所述接收設(shè)備處理所述程序或者所述數(shù)據(jù)的期間的處理期間信息。
13.一種接收方法,其特征在于,具備接收傳輸格式信息的步驟,所述傳輸格式信息包含標(biāo)識程序或者數(shù)據(jù)的標(biāo)識符,和與所述標(biāo)識符相關(guān)聯(lián)、表示自動(dòng)起動(dòng)所述程序或者所述數(shù)據(jù)的開始時(shí)間的開始時(shí)間信息;以及根據(jù)所述標(biāo)識符和所述開始時(shí)間信息,自動(dòng)起動(dòng)所述程序或者所述數(shù)據(jù)的步驟。
14.一種接收方法,其特征在于,具備接收傳輸格式信息的步驟,所述傳輸格式信息包含標(biāo)識程序或者數(shù)據(jù)的標(biāo)識符,和與所述標(biāo)識符相關(guān)聯(lián)、表示處理所述程序或者所述數(shù)據(jù)的期間的處理期間信息;以及根據(jù)所述標(biāo)識符和所述處理期間信息,自動(dòng)起動(dòng)所述程序或者所述數(shù)據(jù)的步驟。
15.一種通信方法,其特征在于,具備發(fā)送傳輸格式信息的步驟,所述傳輸格式信息包含標(biāo)識程序或者數(shù)據(jù)的標(biāo)識符,和與所述標(biāo)識符相關(guān)聯(lián)、表示自動(dòng)起動(dòng)所述程序或者所述數(shù)據(jù)的開始時(shí)間的開始時(shí)間信息;接收所述傳輸格式信息的步驟;以及根據(jù)所述標(biāo)識符和所述開始時(shí)間信息,自動(dòng)起動(dòng)所述程序或者所述數(shù)據(jù)的步驟。
16.一種通信方法,其特征在于,具備發(fā)送傳輸格式信息的步驟,所述傳輸格式信息包含標(biāo)識程序或者數(shù)據(jù)的標(biāo)識符,和與所述標(biāo)識符相關(guān)聯(lián)、表示處理所述程序或者所述數(shù)據(jù)的處理期間的處理期間信息;接收所述傳輸格式信息的步驟;以及根據(jù)所述標(biāo)識符和所述處理期間信息,自動(dòng)起動(dòng)所述程序或者所述數(shù)據(jù)的步驟。
全文摘要
本發(fā)明包括接收控制部分(11),從存儲(chǔ)器或通信通道接收包括數(shù)據(jù)及其發(fā)送格式信息的信息;分析和分離接收到的信息的分離部分(12);把信息發(fā)送給存儲(chǔ)器或傳輸通道的發(fā)送部分(13);擴(kuò)展圖像的圖像擴(kuò)展部分(14);圖像擴(kuò)展控制部分(15),控制所述視頻擴(kuò)展部分(14)的處理狀態(tài),以至少擴(kuò)展一個(gè)或多個(gè)圖像;由圖像合成部分(16)構(gòu)成的圖像合成設(shè)備,根據(jù)擴(kuò)展信息合成圖像;輸出合成結(jié)果的輸出部分(17);終端控制部分(18),控制上述裝置,使得可以對應(yīng)于發(fā)送格式信息的動(dòng)態(tài)范圍同時(shí)合成多個(gè)圖像。
文檔編號H04N7/26GK1941890SQ20061009975
公開日2007年4月4日 申請日期1998年3月13日 優(yōu)先權(quán)日1997年3月17日
發(fā)明者山口孝雄, 栄藤稔, 荒川博 申請人:松下電器產(chǎn)業(yè)株式會(huì)社