在產生混合圖像視頻序列時對不同子圖像的幀內編碼進行時間同步的方法

專利名稱：在產生混合圖像視頻序列時對不同子圖像的幀內編碼進行時間同步的方法
技術領域：
本發明涉及一種用于對視頻流進行編碼的方法、一種用于混合兩個視頻流的方法、一種用于執行視頻會議的方法和一種用于執行或者輔助這種方法的設備。
背景技術：
用于進行視頻編碼的方法、即用于對視頻數據流進行編碼的方法目前在許多技術領域中有著廣泛的應用領域。在視頻會議系統中，常用的是，多個用戶的視頻流被聯合(“混合”)成唯一的視頻流。在這種聯合或者混合的情況下，編碼過的輸出視頻流由兩個編碼過的輸入視頻流生成，例如用于共同顯示兩個視頻流。這樣的方法例如在WO 2009/049974 A2 中予以描述。

發明內容
本發明所基于的任務是說明了一種用于對在這樣的應用中、尤其是與視頻會議結合地來使用的視頻流進行編碼的方法。該任務通過根據獨立權利要求之一所述的方法或者設備來解決。根據本發明規定，在產生編碼過的圖像序列的情況下使用了如下同步信號該同步信號由與要編碼的第一視頻流無關的第二視頻流導出，或者該同步信號以與在編碼第一視頻流時相對應的方式而為對與要編碼的第一視頻流無關的第二視頻流進行編碼的基礎。由或者從數據流導出信號或者信息、尤其是由或者從視頻流導出同步信號應結合本發明的描述被理解為以任何方式產生這種信號或者這種信息，其中導出該信號或者該信息的數據流的結構特征被用于產生所導出的信號或者所導出的信息。由于數據流是數據或數據組(例如圖像、像點或像點的塊)的時間序列，所以這種數據流的結構通過該數據或者數據組的結構特征和該數據或者數據組與時刻的相關性來確定。在數據流來自同樣、即根據確定的模式構造的分別與確定的時刻相關的數據塊的時間序列的示例性情況下，同步信號可以由該數據流例如通過檢測所述時刻和通過產生描述所述時刻的信號來導出。由或者從數據流導出信號或信息、尤其是由或者從視頻流導出同步信號的另外的例子在描述本發明的優選實施例的進一步過程中來說明。在根據本發明的方法中，因此第一視頻流借助如下同步信號來生成該同步信號由與第一視頻流無關的第二視頻流導出，或者盡管該同步信號不從第二視頻流導出，但是該同步信號以與在編碼第一視頻流時相對應的方式而為對第二視頻流進行編碼的基礎。同步信號因此也可以是外部同步信號，例如是以相對應的方式而為對至少兩個要編碼的視頻流進行編碼的基礎的簡單的時間信號。在編碼時、即在壓縮視頻流時、也即在壓縮運動圖像序列時，伴隨壓縮而出現的數據減小基本上以如下兩種途徑來實現一方面，單個圖像利用優選地基于塊的方法(例如借助所謂的離散余弦變換(DCT))來壓縮。該方法大致對應于公知的針對單個圖像的JPEG標準。此外，在圖像內容常常僅僅微小地改變的彼此相繼的單個圖像之間的相關性(關聯)被利用來進行數據減少。為此目的，引入所謂的預測結構，在所述的預測結構中優選地使用如下三種圖像類型(所述圖像類型也被稱作幀(Frame))。-所謂的I圖像在不利用彼此相繼的圖像的關聯的情況下被存儲。這些圖像因此并不與后續的或先前的圖像相關。由于僅僅使用一個圖像的圖像內容來編碼這些圖像， 所以這些圖像也被稱作“幀內編碼的(intra-kodiert)”圖像。因而，得到名稱I圖像。-所謂的P圖像附加地也根據先前的P圖像或者I圖像來預言(預測)并且因此也稱作所預測的圖像。-所謂的B圖像具有其名稱是因為這些圖像被雙向地插值或預測。在此，不同于 P圖像，附加地也存在對后續的P圖像或者I圖像的參考。然而，必須已經將所參考的后續的圖像解碼，用以解碼B圖像，由此需要較大數目的圖像存儲并且常常提高了解碼過程的總延遲時間。這些圖像類型的時間序列表征所謂的預測結構。在這種情況下涉及如下視頻流的結構特征根據該視頻流優選地可以導出同步信號或者相對應的信息。這樣，通過例如與在視頻流中的I圖像相關的時刻在該同步信號中被引用，這種同步信號例如可以由該視頻流的預測結構導出。在以下的優選實施例的描述中可以認識到用于由視頻流導出同步信號的其他可能性。與本發明的描述結合地，術語“編碼”意味著視頻流的優選地伴隨減小數據量(數據壓縮、壓縮)而出現的數字表示，所述視頻流即表示視頻信號、也就是數字圖像或者數字化的圖像的時間序列的數據流。在對這種編碼過的視頻流進行解碼時通常產生如下數據流該數據流能夠實現對視頻信號的再現或者處理。在本發明的優選的實施形式中，圖像序列包括被預測編碼的圖像、尤其是P圖像， 并且包括未被預測編碼的圖像、尤其是I圖像，而且同步信號被用于使未被預測編碼的圖像(尤其是I圖像)在兩個獨立的視頻流的兩個圖像序列中的位置同步。在第一種情況下， 即在同步信號從第二視頻流導出的情況下，使用同步信號優選地來控制未被預測編碼的圖像在第一視頻流中的位置。在另一情況下，即在以相對應的方式使用同步信號來對這兩個視頻流進行編碼的情況下，以相對應的方式控制未被預測編碼的圖像在兩個圖像序列中的位置。在預測圖像的情況下，利用的是，在時間上彼此相繼的圖像中的確定的圖像部分僅僅微小地改變或者僅僅占據相繼的圖像中的不同的位置。在這些前提條件下，借助運動矢量能預言將來的圖像部分，所述運動矢量說明了圖像部分在彼此相繼的圖像之間的偏移。然而，在此通常會發生在要編碼的圖像塊之間的殘差，這些殘差接著例如可以借助離散余弦變換和緊接著的量化而被編碼。根據另一優選的實施例規定，同步信號由用于使第一視頻流和第二視頻流混合的設備來產生。這種設備的例子是視頻會議系統、尤其是在此所使用的服務器，多個要編碼的視頻流通過不同視頻與會者的用戶終端設備而為這些視頻會議系統所用。同步信號在此優選地包含關于在未被預測編碼的圖像(尤其是I圖像)在兩個獨立的視頻流的兩個圖像序列中的位置之間的時間偏差的信息，或者該同步信號由這種信息導出。在另一優選的實施例中，同步信號包含關于被預測編碼的圖像(尤其是P圖像或者B圖像)的數目的信息，其中，在兩個視頻流中的至少一個中，所述數目的被預測編碼的圖像跟隨未被預測編碼的圖像(尤其是跟隨I圖像)，直至出現另一被預測編碼的圖像，或者該同步信號由這種信息導出。根據本發明的方法和不同的實施例適于使兩個視頻流混合，其中這些視頻流中的至少一個根據上述類型的方法被編碼或者曾被編碼。由此，該方法也適于執行視頻會議，其中至少兩個視頻流根據上述方法之一被混合。作為這樣的用于執行視頻會議的方法的優選實施形式而規定，在另一用戶進入該視頻會議中時，該另一用戶的視頻流首先被不同步地編碼，并且一旦用于混合視頻流的設備可以根據先前描述的或者后續描述的實施例之一產生同步信號，該另一用戶的視頻流就被同步。在此，特別優選該方法的如下實施形式在該實施形式中，用于混合視頻流的設備在同步之前或者在同步期間用信號通知所希望的預測結構。本發明也可以通過用于執行或者輔助所述方法之一的設備來實現，該設備被設立用于根據所描述的方法之一產生和發送或者接收或者處理同步信號。


在下文中參照附圖借助優選的實施例更為詳細地描述了本發明。在此，
圖1示意性地示出了根據本發明的用于對視頻流進行編碼的方法的優選的實施例； 圖2示意性地示出了根據本發明的用于對視頻流進行編碼的方法的另一優選的實施
例；
圖3示出了具有所謂的IPPP編碼的帶有第一預測結構的第一視頻流； 圖4示出了具有所謂的IPPP編碼的帶有第二預測結構的第二視頻流； 圖5示出了通過混合在圖3和4中所示的視頻流來形成的輸出視頻流，其中預測結構沒有根據本發明被同步；
圖6示出了具有第三“分層的”預測結構的第三視頻流； 圖7示出了具有第四“分層的”預測結構的第四視頻流；
圖8示出了通過混合在圖6和7中所示的視頻流來形成的輸出視頻流，其中預測結構沒有根據本發明被同步；
圖9示出了在圖6中所示的帶有根據本發明的同步信號s的視頻流； 圖10示出了根據本發明的修改過的具有縮短的圖像組長度和具有根據本發明的同步信號s的視頻流；
圖11示出了通過混合在圖9和10中所示的視頻流來形成的輸出視頻流，其中預測結構根據本發明被同步；
圖12示出了具有“分層的”預測結構的視頻流，其中具有7個P圖像的組與未被預測編碼的I圖像相關；
圖13示出了具有“分層的”預測結構的、圖像組長度根據本發明通過同步信號s相對于圖12中的圖示被縮短的視頻流；
圖14示出了通過混合在圖12和13中所示的根據本發明被同步的視頻流來形成的輸出視頻流。
具體實施例方式圖3、4和5示出了具有IPPP編碼的兩個視頻流的混合，其中預測結構沒有根據本發明被同步。在圖3中所示的視頻流中，圖像31、32、33、34、35、36、37和38在時間上彼此相繼。圖像31和35是未被預測編碼的(“幀內編碼的”)I圖像。圖像32、33、34、36、37和 38是被預測編碼的P圖像。在不參考其他圖像的情況下被編碼的I圖像31和35可以在不參考其他圖像的情況下被解碼。P圖像借助基于先前的圖像來預言其圖像內容地被編碼，并且因而可以僅僅在借助先前的圖像的圖像內容的情況下被解碼。相對應的情況也適用于在圖4中所示的由I圖像42和46以及P圖像41、43、44、 45,47和48構成的視頻流，其中不同在于，在圖4中所示的視頻流中在如下時刻出現I圖像 42和46 在這些時刻，在圖3中所示的視頻流中出現P圖像32和36。為了解碼P圖像41， 需要知道未在圖4中示出的在圖像41之前的圖像的圖像內容。需要圖像48來解碼在圖4 中未示出的在時間上跟隨在圖像48之后的圖像。在圖3和4中，各個圖像組(“group of pictures”，G0P)盡管具有相同的長度；但是圖像組的起始點、即I圖像31、35、42和46在時間上彼此偏移。在圖4中所示的視頻流中出現未被預測編碼的I圖像42和46的時刻在圖3中所示的視頻數據序列中對應于在該視頻數據序列中出現被預測編碼的P圖像32或36的時刻。因而，在沒有根據本發明進行同步的情況下混合兩個在圖3和4中所示的視頻流時，在圖5中所示的輸出視頻流中的所有圖像都是被預測編碼的P圖像、即圖像51至58。所有圖像都通過參考而與相鄰的圖像相聯系。該現象導致不存在輸出視頻流的入口點(“隨機訪問點(random access point)”)，這對于該方法的可靠性及其容錯是不利的。在分層的編碼的情況下，出現另一問題。分層的編碼能夠實現時間上的可縮放性 (Skalierbarkeit)，所述時間上的可縮放性尤其能夠實現更好的誤差保護方法。這樣，在具有時間上的可縮放性的視頻流的情況下，時間基準平面、即最低的時間分辨等級受到良好保護，以便防止不受控的誤差傳播。與此相反，在IPPP編碼的情況下，在損失P圖像的情況下，所有后續的P圖像不再無誤差地被解碼。在圖6中所示的視頻流中，P圖像63和67并不與相應的在其前的ρ圖像62或66 相關，而是與分別在其前的I圖像61或65相關。與此相反，ρ圖像64和68與在其前的P 圖像63或67相關。類似地適用于圖7中所示的視頻流。P圖像74和78并不與相應的在其前的P圖像73或77相關，而是與分別在其前的I圖像72或76相關。與此相反，ρ圖像 71和75與在其前的P圖像70或74相關，其中P圖像70在圖7中未示出。如在圖6、7和尤其是在圖8中所示的那樣，分層的預測結構在混合在圖6和7中所示的視頻流時導致如下問題許多圖像、即在圖8中所示的輸出圖像序列中的圖像83、84、 87和88具有與多個過去圖像的相關性，即具有與多個參考圖像的相關性，這些相關性也稱作多重參考(“multiple references”)，這通常導致提高的存儲器開銷。這樣，例如圖像83與圖像81和82相關，圖像84與圖像82和83相關，圖像87與圖像85和86相關，而圖像88與圖像86和87相關。這種多重相關性提高了在解碼時的誤差的概率并且常常也提高了用于編碼和解碼的開銷。此外，這種多重相關性在一些視頻標準中并不能被反映，并且也失去了時間上的可放縮性，這在圖8中通過“？”符號來表示。這導致在解碼輸出視頻流時的提高的容易出錯性。本發明現在如在圖1和2中所示的那樣通過根據同步信號si或sl2控制對至少一個視頻流1和/或2的編碼El或E2來解決該問題，該同步信號si或sl2在圖1和2中所示的實施例中通過用于混合視頻流1或2或其編碼過的視頻流1'或2'的設備E12來提供。編碼器El或E2對視頻流1或2進行編碼并且產生編碼過的視頻流1'或2'。這些編碼過的視頻流1'或2'在圖1中所示的實施例中被輸送給用于混合兩個視頻流的設備E12，于是或者其中該設備提供被輸送給用于對視頻流2進行編碼的設備E2并且被所述設備E2使用的同步信號Si。在圖1中所示的實施例中，同步信號si僅僅被輸送給編碼器E2，而不被輸送給編碼器E1。同步因此是可能的，因為在本發明的該實施形式中，同步信號si從視頻流1或1 ‘ 導出。由視頻流1或1'導出的同步信號在此包含用于使視頻流2的編碼E2同步的信息， 所述信息由視頻流1'的結構特征(例如由視頻流1'的預測結構)導出。用于進行混合的設備E12借助根據本發明的同步過的視頻流1'和2'產生混合過的視頻流12。在圖2中所示的本發明的實施例中，同步信號sl2被輸送給兩個編碼器El和E2。 同步信號sl2因而不必從兩個視頻流之一被導出。代替地，也可以涉及外部信號、例如時間信號，該外部信號被兩個編碼器El和E2 (以相對應的方式)用于同步。表述“以相對應的方式”在此應意味著同步信號被兩個編碼器El和E2在算法上以相同的方式用于對相應的視頻流1和2進行編碼。在根據本發明的方法中，使用了如下同步信號該同步信號由與第一視頻流無關的第二視頻流導出或者以與在編碼第一視頻流時相對應的方式而為對與第視頻流無關的第二視頻流進行編碼的基礎。本發明的主要構思因此是，使輸入視頻流、優選地輸入視頻流的預測結構同步，以便以這種方式在混合時產生改進的輸出視頻流。為此目的，本發明規定，控制兩個編碼器中的至少一個來使得可以進行這種同步。 為了實現視頻流與預先給定的預測結構的同步，也可以彼此組合的以下兩個基本措施是合適的通過中央服務器(例如通過用于混合視頻流的設備)用信號通知偏移，或者使用共同的時基。這兩個措施或其組合還可以通過圖像重復率的精細調節來補充。執行輸入視頻流1'和2'的混合的設備E12 (例如服務器)例如可以計算輸入視頻流的時間偏差。為了通過同步消除所計算的偏移，隨著請求，設備E12 (例如在視頻會議系統中的服務器)向所述一個或多個相對應的視頻數據源的視頻編碼器(“終點”)寄送將圖像組(“G0P”)的圖像數目減小當時計算的偏差的指示。在本發明的另一實施形式中，圖像組的長度也可以被延長或可以使用對圖像組長度縮短或者延長的組合或混合形式。如果輸入視頻流的圖像組長度尚不相等，則該圖像組長度作為新參數優選地被一同傳輸。該行為方式示例性地在圖9、10和11中被示出。用于混合輸入視頻流的設備E12 的至用于圖10中所示的視頻流的編碼器的同步信號S大致可以在于用于將圖像組長度縮短一個圖像的指示。在緊接著得到的可能性的情況下，編碼器會實施該指示。這樣，圖9示出了具有圖像91至98的視頻流，這些圖像91至98包括圖像91至 94以及圖像95至98構成的兩個圖像組。圖像組的各第一圖像91和95在該例子中為I圖像，所有其余的圖像92、93、94、96、97和98是P圖像或者ρ圖像。在大寫字母和小寫字母之間的差別在此用于表示圖像屬于不同的時間分辨率水平。該情形對應于圖6中所示的情形。現在為了避免圖8中所示出的問題，促使在圖7 中所示的視頻流的編碼器通過該同步信號來縮短圖像組長度。接著，由圖7中所示的視頻流得到圖10中所示的視頻流，其中在被預測編碼的圖像74之后并未跟隨被預測編碼的圖像75，而是其中在被預測編碼的圖像104之后跟隨未被預測編碼的I圖像105。因此，促使編碼器通過同步信號在不參考先前的圖像的情況下對圖像105進行編碼，即產生未被預測編碼的I圖像105。在將這兩個根據本發明被同步的、在圖9和10中所示的視頻流進行混合的情況下，形成圖11中所示的輸出視頻流，其中圖8中所示的、圖像87和88的多重相關性并未出現。圖像116、117或者118都沒有與多于一個的先前的圖像相關。但是，圖像組并不一定必須從幀內圖像(I圖像)開始，而是圖像組也可以從被預測編碼的圖像開始，如這在圖12、13和14中所示的那樣。以這種方式可以避免網絡中的數據率由于所有發送方同時傳輸I圖像而短期極大地升高。為此，優選地也可以附加地用信號通知和傳輸關于圖像組是否應從幀內圖像開始的信息或者將所述信息集成到同步信號中。在本發明的一些優選實施例中，在同步信號中或者除了同步信號之外也可以將預測結構和幀內圖像的間距用信號通知給編碼器，如這可以以圖12和13中所示的視頻流為例而示出的那樣。如果由編碼器產生的預測結構并不與由混合器E12所期望的預測結構相一致，則上述情形尤其是有利的。信令在這種情況下例如可以看起來如下在“幀內周期 =8”的情況下，“10 p2 Pl p2”。字母符號在此表示圖像類型，其中I代表圖像類型“幀內圖像”，P (“大寫P”)代表圖像類型“P參考圖像”，ρ (“小寫P”)代表圖像類型“P-非參考圖像”。參數“幀內周期”在此說明時間上的縮放等級。在本發明的另一優選的實施形式中，該消息也可以具有其他內容，該其他內容但是實現了被尋址的編碼器的類似的或者相同的特性。規范的一種可能性可能為指示編碼器在確定的圖像號碼下啟動圖像組，或者如果圖像組尚未一致，則可以以專用的圖像組長度啟動。相對應的指示例如可以是“在圖像號碼y的情況下的圖像組長度等于χ的新圖像組”。圖像號碼的計算通過服務器根據視頻流的偏移和信令的延遲來進行。對于后者而言，必須保證的是，信令包在對新圖像組的圖像號碼進行編碼之前到達編碼器。在這兩種所述的情況下，信令例如可以借助用于實時控制媒體流的協議來進行， 優選地借助RTP控制協議(RTCP，RTP-Control-Protocol)來進行。如果新用戶到達視頻會議中，則該用戶首先不同步地啟動對視頻數據的編碼和發送。由此，首先，其他用戶的先前可能存在的同步性(相同的預測結構)將失去。但是，一旦服務器例如可以計算偏差，則新用戶接著優選地盡可能地被同步。可以已經事先向新用戶用信號通知所希望的預測結構。這可以優選地在商定連接時或者通過已經描述的類似RTCP 的信令來實現。所描述的并且其他的仍有后續的實施例也可以組合地實現。在此，信令通常可以包括可以適當地組合的如下要素
-圖像偏差或者圖像組長度的延長或縮短 -判定新圖像組是否從幀內圖像開始 -圖像組長度-預測結構，該預測結構隱含地包含關于圖像組長度的信息 -幀內周期、即幀內圖像的間距。控制元件或者參數優選地由第二視頻流導出，即由第二視頻流的預測結構或者由該視頻流的其他結構特征確定或計算。對此的不同例子先前曾予以描述。預測結構的同步也能通過共同的時基來實現。因此，本發明規定如下實施例其中每個終點首先與參考時基同步。這例如可以借助所謂的網絡時間協議(NTP， Network-Time-Protocol)來實現。使視頻流1 ‘和2'混合的通信服務器E12例如也可以自身用作參考時基的源。這種情形例如在圖2中示出。在本發明的優選的實施形式中，信令接著可以如下地進行服務器向每個終點El 或E2寄送在確定的時刻啟動寄送確定的預測結構的請求。起始點在此優選地根據數據從終點至服務器的傳輸時間來計算。數據從終點至服務器的傳輸時間優選地例如可以被估計為所謂的往返時間(RTT，R0Und-Trip-Time)的一半。開始新圖像組的時刻接著優選地可以如下來計算
T (新圖像組；i) =T (混合；i)-T (傳輸；i) T (混合，i)_RTT/2，其中i=l，…，n，其中η是終點的數目，即要混合的獨立的視頻流的數目，即例如與會者的數目。通過預先給定圖像組的起始點和預先給定預測結構，發送方可以計算在預測結構與時基之間的固定映射(Mapping)并且從此以后提供具有被同步的預測結構的視頻流。由實驗性檢驗的估計得到，網絡時間協議(NTP)的精度在這種情況下為大約10毫秒。因而，基于此的同步的不精確度最大為20毫秒，因為終點可在不同的方向上偏離 (即“向前或向后”)。這在25Hz的圖像重復率的情況下對應于圖像的偏差。如已經提及的那樣，該偏差(如果存在)可以通過偏移的信令(如上所描述的那樣) 被補償。根據本發明的應用和實施形式，圖像重復率的精細調節可以是有利的或者是值得希望的。由于時間參考主要是在不使用共同的時基的情況下可以發散在各個終點中，所以即使在已經同步過的視頻流并且圖像重復率在形式上相同的情況下也會隨著時間而構造偏差。為了抵消這種偏差，一個或多個終點的圖像率優選地可以相對應地被再調節。為此， 服務器優選地向所述一個或多個終點El或E2寄送指示，例如寄送具有如下內容的指示 “將圖像重復率提高X”，其中χ的負值應對應于圖像重復率的減小。在對應于在時間間隔中(即每個時間間隔)所接收到的圖像的數目的所估計的圖像率的情況下，修正值X在此可以根據輸入數據流與參考時間的偏離優選地如下被計算
X=[(目標圖像率/所估計的圖像率)-1]*100%。所描述的本發明根據實施形式能夠實現以尤其是與完整轉換要混合的視頻流的代碼相比比較小的開銷將視頻流混合。在此，時間上的可放縮性被保持。由此可能的是，輸出視頻流在圖像重復頻率和數據率方面與應用的要求相匹配， 更確切地說，在同時減小容易出錯性的情況下，優選地通過特別的誤差保護(例如通過傳輸重復(“re-transmission”))針對時間基準平面(“kisis layer (基準層)”)、即最低的時間分辨等級與應用的要求相匹配。輸出視頻流中的可能不能通過視頻編碼標準映射的復雜預測結構可以借助本發明來避免。根據本發明所產生的輸出視頻流常常可以以較小的存儲器開銷來解碼。在傳統方法的情況下常常不可避免的附加延遲在根據本發明的方法中被最小化或者被完全消除，因為各個要混合的輸入視頻流并未延遲。 前面所描述的本發明的實施例也可以有利地彼此組合。然而本發明并不限于前面所明確描述的實施例。本領域技術人員借助本發明的本說明書能夠沒有困難地發現和實施其他有利的實施例。
權利要求
1.一種用于對第一視頻流進行編碼的方法，其中產生圖像的時間序列，其特征在于， 在產生圖像序列時使用同步信號，該同步信號由與第一視頻流無關的第二視頻流導出或者以與在編碼第一視頻流時相對應的方式而為對與第一視頻流無關的第二視頻流進行編碼的基礎。
2.根據權利要求1所述的方法，其特征在于，圖像序列包括時間上被預測編碼的圖像、 尤其是P圖像，并且包括未在時間上被預測編碼的圖像、尤其是I圖像，而且使用同步信號來使未被預測編碼的圖像、尤其是I圖像在兩個獨立的視頻流的兩個圖像序列中的位置同步。
3.根據上述權利要求之一所述的方法，其特征在于，同步信號由用于使第一視頻流和第二視頻流混合的設備來產生。
4.根據上述權利要求之一所述的方法，其特征在于，同步信號包含關于未被預測編碼的圖像、尤其是I圖像在兩個獨立的視頻流的兩個圖像序列中的位置之間的時間偏差的信息或者由所述信息導出。
5.根據上述權利要求之一所述的方法，其特征在于，同步信號包含關于被預測編碼的圖像、尤其是P圖像或者B圖像的數目的信息或者由所述信息導出，其中所述數目的被預測編碼的圖像在兩個視頻流中的至少一個中跟隨于未被預測編碼的圖像、尤其是跟隨于I圖像，直至出現其他的被預測編碼的圖像。
6.一種用于使兩個視頻流混合的方法，所述視頻流中的至少一個視頻流根據上述權利要求之一所述的方法被編碼或者曾被編碼。
7.一種用于執行視頻會議的方法，其中，至少兩個視頻流根據上一權利要求所述的方法被混合。
8.根據權利要求7所述的方法，其特征在于，在另一用戶進入視頻會議時，該另一用戶的視頻流首先不同步地被編碼，并且一旦用于混合視頻流的設備能根據上述權利要求之一產生同步信號，該另一用戶的視頻流就被同步。
9.權利要求6至8之一所述的方法，其特征在于，用于混合視頻流的設備在同步之前或者在同步期間向其他用戶的視頻流的編碼器用信號通知所希望的預測結構。
10.一種用于執行或者輔助根據上述權利要求之一所述的方法的設備，其特征在于，該設備被設立用于根據上述權利要求之一產生和發送或者接收和處理同步信號。
全文摘要
在用于對第一視頻流進行編碼的方法中，產生圖像的時間序列。為此，使用如下同步信號該同步信號由與第一視頻流無關的第二視頻流導出或者以與在編碼第一視頻流時相對應的方式而為對與第一視頻流無關的第二視頻流進行編碼的基礎。
文檔編號H04N21/2365GK102550035SQ201080004755
公開日2012年7月4日 申請日期2010年7月23日 優先權日2010年7月23日
發明者B.阿格特, N.奧爾特爾, P.阿蒙 申請人:西門子企業通訊有限責任兩合公司