多媒體流中的同步水印的制作方法

專利名稱：多媒體流中的同步水印的制作方法
技術領域：
提供分離的但是相關的數據流的同步。具體地，將同步數據分組插入到數據分組流中，以允許相關流在時間上相互對準。
背景技術：
多媒體數據，例如包括音頻和視頻成分，對于在遙遠的各方之間傳送娛樂內容和增強通信是有用的。例如，視頻電話系統，作為處于遠程位置的人員之間召開會議的方式日益流行。由于高速網際協議網絡已經得到越來越廣泛的使用，更低成本的視頻會議設備變得可用，使得這種設備更加容易得到。但是，由于分組數據網絡分別地發送音頻和視頻信息，并由于多種網絡影響，很容易使音頻流和相關視頻流變得顯著地相互不同步。在通過IP網絡經過長距離發送的音頻/視頻信息方面，該問題變得特別明顯。
目前，大多數媒體網關不提供相關音頻和視頻流的同步(或“邊緣同步(lipsync)”)。另外，大多數媒體網關不使用延時補償或某種邊緣同步緩沖。通過實時控制協議(RTCP)，從實時協議(RTP)時間戳到網絡時間協議(NTP)時間戳/墻時鐘的映射是可能的。但是，在補償音頻和視頻流之間的偏移的適當時間上，該信息卻不可用。特別地，RTP首標中可用的RTP時間戳不是墻時鐘時間戳，并且用于音頻和視頻的時間戳沒有必要從同一計數開始或遵循一個特殊方案。例如，對于取決于抽樣的每一個分組，音頻時間戳可增加160，且屬于相同幀的視頻分組可能根本不會增加時間戳值。映射RTP時間戳值到NTP時間戳是不充分的，因為RTCP發送器報告不夠頻繁，并且在用于延時補償的必要時間不可用。此外，如果存在多個同步源，利用RTCP同步是不實際的。因此，沒有明確的解決方案來解決網際協議(IP)網絡中的邊緣同步問題。
某些可用的產品要求通過邊緣同步緩沖提供邊緣同步特性。這些可或不可依賴于RTP/RTCP首標中可用的RTP/RTCP時間戳。在某些情況下，尤其在專業的廣播視頻解決方案中，可以使用基于語音和模式識別的邊緣同步。具體地說，已經提出了檢測媒體節目信號的音頻部分中的音頻事件，并測量從音頻事件到媒體節目信號的視頻部分中后續視頻同步脈沖的定時間隔的系統。該定時間隔被存儲在媒體節目信號的第三部分中。在接收端，定時間隔信息被取回，并用來將音頻事件與視頻同步脈沖對準。然而這種系統實現起來相對復雜。
活動圖像專家組標準4(MPEG4)提供了同步和復用層。然而，同步和復用層實際上在大多數系統中不能實現。特別地，支持MPEG4視頻的那些系統通常只實現該標準的壓縮層部分，而不是同步層或者傳送層。結果，當與音頻RTP流一起使用時，MPEG4壓縮的視頻RTP流不具有共同的基準計數或時間戳，除非所有MPEG4層都在共同框架中實現。在嵌入端點中實現所有層不是成本有效的，且無論如何，許多標準需要類似于H.261、H.263等等的其它視頻編解碼。因此，將MPEG4標準用于通過IP網絡發出的多媒體呼叫的同步是不切實際的。

發明內容
本發明的實施例旨在解決現有技術的這些和其它問題以及缺點。根據本發明的實施例，同步是通過將同步分組插入到相關音頻和視頻數據流中來提供的。同步分組以分組數據首標信息為表征，該分組數據首標信息允許每個同步分組作為其對應的數據流的一部分來發送。與數據分組不同，同步分組的有效負荷包括同步標志以便于檢測數據流內的同步分組。任選地，同步分組的有效負荷還包括定時和/或標識符信息。
根據本發明的實施例，同步分組在發送端點或網關被插入到對應的音頻和視頻數據流中，并被用于在接收端點或網關執行相關音頻和視頻數據流的同步。不需要在發送端點或最接近發送端點的網關執行將同步分組插入到音頻和視頻數據流中。也就是說，例如，通過將同步分組插入到沿通信模式的網關或其它網絡節點，可以獲得改善同步形式的至少一些好處。同樣，同步分組的檢測以及基于同步分組的檢測的音頻和視頻流的對準不需要在數據流傳播所通過的接收端點或最后網關執行。然而，插入同步分組并在網絡節點中基于這些分組執行同步一般是有利的，這些網絡節點基本上處理包含數據流的所有分組，比如在通信端點自身中，非常接近通信端點的網關中，或例如連接子網到遠距離網絡的網關中。
通過以下討論，特別是參考附隨的說明，將更容易理解本發明的實施例的其它特性和優點。


圖1是描繪根據本發明的實施例的通信系統的組件的框圖；圖2是描繪根據本發明的實施例的通信端點或網關的組件的功能框圖；圖3是描繪根據本發明的實施例的系統操作方面的流程圖；圖4是描繪根據本發明的實施例的音頻和視頻數據流的同步方面的處理流程圖；以及圖5描繪了根據本發明的實施例的同步分組的內容。
具體實施例方式
參考圖1，圖1舉例說明了根據本發明的實施例的通信系統100的組件。一般而言，通信系統100包括多個音頻/視頻通信端點104。每一個音頻/視頻通信端點104可以與一個或多個用戶108相關聯。音頻/視頻通信端點104通常被設置成通過通信網絡112和/或一個或多個網關或交換機116相互通信。
一般而言，音頻/視頻通信端點104可包括視頻電話、軟視頻電話，或其它裝置，諸如通用計算機、個人數字助理(PDA)、蜂窩電話、電視，或能夠接收作為輸入或提供作為輸出音頻/視頻數據的任何其它裝置。如同本領域的技術人員在考慮在此提供的公開內容之后所理解的，音頻/視頻通信端點104無需能夠處理分組數據媒體流，假如它與能夠處理IP分組數據流并提供適合于音頻/視頻通信端點104的輸出的另一裝置配成對，比如具有或不具有中間(intermediate)裝置的網關或交換機116。
通信網絡112可包括一個或多個各種類型的網絡。例如，通信網絡112可包括局域網(LAN)，或廣域網(WAN)。更為一般的是，通信網絡112可包括任何類型的網際協議網絡或其它分組數據網絡。此外，通信網絡112的一部分可包括非分組數據網絡，諸如公眾交換電話網(PSTN)。另外，通信網絡112可用于直接或者通過互連一子網到另一子網或到網絡節點，與多種網絡節點互連，比如音頻/視頻通信端點104和網關/交換機116。
網關/交換機116典型地與通信網絡112互連，且可定義一個子網或系統。例如，第一網關/交換機116可定義一個局域網或本地電話網，如專用交換分機，其包括第一音頻/視頻通信端點104。如圖所示，音頻/視頻通信端點也可直接與通信網絡112互連。作為另一實例，第二網關/交換機116可為第二音頻/視頻通信端點104和第三音頻/視頻通信端點104提供與通信網絡112的互連。因此，網關/交換機116的實例包括網際協議網絡網關或路由器、專用交換分機或其它通信管理服務器、或網際協議交換機。
現在參考圖2，以框圖形式描繪了能夠執行相關數據流的同步的可包括作為音頻/視頻通信端點104或網關/交換機116的一部分的組件。這些組件可包括能夠執行程序指令的處理器204。因此，處理器204可包括用于執行應用編程的任何通用可編程處理器或控制器。可選地，處理器204可包括專門配置的專用集成電路(ASIC)或數字信號處理器(DSP)。處理器204一般用于運行由音頻/視頻通信端點104和/或網關/交換機116執行的編程代碼實現的各種功能，包括在此描述的媒體流同步功能。
音頻/視頻通信端點104和/或網關/交換機116可另外包括存儲器208，供處理器204在執行編程時一起使用，以及暫時或長期存儲數據或程序指令。存儲器208包括可駐留、可移除或遠程特性的固態存儲器，比如DRAM和SDRAM。在處理器204包括控制器的情況下，存儲器208可集成到處理器204。
另外，可提供多種用戶輸入裝置212和用戶輸出裝置216。輸入裝置212的實例包括鍵盤、數字小鍵盤、麥克風，照相機或攝像機，以及與屏幕或其它位置編碼器組合的指示裝置。用戶輸出裝置216的實例包括視頻顯示器、字母數字顯示器、振鈴器、打印機端口、揚聲器或指示器燈。
音頻/視頻通信端點104和/或網關/交換機116還可包括用于存儲應用編程和/或數據的數據存儲器220。例如，操作系統軟件224可存儲在數據存儲器220中。可以存儲在數據存儲器220中，尤其有關音頻/視頻通信端點104的應用的實例，是視頻電話或通信應用228。如同本領域的技術人員所理解的，視頻電話應用228可包括用于實現軟視頻電話的指令，例如在音頻/視頻通信端點104包括通用計算機的情況下。作為另一個實例，視頻電話應用228可包括由包含專用視頻電話端點或裝置的音頻/視頻通信端點104執行的操作指令。可存儲在作為音頻/視頻通信端點104或網關/交換機116的一部分而提供的數據存儲器220中的其它應用的實例包括同步應用232和分組數據通信應用236。同步應用232可包括在此描述的用于插入同步分組到輸出的多媒體數據流中，并檢測同步分組和執行有關輸入的多媒體數據流的同步的指令。分組數據通信應用236可包括用于通過分組數據網絡，比如網際協議通信網112，發送或接收分組數據流的指令。例如，分組數據通信應用236可協同視頻電話應用228和音頻/視頻通信端點104操作，以在音頻/視頻通信端點104的用戶108和通信網絡112之間發送和接收多媒體數據流。數據存儲器220可包括磁存儲裝置、固態存儲裝置、光存儲裝置、邏輯電路或任何這些裝置的任何組合。應當進一步理解的是，可以保留在數據存儲器220中的程序和數據可包括軟件、固件或硬件邏輯，這取決于數據存儲器220的特殊實現方式。
音頻/視頻通信端點104和/或網關/交換機116還可包括一個或多個通信網絡接口240。例如，音頻/視頻通信端點104或網關/交換機116可包括具有網絡接口卡(NIC)、調制解調器、電話端口、串行或并行數據端口或其它有線線路的通信網絡接口240，或無線通信網絡接口。
另外，音頻/視頻通信端點104一般包括一個或多個成像照相機244。照相機244用于獲得利用音頻/視頻通信端點104參與視頻電話會話的人的圖像。成像照相機244可包括數碼相機，該數碼相機具有光學元件，如具有可選擇的變焦和/或聚焦能力的鏡頭系統，以及電子元件，如用于將由光學元件收集的視頻信息轉換成數字圖像數據的電荷耦合器件(CCD)。因此，成像照相機244包括特殊類型的用戶輸入212。
示例性的音頻/視頻通信端點104一般還包括視頻輸出或顯示裝置248。視頻輸出248可用于從一個或多個遠程音頻/視頻通信端點104顯示圖像信息。另外，控制和狀態信息可通過視頻輸出248呈現。因此視頻輸出248可被認為是特殊類型的用戶輸出216。視頻輸出248的實例包括陰極射線管(CRT)、液晶顯示器(LCD)、等離子顯示器或能夠再現發送的視頻圖像的其它裝置。
在音頻通信的支持方面，音頻/視頻通信端點104可包括音頻輸入252和音頻輸出256。音頻輸入252可包括用于從音頻/視頻通信端點104的位置接收音頻信息的麥克風，該音頻信息包含來自在該位置的人的語音。因此，音頻輸入252是一種特殊類型的用戶輸入212。音頻輸出256可包括一個或多個揚聲器或耳機。因此，音頻輸出256是一種特殊類型的用戶輸出216。
如同本領域的技術人員能夠從在此提供的說明書中所理解的，被包括作為音頻/視頻通信端點104或網關/交換機116的一部分的特殊組件一般將由支持特殊音頻/視頻通信端點104或網關/交換機所含特性所必需的那些組件和功能確定。因此，一種特殊的音頻/視頻通信端點104或網關/交換機116不需要包括圖2舉例說明的每一個組件和應用。此外，包括的組件和應用可以實現為單個物理裝置的一部分，或者在物理或邏輯分離的組件中分布。
現在參考圖3，示意了用于同步分組數據流的處理方面。最初，音頻數據流和對應的視頻數據流在發送音頻/視頻通信端點104或諸如網關/交換機116的其它網絡節點處被生成或接收(步驟304)。音頻和視頻數據流的生成可包括從諸如麥克風和成像照相機244的音頻輸入252接收音頻和視頻信息，并生成分組的數據流。例如，該數據流可根據實時協議(RTP)來格式化。
接收音頻數據流和對應的視頻數據流例如可包括，網關/交換機116從音頻/視頻端點104或從另一網絡節點接收包含音頻和視頻數據流的分組數據流。在步驟308，同步分組被插入到音頻數據流中，且對應的同步分組被插入到視頻數據流中。該對對應的同步分組可以同時被插入到各自的音頻和視頻數據流中。根據本發明的另一些實施例，第一和第二同步分組可以在略微不同的時間，例如相互之間大約200毫秒內，被插入到音頻和視頻數據流中。根據本發明的其他實施例，第一同步分組在第一時間被插入到音頻數據流中，而第二同步分組在與第一時間完全相同的第二時間被插入到視頻數據流中。當在音頻數據流中檢測到靜默時，或者在適當的視頻畫面邊界后，可以在數據流中插入同步分組，以便包含同步分組將不會在接收裝置或解碼器引起誤差。插入到音頻和視頻數據流中的同步分組一般像包含音頻或視頻數據的數據分組那樣格式化。因此，在音頻和視頻數據流包括RTP分組的情況下，插入到那些流中的同步分組一般包括RTP首標。作為有效負荷，同步分組包含同步標志。為了獲得良好的相關特性可以選擇該同步標志。通過為同步標志提供良好的相關特性，檢測該標志所需的處理能力可以比必須讀出每個數據分組以確定其是否為同步分組的情況小得多。另外，可以選擇同步標志，以便該標志將被音頻或視頻數據模仿的可能性為低。該同步分組可另外地包括基準值，比如墻時鐘值、計數值、或通用基準值。基準值可進一步包括同步分組被插入到第一數據流的時間和對應的同步分組被插入到第二數據流的時間之間的差或增量。在步驟312，音頻和視頻流，與包含的同步分組一起，通過通信網絡112發送。如同本領域的技術人員所理解的，分組數據流遭受到各種網絡影響，這些網絡影響導致個別分組無序地到達接收端。
音頻和視頻數據流與同步分組一起，在能夠執行同步的接收端點或節點被接收(步驟316)。特別地，接收音頻/視頻通信端點104或節點，比如網關/交換機116，檢測音頻流中的同步分組和視頻流中對應的同步分組(步驟320)。根據本發明的實施例，對所有的輸入分組執行快速相關以確定一個特殊分組是否為同步分組。因此，可以通過掃描用于相關的輸入分組，檢測根據本發明的實施例的同步分組，這與讀取每個分組相對。
根據本發明的實施例，同步分組不時地被插入到音頻和視頻數據流中，其中連續同步分組之間的時間低于某一閾值量。根據本發明的其它實施例，同步分組至少每100毫秒被插入到音頻和視頻數據流中。由于同步分組之間的這種間隔，不需要同步分組包括基準值。也就是說，如果那些同步分組在大約相同的時間(例如，相互之間大約100毫秒內)在接收端被接收到，其中一個數據流中的同步分組可被識別為對應于在其它數據流中的另外的同步分組。即，可以認為，大于2至3秒的網絡延遲幾乎是不可能的。
在檢測和識別了音頻和視頻數據流中對應的同步分組之后，音頻和視頻數據流可被對準(步驟324)。具體地說，在音頻數據流中檢測到的同步分組附近的音頻分組可以與視頻數據流中對應的同步分組附近的視頻數據分組對準。數據分組的對準可包括在接收端或節點緩沖數據分組以及重新對準該數據分組。根據本發明的一個實施例，只有在確定數據分組未對準超過某個閾值量時才執行對準。例如，低于幾毫秒的未對準通常太小使得用戶108覺察不到。但是，當未對準超過100毫秒時將變得非常明顯。因此，在確定未對準的量超過100毫秒時執行對準。也就是說，音頻和視頻數據流中的數據分組或那些數據流中的信息(或那些數據流的回放)之間不需要精確對準。相反，使得來自那些數據流的各自輸出例如在大約100毫秒之內或不太完美的對準，這樣的數據流分組的對準是足夠的。根據本發明的實施例也可應用其它對準閾值，例如為滿足特殊應用的同步要求。例如，任何數量的未對準可以被校正。
在同步分組不包括時間值的情況下，可以基于這樣的設想來執行對準同步分組在同一時間或大致相同的時間(例如，在相互之間大約100毫秒之內)被插入到音頻和視頻數據流中。可選地，包含在同步分組中的基準值可用于提供對應的同步分組之間的相對插入時間差。對準后的音頻和視頻數據流接著被輸出到端用戶，或發送到音頻/視頻輸入104用于輸出，例如，如果在網關/交換機116執行對準。
現在參考圖4，示意了本發明的實施例的其它方面。特別地，發送同步數據流的處理以提供包含音頻和視頻信息的輸入到輸入裝置開始，比如在音頻信息的情況下音頻輸入252包含麥克風以及在視頻信息的情況下包含成像照相機244。所得到的音頻信息信號404和視頻信息信號408可接著被發送到數據分組器412。該數據分組器412可包括處理器204，其與被提供作為音頻/視頻通信端點104的一部分的存儲器208和數據存儲器220協同，執行分組數據通信應用236。另外，數據分組化可包括一個或多個模數轉換器(ADC)或與之相關。可選地，音頻信息信號404和視頻信息信號408可被提供給網關/交換機116用于進行分組。同步分組生成器416協同數據分組器412操作，以將同步分組插入到由數據分組器412根據音頻404和視頻408信息創建的分組數據流中。因此，同步分組生成器416和數據分組器412的交互作用導致音頻分組數據流420和對應的視頻數據分組流424的創建。音頻分組數據流420和視頻分組數據流424的每一個分別包括音頻數據分組428或視頻數據分組432。另外，音頻分組數據流420包括對應于插入到視頻分組數據流424中的同步分組440的同步分組436。
音頻分組數據流420和視頻分組流424通過通信網絡被傳送到接收節點或端點104或116。最初，音頻分組數據流420a和視頻分組數據流424a是對準的。但是，在通過通信網絡112之后，音頻分組數據流420和視頻分組數據流424包含數據428、432和同步436、440分組，它們不再互相對準。音頻和視頻數據分組流420、424例如在被提供作為接收音頻/視頻通信端點104或網關/交換機116的存儲器208的一部分的緩沖器444中被接收。
數據對準器448檢測數據流420、424中的同步分組436、440，并使用同步分組436、440作為標記(marker)以使附近的數據分組428、432相互對準。另外，數據對準器448應當去除同步分組436、440。對準后的音頻數據流452和對準后的視頻數據流456接著被發送到回放裝置或解碼器460。數據對準器448可包括根據本發明的實施例的同步應用232，其協同分組數據通信應用236一起操作，并包括由在接收音頻/視頻通信端點104或網關/交換機116上運行的處理器204執行的指令。回放裝置或解碼器416可隨后提供同步的音頻/視頻輸出464到接收用戶108。回放裝置460可通過視頻電話應用228或其他多媒體應用的操作或執行，由音頻/視頻通信端點104來實現，且可包括音頻輸出256和視頻輸出248。此外，該同步的音頻/視頻輸出464可由包含音頻輸出256的揚聲器和包含視頻輸出248的顯示器提供。回放裝置或解碼器416上的數據對準器248可包括一個或多個數模轉換器(DAC)或與之相關.
現在參考圖5，示出了根據本發明的實施例的同步分組436、440的實例。同步分組436、440包括首標504。如同本領域的技術人員所理解的，首標504提供尋址信息，并使同步分組436、440與其中插入了同步分組436、440的數據流420、424的數據分組428、432相關聯，以便允許該分組在接收端被適當地排序。根據本發明的實施例，該首標可包括RTP首標，或結合傳輸控制協議/網際協議(TCP/IP)分組數據傳輸使用的其它首標。另外，同步分組436、440包括同步標志508。根據本發明的實施例，選擇同步標志以便其具有良好的相關特性和被數據分組428、432模仿的低可能性。結果，可以利用相關過程來執行同步分組436、440的檢測，而不是需要讀取接收的每一個分組以確定其是否為同步分組436、440。作為一個實例，同步標志508可包括兩個字節。根據本發明的另外實施例，該字節可具有值0xE14D，或二進制值1110000101001101。
還示出了示意性的的同步分組436、440的有效負荷中包含基準值512。包含基準值512可用于允許肯定地識別在對應的音頻和視頻數據流420、424中的對應同步分組436、440。基準值512可以是墻時鐘值的形式，所述墻時鐘值包含在插入到其各自的數據流中時添加到同步分組436、440的時間戳、計數值、或一些其它的通用基準值。但是，本發明的實施例不要求同步分組436、440包括基準值512。
盡管本發明的實施例用作涉及通過網際協議網絡傳輸視頻電話信號的實例情況，本發明的實施例不僅限于此。例如，在此描述的同步可以結合音頻數據流和相關視頻數據流的廣播(或萬維網廣播)來執行。此外，本發明的實施例具有到任何相關數據流的同步的應用，還可結合任何分組數據傳送協議應用。此外，應當理解的是，本發明的實施例可以結合多點視頻會議情況應用。
已經為示意和說明目的提供了前述的對本發明的討論。此外，本說明書不是意欲將本發明局限于在此公開的形式。因此，在相關技術能力或知識之內的與以上教導相配的變化和修改都在本發明的范圍內。以上描述的實施例旨在進一步解釋目前了解的實踐本發明的最佳模式，并使本領域的技術人員使用這些或其它實施例中的本發明，并具有本發明的特殊應用或用途所要求的各種修改。應當認識到的是，所附權利要求書包括現有技術允許范圍的可選實施例。
權利要求
1.一種用于同步分組數據流的方法，包括生成第一同步分組，其中所述第一同步分組具有包含同步標志的有效負荷；將所述第一同步分組插入到第一數據流中；生成第二同步分組，其中所述第二同步分組具有包含同步標志的有效負荷，并且其中所述第二同步分組對應于所述第一同步分組；將所述第二同步分組插入到第二數據流中，其中所述第一和第二數據流彼此相關。
2.根據權利要求1的方法，其中所述生成第一和第二同步分組并將所述第一和第二同步分組分別插入到第一和第二數據流中是在第一網絡實體處執行的，所述方法進一步包括在第二網絡實體處接收所述第一和第二數據流；在所述第一數據流中檢測所述第一同步分組；在所述第二數據流中檢測所述第二同步分組；確定所述第一和第二同步分組相互對應；將包含在所述第一同步分組附近的所述第一數據流中的分組與包含在所述第二同步分組附近的所述第二數據流中的分組對準。
3.根據權利要求1的方法，其中所述第一數據流包括多個包含音頻信息的數據分組，并且其中所述第二數據流包括多個包含視頻信息的數據分組。
4.根據權利要求1的方法，其中同步分組被周期性地插入到所述第一數據流中，并且其中同步分組被周期性地插入到所述第二數據流中。
5.根據權利要求1的方法，其中所述第一和第二同步分組的有效負荷包括基準值。
6.根據權利要求1的方法，其中所述同步標志具有良好的相關特性。
7.根據權利要求1的方法，其中所述生成第一和第二同步分組并將所述第一和第二同步分組分別插入到第一和第二數據流中是在第一網絡實體處執行的，所述方法進一步包括在第二網絡實體中生成第三同步分組，其中所述第三同步分組具有包含同步標志的有效負荷；將所述第三同步分組插入到第三數據流中；生成第四同步分組，其中所述第四同步分組具有包含同步標志的有效負荷；并且其中所述第四同步分組對應于所述第三同步分組；將所述第四同步分組插入到第四數據流中；在第三網絡實體中接收所述第一、第二、第三和第四數據流；在所述第一數據流中檢測所述第一同步分組；在所述第二數據流中檢測所述第二同步分組；確定所述第一和第二同步分組相互對應；將包含在所述第一同步分組附近的所述第一數據流中的分組與包含在所述第二同步分組附近的所述第二數據流中的分組對準；在所述第三數據流中檢測所述第三同步分組；在所述第四數據流中檢測所述第四同步分組；確定所述第三和第四同步分組相互對應；將包含在所述第三同步分組附近的所述第三數據流中的分組與包含在所述第四同步分組附近的所述第四數據流中的分組對準。
8.根據權利要求2的方法，其中如果數據流中的數據分組是下列之一在所述同步分組和前一同步分組之間；在所述同步分組和下一同步分組之間；以及在所述同步分組的預定數量的分組之內，則所述數據流中的數據分組在所述數據流中的同步分組的附近。
9.一種用于同步相關音頻和視頻數據流的系統，包括用于生成同步標志的裝置；用于將音頻流數據編碼到第一數據分組流中的裝置；用于將視頻流數據編碼到第二數據分組流中的裝置；用于添加第一同步分組到所述第一數據分組流中，并且用于添加第二同步分組到所述第二數據分組流中的裝置，其中所述第一和第二同步分組相互對應，且其中在以毫秒為單位的預定閾值內，所述第一同步分組被添加到所述第一數據流中，所述第二同步分組被添加到所述第二數據流中。
10.根據權利要求9的系統，進一步包括用于緩存所述第一數據分組流和所述第二數據流分組流的裝置；用于檢測所述第一數據分組流中的第一同步分組以及用于檢測所述第二數據分組流中的第二同步分組的裝置；用于響應于所述檢測所述第一和第二同步分組，將所述第一數據分組流與所述第二數據分組流對準的裝置；用于提供來自包含在所述對準后的第一和第二數據分組流中的數據的輸出，作為對準后的音頻流數據和視頻流數據的裝置。
全文摘要
本發明提供了相關分組數據網絡流的同步。同步是通過將同步分組插入到數據流中來實現的，在通過網絡發送這些數據流之后，這些數據流要相互對準。具體的說，對應的同步分組在同一時間被插入到對應的數據流中，以用作執行在接收端的數據同步的標記。對應的數據流可包括音頻數據流和對應的視頻數據流。
文檔編號H04L7/00GK1941916SQ20061015182
公開日2007年4月4日 申請日期2006年9月13日 優先權日2005年9月28日
發明者契利安·阿布拉哈姆, 蒂莫西·C·迪蘭尼, 內維·因格利斯, 卡倫·菲蘭, 陸克·A·塔克爾 申請人:阿瓦雅技術公司