一種異構網絡下的多媒體時鐘協調同步方法
【專利摘要】本發明提供了一種異構網絡下的多媒體時鐘協調同步方法，該方法針對現有多媒體系統和協議缺乏多時鐘兼容的機制，造成異構融合網絡中無法精確整合不同網絡中內容和服務的問題，采用數據封裝模塊、數據發送模塊、數據接收模塊、數據解析與呈現模塊，通過增加多媒體時鐘協調同步機制實現異構網絡下兼容多種網絡時鐘同步機制，采用統一的封裝格式多媒體數據，提供不同時鐘的對應關系的信令表，既利于整合多種網絡資源，提高異構融合網絡下多媒體服務的豐富性和穩定性，也便于多媒體內容的統一管理，減少因時鐘同步機制不同而造成的數據重復封裝和處理的時間和資源浪費，給用戶帶來更好的服務體驗。
【專利說明】
一種異構網絡下的多媒體時鐘協調同步方法
技術領域
[0001 ] 本發明涉及一種在異構網絡中實現多媒體時鐘協調同步的機制，更具體的說，涉 及一種在雙向網與單向網組成的混合、異構網絡中實現全網的多媒體時鐘協調與同步的機 制。
【背景技術】
[0002] 隨著數字多媒體技術的成熟和普遍應用，尤其是高清晰度、高分辨率數字視頻業 務的廣泛深入發展，用戶體驗到了更好的數字媒體服務的同時，也對數字媒體業務提出了 更高的要求。由于數字媒體技術的廣泛應用，多媒體節目中流間同步和流內同步問題也日 益凸顯。更為重要的是，在現有的以廣播電視網絡為代表的單向網與以寬帶網絡為代表的 雙向網中，采用了不同的多媒體時間同步機制和協議，造成兩種網絡多媒體服務不兼容，使 用戶不能享受到異構融合網絡業務帶來的優勢和便利。
[0003] 當前大多數多媒體協議都定義了各自的一套完整的時間同步機制，能夠在可接受 范圍內比較成功地解決協議內多媒體系統時鐘同步問題，如數字電視領域常用的MPEG2-TS 協議采用27M系統時鐘STC(System Time Clock)結合媒體流中PCR(Program Clock Reference)與PTS(Presentation Time Stamp)信息進行多媒體業務的時鐘同步；寬帶網 絡中常見的HTTP、RTP協議中采用協調世界時UTC(Coordinated Universal Time)結合統 一的網絡時間協議NTP(Network Time Protocol)時戳完成多媒體業務的時鐘同步。雖然如 此，考慮到大眾用戶不關心多媒體業務的具體技術，只關注服務質量和效果，所以在實際情 況中用戶往往處于異構混合網絡中，并且希望享受到無差別、穩定的多媒體服務。問題在于 不同網絡系統，或者說不同協議中時鐘同步機制的不兼容性，造成用戶同一時間只能享受 某一種業務，而無法享受異構混合網絡帶來的更廣泛的媒體業務和更高質量的媒體服務。 多網融合已經成為趨勢，不同網絡具有各自優勢、相輔相成，異構融合網絡本應為用戶提供 更好的服務，然而不同的時鐘同步機制使得這一目標難以實現，多媒體系統難以精確匹配、 整合不同網絡中的內容和服務。
[0004] 另一方面，數字媒體資源的豐富性滿足了用戶日益增長的媒體消費需求，媒體資 源之間的內容關聯也為媒體資源的整合提供了基礎。如今多媒體服務已經不再受物理網絡 的限制，在不同網絡中都可以享受到比較高質量的多媒體業務，但是相應產生了另一個問 題，相同的數據內容在不同網絡不同協議中需要封裝成不同的媒體格式，不僅增加了額外 的工作量，并且不同的媒體格式由于時鐘信息相互不兼容造成用戶必須依賴物理條件才能 獲取多媒體服務，不符合數字媒體消費隨時、隨地、任何終端、任何內容的趨勢。
[0005] 更好的方法是，多媒體數據采用統一的封裝格式，該封裝格式能夠兼容現有多種 時鐘信息，同時異構網絡的多媒體系統中應該兼容雙向網與單向網的時間同步機制，媒體 發送端都使用基于IP (Internet Protocol)的傳輸協議發送數據、標定時戳，同時提供不同 時鐘的對應關系的信令表，客戶端能夠根據需要調整所采用的時鐘協議和機制。例如，在寬 帶網絡斷開時，用戶無法使用NTP協議完成時鐘同步，但是仍然可以借助其他時鐘同步協 議使用廣播網絡觀看電視節目。其困難在于：現有多媒體系統一般都是對應于某種特定網 絡，需要設計合理的異構混合網絡下的多媒體系統，用以兼容不同網絡特性；現有成熟協議 都沒有考慮異構網絡的需求，需要按照兼容不同時鐘機制的要求重新設計媒體封裝格式和 傳輸協議。
【發明內容】
[0006] 針對現有技術中的缺陷，本發明的目的是提供一種異構網絡下的多媒體時鐘協調 同步方法，從而增加了現有多媒體系統和協議缺乏的多時鐘關聯機制，解決了現有多媒體 系統和協議由于同步時鐘不兼容而無法提供異構融合網絡關聯服務的問題，并且為新一代 基于IP的異構網絡提供了時鐘同步解決方案。
[0007] 為實現上述目的，本發明采用以下技術方案：
[0008] -種異構網絡下的多媒體時鐘協調同步方法，所述方法采用四個模塊處理：數據 封裝模塊、數據發送模塊、數據接收模塊、數據解析與呈現模塊，其中：
[0009] 所述數據封裝模塊，該模塊將原始的多媒體數據進行統一的格式封裝成為MPU數 據，MPU數據包含幀級別時間戳信息，將所有媒體相關的信息封裝于文件中，包括多媒體 封裝文件和信令文件，為數據解析與呈現模塊提供必要信息，特別是標準的兼容時間戳信 息；
[0010] 所述數據發送模塊，該模塊發送的數據包含時鐘相關描述信令、標記時間戳的媒 體數據，數據包字段格式與數據封裝模塊的數據格式相對應，保證數據封裝模塊生成的文 件必要信息能夠正確傳送到客戶端，同時為數據接收與恢復模塊解包與數據恢復操作提供 標準格式；
[0011] 所述數據接收與恢復模塊，該模塊接收、恢復媒體數據與信令信息，校準接收端本 地時鐘，將數據封裝模塊與發送模塊提供的各種媒體信息在本地進行正確恢復，指導數據 解析與呈現模塊實現正確地輸出與呈現；
[0012] 所述數據解析與呈現模塊，該模塊解析信令表時鐘相關信息，引導解碼器正確解 碼與瀏覽器呈現，通過數據發送模塊和數據接收與恢復模塊，該模塊將數據封裝模塊包含 的文件內容以及相關信令控制由接收端完整正確呈現，將本系統的優勢直觀地展現給用 戶。
[0013] 優選的，所述數據封裝模塊，其中：MPU格式基于ISOBMFF(ISO Base Media File Format)，在此基礎上增加新的盒子類型，同時分為時序數據和非時序數據，對所有的原始 數據類型進行統一格式的封裝，其中時序數據主要封裝音視頻源數據，除了媒體軌道外添 加新的提示軌道，并在提示軌道樣本中提供媒體內容的PTS時鐘信息，而非時序數據的編 碼和呈現與時鐘不相關，所以不需要設置PTS時鐘信息；PTS時鐘信息由編碼器時鐘源計算 得到，這樣在媒體數據封裝成MPU格式時已經在數據幀級別對應PTS時鐘信息。
[0014] 優選的，所述數據發送模塊，其中MMT的傳輸協議部分各字段都與統一媒體封裝 格式MPU的時序數據字段相一致，達到多媒體數據存儲與傳輸的一致性和快速轉換，傳送 多媒體數據的同時，NTP服務也在進行，接收端本地時鐘被進行周期性校正，能夠防止誤差 時間的累積效應，保證多媒體服務的質量。
[0015] 優選的，所述數據發送模塊，在接收端不滿足NTP服務運行的條件時，利用MMT協 議中的CRI信令表，提供NTP與PCR的對應關系，接收端通過接受流中的NTP時戳依據此表 換算出PCR信息，從而校正本地的時鐘，達到時鐘同步與多媒體同步，CRI信令表周期性更 新，保證全網絡時鐘的精確同步。
[0016] 優選的，所述數據接收與恢復模塊，用得到的媒體流中的ΝΤΡ時鐘或者時鐘時間 戳用來校正接收端的時鐘，使全網的時間同步，同時，媒體數據中的幀級別呈現時間戳引導 解碼器進行正確地解碼。
[0017] 優選的，所述數據解析與呈現模塊，在處于斷網狀態時，按照STC機制進行時鐘同 步：解析CRI信令表得到PCR信息，校正本地的系統時鐘，同時利用媒體數據中的幀級別 PTS信息知道解碼器解碼；若處于聯網狀態，則忽略數據中的PCR與PTS信息，采用ΝΤΡ協 議進行時鐘同步：接收端利用ΝΤΡ服務定期校正本地時鐘，利用媒體流中的時間線管理機 制引導解碼器解碼。
[0018] 與現有技術相比，本發明具有如下的有益效果：
[0019] 采用本發明的技術方案，可以針對現有多媒體系統和協議缺乏多時鐘兼容的機 制，造成異構融合網絡中無法精確整合不同網絡中內容和服務的問題，通過增加多媒體時 鐘協調同步機制實現異構網絡下兼容多種網絡時鐘同步機制，采用統一的封裝格式多媒體 數據，提供不同時鐘的對應關系的信令表，既利于整合多種網絡資源，提高異構融合網絡下 多媒體服務的豐富性和穩定性，也便于多媒體內容的統一管理，減少因時鐘同步機制不同 而造成的數據重復封裝和處理的時間和資源浪費，給用戶帶來更好的服務體驗。
【附圖說明】
[0020] 通過閱讀參照以下附圖對非限制性實施例所作的詳細描述，本發明的其它特征、 目的和優點將會變得更明顯：
[0021] 圖1是多媒體系統中時鐘協調同步示意圖；
[0022] 圖 2 是通用 MPU (Media Processing Unit)封裝格式；
[0023] 圖3是接收端時鐘同步流程圖；
[0024] 圖4為與統一媒體封裝格式MPU的時序數據字段相一致修改示意圖。
【具體實施方式】
[0025] 下面結合具體實施例對本發明進行詳細說明。以下實施例將有助于本領域的技術 人員進一步理解本發明，但不以任何形式限制本發明。應當指出的是，對本領域的普通技術 人員來說，在不脫離本發明構思的前提下，還可以做出若干變形和改進。這些都屬于本發明 的保護范圍。
[0026] 如今，網絡融合已經成為趨勢，利用全網的資源進行優勢整合，其中需要解決的關 鍵性問題在于設計全網的時鐘協調同步機制。考慮到對現有網絡的兼容性，該全網時鐘機 制應該能夠兼容現有的時鐘協議和機制。
[0027] 現有主流的時鐘系統和協議主要有兩個，一個是廣播電視系統中使用的MPEG2-TS 標準，其中的時鐘同步部分使用了 STC/PCR/PTS機制，采用流內傳輸定期校正方式；另一個 是互聯網系統中使用的NTP(Network Time Protocol)協議，采用流外傳輸定期校正的方 式。所以異構網絡下的多媒體時鐘同步機制應兼容以上兩種時鐘協議，并且兩種時鐘應在 全局相互映射，根據實際需求和條件確定真正使用的時鐘協議。
[0028] 下面以MMT (MPEG Media Transport)標準為例，介紹異構網絡下的多媒體時鐘協 調同步機制。當然，此機制不限于MMT標準，也可以應用于其他標準和方案。MMT全稱為MPEG 多媒體傳輸協議，由國際標準組MPEG制定，能夠將媒體進行統一封裝，允許媒體數據在雙 向網和單向網上傳輸，并且針對新興的媒體應用場景重新定義了傳輸方法和呈現機制。
[0029] 在多媒體系統的不同環節都需要對現有系統和協議進行修改，下面以一套基本的 多媒體系統為例，如圖1所示，分為數據封裝、數據發送、數據接收、數據解析與呈現模塊4 個模塊對時鐘協調同步機制分別進行描述。
[0030] 數據封裝：
[0031] 生成統一的MPU (Media Processing Unit)文件，包含幀級別時間戳信息
[0032] 經過編碼器，生成原始的音頻、視頻流，進行統一的格式封裝成為MPU數據。MPU 格式基于IS0BMFF(IS0 Base Media File Format)，在此基礎上增加新的盒子類型，同時 分為時序數據和非時序數據，對所有的原始數據類型進行統一格式的封裝，如圖2所示。 其中時序數據主要封裝音視頻源數據，除了媒體軌道外添加新的提示軌道，并在提示軌道 樣本中提供媒體內容的PTS時鐘信息，而非時序數據的編碼和呈現與時鐘不相關，所以不 需要設置PTS信息。PTS時鐘信息由編碼器27M時鐘源計算得到，這樣在媒體數據封裝成 MPU格式時已經在數據幀級別對應PTS時鐘信息。PTS信息在MPU文件位置圖2所示，具體 MMTHSample的設計如下：
[0033]
[0034] 新增加的字段語義如下，其他字段語義參考IS0/IEC 23008-1 :
[0035] PTS(presentation_time_stamp)-此33比特字段為所引用訪問單元的呈現時間 戳。
[0036] PTS字段的編碼語義描述參考IS0/IEC 13818-1。
[0037] reserved -保留位。
[0038] 數據發送：
[0039] 包含時鐘相關描述信令的發送以及標記時戳的媒體數據的發送
[0040] 由于IP協議的廣泛應用，未來的異構融合網絡應該也是基于IP協議的，無論何種 應用層協議傳輸多媒體數據時都會為數據包打上當前的時間戳，接收端可以根據該時間戳 與本地時鐘對比完成時序多媒體的準確呈現。而當前應用層協議一般都固定一種時鐘協 議，其中MMT的傳輸協議部分也只考慮了 NTP時戳的標記，在異構網絡的時序多媒體應用 中，必須要考慮不滿足與NTP時鐘源通信條件時多媒體系統的同步機制，并且要兼容多種 網絡時鐘協議，需要修改此部分內容，在原有時序數據MFU的包頭之后添加33位的PTS字 段，記錄該幀數據的呈現時間戳，和7位保留字段，為未來擴展預留，如圖4所示。圖4各字 段都與統一媒體封裝格式MPU的時序數據字段相一致，可以達到多媒體數據存儲與傳輸的 一致性和快速轉換。傳送多媒體數據的同時，NTP服務也在進行，接收端本地時鐘被進行周 期性校正，能夠防止誤差時間的累積效應，保證多媒體服務的質量。
[0041] 若接收端不滿足NTP服務運行的條件，上述機制將不能解決時鐘同步與多媒體同 步的問題。此時可以利用MMT協議中的CRI信令表，提供NTP與PCR的對應關系，接收端可 以通過接受流中的NTP時戳依據此表換算出PCR信息，從而校正本地的27M時鐘，達到時鐘 同步與多媒體同步。CRI信令表周期性更新，保證全網絡時鐘的精確同步。MMT中NTP與 PCR對應關系如下表，STC_sample對應PCR值，NTP_timestamp_sample對應NTP值，具體詳 見 IS0/IEC 23008-1。
[00421
[0043] 數據接收與恢復：
[0044] 接收、恢復媒體數據與信令信息，校準接收端本地時鐘
[0045] 無論接收端采取主動獲取或者被動接收數據，都應正確恢復出媒體數據和信令信 息。得到的媒體流中的NTP時鐘或者27M系統時鐘時間戳用來校正接收端的時鐘，使全網 的時間同步。同時，媒體數據中的幀級別呈現時間戳引導解碼器進行正確地解碼。
[0046] 數據解析與呈現：
[0047] 解析信令表時鐘相關信息，引導解碼器正確解碼與瀏覽器呈現
[0048] 由于客戶端有很多表現形式，多媒體系統中以瀏覽器為例，說明數據解析和呈 現模塊時鐘協調同步機制的處理過程，同理可以應用至專用軟件客戶端、專用播放器等 等。接收端首先通過終端聯網檢測模塊，確認本地的聯網狀態，同時將接口參數和結果反 饋給瀏覽器內部。瀏覽器判斷本地是否聯網，若聯網，則保持與NTP服務器周期性通信， 以校正本地UTC時鐘，同時不斷接收和讀取MMTP流，忽略數據中的PCR與PTS信息，利用 Cl (Composition Information)和MPU中的NTP時間，指導解碼器正確解碼及瀏覽器正確呈 現；若不聯網，則首先讀取發送端周期性發送的CRI信令表，通過其中STC_sample字段得到 服務器端正確的UTC時間，校準本地的系統時鐘，同時也不斷接收和讀取MMTP流，得到MPU 數據和元數據信息，其中元數據MFU頭中包含數據幀的PTS信息，然后以本地系統時鐘為基 準，參照PTS時間信息指導播放器正確解碼，及瀏覽器正確呈現，具體流程圖見圖3。MMT中 除了 CRI信令表還有幾種其他類型的信令表如Cl (Composition Information)，通過CRI的 時鐘對應關系描述，接收端可以獲得全網的同步，從而更好地利用各種信令控制瀏覽器的 渲染和呈現，為用戶帶來全新的體驗。
[0049] 本發明既利于整合多種網絡資源，提高異構融合網絡下多媒體服務的豐富性和穩 定性，也便于多媒體內容的統一管理，減少因時鐘同步機制不同而造成的數據重復封裝和 處理的時間和資源浪費，給用戶帶來更好的服務體驗。
[0050] 以上對本發明的具體實施例進行了描述。需要理解的是，本發明并不局限于上述 特定實施方式，本領域技術人員可以在權利要求的范圍內做出各種變形或修改，這并不影 響本發明的實質內容。
【主權項】
1. 一種異構網絡下的多媒體時鐘協調同步方法，其特征在于，所述方法采用四個模塊 處理：數據封裝模塊、數據發送模塊、數據接收模塊、數據解析與呈現模塊，其中： 所述數據封裝模塊，該模塊將原始的多媒體數據進行統一的格式封裝成為MPU數據， MHJ數據包含幀級別時間戳信息，將所有媒體相關的信息封裝于文件中，包括多媒體封裝文 件和信令文件，為數據解析與呈現模塊提供必要信息，特別是標準的兼容時間戳信息； 所述數據發送模塊，該模塊發送的數據包含時鐘相關描述信令、標記時間戳的媒體數 據，其中數據包字段格式與數據封裝模塊的數據格式相對應，保證數據封裝模塊生成的文 件必要信息能夠正確傳送到客戶端，同時為數據接收與恢復模塊解包與數據恢復操作提供 標準格式； 所述數據接收與恢復模塊，該模塊接收、恢復媒體數據與信令信息，校準接收端本地時 鐘，將數據封裝模塊與發送模塊提供的各種媒體信息在本地進行正確恢復，指導數據解析 與呈現模塊實現正確地輸出與呈現； 所述數據解析與呈現模塊，該模塊解析信令表時鐘相關信息，引導解碼器正確解碼與 瀏覽器呈現，通過數據發送模塊和數據接收與恢復模塊，該模塊將數據封裝模塊包含的文 件內容以及相關信令控制由接收端完整正確呈現，將本系統的優勢直觀地展現給用戶。2. 根據權利要求1所述的一種異構網絡下的多媒體時鐘協調同步方法，其特征在于， 所述數據封裝模塊，其中：MPU格式基于ISOBMFF，在此基礎上增加新的盒子類型，同時分為 時序數據和非時序數據，對所有的原始數據類型進行統一格式的封裝，其中時序數據主要 封裝音視頻源數據，除了媒體軌道外添加新的提示軌道，并在提示軌道樣本中提供媒體內 容的PTS時鐘信息，而非時序數據的編碼和呈現與時鐘不相關，所以不需要設置PTS時鐘信 息；PTS時鐘信息由編碼器時鐘源計算得到，這樣在媒體數據封裝成MPU格式時已經在數據 幀級別對應PTS時鐘信息。3. 根據權利要求1所述的一種異構網絡下的多媒體時鐘協調同步方法，其特征在于， 所述數據發送模塊，其中MMT的傳輸協議部分各字段都與統一媒體封裝格式MPU的時序數 據字段相一致，達到多媒體數據存儲與傳輸的一致性和快速轉換，傳送多媒體數據的同時， NTP服務也在進行，接收端本地時鐘被進行周期性校正，能夠防止誤差時間的累積效應。4. 根據權利要求1所述的一種異構網絡下的多媒體時鐘協調同步方法，其特征在于， 所述數據發送模塊，在接收端不滿足NTP服務運行的條件時，利用MMT協議中的CRI信令 表，提供NTP與PCR的對應關系，接收端通過接受流中的NTP時戳依據此表換算出PCR信息， 從而校正本地的時鐘，達到時鐘同步與多媒體同步，CRI信令表周期性更新，保證全網絡時 鐘的精確同步。5. 根據權利要求1-4任一項所述的一種異構網絡下的多媒體時鐘協調同步方法，其特 征在于，所述數據接收與恢復模塊，用得到的媒體流中的NTP時鐘或者時鐘時間戳用來校 正接收端的時鐘，使全網的時間同步，同時，媒體數據中的幀級別呈現時間戳引導解碼器進 行正確地解碼。6. 根據權利要求1-4任一項所述的一種異構網絡下的多媒體時鐘協調同步方法，其特 征在于，所述數據解析與呈現模塊，在處于斷網狀態時，按照STC機制進行時鐘同步：解析 CRI信令表得到PCR信息，校正本地的系統時鐘，同時利用媒體數據中的幀級別PTS信息知 道解碼器解碼；若處于聯網狀態，則忽略數據中的PCR與PTS信息，采用NTP協議進行時鐘 同步：接收端利用NTP服務定期校正本地時鐘，利用媒體流中的時間線管理機制引導解碼 器解碼。
【文檔編號】H04L29/06GK105991586SQ201510080558
【公開日】2016年10月5日
【申請日】2015年2月13日
【發明人】張文軍, 徐異凌, 孫軍, 管云峰, 張小云, 柳寧, 陳浩
【申請人】上海交通大學