自適應流媒體處理方法及裝置的制造方法

自適應流媒體處理方法及裝置的制造方法
【專利摘要】本發明提供了一種自適應流媒體處理方法及裝置，其中，該方法包括：獲取媒體片段中攜帶的媒體呈現MP時間軸對齊事件消息；根據該MP時間軸對齊事件消息確定對齊的媒體片段，其中，該對齊的媒體片段是該MP時間軸中媒體呈現時間MPT與外部時間軸對齊的媒體片段；計算在MP時間軸與外部時間軸建立映射關系之后，MP時間軸對齊事件中的媒體片段在媒體呈現時間上歷經的時間。本發明解決了相關技術中為廣播網絡和寬帶網絡混合媒體傳輸采用單一參考時鐘所導致的問題，使得混合傳輸模式下的媒體同步處理更加高效。
【專利說明】
自適應流媒體處理方法及裝置
技術領域
[0001] 本發明涉及通信領域，具體而言，涉及一種自適應流媒體處理方法及裝置。
【背景技術】
[0002] 用戶通過電視、臺式機、平板電腦、手機等固定移動通信終端訪問業務提供商和/ 或內容提供商開發部署的通信服務，該訪問是通過借助于定制化的通信客戶端能力，在用 戶終端與業務服務器（內容服務器）之間建立通信鏈路來實施完成的，上述通信鏈路通 常由諸如各種類型數字用戶線路（X Digital Subscriber Line，簡稱為xDSL)、光纖接入 (Fiber-to-the-x，簡稱為FTTx)、有線電視電纜Cable等有線通信網絡，以及Wi-Fi、2G、3G、 長期演進（Long Term Evolution，簡稱為LTE)等無線通信網絡建立。
[0003] 數字視頻廣播（Digital Video Broadcasting，簡稱為DVB)是世界主流數字電 視標準之一，在MPEG-2音視頻數據壓縮算法和復用技術的基礎上，DVB標準提供了一套完 整的、適用于不同媒介的數字電視系統的規范，定義了有線（DVB-C)、衛星（DVB-S)和地面 (DVB-T)三種供媒體數據流傳輸用的信道編碼和調制方式，同時擴展了 MPEG-2標準的系統 層，豐富了網絡接口。
[0004] DASH (Dynamic Adaptive Streaming over HTTP)是一種自適應比特率流媒體技 術，利用互聯網上傳統的HTTP Web服務器提供高品質的流媒體內容。DASH將一段視頻切分 成許多小的HTTP服務器上的文件分塊，每個文件分塊包含一個較短播放時間的視頻內容。 這些小的視頻分塊可能是數個小時的電影（點播）或體育賽事的現場直播視頻內容的一部 分。視頻可能被編成多個碼率的視頻片段，以覆蓋不同網絡帶寬需求。
[0005] 在上述通信服務發展過程中，終端能力和網絡環境不斷提升，而用戶對業務體驗 的需求也在提高，以自適應流媒體為代表的OTT技術具備隨時隨地消費視頻的靈活性，而 IPTV、數字電視、衛星電視等傳統廣播技術具有大屏幕的高清晰度和質量保證。因此，將OTT 技術與數字電視等廣播技術相互融合，才能提供適合多種場景的綜合方案。典型地，如第二 屏（Second Screen)應用目前廣受關注，用戶利用智能手機、平板電腦等"TV buddies"，消 費與TV屏廣播節目相關聯的個性化媒體信息。其間，業務運營商利用廣播網絡（譬如DVB-C 數字電視網絡）為廣大用戶傳輸傳統電視節目，同時借助互聯網寬帶網絡（0ΤΤ模式）為特 定用戶群體額外遞送具有長尾效應的互聯網點播內容。這種混合遞送（Hybrid Delivery) 模式能夠節約網絡投資成本，綜合廣播網絡和寬帶網絡技術優勢，從而為用戶提供內容豐 富、個性化的業務體驗。
[0006] 上述混合遞送模式具有內容來源獨立、傳輸網絡異構，以及差異化的播放終端等 顯著特征。其中，能否建立廣播節目或者主要媒體內容（Primary Media)與寬帶節目或者輔 助媒體內容（Ancillary Media)之間時間關聯，即，能否保證不同內容來源、不同傳輸格式、 以及不同播放終端的媒體內容之間的同步播放，已成為此類應用能否被用戶接受的關鍵。
[0007] 音視頻特征識別技術及其應用是當前解決上述混合遞送模式下媒體內容同步問 題的一個研究方向，它利用音視頻媒體內容自身的數字特征作為媒體間時間同步參考。其 中，包括：1)數字水印技術。采集電視節目中音頻信號的數字水印，利用數字水印中節目頻 道標識符和時間戳信息，可以檢測正在播放節目的時間進度，從而獲取適當的輔助媒體內 容與之同步播放；2)數字指紋技術。從音視頻樣本中提取數字指紋信息，利用指紋檢索數 據庫，獲取媒體同步信息。
[0008] 然而，數字水印和數字指紋屬于計算密集型技術實現，都依賴于第二屏終端捕獲 音視頻樣本質量和特征提取算法性能；同時，此類技術受環境噪音和終端能力影響較大，適 用場景存在一定的局限性。
[0009] 針對混合遞送模式下媒體同步播放問題的另一個研究方向是為廣播網絡和寬帶 網絡媒體遞送采用單一的參考時鐘。其中一個方法是將傳輸流，例如，MPEG-2TS碼流，中 攜帶的PCR/PTS (節目參考時鐘/顯示時間戳）時鐘信息同時也包含在諸如實時傳輸協議 (Real-time Transport Protocol，簡稱為 RTP)的互網絡協議（Internet Protocol，簡稱 為IP)報文中傳輸。該方案的主要缺陷是傳輸流中的PCR時鐘信息在解復用時可能被改變 (但是，寬帶運營商無法獲知這一點），從而無法維護時鐘的延續性。
[0010] 針對上述廣播網絡和寬帶網絡中混合遞送模式下的媒體同步播放問題，需要研究 一種改進的信令機制。

【發明內容】

[0011] 本發明提供了一種自適應流媒體處理方法及裝置，以至少解決相關技術中廣播網 絡和寬帶網絡混合遞送模式下的媒體同步播放問題。
[0012] 根據本發明的一個方面，提供了一種自適應流媒體處理方法，包括：獲取媒體片段 中攜帶的媒體呈現MP時間軸對齊事件消息；根據所述MP時間軸對齊事件消息確定對齊的 媒體片段，其中，所述對齊的媒體片段是所述MP時間軸中媒體呈現時間MPT與外部時間軸 進行對齊的媒體片段；計算在所述MP時間軸與所述外部時間軸建立映射關系之后，所述MP 時間軸對齊事件中的媒體片段在媒體呈現時間上歷經的時間。
[0013] 進一步地，獲取媒體片段中攜帶的媒體呈現MP時間軸對齊事件消息，包括：訪問 媒體呈現描述MPD中帶內事件流InbandEventStream元素；獲取對應于所述帶內事件流 InbandEventStream元素的媒體片段中攜帶的MP時間軸對齊事件消息。
[0014] 進一步地，所述InbandEventStream元素包括：事件流方案標識schemeldUri屬性 和事件流值value屬性，用于指示MP時間軸對齊事件。
[0015] 進一步地，所述MP時間軸對齊事件消息包括以下至少之一：呈現時間增量 presentation_time_delta字段，用于提供MP時間軸對齊事件的時間；事件持續時間 event_duration字段，用于表示媒體呈現剩余時間段；消息數據message_data字段，用于 提供所述對齊的媒體片段相對于所在時段Period時段開始時間的呈現時間T p。
[0016] 進一步地，所述MP時間軸對齊事件消息還包括：事件消息方案標識scheme_id_ uri字段以及事件值value字段；所述事件消息方案標識scheme_id_uri字段值等于所述 事件流方案標識schemeldUri屬性值，并且所述事件值value字段值等于所述事件流值 value屬性值。
[0017] 進一步地，根據所述MP時間軸對齊事件消息確定對齊的媒體片段，包括：確定所 述MP時間軸對齊事件消息中presentation_time_delta字段值為預定值的媒體片段作為 所述對齊的媒體片段。
[0018] 進一步地，所述方法還包括：基于所述MP時間軸對齊事件消息中的message_data 字段中呈現時間Tp以及所述對齊的媒體片段所在表示R印resentation的呈現時間偏移T。 屬性值，計算所述對齊的媒體片段的MPT，即T m= T P-T。。
[0019] 進一步地，計算所述媒體片段在媒體呈現時間上歷經的時間，包括：確定所述MP 時間軸對齊事件消息中具有相同標識id字段值的媒體片段為所述MP時間軸對齊事件中的 媒體片段；根據所述MP時間軸對齊事件消息中呈現時間增量pr e sentat i on_t ime_de I ta字 段值，和時間標度timescale字段值，計算所述MP時間軸對齊事件中的媒體片段在媒體呈 現時間上歷經的時間。
[0020] 進一步地，根據所述MP時間軸對齊事件消息中呈現時間增量presentation# time_delta字段值，和時間標度timescale字段值，計算所述MP時間軸對齊事件中的媒 體片段在媒體呈現時間上歷經的時間，包括：根據以下公式計算所述MP時間軸對齊事件中 的媒體片段在媒體呈現時間上歷經的時間：MPT = MPTQ+emsg.presentation_time_delta/ emsg. timescale，其中，MPT。與MPT分別代表所述MP時間軸對齊事件中的對齊媒體片段以 及后續媒體片段的媒體呈現時間；emsg. presentation_time_delta與emsg. timescale分 別代表所述MP時間軸對齊事件消息中的媒體呈現時間增量值及時間標度值。
[0021] 進一步地，在獲取媒體片段中攜帶的媒體呈現MP時間軸對齊事件消息之前，所述 方法還包括：獲取攜帶有所述MP時間軸對齊事件消息的所述媒體片段。
[0022] 進一步地，獲取攜帶有所述MP時間軸對齊事件消息的所述媒體片段包括：獲取事 件流方案標識字段以及事件流值字段；使用所述事件流方案標識字段值以及事件流值字段 值，確定媒體呈現描述MPD中的帶內事件流InbandEventStream元素；獲取對應于所述帶內 事件流InbandEventStream元素的媒體片段作為所述媒體片段。
[0023] 進一步地，所述外部時間軸包括傳輸流時間軸。
[0024] 根據本發明的另一方面，提供了一種自適應流媒體處理裝置，包括：第一獲取模 塊，用于獲取媒體片段中攜帶的媒體呈現MP時間軸對齊事件消息；確定模塊，用于根據所 述MP時間軸對齊事件消息確定對齊的媒體片段，其中，所述對齊的媒體片段是所述MP時間 軸中媒體呈現時間MPT與外部時間軸進行對齊的媒體片段；計算模塊，用于計算在所述MP 時間軸與所述外部時間軸建立映射關系之后，所述MP時間軸對齊事件中的媒體片段在媒 體呈現時間上歷經的時間。
[0025] 進一步地，所述第一獲取模塊包括：訪問單元，用于訪問媒體呈現描述MPD中 帶內事件流InbandEventStream元素；第一獲取單元，用于獲取對應于所述帶內事件流 InbandEventStream元素的媒體片段中攜帶的媒體呈現MP時間軸對齊事件消息。
[0026] 進一步地，所述InbandEventStream元素包括：事件流方案標識schemeldUri屬性 和事件流值value屬性，用于指示MP時間軸對齊事件。
[0027] 進一步地，所述MP事件軸對齊事件消息包括以下至少之一：呈現時間增量 presentation_time_delta字段，用于提供MP時間軸對齊事件的時間；事件持續時間 event_duration字段，用于表示媒體呈現剩余時間段；消息數據message_data字段，用于 提供所述對齊的媒體片段相對于所在時段Period時段開始時間的呈現時間T p。
[0028] 進一步地，所述MP時間軸對齊事件消息還包括：事件消息方案標識scheme_id_ uri字段以及事件值value字段；所述事件消息方案標識scheme_id_uri字段值等于所述 事件流方案標識schemeldUri屬性值，并且所述事件值value字段值等于所述事件流值 value屬性值。
[0029] 進一步地，所述確定模塊包括：第一確定單元，用于確定所述MP時間軸對齊事件 消息中presentation_time_delta字段值為預定值的媒體片段作為所述對齊的媒體片段。
[0030] 進一步地，所述裝置還包括：基于所述MP時間軸對齊事件消息中的message_data 字段中呈現時間Tp以及所述對齊的媒體片段所在表示R印resentation的呈現時間偏移T。 屬性值，計算所述對齊的媒體片段的MPT，即T m= T P-T。。
[0031] 進一步地，所述計算模塊包括：第二確定單元，用于確定所述MP時間軸對齊事件 消息中具有相同標識id字段值的媒體片段為所述MP時間軸對齊事件中的媒體片段；計算 單元，用于根據所述MP時間軸對齊事件消息中呈現時間增量presentation_time_delta字 段值，和時間標度timescale字段值，計算所述MP時間軸對齊事件中的媒體片段在媒體呈 現時間上歷經的時間。
[0032] 進一步地，所述計算單元包括：根據以下公式計算所述MP時間軸對齊事件中的媒 體片段在媒體呈現時間上歷經的時間：MPT = MPTQ+emsg. presentation_time_delta/emsg. timescale，其中，MPT。與MPT分別代表所述MP時間軸對齊事件中的對齊媒體片段以及后續 媒體片段的媒體呈現時間；emsg. presentation_time_delta與emsg. timescale分別代表 所述MP時間軸對齊事件消息中的媒體呈現時間增量值及時間標度值。
[0033] 進一步地，所述裝置還包括：第二獲取模塊，用于獲取攜帶有所述MP時間軸對齊 事件消息的所述媒體片段。
[0034] 進一步地，所述第二獲取模塊包括：第二獲取單元，用于獲取事件流方案標識字段 以及事件流值字段；第三確定單元，用于使用所述事件流方案標識字段值以及事件流值字 段值，確定媒體呈現描述MPD中的帶內事件流InbandEventStream元素；第三獲取單元，用 于獲取對應于所述帶內事件流InbandEventStream元素的媒體片段作為所述媒體片段。
[0035] 進一步地，所述外部時間軸包括傳輸流時間軸。
[0036] 通過本發明方案，獲取媒體片段中攜帶的媒體呈現MP時間軸對齊事件消息；根據 所述MP時間軸對齊事件消息確定對齊的媒體片段，其中，所述對齊的媒體片段是所述MP時 間軸中媒體呈現時間MPT與外部時間軸進行對齊的媒體片段；計算在所述MP時間軸與所述 外部時間軸建立映射關系之后，所述MP時間軸對齊事件中的媒體片段在媒體呈現時間上 歷經的時間，從而解決了現有技術中采用單一參考時鐘所導致的問題，實現了廣播網絡和 寬帶網絡混合遞送模式下媒體同步播放。
【附圖說明】
[0037] 此處所說明的附圖用來提供對本發明的進一步理解，構成本申請的一部分，本發 明的示意性實施例及其說明用于解釋本發明，并不構成對本發明的不當限定。在附圖中：
[0038] 圖1是根據本發明實施例的第一種廣播/寬帶混合遞送媒體同步系統架構示意 圖；
[0039] 圖2是根據本發明實施例的一種動態自適應流媒體處理方法的流程圖；
[0040] 圖3是根據本發明可選實施例的一種獲取自適應流媒體位置描述子的示意圖；
[0041] 圖4是根據本發明可選實施例的另一種獲取自適應流媒體位置描述子的示意圖；
[0042] 圖5是根據本發明實施例的一種確定需要進行時間軸對齊的媒體片段的示例圖；
[0043] 圖6是根據本發明實施例的另一種確定需要進行時間軸對齊媒體片段的示例圖；
[0044] 圖7是根據本發明實施例的再一種確定需要進行時間軸對齊媒體片段的示例圖；
[0045] 圖8是根據本發明實施例的一種傳輸流處理方法的流程圖；
[0046] 圖9是根據本發明實施例的一種自適應流媒體處理裝置的結構框圖；
[0047] 圖10是根據本發明實施例的另一種自適應流媒體處理裝置的結構框圖；
[0048] 圖11是根據本發明實施例的另一種自適應流媒體處理方法的流程圖；
[0049] 圖12是根據本發明實施例的第二種廣播/寬帶混合傳輸媒體同步系統架構示意 圖；
[0050] 圖13是根據本發明可選實施例的一種動態自適應流媒體處理方法的流程圖；
[0051] 圖14是根據本發明實施例的一種確定需要進行時間軸對齊的媒體片段的示例 圖；
[0052] 圖15是根據本發明實施例的再一種自適應流媒體處理裝置的流程圖；
[0053] 圖16是根據本發明實施例的再一種自適應流媒體處理裝置中第一獲取模塊152 的結構框圖；
[0054] 圖17是根據本發明實施例的再一種自適應流媒體處理裝置中確定模塊154的結 構框圖；
[0055] 圖18是根據本發明實施例的再一種自適應流媒體處理裝置中計算模塊156的結 構框圖；
[0056] 圖19是根據本發明實施例的再一種自適應流媒體處理裝置的優選結構框圖；
[0057] 圖20是根據本發明實施例的再一種自適應流媒體處理裝置中第二獲取模塊192 的結構框圖。
【具體實施方式】
[0058] 下文中將參考附圖并結合實施例來詳細說明本發明。需要說明的是，在不沖突的 情況下，本申請中的實施例及實施例中的特征可以相互組合。
[0059] 本發明實施例提供了一種廣播/寬帶混合傳輸媒體同步系統，圖1是根據本發明 實施例的第一種廣播/寬帶混合傳輸媒體同步系統架構示意圖，如圖1所示，包括：廣播內 容源100、Mro服務器200、流媒體服務器300、第一終端410、第二終端420,其中第一終端和 第二終端可以是獨立的兩個終端，這兩個終端的功能也可以放在一個物理終端中實現。下 面對圖1中示出的系統進行說明。
[0060] 廣播內容源100可以使用MPEG-2標準，或者也可以使用其他標準，以下以MPEG-2 為例進行說明。根據MPEG-2標準編碼模型，廣播內容源100在發送端，將音頻數據和視頻 數據輸入到各自的編碼器進行壓縮和編碼，得到音視頻的基本碼流（Elemental Stream，簡 稱為ES)，ES被送到打包器分割編組形成長度不等的分組碼流（Packet Elemental Stream， 簡稱為PES)，PES再與節目內容信息、條件接收信息等一起進入碼流復用器，生成節目流 (Program Stream，簡稱為 PS)或者傳輸流（Transport Stream，簡稱為 TS)。
[0061] 廣播內容源100發送的MPEG-2TS碼流載荷中攜帶具有不同的包標識符（Packet Identification，簡稱為PID)的PES分組碼流。其中，PID值為OxOOOO的TS碼流對應節 目關聯表（Program Association Table，簡稱為PAT)，PAT定義了 TS中所有的節目，提供 了節目初始化信息，是TS中所有節目的一個完整列表，并指示了不同節目的節目號以及與 節目內容相關的節目映射表（Program Map Table，簡稱為PMT)的PID。PMT表明了節目 號與其所包含的音視頻及其他內容的傳輸碼流之間的對應關系，對一套節目進行了完整的 定義，其中包含了節目的節目號（program number)，PCR PID，流類型（stream type，如音 頻、視頻和其他數據等）以及基本流PID(指出攜帶音視頻內容的TS包PID)等信息。此 外，MPEG-2TS碼流還可以攜帶稱作時間軸和外部媒體信息（Timeline and External Media Information，簡稱為TEMI PES)的TEMI PES碼流，用于指示MPEG-2TS碼流中攜帶的外部 媒體資源的時間信息和位置信息。
[0062] 在以下實施例中，涉及到的自適應流媒體（或者稱為動態自適應流媒體）有多種 實現方式，例如，可以采用基于HTTP的動態自適應流媒體（Dynamic Adaptive Streaming over HTTP，簡稱為DASH)。下面以DASH為例對ΜΗ)服務器和流媒體服務器進行說明。以下 實施例對其他自適應流媒體技術也同樣適用。
[0063] MH)服務器200，提供動態自適應流媒體中MPD文件存儲。MPD文件描述了每個媒 體片段的持續時間，URL，媒體屬性，如視頻分辨率、適配比特率等。MPD文件給DASH客戶端 提供了足夠的HTTP-URL信息用于訪問流媒體內容資源，當DASH客戶端開始播放一個視頻 的時候，它根據MH)文件中的信息選擇下載適應于當前可用網絡帶寬和終端緩存狀況的媒 體片段并進行播放。
[0064] 流媒體服務器300,完成對原始視頻的切片和MPD文件的生成。視頻文件被切分， 并以時段（period)、表示（representation)和媒體片段（segment)的層次存儲。根據請 求，流媒體服務器300將向終端返回適當的媒體分片。
[0065] 終端400可以包括：第一終端410,例如數字電視機頂盒，或者廣播\寬帶雙模機 頂盒；以及第二終端420,例如平板電腦，智能手機、手持電視設備等。
[0066] 終端400 (第一終端410和/或第二終端420,為了描述下文中均使用終端）在接 收到MPEG-2TS碼流后，按照不同的包標識符PID將碼流分流到不同的解析通道，解析出音 頻PES、視頻PES，并重組成ES流存到音視頻各自對應的緩存中。首先，指定解復用模塊的 一個通道綁定PID值為0x0000的TS流，并從中解析出PAT，獲得所需節目的PMT的包標識 符PID。通過通道綁定，找到節目映射表PMT，提取碼流中的系統參考時鐘PCR，以及相關節 目中音視頻PES碼流的PTS等時間信息。
[0067] 下述實施例及可選實施方式在申請號為：201410856623. 9中的專利申請中已經 進行了保護，現摘錄如下。需要說明的是，這些實施例即可選實施中的部分內容也可以應用 本發明實施例中。
[0068] 下面結合圖1中的架構對本實施例提供的動態自適應流媒體處理方法進行說明：
[0069] 在一個可選的實施方式中，終端400在接收到MPEG-2TS碼流后，還可以將提取 TEMI PES碼流中攜帶的特定類型的適配域描述子（AF Descriptor)以及與之對應的PES碼 流頭域顯示時間戳（Presence Time Stamp，簡稱為PTS)，用于獲取動態自適應流媒體的位 置信息和時間信息。
[0070] 在一個可選的實施方式中，終端可以根據位置信息請求MH)服務器200獲取動態 自適應流媒體的MPD文件。終端400解析獲取到的MPD文件確定動態自適應流媒體中需要 與MPEG-2TS碼流進行時間軸對齊的媒體片段。
[0071] 在一個可選的實施方式中，終端400可以根據時間信息確定動態自適應流媒體中 媒體片段（包括：時間軸對齊媒體片段以及同一時段中后續媒體片段）的媒體呈現時間 (Media Presentation Time，簡稱為MPT)相對于MPEG-2TS碼流時間軸的顯示時間戳PTS。
[0072] 在一個可選的實施方式中，終端可以通過動態自適應（Quality Adaptation)算法 周期性的發出HTTP請求，獲得動態自適應流媒體中適當碼率或質量版本的媒體片段，并根 據MPEG-2TS碼流相關節目中的音視頻PES碼流PTS信息，以及動態自適應流媒體中媒體片 段PTS信息，實現音視頻同步處理。
[0073] 圖2是根據本發明實施例的一種動態自適應流媒體處理方法的流程圖，如圖2所 示，該流程包括如下步驟：
[0074] 步驟S202,獲取傳輸流中攜帶的自適應流媒體的位置信息和時間信息；
[0075] 步驟S204,根據上述位置信息確定自適應流媒體中需要與傳輸流進行時間軸對齊 的媒體片段；
[0076] 步驟S206,根據上述時間信息確定自適應流媒體中媒體片段的媒體呈現時間相對 于傳輸流時間軸的顯示時間戳。
[0077] 通過上述步驟，利用傳輸流中攜帶的自適應流媒體的位置信息和時間信息來確定 該自適應流媒體中需要與傳輸流進行時間軸對齊的媒體片段及其對應的顯示時間戳，從而 解決了相關技術中為廣播網絡和寬帶網絡混合媒體傳輸采用單一參考時鐘所導致的問題， 使得混合遞送模式下媒體同步處理更加高效，同時也提高業務部署的可擴展性。
[0078] 步驟S202中記載了獲取位置信息和時間信息，下面結合可選實施來對位置信息 和時間信息的獲取來進行說明。
[0079] 步驟S202中的位置信息可以是位置描述子（Location Descriptor)，圖3是根據 本發明可選實施例的一種獲取自適應流媒體位置描述子的示意圖，如圖3所示，包括：位置 描述子也可以是AF描述子，其可以攜帶在PES數據載荷中，PTS時間值可以攜帶在PES擴 展頭域中。
[0080] 在一個可選的實施方式中，終端首先解析獲得傳輸流中的節目映射表PMT，從中確 定流類型（Stream Type)值為預定值（例如，0x26)的TEMI PES碼流的包標識符PIDj# 端將包標識符PID綁定到解復用模塊通道，過濾出含有TEMI PES碼流的TS包，其中，TEMI PES 碼流的流標識（streamID)值為 private_stream_l。
[0081 ] 終端提取TEMI PES碼流數據載荷TEMI_AU中攜帶的標簽字段（af_descr_tag)值 為預定值（例如，0x05)且業務類型字段（service_type)值為預定值（例如，0x01)的適配 域AF描述子，即動態自適應流媒體的位置描述子（Location Descriptor)，從而獲取動態 自適應流媒體的位置信息。
[0082] 參照圖3,終端獲取傳輸流中TEMI PES碼流，提取TEMI PES碼流擴展頭域中包含 的PTS，作為與動態自適應流媒體位置描述子對應的PTS值，從而獲取動態自適應流媒體的 時間信息。
[0083] 位置信息還可以通過另外一種方式攜帶，圖4是根據本發明可選實施例的另一種 獲取自適應流媒體位置描述子的示意圖，如圖4所示，AF描述子可以攜帶在TS流的適配域 中。
[0084] 根據MPEG-2標準PES語法說明，流標識（streamID)表明了 PES載荷中是音頻、 視頻還是數據流。參照本發明中圖4,終端獲取傳輸流中擴展描述子標簽（Extension descriptor_tag)值為預定值（例如，0x04)的特定媒體組件（視頻或者音頻）TS碼流。
[0085] 終端提取特定媒體組件TS碼流適配域（Adaptation Field)中攜帶的標簽字段 (af_descr_tag)值為預定值（0x05)且業務類型字段（service_type)值為預定值（例如， 0x01)的AF描述子，即動態自適應流媒體的位置描述子（Location Descriptor)，從而獲取 動態自適應流媒體的位置信息。
[0086] 參照圖4,終端獲取傳輸流中特定媒體組件（視頻或者音頻）TS碼流，提取特定媒 體組件（視頻或者音頻）TS碼流載荷中攜帶的PES碼流擴展頭域中包含的PTS，作為與動態 自適應流媒體位置描述子對應的PTS值，從而獲取動態自適應流媒體的時間信息。
[0087] 或者，終端獲取后續第一個與特定媒體組件（視頻或者音頻）TS碼流具有相同PID 值且TS碼流頭域中載荷數據單元起始指示符（payload_unit_start_indicator)取值為1 的TS碼流，提取TS碼流載荷中攜帶的PES碼流擴展頭域中包含的PTS，作為與動態自適應 流媒體位置描述子對應的PTS值，從而獲取動態自適應流媒體的時間信息。
[0088] 在上述實施例及可選的實施方式中，對現有的位置描述子進行擴展，表1所示的 是根據本發明實施例的自適應流媒體位置描述子的語法結構圖表。
[0089] 表 1
[0090]
[0091] 如表1所示，本實施例中自適應流媒體的位置描述子（Location Descriptor)，擴 展定義如下，以業務類型為DASH為例進行說明：
[0092] timeline_id:MPEG_2TS碼流中位置描述子的唯一標識；
[0093] force_reload: 1比特標志，指示DASH同步（即進行媒體片段時間軸對齊）前是否 重新加載MPD ;
[0094] is_announcement: 1比特標志，指示與位置描述子對應的DASH媒體片段尚未處于 播放（激活）狀態；
[0095] time_before_activation:指示位置描述子所引用資源（DASH媒體片段）進入播 放狀態的剩余時間；
[0096] timescale:時標單位，用于表不 time_before_activation 字段時間值；
[0097] service_type:指示位置描述子所引用外部資源的業務類型。當service_type ==1時，業務類型為"MPEG-DASH"。此時，該位置描述子中所攜帶的位置信息將用于實現 DASH媒體片段的媒體呈現時間與MPEG-2TS碼流中PTS之間的映射，即完成DASH流媒體與 MPEG-2TS碼流之間同步。
[0098] 如表1所示，本發明實施例將上述建立DASH流媒體時間信息與傳輸流時間信息映 射關系的位置信息稱為時間軸對齊（Timeline Alignment)事件流（Event Stream)，定義如 下：
[0099] event_stream_schemeIdUri :當 service_type = = 1 時，位置描述子包含事件流 方案標識event_stream_schemeIdUri字段，遵循統一資源名（URN)或者統一資源定位符 (URL)語法規范，用于唯一標識時間軸對齊事件流的方案（Scheme);
[0100] event_stream_value :當 service_type = = 1 時，位置描述子包含事件流值 event_stream_value字段，其取值空間將由event_schemeIdUri標識的時間軸對齊事件流 的消息方案定義，用于標識事件流方案中的事件流；
[0101] event_id :當service_type = = 1時，位置描述子包含事件標識event_id字段， 用于標識時間軸對齊事件流中的事件；
[0102] 其中，事件消息方案標識字段與事件流值字段一起可以唯一標識時間軸對齊事件 流。事件標識字段則用于唯一標識時間軸對齊事件流中的某個特定時間軸對齊事件。
[0103] 可選的，mpd_url :當service_type = = 1時，mpd_url取值為位置描述子所對應 的DASH的MPD的統一資源定位符（URL)。
[0104] 在一個可選的實施例中，終端獲取節目映射表PMT中包含的自適應流媒體的MPD 描述子，可以定義如表2所示，以DASH為例進行說明：
[0105] 表 2
[0108] 其中，mpd_url取值為對應于自適應流媒體位置描述子的DASH的MH)的URL。
[0109] 上述步驟S204中記載了位置信息確定自適應流媒體中需要與傳輸流進行時間軸 對齊的媒體片段；下面結合可選實施來對此來進行說明。
[0110] 在動態自適應流媒體技術中，MPD是一個文檔，該文檔中包含了 DASH客戶端構建 媒體片段HTTP-URL所需的元數據，以便客戶端訪問媒體片段，為用戶提供流媒體服務。
[0111] MPD中可以包含事件（Event)，用于向DASH客戶端或DASH應用通知非周期性的信 息。事件是時控的，亦即，事件在某一特定的媒體呈現時間點開始，通常會持續一段時間。事 件包括DASH特有的通知事件和應用特有的事件。
[0112] 與上述位置描述子中所包含的時間軸對齊事件相對應，MPD中時段（Period)元素 可以包含時間軸對齊事件流（EventStream)子元素，其中：
[0113] EventStreamOschemeIdUri屬性用于唯一標識時間軸對齊事件流的消息方案 (Scheme)。EventStreamOvalue屬性作為時間軸對齊事件流的值，其取值空間將由event_ schemeldUri標識的時間軸對齊事件流的消息方案定義。EventStream元素中包含一系列 相同類型的時間軸對齊事件Event元素，由Event, id屬性值唯一標識。
[0114] 在本實施例中，終端可以按照不同方法根據位置信息獲取對應的MPD。
[0115] 終端提取PMT中包含的動態自適應流媒體的MPD描述子，根據其中包含的mpd_url 字段值獲取與位置信息對應的動態自適應流媒體的MPD的URL。或者，
[0116] 終端提取動態自適應流媒體位置描述子，根據其中包含的mpd_url字段值獲取與 位置信息對應的動態自適應流媒體的MH)的URL。
[0117] 在根據動態自適應流媒體的位置信息以及對應的Mro確定需要與傳輸流進行時 間軸對齊的動態自適應流媒體的媒體片段時，可以有多種方式，下面結合不同的方式進行 說明：
[0118] 圖5是根據本發明實施例的一種確定需要進行時間軸對齊的媒體片段的示例圖， 如圖5所示，包括：
[0119] 終端根據位置描述子中攜帶的值為〃urn:UUid:XYZY〃的事件流方案標識字段以 及值為"ad"的事件流值字段，檢索確定MPD中的Period元素，即圖6中Oid屬性值為"Γ 的Period元素。
[0120] 終端使用位置描述子中攜帶的事件流方案標識字段值〃urn:UUid:XYZY〃和事 件流值字段值"ad"替換該Period元素的媒體片段模板（SegmentTemplate)子元素中@ media屬性的$EventStream$標識符，使用位置描述子中攜帶的事件標識（event_id)字段 值"1〃替換該Period元素的媒體片段模板（SegmentTemplate)子元素中Omedia屬性的 $EventID$標識符。同時結合MPD其他層次中定義的資源URL地址基址（BaseURL)元素，譬 如：〃http://www. example, com/"，從而構造需要與傳輸流進行時間軸對齊的動態自適應流 媒體的媒體片段的 HTTP URL，艮P "http://www. example. com/uuid:XYZY/ad 0000L ts〃。
[0121] 對應傳輸流中攜帶的下一個相同類型位置描述子中的事件標識（eventjd)字 段值"2"，則構造的下一個需要與傳輸流進行時間軸對齊的動態自適應流媒體的媒體片段 HTTP URL 為 ^http://www. example. com/uuid:XYZY/ad 00002. ts^,以此類推。
[0122] 圖6是根據本發明實施例的另一種確定需要進行時間軸對齊媒體片段的示例圖， 如圖6所示，包括：
[0123] 終端根據位置描述子中攜帶的值為〃Urn:UUid :XYZY〃的事件流方案標識字段以 及值為"ad"的事件流值字段，檢索確定MPD中的Period元素，即圖7中Oid屬性值為"Γ 的Period元素。
[0124] 終端根據位置描述子中攜帶的值"Γ的事件標識字段，檢索確定MPD中該Period 元素下的媒體片段URL (SegmentURL)子元素，即圖7中OeventID屬性值為〃Γ的媒體片段 URL(SegmentURL)元素。
[0125] 終端根據該媒體片段URL(SegmentURL)元素的Omedia及OmediaRange屬性值， 同時結合MPD其他層次中定義的資源URL地址基址（BaseURL)元素，譬如：〃http://www. example, com/"，從而構造需要與傳輸流進行時間軸對齊的動態自適應流媒體的媒體片 段的 HTTP URL，即"http://www. example. com/seg20L mp4"，以及可選的區間請求頭域 ''Range: bytes = 0-499"。
[0126] 對應傳輸流中攜帶的下一個相同類型位置描述子中的事件標識（eventjd)字 段值"2"，則構造的下一個需要與傳輸流進行時間軸對齊的動態自適應流媒體的媒體 片段 HTTP URL· 為"http://www. example. com/seg205. mp4"，以及可選的區間請求頭域 "Range:bytes = 500-999〃，以此類推。
[0127] 圖7是根據本發明實施例的再一種確定需要進行時間軸對齊媒體片段的示例圖， 如圖7所示，包括：
[0128] 終端根據位置描述子中攜帶的值為〃Urn:UUid :XYZY〃的事件流方案標識字段以 及值為"ad"的事件流值字段，檢索確定MPD中的Period元素，即圖7中Oid屬性值為"Γ 的Period元素。
[0129] 終端根據位置描述子中攜帶的值"Γ的事件標識字段，檢索確定MPD中該Period 元素下的事件（Event)子元素，即圖7中Oid屬性值為"Γ的事件（Event)元素。
[0130] 終端根據該事件（Event)元素的Omedia及OmediaRange屬性值，同時結合MPD其 他層次中定義的資源URL地址基址（BaseURL)元素，譬如：〃http://www. example. com/〃， 從而構造需要與傳輸流進行時間軸對齊的動態自適應流媒體的媒體片段的HTTP URL， 艮P "http://www. example. com/seg30L mp4",以及可選的區間請求頭域"Range:bytes = 0-499"〇
[0131] 對應傳輸流中攜帶的下一個相同類型位置描述子中的事件標識（eventjd)字 段值"2"，則構造的下一個需要與傳輸流進行時間軸對齊的動態自適應流媒體的媒體 片段 HTTP URL 為"http://www. example. com/seg305. mp4"，以及可選的區間請求頭域 "Range:bytes = 500-999〃，以此類推。
[0132] 在一個可選的實施例中，在確定需要與傳輸流進行時間軸對齊的媒體片段時，還 包括：
[0133] 在一個可選的實施例中，在確定需要與傳輸流進行時間軸對齊的媒體片段時，還 包括：
[0134] 終端提取動態自適應流媒體位置描述子中的強制重載（f〇rCe_rel 〇ad)標志；如 果強制重載（f〇rce_reload)標志的值為0x01，則重新加載動態自適應流媒體的MPD。
[0135] 在一個可選的實施例中，在確定需要與傳輸流進行時間軸對齊的媒體片段時，還 包括：
[0136] 終端提取動態自適應流媒體位置描述子中的預宣告（is_announcement)標志，如 果預宣告（is_announcement)標志的值為0x01，則提取動態自適應流媒體位置描述子中的 激活倒計時（time_before_activation)字段以及時標（timescale)字段。
[0137] 在一個可選的實施例中，在確定需要與傳輸流進行時間軸對齊的媒體片段時，還 包括：從位置信息中提取強制重載標志；在強制重載標志的值為預定值的情況下，重新加 載上述DASH的MPD。
[0138] 在另一個可選的實施例中，在確定需要與傳輸流進行時間軸對齊的媒體片段時， 還包括：從位置信息中提取預宣告標志；在預宣告標志的值為預定值的情況下，從位置信 息中提取激活倒計時字段和時標字段。
[0139] 步驟S206中記載了根據時間信息確定自適應流媒體中媒體片段的媒體呈現時間 相對于傳輸流時間軸的PTS ;下面結合可選實施例來對此來進行說明。
[0140] DASH的主要特性之一是不同媒體組件的編碼版本共享全局統一的時間軸。媒體內 容中的接入單元的呈現時間被映射到全局統一呈現時間軸，便于同步不同的媒體組件并實 現相同媒體組件的不同的編碼版本的相同的無縫切換。
[0141] 各個時段內的呈現時間都是相對相應時段的PeriodStart時間減去所包含表示 的OpresentationTimeOffset即T。的值。這意味著，對于媒體流中呈現時間為T p的接入單 元，其媒體呈現時間相對PeriodStart的值為Tm= T p - T。。
[0142] 根據MPD定義的動態自適應流媒體的媒體片段時間軸規則，時段中各個媒體片段 的媒體呈現時間存在預定的關系，譬如可以是連續的，因此，根據一個媒體片段的媒體呈現 時間可以推算出時段中后續媒體片段的媒體呈現時間。
[0143] 在本發明一個可選的實施例中，終端根據需要與傳輸流進行時間軸對齊的媒體片 段的媒體呈現時間確定該媒體片段所在時段中后續媒體片段的媒體呈現時間。特別地，當 需要進行時間軸對齊的媒體片段的媒體呈現時間表示為相對于傳輸流時間軸的PTS時，存 在以下關系，
[0144] Segments PTS (in seconds) = [ (S-Ssyn) *@duration]/SegmentBase. timescale+Segmentsyn PTS (in seconds) 〇
[0145] 其中，Ssyn為需要進行時間軸對齊的動態自適應流媒體的媒體片段在時段中的編 號，S為時段中后續其他媒體片段的編號。
[0146] Segmentsyn PTS為需要進行時間軸對齊的動態自適應流媒體的媒體片段的媒體呈 現時間相對于傳輸流時間軸的PTS。Segment PTS為時段中后續其他媒體片段的媒體呈現 時間相對于傳輸流時間軸的PTS。
[0147] 其中，Oduration和SegmentBase. timescale分別為媒體片段所在時段元素的@ duration屬性值和Otimescale屬性值；
[0148] 在本發明一個可選的實施例中，終端根據與動態自適應流媒體位置描述子對應的 PTS值確定需要進行時間軸對齊的動態自適應流媒體的媒體片段的媒體呈現時間相對于傳 輸流時間軸的PTS，即：
[0149] Segmentsyn PTS(in seconds) = PTSi/90000。
[0150] 其中，PTS1為與動態自適應流媒體位置描述子對應的PTS值。
[0151] Segmentsyn PTS為需要進行時間軸對齊的動態自適應流媒體的媒體片段的媒體呈 現時間相對于傳輸流時間軸的PTS。
[0152] 圖8是根據本發明實施例的一種傳輸流處理方法的流程圖，如圖8所示，該流程包 括如下步驟：
[0153] 步驟S802,在傳輸流中添加自適應流媒體的位置信息和/或時間信息，其中，該位 置信息用于確定自適應流媒體中需要與傳輸流進行時間軸對齊的媒體片段，該時間信息用 于確定自適應流媒體中媒體片段的媒體呈現時間相對于傳輸流時間軸的顯示時間戳；
[0154] 步驟S804,將上述傳輸流發送給用戶終端。
[0155] 通過上述步驟，通過將添加了預定類型碼流的傳輸流發送給用戶終端，可以有效 解決相關技術中為廣播網絡和寬帶網絡混合媒體傳輸采用單一參考時鐘所導致的問題，使 得混合遞送模式下媒體同步處理更加高效，同時也提高業務部署的可擴展性。
[0156] 在一個可選的實施例中，在傳輸流中添加攜帶自適應流媒體的位置信息時，可以 采用如下方法：在傳輸流的PMT中添加 PID，其中，該PID用于獲取流類型值為預定值的 TEMI PES碼流，該TEMI PES碼流中攜帶有位置信息。
[0157] 在添加了自適應流媒體的位置信息后，還可以添加該自適應流媒體的時間信息， 在一個可選的實施例中，在傳輸流中添加攜帶自適應流媒體的時間信息包括：在該TEMI PES碼流擴展頭域中攜帶時間信息。
[0158] 在一個可選的實施例中，在傳輸流中添加攜帶自適應流媒體的位置信息時，還可 以采用如下方法：在傳輸流中攜帶擴展描述子標簽的值為預定值的特定媒體組件TS碼流， 其中，該TS碼流適配域中攜帶位置信息。
[0159] 在添加了自適應流媒體的位置信息后，還可以添加該自適應流媒體的時間信息， 在一個可選的實施例中，在傳輸流中添加攜帶自適應流媒體的時間信息包括：在TS碼流載 荷的PES擴展頭域中攜帶PTS，其中該PTS值用于確定自適應流媒體的時間信息。
[0160] 在傳輸流中添加攜帶自適應流媒體的時間信息還可以采用如下方法：設置傳輸流 中的特定媒體組件TS后續的TS碼流與該特定媒體組件TS碼流具有相同PID值且TS頭域 中載荷數據單元起始指示符取值為預定值；在后續的TS碼流載荷的PES擴展頭域中攜帶 PTS，其中，該PTS值確定自適應流媒體的時間信息。
[0161] 在一個可選的實施例中，在傳輸流中攜帶標簽字段值為預定值且業務類型字段值 為預定值的AF描述子作為自適應流媒體的位置描述子，該位置描述子中包括位置信息。
[0162] 在一個可選的實施例中，上述的位置描述子還包括以下至少之一：在傳輸流中位 置描述子的唯一標識、強制重載標志、預宣告標志、激活倒計時標志、時標單位、服務類型， 其中，該強制重載標志用于指示在進行媒體片段時間軸對齊之前是否需要重新加載媒體呈 現描述MPD，預宣告標志用于指示與位置描述子對應的自適應媒體的媒體片段尚未處于播 放裝置，激活倒計時標志用于指示與位置描述子對應的自適應媒體的媒體片段進入播放狀 態的剩余時間，時標單位用于指示剩余時間標識字段時間值，服務類型用于指示位置描述 子所引用外部資源的業務類型。
[0163] 在一個可選的實施例中，上述傳輸流中還可以攜帶有用于確定位置信息對應的自 適應流媒體的媒體呈現描述Mro的信息。
[0164] 在一個可選的實施例中，在上述傳輸流中的PMT中攜帶MPD描述子；其中，該MPD 描述子中包括與位置信息對應的Mro的URL ;或者，從位置信息中獲取該Mro的URL。
[0165] 在本實施例中還提供了一種自適應流媒體處理裝置，該裝置用于實現上述實施例 及優選實施方式，已經進行過說明的不再贅述。如以下所使用的，術語"模塊"可以實現預 定功能的軟件和/或硬件的組合。盡管以下實施例所描述的裝置較佳地以軟件來實現，但 是硬件，或者軟件和硬件的組合的實現也是可能并被構想的。
[0166] 圖9是根據本發明實施例的一種自適應流媒體處理裝置的結構框圖，如圖9所示， 該裝置包括獲取模塊92、第一確定模塊94和第二確定模塊96,下面對該自適應媒體流處理 裝置進行說明。
[0167] 獲取模塊92,用于獲取傳輸流中攜帶的自適應流媒體的位置信息和時間信息；第 一確定模塊94,連接至上述獲取模塊92,用于根據上述位置信息確定自適應流媒體中需要 與傳輸流進行時間軸對齊的媒體片段；第二確定模塊96,連接至上述第一確定模塊94,用 于根據時間信息確定自適應流媒體中媒體片段的媒體呈現時間相對于傳輸流時間軸的顯 示時間戳。
[0168] 圖10是根據本發明實施例的另一種自適應流媒體處理裝置的結構框圖，如圖10 所示，該裝置包括添加模塊102和發送模塊104,下面對該自適應媒體流處理裝置進行說 明。
[0169] 添加模塊102,用于在傳輸流中添加自適應流媒體的位置信息和/或時間信息，其 中，該位置信息用于確定自適應流媒體中需要與傳輸流進行時間軸對齊的媒體片段，該時 間信息用于確定自適應流媒體中媒體片段的媒體呈現時間相對于傳輸流時間軸的；發送模 塊104,連接至上述添加模塊102,用于將傳輸流發送給用戶終端。在上述實施例及可選實 施方式在申請號為：201410856623. 9中的專利申請中已經進行了保護，摘錄如上。
[0170] 事件可通過MPD通知。相同類型的事件歸結為一個事件流（EventStream)，并在 Period元素中的EventStream元素描述。事件在相應的Period結束時終結。
[0171] 在一個可選實施例中，也可以通過帶內事件通知。例如，可以將事件信息作為媒體 片段的一部分，添加到Segment中，從而將事件流通過Representation傳輸。事件流可以 存在于某一個或多個自適應集（AdaptationSet)關聯的Representation中，也可以存在于 所有的 Representation 中。
[0172] 運載帶內事件的Representation應當在MPD中標識，以通知客戶端。MPD中 使用帶內事件流（InbandEventStream)元素指定一個帶內事件流，該元素可以出現在 AdaptationSet和Representation級別中。如果一個Representation包含多個帶內事件 流，每個帶內事件流應當由一個單獨的InbandEventStream元素指定。
[0173] 圖11是根據本發明實施例的另一種自適應流媒體處理方法的流程圖，如圖11所 示，該方法包括如下步驟：
[0174] 步驟Sl 102,獲取媒體片段中攜帶的媒體呈現MP時間軸對齊事件消息；
[0175] 步驟S1104,根據MP時間軸對齊事件消息確定對齊的媒體片段，其中，該對齊的媒 體片段是該MP時間軸中媒體呈現時間MPT與外部時間軸對齊的媒體片段；
[0176] 步驟S1106,計算在MP時間軸與外部時間軸建立映射關系之后，該MP時間軸對齊 事件中的媒體片段在媒體呈現時間上歷經的時間。
[0177] 通過上述步驟，根據媒體片段中攜帶的MP時間軸對齊事件消息來確定媒體呈現 時間MPT與外部時間軸對齊的媒體片段，并計算出在MP時間軸與傳輸流時間軸建立映射關 系之后，該MP時間軸對齊事件中的媒體片段在媒體呈現時間上歷經的時間，可以有效的解 決相關技術中為廣播網絡和寬帶網絡混合媒體傳輸采用單一參考時鐘所導致的問題，使得 混合遞送模式下媒體同步處理更加高效，同時也提高業務部署的可擴展性。
[0178] 上述步驟中涉及到外部時間軸、MP時間軸以及時間軸的對齊，以下對此進行說明。
[0179] 外部時間軸
[0180] 在本實施例中以MPEG-2TS PCR/PTS (節目參考時鐘/顯示時間戳）時鐘信息為例 進行說明，其他格式的音視頻編碼方式也可以作為外部時間軸。
[0181] 根據MPEG-2標準編碼模型，廣播內容源發送的MPEG-2TS碼流載荷中攜帶具有 不同的包標識符（Packet Identification，簡稱為PID)的PES分組碼流。終端在接收 到MPEG-2TS碼流后，按照不同的包標識符PID將碼流分流到不同的解析通道，解析出音頻 PES、視頻PES，并重組成ES流存到音視頻各自對應的緩存中。首先，指定解復用模塊的一 個通道綁定PID值為0x0000的TS流，并從中解析出PAT，獲得所需節目的PMT的包標識符 PID。通過通道綁定，找到節目映射表PMT，提取碼流中的系統參考時鐘PCR，以及相關節目 中音視頻PES碼流的PTS等時間信息。
[0182] 此外，MPEG-2TS碼流中可以攜帶稱作時間軸和外部媒體信息（Timeline and External Media Information，簡稱為 TEMI PES)的 TEMI PES碼流，用于指示與該MPEG-2TS 碼流同步的外部媒體資源。相對應地，終端在接收到MPEG-2TS碼流后，通過提取TEMI PES 碼流中攜帶的特定類型適配域描述子（AF Descriptor)，可以獲取外部媒體資源的位置信 息，并建立其與MPEG-2TS時間軸中時間信息（TEMI PES碼流頭域PTS值）的對應關系。
[0183] 媒體呈現（MP)時間軸
[0184] 在本實施例中以DASH為例進行說明，DASH的主要特性之一是不同媒體組件的編 碼版本共享全局統一的時間軸。媒體內容中的接入單元的呈現時間被映射到全局統一呈現 時間軸，便于同步不同的媒體組件并實現相同媒體組件的不同的編碼版本的相同的無縫切 換。
[0185] 各個時段內的呈現時間都是相對相應時段的PeriodStart時間減去所包含表示 的OpresentationTimeOffset即T。的值。這意味著，對于媒體流中呈現時間為TP的接入 單元，其媒體呈現時間相對PeriodStart的值為T m= T p - T。。
[0186] 時間軸對齊
[0187] 解決時間軸對齊的一個顯見方法是為自適應流與外部媒體流遞送采用單一的參 考時鐘。例如，上述MPEG-2TS碼流PCR/PTS (節目參考時鐘/顯示時間戳）時鐘信息同時 也包含在諸如RTP、HTTP等IP報文中傳輸。該方法主要缺陷在于廣播媒體和寬帶媒體源綁 定部署，不利于系統擴展，而且PCR時鐘信息在解復用時可能被改變，無法維護時鐘的延續 性。
[0188] 為此，本實施例提出了一種獨立于特定媒體流時鐘信息的"時間軸對齊事件流"方 案，建立自適應流的媒體呈現（MP)時間軸與外部時間軸的映射關系，圖12是根據本發明實 施例的第二種廣播/寬帶混合傳輸媒體同步系統架構示意圖，如圖12所示：其中，關于廣播 內容源100、Mro服務器200、流媒體服務器300、第一終端410、第二終端420的描述，在圖1 的相關描述中已經進行了詳細的闡述，在此不再贅述。
[0189] 本實施例定義"媒體呈現時間軸（Media Presentation timeline)對齊"事件，簡 稱"MP時間軸對齊"事件，用于通知客戶端媒體片段的媒體呈現時間（MPT)將被映射到外部 時間軸，例如：MPEG-2TS PCR/PTS (節目參考時鐘/顯示時間戳）時鐘信息，或者相反。在 圖12中，"時間軸對齊事件流"中攜帶一系列代表時間軸對齊事件時間進度（或位置）T,， 通過在媒體流中添加攜帶T,信令，并建立各自時間軸中時間信息與T ,的映射關系，即圖中 (PTS^Tj)和（MPTpTj),可以建立媒體呈現（MP)時間軸與外部時間軸的映射關系。
[0190] 媒體呈現（MP)時間軸與外部時間軸對齊關鍵要素，如表3所示：
[0191] 表 3
[0193] 據此，需針對自適應流媒體定義一種媒體呈現（MP)時間軸對齊信令機制，支持攜 帶時間軸對齊進度（位置）信息以及與之對應媒體呈現時間（MPT)。
[0194] 在上述的實施例中，MP時間軸對齊事件的信息可以是MP時間軸對齊事件消息匣， 在一個可選的實施例中，上述步驟S1102中的獲取媒體片段中攜帶的媒體呈現MP時間軸對 齊事件消息可以包括如下步驟：訪問媒體呈現描述MPD中帶內事件流InbandEventStream 元素；獲取對應于帶內事件流InbandEventStream元素的媒體片段中攜帶的媒體呈現MP時 間軸對齊事件消息。
[0195] 上述的InbandEventStream元素可以包括：事件流方案標識schemeldUri屬性字 段和事件流值value屬性，用于指示MP時間軸對齊事件。
[0196] 在一個可選的實施例中，上述MP時間軸對齊事件消息包括以下至少之一：呈現時 間增量presentation_time_delta字段，用于提供MP時間軸對齊事件的時間；事件持續時 間event_duration字段，用于表示媒體呈現剩余時間段；消息數據message_data字段，用 于提供對齊的媒體片段相對于所在時段Period時段開始時間的呈現時間T p。
[0197] 上述的MP時間軸對齊時間消息還包括：事件消息方案標識SCheme_id_uri字段 以及事件值value字段；事件消息方案標識scheme_id_uri字段值等于事件流方案標識 schemeldUri屬性值，并且該事件值value字段值等于事件流值value屬性值。
[0198] 在根據MP時間軸對齊事件消息確定對齊的媒體片段時，可以有多種確定方 式，在一個可選的實施例中，確定媒體片段可以包括：確定MP時間軸對齊事件消息中 presentation_time_delta字段值為預定值的媒體片段作為對齊的媒體片段。
[0199] 在一個可選的實施例中，上述方法還可以包括：基于MP時間軸對齊事件消息中的 message_data字段中呈現時間Tp以及對齊的媒體片段所在表示Representation的呈現時 間偏移T。屬性值，計算該對齊的媒體片段的MPT，即T M= T P-T。。
[0200] 在計算上述媒體片段在媒體呈現時間上歷經的時間時可以采用如下方式：確定 MP時間軸對齊事件消息中具有相同標識id字段值的媒體片段為MP時間軸對齊事件中的媒 體片段；根據MP時間軸對齊事件消息中呈現時間增量presentation_time_delta字段值， 和時間標度timescale字段值，計算MP時間軸對齊事件中的媒體片段在媒體呈現時間上歷 經的時間。
[0201] 其中，在根據MP時間軸對齊事件消息中呈現時間增量presentation_time_delta 字段值，和時間標度timescale字段值，計算MP時間軸對齊事件中的媒體片段在媒體呈現 時間上歷經的時間時，可以采用如下方式：根據以下公式計算MP時間軸對齊事件中的媒體 片段在媒體呈現時間上歷經的時間：MPT = MPTQ+emsg.presentation_time_delta/emsg. timescale，其中，MPT。與MPT分別代表MP時間軸對齊事件中的對齊媒體片段以及后續媒體 片段的媒體呈現時間；emsg. presentation_time_delta與emsg. timescale分別代表MP時 間軸對齊事件消息中的媒體呈現時間增量值及時間標度值。
[0202] 在一個可選的實施例中，在獲取媒體片段中攜帶的媒體呈現MP時間軸對齊事件 消息之前，該方法還包括：獲取攜帶有MP時間軸對齊事件消息的媒體片段。
[0203] 其中，獲取攜帶有MP時間軸對齊事件消息的媒體片段可以采用如下方式：獲取事 件流方案標識字段以及事件流值字段；使用上述事件流方案標識字段值以及事件流值字段 值，確定媒體呈現描述MPD中的帶內事件流InbandEventStream元素；獲取對應于該帶內事 件流InbandEventStream元素的媒體片段作為媒體片段。
[0204] 在一個可選的實施例中，上述的外部時間軸包括傳輸流時間軸。
[0205] 在圖11中的步驟S1102中獲取到的是MP時間軸對齊事件消息，在一個可選的實 施方式中，MP時間軸對齊事件消息可以使用MP時間軸對齊事件消息匣來實現，當讓也可以 使用其他的方式實現。圖13中對使用MP時間軸對齊時間消息匣的可選實施例進行了說明。
[0206] 圖13是根據本發明可選實施例的一種動態自適應流媒體處理方法的流程圖，如 圖13所示，該流程包括如下步驟：
[0207] 步驟S1302,客戶端獲取媒體片段中攜帶的媒體呈現MP時間軸對齊事件消息匣。
[0208] MPD中指定"MP時間軸對齊"帶內事件流的InbandEventStream元素包含一個@ schemeldUri屬性，用于提供URI以指定事件流方案，例如；"urn:avs:dash:event:2014"； 和一個可選的Ovalue屬性，用于指定事件流元素值，例如："3"。其中，標識機制的URI可以 是URN或者URL。
[0209] 1.在本可選實施例中使用了事件消息匣
[0210] 在動態自適應流媒體技術中，事件消息匣（Event Message box, 'emsg'）用于通 知與媒體呈現時間相關的一般帶內事件，其通用語法定義如下：
[0211]
[0212] 其中：
[0213] scheme_id_uri :標識事件消息方案。
[0214] value :指定事件的值。
[0215] timescale :指定時間標度。
[0216] presentation_time_delta :指定媒體呈現時間增量。
[0217] event_duration :指定在媒體呈現時間上事件的時間段。
[0218] id:標識消息實例。
[0219] message_data[]:消息主體。
[0220] 根據本實施例中的方案，如果事件消息匣中"SChem e_id_uri"字段設置為預定值， 例如："urn:avs: dash: event: 2014"且"value"字段設置為預定值，例如："3"，則該事件消 息匣是"MP時間軸對齊"事件消息匣，其攜帶的消息字段遵循以下規定：
[0221] 一 "presentation_time_delta"字段提供MP時間軸對齊事件的時間，表示自MP 時間軸與外部時間軸建立時間信息映射關系起，MP時間軸對齊事件中的媒體片段（具有相 同"id"字段值）在媒體呈現時間上的增量。
[0222] - "event_duration"字段代表自MP時間軸對齊事件時間起，媒體呈現剩余時間 段。如果"eVent_d Urati〇n"取值"0"，則MP時間軸對齊事件時間后，媒體呈現終止；如果 "event_duration"取值"OxFFFF"，則媒體呈現剩余時間段未知。
[0223] - "message_data□"提供MP時間軸中媒體呈現時間與外部時間軸對齊的片段相 對于所在Period時段開始時間（PeriodStart time)的呈現時間（presentation time, Tp)。
[0224] 步驟S1304,客戶端根據MP時間軸對齊事件消息匣中攜帶的信息（例如：時間信 息）確定MP時間軸中媒體呈現時間MPT與外部時間軸對齊的媒體片段，并計算MP時間軸 與外部時間軸建立起映射關系之后，MP時間軸對齊事件中的媒體片段在媒體呈現時間上歷 經的時間。
[0225] 事件消息匣中"presentati〇n_tim e_delta"字段取值為"0"的片段就是MP時間 軸中的媒體呈現時間與外部時間軸對齊的片段。基于"meSSage_data□"字段值呈現時間 Tp以及所在Representation的呈現時間偏移屬性值（OpresentationTimeOffset，T。），可以 計算MP時間軸對齊事件中對齊片段的媒體呈現時間MPT，即T m= T P-T。。
[0226] MP時間軸對齊事件中不同片段所攜帶的事件消息匣中可以具有相同"id"字段 值，不同"presentation_time_deIta"字段值。計算具有相同" id"字段值的消息實例所對 應片段的媒體呈現時間增量，表示MP時間軸與外部時間軸建立起時間信息映射關系之后， MP時間軸對齊事件中相關片段在媒體呈現時間上歷經的時間，即：
[0227] MPT = MPT0+emsg. presentation_time_delta/emsg. timescale，其中，
[0228] MPT。與MPT代表MP時間軸對齊事件中對齊片段以及后續片段媒體呈現時間；
[0229] emsg. presentation_time_delta與 emsg. timescale 代表MP 時間軸對齊事件消息 匣中的媒體呈現時間增量值及時間標度值。
[0230] 圖14是根據本發明實施例的一種確定需要進行時間軸對齊的媒體片段的示例 圖，如圖14所示，包括：
[0231] 終端根據位置描述子中攜帶的事件流方案標識字段值，例如： "urn:avs:dash:event:2014"，以及事件流值字段，例如：值為"3〃，檢索確定MPD中Period 元素的 AdaptationSet 和 Representation 級別中的 InbandEventStream 元素，即圖 14 中 Oid屬性值分別為〃1〃和〃2〃的Period元素所包含的InbandEventStream元素。
[0232] 終端使用該Period元素的媒體片段模板（SegmentTemplate)子元素或者媒體片 段URL (SegmentURL)子元素，并結合MPD其他層次中定義的資源URL地址基址（BaseURL)元 素，譬如：〃http://www. example. com/〃，從而構造帶內事件流所對應媒體片段的HTTP URL， 即圖14中不同指向的URL。
[0233] 終端根據上述HTTP URL請求獲取媒體片段內容，并提取其中攜帶的事件消息 匣，即本發明定義的"MP時間軸對齊"事件信息。終端根據位置描述子中攜帶的事件標 識字段值，例如："123"，檢索"MP時間軸對齊"事件消息匣的"id"字段，將檢索結果中 "presentation_time_delta"字段值為"0"事件消息匣對應的媒體片段確定為需要與傳輸 流進行時間軸對齊的動態自適應流媒體的媒體片段，即圖14中左起第一個媒體片段。
[0234] 在本發明一個可選的實施例中，終端根據需要與傳輸流進行時間軸對齊的媒體片 段的媒體呈現時間確定該媒體片段所在時段中后續媒體片段的媒體呈現時間。特別地，當 需要進行時間軸對齊的媒體片段的媒體呈現時間表示為相對于傳輸流時間軸的PTS時，存 在以下關系：
[0235] Segments PTS (in seconds) =Segmentsyn PTS (in seconds)+emsg. presentation- time_delta/emsg. timescale，其中：
[0236] ?下標syn為需要進行時間軸對齊的媒體片段（所攜帶"MP時間軸對齊"事件消 息匣中"presentation_time_delta"字段值為"0"）的編號；
[0237] ?下標s為后續媒體片段（所攜帶"MP時間軸對齊"事件消息匣具有相同"id"字 段值）的編號；
[0238] · emsg. presentation_time_delta 為媒體片段 Segments所攜帶 "MP 時間軸對齊" 事件消息匣中的媒體呈現時間增量值；
[0239] · emsg. timescale為"MP時間軸對齊"事件消息匣中時間標度值；
[0240] · Segmentsyn PTS與Segments PTS分別為需要進行時間軸對齊的的媒體片段以及 后續媒體片段的媒體呈現時間相對于傳輸流時間軸的PTS。
[0241] 圖15是根據本發明實施例的再一種自適應流媒體處理裝置的流程圖，如圖15所 示，該裝置包括第一獲取模塊152、確定模塊154和計算模塊156,下面對該裝置進行說明。
[0242] 第一獲取模塊152,用于獲取媒體片段中攜帶的媒體呈現MP時間軸對齊事件消 息；確定模塊154,連接至上述第一獲取模塊152,用于根據MP時間軸對齊事件消息確定對 齊的媒體片段，其中，該對齊的媒體片段是該MP時間軸中媒體呈現時間MPT與外部時間軸 進行對齊的媒體片段；計算模塊156,連接至上述確定模塊154,用于計算在MP時間軸與傳 輸流時間軸建立映射關系之后，上述MP時間軸對齊事件中的媒體片段在媒體呈現時間上 歷經的時間。
[0243] 圖16是根據本發明實施例的再一種自適應流媒體處理裝置中第一獲取模塊152 的結構框圖，如圖16所示，該第一獲取模塊152包括訪問單元162和第一獲取單元164,下 面對該第一獲取模塊152進行說明。
[0244] 訪問單元162，用于訪問媒體呈現描述MPD中帶內事件流InbandEventStream 元素；第一獲取單元164,連接至上述訪問單元162,用于獲取對應于上述帶內事件流 InbandEventStream元素的媒體片段中攜帶的MP時間軸對齊事件消息。
[0245] 其中，上述InbandEventStream元素可以包括：事件流方案標識schemeldUri屬性 和事件流值value屬性，用于指示MP時間軸對齊事件。
[0246] 在一個可選的實施例中，上述MP時間軸對齊事件消息包括以下至少之一：呈現時 間增量presentation_time_delta字段，用于提供MP時間軸對齊事件的時間；事件持續時 間event_duration字段，用于表示媒體呈現剩余時間段；消息數據message_data字段，用 于提供上述對齊的媒體片段相對于所在時段Period時段開始時間的呈現時間T p。
[0247] 其中，上述MP時間軸對齊事件消息還可以包括：事件消息方案標識SChem e_id_ uri字段以及事件值value字段；該事件消息方案標識scheme_id_uri字段值等于事件流 方案標識schemeldUri屬性值，并且事件值value字段值等于事件流值value屬性值。
[0248] 圖17是根據本發明實施例的再一種自適應流媒體處理裝置中確定模塊154的結 構框圖，如圖17所示，該確定模塊154包括第一確定單元172,下面對該確定模塊154進行 說明。
[0249] 第一確定單元172,用于確定MP時間軸對齊事件消息中presentation_time_ delta字段值為預定值的媒體片段作為對齊的媒體片段。
[0250] 在一個可選的實施例中，上述裝置還包括：基于MP時間軸對齊事件消息中的 message_data字段中呈現時間Tp以及對齊的媒體片段所在表示Representation的呈現時 間偏移T。屬性值，計算該對齊的媒體片段的MPT，即T M= T P-T。。
[0251] 圖18是根據本發明實施例的再一種自適應流媒體處理裝置中計算模塊156的結 構框圖，如圖18所示，該計算模塊156包括第二確定單元182和計算單元184,下面對該計 算模塊156進行說明。
[0252] 第二確定單元182,用于確定MP時間軸對齊事件消息中具有相同標識id字段值 的媒體片段為MP時間軸對齊事件中的媒體片段；計算單元184,連接至上述第二確定單元 182,用于根據MP時間軸對齊事件消息中呈現時間增量presentation_time_delta字段值， 和時間標度timescale字段值，計算MP時間軸對齊事件中的媒體片段在媒體呈現時間上歷 經的時間。
[0253] 在一個可選的實施例中，上述計算單元184包括：根據以下公式計算MP時間軸 對齊事件中的媒體片段在媒體呈現時間上歷經的時間：MPT = MPTQ+emsg. presentation_ time_delta/emsg. timescale，其中，MPT。與MPT分別代表MP時間軸對齊事件中的對齊 媒體片段以及后續媒體片段的媒體呈現時間；emsg. presentation_time_delta與emsg. timescale分別代表MP時間軸對齊事件消息中的媒體呈現時間增量值及時間標度值。
[0254] 圖19是根據本發明實施例的再一種自適應流媒體處理裝置的優選結構框圖，如 圖19所示，該裝置除包括圖15所示的所有模塊外，還包括第二獲取模塊192,下面對該裝置 進行說明。
[0255] 第二獲取模塊192,連接至上述第一獲取模塊152,用于獲取攜帶有上述MP時間軸 對齊事件消息的媒體片段。
[0256] 圖20是根據本發明實施例的再一種自適應流媒體處理裝置中第二獲取模塊192 的結構框圖，如圖20所示，該第二獲取模塊192包括第二獲取單元202、第三確定單元204 和第三獲取單元206,下面對該第二獲取模塊192進行說明。
[0257] 第二獲取單元202,用于獲取事件流方案標識字段以及事件流值字段；第三確定 單元204,連接至上述第二獲取單元202,用于使用事件流方案標識字段值以及事件流值 字段值，確定媒體呈現描述MPD中的帶內事件流InbandEventStream元素；第三獲取單元 206,連接至上述第三確定單元204,用于獲取對應于帶內事件流InbandEventStream元素 的媒體片段作為媒體片段。
[0258] 在一個可選的實施例中，上述外部時間軸包括傳輸流時間軸。
[0259] 顯然，本領域的技術人員應該明白，上述的本發明的各模塊或各步驟可以用通用 的計算裝置來實現，它們可以集中在單個的計算裝置上，或者分布在多個計算裝置所組成 的網絡上，可選地，它們可以用計算裝置可執行的程序代碼來實現，從而，可以將它們存儲 在存儲裝置中由計算裝置來執行，并且在某些情況下，可以以不同于此處的順序執行所示 出或描述的步驟，或者將它們分別制作成各個集成電路模塊，或者將它們中的多個模塊或 步驟制作成單個集成電路模塊來實現。這樣，本發明不限制于任何特定的硬件和軟件結合。
[0260] 以上所述僅為本發明的優選實施例而已，并不用于限制本發明，對于本領域的技 術人員來說，本發明可以有各種更改和變化。凡在本發明的精神和原則之內，所作的任何修 改、等同替換、改進等，均應包含在本發明的保護范圍之內。
【主權項】
1. 一種自適應流媒體處理方法，其特征在于，包括： 獲取媒體片段中攜帶的媒體呈現MP時間軸對齊事件消息； 根據所述MP時間軸對齊事件消息確定對齊的媒體片段，其中，所述對齊的媒體片段是 所述MP時間軸中媒體呈現時間MPT與外部時間軸進行對齊的媒體片段； 計算在所述MP時間軸與所述外部時間軸建立映射關系之后，所述MP時間軸對齊事件 中的媒體片段在媒體呈現時間上歷經的時間。2. 根據權利要求1所述的方法，其特征在于，獲取媒體片段中攜帶的媒體呈現MP時間 軸對齊事件消息，包括： 訪問媒體呈現描述MPD中帶內事件流InbandEventStream元素； 獲取對應于所述帶內事件流InbandEventStream元素的媒體片段中攜帶的MP時間軸 對齊事件消息。3. 根據權利要求2所述的方法，其特征在于，所述InbandEventStream元素包括： 事件流方案標識schemeldUri屬性和事件流值value屬性，用于指示MP時間軸對齊事 件。4. 根據權利要求1所述的方法，其特征在于，所述MP時間軸對齊事件消息包括以下至 少之一： 呈現時間增量presentation_time_delta字段，用于提供MP時間軸對齊事件的時間； 事件持續時間event_duration字段，用于表示媒體呈現剩余時間段； 消息數據message_data字段，用于提供所述對齊的媒體片段相對于所在時段Period 時段開始時間的呈現時間Tp。5. 根據權利要求4所述的方法，其特征在于，所述MP時間軸對齊事件消息還包括： 事件消息方案標識scheme_id_uri字段以及事件值value字段； 所述事件消息方案標識scheme_id_uri字段值等于所述事件流方案標識schemeldUri 屬性值，并且所述事件值value字段值等于所述事件流值value屬性值。6. 根據權利要求4所述的方法，其特征在于，根據所述MP時間軸對齊事件消息確定對 齊的媒體片段，包括： 確定所述MP時間軸對齊事件消息中presentation_time_delta字段值為預定值的媒 體片段作為所述對齊的媒體片段。7. 根據權利要求4所述的方法，其特征在于，還包括： 基于所述MP時間軸對齊事件消息中的meSSage_data字段中呈現時間Tp以及所述對 齊的媒體片段所在表示Representation的呈現時間偏移Τ。屬性值，計算所述對齊的媒體 片段的 MPT，即 TM= Tp-T。。8. 根據權利要求4所述的方法，其特征在于，計算所述媒體片段在媒體呈現時間上歷 經的時間，包括： 確定所述ΜΡ時間軸對齊事件消息中具有相同標識id字段值的媒體片段為所述ΜΡ時 間軸對齊事件中的媒體片段； 根據所述MP時間軸對齊事件消息中呈現時間增量presentation_time_de 1 ta字段值， 和時間標度timescale字段值，計算所述MP時間軸對齊事件中的媒體片段在媒體呈現時間 上歷經的時間。9. 根據權利要求4或8所述的方法，其特征在于，根據所述MP時間軸對齊事件消息中 呈現時間增量presentation_time_delta字段值，和時間標度timescale字段值，計算所述 MP時間軸對齊事件中的媒體片段在媒體呈現時間上歷經的時間，包括： 根據以下公式計算所述MP時間軸對齊事件中的媒體片段在媒體呈現時間上歷經的時 間： MPT = MPT0+emsg. presentation_time_delta/emsg. timescale，其中， MPT。與MPT分別代表所述MP時間軸對齊事件中的對齊媒體片段以及后續媒體片段的 媒體呈現時間； emsg. presentation_time_delta與 emsg. timescale 分別代表所述MP 時間軸對齊事件 消息中的媒體呈現時間增量值及時間標度值。10. 根據權利要求1至9中任一項所述的方法，其特征在于，在獲取媒體片段中攜帶的 媒體呈現MP時間軸對齊事件消息之前，所述方法還包括： 獲取攜帶有所述MP時間軸對齊事件消息的所述媒體片段。11. 根據權利要求10所述的方法，其特征在于，獲取攜帶有所述MP時間軸對齊事件消 息的所述媒體片段包括： 獲取事件流方案標識字段以及事件流值字段； 使用所述事件流方案標識字段值以及事件流值字段值，確定媒體呈現描述MPD中的帶 內事件流InbandEventStream元素； 獲取對應于所述帶內事件流InbandEventStream元素的媒體片段作為所述媒體片段。12. 根據權利要求1至9中任一項所述的方法，其特征在于，所述外部時間軸包括傳輸 流時間軸。13. -種自適應流媒體處理裝置，其特征在于，包括： 第一獲取模塊，用于獲取媒體片段中攜帶的媒體呈現MP時間軸對齊事件消息； 確定模塊，用于根據所述MP時間軸對齊事件消息確定對齊的媒體片段，其中，所述對 齊的媒體片段是所述MP時間軸中媒體呈現時間MPT與外部時間軸進行對齊的媒體片段； 計算模塊，用于計算在所述MP時間軸與所述外部時間軸建立映射關系之后，所述MP時 間軸對齊事件中的媒體片段在媒體呈現時間上歷經的時間。14. 根據權利要求13所述的裝置，其特征在于，所述第一獲取模塊包括： 訪問單元，用于訪問媒體呈現描述MPD中帶內事件流InbandEventStream元素； 第一獲取單元，用于獲取對應于所述帶內事件流InbandEventStream元素的媒體片段 中攜帶的MP時間軸對齊事件消息。15. 根據權利要求14所述的裝置，其特征在于，所述InbandEventStream元素包括： 事件流方案標識schemeldUri屬性和事件流值value屬性，用于指示MP時間軸對齊事 件。16. 根據權利要求13所述的裝置，其特征在于，所述MP事件軸對齊事件消息包括以下 至少之一： 呈現時間增量presentation_time_delta字段，用于提供MP時間軸對齊事件的時間； 事件持續時間event_duration字段，用于表示媒體呈現剩余時間段； 消息數據message_data字段，用于提供所述對齊的媒體片段相對于所在時段Period 時段開始時間的呈現時間τρ。17. 根據權利要求16所述的裝置，其特征在于，所述ΜΡ時間軸對齊事件消息還包括： 事件消息方案標識scheme_id_uri字段以及事件值value字段； 所述事件消息方案標識scheme_id_uri字段值等于所述事件流方案標識schemeldUri 屬性值，并且所述事件值value字段值等于所述事件流值value屬性值。18. 根據權利要求16所述的裝置，其特征在于，所述確定模塊包括： 第一確定單元，用于確定所述MP時間軸對齊事件消息中presentation_time_delta字 段值為預定值的媒體片段作為所述對齊的媒體片段。19. 根據權利要求16所述的裝置，其特征在于，還包括： 基于所述MP時間軸對齊事件消息中的meSSage_data字段中呈現時間Tp以及所述對 齊的媒體片段所在表示Representation的呈現時間偏移Τ。屬性值，計算所述對齊的媒體 片段的 MPT，即 TM= Tp-T。。20. 根據權利要求16所述的裝置，其特征在于，所述計算模塊包括： 第二確定單元，用于確定所述ΜΡ時間軸對齊事件消息中具有相同標識id字段值的媒 體片段為所述MP時間軸對齊事件中的媒體片段； 計算單元，用于根據所述MP時間軸對齊事件消息中呈現時間增量pre sentat i on_ time_delta字段值，和時間標度timescale字段值，計算所述MP時間軸對齊事件中的媒體 片段在媒體呈現時間上歷經的時間。21. 根據權利要求16或20所述的裝置，其特征在于，所述計算單元包括： 根據以下公式計算所述MP時間軸對齊事件中的媒體片段在媒體呈現時間上歷經的時 間： MPT = MPT0+emsg. presentation_time_delta/emsg. timescale，其中， MPT。與MPT分別代表所述MP時間軸對齊事件中的對齊媒體片段以及后續媒體片段的 媒體呈現時間； emsg. presentation_time_delta與 emsg. timescale 分別代表所述MP 時間軸對齊事件 消息中的媒體呈現時間增量值及時間標度值。22. 根據權利要求13至21中任一項所述的裝置，其特征在于，所述裝置還包括： 第二獲取模塊，用于獲取攜帶有所述MP時間軸對齊事件消息的所述媒體片段。23. 根據權利要求22所述的裝置，其特征在于，所述第二獲取模塊包括： 第二獲取單元，用于獲取事件流方案標識字段以及事件流值字段； 第三確定單元，用于使用所述事件流方案標識字段值以及事件流值字段值，確定媒體 呈現描述MPD中的帶內事件流InbandEventStream元素； 第三獲取單元，用于獲取對應于所述帶內事件流InbandEventStream元素的媒體片段 作為所述媒體片段。24. 根據權利要求13至21中任一項所述的裝置，其特征在于，所述外部時間軸包括傳 輸流時間軸。
【文檔編號】H04N21/8547GK106034262SQ201510113122
【公開日】2016年10月19日
【申請日】2015年3月13日
【發明人】黃成
【申請人】中興通訊股份有限公司