專利名稱：處理和讀取具有媒體數據容器和元數據容器的文件的設備和方法
技術領域：
本發明涉及向具有媒體數據容器和元數據容器的文件存儲傳輸協議數據分組及
與其相關聯的輔助信息，和/或從具有媒體數據容器和元數據容器的文件讀取傳輸協議數
據分組及與其相關聯的輔助信息，所述文件例如是基于ISO (國際標準化組織)基礎媒體文
件格式的文件。
背景技術：
各種電子設備能夠接收和呈現媒體數據流。例如，可以根據例如DVB-H標準(數 字視頻廣播_手持)或DVB-T標準(數字視頻廣播_地面)，從廣播媒體流的數字視頻廣播 網絡上接收這樣的媒體數據流。 DVB-T使用自包含的MPEG-2 (MPEG =運動圖像專家組)傳輸流，該傳輸流包含根 據國際標準ISO/IEC 13818(IEC =國際電子技術委員會)的基本MPEG-2視頻和音頻流。 MPEG-2傳輸流是一種在當今的許多廣播系統中使用的復用流。它是一個或更多個流節目 (典型地是音頻和視頻以及其他數據)的流復用。MPEG-2傳輸流在所有媒體流中共享公共 的時鐘，并使用加時間戳的媒體樣本(訪問單元AU)。這實現了發送方與接收方的時鐘同 步，以及音頻與視頻流的口型同步。 對于DVB-H，以RTP (實時傳輸協議)、UDP (用戶數據報協議)、IP (因特網協議)和 MPE(多協議封裝)對基本音頻和視頻流進行封裝，以用于IP數據傳播。RTP用于多媒體數 據在IP網絡上的有效實時傳送。典型地，復用是通過將不同的網絡端口與每個不同的媒體 流相關聯來完成的，例如，一個網絡端口用于視頻而另一個用于音頻。通常，不同的媒體來 自具有不同時鐘或時鐘速率的不同源。例如，音頻樣本具有取決于音頻采樣設備的時鐘速 率的采樣速率，其中，視頻幀的幀速率取決于抓取(grab)設備的時鐘速率的視頻幀。這樣 的時鐘可以具有大于百萬分之幾百的固有頻率誤差，從而導致每天幾十秒的累計誤差。術 語"時鐘偏移(clock skew)"被定義為時鐘的實際振蕩器頻率與其額定頻率之差。如果發 送方的時鐘比接收方的時鐘運行得快，則這可以導致分組在接收方累積。如果發送方的時 鐘比接收方的時鐘運行得慢，則將導致接收方緩沖器未充滿。因此，如果接收方的時鐘速率 不同于發送方的時鐘速率，則接收方緩沖器或者漸滿或者漸空。此外，時鐘偏移可以導致相 關的音頻與視頻樣本在接收方處失去同步。 RTCP(實時傳輸控制協議)允許RTP流的時鐘恢復和同步。RTCP信道與每個RTP 流相關聯，并包括以發送方報告(SR)的形式從發送方至接收方的控制信息，反之亦然。每 個RTCP SR包括兩個時間戳發送方的系統時鐘(參考時間)的NTP(網絡時間協議)時間 戳以及關聯RTP流的對應的媒體時間戳。對于音頻和視頻，都要發送這些RTCP SR。從RTP 和NTP的時間值，可以在時間線上設置RTP分組，并且可以完美地同步媒體。
將流服務定義為以時間約束或無約束的方式傳送的用于接收過程中立即消耗的 同步媒體流的集合。每個流會話可以包括音頻、視頻和/或如定時文本之類的實時媒體數
5據。例如，通過移動電視接收電影的媒體數據的用戶可以觀看該電影和/或將其記錄到文 件中。通常，為了這個目的，對接收媒體流的接收數據分組進行解分組，以將原始媒體數 據存儲至文件。也就是說，首先對接收到的RTP分組或MPEG-2分組進行解分組，以獲得 它們的以媒體數據樣本形式的有效載荷。接著，在解分組之后，重放所獲得的媒體數據樣 本或將其存儲至文件。通常，通過如H. 264/ABC(AVC =高級視頻編碼)視頻格式和/或 MPEG-4HE-AACv2 (HE-AACv2 =高效高級音頻編碼第2版)音頻格式的格式來對所獲得的媒 體樣本進行壓縮。在要存儲具有這樣的視頻和/或音頻格式的媒體數據樣本時，可以以所 謂的3GP文件格式(也稱為3GPP (第3代合作伙伴項目)文件格式)或MP4 (MPEG-4)文件 格式對其進行存儲。3GP和MP4都是從IS0/IEC國際標準14496-12 :2005 "Information technology-coding of audio-visual objects-part 12 :ISObase media file format，， 中規定的ISO基本媒體文件格式中導出的。為了可以操作這樣的文件，這些數據均必須存 在。將媒體數據存儲在與文件相關的媒體數據容器(mdat)中，而將元數據存儲在文件的元 數據容器(moov)中。傳統上，媒體數據容器包括實際媒體樣本。即，它可以包括例如隔行 掃描的、按時間排序的視頻和/或音頻幀。因此，每個媒體在元數據容器moov中具有其自 身的元數據軌道(trak)，描述該媒體內容的屬性。元數據容器moov中的附加容器(也稱為 箱)可以包括關于文件屬性、文件內容等的信息。 近來，國際標準化組織定義了針對基于ISO基本媒體文件格式的文件的所謂的 接收提示軌道。這些接收提示軌道可以用于存儲復用的和/或分組化的流，例如接收的 MPEG-2傳輸流或RTP分組。接收提示軌道可以用于客戶端側存儲和回放接收到的數據分 組。因此，將一個流的接收MPEG-2TS或RTP分組直接存儲在接收提示軌道中作為例如預先 計算的樣本或構造器。 與對數據分組進行解復用和/或解分組、然后針對每個基礎媒體流(音頻和/或 視頻)寫入分離的媒體軌道相比，這種方法有兩個優點。第一，它降低了存儲過程中接收設 備所需的復雜度，這是因為不需要對接收的數據分組進行解復用或其他處理。僅對接收的 數據分組執行以未修改形式的文件存儲。第二，在某些情況下，根本不可能將接收的數據分 組解復用為分離的媒體軌道，尤其是以傳輸/復用級對媒體進行加密或分組化方案未知的 情況下。第三，由于頭兩點，在PVR(PVR二個人視頻記錄器)應用中，使時間偏移(即寫文 件和立即從同一文件中讀取具有可變的時間偏移)變得更容易。 可以通過模擬正常流的接收，并從接收提示軌道中讀取存儲的數據分組，如同它 們是通過IP接收的一樣，可以完成從接收提示軌道的回放。同所有提示軌道一樣，接收提 示軌道具有傳輸定時，其與具有媒體回放定時的媒體軌道相反。因此，接收設備的接收時間 戳與接收提示軌道中所存儲的每個數據分組相關聯。 服務器側文件中的RTP提示軌道僅存儲來自一個流的RTP媒體數據分組，并且不 包含對應的輔助或控制信息，例如RTCP信息或密鑰消息。由于RTCP信息描述了流的情形 的當前狀態，例如定時，因此，RTCP消息由流服務器動態地產生。 流接收方可以從接收時間中恢復發送方的系統時鐘，并將接收方的系統時鐘與發 送方的系統時鐘對齊，以避免緩沖器在直接回放運行下分別溢出。由于RTP分組或RTCP發 送方報告分組的到達時間的抖動(網絡抖動)，不論哪個分組用于時鐘恢復，即時的時鐘恢 復都是不可能的。盡管媒體時間戳以固定速率不斷增大，然而具有不同步的采樣時鐘的獨
6立的音頻和視頻捕獲單元可能導致RTP時鐘的漂移。RTCPSR攜帶針對每個流的NTP和RTP 時間戳，從而可以被用于提取相關設備的漂移。在許多系統中，在創建RTCP SR時，尤其在 NTP與RTP時鐘之間的關系中存在抖動。因此，通常流客戶端在啟動之后不能立即實現完 美的口型同步，而是需要在視頻與音頻流之間的口型同步變得精確之前，考慮特定數目的 RTCP SR。如果需要恢復發送方的系統時鐘，并且存在較高的網絡抖動，則也需要特定數目 的RTP分組或RTCP發送方的報告分組，而不論哪個分組用于時鐘恢復。在實時流接收過程 中，除相關數據分組的RTP時間戳之外，如上所述，可以使用多個RTCP SR的信息來重新計 算網絡抖動和時鐘漂移。 當前，RTP接收提示軌道被規定為只能存儲媒體流的接收數據分組，而不能包含對 應的RTCP SR，以及相應地發送方的報告中的定時信息。只有接收的RTP分組的RTP時間戳 不足以同步從不同流接收的媒體數據。這是因為，一般地，每個媒體流為其初始時間戳和初 始序列號分配隨機值，并且時間戳的時鐘頻率取決于所攜帶的媒體數據的格式。可以使用 RTP分組的到達或接收時間來進行流之間的同步。然而，這種方法的問題在于，RTP不保證 分組的傳送，也不制止帶外傳送。由此，僅基于接收時間的同步無法保證精確度。
如上所述，不同RTP流之間的最精確的同步方法需要等待關聯的RTCP SR，該RTCP SR包含能夠實現在RTP時間戳與流中采取NTP時間戳格式的公共時間戳之間的轉換的信 息。通常，針對特定比特率的每個流每5秒發送這些RTCP發送方報告，其中，兩個RTCP SR 之間的時間間隔取決于比特率。 因此，只有在以下兩種情況下，才可能實現具有精確定時和口型同步的RTP接收 提示軌道的回放第一，不同媒體時鐘之間沒有時鐘漂移，對于每個接收的RTP分組，有 RTCP發送方報告流間同步數據可用。然而，這與在現實環境中不可能發生的理想情形相對 應。第二，在存儲過程中，接收設備必須通過在存儲所接收的RTP分組之前調整所接收RTP 分組的RTP時間戳來考慮RTCP SR的定時信息。第一種情況只是一種理論上的情況，實際中不會發生。第二種情況給接收方施加
了沉重的負擔，例如，要考慮多個發送方RTCP SR用于定時調整，將需要緩沖幾秒的接收流。
這也將影響時間偏移應用中從相同文件即時讀取的能力。此外，在存儲之后，無法重新創建
原始接收情形，即在接收并記錄了完整的流之后，在處理階段不能移除長期抖動。 當前的廣播系統使用密鑰流(或帶內或帶外)，用于傳輸受保護的密鑰作為輔助
信息，該輔助信息用于對相關數據分組的媒體數據進行解密。典型地，密鑰流和加密的媒體
數據流之間僅存在松結合，沒有定時關系。 在DVB-H和OMA-BCAST (開放移動聯盟-移動廣播服務)中，將密鑰流定義為在與 不同于關聯媒體流的UDP端口上發送的密鑰消息的分離的流。將每個密鑰消息作為單個 UDP分組來發送。OMA-BCAST將這樣的消息稱為短期密鑰消息(STKM) ， DVB-H將其稱為密鑰 流消息(KSM)。由于每個密鑰消息由流服務的訂閱而界定，從而只能由授權的用戶/設備來 訪問，因此存儲密鑰消息不損害流系統的安全性。密鑰消息內的實際的密碼密鑰由服務或 節目密鑰來保護。 每個密鑰具有關聯的密鑰標識符(密鑰ID)，該密鑰標識符也在關聯的加密媒體 訪問單元中指示。解密器檢查密鑰的存在，該密鑰與加密訪問單元中的密鑰ID相關聯。
通過以重疊 有效周期頻繁發送密鑰來處理加密媒體訪問單元與關聯的密鑰消息的同步。在加密視頻分組之前發送該密鑰，該密鑰以對應的密鑰標識符來標記。接著，至 少只要媒體數據正在使用該特定密鑰，該密鑰就有效。 由于在流中沒有媒體定時與密鑰消息相關聯，因此，在記錄文件的過程中，將該密 鑰存儲為媒體軌道是不現實的。密鑰與對應的加密訪問單元之間的媒體定時關聯只能在處 理和分析對密鑰和媒體流進行結合的密鑰ID之后才能做出。只有在這樣的分析之后，才清 楚哪個密鑰是用于哪個訪問單元或視頻幀。
發明內容
本發明的目的是提供不同的記錄媒體流之間的即時精確的定時同步，而無需所述 記錄媒體流的每次回放過程中的復雜處理。即，本發明的目的是不需要在每次要回放記錄 媒體流時都對所述記錄媒體流進行去抖動，以及，對于記錄文件的回放，不需要對所有包括 的流進行時鐘恢復。 這個目的是通過如權利要求1所述的用于對存儲的數據分組進行處理的設備、如 權利要求20所述的用于對存儲的數據分組進行處理的方法、如權利要求22所述的用于讀 取文件的設備以及如權利要求23所述的用于讀取文件的方法解決的。 為了解決上述目的，本發明的實施例還提供了用于實施本發明的方法的計算機程序。 本發明是基于以下發現不僅通過存儲接收的流媒體數據分組，也通過在攜帶輔 助信息的接收過程中存儲關聯數據，尤其是與該媒體流并行傳送的所有關聯數據，例如包 括RTCP發送方報告的RTCP消息，或通過記錄包括密碼密鑰在內的關聯的接收密鑰消息， 所述密碼密鑰與所接收的流媒體數據分組所包括的媒體數據相關聯，可以同時解決上述問 題。 將所接收的關聯數據或輔助信息以所謂的關聯接收提示軌道("arht")的形式存
儲在包括媒體數據容器和元數據容器在內的文件中。該軌道由包含相關媒體分組在內的對
應的接收提示軌道使用例如IS0/IEC 14496-12的軌道引用機制來界定。如同相關的接收
提示軌道，該關聯接收提示軌道以例如接收方的系統時鐘的時間戳的形式存儲傳輸定時。
這樣可以實現在稍后階段的回放過程中恢復原始分組接收的定時條件。 該接收提示軌道和關聯接收提示軌道包括文件的媒體數據容器中的分組數據部
分和文件的元數據容器中的元數據部分。 根據本發明的實施例，在記錄關聯接收提示軌道的過程中，保存如RTCP SR之類的 消息以及相關的傳輸定時信息。并行地，將接收的媒體RTP分組和相關傳輸定時直接存儲 到接收提示軌道。在記錄過程中，不執行去抖動過程或口型同步校正。 為了這個目的，本發明的實施例提供了一種用于記錄具有相關媒體數據容器和元 數據容器的文件的設備。該設備包括接收機，該接收機用于接收第一數據分組和第二數據 分組，該第一數據分組包括基于第一時鐘的分組化的第一媒體數據樣本，該第二數據分組 包括基于不同于第一時鐘的第二時鐘的第二媒體數據樣本，其中，該第二媒體數據樣本與 第一媒體數據樣本相關聯。該接收機還適于接收第一控制分組和第二控制分組，該第一控 制分組包括用于指示第一時鐘與參考時鐘的關系的信息，該第二控制分組包括用于指示第 二時鐘與參考時鐘的關系的信息。該設備還包括記錄器，用于將接收到的第一和第二數據分組以及接收到的第一和第二控制分組的至少部分存儲在媒體數據容器中，并用于將關聯 元數據存儲在元數據容器中，該關聯元數據包括接收到的第一和第二數據分組以及接收到 的第一和第二控制分組的定時信息，并包括指示存儲的第一和第二數據分組以及第一和第 二控制分組在媒體數據容器中的位置的位置信息。 根據本發明的實施例，該記錄器適于將第一和第二接收數據分組作為樣本存儲在 媒體數據容器的第一組塊(chunk)中，并適于將接收到的關聯第一和第二控制分組作為樣 本存儲在媒體數據容器的第二組塊中。 根據本發明的實施例，該記錄器適于將第一和第二數據分組的定時信息和位置信 息存儲在文件的元數據容器的第一軌道中，并適于將第一和第二控制分組的定時信息和位 置信息存儲在文件的元數據容器的第二軌道中。 根據本發明的實施例，該文件基于ISO基礎媒體文件格式。根據本發明的優選實 施例，該文件是3GP或MP4文件。 根據本發明的實施例，第一數據分組是包括分組化的第一媒體樣本(例如壓縮視 頻)在內的第一流RTP分組，第一控制分組是與第一流RTP分組相關的、包括第一 RTCP發 送方報告的RTCP分組。第二數據分組是包括分組化的第二媒體數據樣本(例如與所述視 頻相關的壓縮音頻)在內的第二流RTP分組，第二控制分組是與第二流RTP分組相關的、包 括第二 RTCP發送方報告的RTCP分組。 第一和第二數據分組和關聯控制分組的并行存儲具有以下優點記錄過程仍然負 載較輕，并且可以捕獲用于在以后的階段中根據記錄的文件回放媒體流所需的所有信息。 在回放接收提示軌道的過程中，即回放文件的媒體數據容器中存儲的第一和/或第二數據 分組以及文件的元數據容器中存儲的其關聯元信息的過程中，使用所述關聯接收提示軌 道，即在媒體數據容器中存儲的控制分組和元數據容器中的關聯元信息。 為了回放記錄文件，本發明的實施例提供了一種用于讀取文件的設備，所述文件 在與所述文件相關的媒體數據容器中存儲第一數據分組以及第二數據分組，所述第一數據 分組包括基于第一時鐘的分組化的第一媒體數據樣本，所述第二數據分組包括基于不同于 第一時鐘的第二時鐘的分組化的第二媒體數據樣本。所述文件還存儲關聯的第一控制分組 的至少部分以及關聯的第二控制分組的至少部分，所述第一控制分組包括用于指示第一時 鐘與參考時鐘的關系的信息，所述第二控制分組包括用于指示第二時鐘與參考時鐘的關系 的信息。所述文件將關聯元數據存儲在文件的元數據容器中，所述關聯的元數據容器包括 接收到的第一和第二數據分組以及接收到的第一和第二控制分組的定時信息以及指示存 儲的第一和第二數據分組以及存儲的第一和第二控制分組在媒體數據容器中的位置的位 置信息。所述用于讀取文件的設備包括處理器，用于通過訪問元數據容器以及通過解釋媒 體數據容器中存儲的第一和第二數據分組以及存儲的第一和第二控制分組的定時信息來 確定存儲的第一和第二數據分組的輸出調度。所述設備還包括輸出控制器，用于根據所確 定的輸出調度，通過訪問媒體數據容器以及通過從媒體數據容器中讀取數據分組來輸出第 一和第二數據分組。 根據本發明的實施例，為口型同步、時鐘恢復和/或時鐘漂移調整，可以對存儲的 第一和第二數據分組以及關聯的存儲的第一和第二控制分組進行動態處理。這種回放等同 于對記錄的媒體流的模擬實況接收。
記錄的接收提示軌道(第一 /第二數據分組)和記錄的關聯接收提示軌道(第一
/第二控制分組)持續整個記錄過程。在回放或重放過程中，可以例如以RTCP SR的形式預
先取回關聯接收提示軌道的控制數據，例如，用于通過考慮多個未來的RTCP SR來實現精確
的口型同步，其中，所述未來的RTCP SR與當前回放時刻的未來的時刻相關。 本發明的優點在于關聯接收提示軌道的概念(即在接收媒體流的過程中記錄控
制信息)實現了與用于僅從文件同步回放流相關的所有信息的輕便的記錄過程，而不增加
復雜度。 在想要長期存儲記錄文件而最終將回放多次的情況下，可能希望在每次回放過程 中，避免分別分析存儲的第一/第二數據分組和存儲的第一/第二控制分組以及關聯的元 數據，取而代之的是，無需進一步處理，媒體定時就直接可用，即用于重放第一 /第二存儲 數據分組所包括的第一/第二媒體數據樣本的定時直接可用。 通常，這暗示著根據接收提示軌道對所存儲的數據分組進行解分組，并以每軌道 一個基本流將其存儲至相關媒體數據容器中的媒體軌道。這并不總是可能的或有利的，例 如，如果對流的分組應用了傳輸加密或如果存儲容量有限。 除傳輸分組的精確定時之外，還希望關于接收提示軌道的擴展信息(存儲的第一 /第二數據分組加元信息)可用，尤其是關于第一/第二數據分組內的媒體數據樣本的信 息，例如，幀精度的SMPTE時間戳(SMPTE =運動畫面和電視工程師協會)或視頻軌道的字幕。 為了這個目的，本發明的實施例也提供了一種設備，所述設備用于對與文件相關 的媒體數據容器中存儲的傳輸協議相關的數據分組進行處理，并用于對文件的元數據容器 中存儲的關聯元信息進行處理，所述關聯元信息包括傳輸定時信息和指示存儲的數據分組 在媒體容器中的位置的位置信息。所述設備包括處理器，所述處理器基于存儲的數據分組 和存儲的關聯元信息，確定針對存儲的數據分組的有效載荷的解碼信息，其中，所述解碼信 息指示了在哪個時刻重放存儲的數據分組中的哪個有效載荷。所述用于處理的設備可以是 獨立設備，也可以是被集成到上述用于存儲文件的設備中的設備。 根據實施例，存儲的數據分組可以包括MPEG-2傳輸流分組。根據另一個實施例， 存儲的數據分組可以包括RTP分組，所述RTP分組包括分組化的媒體數據。
根據本發明的實施例，基于媒體訪問單元來確定所述解碼信息。即，對于每個訪問 單元，例如媒體幀，在文件的媒體數據容器中存儲解碼信息樣本，其中，所述解碼信息樣本 指示了從存儲的數據分組的哪個部分取出哪個媒體數據樣本以獲得媒體(例如視頻和音 頻)幀。將與所述解碼信息樣本相關的元信息存儲在元數據容器中的解碼信息元數據軌道 中。因此，所述解碼信息元數據軌道(ISO基礎媒體文件格式的"trak"箱/原子)包括針 對所述解碼信息樣本的定時和位置信息。 存儲的解碼信息樣本及其關聯解碼信息元數據軌道(以下也被稱為"虛擬媒體軌 道")是在關聯接收提示軌道的思想上建立的，為回放提供了上述優點。在虛擬媒體軌道的 元數據部分，提供了針對媒體數據容器中的相關解碼信息樣本的媒體定時。該解碼信息樣 本提供了從哪個存儲數據分組或傳輸單元獲得針對相關媒體訪問單元的媒體數據的信息， 該信息使得不需要對媒體分組進行解分組。可以在最終接收到媒體流之后，使用來自接收 提示軌道的信息，以及如果必要的話使用來自關聯接收提示軌道的信息，來建立虛擬媒體
10軌道。這是在"反提示過程"中完成的，產生的文件使回放設備能夠在文件中進行搜索，并 且能夠基于媒體定時執行對媒體的隨機訪問。 虛擬媒體軌道可以被視為不完整的媒體軌道。因此，可以應用從RTP和RTCP接收 提示軌道恢復的定時以及媒體軌道的所有索引(典型地通過使用"樣本表")。此外，定時 的元數據軌道可以引用虛擬媒體軌道并對其進行擴展。 虛擬媒體軌道可以由解碼信息樣本(虛擬媒體樣本)來建立，所述解碼信息樣本 可以包含用于根據接收提示軌道傳輸單元重構訪問單元的構造器。此外，所述解碼信息樣 本可以包含對與訪問單元的重構(不完整構造器)相關的一個或更多重要傳送單元的鏈 接。同樣，虛擬媒體軌道的解碼信息樣本或虛擬媒體樣本可以是空的，例如，在接收過程中 分組丟失的情況下。備選性地，虛擬軌道的解碼信息樣本(下面也稱為虛擬媒體樣本)可 以包含如在經典媒體軌道中那樣的完整的已拆包的媒體樣本。 按照至接收提示軌道的對應傳送單元的鏈接，可以將來自虛擬媒體軌道的樣本表 中的索引的信息(以及例如來自定時的元數據軌道的任何關聯信息)邏輯地應用至參考接 收提示軌道。 如果不能從流中恢復出對虛擬媒體樣本的描述，虛擬媒體軌道可以包含虛擬媒體 樣本的近似和不完整的描述。這尤其適用于數據分組被加密或不完全知道解分組方案的情 況。 為了重放虛擬媒體軌道，本發明的實施例提供了一種用于讀取文件的設備，所述 文件在與所述文件相關的媒體數據容器中存儲包括有效載荷在內的數據分組，并在所述媒 體數據容器中存儲針對存儲的數據分組的有效載荷的解碼信息，其中，所述解碼信息指示 在哪個時刻重放存儲的數據分組中的哪個有效載荷，所述文件在媒體數據容器中存儲關聯 元數據，所述關聯元數據指示媒體數據容器中解碼信息的解碼時間和位置。所述設備包括 處理器，用于通過訪問媒體數據容器中的關聯元數據，并通過基于所述元數據訪問媒體數 據容器中的解碼信息，以及通過基于所述解碼信息訪問存儲的數據分組中的有效載荷，來 確定存儲的數據分組中的有效載荷的輸出調度。輸出控制器用于根據所確定的輸出調度來 輸出所述有效載荷。 與在記錄過程中將接收到的數據分組動態地轉換為媒體軌道相比，虛擬媒體軌道 提供了媒體定時和元數據，而無需對媒體數據(存儲數據分組)進行解分組，從而節省了存 儲空間。虛擬媒體軌道使回放設備能夠基于媒體定時在文件中進行搜索。虛擬媒體軌道在 無需加倍文件大小的情況下合并了媒體軌道和接收提示軌道的優點，如果向文件加入經典 媒體軌道可能會出現文件大小加倍的情況。利用虛擬媒體軌道的概念，保持了原始接收過 程的所有信息，例如有助于錯誤隱藏的關于分組丟失的信息，以及有助于口型同步的關于 接收定時的信息。同時，本發明的虛擬媒體軌道提供了用于媒體訪問的傳統媒體軌道的所 有可能性。與傳統媒體軌道相比，甚至提供了更多的靈活性。可以基于逐樣本來確定存儲 的傳輸單元(數據分組)是否完全被拆包為訪問單元(媒體幀)，或是否例如為了節省存儲 空間而僅存儲了用于重構訪問單元的構造器或鏈接。此外，在一個虛擬媒體軌道中混合了 所有可能性，即包括完整訪問單元、構造器、鏈接或為空的解碼信息樣本或虛擬媒體樣本。
多個虛擬媒體軌道可以引用傳送單元或數據分組，所述傳送單元或數據分組來自 實現相同的記錄數據分組流的不同索引的相同接收提示軌道。例如，具有隨機訪問的兩個虛擬媒體軌道，一個涉及音頻，另一個涉及視頻，指向相同的MPEG-2傳輸流接收提示軌道 的音頻和視頻索引。 為了實現接收和存儲的數據分組中的加密媒體數據樣本的回放或重放，也可以在 文件的媒體數據容器中的數據分組旁邊存儲關聯的密鑰流消息。根據本發明的實施例，所 述密鑰流消息被存儲在密鑰流接收提示軌道的樣本中。接收時間(傳輸時間)可以用作密 鑰流樣本的時間戳，以將該密鑰消息與對應接收提示軌道中的加密媒體分組對齊。軌道引 用用于將密鑰流接收提示軌道與媒體接收提示軌道相關聯。 為了記錄文件的目的，本發明的實施例提供了一種用于記錄文件的設備，所述文 件具有相關的媒體數據容器和元數據容器。所述設備包括接收機，用于接收數據分組以及 用于接收包括多個密碼密鑰的密鑰流分組，其中每個數據分組包括有效載荷，每個密碼密 鑰與數據分組的有效載荷相關聯。所述設備包括記錄器，用于將接收到的數據分組和接收 到的密鑰流分組存儲在所述媒體數據容器中，并用于將關聯元數據存儲在所述元數據容器 中，所述關聯元數據包括接收到的數據分組和接收到的密鑰流分組的傳輸定時信息，以及 指示存儲的數據分組和存儲的密鑰流分組在媒體數據容器中的位置的位置信息。所述用于 記錄數據分組和密鑰流分組的設備可以是獨立設備，也可以是被集成到或與上述用于存儲 和/或處理的設備結合的設備。 根據本發明的實施例，所述記錄器適于將接收到的數據分組作為樣本存儲在所述 媒體數據容器的第一組塊中，并將接收到的關聯密鑰流分組作為樣本存儲在所述媒體數據 容器的第二組塊中。根據本發明的實施例，所述記錄器適于將數據分組的傳輸定時信息和 位置信息存儲在所述媒體數據容器的第一軌道中，并將密鑰流分組的傳輸定時信息和位置 信息存儲在所述元數據容器的第二軌道中。 根據本發明的實施例，所述文件基于ISO基礎媒體文件格式。 根據本發明的實施例，所述數據分組包括MPEG-2傳輸流分組。 根據本發明的另一實施例，所述數據分組包括RTP分組，所述RTP分組包括分組化
的媒體數據樣本。 為了便于在接收數據分組流和關聯密鑰流之后進行回放，可以進行一次處理，以 將密鑰流接收提示軌道轉換為虛擬元數據軌道。具有傳輸定時的密鑰流接收提示軌道中的 密鑰消息可以被變換為具有媒體定時的虛擬元數據軌道中的密鑰樣本，所述虛擬元數據軌 道與上述虛擬媒體軌道類似。如果需要，虛擬地加倍密鑰樣本，使得媒體軌道中的每個媒體 樣本擁有密鑰軌道中的關聯的密鑰樣本。 因此，可以創建媒體訪問單元與密鑰消息之間的精確的定時關系，尤其是當可以 根據傳送單元重構加密的訪問單元時(在內容加密的情況下)。 為了重放，實施例提供了一種用于讀取文件的設備，所述文件在與文件相關的媒 體數據容器中存儲包括分組化的媒體數據樣本在內的數據分組以及關聯的密鑰流分組。所 述文件在元數據容器中存儲了關聯元數據，所述關聯元數據包括接收的數據分組和接收的 密鑰流分組的傳輸定時信息，以及指示存儲的數據分組和存儲的密鑰流分組在媒體數據容 器中的位置的位置信息。此外，所述設備包括處理器，所述處理器基于數據分組，基于關聯 元信息，以及基于存儲的密鑰流分組和關聯的密鑰流元信息，將解密信息分配給存儲的數 據分組的有效載荷，其中，所述解密信息指示了在哪個時刻使用哪個密碼密鑰來重放存儲
12的數據分組的有效載荷。提供了用于輸出基于所分配的解密信息的解密的數據分組的輸出
丄山順。 本發明的實施例完全保持了密鑰消息的接收定時以及與接收數據分組的定時關 系。當文件包含具有密鑰消息的元數據軌道，所述密鑰消息針對包括存儲的數據分組的媒 體軌道中的每個對應媒體樣本時，本發明的實施例實現了將記錄文件轉換為針對回放而優 化的文件。因此，在回放過程中，不需要為了正確的密鑰而解析記錄的密鑰軌道。
結合附圖考慮以下詳細描述，本發明的其他目的和特征將變得顯而易見，在附圖 中 圖1是根據本發明的實施例的用于記錄文件的設備的示意框圖； 圖2示出了根據本發明的實施例的具有相關媒體數據容器和元數據容器的記錄
文件的示意文件結構； 圖3示出了基于ISO基礎媒體文件格式的文件的示意結構； 圖4示出了根據本發明的實施例的用于記錄文件的方法的流程圖； 圖5示出了根據本發明的另一實施例的用于記錄文件的另一方法的流程圖； 圖6示出了根據本發明的實施例的用于記錄和處理文件以獲得虛擬媒體軌道的
設備的示意框圖； 圖7示出了根據本發明的實施例的具有虛擬視頻軌道的記錄文件的示意結構；
圖8示出了根據本發明的實施例的用于記錄數據分組、創建虛擬媒體樣本以及重 放通過虛擬媒體樣本來存儲的數據分組所包括的媒體樣本的方法的流程圖；
圖9示出了根據本發明的實施例的如何獲得引用存儲數據的有效載荷所包括的 媒體幀的虛擬媒體樣本的描述信息的示例； 圖IO示出了根據本發明的實施例的接收提示軌道的樣本與虛擬媒體軌道的映 射； 圖11示出了根據本發明的另一實施例的用于記錄文件的設備的示意框圖；
圖12示出了移動TV環境下的密鑰流和媒體同步的原理。
具體實施例方式
圖1示出了用于記錄具有相關媒體數據容器104和元數據容器106的文件102的
設備ioo的示意流程圖。 設備100包括接收機108，用于接收第一數據分組110和第二數據分組112，第一 數據分組110包括基于第一時鐘的分組化的第一媒體數據樣本，第二數據分組112包括基 于不同于第一時鐘的第二時鐘的第二媒體數據樣本，其中，第二媒體數據樣本與第一媒體 數據樣本相關聯。此外，接收機108用于接收第一控制分組114，第一控制分組114包括 用于指示第一時鐘與參考時鐘的關系的信息，并用于接收第二控制分組115，第二控制分組 115包括用于指示第二時鐘與參考時鐘的關系的信息。此外，設備IOO包括記錄器116，用 于將接收到的第一和第二數據分組110U12以及接收到的第一和第二控制分組114U15的 至少一部分存儲在媒體數據容器104中，并用于在元數據容器106中存儲關聯元數據，所述關聯元數據包括接收到的第一和第二數據分組110U12以及接收到的第一和第二控制分 組114U15的定時信息。此外，所述關聯元數據包括指示第一和第二數據分組110U12以 及第一和第二控制分組114U15被存儲在媒體數據容器104中的位置的位置信息。
根據本發明的實施例，第一數據分組110可以是包括分組化的第一媒體數據樣本 (例如視頻)的第一流RTP分組，第二數據分組112可以是包括分組化的第二媒體數據樣本 (例如音頻)的第二流RTP分組。相應地，第一控制分組114可以是與第一流RTP分組110 相關聯的RTCP分組，其中，第二控制分組115可以是與第二流RTP分組112相關聯的RTCP 分組。 根據本發明的實施例，文件102可以是基于ISO基礎媒體文件格式的文件。例如， 該文件格式可以是MPEG-4兼容的文件格式，即文件102可以是由ISO/IEC 14496-14規定 的所謂的MP4文件。MP4文件格式由存儲在元數據容器106中的元數據組成，該元數據描述 典型地與存儲在媒體數據容器104中的媒體相關的信息。媒體數據容器104也可以位于文 件102之外。例如，媒體數據容器104可以是分離的存儲位置，該位置可以通過文件102中 的鏈接來引用。通常，存儲在媒體數據容器104中的媒體數據是編碼的視頻和/或音頻數 據。在相關規范中，容器104和106是被稱為"箱"(或"原子")的數據結構。
典型地，箱由大小字段、類型字段和數據字段組成。在大小字段中，包含包括該大 小字段的整個箱的大小，即字節數。在箱的類型字段中存儲箱標識符，通常是4個字母。在 數據字段中存儲實際的報頭數據和媒體數據。使用這樣的箱結構形成上述MP4文件格式的 元數據容器106典型地被稱為電影箱"moov"。類似地，媒體數據容器104被稱為媒體數據 箱，下文中稱為"mdat"。 典型地，媒體數據容器mdat 104由數據單元或樣本的序列組成，該數據單元或樣 本的序列被組合為所謂的組塊。組塊可以具有不同大小，組塊內的樣本可以具有不同的大 小。 根據本發明的實施例，記錄器116適于將第一和第二接收數據分組H0、112作為 樣本存儲在媒體數據容器104的第一組塊118中。記錄器116還適于將接收到的關聯第 一和第二控制分組114、 115的至少部分作為樣本存儲在媒體數據容器104的第二組塊122 中，如圖2所示。 組塊118、 122的存儲可以以交錯的方式完成。 因此，組塊的樣本可以包括一個或更多接收到的數據分組。也就是說，第一組塊 118的樣本可以包括一個或更多接收到的第一和/或第二RTP分組110、112，第二組塊122 的樣本可以包括接收到的第一和/或第二控制分組114、 115中的一個或更多第一和/或第 二RTCP SR。 可以將多個第一組塊118視為(RTP-)接收提示軌道的媒體數據部分。類似地，可 以將多個第二組塊122視為接收提示軌道的關聯(RTCP-)接收提示軌道的媒體數據部分。 即，在圖1或圖2的情況下，針對所有接收到的RTP分組110、 112，存在一個RTP接收提示軌 道；針對所有接收到的RTCP分組114、 115或RTCP SR，存在一個關聯RTCP接收提示軌道。 這意味這最小的記錄復雜度。 RTCP接收提示軌道不需要任何普通分組有效載荷配置數據，盡管它只有在與其相 關的基礎RTP接收提示軌道的SDP (會話描述協議)信息結合時才有用。
RTCP接收提示軌道樣本有效載荷由原始RTCP分組組成。該原始RTCP分組可以直 接被其RTCP報頭包括，或者在另一種結構內分組裝，以便能夠在一個樣本中存儲多個RTCP 分組。 RTCP樣本的定時取決于其關聯RTP接收提示軌道的定時方法。如果RTP接收提示 軌道從RTP時間戳中推導出其解碼時間，則RTCP接收提示軌道也從RTCP分組中的RTP時 間戳中推導出其解碼時間。如果接收時間用于RTP接收提示軌道，則接收定時也用于存儲 RTCP分組。 一般地，RTP接收提示軌道和RTCP接收提示軌道被同步，并使用相同的時間基 礎。 如圖1和2所示，記錄器116可以適于將第一和第二接收數據分組110U12的定 時信息和位置信息存儲在媒體數據容器106的第一元數據軌道124中，并適于將與第一和 第二數據分組110、112相關聯的接收到的第一和第二控制分組114U15的定時信息和位置 信息存儲在媒體數據容器106的第二元數據軌道128中。將參考圖3，給出對存儲過程的更 詳細的描述。 第一元數據軌道124可以被視為RTP接收提示軌道的元數據部分。類似地，第一 元數據軌道124可以被視為接收提示軌道的關聯RTCP提示軌道的元數據部分。
在圖2的示例中，在以后的階段，例如通過使用結合RTP分組存儲的各個媒體類型 的SDP信息，可以從單個RTP接收提示軌道和單個關聯RTCP接收提示軌道中識別各個媒體 流(例如視頻/音頻)。 圖2示出了具有RTP接收提示軌道和關聯RTCP接收提示軌道的ISO媒體文件102 的結構。 如上所述，文件102包括元數據容器106，其中，元數據容器106包括RTP接收提示 軌道124， RTP接收提示軌道124包括與接收到的RTP分組相關的信息，RTP分組作為樣本 存儲在媒體數據容器104的第一組塊118-l、118-2等等中。這就是說，RTP接收提示軌道 124包括在接收過程中存儲的(第一和第二 )RTP分組的傳輸定時。 該傳輸定時可以是接收機108的接收時鐘的時間戳和/或可以是接收到的RTP分 組110、 112的RTP時間戳。也就是說，對于每個RTP分組或樣本，RTP接收提示軌道的元數 據部分124包括關于何時接收各個RTP分組110U12的指示，以及此外還包括關于各個RTP 分組被存儲在媒體數據容器104中的何處的信息。 對于關聯RTCP接收提示軌道的元數據部分128同樣如此。元數據部分128包括 存儲在第二組塊122中的接收到的RTCP分組的傳輸定時信息。例如，該傳輸定時信息可以 是相關RTCP分組的接收時間，或與該RTCP分組相關的RTP分組的RTP時間戳。此外，關聯 RTCP接收提示軌道的元數據部分128包括指示RTCP分組被存儲在媒體數據容器104中何 處的位置信息。 根據其他實施例，在記錄過程中可以直接分析這些SDP參數，使得可以將與不同 媒體相關的RTP會話立即存儲至分離的RTP接收提示軌道以及分離的關聯RTCP接收提示 軌道。 因此，根據本發明的實施例，記錄器116適于將第一接收數據分組110作為樣本存 儲在媒體數據容器104的第一組塊中。記錄器116還適于將第二接收數據分組112作為樣 本存儲在媒體數據容器104的第二組塊。記錄器116適于將接收到的關聯第一控制分組114的至少部分作為樣本存儲在媒體數據容器104的第三組塊中，以及適于將接收到的關聯第
二控制分組115的至少部分作為樣本存儲在媒體數據容器104的第四組塊中。 組塊的存儲可以以交錯的方式來完成。也就是說，根據本發明的實施例，可以以交
錯的方式存儲與第一媒體流(例如視頻)相關的第一RTP分組、與第二媒體流(例如音頻)
相關的第二 RTP分組、以及關聯的第一和第二 RTCP分組或至少第一和第二 RTCP發送方報
告作為第一、第二、第三和第四組塊的樣本。 因此，組塊的樣本可以包括一個或更多接收到的數據分組。也就是說，第一組塊的 樣本可以包括一個或更多接收到的第一數據分組110，第二組塊的樣本可以包括一個或更 多接收到的第二數據分組112，第三組塊的樣本可以包括接收到的第一控制分組114的一 個或更多第一RTCP SR，第四組塊的樣本可以包括接收到的第二控制分組115的一個或更 多第二RTCP SR。 可以將多個第一組塊視為與第一分組110的媒體相關的第一接收提示軌道的媒 體數據部分。可以將多個第二組塊視為與第二分組112的媒體相關的第二接收提示軌道的 媒體數據部分。可以將多個第三組塊視為第一接收提示軌道的關聯提示軌道的媒體數據部 分。類似地，可以將多個第四組塊視為第二接收提示軌道的關聯提示軌道的媒體數據部分。 即，在RTP接收提示軌道和RTCP關聯接收提示軌道的情況下，可以針對每個識別的RTP會 話記錄接收提示軌道，可以針對每個記錄的RTP接收提示軌道記錄關聯接收提示軌道。
根據本發明的實施例，記錄器116適于將第一接收數據分組110的定時信息和位 置信息存儲在媒體數據容器106的第一元數據軌道中，并適于將第二接收數據分組112的 定時信息和位置信息存儲在元數據容器106的第二元數據軌道中。記錄器116適于將與第 一數據分組110相關聯的接收到的第一控制分組114的定時信息和位置信息存儲在媒體數 據容器106的第三元數據軌道中，并適于將與第二數據分組112相關聯的接收到的第二控 制分組115的定時信息和位置信息存儲在媒體數據容器106的第四元數據軌道中。
現在轉到圖3，給出對基于ISO媒體基礎格式的文件的元數據容器106的更詳細的 描述。 將媒體數據容器106 (對于基于ISO媒體基礎格式的文件被稱為"moov")進一步 分層為箱，所需的箱302以電影報頭箱"mvhd"的形式包含報頭信息作為一個整體，以及多 個"trak"箱304 (在圖3中僅示出一個)。將trak箱304進一步分層為兩個箱，其中，軌道 報頭箱"tkhd"306規定了該軌道的特性。 trak箱304還包括媒體箱"mdia" 308， mdia箱308包括所有對象，即關于軌道內 的數據分組(通常是媒體數據)的聲明信息。mdia箱308包括媒體報頭箱"mdhd"310和處 理引用箱"hdlr"312。媒體報頭箱mdhd 310包括總體信息，該總體信息是獨立于媒體的， 與覆蓋接收提示軌道中的"媒體"(即數據分組)的特性相關。處理引用箱hdlr 312聲明 了一個過程，通過該過程呈現軌道中的"媒體數據"，從而聲明了軌道中的"媒體"的本質，例 如接收提示軌道。 此外，媒體mdia箱308包括媒體信息箱"minf" 314。該箱包含聲明提示軌道中 的"媒體"(數據分組)的特性信息的所有對象。媒體信息箱minf 314還包括提示媒體箱 "hmhd" 316，提示媒體箱hmhd 316包含針對提示軌道的總體信息。此外，媒體信息箱minf 314包括數據信息箱"dinf"318。數據信息箱dinf 318包含聲明媒體信息在軌道中的位置的對象。 此外，媒體信息箱minf 314包括樣本表箱"stbl" 320。該箱中包含了媒體數據容器mdat 104的組塊和樣本中的至少之一的數據，其鏈接到每一項。為了描述stbl 320中的項，應觀察到，stts箱322包括一個樣本的持續時間，stsd箱324包括樣本細節，stsz326包括樣本大小，stsc328包括組塊中所包括的樣本數目，即數據分組的數目，以及stco箱330包括組塊偏移，每個與媒體數據容器104中的樣本/分組鏈接。
如上所述，記錄器116適于將接收到的數據分組110U12的(傳輸)定時信息和位置信息存儲在相關接收提示軌道的元數據部分124、 128中。具體地，將定時信息存儲在軌道124、 128的相關樣本表箱stbl 320中，所述定時信息可以是從接收時間戳推導出的定時信息，或者可以是從后續接收到的數據/控制分組推導出的相對定時信息。
圖4示出了對接收到的數據分組的時間相關的元信息進行接收并將其存儲在元數據軌道124、 128軌道所包括的樣本箱stbl 320中的過程的流程圖。
在第一步驟402，接收機108接收數據分組，該數據分組可能是RTP分組或RTCP分組。在第二步驟404，通過接收機108的系統時鐘以接收時間戳的形式獲得與接收到的數據分組相關的定時信息，或者，從接收到的數據分組的RTP時間戳中獲得與接收到的數據分組相關的定時信息。在后續步驟406，計算與先前的接收數據分組的時間差。在步驟408，將計算得到的時間差寫入各個元數據軌道的stts箱322中，其中，stts能夠將接收定時索引到各個樣本號(即接收并存儲的分組)。也就是說，根據本發明的實施例，對箱stts 322進行采樣的解碼時間包含接收時間增量RT(n+l) = RT(n)+stts(n)，其中RT(n)表示分組n的接收時間，stts(n)是分組n的未壓縮的表的條目。 如上所述，將媒體數據容器104內的樣本(分組)組合為組塊110、 112。這些組塊可以具有不同的大小，組塊內的樣本也可以具有不同的大小。可以使用對組塊箱stsc 328的采樣來尋找包含特定樣本、其位置以及關聯的樣本描述的組塊。每個條目給出了一系列具有相同特性的組塊中的第一組塊的索引。這里，通過從前一個條目中減去一個條目，可以計算出在各個系列中有多少組塊。可以通過乘以適當的每組塊樣本數，將其轉換為樣本計數。 組塊偏移表stco或co64330給出了每個組塊到媒體數據容器104的索引。存在兩種變體，允許使用32比特或64比特偏移。后者可用于在管理非常大的文件102。偏移通常是文件的偏移，而不是進入文件內(例如媒體數據容器中)的任何箱中的偏移。這允許在沒有任何箱結構的情況下參考文件中的媒體數據。 因此，根據本發明的實施例，記錄器116適于存儲指示每個第一組塊進入文件的索引的第一組塊偏移表330。參照圖5進行描述。 在第一步驟502中由接收機108接收數據分組之后，在第二步驟504，將接收到的數據分組110U12存儲在與文件102相關的媒體數據容器104中。由此，以媒體數據容器104中的存儲地址，將接收到的數據分組110U12作為樣本進行存儲。在第三步驟506，計算該存儲地址對于文件102的起始處的偏移(如果文件102包括媒體數據容器104)或對于媒體數據容器104的起始處的偏移(如果媒體數據容器104指明了分離的文件)。其后，將計算得到的偏移寫入相關元數據軌道124的stco或co64箱330。
對于控制分組114、 115及其相關元數據軌道128的存儲同樣如此。
為了概括以上所述，應對為了創建接收提示軌道或關聯接收提示軌道而執行的操作進行概述，例如下面將要進一步更詳細地描述的RTP/RTCP接收提示軌道或密鑰流接收提示軌道。對于下面將要解釋的虛擬媒體軌道同樣如此。當要向基于ISO基礎媒體文件格式的文件102加入軌道時，典型地，在根據本發明的實施例的設備100中實現以下操作。
參向moov箱添加新的trak箱 參向新創建的trak箱添加新的tkhd箱。該tkhd箱包含軌道的特性，例如創建時間、軌道ID、"媒體"軌道的尺寸以及持續時間。 參向新創建的trak箱添加新的tref箱。該tref箱指示了軌道的聯接，即一個軌道是否可以自己獨立或只能與另一個軌道結合使用。應注意，可以通過使用tref箱的軌道引用或隱式鏈接來鏈接接收提示軌道，所述隱式鏈接例如是通過包含可以用于鏈接兩個或更多軌道的數據的樣本描述。因此，該tref箱是可選的，但建議采用軌道鏈接機制。
參向新創建的trak箱添加新的mdia箱。 參向新創建的mdia箱添加新的mdhd箱。該mdhd箱包含軌道中的媒體的特性，例如媒體的持續時間和語言。 參向新創建的mdia箱添加新的hdlr箱。該hdlr箱包含對典型地能夠消耗這樣的媒體的過程的識別。在高級接收提示軌道的情況下，例如RTCP接收提示軌道的情況下，該識別是"提示"， 參向新創建的mdia箱添加新的minf箱。 參向新創建的minf箱添加新的hmhd箱。該hmhd箱包含針對提示軌道的信息報頭。 參向新創建的mdia箱添加新的dinf箱。 參向新創建的dinf箱添加新的dref箱，指示軌道的原始數據或在文件自身內或
駐留于文件外部，例如在另一個文件中或可以通過URI (統一資源標識符)提供。 參向新創建的minf箱添加新的stbl箱。該stbl箱是箱的容器，所述箱包含軌道
中的樣本(例如RTP/RTCP或密鑰流分組、虛擬媒體樣本)的定時和數據索引。 參向新創建的stbl箱添加新的stsd箱。該stsd箱包含媒體的識別(通常被稱
為4CC)以及樣本的帶外配置。 參向新創建的stbl箱添加新的stts箱。該stts箱包含關于軌道中的媒體的每一單個樣本(例如RTP/RTCP或密鑰流分組、虛擬媒體樣本)的持續時間的信息。
參向新創建的stbl箱添加新的stsc箱。該stsc箱包含關于被組合為組塊的樣本(例如RTP/RTCP或密鑰流分組、虛擬媒體樣本)的數目的信息。 參向新創建的stbl箱添加新的stsz箱。該stsz箱包含關于軌道中的媒體的每
一單個樣本(例如RTP/RTCP或密鑰流分組、虛擬媒體樣本)的大小的信息。 參向新創建的stbl箱添加新的stco或co64箱。該stco或co64箱包含關于每
個組塊中的第一字節的文件偏移的信息。 參在樣本表中加入其他允許的箱，例如stss箱，該stss箱將可用于隨機偏移的樣
本(例如RTP/RTCP或密鑰流分組、虛擬媒體樣本)編索引。 將樣本組合為組塊，組塊是不帶間隔的連續樣本塊(block)。在要向文件添加樣本時，或者將該樣本追加(即pend)至已有的組塊，或者開始新的組塊。對于每個新的樣本，向
18stts和stsz箱添加新的條目，并改變stsc箱以反映當前組塊中的樣本數目。如果該樣本被寫入新的組塊，則向stco(或co64)箱追加新的條目，并改變stsc箱以反映新組塊中的樣本數目。將組塊(即原始樣本數據本身)寫入文件中，所述文件或者在mdat箱內，或者是外部文件(可以從文件內引用)。 根據設備的操作，并行地(針對RTCP和密鑰流接收提示軌道)向文件寫入高級接收提示軌道，即當新數據在以后的時間點以離線操作(針對虛擬媒體軌道)到達或被添加時，向文件添加樣本。 在記錄和/或時間偏移應用中，將接收到的數據分組110、112和關聯控制消息114U15并行存儲在接收提示軌道和關聯接收提示軌道中是一種理想的解決方案。然而，如果想要長期存儲記錄文件并最終將回放多次，則可能希望避免在每次回放過程中分析存儲數據，而是無需進一步計算，媒體定時就直接可用。通常，這暗示著根據(RTP)接收提示軌道對數據分組的有效載荷進行解分組，并以每軌道一個基本流將其存儲至另外的媒體軌道。這并不總是可能的或有利的，例如，如果對流的分組應用了傳輸加密或如果存儲容量有限。除了對媒體數據容器104中存儲的傳輸分組的精確定時之外，還希望關于接收提示軌道的擴展信息可用，尤其是關于內部媒體流的信息，例如，幀精度的SMPTE時間戳或視頻軌道的字幕。 現在參照圖6，示出了根據本發明的實施例的用于對存儲的數據分組和存儲的關聯元信息進行處理的設備600。 設備600與圖1所示的設備100的不同之處在于處理器602，處理器602基于存儲的數據分組和存儲的關聯元信息，確定針對存儲的數據分組的有效載荷的解碼信息，其中，所述解碼信息指示了在哪個時刻重放存儲的數據分組中的哪個有效載荷。設備600可以是設備100的擴展，然而，也可以分離地看待設備600，尤其是當它用于對存儲的非RTP/RTCP分組(例如MPEG-2TS分組)進行處理時。 在圖6所示的實施例中，將數據分組存儲在與文件102相關的媒體數據容器104中。如上所述，將元信息存儲在文件102的元數據容器106中。可以將存儲的數據分組作為樣本存儲在媒體數據容器104的組塊118、 122中。該樣本和/或組塊由元數據容器106中的關聯元數據軌道124U28引用。 根據本發明的實施例，如上所述，存儲的數據分組可以包括第一和第二RTP分組110、 112以及關聯的第一和第二RTCP分組114、115，第一和第二RTP分組110、112包括第一和第二分組化的媒體數據。 根據本發明的另一實施例，存儲的數據可以包括MPEG-2傳輸流數據分組，MPEG-2傳輸流數據分組包括一個或更多個節目的流復用， 一個或更多個節目典型是音頻和視頻。典型地，MPEG-2傳輸流數據分組具有188個字節的長度。 根據本發明的實施例，將所確定的解碼信息以解碼信息樣本的形式存儲在媒體數據容器104中的解碼信息組塊604中。因此，每個解碼信息樣本與訪問單元相關，訪問單元是例如可以根據接收提示軌道的媒體數據部分中存儲的數據分組重構的視頻或音頻幀。
處理器602適于基于媒體幀來解碼信息樣本，使得解碼信息樣本指示媒體訪問單元的起始地址和終止地址，其中，起始地址表示指示所述媒體訪問單元的起始的媒體數據樣本的位置，而其中終止地址表示指示所述媒體訪問單元的終止的媒體數據樣本的位置，其中，所述媒體數據樣本為媒體數據容器104中的數據分組所包括。 處理器602可以訪問媒體數據容器104，以將解碼信息樣本作為虛擬媒體樣本存 儲在媒體數據容器104的組塊604中。此外，處理器602可以訪問媒體數據容器106，以將 與解碼信息樣本(虛擬媒體樣本)相關的、并指示解碼信息樣本的解碼時間和位置的解碼 元信息存儲在媒體數據容器104的元數據軌道606中。如之前所述，可以將解碼信息樣本看 作為虛擬媒體樣本，每個虛擬媒體樣本涉及相關視頻或音頻流的訪問單元。虛擬媒體樣本 包括關于如何根據媒體數據容器104中存儲的數據分組來重構相關音頻/視頻幀的信息。
現在轉到圖7，圖7示出了包括媒體數據容器104中的虛擬媒體樣本704以及元數 據容器106中的關聯虛擬元數據軌道706的文件702。 文件702也在媒體數據容器104所包括的組塊708中存儲RTP分組，并存儲了組 塊710所包括的RTCP分組。存在與所存儲的RTP分組相關聯的RTP元數據軌道712。在元 數據容器106中，存在與所存儲的RTCP分組相關聯的RTCP元數據軌道714。
如箭頭所示，虛擬媒體組塊704中的虛擬媒體樣本與組塊708中所存儲的RTP分 組相關。該虛擬媒體樣本可以包含用于根據組塊708中存儲的傳輸單元(即數據分組)來 重構訪問單元(即例如媒體幀)的構造器。虛擬媒體樣本可以包含至一個或更多重要傳輸 單元的鏈接，所述重要傳輸單元與特定訪問單元的重構(不完整重構器)相關。同樣，虛擬 媒體樣本可以為空，例如在接收過程中分組丟失的情況下。另一備選是虛擬媒體樣本包含
完整的已拆包的描述媒體幀的媒體樣本，如在經典的媒體軌道中的情況一樣。
虛擬媒體樣本的一般有效載荷配置數據包括相同類型的非虛擬媒體軌道的一般 有效載荷配置數據，例如，H. 264編碼視頻的虛擬媒體軌道也包含樣本描述內的avcC箱中 的AVCConf igurationRecord。此夕卜，它可以包括關于接收提示軌道的去提示過程的信息，例
如通過使用虛擬媒體軌道的樣本有效載荷中所提供的信息來從接收提示軌道重新集合的 媒體樣本的最大尺寸。 虛擬媒體軌道的樣本的有效載荷由描述從接收提示軌道提取媒體樣本數據的過 程的"命令"組成。這些命令是從針對提示軌道的分組構造器推導出的，包括"立即構造器"、 "樣本構造器"和"樣本描述構造器"。立即構造器由"長度"、"數據"和"填充"字段組成。 "長度"指示了 "數據"字段的長度。"填充"可以用于填充過剩提供的空間。
樣本構造器由字段trackrefindex、length、s咖ple皿mber禾口 s咖pleoffset組成。 trackrefindex指示了從其中提取數據的那個接收提示軌道，samplenumber指示了該接收 提示軌道的樣本數目。字段sampleoffset指定了要提取的長度"length"的數據塊的起始。
通過使用樣本構造器，在不復制數據的情況下，可以實現媒體樣本的緊湊表示。
樣本描述構造器由字段trackref index 、 s咖pledescriptionindex、 sampledescriptionoffset和length組成。與樣本構造器等效，使用來自接收提示軌道的 樣本描述的數據來包括在虛擬媒體樣本中。 虛擬媒體軌道使用媒體定時，即傳輸延遲或時鐘頻率的不精確不影響解碼時間 戳。該定時相當于可以根據虛擬媒體軌道中可用的信息產生的媒體軌道的定時。
圖8示出了流記錄和離線文件優化的流程圖。 在第一步驟802，如上所述，將接收提示軌道以及可選地將關聯接收提示軌道(例 如RTP和RTCP)保存到文件102中。在記錄完成之后，即當以接收提示軌道的形式將數據分組保存到文件102中，并最終將關聯控制分組保存到該文件的關聯接收提示軌道中時， 在步驟804，在記錄的接收提示軌道內確定不同的媒體流。這意味著，步驟804包括分別在 記錄的接收提示軌道內確定例如音頻和視頻流或與音頻和視頻流相關的數據分組。如以上 所解釋的，這是通過從會話描述協議(SDP)中提取適當的信息來完成的。
因此，處理器602適于確定哪個存儲的數據分組與第一或第二媒體數據樣本相 關，以及確定與媒體數據容器104中的第二媒體數據樣本相關的第二解碼信息樣本(第二 虛擬媒體樣本)。 在另一步驟806，針對每個識別的媒體流，創建虛擬媒體軌道(包括媒體和元數 據)，該虛擬媒體軌道引用相關的接收提示軌道。 S卩，處理器602適于將與第一媒體數據樣本相關的第一解碼信息樣本(第一虛擬 媒體樣本)存儲在媒體數據容器104中，并將第一解碼元信息存儲在元數據容器106中，所 述第一解碼元信息指示第一解碼信息樣本在媒體容器104中的位置(例如，組塊偏移、樣本 號等)。處理器602適于將第二解碼元信息存儲在元數據容器106中，所述第二解碼元信息 指示第二解碼信息樣本在媒體容器104中的位置(例如，組塊偏移、樣本號等)。
也就是說，所創建的虛擬媒體軌道引用包括具有根據各個媒體流的有效載荷的數 據分組的接收提示軌道。在創建了虛擬媒體軌道之后，將虛擬媒體樣本(解碼信息樣本) 添加至虛擬媒體軌道，其中，所述虛擬媒體樣本指向接收提示軌道的媒體數據部分中的樣 本或分組，并從控制傳輸單元(例如RTCP發送方報告)恢復精確的定時。
RTCP發送方報告包含RTP時間戳和以NTP時間戳格式的在流中的對應的公共時間 戳。RTP時間戳和NTP時間戳允許確定轉換值。利用該RTP/NTP時間戳轉換值和RTP時間 戳的時鐘頻率，可以計算接收的RTP分組的以NTP時間戳格式的在流中的時間戳。按照這 種方式，可以在對數據分組的記錄的后處理中獲得針對每個RTP接收提示軌道(即每個存 儲的數據分組)的媒體定時。 在另一步驟810中，(例如，通過該軌道內的表或通過添加引用該軌道的其他軌 道)向虛擬媒體軌道添加描述性信息。因此，添加的描述性信息可以指示與虛擬媒體樣本 相關聯的媒體幀的起始地址和終止地址，其中，所述起始地址表示指示所述媒體幀的起始 的媒體數據樣本的位置，而其中所述終止地址表示指示所述媒體幀的終止的媒體數據樣本 的位置，其中，所述媒體數據樣本為媒體數據容器104中的數據分組所包括。
在另一可選回放步驟812中，使用虛擬媒體樣本的描述性信息，通過虛擬媒體軌 道在接收提示軌道中尋找對應的樣本。例如，步驟810可以用于重放存儲的數據分組所包 括的媒體流。 圖9示出了如何獲得引用接收提示軌道中的存儲的數據分組的有效載荷所包括 的媒體幀的虛擬媒體樣本的描述性信息的示例。 圖9示出了一系列存儲的RTP分組RTP1、 RTP2、 RTP3。 RTP分組RTP1、 RTP2、 RTP3 被存儲在虛擬媒體容器104中作為樣本。每個RTP分組RTP1、RTP2、RTP3包括報頭H1、H2、 H3以及有效載荷PL1、 PL2、 PL3，有效載荷PL1、 PL2、 PL3包括媒體數據樣本。作為示例，報 頭大小分別是A比特，有效載荷大小是(B-A)比特。在第一RTP分組RTP1和第二RTP分組 RTP2的有效載荷之中，對可以是視頻或音頻幀的第一媒體幀的數據進行分割。作為示例， 第一媒體幀的媒體數據從RTP分組RTP1的字節A到數據分組RTP2的字節A+Y。在數據分
21組RTP2和數據分組RTP3之中，對第二媒體幀的媒體數據進行分割，數據分組RTP2在字節 地址A+Y開始，數據分組RTP3在字節地址A+Z終止。 虛擬媒體樣本VMS1和VMS2分別與第一媒體幀和第二媒體幀相關。根據本發明的 實施例，虛擬媒體樣本VMS1、VMS2包括關于在存儲的數據分組RTP1、RTP2、RTP3中的何處找 到第一和第二媒體幀的媒體數據的信息。也就是說，虛擬媒體分組VMS1包括信息，所述信 息說明，通過從字節地址A至字節地址B地訪問數據分組RTP1 ，并通過從字節地址a至字節 地址A+Y地尋址數據分組RTP2，可以獲得幀1的媒體數據。虛擬媒體樣本2包括關于在何 處獲得媒體幀2的媒體樣本的信息。也就是說，它存儲了信息，所述信息說明，媒體幀2開 始于數據分組RTP2，從字節地址A+Y至字節地址B，并且說明可以在數據分組RTP3中從字 節地址A至字節地址A+Z找到幀2的其他媒體樣本。 在媒體數據容器106中的虛擬媒體軌道的元數據部分引用了形成該虛擬媒體軌 道的媒體數據部分的虛擬媒體樣本VMS1和VMS2。針對每個虛擬媒體樣本VMS1、VMS2，可以 在stts箱中找到解碼時間對樣本的信息。因此，如上所述，解碼時間對樣本的信息反映了 已經通過評估與RTP分組RTP1、 RTP2、 RTP3相關聯的存儲的RTCP分組而確定的媒體定時。
圖10示意了接收提示軌道的樣本與虛擬媒體軌道的樣本的映射。
與圖9相反，圖10示出了 MPEG-2傳輸流M2T的存儲的數據分組。傳輸流M2T包 括數據分組Al至A7以及數據分組VI至V7，其中，數據分組Al至A7包括音頻樣本，數據分 組V1至V7包括視頻樣本。 虛擬媒體樣本VMSA1與在音頻分組A1和A2的有效載荷之中被劃分的第一音頻幀 相關。虛擬媒體樣本VMSA1指示A1和A2的有效載荷的哪個部分用于獲得音頻幀1。類似 地，虛擬媒體樣本VMSA2與其媒體數據可以在音頻分組A2和A3的有效載荷中找到的第二 音頻幀相關。虛擬媒體樣本VMSA3引用音頻分組A4和部分音頻分組A5，以獲得第三音頻 幀。虛擬媒體樣本VMSA4引用音頻分組A5的剩余部分和音頻分組A6和A7的有效載荷用 于音頻幀4。 類似地，與第一視頻幀相關的虛擬媒體樣本VMSV1引用視頻分組V1、V2和V3的有 效載荷用于第一視頻幀。虛擬媒體樣本VMSV2引用視頻分組V4、 V5和V6的有效載荷用于 獲得第二視頻幀的媒體樣本。 為了基于引用存儲的RTP分組的接收提示軌道以及引用存儲的RTCP分組的關聯 接收提示軌道來重放媒體內容，本發明的實施例提供了一種用于讀取文件的設備，所述文 件在與所述文件相關的媒體數據容器中存儲第一數據分組以及第二數據分組，所述第一數 據分組包括基于第一時鐘的分組化的第一媒體數據樣本，所述第二數據分組包括基于不同 于第一時鐘的第二時鐘的分組化的第二媒體數據樣本。所述文件也存儲關聯的第一控制分 組的至少一部分以及關聯的第二控制分組的至少一部分，所述第一控制分組包括用于指示 第一時鐘與參考時鐘的關系的信息，所述第二控制分組包括用于指示第二時鐘與參考時鐘 的關系的信息。所述文件還在文件的元數據容器中存儲關聯元數據，所述關聯元數據包括 接收的第一和第二數據分組和接收的第一和第二控制分組的信息以及指示所述媒體數據 容器中存儲第一和第二數據分組以及存儲第一和第二控制分組的位置的位置信息。所述設 備包括處理器，用于通過訪問元數據容器和通過解釋媒體數據容器中存儲的第一和第二數 據分組以及存儲的第一和第二控制分組的定時信息來確定存儲的第一和第二數據分組的輸出調度。所述設備還包括輸出控制器，用于根據所確定的輸出調度，通過訪問元數據容器 以及通過從媒體數據容器中讀取數據分組來輸出數據分組。 根據本發明的實施例，所述處理器適于在當存儲的關于接收的第一和第二數據分
組的定時信息指示了接收順序的情況下確定輸出調度，使得該輸出調度反映第一和第二數
據分組的接收順序。也就是說，根據本實施例，可以執行對原始接收場景的模擬。 根據另一實施例，所述處理器適于基于存儲的關于第一和第二數據分組的定時信
息以及存儲的第一和第二控制分組中所包含的參考時間戳來確定同步信息，以使得第一數
據分組的輸出調度與第二數據分組的輸出調度關于參考時間(NTP)而同步。也就是說，根
據本實施例，可以執行接收并存儲的第一和第二數據分組的定時同步。 典型地，讀取接收提示軌道的設備使用以下操作集合來檢測它是否可以解析文 件 參解析ftyp箱，以檢測文件內容和結構是否潛在地可解析。如果不能解析該文 件，則放棄文件讀取操作。 參解析moov箱，檢查其中trak箱的數目。如果沒有軌道，則放棄文件讀取操作。
參解析每個軌道的minf箱內的hdlr箱，以檢測該hdlr箱中是否定義有對該處理 類型可用的處理過程。如果沒有識別到處理過程，則放棄針對該軌道的文件讀取操作。
參解析每個軌道的minf箱內的stbl箱和stsd箱。stsd箱包含該軌道的內容的 識別，并描述了該內容。如果不能理解該內容，則放棄對該軌道的文件讀取操作。
如果可以解析該文件，則通過解析trak箱內的tref箱來確定軌道鏈接。備選性 地，如果該格式內部定義了軌道鏈接，則使用該軌道的stsd箱中的可用信息。如果不能確 定軌道鏈接，則假定該軌道是單個獨立的，并且無需其他軌道所包含的信息就可以解析。軌 道鏈接被內部存儲在讀取設備中，并在理解軌道包含的原始數據的過程中需要的情況下使 用。 根據設備的操作，設備可以選擇它理解的、并與文件的表示相關的軌道。缺省地， 對所有軌道進行解析，但是，適用以下規則 參對于虛擬媒體軌道，使用該虛擬媒體軌道來代替RTP或MPEG-2TS接收提示軌 道。該軌道已經包含用于反轉提示操作的數據，即接收提示軌道的哪些數據需要被提取并 使用其他數據來擴展以創建基本流數據塊，解碼器可以自然地理解。 參對于RTCP接收提示軌道，第一操作模式是與RTP接收提示軌道并行地消耗RTCP 軌道。讀取設備使用一般RTP/RTCP接收的可用邏輯來同步流。 參對于RTCP接收提示軌道，第二操作模式是在正常讀取操作開始之前消耗整個
RTCP接收提示軌道，以檢測多個RTP接收提示軌道之間的初始同步和時鐘漂移。在這種模 式下，例如，應用線性回歸來對齊多個RTP接收提示軌道的RTP時鐘。接著，在消耗數據時， 對流施加該偏差以有利于多個RTP接收提示軌道的連續同步的播放。 參對于密鑰流接收提示軌道，第一操作模式是與RTP或MPEG-2 TS接收提示軌道 并行地消耗密鑰流接收提示軌道。這確保了針對接收提示軌道的特定受保護數據塊的密鑰 流以類似于真實廣播的方式可用。 參第二操作模式將密鑰流數據和接收提示軌道的數據對齊，以使得有效性時間段
不再重疊。這允許以后對軌道的編輯，而無需理解密鑰流數據的定時。
23
為了從軌道中得到所謂的樣本，必須推導出在文件內的位置。針對第k個樣本S 的這種操作通過以下來完成 參使用stsc箱的數據，確定樣本S所在的組塊C
參解析stco (或co64)箱，以確定組塊C的文件偏移F 參解析stsz箱，以獲得樣本S的大小L以及該組塊內所有先前樣本Pi的大小Kit)
因此，數據在文件中的位置(F+sumOg)處可用，并具有大小L。
要播放該數據的時刻由stts箱中可用的信息來確定。該箱包含對每一單個樣本 j的運行長度編碼的持續時間Dj。第k個樣本S的播放時間則是所有持續時間Dj之和，其 中j < k。 在虛擬媒體軌道可用的情況下，本發明的實施例提供了一種用于讀取文件的設 備，所述文件在媒體數據容器中存儲包括有效載荷的數據分組，并在所述媒體數據容器104 中存儲針對存儲的數據分組的有效載荷的解碼信息，其中，所述解碼信息指示在哪個時刻 重放存儲的數據分組中的哪個有效載荷。所述文件在元數據容器106中存儲關聯元數據， 所述關聯元數據指示媒體數據容器中解碼信息的解碼時間和位置。所述設備包括處理器， 用于通過訪問元數據容器106中的關聯元數據，并通過基于該元數據訪問媒體數據容器中 的解碼信息，以及通過基于所述解碼信息訪問存儲的數據分組的有效載荷，來確定存儲的 數據分組的有效載荷的輸出調度；以及輸出控制器，用于根據所確定的輸出調度來輸出所 述有效載荷。 如在本說明書的介紹部分所述的，在接收數據分組之外，本發明的另一個方面是 存儲密鑰流消息。 可以通過權利管理系統來控制訪問數據或數據分組的權利。通過數字通信網絡接 收數據內容可能局限于特定的終端用戶，并限制其他用戶。例如，用戶可以通過支付節目費 來購買對節目的訪問。如果用戶付費，則該用戶可以被授權在指定的時間段內訪問該節目， 而未付費的用戶不能訪問該節目。可以通過對傳送數據進行加密來控制對節目的訪問。通 過使用加密密鑰，可以通過任何數目的加密標準來對數據進行加密。在用戶終端的接收機 處，可以使用密鑰來對加密的數據進行解密，以使得在接收機或用戶終端處可以觀看該內 容。用于對加密的數據分組進行解密的密鑰也可以通過相同的數字通信網絡來傳送，并也 可以被加密。也可以使用其他數字通信網絡來傳送一個或更多個密鑰。因此，想要訪問或 觀看節目或服務的終端用戶可能需要獲得密鑰的權利。 可以通過密鑰流將與加密節目或服務相關聯的傳輸加密密鑰傳送給用戶終端。該 密鑰流可以包括密鑰流消息，所述密鑰流消息以預定的頻率傳送，當接收機或用戶終端接 收到加密的數據流時，也接收到該密鑰流消息。 圖12示出了流數據分組1302-1、 1302-2、 1302-3，每個數據分組都具有使用密碼 密鑰k。、kpb進行加密的有效載荷。與數據分組1302相關聯的是包括密鑰流分組1304-1、 1304-2、 1304-3和1304-4的密鑰流。在其相關聯的數據分組1302-1之前的時間傳送的密 鑰流分組1304-1包括用于對數據分組1302-1的加密有效載荷進行解密的密碼密鑰k。。由 此，加密密鑰k。具有與其相關聯的生命期d。，生命期d。確保能夠對關聯數據分組進行加密。 對于第二密鑰流分組1304-2及其密碼密鑰、同樣如此，密碼密鑰、可以用于對關聯數據 分組1302-2的有效載荷進行解密。這里，同樣地，在數據分組1302-2之前很靠前的時間，傳送關聯密鑰流分組1304-2，密碼密鑰、具有確保對數據分組1302-2的有效載荷進行正 確解密的生命期4。 根據本發明的實施例，如之前對數據分組和關聯控制分組的解釋一樣，在接收機 終端處，可以在具有媒體數據容器和元數據容器的文件中一起存儲數據分組和關聯密鑰流 分組。 圖11示出了根據本發明的實施例的用于記錄文件1102的設備1100，所述文件 1102具有相關的媒體數據容器1104和元數據容器1106。 所述設備1100包括接收機1108，用于接收數據分組1110，每個數據分組1110包 括有效載荷，并用于接收包括多個密碼密鑰的密鑰流分組1112，其中，每個密碼密鑰與接收 的數據分組的有效載荷相關聯。此外，所述設備IIOO包括記錄器1116，用于將接收的數據 分組1110和接收的密鑰流分組1112存儲在所述媒體數據容器1104中，并用于將關聯元數 據存儲在所述元數據容器1106中，所述關聯元數據包括接收的數據分組1110和接收的密 鑰流分組1112的傳輸定時信息，以及包括指示存儲的數據分組1110和存儲的密鑰流分組 1112在媒體數據容器1104中的位置的位置信息。 應強調，設備IIOO可以與設備100結合使用，或被包括在設備100中。也就是說， 可以組合本發明的一起存儲數據分組和關聯控制分組的概念、一起存儲數據分組和關聯密 鑰流分組以及從存儲的數據分組和關聯控制分組和/或關聯密鑰流分組中，以媒體軌道的 形式創建解碼信息的概念。 再次轉到圖ll，將接收的數據分組1110作為樣本存儲在媒體數據容器1104的第 一組塊1118中。將接收的相關聯密鑰流分組作為樣本存儲在媒體數據容器1104的第二組 塊1120中。根據本發明的優選實施例，可以以交錯的方式將第一和第二組塊1118和1120 存儲在媒體容器1104中。 如以上所解釋的，文件1102可以是基于ISO基礎媒體文件格式的文件，例如MP4 文件。因此，記錄器1116適于將第一組塊1118存儲在元數據容器moovl 106的第一元數據 軌道1124的第一組塊偏移表stco或co64中，其中，根據媒體數據容器1104是否是文件 1102的一部分，第一組塊偏移表指示每個第一組塊1118到文件1102或媒體數據容器1104 的索引。利用與對第一組塊的解釋相同的方式，將第二組塊到媒體數據容器1104的索引存 儲在元數據容器1106的第二元數據軌道1128的第二組塊偏移表中。 同已經解釋過的數據分組110、112和關聯控制分組114、115并行存儲在接收提示 軌道和關聯接收提示軌道中的情況一樣，將數據分組1110的傳輸定時信息(即接收時間或 RTP時間戳)存儲在第一元數據軌道1124所包括的第一stts箱中。類似地，將傳輸定時信 息或差量傳輸定時信息存儲在與第二組塊1120相關的第二元數據1128軌道的第二 stts 箱中。 此外，為了便于在完成流的接收之后進行回放，可以執行一次處理，以將密鑰流 接收提示軌道轉換為虛擬元數據軌道。為了這個目的，所述設備1100包括處理器(未示 出)，所述處理器基于存儲的數據分組1110和關聯元信息1124，以及基于存儲的密鑰流分 組1112和關聯的密鑰流元信息1128，將解密信息分配給存儲的數據分組1110的有效載荷， 其中，所述解密信息指示了在哪個時刻使用哪個密碼密鑰來重放存儲的數據分組1110的 有效載荷。
25
也就是說，可以將具有傳輸定時的密鑰流接收提示軌道中的密鑰消息轉換為具有 媒體定時的虛擬元數據軌道中的密鑰樣本。這是基于與上述對虛擬媒體軌道的解釋相同的 概念來完成的。也就是說，創建密鑰樣本，并將其存儲在媒體數據容器1104中。因此，每 個密鑰樣本與訪問單元或媒體幀相關，并包括關于對相關的媒體幀使用哪個密碼密鑰的信 息。在包括stts箱的關聯元數據軌道1128中，給出了解碼對密鑰樣本的信息。該解碼對 密鑰樣本的信息指示在哪個時刻訪問各自的密鑰樣本，該密鑰樣本再次涉及存儲的數據分 組的有效載荷數據，以產生各自的加密媒體幀。如果需要，虛擬地加倍密鑰樣本，以使得媒 體軌道中的每個媒體樣本都具有密鑰軌道中的關聯的密鑰樣本(具有相同的密鑰ID)。
因此，可以創建媒體訪問單元(例如媒體幀)與密鑰消息之間的精確的定時關系， 尤其是在內容加密的情況下可以根據傳輸單元(數據分組)重構加密的訪問單元時。
為了讀取文件1102，所述文件在媒體數據容器1104中存儲數據分組110并存儲關 聯的密鑰流分組1112，并在元數據容器1106中存儲了關聯元數據，本發明的實施例提供了 一種設備，所述設備包括處理器，所述處理器基于存儲的數據分組1110，基于關聯分組元信 息1124，以及基于存儲的密鑰流分組1112和關聯的密鑰流元信息1128，將加密信息分配給 存儲的數據分組的有效載荷，其中，解密信息指示了在何時使用哪個密碼密鑰來重放存儲 的數據分組的有效載荷。 用于分配解密信息的處理器可以用于加密數據分組1110的有效載荷的播放器。 出于這個原因，可以基于所分配的解密信息將解密后的數據分組輸出至解碼器。用于分配 解密信息的處理器也可以用于產生虛擬解密信息，所述虛擬解密信息將被部分存儲在媒體 數據容器1104中作為虛擬密鑰樣本。關聯元信息被存儲在元數據軌道1128中。這與上述 虛擬媒體軌道的概念相對應。 密鑰樣本的有效載荷可以包括接收的密鑰流消息的原始有效載荷。這意味著直接 存儲密鑰流的UDP分組的內容。 一些系統可能將該數據分組裝在另一種結構內，以允許存 儲多個接收的密鑰流消息。 密鑰流樣本的定時取決于其基本RTP接收提示軌道的定時方法。如果該RTP接收 提示軌道從RTP時間戳中推導出其解碼時間，則密鑰流接收提示軌道也將從RTP時間戳中 推導出其解碼時間，然而，它可能需要對RTP時間戳進行外插。如果RTP接收提示軌道使用 接收時間，則接收時間也將被用于存儲密鑰流消息。 一般地，RTP接收提示軌道和密鑰流接 收提示軌道被同步并使用相同的時間基礎。 作為概括，本發明涉及一種媒體存儲系統，所述媒體存儲系統將接收到的"傳輸單
元"(TU)-所述傳輸單元典型地包含分組化的媒體數據，例如視頻數據-記錄為接收提示軌
道中的預計算的分組或構造器，以及將"控制傳輸單元"(CTU)記錄在文件的樣本中。所述
控制傳輸單元被存儲在與所述接收提示軌道相關聯的分離的平行軌道中。 CTU包含在從文件回放過程中用于處理接收提示軌道的媒體分組所必需或有用的
附加數據。CTU的示例是RTCP報告或在加密流的情況下的密鑰消息。 為了優化記錄的流的本地回放，"虛擬媒體軌道"使用反提示過程，將接收到的TU 映射至"虛擬媒體樣本"。所述虛擬媒體樣本具有媒體樣本的定時，該定時可以使用CTU和 接收提示軌道從軌道中恢復，而無需是完整的媒體樣本。如果合適，可以應用虛擬媒體軌道 的索引。該索引也適用于接收提示軌道的鏈接的樣本。虛擬媒體軌道可以用作文件內的其他軌道(例如"定時的元數據軌道")的參考。應用可以通過虛擬媒體軌道來查找接收提示 軌道的對應樣本。 將密鑰流消息存儲為關聯的接收提示軌道。可以應用虛擬媒體軌道來精確地對齊 媒體樣本和解密密鑰。 近來，被稱為電源片斷的增加補充了上述ISO基礎媒體文件格式，其已經在例如 美國專利申請US 2007/0130498A1中描述。應當提到，本發明的實施例也可適用于所述電 影片斷。 根據環境，可以以硬件或軟件來實現本發明的方法。所述實現可以在數字存儲介 質(尤其是具有電子可讀控制信號的光盤或CD)上完成，所述數字存儲介質可以與可編程 計算機系統協作，以執行所述方法。 一般地，本發明也在于一種具有程序代碼的計算機程序 產品，所述程序代碼存儲在機器可讀載體上，用于在計算機程序產品在計算機上運行時執 行本發明的方法。換言之，因此，本發明可以被實現為具有程序代碼的計算機程序，所述程 序代碼用于在計算機程序在計算機上運行時執行所述方法。 盡管根據多個優選實施例對本發明進行了描述，然而存在落入本發明的范圍內的 改變、置換及等效物。也應注意，存在許多備選方式來實現本發明的方法和構造。因此，所 附權利要求應被解釋為包括所有這樣的落入本發明的真實精神和范圍內的改變、置換及等 效物。
權利要求
一種用于對存儲在媒體數據容器(104)中的數據分組(110；112)以及存儲在元數據容器(106)中的關聯元信息進行處理的設備(600)，所述關聯元信息包括傳輸定時信息和指示存儲的數據分組在所述媒體數據容器(104)中的存儲位置的位置信息，所述設備包括處理器(602)，基于存儲的數據分組(110；112)和存儲的關聯元信息(124；128)，確定針對存儲的數據分組的媒體有效載荷的解碼信息(604；704)，其中，所述解碼信息(604；704)指示了在哪個時刻重放存儲的數據分組中的哪個有效載荷。
2. 如權利要求l所述的設備，其中，所述處理器(602)適于基于媒體訪問單元來確定所 述解碼信息(604 ;704)，使得解碼信息樣本指示媒體有效載荷的有關媒體訪問單元的起始 地址和終止地址，其中，所述起始地址表示指示所述媒體訪問單元的起始的媒體數據樣本 的位置，以及所述終止地址表示指示所述媒體訪問單元的終止的媒體數據樣本的位置，其 中，所述媒體數據樣本為媒體數據容器(104)中的數據分組所包括。
3. 如權利要求1或2所述的設備，其中，所述處理器(602)適于將與媒體有效載荷的 媒體訪問單元相關的解碼信息樣本存儲在媒體數據容器(104)中，并將關聯解碼元信息 (606 ;706)存儲在元數據容器(106)中，所述解碼元信息(606 ;706)指示解碼時間以及所 述解碼信息樣本在媒體數據容器(104)中的位置。
4. 如權利要求3所述的設備，其中，所述處理器(602)適于將解碼信息樣本存儲在媒體 數據容器(104)的解碼信息組塊(604 ;704)中，所述解碼信息組塊(604 ;704)包括至少一 個解碼信息樣本。
5. 如權利要求4所述的設備，其中，所述處理器(602)適于存儲解碼信息元數據軌道 (606 ;706)的組塊偏移表，所述組塊偏移表指示每個解碼信息組塊(704)到媒體數據容器 (104)的索引。
6. 如權利要求4或5所述的設備，其中，所述處理器(602)適于將所述解碼信息樣本的 解碼時間存儲在樣本表箱(stts)中，所述樣本表箱能夠將所述解碼信息樣本的解碼時間 索引到所述解碼信息組塊(704)中的關聯樣本號。
7. 如之前任一權利要求所述的設備，其中，所述存儲的數據分組(110 ;112)包括 MPEG-2傳送流分組。
8. 如權利要求1至6中任一項所述的設備，其中，所述存儲的數據分組(110 ;112)包 括RTP分組，所述RTP分組包括分組化的媒體數據樣本。
9. 如之前任一權利要求所述的設備，其中，所述存儲的數據分組包括與第一和第二媒 體流相關的第一數據分組(110)和第二數據分組(112)，其中，處理器(602)適于確定存儲 的數據分組(110 ;112)中的哪個與所述第一或第二媒體流相關。
10. 如權利要求9所述的設備，其中，所述處理器(602)適于基于第一/第二媒體訪問 單元來確定第一 /第二解碼信息，使得第一 /第二解碼信息樣本指示了屬于第一 /第二媒 體流的相關第一/第二媒體訪問單元的起始地址和終止地址，其中，所述起始地址表示指 示所述第一 /第二媒體訪問單元的起始的媒體數據樣本的位置，以及所述終止地址表示指 示所述第一/第二媒體訪問單元的終止的媒體數據樣本的位置，其中，所述媒體數據樣本 為媒體數據容器(104)中的第一/第二存儲數據分組所包括。
11. 如權利要求10所述的設備，其中，所述處理器(602)適于將第一/第二解碼信息樣本存儲在媒體數據容器(104)中，并將第一/第二解碼元信息(606 ;706)存儲在元數據容 器(106)中，所述第一/第二解碼元信息(606 ;706)指示媒體數據容器(104)中所述第一 /第二解碼信息樣本的第一/第二解碼時間以及在第一/第二位置。
12. 如權利要求10或11所述的設備，其中，所述處理器(602)適于將第一 /第二解碼 信息樣本存儲在媒體數據容器(104)的第一/第二解碼信息組塊(604 ;704)中，所述第一 /第二解碼信息組塊(604 ;704)包括至少一個第一 /第二解碼信息樣本。
13. 如權利要求12所述的設備，其中，所述處理器(602)適于將所述第一/第二解碼信 息樣本的第一/第二解碼時間存儲在第一/第二樣本表箱(stts)中，所述第一/第二樣本 表箱能夠將所述第一/第二解碼信息樣本的第一/第二解碼時間索引至所述第一/第二解 碼信息組塊(704)中的關聯樣本號。
14. 如權利要求9至13中任一項所述的設備，其中，所述存儲的第一數據分組(110)包 括第一 RTP分組，所述第一 RTP分組包括第一分組化的媒體數據，以及所述存儲的第二數據 分組(112)包括第二RTP分組，所述第二RTP分組包括第二分組化的媒體數據。
15. 如權利要求14所示的設備，其中，所述存儲的第一和第二RTP分組(110 ;112)另 外包括與第一和第二 RTP分組(110 ;112)相關聯的第一和第二 RTCP分組(114 ;115)的至 少部分，其中所述元信息另外包括元數據容器(106)中的第一和第二RTCP分組的傳輸定時 信息和位置信息，以及所述存儲的關聯第一和第二 RTCP分組的部分被作為樣本存儲在媒 體數據容器(104)的RTCP組塊(122)中，其中，RTCP分組(114 ;115)的定時信息和位置信 息被存儲在元數據容器(106)的RTCP軌道(128)中。
16. 如權利要求15所示的設備，其中所述處理器(602)被配置為基于存儲的第一和 第二 RTP分組(110 ;112)、存儲的第一和第二 RTCP分組以及基于存儲的關聯元信息(124 ; 128)來分別確定第一和第二解碼信息(604 ;704)，其中，第一和第二解碼信息(604 ;704) 分別指示了在哪個時刻重放存儲的第一和第二數據分組的哪個有效載荷。
17. 如之前任一權利要求所述的設備，其中，所述媒體數據容器(104)包括密鑰流分組 (1112)，每個密鑰流分組(1112)包括密碼密鑰，其中，所述密碼密鑰與存儲的數據分組中 的至少一個的有效載荷相關聯，以及所述存儲的密鑰流分組(1112)的傳輸定時信息和位 置信息被存儲在所述元數據容器(106)中。
18. 如權利要求17所述的設備，其中，所述處理器(602)適于基于存儲的數據分組 (110 ;112)、基于關聯元信息(124 ;128)、以及基于存儲的密鑰流分組(1112)和關聯的密鑰 流元信息(1128)，將解密信息分配給存儲的數據分組(110 ;112)的有效載荷，其中，所述解 密信息指示了在哪個時刻使用哪個密碼密鑰來重放存儲的數據分組(110 ;112)的有效載 荷。
19. 如之前任一權利要求所述的設備，其中，所述媒體數據容器(104)和元數據容器 (106)與基于ISO基礎媒體文件格式的文件(102)相關。
20. —種用于對媒體數據容器(104)中存儲的數據分組(110 ;112)以及元數據容器 (106)中存儲的關聯元信息進行處理的方法，所述關聯元信息包括傳輸定時信息和指示存 儲的數據分組在所述媒體數據容器(104)中的存儲位置的位置信息，所述方法包括基于存儲的數據分組(110 ;112)和存儲的關聯元信息(124 ;128)，確定針對存儲的數 據分組的有效載荷的解碼信息(604 ;704)，其中，所述解碼信息指示了在哪個時刻重放存儲的數據分組中的哪個有效載荷。
21. —種計算機程序，當所述計算機程序在計算機和/或微控制器上運行時，執行權利 要求20所述的方法。
22. —種用于讀取文件(102)的設備，所述文件在與所述文件相關的媒體數據容器 (104)中存儲包括有效載荷的數據分組(110 ;112)，并在所述媒體數據容器(104)中存儲針 對存儲的數據分組(110 ;112)的有效載荷的解碼信息(602 ;702)，其中，所述解碼信息指示 在哪個時刻重放存儲的數據分組(110 ;112)中的哪個有效載荷，所述文件在文件的元數據 容器(106)中存儲關聯元數據(606 ;706)，所述關聯元數據(606 ;706)指示媒體數據容器 (104)中的解碼信息(602 ;702)的解碼時間和位置，所述設備包括處理器，用于通過訪問元數據容器(106)中的關聯元數據(606 ;706)，并通過基于所述 關聯元數據(606 ;706)訪問媒體數據容器(104)中的解碼信息(602 ;702)，以及通過基于 所述解碼信息(602 ;702)訪問存儲數據分組(110 ;112)的有效載荷，來確定存儲的數據分組(110 ;112)的有效載荷的輸出調度；以及輸出控制器，用于根據所確定的輸出調度來輸出所述有效載荷。
23. —種用于讀取文件(102)的方法，所述文件在與所述文件相關的媒體數據容器 (104)中存儲包括有效載荷的數據分組(110 ;112)，并在所述媒體數據容器(104)中存儲針 對存儲的數據分組(110 ;112)的有效載荷的解碼信息(602 ;702)，其中，所述解碼信息指示在哪個時刻重放存儲的數據分組(110 ;112)中的哪個有效載荷，所述文件在文件的元數據容器(106)中存儲關聯元數據(606 ;706)，所述關聯元數據(606 ;706)指示媒體數據容器 (104)中的解碼信息(602 ;702)的解碼時間和位置，所述方法包括通過訪問元數據容器(106)中的關聯元數據(606 ;706)，通過基于所述關聯元數據 (606 ;706)訪問媒體數據容器(104)中的解碼信息(602 ;702)，以及通過基于所述解碼信 息(602 ;702)訪問存儲數據分組(110 ;112)的有效載荷，來確定存儲的數據分組(110 ; 112)的有效載荷的輸出調度；以及根據所確定的輸出調度來輸出所述有效載荷。
24. —種計算機程序，當所述計算機程序在計算機和/或微控制器上運行時，執行權利 要求23所述的方法。
全文摘要
一種用于對媒體數據容器(104)中存儲的數據分組(110；112)以及元數據容器(106)中存儲的關聯元信息進行處理的設備(600)，所述關聯元信息包括傳輸定時信息和指示存儲的數據分組在所述媒體數據容器(104)中的存儲位置的位置信息，所述設備包括處理器(602)，所述處理器基于存儲的數據分組(110；112)和存儲的關聯元信息(124；128)，來確定針對存儲的數據分組的媒體有效載荷的解碼信息(604；704)，其中，所述解碼信息(604；704)指示了在哪個時刻重放存儲的數據分組中的哪個有效載荷。
文檔編號H04N7/167GK101731013SQ200880019643
公開日2010年6月9日 申請日期2008年7月1日 優先權日2007年7月2日
發明者史蒂芬·克雷格洛, 史蒂芬·道爾拉, 哈拉爾德·福克斯, 尼克拉斯·費伯爾 申請人:弗勞恩霍夫應用研究促進協會