專利名稱:存儲多媒體數據的存儲介質以及再現該多媒體數據的方法和設備的制作方法
技術領域:
本發明涉及多媒體內容的編碼/解碼,更具體地講,本發明涉及一種存儲被構造為用于流式傳輸(streaming)的多媒體數據的存儲介質,以及再現該多媒體數據的方法和設備。
背景技術:
例如視頻數據、音頻數據、計算機動畫數據或者上述任意組合的多媒體數據是關于每種類型的數據中或者每種類型的數據之間的時間同步而被同步地再現。例如,時間同步信息被包括在音頻數據和視頻數據中的每個中,使得它們被一起同步地再現,并且指示何時將音頻數據和視頻數據輸出的信息被包括在它們中的每個中。通過在有線/無線網絡,例如互聯網上流式傳輸這種多媒體數據,可提供教育、娛樂或者其它內容。
流式傳輸服務被特定網絡條件和終端設置所限制,特定網絡條件例如網絡阻塞、信道帶寬、發送延遲、包損失率、比特錯誤率等等,終端設置例如數據吞吐量、存儲量等等。
為了克服這些限制,可通過將傳統下載和流式傳輸技術結合來提供流式傳輸服務。但是,在這種情況下,包括下載數據和流式傳輸數據的所有的流式傳輸內容在流式傳輸服務器的控制下按照用戶的要求被傳送到終端,從而導致下載數據的再現延遲。另外,下載數據和流式傳輸數據都是通過網絡從流式傳輸服務器發送的,因此增加了網絡的負擔。
發明內容
技術方案本發明的一方面是提供一種用于存儲多媒體數據的存儲介質以及用于再現該多媒體數據的方法和設備,其中,通過利用關于內容的附加信息,將預先存儲在存儲介質中的數據和由終端從流式傳輸服務器接收的流式傳輸數據結合,來提供多媒體流式傳輸服務。
有益效果根據本發明的實施例,可有效地提供將從終端的存儲介質讀取的存儲數據與由服務器提供的流式傳輸數據結合的多媒體數據。
圖1表示根據本發明實施例的多媒體數據結構;圖2表示包括存儲段和流式傳輸段的媒體流;圖3表示從圖2的媒體流中收集的存儲子流和流式傳輸子流;圖4是表示圖3的附加信息的內容的例子;圖5是表示根據本發明的實施例的從服務器提供的到再現設備的流式傳輸服務的方框圖;圖6是根據本發明實施例的再現設備的方框圖;圖7是與MPEG-4標準可兼容的附加信息的例子。
最佳方式根據本發明的一方面,提供了一種用于存儲多媒體數據的存儲介質,該多媒體數據包括至少一個媒體流,包括關于流式傳輸數據和存儲數據的信息,流式傳輸數據可通過網絡提供,存儲數據可被終端從本地存儲介質中讀取并且存儲在終端中;附加信息,包括關于怎樣將流式傳輸數據和存儲數據結合的信息。
流式傳輸數據可由通過網絡連接的服務器提供,并存儲數據存儲在可被終端訪問的本地存儲介質中。
附加信息可被最初記錄在本地存儲介質上,并且該附加信息包括關于文件的名稱、位置、數據大小和/或元信息(meta-information)的信息。
媒體流可包括內容附加信息,該內容附加信息用于將包括流式傳輸數據的第一子流和包括存儲數據的第二子流結合,從而重構媒體流。
內容附加信息可包括關于組成多媒體數據的媒體流的數量的信息;關于媒體流的屬性的流附加信息。
流附加信息可包括關于第一子流和第二子流的標識符的信息;關于第一子流或者第二子流是否為存儲數據或者流式傳輸數據的信息;關于存儲數據和流式傳輸數據的結構的信息。
根據本發明的另一方面,提供了一種在終端中再現多媒體數據的方法,包括接收關于組成多媒體數據的多個媒體流中的至少一個的數據結構的內容附加信息;根據所述內容附加信息請求記錄在本地存儲介質上的存儲數據,并且接收和存儲該存儲數據;根據所述內容附加信息通過網絡請求流式傳輸數據,并且接收該流式傳輸數據;根據所述內容附加信息,使用存儲數據和流式傳輸數據來重構和再現原始媒體流。
根據本發明的另一方面,提供一種終端,包括存儲子流緩沖器,從本地存儲介質接收存儲子流;流式傳輸子流緩沖器,通過網絡從流式傳輸服務器接收流式傳輸子流;解碼器,將存儲子流和流式傳輸子流結合以形成媒體流并將該媒體流解碼;渲染器,根據解碼的媒體流之間的時間同步將解碼的媒體流再現。
該終端可包括用于存儲存儲子流以及關于該存儲子流的附加信息的存儲子流存儲單元。
該終端可包括從自流式傳輸服務器接收的流式傳輸數據中產生多個流式傳輸子流的解復用器。
根據本發明的另一實施例,提供了一種再現設備,包括第一解復用器,將流式傳輸子流分離成多個子流;流式傳輸子流緩沖器,存儲分離的子流;第二解復用器,將存儲子流分離成多個存儲子流;存儲子流緩沖器,存儲分離的存儲子流;用于每種類型的流的預解碼緩沖器;媒體流解碼器,將各個存儲子流和流式傳輸子流結合以產生媒體流并且解碼該媒體流。
根據本發明的另一實施例,提供了一種將來自服務器的流式傳輸服務提供到再現設備的方法,該方法包括當用戶輸入內容再現命令時,將內容再現命令發送到DVD播放器;當接收到內容再現命令時,從DVD播放器中的DVD中讀取附加信息;分析附加信息并且從流式傳輸服務器請求流式傳輸服務;從流式傳輸服務器接收流式傳輸數據;請求DVD播放器發送存儲子流;接收所述存儲子流并且存儲接收的存儲子流;從該服務器接收實時的流式傳輸子流;根據附加信息,將存儲的存儲子流和實時的流式傳輸子流結合以再現內容。
根據本發明的另一方面,提供了一種編碼有處理指令的計算機可讀存儲介質,該處理指令用于使處理器執行上述方法。
具體實施例方式
現在,將詳細說明本發明的實施例,其示例表示在附圖中,其中,相同的標號始終指代相同的部件。以下,將參照附圖描述實施例以解釋本發明。
圖1表示根據本發明實施例的多媒體數據結構。
多媒體內容可包括例如視頻、音頻、文本等的多種數據,這多種數據中的每一種可被稱為媒體流。圖1表示包括分別為媒體流A110、媒體流B120、媒體流C130的3個媒體流的多媒體內容的例子,這3個媒體流中的每一個包括用于實現內部同步的媒體內的時間同步信息和用于與其它媒體流同步的媒體之間的時間同步信息。媒體內的時間同步信息和媒體之間的時間同步信息通過使用系統參考時鐘產生。
現在將詳細描述時間同步信息。在MPEG-4系統的情況下,每個媒體流的再現起始時間以二進制場景描述格式(BIFS)被記錄在節點信息′startTime′中。每個媒體流的位置信息也以BIFS被記錄。媒體流被分成訪問單元,該訪問單元是解碼的基本單元并且被攜帶在同步層包(SL包)中。關于合成時間戳(CTS)、解碼時間戳(DTS)和對象時鐘參考(OCR)的信息被記錄在SL包的頭中。通過使用關于CTS、DTS和OCR的信息,可實現媒體流內的時間同步和媒體流之間的時間同步。
圖2表示包括存儲段和流式傳輸段的媒體流。
參照圖2,媒體流110、120和130中的每個包括存儲段(圖2中的陰影部分)和流式傳輸段。在流式傳輸服務器開始流式傳輸之前,將與流式傳輸服務器不相關的存儲段存儲在終端的存儲單元中。通過流式傳輸服務器的流式傳輸,流式傳輸段被實時地傳送到終端。
作為獲得存儲段并將該存儲段存儲到終端的存儲單元中的示例,所述終端可連接到DVD播放器,并且從包括由內容服務提供者提供的附加信息和存儲流的DVD接收存儲段。在該DVD中有3個獨立的區域記錄存儲數據的存儲數據區、記錄將從流式傳輸服務器接收的流式傳輸數據信息的流式傳輸數據區和用于表示怎樣結合存儲數據和流式傳輸數據的附加信息的附加信息區。
由內容提供者根據網絡的數據傳送率和終端的輸入緩沖器容量來確定流式傳輸段和存儲段怎樣劃分。例如,為了避免輸入緩沖器上溢或者下溢,可將該輸入緩沖器的一部分首先分配給流式傳輸段,然后將該輸入緩沖器的剩下部分分配給存儲段。以MPEG-4系統為例,存儲段和流式傳輸段包括多個訪問單元。另外,以可伸縮的媒體流為例,基本層的數據與存儲數據對應,并且加強層的數據與流式傳輸數據對應。通常,僅將基本層的數據提供給用戶,但是也可提供加強層的數據以改善質量。
圖3表示從圖2的媒體流中收集的存儲子流和流式傳輸子流。
參照圖3,圖2中的流A被分成存儲子流A-1310和流式傳輸子流A-2320。該存儲子流A-1310包括存儲段A2、A4和A6,并且該流式傳輸子流A-2320包括流式傳輸段A1、A3、A5和A7。
同樣,圖2中的流B被分成存儲子流B-1330和流式傳輸子流B-2340。該存儲子流B-1330包括B2、B4和B6,并且該流式傳輸子流B-2340包括B1、B3和B5。
另外,圖2中的流C被分成存儲子流C-1350和流式傳輸子流C-2360。該存儲子流C-1350包括C2和C4,并且該流式傳輸子流C-2360包括C1、C3和C5。
使用存儲子流和流式傳輸子流來恢復原始媒體流需要附加信息370。
圖4表示圖3的附加信息370的內容的例子。
這里,應該注意的是,用于表現版權信息、媒體數據信息、關鍵字信息等應用在傳統內容編碼方法中的技術也可被包括在圖4所示的附加信息中。因此,現在將按照根據本發明實施例提供的流式傳輸服務來描述附加信息。
參照圖4,′streaming_contents_additional information′440是關于由流式傳輸服務提供的多媒體內容的信息,并且其包括組成多媒體內容的流的數量′stream_number′442和關于每個流的附加信息′stream_additional information′444。
′stream_additional information′444包括關于用于標識相應流的標識符′stream_indentifier′432的信息和關于存儲子流434和流式傳輸子流436的信息。總體上,流可包括存儲子流或者流式傳輸子流,并且還包括流附加信息。所述流附加信息關于存儲子流或者流式傳輸子流,根據關于存儲子流的信息的布爾值434或者關于流式傳輸子流的信息的布爾值436,這兩個布爾值中的每一個都是布爾數據格式。
關于存儲子流或者流式傳輸子流的流附加信息被記錄為′substream_additional information′420。′substream_additional information′420包括組成子流的段的數量′segment_count′422、子流的大小′substream_size′424和段的列表′segment_list′426。′segment_information′410包括段的起始字節位置′segment_start′412和段的大小′segment_size′414。
圖5是表示根據本發明的實施例的從服務器提供的到再現設備的流式傳輸服務的方框圖。
這里,在認證、會話管理等中使用的流式傳輸服務的傳統協議也可被使用,但是,圖5所示的流式傳輸服務將根據本實施例的附加協議來描述。例如DVD播放器的再現播放器與終端結合,用于再現包括存儲子流和附加信息的數據。DVD播放器可從具有存儲子流和附加信息的DVD中再現數據。
首先,如果用戶輸入內容再現命令,則在操作S510中,終端將該命令傳達到DVD播放器。然后,在操作S520中,終端從該DVD中讀取附加信息。在操作S530中,終端分析該附加信息并且從流式傳輸服務器請求流式傳輸服務。在操作S540中,終端從流式傳輸服務器接收流式傳輸數據。另外,在操作S550中,終端請求DVD播放器發送存儲子流,并且在操作S560中,終端接收存儲子流并且將它們存儲在終端中的存儲單元中。終端將存儲在存儲單元中的存儲子流和由服務器的流式傳輸服務提供的實時流式傳輸子流結合,以根據附加信息再產生和再現原始的流式傳輸內容。
如果由可伸縮的編碼方法來編碼媒體流,則只有與基本層流對應的存儲子流可按照用戶的請求或者在網絡的控制下被再現。但是,如果請求高質量的內容,則與加強層流對應的流式傳輸子流也可與存儲子流結合,然后被再現。
圖6是根據本發明的實施例的再現設備的方框圖。
參照圖6,通過網絡604從服務器602傳送的實時流式傳輸子流被解復用器606分離成幾個流,并且在開始解碼之前,這些流中的每一個根據關于解碼時間戳,例如MPEG-4系統中的DTS的信息和流標識符被分別存儲在子流緩沖器1-3中,子流緩沖器1-3為630a、630b和630c。
從DVD播放器690發送的存儲子流被解復用器610分離成幾個流,并且在開始解碼之前,這些流中的每一個根據關于的解碼時間符號,例如MPEG-4系統中DTS的信息和流標識符被分別存儲在相應的子流緩沖器1-3中,子流緩沖器1-3為620a、620b和620c。
預解碼緩沖器1-3,640a、640b和640c是單獨為所有類型的流預留的。對于媒體流,預解碼緩沖器1640a根據從存儲子流緩沖器1620a和流式傳輸子流緩沖器1630a讀取的關于DTS的信息來順序地存儲組成存儲子流和流式傳輸子流的訪問單元。
因此,媒體流解碼器650a和650b以及渲染器(renderer)670可按照與在傳統方法/設備中的相同的方式操作。在圖6中,媒體流需要2個預解碼緩沖器640a和640b,它們是根據可伸縮的編碼壓縮方法的用于基本層流和加強層流的例子。
圖7是與MPEG-4標準兼容的附加信息的例子。
根據MPEG-4標準,關于內容的結構的信息由BIFS和對象描述符(OD)表示,BIFS和OD一起被稱作初始對象描述符(IOD)。圖7的例子使用在用于描述MEPG-4媒體流的示例性流描述符中包括的擴展描述符,這是為了使附加信息,例如在圖4中表示的附加信息與傳統的MEPG-4兼容。參照圖7,′storedSubstream′和′streamingSubstream′是表示當前媒體流包括存儲子流還是流式傳輸子流的信息,并且它們中的每一個包括從存儲子流或者流式傳輸子流劃分出的段的數量′numberOfSegment′、相應的子流的字節大小′subStreamSize′、組成相應的子流的段的字節起始位置′SegmentStartPosition′和段的大小′SegmentSize′。′URL_flag′、′URLlength′和′URLstring′用于將相應的子流的存儲位置表示為URL,根據該URL,終端從與該終端結合的存儲介質播放器接收存儲子流并且接收由流式傳輸服務器提供的流式傳輸子流。
如果不要求與傳統的MPEG-4流的兼容性,則關于媒體流的附加信息可包括表示圖7所示的信息的新描述符以及用于MPEG-4系統的示例性流描述符。
本發明的實施例可被實現為計算機程序。該計算機程序可記錄在計算機可讀介質上以被計算機讀取和執行。這種計算機可讀介質包括所有類型的存儲裝置,例如磁存儲裝置、光數據存儲裝置等等。該計算機可讀介質還包括任何以載波的形式,例如互聯網傳播,而實現的事物。
雖然顯示并描述了本發明的一些實施例,但是本發明并不限于所描述的實施例。相反,本領域技術人員應該理解,在不脫離本發明的原則和精神的情況下可做出修改,本發明的范圍由權利要求及其等同物限定。
權利要求
1.一種用于存儲多媒體數據的存儲介質,該多媒體數據包括至少一個媒體流,包括關于流式傳輸數據和存儲數據的信息,流式傳輸數據可通過網絡提供,存儲數據可通過終端從本地存儲介質中讀取并且存儲在該終端中;附加信息,包括關于怎樣將流式傳輸數據與存儲數據結合的信息。
2.如權利要求1所述的存儲介質,其中,流式傳輸數據由通過網絡連接的服務器提供,存儲數據存儲在本地存儲介質中。
3.如權利要求1所述的存儲介質,其中,附加信息最初被記錄在本地存儲介質上,并且包括關于文件的名稱、位置、數據大小或者元信息的信息。
4.如權利要求3所述的存儲介質,其中,媒體流包括內容附加信息,該內容附加信息用于將包括流式傳輸數據的第一子流和包括存儲數據的第二子流結合以重構媒體流。
5.如權利要求4所述的存儲介質,其中,內容附加信息包括關于多媒體數據的媒體流的數量的信息;關于媒體流的屬性的流附加信息。
6.如權利要求5所述的存儲介質,其中,流附加信息包括關于第一子流和第二子流的標識符的信息;關于第一子流或者第二子流是否為存儲數據或者流式傳輸數據的信息;關于存儲數據和流式傳輸數據的結構的信息。
7.一種在終端中再現多媒體數據的方法,包括接收關于多媒體數據的多個媒體流中的至少一個的數據結構的內容附加信息;根據所述內容附加信息請求記錄在本地存儲介質上的存儲數據,并且接收和存儲該存儲數據;根據所述內容附加信息通過網絡請求流式傳輸數據,并且接收該流式傳輸數據;根據所述內容附加信息,使用存儲數據和流式傳輸數據來重構并再現原始媒體流。
8.如權利要求7所述的方法,其中,流式傳輸數據存儲在通過網絡連接的服務器存儲介質中,存儲數據存儲在本地存儲介質中。
9.如權利要求7所述的方法,其中,內容附加信息包括關于組成多媒體數據的媒體流的數量的信息;關于媒體流的屬性的流附加信息。
10.如權利要求9所述的方法,其中,流附加信息包括關于組成媒體流的第一子流和第二子流的標識符的信息;關于第一子流或者第二子流是否為存儲數據或者流式傳輸數據的信息;關于存儲數據和流式傳輸數據的結構的信息。
11.一種用于再現多媒體數據的終端,包括存儲子流緩沖器,從本地存儲介質接收存儲子流;流式傳輸子流緩沖器,通過網絡從流式傳輸服務器接收流式傳輸子流;解碼器,將所述存儲子流和所述流式傳輸子流結合以制成媒體流并將該媒體流解碼;渲染器,根據解碼的媒體流之間的時間同步來再現解碼的媒體流。
12.如權利要求11所述的終端,還包括存儲子流存儲器單元,用于存儲存儲子流和關于該存儲子流的附加信息。
13.如權利要求11所述的終端,還包括解復用器,從自流式傳輸服務器接收的流式傳輸數據中產生多個流式傳輸子流。
14.如權利要求11所述的終端,其中,流式傳輸數據被存儲在通過網絡連接的服務器存儲介質中,并且存儲數據被存儲在由終端訪問的本地存儲介質中。
15.一種再現設備,包括第一解復用器,將流式傳輸子流分離成多個子流;流式傳輸子流緩沖器,存儲所述分離的子流;第二解復用器,將存儲子流分離成多個存儲子流;存儲子流緩沖器,存儲所述分離的存儲流;用于每種類型的流的預解碼緩沖器;媒體流解碼器,將各個存儲子流和流式傳輸子流結合以產生媒體流并且解碼該媒體流。
16.如權利要求15所述的再現設備,其中,所述分離的流式傳輸子流基于解碼時間戳信息和流標識符被存儲。
17.如權利要求15所述的再現設備,其中,所述分離的流基于解碼時間符號信息和流標識符被存儲。
18.如權利要求15所述的再現設備,其中,所述預解碼緩沖器根據從存儲子流緩沖器和流式傳輸子流緩沖器中讀取的信息順序地存儲存儲子流和流式傳輸子流的訪問單元。
19.如權利要求15所述的再現設備,其中,根據可伸縮的編碼壓縮方法,存在用于基本層流和加強層流的兩種預解碼緩沖器。
20.如權利要求15所述的再現設備,還包括渲染解碼的媒體流的渲染器。
21.一種將來自服務器的流式傳輸服務提供到再現設備的方法,該方法包括當用戶輸入內容再現命令時,將內容再現命令發送到DVD播放器;當接收到內容再現命令時,從DVD播放器中的DVD中讀取附加信息;分析附加信息并且從流式傳輸服務器請求流式傳輸服務;從流式傳輸服務器接收流式傳輸數據;請求DVD播放器發送存儲子流;接收所述存儲子流并且存儲接收的存儲子流;從該服務器接收實時的流式傳輸子流;根據所述附加信息,將存儲的存儲子流和實時的流式傳輸子流結合以再現內容。
22.如權利要求21所述的方法,其中,附加信息與MPEG-4標準可兼容。
23.如權利要求21所述的方法,其中,附加信息包括代表信息的描述符和與MPEG-4標準可兼容的描述符。
24.一種編碼有處理指令的計算機可讀存儲介質,所述處理指令用于使處理器執行在終端中再現多媒體數據的方法,所述方法包括接收關于多媒體數據的多個媒體流中的至少一個的數據結構的內容附加信息;根據所述內容附加信息請求記錄在本地存儲介質上的存儲數據,并接收和存儲該存儲數據;根據所述內容附加信息通過網絡請求流式傳輸數據,并接收該流式傳輸數據;根據所述內容附加信息,使用所述存儲數據和所述流式傳輸數據重構和再現原始媒體流。
25.一種編碼有處理指令的計算機可讀存儲介質,所述處理指令用于使處理器執行將來自服務器的流式傳輸服務提供到再現設備的方法,所述方法包括當用戶輸入內容再現命令時,將內容再現命令發送到DVD播放器;當接收到所述內容再現命令時,從DVD播放器中的DVD中讀取附加信息;分析所述附加信息,并且從流式傳輸服務器請求流式傳輸服務;從所述流式傳輸服務器接收流式傳輸數據;請求DVD播放器發送存儲子流;接收所述存儲子流并且存儲接收的存儲子流;從服務器接收實時的流式傳輸子流;根據所述附加信息,將存儲的存儲子流和實時的流式傳輸子流結合以再現內容。
全文摘要
一種用于存儲多媒體數據的存儲介質,以及一種用于再現該多媒體數據的方法和設備。在終端中再現多媒體數據的方法包括接收代表組成多媒體數據的多個媒體流中的至少一個的數據結構的內容附加信息;根據所述內容附加信息請求記錄在本地存儲介質上的存儲數據,并且接收和存儲該存儲數據;根據所述內容附加信息通過網絡請求流式傳輸數據,并且接收該流式傳輸數據;根據所述內容附加信息,使用存儲數據和流式傳輸數據來重構并再現原始媒體流。
文檔編號H04L29/08GK1985321SQ200580000287
公開日2007年6月20日 申請日期2005年2月26日 優先權日2004年2月27日
發明者金海光 申請人:學校法人大洋學園, 三星電子株式會社