通過嵌入水印實現腳本同步的制作方法

專利名稱：通過嵌入水印實現腳本同步的制作方法
通過嵌入水印實現腳本同步
本發明涉及多媒體系統領域，并且具體來說，涉及與感知要素相關 的腳本與內容流的同步，并且更加具體地講，涉及使內容流與腳本流、 腳本文件等同步的水印嵌入。
隨著計算機技術快速發展帶來的家庭娛樂系統的蓬勃發展，希望通 過開發影響用戶的感官知覺的效果(包括例如變化的亮度、振動、溫度、 風、聲音、氣味)來在實際輸出中創造更強烈的用戶親臨現場感。這種 希望源自于很多主題公園正在使用的用來吸引游客的大型游樂項目以及 在家庭中開發這些動人效果(比如與大屏幕電視、高清電視和電視游戲 相關的效果)的可能性。
隨著新的技術付諸應用，針對電視觀看的用戶體驗正在發生迅速改 變。在高端電視中已經可以看到一些初期跡象，在這些電視中，增加了 用來提高電視體驗的燈光。當前，這些效果(比如燈光)的控制，包括 色彩輸出和時變性能，A^于內容的實時分析的，這需要復雜的程序和 專用的器材。
一種系統使用構成實際內容流(例如，視頻和/或音頻) 一部分的預定腳本。不過，問題在于，這需要內容供應商針對流送內容
(比如MPEG、 MP3 )進行新的標準化行為，不管是廣播的還是預先錄制的 (例如，錄制在DVD上)，并且需要對所有的標準化流送類型進行這一 標準化。
授權給Burns的名稱為《Method for Watermarking Computer Programs》的美國專利US6834343公開了一種將信息水印施加(即，嵌
入)到數字產品中的處理，并且該美國專利以引用的方式并入本文。
由WIPO發布的名稱為《A Real - World Representation System and Language》的國際/^開文獻W002/092183(申請人為Koninklijke Philips Electronics)以及名稱為《Dy訓ic Markup Language》的W003/100548 (申請人為Eves等)公開了用于按照使用標記語言的描述驅動和操縱裝 置來向用戶呈現真實世界體驗的手段和用于由片段生成標記語言文件的 手段，這兩篇國際公開文獻都以引用的方式并入本文。
授權給Limaye的美國專利US6642966公開了借助視頻信號中的嵌入
的執行同步的手段。該關鍵字提供用于取回控制數據和相關文件的地址 以及從包含該關鍵字的當前幀開始記起的當要與視頻 一起播放來自控制 數據文件的元數據時的未來時間的指示，從而指定了在未來何時執行控 制數據中包含的指令。與表示當前時間的時鐘一起使用該未來時間，以 確定何時應當播放數據。不過，使用未來何時播放的指示以及與未來幀 相關的數據具有這樣的問題，經常地會隨機地訪問所播放的視頻，比如 暫停、倒放、快進等。由此，無法確保未來幀真正是在關鍵字數據中指 定的未來時間播放的。
本系統的目的是克服現有技術中的這些和其它缺點。
可以使用描述效果(燈光、音響和其它效果)的腳本來增強內容體 驗，例如，觀看電視或玩視頻游戲。
本系統提供用于驅動/控制感觀裝置(比如環境光電視的燈)的與內 容流相關的預定腳本，取代視頻/音頻內容的實時分析。可以將腳本制作 成嵌入在實際內容流(例如，視頻或音頻)內。不過，制作實際內容鴻 的腳本部分可能需要標準化，這會增加家用多媒體系統的成本并且還可 能需要改變當前的傳統器材。由此，在另一種實施方式中，可以從除了 內容流之外的不同來源得到和/或發布腳本。
本系統使用諸如水印嵌入技術之類的技術來將消費(例如，觀看、 收聽等)內容流的用戶不能感知的信息嵌入到內容流中，以幫助實現內
容流與腳本流的同步。腳本流可以用于控制燈光、吹風器等，以提高用 戶在消費內容(比如觀看電視)時的體驗。
簡要地講，本系統提供一種來自提供商的內容流，該內容流具有嵌 入數據，比如嵌入在內容流中的水印信息。在嵌入在例如內容流的一個 或多個幀中的水印信息中包含有時鐘值。該時鐘值涉及內容流起始的時 間和將水印嵌入到內容流中時的時間。由水印提取子系統接收帶有嵌入 水印的內容流。由腳本輸出生成器使用從嵌入在內容流中的水印中提取 出的時鐘值來確認腳本流中與該內容流部分相應的位置。基于從水印中 提取出的時鐘值，由腳本輸出生成器定位腳本流，以與內容流的呈現同 步地產生效果輸出。
提供了 一種使內容流與用于在多媒體系統中輸出 一個或多個感觀效果的腳本流同步的系統和方法。該系統和方法包括向內容流內嵌入至少 一個水印。該水印包括至少一個與嵌入時鐘值時的時間有關的時鐘值和 一個代表內容流起始的初始時鐘值。接收器從內容流中提取出所嵌入的 包括時鐘值的水印。接收器檢索與內容和時鐘值相應的腳本流部分。利 用該腳本流產生在用于效果控制器的效果信號中輸出的一個或多個感，見 效果。該效果信號是與內容流的呈現同步地產生的。
在一種實施方式中，將內容標識符嵌入到水印中。接收器從水印中 提取出內容標識符，并且取回與該內容標識符相應的腳本流。
下面是說明性實施方式的介紹，在與附圖相結合地閱讀時，這些實 施方式展示了前面提出的特征和優點以及其它特征和優點。在下面的介 紹中，出于解釋說明而不是限定的目的，提出了具體的細節來進行圖解 說明，比如特定的體系結構、界面和技術等。不過，對于本領域普通4支 術人員而言，顯然，仍然能夠理解超出這些具體細節的其它實施方式仍 然處于所附權利要求的范圍之內。而且，出于簡明的目的，省略了公知 裝置、電路和方法的詳細介紹，以便不致混淆本發明的介紹。
應當明確地理解，引入附圖是為了解釋說明的目的，并不代表本系 統的范圍。在附圖中，不同附圖中的相同附圖標記指代相同的單元。
附

圖1圖解說明按照本系統的實施方式，借助水印時間信息使內容
流與腳本流同步的手段；
附圖2圖解說明按照本系統的實施方式，通過水印提取子系統和腳 本輸出生成器之間的時間同步裝置使內容流與腳本流同步的手段；和
附圖3A和3B是按照本系統的實施方式的內容流和相應腳本流的圖 解說明。
在附圖1和2中示意性地示出了通過在內容中嵌入同步信息來實現 腳本/內容同步的本系統IO并且在此將對其進行介紹。雖然是說明性的，
但是下面的討論將會從腳本流的角度對本系統進行討論，但是本領域普 通技術人員將很容易意識到，該系統也可以應用于任何形式的腳本內容， 包括數據文件。由此，正如本文所使用的那樣，我們的本意是，要將術 語"腳本流"理解為涵蓋了各種這些其它形式的腳本內容。
參照附圖1，在發布內容流12之前或者在傳送內容流12期間(例如由廣播臺，由DVD生產商等)，以消費(觀看、收聽等)該內容的用戶 不能分辨出的方式將時鐘值14嵌入到內容流12中。例如，可以利用施 加水印來將時鐘值14嵌入到內容中。消費該內容的用戶應當不能夠可感 覺地發現水印的存在，不過呈現該內容的裝置能夠檢測到水印并且按照 嵌入在水印中的數據執行。例如，可以利用水印來控制內容的呈現。在 呈現內容時，從用戶的角度看，與沒有水印的內容的副本相比，水印應 當不會能感覺到地更改內容。
這樣，可以將時鐘值14嵌入在內容中，而不改變內容的呈現。按照 本系統，時鐘值14是與內容流的開始以及將水印嵌入到該內容中的時間 有關的指示。
附圖3A是內容流60和相應腳本流50的例子。如圖所示，將內容流 60分為多個內容部分。這些內容部分與原本用來與這些內容部分同步地 執行的腳本部分相對應。各個內容部分具有嵌入到其中的水印，該水印 包括定時基準(例如，TO、 Tl等等)，并且與相同的各定時基準TO、 Tl 等相關的腳本部分用來與這些內容部分同步地呈現。換句話說，隨著包 含嵌入水印中的TO的內容部分60的呈現，會同步地執行與該內容部分 相應的腳本部分。
在這一實施方式中，將內容流起始處的時鐘值14設置為零。時鐘值 14表示將該時鐘值14嵌入到內容流中時的時間并且還涉及從內容流的 起始開始記起的時間。使用嵌入在給定內容部分的水印中的這一時鐘值 14，本系統可以確定腳本流的哪些部分與內容流的當前部分相對應，從 而可以與該內容流部分同步地呈現所確定的腳本流部分。
例如，對于打算用于電視顯示的內容流，可以利用在內容流的開始 端處被初始化的時鐘值14為內容流的一個或多個幀施加水印。在水印提 取子系統16接收到各個內容部分時，從嵌入在該內容部分中的水印中提 取出所嵌入的時鐘。然后利用從內容部分中提取出的嵌入時鐘來確定與 該內容部分相對應的腳本部分。按照這種方式，在例如用戶為了呈現而 訪問(不管是通過順序訪問還是隨機訪問)帶有包含時間值T2的水印的 內容部分(例如，快進、倒放等)時，由腳本輸出生成器28檢索要在這 一時刻啟用的腳本部分(例如，所示的與T2相對應的腳本部分)或者它 的某一部分，對其進行轉換，并且可以將其提供給效果控制器18 (實際 上可以是一個或多個效果控制器)，以便呈現與內容部分T2的呈現同步 的效果。
在這一實施方式中，示出了插入在內容60中的廣告部分。不過，應 該注意的是，廣告部分沒有嵌入時鐘值14,由此，水印提取子系統16 將不會從廣告部分中提取出水印并且腳本輸出生成器將不會從腳本服務 器20中檢索腳本部分。盡管如此，仍然會將廣告部分提供給內容播放裝 置32 (比如電視)，以便進行呈現。在這一實施方式中，在傳輸內容流 的廣告部分期間，可以停止時鐘24并且然后在廣告部分之后重新開始。 這樣，廣告部分之后的內容部分接收到用于嵌入的時間值T3，該時間值 是在沒有插入廣告部分的情況下內容部分應該接收到的同一時間值。隨 后，當訪問帶有包含時間值T3的水印的內容部分時，腳本輸出生成器28 檢索此時要啟用的腳本部分(例如，所示的與T3對應的腳本部分)并且 可以將該腳本部分提供給效果控制器18，以便與內容部分T3的呈現同步 地呈現效果。
在另一種實施方式中，其中時鐘24不是在內容的起始啟動的，嵌入 在內容部分中的水印可以包括運行時鐘值(例如，并不是在內容流的起 始時間-TO處起始的時鐘值)以及表示內容的起始時間的偏移量。附圖 3B表示這樣的內容70:其中將水印表示為是針對內容70的各個幀或幀 組嵌入的。按照本系統，所嵌入的水印包括兩個不同的時間基準，即以 內容70開始時的運行時鐘為基準的時間(例如，TFO)和以具體內容部 分開始時的運行時鐘為基準的時間(例如，TRO、 TR1等)。這樣，類似 于前面介紹的實施方式，本系統可以總是及時地確定當前內容部分如何 與內容70的運行開始時間相關聯。利用這一確定結果(例如，TRO減去 TFO)，腳本輸出生成器28可以再次確定適當的腳本部分，以從腳本服 務器20中檢索。在這一實施方式中，時鐘24可以在穿過廣告序列時繼 續運行，只要對于廣告之后的內容部分，腳本輸出生成器28將廣告持續 時間考慮進來即可。例如，可以對廣告部分之后的內容部分的起始時間
(例如，TFO)進行更新，以反映新的內容起始時間，該新的內容起始時 間是以運行時鐘為基準的原始內容起始時間加上廣告部分的持續時間
(例如，TFO加上TC)。這樣，腳本輸出生成器28可以不計廣告部分的 持續時間，以實現例如與內容部分TR3以及隨后的廣告部分相應的腳本 部分。
內容流12可以通過某種發布/傳輸渠道進行發布，包括通過廣播頻
道、因特網、經由光學介質(比如數字通用盤(DVD))等，并且這樣， 將包括水印信息的內容流12提供給終端用戶。
腳本可以由腳本服務器20提供，在實施方式中，腳本服務器20通 過與內容相同的發布系統發布腳本，比如通過因特網。腳本可以與內容 一起發布，或者可以與內容分開發布并且由例如為內容提供預先設計好 的腳本的另一個源提供。例如，內容可以通過廣播頻道提供，比如可以 用于發布腳本的電視頻道。按照另外一種可選方案，可以通過廣播頻道 提供內容，而由服務器20通過因特網提供腳本。在再另一種實施方式中， 服務器20可以簡單地是一個可以由本地DVD播放器訪問的、包含腳本的 DVD或者處于用戶本地的計算機可讀介質。按照本系統，不管內容和腳本 是如何接收的，本系統都能夠與腳本同步地播放該內容。
在該說明性的實施方式中，由腳本服務器20提供預先定義的腳本來 驅動效果控制器18。這些腳本的優點是，它們能夠實現比實時內容分析 更加高級的效果，因為腳本不必單一地基于內容素材，而是可以基于專 業腳本設計人員的藝術創造力。
應當清楚地理解，由腳本控制的效果可以涉及聲音、溫度、風、振 動等，并且僅僅受到設計者想象力和用戶可用的效果器材的限制。按照 本系統，在腳本的控制下，由效果控制器18與內容同步地輸出適當的效 果，
如附圖1中所示，在內容發布裝置22中，如前所述那樣由時鐘24 將時鐘值14插入到內容流中的水印信息內。由內容發布網絡22輸出的 內容流26包括該內容流26中的時鐘值14。該內容流26由發布裝置22 發出并且由水印提取子系統16接收。水印提取子系統16從內容部分中 提取出水印和時鐘值14并且將該時鐘值14發送到腳本輸出生成器28。 從內容的這一部分接收到的時鐘值14決定在該內容部分呈現期間要從腳 本輸出生成器28向效果控制器18輸出哪種腳本效果。
可以包括適當的緩存裝置作為水印提取子系統16和/或腳本輸出生 成器28的一部分，以便用來調整由于任一個裝置中的處理延遲造成的傳 輸時間。這樣， 一旦確定了用來與給定內容部分一起呈現的適當腳本部 分，就以同步的方式一起呈現該內容部分和該腳本部分。在搮作期間， 可以將標準緩存時間與任一個裝置相關聯和/或腳本輸出生成器可以控 制水印提取子系統16來在與由腳本輸出生成器28輸出的效果信號34同
步的延遲后的時刻向內容呈現裝置(示為內容播放裝置32)提供內容。 在另一種實施方式中，水印提取子系統16可以控制腳本輸出生成器在與 內容向內容播放裝置32的提供同步的延遲后的時刻向效果控制器18提 供效果信號34。在另一種實施方式中，在內容呈現通道和腳本呈現通道 中可能存在固定的延遲。如果是這樣的話，腳本輸出生成器中的偏移量 (例如，緩存)足以解決這一問題。這一偏移量可以通過分析所引入的 實際延遲來加以校正。不過，該偏移量可以是正的也可以是負的。在負 值的情況下，可以使內容略微延遲。在任何情況下，內容都可以與效果 的呈現同步地以連續或隨機的方式得到呈現。
參照附圖2,腳本輸出生成器28包括時基調節構件38和腳本引擎 40。腳本引擎40分析腳本流并且輸出包括一個或多個可以控制一個或多 個用于輸出感觀效果的實景裝置的片段的腳本信號34。如附圖2中所示， 從內容部分的嵌入水印中取出時間值。時基調節構件38接收這一時間值， 在時基調節構件38中，可以將修正系數與當前時間值進行組合，以得到 經過更新的時鐘值。將經過更新的時鐘值與視頻中的當前時鐘值進行比 較，并且由腳本引擎40和/或水印提取子系統16中緩存器對這些流進 行適當調整，從而使內容和腳本在呈現期間得到同步。
在水印提取子系統16不檢測內容部分中的水印的情況下，該系統可 以進入不產生燈光效果的模式，比如在檢測到廣告部分的時候，或者燈 光效果可以基于內容部分的本地實時內容分析。
在一種實施方式中，水印提取子系統16和腳本輸出生成器28可以 包含在模塊30中，如附圖1中所示。這樣，可以將該模塊簡單地插入 在內容的來源和用于操作的內容呈現裝置之間。在其它一些實施方式中，
;裝置中，以使得i傳統丄置能夠按照本系、統進行操作。
本系統可以用于腳本流與內容流(例如音頻、視頻)的同步，以增 強用戶對內容的體驗。本系統可以用在所有種類的呈現裝置中，針對所 有類型的內容將燈光或其它增強效果與內容流對應起來。例如，可以針 對隨同可由腳本引擎遞送的附加效果一起呈現給用戶的音頻、視頻、音 頻/視頻、游戲等內容使用本系統。在一種實施方式中，希望水印時基 即使在一次或多次壓縮和解壓縮循環之后仍然保留在內容流中.在這一 實施方式中，水印可以是持久水印，從而即使在數模轉換、壓縮等之后
仍然可以從內容中檢索水印和所嵌入的時間值。以這種方式，不需要更
換傳統器材(比如傳統機頂盒、DVD播放器/記錄器等)并且不需要對操 縱或發布內容的方式施加額外的約束，就可以利用基于腳本的內容增強
(例如，與內容同步地響應于腳本改變顏色和強度的光)。這樣可以將 附圖1的水印提取子系統16和腳本輸出生成器28插入在標準裝置(包 括機頂盒、DVD播放器等)和內容呈現裝置(包括電視)之間。
本系統還能夠實現要與內容同步傳遞的多個可用腳本之一的傳遞。 例如，所傳遞的內容可以具有包含在內容傳遞中的基本腳本。可以如本 文介紹的那樣操作這一腳本。不過，可以通過單獨的渠道得到增強腳本
(例如，具有額外和/或增強效果的腳本)和/或可以付費得到增強腳 本。按照本系統，不管這一附加腳本是如何和從哪里得到的和/或如何 和從哪里傳遞來的，都可以取代基本腳本，與內容同步地呈現該附加腳 本。
此外，與內容相對應的腳本的選擇可以是按照用戶的意愿進行的。 在一種實施方式中，還可以由腳本輸出生成器利用嵌入在內容部分中的 水印來確定內容(內容ID)。這樣，擁有內容ID的腳本輸出生成器可以 從多個可用腳本(其中一部分可能與其它內容相應)中確定出可在腳本 服務器20處得到的相應腳本。響應于內容ID,本系統可以為用戶提供選 擇和/或購買與內容相應的腳本的選項，該腳本可能是可從腳本服務器 中得到的多個腳本當中選擇和/或購買的。
此外，可以如上所述那樣與其它內容部分一樣地對待廣告部分。這 樣，可以與廣告部分同步地呈現效果，以增強廣告部分的呈現效果。
已經參照附圖介紹了本發明的實施方式，應該理解，本發明并不局 限于確切的實施方式，并且本領域技術人員可以在其中實施各種不同的 改變和修改，而不會超出所附權利要求中定義的范圍或思想。
在解釋附加的權利要求時，應當理解
a) 詞"包括"并不排除除了給定權利要求中所列出的單元或動作之外 還存在其它單元或動作的可能；
b) 置于單元前面的詞"一"或"一個"并不排除存在多個這種要素的可能。
c) 權利要求中的任何附圖標記都不限定它們的范圍；
d) 數個"構件"可以由同一個制品或硬件或者軟件實現的結構或功能 代表。
e)任何所公開的單元可以由硬件部分(例如，包括分立的和集成的 電子電路)、軟件部分(例如，計算機程序)和它們的任何組合構成； f )硬件部分可以由模擬和數字部分之一或二者構成；
g) 任何所公開的裝置或其組成部分可以組合在一起或者分散成更多 的部分，除非另有iJC明；和
h) 動作或步驟都不需要有特定的順序，除非另有說明。
權利要求
1.一種使內容流與用于在多媒體系統中輸出一個或多個感觀效果的腳本同步的方法，該方法包括下列動作向內容流中嵌入至少一個水印，該水印至少包括與嵌入時鐘值時的時間有關的時鐘值和代表內容流之起始的初始時鐘值；從內容流中提取出各個水印中的各個時鐘值；檢索內容和時鐘值相應的腳本，該腳本代表要在效果控制器的效果信號中輸出的一個或多個感觀效果。
2. 按照權利要求l所述的方法，包括將內容流傳遞給內容呈現裝 置以便與所檢索的腳本同步地呈現的動作。
3. 按照權利要求2所述的方法，包括對內容流的傳遞進行延遲， 直到檢索到腳本并且準備好呈現的動作。
4. 按照權利要求2所述的方法，其中如果沒有從內容流中提取出 時鐘值，則缺省操作模式不提供腳本。
5. 按照權利要求2所述的方法，包括動作 如果沒有從內容流中提取出時鐘值，則對內容流進行分析；和 基于經過分析的內容流提供額外的效果[內容分析并不會得到本發明意義上的類似腳本]。
6. 按照權利要求1所述的方法，包括動作 在水印內嵌入內容標識符；和從水印中提取出內容標識符，其中腳本的檢索包括檢索與該內容標 識符相應的腳本。
7. 按照權利要求1所述的方法，其中對于各個內容流，有多個腳本可用，該方法包括選擇多個可用 腳本中的 一個腳本來進行檢索的動作。
8. 按照權利要求1所述的方法，包括為用戶提供選擇多個可用腳本中的一個腳本來進行檢索的選項 的動作。
9. 一種用于使所接收的內容流與用于在多媒體系統中輸出 一個或 多個感觀效果的腳本同步的接收器，該接收器包括水印提取器，構成為用來從內容流中提取出水印，該水印至少包括 與在內容中嵌入水印時的時間以及內容流的起始有關的時鐘值； 腳本同步器，構成為用來提供與內容和時鐘值相應的腳本，該腳本 代表構成為用來在用于效果控制器的來自于腳本同步器的效果信號中輸 出的一個或多個感觀效果，腳本同步器構成為用來與內容的呈現同步地 產生輸出。
10. 按照權利要求7所述的接收器，其中如果水印提取器沒有提取 出時鐘值，則腳本同步器構成為用來不提供腳本。
11. 按照權利要求7所述的接收器，其中如果沒有從內容流中提取 出時鐘值，則腳本同步器構成為用來分析該內容流并且基于經過分析的 內容流提供附加效果。
12. 按照權利要求7所述的接收器，其中腳本同步器構成為用來從 水印中提取出內容標識符，并且構成為用來檢索與該內容標識符相應的 腳本。
13. 按照權利要求7所述的接收器，其中對于各個內容流，有多個 腳本可用，并且其中腳本同步器構成為用來選擇多個可用腳本中的一個 腳本來進行檢索。
14. 按照權利要求7所述的接收器，其中對于各個內容流，有多個 腳本可用，并且其中腳本同步器構成為用來為用戶提供選擇多個可用腳 本中的一個腳本來進行檢索的選項。
15. 按照權利要求7所述的接收器，其中腳本同步器的輸出構成為 用來控制從由燈光、音響、振動、溫度、風、氣味和流體構成的組中選 擇出的一種或多種感觀效果。
16. 按照權利要求7所述的接收器，其中腳本同步器構成為用來從 腳本服務器檢索腳本。
17. —種用于提供與腳本同步的內容流的發射器，該發射器包括 時鐘，構成為用來生成時鐘值；水印插入器，構成為用來向內容流內插入水印，該水印包括至少來 自時鐘的、與內容中嵌入水印時的時間以及與內容流的起始有關的時鐘 值。
18. 按照權利要求15所述的發射器，其中水印插入器構成為用來 向水印內插入內容標識符。
19. 按照權利要求15所述的發射器，其中時鐘構成為用來生成內 容流開始時的初始時鐘值。
全文摘要
在內容流中嵌入水印，所述水印包括至少涉及嵌入時鐘值時的時間的時鐘值和代表內容流起始的初始時鐘值。接收器從內容流中提取出所嵌入的包括時鐘值的水印。接收器檢索與內容和時鐘值相應的腳本部分。利用該腳本產生在效果控制器的效果信號中輸出的一個或多個感觀效果。該效果信號是與內容流的呈現同步地產生的。在一種實施方式中，可以將內容標識符嵌入到水印中。接收器從水印中提取出內容標識符，并且檢索與該內容標識符相應的腳本。
文檔編號G06T1/00GK101346741SQ200680048970
公開日2009年1月14日 申請日期2006年12月13日 優先權日2005年12月22日
發明者J·B·A·M·霍爾斯坦, M·H·弗伯克特, W·A·H·伯克文斯 申請人:皇家飛利浦電子股份有限公司