專利名稱：：用于識別并同步視頻的指紋、器件、方法
技術領域：
：本發明涉及用于包括一系列場景的視頻流的指紋，并且涉及其一般應用以及在可被操作以使得輔助媒體與視頻流同步的器件中的應用；例如，本發明關注用于同步流光溢彩腳本與視頻流的器件中的問題。而且，本發明還涉及使用指紋來識別所述視頻流和使得輔助媒體和一見頻流同步的方法，例如涉及上述流光溢彩。此外，本發明涉及可在計算硬件上執行來操作以實現這種方法的軟件。
背景技術：
："流光溢彩"是對電視和類似圖像顯示設備的增強。參照圖1，流光溢彩涉及在工作中呈現給用戶20的光邊暈10，其環繞著電視顯示屏30或類似顯示設備的至少部分周圍區域；顯示屏30可以基于陰極射線管技術、等離子體像素技術、液晶顯示器(LCD)技術、發光二極管(LED)技術和/或有機發光二極管(OLED)技術(僅作為一些示例提出)。流光溢彩開發了這樣的特性為用戶20的眼睛提供進化，或者在用戶視野的中心區域提供最大空間分辨率和在用戶視野的周圍區域提供更加發散的空間分辨率。因此，為了提供給用戶20增強的視覺體驗，期望為用戶20呈現寬闊的顯示圖像，在其上的中心區域需要包括最多的空間的和顏色的信息。由于數據經濟和顯示器制造經濟，流光溢彩易于為用戶20提供寬闊的顯示圖像，在所述寬闊顯示圖像的最易于為用戶眼睛所接受的中心區域呈現最多的空間和顏色信息。上述邊暈10可以從各種周圍的光源(例如從光源40)產生，所述周圍光源的顏色和光輸出響應于在相關電視顯示屏30或類似設備上呈現的圖像而變化。在流光溢彩的更基本的實現方法中，用于驅動周圍光源的信息可以從電視顯示屏30上呈現的圖像獲得。這種方法使得從現存的視頻材料呈現流光溢彩操作變得可能，例如從現存的錄像帶、DVD和經通信網絡(例如經互聯網或經衛星鏈路)下載的視頻材料。操作中涉及的從現存的視頻材料中獲得流光溢彩是所述邊暈應當不僅正確地補償在用戶20的電視30上呈現的基于顏色的視頻材料，而且隨時基本準確地5跟蹤在電視30上呈現的圖像顏色的一般改變。同時，對在電視顯示屏30上的圖像進行分析，以用于空間顏色內容分析和根據所述空間顏色內容分析結果獲得的對周圍光40的驅動。這種分析可在數字硬件或計算硬件中實現，所述計算硬件可被操作以執行導致所述計算硬件執行這種分析的軟件。作為上面闡述的已知流光溢彩的進展，期望為用戶提供帶有流光溢彩腳本的數據流或數據文件。即，不是根據呈現在電視顯示屏30上的視頻圖像來實時獲得對周圍光40的驅動，而是期望提供流光溢彩腳本以伴隨現存視頻材料以及將來的視頻材料，例如作為對用戶30的附加服務。應當進一步理解，易于將這種流光溢彩腳本經幾個可能的可替代通道提供給用戶，例如作為經互聯網下栽的文件、作為分離的CD或DVD或相似類型的數據載體、作為通過無線或衛星鏈路傳輸的數據流。這些可替代通道在當代被稱為"多媒體，，。參照圖2，由于在已知流光溢彩中的這種進展所引起的被本發明至少部分解決的技術問題是將所接收的流光溢彩腳本100同步到相應的視頻材料110的方法，所述視頻材料110已經被用戶擁用、可被用戶20的設備接收、或被存儲在數據庫120中并且潛在地可被用戶20訪問。當視頻材料IIO基本上缺乏任何同步標志130(或將實現流光溢彩腳本100與視頻材料110時間同步從而使得所述腳本100和視頻材料能夠同步操作地被輸出到電視30和流光溢彩光源40的類似物)，進一步加劇了該技術問題。一起同步兩個或多個信號的方法是已知的。例如在公開的國際PCT專利申請PCT/IB2004/051259(WO2005/011281)中，描述了一種生成用于同步至少兩個信號的第一指紋和第二指紋的設備和方法。在該方法中，在第一信號的片段和第二信號的片段的基礎上生成指紋對；換句話說，不是對第一信號和第二信號的全部而僅僅是對其一部分來生成指紋。例如，第一信號是音頻信號而第二信號是視頻信號，其中當該音頻信號和視頻信號提供給用戶消費時，它們將準確地時間同步。在上述專利申請所描述的方法中，所生成的關于音頻和視頻信號的指紋對存儲在數據庫中并且被傳輸或分發到同步設備。在使用所述同步設備同步音頻和視頻信號期間，音頻信號和視頻信號的指紋都是由同步設備生成，將這些指紋與數據庫中的指紋相匹配。當發現匹配時，所述指紋能夠用于確定同步時間點，這些時間點可用于將音頻和視頻信號同步到一起。而且，可以在無需修改音頻或視頻信號情況下獲得這種同步。在所公開的PCT專利申請中描述的方法存在一個問題對于音頻以及視頻，必須準備好指紋對并將其存儲在數據庫中。而且，在同步期間，為了指紋匹配而實時提供對數據庫的訪問是不方便的或昂貴的。因此，就消費型設備而言，提供到這種具有存儲在其中的預處理指紋對的數據庫的連接不總是實用的或可行的。該方法的另外一個缺陷在于其在計算上沒有吸引力，因為所需的計算需要可觀數量的資源。該方法的又一個缺陷在于它易受視頻格式改變的影響。例如當將包括指紋的視頻格式轉換為高密度視頻格式時，為標準密度視頻生成的指紋將典型地不合格。相似地，在視頻已經被裁剪為16:9的幀比率之后，為21:9的幀比率生成的指紋將典型地不合格。因此，由本發明至少部分解決的技術問題是提供同步兩個數據信號的可替代方法，特別是在上述流光溢彩技術的情況下。
發明內容本發明的目的在于提供一種用于從第一數據信號生成指紋的可替代方法，和可操作來實現該可替代方法的器件；所述指紋可選地易于被使用來將第一數據信號同步到第二數據信號，例如在流光溢彩的情況下用于將流光溢彩腳本和視頻內容進行時間同步。根據本發明的第一方面，提供一種用于包括一系列場景的視頻流的指紋，其中所述指紋包括表示所述場景持續時間的信息。用于視頻流的指紋可以考慮對視頻流的編碼，因為它提供了基于壓縮的信息來識別視頻流。然而，所述指紋自身典型地沒有提供足夠的用于從它來重構視頻流的信息。視頻流的指紋的概念同樣是已知的。相似地，如下面詳細的描述，在諸如視頻領域，場景的概念同樣是已知的。指紋的基本思想是它充當輸入串的緊湊表示，并且可以使用它就像它是唯一可等同于所述串那樣。所發明的指紋尤其具有識別視頻流或與之同步的目的。這可以通過比較各個浮見頻流的指紋而不用比較視頻流來獲得。可替代地，這可以通過將從部分視頻流得到的部分指紋與從全部視頻流得到的指紋的一部分進行比較來獲得。所述指紋進一步能夠確定所述視頻流的一片段在完整視頻流中的時間位置，所述片段是整個視頻流的一部分。所述指紋與現存的指紋相比具有更低的計算復雜性。對于一些視頻分發格式如MPEG,為了優化分配解碼器資源，所述解碼器已經進行了場景變化檢測。因此，在這種解碼器中可以用很少的成本實現該指紋。特別地，所述指紋可以(而不是包括)由表示場景持續時間的信息構成。令人驚訝地，即使所述指紋僅僅由所述信息構成，如果它只涉及幾個場景變化，這仍然會產生唯一指紋。這是由典型的視頻流的場景持續時間的巨大可變性造成的，特別是如果用高達單幀的分辨率來進行測量更是如此。該指紋具有對于改變視頻格式或轉換視頻格式編碼的魯棒性，因為這種操作典型地不會影響所述場景的持續時間。該指紋實現了一種用于識別任何包括一系列場景的視頻流的相對高效的方法。它還能夠識別僅僅在(通過例如跳入所播送的電影的中部)視頻流開始之后的某一時間點接收的視頻流。一個這樣的方法操作如下。首先復位幀計數器。在檢測到場景變化之后，讀出計數器并隨后復位。所讀出的值在可選的傳輸之后被送入匹配設備，該設備確定記錄集合的子集。在所述子集中的每個記錄具有與所述讀出值匹配的相關指紋。如果在指紋中出現所述讀出值，則該指紋匹配該讀出值。可替代地，如果在指紋中出現其他值而在所讀出值與其他值之間的量差不超過閾值，則該指紋可以匹配所述值從而適應較小的誤差。所述閾值可以預選確定或取決于所述值，以提供例如對在相對較長的場景中的丟幀的魯棒性。當視頻流在初始集合中沒有相關記錄時，重復前面的步驟，由此所述匹配設備繼續先前創建的子集，直到所得到的子集包括識別視頻流的單一記錄，或直到所述子集為空。在遠程匹配設備的情況下，最終結果可以返回到所述幀被計數的位置。可替代地，如果在一個元組中已經積累了多個幀計數，這所述匹配設備只能開始匹配。這具有以下優勢可以使得搜索記錄更加高效，因為例如不需要保留中間子集。識別視頻流本身具有幾個應用，如鏈接到關于視頻流的元數據，例如標題、演員、音樂(如果所述視頻流是電影)，或藝術家、唱片、賣點(如果所述視頻流是用于歌曲的視頻剪輯)。可以通過計數場景的幀來確定場景的持續時間。然而，如本領域所公知，世界上使用了不同的幀速率。因此，為了進一步增加所述指紋對轉換視頻的幀速率的魯棒性，所述指紋可以考慮幀速率。這可以通過各種方式實現。在第一方式中，通過計數場景的幀并用所述幀周期乘以所得到的幀計數來確定持續時間，所述幀周期是在兩個連續幀之間的固定時間量。以此方式，可以獲得場景持續時間。在該第一方式中，所述指紋只需要包括表示持續時間的信息。該方式具有一些優勢它對于當前沒有使用的其他幀速率是開放式的。所得到的持續時間可以以預選確定的單位(如秒)表示，并且其可在指紋中被編碼為浮點數。有利地，所述持續時間可表示為更小預定單位(如毫秒或微秒)的整數倍數，并且在指紋中編碼為二進制整數。在第二方式中，預選確定一個特定幀速率作為默認值。每個指紋包括在所述特定幀速率情況下的持續時間。如果通過計數具有不同于那一個特定幀速率的幀速率來確定場景持續時間，將所得到的幀計數轉換為那一個特定幀速率。在實例中，那一個特定幀速率被預先確定為300Hz。在該實例中，關于50Hz幀速率的幀計數被乘以六，同時關于60Hz幀速率的幀計數被乘以五。該方式具有下列優勢指紋本身不需要包括附加信息，因為那一個特定幀速率隱含在指紋中。在第三方式中，除了幀數，指紋額外地包括表示幀速率的信息，以該幀速率對幀進行計數。在一個實例中，指紋的一個附加的單個位表示幀速率，該指紋的幀數適合于該幀速率。如果在該實例中，指紋中的那一個附加單個位被設置為一，則該指紋中的幀數適合于60Hz的幀速率，而如果那一個附加單個為被設置為零，則該指紋中的幀數適合于50Hz的幀速率。該實例的優勢在于，僅僅需要單個位來編碼幀速率。其他實例也是可能的，其中多個位用于表示多個預選確定的幀速率中的一個。該第三方式的優勢在于，單個的指紋格式支持多個幀速率。在第四方式中，指紋僅僅包括幀數，并且使用啟發式方法以確定所述多個幀速率適合的幀速率。在一個實例中，如果視頻信號符號NTSC標準，則幀速率可被推斷為60Hz，而如果視頻信號符號PAL標準，則幀速率可被推斷為50Hz。可以應用多個其他方式(例如通過將上述方式的措施組合)來確定基于幀數的場景持續時間。在根據權利要求1的指紋的一個應用中，指紋與流光溢彩腳本相關聯。裝配有流光溢彩"光揚聲器"的娛樂設備(如電視機或多媒體中心和PC)在其屏幕上示出了視頻流。如本領域公知的，視頻內容可以被電視機分析從而例如使得光揚聲器在屏幕上模擬和擴展顏色。所述娛樂設備確定視頻流中的場景變化、計算視頻流的部分指紋、以及將所述部分指紋與相關于所述流光溢彩腳本的指紋進行匹配。只要發現匹配，所述當前同步的流光溢彩腳本從正被分析的視頻內容中取出，以確定所述光揚聲器的顏色。當流光溢彩腳本正在控制光揚聲器時，所述娛樂設備繼續確定視頻流中的場景變化，以用于檢測同步的損失。如果同步的損失被檢測到，所述流光溢彩腳本將停止對光揚聲器的控制并且所述娛樂設備回復到分析視頻內容以用于控制光揚聲器。在同步損失之后，所述娛樂設備仍然繼續確定視頻流中的場景變化，以用于試圖恢復與流光溢彩腳本的同步。幾個啟發式方法可以應用于檢測同步損失并用于恢復同步。在第一啟發式方法中，一旦在被同步的指紋沒有指定場景變化的瞬間檢測到了視頻流中的場景變化，則檢測到同步損失。這具有的優點在于檢測損失的快速響應時間。在第二啟發式方法中，一旦在被同步的指紋沒有指定任何場景變化的瞬間檢測到了視頻流中的兩個連續的場景變化，則檢測到同步損失。這具有的優點在于它可以阻止同步損失的錯誤檢測。在第三啟發式方法中，可以基于從視頻流或用戶操作娛樂設備而獲得的另一個信號來檢測同步的損失。舉一個例子，在某些時刻期望將一塊商業廣告作為視頻流的一部分進行廣播。舉另外一個例子，用戶操縱遙控器切換到另一個頻道可能立刻導致對同步損失的檢測。這具有的優點在于，同步損失的檢測不僅僅取決于檢測場景變化。相似地，為了恢復同步，可以使用各種啟發式方法。在用于恢復的第一啟發式方法中，所述恢復基于同步的先前損失的內容。舉一個例子，當娛樂設備存儲損失內容時，如果同步損失是由于用戶選擇不同頻道而損失的，則在該用戶返回先前頻道之后立刻就恢復所述同步。所述內容可以包括頻道，連同匹配指紋與發生損失處的幀數或時間點的關聯。舉另外一個例子，如果所述損失由商業廣告中斷造成，則可以在例如30秒(該實例中商業廣告中斷的典型長度)之后試圖恢復。此外，所述恢復可以考慮在中斷之后重復所述中斷之前的一段視頻流。這一段視頻流典型地持續幾秒與小于一分鐘(如半分鐘)之間。這可以通過校正用于商業廣告中斷的部分指紋來實現，例如通過從所述部分指紋中切去作為商業廣告中斷的一部分的場景變化。隨后已校正的部分指紋對與流光溢彩腳步相關的全部指紋進行匹配。校正所述部分指紋也需要切去重復的片段。所述指紋也適合于使其他媒體類型與視頻流，尤其是字幕同步。本發明的進一步的優點在于，實現了一種生成指紋的方法，該方法易于更簡單和更有效地將第一和第二數據信號同步在一起。可選地，表示場景持續時間的信息以場景包括在所述視頻流中的順序包括在指紋中。這種指紋提供了在識別視頻流的同時與所述視頻流同步，因為只要所述指紋包括足夠的、在記錄的初始集合上唯一的持續時間，就可以確定在當前幀計數數量與視頻流開始之間的偏移。可選地，在所述指紋中，每個持續時間被定義為其中多個視頻幀的計數。一些MPEG解碼器已經執行場景變化檢測以用于優化分配解碼器資源僅僅需要有效地加入幀計數器。因此，可以在這種解碼器中使用非常少的附加成本實現該指紋。可選地，在所述指紋中，通過對應于以下一個或多個情況的場景變化來定義持續時間(a)在視頻流中，在早期場景的至少最后一幅圖像相對于隨后場景的至少第一幅圖像之間的視頻材料照明度的突然改變；(b)在視頻流中，在早期場景的所述至少最后一幅圖像相對于隨后場景的所述至少第一幅圖像之間在空間圖像特征信息方面的突然改變；和(c)在視頻流中，早期場景的所述至少最后一幅圖像的相關音頻信息相對于隨后場景的所述至少第一幅圖像的突然改變。根據本發明的第二方面，提供了一種可被操作以生成根據本發明第一方面的指紋的器件，所述器件包括(a)數據輸入裝置，用于接收視頻流；(b)數據處理器，用于分析經輸入裝置輸送的視頻流以用于檢測其中場景變化的發生，并且用于根據所檢測的場景變化的發生來計算包括在視頻流中的場景持續時間，以及用于根據所述持續時間生成指紋。可選地，在所述器件中，所述處理器被操作以通過基于以下情況中的一個或多個的分析來檢測視頻流中的場景變化(a)在早期場景的至少最后一幅圖像相對于隨后場景的至少第一幅圖像之間的視頻材料照明度的突然改變；(b)在早期場景的所述至少最后一幅圖像相對于隨后場景的所述至少第一幅圖像之間在空間圖像特征信息方面的突然改變；和(c)早期場景的所述至少最后一幅圖像的相關音頻信息相對于隨后場景的所述至少第一幅圖像的突然改變。根據本發明的第三方面，提供了一種從視頻流生成根據本發明第一方面的指紋的方法，其中所述方法包括以下步驟(a)接收視頻流；(b)在視頻流中檢測場景變化的發生；(c)根據所檢測的場景變化的發生來計算包括在視頻流中的場景持續時間；和(d)根據持續時間生成指紋。可選地，在所述方法中，步驟(b)包括通過基于以下情況中的一個或多個的分析來檢測視頻流中的場景變化(a)在早期場景的至少最后一幅圖像相對于隨后場景的至少第一幅圖像之間的視頻材料照明度的突然改變；(b)在早期場景的所述至少最后一幅圖像相對于隨后場景的所述至少第一幅圖像之間在空間圖像特征信息方面的突然改變；和(c)早期場景的所述至少最后一幅圖像的相關音頻信息相對于隨后場景的所述至少第一幅圖像的突然改變。值得一提的是，也可以使用用于場景變化檢測的其他步驟和技術。事實上，只要將相同的檢測器既用于創建指紋又用于分析視頻流以獲得所述部分指紋，所精確檢測的內容在某種程度上是不相關的。根據本發明的第四方面，提供了一種在器件中通過將場景變化檢測應用于視頻流來同步輔助媒體與視頻流的方法，所述方法包括以下步驟(a)在所述器件的數據輸入裝置上接收輔助媒體和視頻流；(b)在所述器件的數據處理器中分析經所述輸入裝置輸送的視頻流以用于檢測其中場景變化的發生；和(c)在所述器件中，基于包括了對應于視頻流中場景變化的標識符的輔助媒體，使視頻流和輔助媒體對用戶的呈現同步，其中所述輔助媒體包括流光溢彩腳本，所述方法在應用于所述器件中時可被操作以同步所述流光溢彩腳步和視頻流。根據本發明的第五方面，提供了可在根據本發明的第二方面的器件的計算硬件上運行的軟件，以用于實現根據本發明第四方面的方法。根據本發明的第六方面，提供一種用于流光溢彩腳本的數據結構，所述流光溢彩腳本用作用于根據本發明第二方面的器件的輔助媒體，所述數據結構包括場景變化標識符，并且流光溢彩隨著每個場景而變化。可選地，在所述數據結構中，流光溢彩腳本包括用于動態控制視頻流的場景變化分析的一個或多個參數，所述流光溢彩腳本適合于補充所述一見頻流。短語"數據結構"將以與數據信號格式相類似的方式解釋，所述數據信號格式是早期已經被示出以易于吸引專利權利保護的主題。應當理解，在不脫離如由所附權利要求定義的本發明的范圍的情況下，本發明的特征易于被結合成任意組合。現在將僅僅通過示例的方式并參照附圖來描述本發明的實施例，其中圖l是流光溢彩系統的簡單表示；圖2是與圖1的系統相關的數據同步的說明；圖3是指紋和在易于呈現在如圖1所描述的流光溢彩系統上的視頻材料中形成場景的圖像序列的說明；和圖4是被配置以實現圖1的系統的器件的說明。在附圖中，使用下劃線的數字表示所述下劃線數字位于其上的項目或所述下劃線數字鄰近的項目。非下劃線數字涉及這樣的項目其通過將所述非下劃線數字連接到該項目的直線被識別。當數字是非下劃線的并其伴隨著相關箭頭時，該非下劃線數字用于識別箭頭所指的一般項目。具體實施例方式參照上面所描述的圖l和圖2，本發明關注同步兩個數據信號的自動方法，例如前述的流光溢彩腳本100與其對應的視頻材料110的同步。公知的是，通過水印的方式同步，和通過從信號中提取指紋方式同步。這種指紋按慣例被確定用于數據信號的各部分，例如國際PCT專利申請PCT/IP2004/051259(W02005/011281)所述，可以獲得用于一見頻材料110的2秒播放部分的指紋。然而，就流光溢彩技術來說，這種先前已知的方法涉及計算并且該方法還是次優的。而且，通常不方便的是，為指紋匹配的目的必須訪問外部數據庫，因為這種訪問阻止了對于消費型電子視頻產品所期望的單機操作。本發明的意圖是能夠例如應付這樣的情況用戶20購買DVD,該DVD在其上記錄了視頻材料110，其也方便地被稱為視頻內容。用戶20在其流光溢彩系統30、40上播放所述DVD，可選地利用從應用于視頻材料110的分析中獲得流光溢彩來發現適合的視頻材料110。用戶20可以隨后在使用互聯網時發現對應的流光溢彩腳本100的最新版本可以用于伴隨視頻材料110，所述視頻材料包括圖像和聲音信息，并且接著可以從互聯網下載所述腳本100。可替代地，器件400可以證實腳本的可用性并且在沒有任何用戶交互的情況下將它更新，這提供了更多的方便，因為用戶無需被尋找更新所打擾。當用戶的流光溢彩系統30、40可以根據本發明操作時，該流光溢彩系統30、40能夠使流光溢彩腳本IOO的最新版本與視頻材料110同步并且為用戶20提供了與呈現給用戶20的視頻材料110同步的所下載腳本100的增強的觀察體驗。現在將進一步描述按照本發明腳本100與視頻材料11G的同步。參照圖3，視頻材料110—般是有區別的，因為它包括由200a、200b、200c等等表示的一系列場景。視頻材料110包括視頻圖像序列，當用戶20消費所述視頻圖像序列時，其易于以由箭頭230表示的時間順序而被呈現。例如，所述序列包括由220表示的視頻圖像，其包括在第一場景200a中。方便地，所述圖像可選地被編碼在視頻材料110中作為包括I幀數據、P幀數據和B幀數據的當前MPEG-4數據。當被編碼為當前MPEG-4數據時，每個場景200a、200b、200c可以包括多個I幀；I幀可被操作以定義對應圖像的所有細節，而B幀和P幀定義與它們的最近的在前I幀有關的進行中的變化的發生。由于MPEG-4可以獲得的數據壓縮程度，在當前數據分發系統中通常使用MPEG-4編碼。在第一場景200a中，從左到右示出了拍攝的運動，其中用于記錄第一場景200a的圖像的照相機鏡頭逐步從由240表示的人轉到由250表示的盤旋在人240上面的飛行器；場景200a中的第一圖像260完全不同于序列200a中的最后一幅圖像270,雖然從第一幅圖像260到最后一幅圖像270是逐步過渡的。而且，在第二場景200b中，從序列200b的圖像的右側到其左側來拍攝由300表示的樹；序列200b的第一和最后一幅圖像310、320分別包括至少部分相似的圖像特征細節。此外，在第三場景200c中，場景200c的每個圖像基本上彼此相同。在本發明的方法中，分析視頻材料110(優選在其被呈現給用戶20時的消費點上)以確定在視頻材料110中出現的場景。如前所述，在本發明的方法中，根據下面的一個或多個情況，視頻材料110的場景變化潛在地可識別(a)相對于圖像1和Iw的各個像素指定的總體照明強度或顏色，從所述序列中的給定圖像In到序列中隨后的圖像1+1的突然改變；例如，當圖像270對應于開放晴朗的環境而隨后的圖像310對應于黑暗的森林時，在圖像270與其隨后圖像310之間出現突然改變；(b)存在于給定圖像In中的基本所有空間圖像特征相對于其隨后圖像1+1的突然改變；(c)與給定圖像L相關的音頻頻譜內容相對于其隨后圖像Iw的突然改變；相反地，根據下面一個或多個情況，通過所述方法可以識別給定場景中鄰近的圖像(d)給定的圖像L和其隨后圖像1+1具有相關的或對于圖像1和Iw共同的空間圖像特征；例如，場景200b中的圖像310和其隨后圖像330具有基本相似的樹特征；(e)給定的圖像In和其隨后圖像Iw具有基本相似的總體照明強度；和(f)給定的圖像L和其隨后圖像Iw具有基本相似的相關音頻頻譜內容。對于確定圖像序列的兩個連續圖像是否包括視頻材料110,本發明的方法可選地被操作以使用閾值比較。因此，描述相似性的特征參數Ki，和因此還有所述序列中鄰近圖像之間的差異的度量，可選地被計算或由本發明的方法通過應用一般由公式1(Eq.1)描述的處理函數F來獲得^(A^，AS"A/,)Eq.1其中AA，與圖像1。和Iw相關的音頻頻譜特征差異的度量；ASi-與圖像L和Iw相關的空間特征信息差異的度量；和Ai-與圖像I和In+1相關的空間特征信息差異的度量。當將所述方法用于確定在視頻材料110的圖像序列中是否已經發生場景變化時，可選地可以這樣應用閾值如果特征參數Ki的值低于閾值T(即Ki〈T)，圖像1和1。+1在場景內是相鄰的，而當特征參數Ki超過閾值T(即K々T)時，在圖像1和1+1之間發生了場景變化。可選地，一個或多個度量AAi、ASi、Ai可以用于在計算公式1的過程中與一個或多個閾值進行比較。可選地，在該方法中可以使用相對于應用多個閾值之一的其他識別形式。因此，可被操作以接收視頻材料110和流光溢彩腳本100并將前述的本發明的方法應用于視頻材料110的用戶20的器件能夠識別包括了視頻材料110的圖像序列中發生的場景變化；根據該場景變化中，獲得了場景持續時間并由此獲得了與視頻材料110有關的指紋340。而且，當操作視頻材料110以將之呈現給用戶20消費時，所述器件可被有益地操作以實時檢測場景變化。可替代地，所述器件可以被指示來預先分析所接收到的視頻材料110并修改所述材料以包括表示發生場景變化的標識130，或指紋340。因此，前述的根據視頻材料110生成的指紋340可以凈皮預先生成或實時逐步生成。應當理解，包括在視頻材料110的圖像序列中的突發性影響(例如與突發閃電和雷聲相關的雷擊)易于造成器件潛在地不正確地檢測場景變化。然而，如果將流光溢彩腳本100相似地編碼從而使得雷擊在其中被表示為腳本100中的場景變化，這就不是問題了。當在所述器件中解釋腳本100時，這種雷擊將造成流光溢彩源140模擬與出現在電視屏幕30上的雷擊圖像同步的照明效果。流光溢彩腳本IOO被有益地根據一系列場景編碼，其中在腳本100中描述了包括在每個場景中的圖像的數量，連同在所述場景期間以何種方式驅動光源40的控制參數。換句話說，流光溢彩腳本100優選被生成來匹配從視頻材料110獲得的前述指紋340。因此，腳本100可選地提供一表示在一系列場景中正被考慮的場景的索引a，和表示具有索引a的特定場景中多個圖像的參數Ntt。在給定的場景內(例如第一場景200a),流光溢彩源40將接收變化驅動(例如在強度和/或顏色方面的變化)，因為包括在給定場景中的圖像被呈現給用戶20用于消費。可選地，腳本100可以包括一個或多個閾值參數(例如前述的閾值T)，以當應用本發明的方法時用于計算由公式1(Eq.l)描述的函數F，以使得所述器件更可靠地檢測如腳本100中所描述的場景變化。因此，例如可以可選地以如表I提供的方式構造流光溢彩腳本IOO。表1:<table>tableseeoriginaldocumentpage17</column></row><table>在表1中，流光溢彩腳本100^皮分為對應于以a=l開始和以a-z結束的一系列場景的流光溢彩指令。用N^表示包括給定場景的圖像的數量，例如第一場景01=1其中具有200個圖像。在腳本100中經參數L控制用于每個場景的流光溢彩照明的幅度；例如第一場景a-l具有對于所述第一場景的第一150個圖像的流光溢彩照明幅度10,和對于所述第一場景的第二50個圖像的流光溢彩照明幅度20，第一場景包括總共200個圖像。相似地，用于第一場景的流光溢彩照明的顏色具有對于第一場景的第一150個圖像的質量"灰色"，其用參數G表示，并且具有對于第一場景(即a-l)的第二50個圖像的質量"藍色，，；可選地，由每個光源40生成的顏色相對于所存在的其他光源可以在腳本IOO中單獨指定。雖然在這里初步闡述了第一場景a-l，應當理解腳本中隨后的場景以相關的方式跟隨。可選地，腳本100包括用于動態控制視頻材料110的分析的參數P，例如動態地改變應用來檢測在視頻材料110中場景變化所出現的地方的閾值T，以用于更可靠地使之與流光溢彩腳本100同步。雖然表1說明了流光溢彩腳本100構造的方式，應當理解在由所附權利要求定義的本發明的范圍內流光溢彩控制腳本數據的可替代的設置是可行的。在一個這樣的實例中，數量Q被置為1。也就是，流光溢彩腳本包括用于每個分離的視頻幀的清楚設置。這具有的優點在于流光溢彩腳本可以具有在時間上帶有高分辨率的完全控制。在另一個這樣的實例中，流光溢彩腳本控制影響用于控制光揚聲器的內容分析算法的參數。這種參數的一個實例是弛豫時間，其確定在顏色被相應地改變之前多少幀被分析。該參數通常被設置得十分長，因為太緊張的光效果將被避免，但是為了準確地跟蹤閃電，它應該十分短，也許甚至為單個幀。根據本發明控制這種參數具有的優點在于閃電可以被準確地跟蹤，因為所述參數被暫時設置為很小的值，同時在例如電影的其他片段期間避免太緊張的光效果。根據本發明控制參數與已知內容分析技術的這種結合具有附加的優點在于，流光溢彩腳本可以相對較小，因為只有很少的位就足以控制所述參數。在圖1中，從用戶20的視角示出了流光溢彩系統的典型的部分。在圖4中，以示意性的形式示出了系統硬件的配置。參照圖4，用400表示用于同步視頻材料110與流光溢彩腳本100的系統，所述同步系統400包括分別用于接收視頻材料110和流光溢彩腳本100的數據緩沖器410、420。如前所述，材料IIO和腳本100易于從相互不同的數據源被提供來作為在多媒體環境中的共同體驗。所述同步系統400進一步包括在數字硬件中實現的同步處理器430;可選地，所述處理器430可以使用計算硬件實現，該硬件可被操作以執行造成所述計算硬件可被操作來執行如先前闡述的同步功能的軟件。而且，所述系統400進一步包括驅動器440、450，其用于將視頻數據分別輸出到電視30和輸出到一個或多個提供流光溢彩照明IO的流光溢彩源40。當存在許多基于包括在腳本100中的數據而被獨立驅動的流光溢彩源40時，驅動器450包括相應的多個驅動器通道；換句話說，了流光溢彩照明IO可以在運行中的任意給定的時刻具有空間變化的顏色。在運行中，處理器430可被操作以通過確定場景變化發生在哪里來同步視頻材料IIO，例如參照圖3先前所述；由此，處理器430可被操作以確定視頻材料110的相應指紋340。隨后，處理器430可以被操作以確定用于從緩沖器410接收的腳本100中相應場景變化的數據，并且由此確定合適的數據輸出到緩沖器450中，用于驅動一個或多個照明源40的顏色以及照明強度。如早期所述，通過基于以下一個或多個情況的分析可以發現場景變化(a)在早期場景的至少最后一幅圖像相對于隨后場景的至少第一幅圖像之間的視頻材料照明度的突然改變；(b)在早期場景的所述至少最后一幅圖像相對于隨后場景的所述至少第一幅圖像之間在空間圖像特征信息方面的突然改變；和(c)早期場景的所述至少最后一幅圖像相對于隨后場景的所迷至少第一幅圖像在音頻信息方面的突然改變。可選地，不僅基于緊密相鄰的圖像而且基于從多個先前圖像和多個隨后圖像所采集的信息來檢測視頻材料110內的場景變化和前述指紋340的生成，從而改進了檢測的可靠性。可選地，在流光溢彩腳本100和視頻材料110同時呈現給用戶20期間，在處理器430不可用的情況下，處理器430可被操作以切換到僅僅基于視頻材料110來進行流光溢彩照明10的流光溢彩控制的普通當前模式，以充分地同步流光溢彩腳本100與視頻材料110;通過這種自動切換，至少部分地被消除了對已提供給用戶20的增強視覺體驗的破環，即在處理器430被發現不能充分同步視頻材料110與視頻腳本100時避免了流光溢彩照明10的突然損失。同步系統400易于被包括作為電視接收機的集成部分。可替代地，系統400可以提供給用戶20作為外接單元，例如作為外接的"數字黑匣子"，或如本領域公知的機頂盒或多媒體PC。然而可替代地，同步系統400可以在軟件中實現，所述軟件可以經例如多媒體或其他通信信道下載到裝配有計算硬件的電視上；這種實現方法的益處在于，由于將來有更高級的流光溢彩腳本100能為用戶20所用，處理器430可以被有效地更新。可選地，視頻材料IIO作為視頻流被例如從數字廣播服務商提供。而且，流光溢彩腳本100作為輔助媒體被提供。雖然在視頻材料110中通過場景識別來描述流光溢彩腳本100與視頻材料110的同步，應當理解，可以以相似的方式同步其他類型的腳本與視頻材料110。例如，可替代類型的腳本可以是"氣味腳本"，其中同步系統400被提供有電子可控的氣味生成器，其可以基于通過在視頻材料110中出現的場景變化的檢測而被同步的氣味腳本來有選擇地激活。其他類型的輔助多媒體包括控制用戶周圍氣流的氣流腳本，但是其他類型也是可行的。流光溢彩系統是用于創建例如TV周圍的光效果以生成身臨其境的視覺體驗。本領域所公知的是，如何從視頻內容獲得這個效果，但是主觀上更好的效果可以通過指導或控制流光溢彩系統的特技專家來創建。專家可以使用用來顯示視頻并允許其定義特定光效果的工具。其結果可以是需要與原始視頻內容密切相關的腳本。一種分配腳本的相對簡單的方法是在將它與視頻材料結合在一個媒體中(例如，如DVD的光盤)或在廣播流中。由于流光溢彩當前不是標準特征，這種同步的方法當前不是廣泛可用的。在如互聯網中使用單獨的來源，有利的是能夠下載用于控制流光溢彩系統的腳本，而不必下載視頻。這需要允許分別獲得腳本和視頻的同步方法，同時仍然能夠同步腳本和視頻。根據本發明的實施例，可以通過計數兩個場景變化之間的時間從視頻流中獲得唯一指紋3W,其被稱為"場景變化印記"。N個場景變化印記的序列被定義為"序列指紋，，340。通過在腳本中使用相同的序列指紋，同步腳本與視頻是可能的。本發明還適合于需要與視頻內容同步的其他輔助媒體。本發明克服了在一個媒體中具有腳本和視頻的問題，并確保了二者的同步。本發明還允許可以在時間上獨立生成的多個腳本或獨立于屏幕上被觀看視頻的位置來生成腳本。本發明的一個特征是，在場景變化之間的時間可以用作低成本的可靠指紋方法，其對內容、內容惡化或視頻/廣播標準(NTSC(60Hz)，PAL(50Hz)等等)相對不敏感，而對廣泛的視頻編輯(導致全新視頻)相對敏感。為確保所述輔助媒體與可能來自完全不同來源的視頻同步，可以使用一種唯一地識別所述視頻的指紋。本發明部分地基于下列觀點視頻材料無論來自何處，如果它沒有被編輯(幀去除或重新排序)，在場景變化之間的時間會幫助識別視頻場景，特別是如果在許多場景變化上完成了匹配。可以根據視頻幀速率和幀數量來獲得兩個場景變化之間的時間。根據本發明的指紋340的這個實施例具有相對較低的成本，因為只需要檢測場景變化和確定視頻幀速率的能力。這些能力本身分別在本領域中已知，并且可能被認為是標準功能，其已經出現在TV中并需要很少的硬件資源。本發明可以嵌入到腳本創作工具中，其將視頻作為主要輸入并生成視頻相關輸出，例如具有用于每個場景變化的場景變化印記的流光溢彩腳本。所得到的輸出(例如腳本)可以下載到例如TV的設備。所述設備可以將第一N個場景變化印記作為唯一的啟動鍵。分析屏幕上顯示的視頻并計數每個場景的幀并乘以幀速率的倒數，從而得到"場景變化印記，，。一旦第一N個場景變化印記與腳本匹配，則檢查第二N個場景變化印記，直到第N個場景變化印記。N可以預選確定，并且其可以選擇足夠大以具有低的假陽性檢測(如0.01%)和選擇為高檢測概率(例如99.99%分值)，并且足夠小以防止太長的同步時間。一旦腳本被鎖定(即與視頻同步)，其內容被分析或解釋并用于控制流光溢彩系統，其結果作為視覺效果呈現在TV屏幕周圍。在商業廣告出現或視頻被另外打斷時，所述場景變化印記開始失配并且腳本可以被暫停。腳本中在所述中斷之前和之后的搜索區域可以凈皮檢查以用于匹配場景變化印記。這個用于重新同步的策略基于電影的開始或繼續比實際中斷早一點以允許人們觀看概要。當沒有腳本運行或同步丟失時，流光溢彩系統可以被設置為缺省模式，其中該系統跟隨視頻內容。除了流光溢彩之外，任何其他需要與視頻同步的應用可以使用本發明。示例包括用于例如電影的可下載的字幕、附加的聲道(如混音)、一見頻相關動畫和評論。在不脫離如由所附權利要求定義的本發明的范圍的情況下，對前面描述的本發明的實施例的修改是可能的。用于描述本發明和要求權利的表達(如"包括，，、"結合，，、"組成"、"具有，，、"是")應當以非排他性的方式被解釋，即允許沒有明確描述的項目、組件或元件的存在。單數的附圖標記也可被解釋為涉及復數。在所附權利要求中括號內包括的數字的意圖是輔助理解權利要求，而不應該以任何方式解釋為限制由這些權利要求所述的主題。2權利要求1.一種指紋(340)，其用于包括一系列場景(200a，200b，200c)的視頻流(110)，其中所述指紋(340)包括表示所述場景(200a，200b，200c)持續時間的信息。2.如權利要求1所述的指紋(340)，其中表示所述場景(200a，200b，200c)的所述持續時間的所述信息以所述場景(200a，200b，200c)被包括在所述視頻流(110)中的順序而包括在所述指紋(340)中。3.如權利要求1或2所述的指紋(340)，其中每個持續時間被定義為其中多個視頻幀(260,270)的數量。4.如權利要求1、2或3所述的指紋(340)，其中通過對應于下列一個或多個情況的場景變化來定義所述持續時間(a)在所述視頻流(110)中，在早期場景(200a)的至少最后一幅圖像(270)相對于隨后場景(200b)的至少第一幅圖像(310)之間的視頻材料照明度的突然改變；(b)在視頻流(110)中，在早期場景(200a)的所述至少最后一幅圖像(270)相對于隨后場景(200b)的所述至少第一幅圖像(310)之間在空間圖像特征信息方面的突然改變；和(c)在視頻流(110)中，早期場景(200a)的所述至少最后一幅圖像(270)的相關音頻信息相對于隨后場景(200b)的所述至少第一幅圖像(310)的突然改變。5.—種可被操作來生成如權利要求1所述的指紋(340)的器件(400)，所述器件(400)包括(a)數據輸入裝置，其用于接收視頻流(110);(b)數據處理器(430)，其用于分析經由輸入裝置輸送的視頻流(110)以用于檢測其中場景變化的發生，并且用于根據所檢測到的場景變化的發生來計算包括在視頻流(110)中的場景的持續時間，以及用于根據所述持續時間來生成所述指紋(340)。6.如權利要求5所述的器件(400),其中所述處理器(430)可被操作以通過基于下列一個或多個情況的分析來檢測視頻流(110)中的場景變化(a)在早期場景(200a)的至少最后一幅圖像(270)相對于隨后場景(200b)的至少第一幅圖像(310)之間的視頻材料照明度的突然改變；(b)在早期場景(200a)的所述至少最后一幅圖像(270)相對于隨后場景(200b)的所述至少第一幅圖像(310)之間在空間圖像特征信息方面的突然改變；和(c)早期場景(200a)的所述至少最后一幅圖像(270)的相關音頻信息相對于隨后場景(200b)的所述至少第一幅圖像(310)的突然改變。7.—種根據視頻流(110)生成如權利要求1所述的指紋(340)的方法，其中所述方法包括以下步驟(a)接收所述視頻流(110);和(b)檢測所述視頻流(110)中場景變化的發生；(c)根據所檢測到的場景變化的發生來計算包括在所述視頻流(110)中的場景的持續時間；和(d)根據所述持續時間來生成所述指紋(340)。8.如權利要求7所述的方法，其中步驟(b)包括通過基于下列一個或多個情況的分析來檢測視頻流(110)中的場景變化(a)在早期場景(200a)的至少最后一幅圖像(270)相對于隨后場景"00b)的至少第一幅圖像(310)之間的視頻材料照明度的突然改變；(b)在早期場景(200a)的所述至少最后一幅圖像(270)相對于隨后場景(200b)的所述至少第一幅圖像(310)之間在空間圖像特征信息方面的突然改變；和(c)早期場景(200a)的所述至少最后一幅圖像(270)的相關音頻信息相對于隨后場景(200b)的所述至少第一幅圖像(310)的突然改變。9.一種在器件(400)中通過將場景變化檢測應用于視頻流(110)來同步輔助媒體(100)和所述視頻流(110)的方法，所述方法包括以下步驟(a)在所述器件MOO)的數據輸入裝置(410，420)上接收輔助媒體(100)和視頻流(110);(b)在所述器件(400)的數據處理器(430)中分析經由所述輸入裝置(410，420)輸送的視頻流(110)以用于檢測其中場景變化的發生；和(c)在所述器件(400)中，基于與對應于視頻流(110)中場景變化的標識符(340)相關聯的輔助媒體(100)，使視頻流(110)和輔助媒體(110)對用戶(20)的呈現同步。10.如權利要求9所述的方法，其中所述標識符與所述輔助媒體(100)之間的關聯包括在所述輔助媒體(100)中。11.如權利要求IO所述的方法，其中所述標識符(340)包括在所述輔助媒體(100)中。12.如權利要求9或10所述的方法，其中所述輔助媒體包括流光溢彩腳本(100)，當所述方法應用在器件(400)中時可被操作來同步流光溢彩腳本(100)與視頻流(110)。13.可在如權利要求5所述的器件(400)的計算硬件(430)上運行的軟件，其用于實現如權利要求8或9所述的方法。14.一種用于流光溢彩腳本(100)的數據結構，所述流光溢彩腳本用作用于如權利要求5所述的器件的輔助媒體，所述數據結構包括場景變化標識符(340),并且流光溢彩隨著每個場景(200a，200b，200c)而變化。15.如權利要求14所述的數據結構，其中流光溢彩腳本(100)包括一個或多個用于動態控制視頻流(110)的場景變化分析的參數，所述流光溢彩腳本(100)適合于補充所述視頻流(110)。16.包括一系列場景(200a,200b，200c)的浮見頻流(110)的指紋(340)的使用，其中所述指紋(340)包括表示所述場景(200a，200b，200c)的持續時間的信息。17.如權利要求16所述的指紋(340)的使用，其中所述指紋用于識別視頻流(110)，并且其中所述使用包括將從一部分視頻流(200a，200b)獲得的部分指紋與所述指紋(340a，340b)的一部分進行比較。18.如權利要求16或17所述的指紋(340)的使用，其中所述指紋用于確定視頻流(110)的片段(200a，200b)的時間位置，并且其中所述使用包括將從視頻流的所述片段(200a，200b)獲得的部分指紋(340a，340b)與所述指紋(340)的一部分進行比較。19.一種用于通知視頻流(110)的特性的信號(100),其特征在于包括如權利要求1所述的指紋(340)。全文摘要提供了一種用于包括一系列場景(200a，200b，200c)的視頻流(110)的指紋(340)，其中該指紋(340)包括表示場景(200a，200b，200c)的持續時間的信息。所述表示場景(200a，200b，200c)的持續時間的信息以所述場景(200a，200b，200c)包括在所述視頻流(110)中的順序包括在所述指紋(340)中。而且，每個持續時間被可選地定義為其中多個視頻幀(260，270)的計數。所述方法能夠生成指紋，該指紋易于更簡單地和更有效地使第一和第二數據信號一起同步。文檔編號H04N7/24GK101473653SQ200780022364公開日2009年7月1日申請日期2007年6月11日優先權日2006年6月13日發明者C·W·奎斯索特,W·F·J·胡根斯特拉滕申請人:皇家飛利浦電子股份有限公司