用于確定媒體中的廣告和其他插入物的位置和時序的方案的制作方法

專利名稱：用于確定媒體中的廣告和其他插入物的位置和時序的方案的制作方法
技術領域：
本發明總體涉及數字視頻處理，而且更具體地涉及在節目內容
中圖像和視頻的數字插入。
2.
背景技術：
廣告的一種傳統的形式是電視商業廣告。這樣的電視商業廣告典型 地包含其長度范圍從幾秒到幾分鐘的簡短廣告單元。商業廣告出現在電 視節目之間，并以規則的間隔中斷電視節目。廣告商的目標是保持觀眾 的注意力集中在商業廣告上，但經常是觀眾在商業廣告期間改變頻道以 避免觀看商業廣告。
觀眾避免電視商業廣告的另一個方式是通過使用數字視頻錄像機 (DVR)。通過DVR,人們可以記錄電視節目，然后在回力文期間快速前進 通過商業廣告。其它的媒體播放器預期給觀眾提供甚至更強的跟蹤和跳 過商業廣告的能力。
正是關于這些和其他背景信息因素-包括諸如YouTube⑧那樣的用 戶創建的視頻服務的成長和流行以及在這樣的媒體上插入廣告的需要-使得演進出本發明
發明內容
一個實施例提供一種結合內容使用的方法，包括分析內容的幀序 列；確定在由幀序列描繪的景象(scene)中是否存在能夠插入附加內容而 不遮蔽景象中的活動的區域；對于任何這樣的區域，確定當幀序列被播 放時所述區域是可用的時間量；以及對于任何這樣的區域，確定所迷區 域的大小。
另一個實施例提供一種存儲可由基于處理器的系統執行的計算機程 序的存儲介質，所述計算機程序使得基于處理器的系統執行以下步驟 分析內容的幀序列；確定在由幀序列描繪的景象中是否存在能夠插入附 加內容而不遮蔽景象中的活動的區域；對于任何這樣的區域，確定當幀 序列被播放時所述區域是可用的時間量；以及對于任何這樣的區域，確 定所述區域的大小。
另一個實施例提供一種結合內容使用的設備，包括基于處理器的 系統，其被配置成分析內容的幀序列和確定在由幀序列描繪的景象中是 否存在能夠插入附加內容而不遮蔽景象中的活動的區域；其中對于任何 這樣的區域，該基于處理器的系統還被配置成確定當幀序列被播放時所 述區域是可用的時間量和確定所述區域的大小。
通過參考以下的、闡述其中利用本發明實施例的原理的說明性實施 例的詳細說明和附圖，將更好地了解本發明的各種實施例的特征和優點。


通過結合以下附圖給出的、本發明的以下更具體的描述，將更明白 本發明實施例的上述及其他的方面、特征和優點，其中
圖1是圖示按照本發明實施例的、結合內容使用的方法的流程圖； 圖2A和2B是圖示按照本發明實施例的、圖1的方法的實例應用的 屏幕截圖3A和3B是圖示按照本發明實施例的、圖1的方法的另一個實例 應用的屏幕截圖；以及
圖4是圖示按照本發明實施例的、可被用來運行、實施和/或執行這 里示出和描述的方法和/或技術的基于處理器的系統的框圖。
具體實施例方式
當觀眾避免如上所述的傳統電視商業廣告時，廣告商的消息沒有被 觀眾接收，這是不利的。因為這樣的缺點，本發明的實施例涉及把廣告
6和其他內容插入到電視節目或其它節目自身中。
本發明的一些實施例涉及用于確定要被放置在內容中的廣告或其他 插入物的時序和位置的自動方法。這樣的內容可包括任何類型的內容， 諸如，例如電視節目、電影、視頻、網頁、游戲等等。在一些實施例中， 所述方法可以通過隨時間分析視頻幀的序列以確定媒體中的無遮攔的
(clean)、未擾亂的或其他景象中的活動沒有被由廣告重疊占用的地帶 遮蔽的區域或地區而進行操作。
例如，參照圖1，圖示了按照本發明的實施例操作的方法100?？梢?結合任何類型的內容進行使用的方法100從步驟102開始，在步驟102 中分析內容的幀序列。作為例子，視頻幀序列的視頻分析可被用來確定 在媒體中放置廣告或其他圖形的適當位置。在一些實施例中，這樣的分 析可以逐幀地自動進行。
在步驟104，確定在由幀序列描繪的景象中是否存在這樣的區域， 在該區域中可以插入附加內容而不遮蔽景象中的活動。在一些實施例中， 這可以通過逐幀審查視頻以便識別何處發生運動或空白區域而完成。例 如，在屏幕的一側可能有人和活動出現，而在屏幕的另一側沒有運動。 沒有運動的區域可以是插入廣告或其他附加內容的適當地方。
在步驟106，對于被識別為適合于接收附加內容的任何區域，確定 當幀序列被播放時所述區域是可用的時間量。在步驟108，確定任何識 別的區域的大小。這樣，實施本方法的系統可以確定沒有活動的區域是 否足夠大以適合于廣告。
方法100可以由任何類型的基于計算機或處理器的系統自動執行。 這樣的系統可以隨時間進行逐幀的分析，以便跟蹤景象中的活動，并且 標記適合于插入廣告或其他圖像或內容的視頻塊。在一些實施例中，逐 幀分析可以由圖像分析軟件進行。
因此，在一些實施例中，系統查看視頻中的幀，并且識別視頻中的、 其中有活動和其中沒有活動的位置。在簡單的情況中，照相機是固定的 而演員是移動的。也就是，幀序列包括由固定照相機拍攝的視頻表示。 在更復雜的情況中，照相機移動或搖鏡頭拍攝景象，該景象包括固定的 物體以及移動的物體。也就是，幀序列包括由移動照相機拍攝的視頻表 示。
圖2A圖示固定照相機情況的例子。在本例中，幀邊界202代表幀序列中的每個幀，因為照相機是固定的。如果在屏幕的右側有兩個兒童
204、 206在踢足球208，則可以把廣告放置在屏幕的另 一側，以便不妨 礙觀看兒童踢足球。這樣，廣告可以被放置在景象中以便不妨礙觀看移 動的物體或活動，即兒童204、 206踢足球208。
圖2B圖示了已被插入到景象內的"Best Soda (最好的汽水)"的廣 告212。因為兒童204、 206正在踢足球208仍舊是可視的，所以在視頻 的聚焦點方面的活動沒有被廣告212遮蔽。也就是，景象中的主要物體 或目標物體或移動的物體沒有被廣告212遮蔽。
在一些實施例中，在分析幀時，系統可以將幀或幀的一部分標記為 不能接收廣告，因為有太多的運動。這樣的幀或部分幀在這里可被稱為 太"臟(dirty)，，。因此，在本例中，系統可以勾畫與兒童204、 206 踢足球208相關聯的部分幀的輪廓，以使得那些空間不被用于放置廣告 或其他插入物。
作為另一個例子，特定景象中的所有演員和運動可能位于屏幕的左 側。這樣，系統可以勾畫與屏幕左側的演員對應的部分幀的輪廓，并且 可以表示這里不能放置廣告。也就是，廣告不能放置在屏幕的左側，因 為在屏幕的左側有人在移動和出現事物。然而同時，屏幕的右側可以是 干凈的(clean)，并且它可能在足夠用于放置廣告的一定時間段內是干 凈的。
在一些實施例中，景象可包含元數據，它表征關于幀的和包括物體 在幀中運動的歷史與時刻的信息，并且本發明的一些實施例可以利用這 樣的元數據來確定其中包括廣告的內容可被放置在景象中的潛在區域。
在一些實施例中，確定幀是否為"臟"的或幀區域是否為"臟"的 步驟可以通過分析跨越一個或多個幀的幀數據而被執行。在確定感興趣 的物體和感興趣的區域時可以使用固定的或可變的閾值。在一些實施例 中，系統也可以編碼或創建如上所述的元數據，用于使得回放系統能夠 插入內容。
圖3 A圖示了移動的照相機情況的例子。在這個例子中，幀邊界302, 304， 306代表在照相機移動時幀序列中的三個幀。因為照相機移動或搖 鏡頭越過景象，所以諸如垃圾箱308那樣的固定物體將看似在景象的背 景上緩慢滑動。垃圾箱308之所以有這個現象是因為它被放置成朝向幀 302的右側、靠近幀304的中心、然后朝向幀306的左側。通過照相機緩慢搖鏡頭越過所述組(set)，景象中的物體被固定在所述組上，每個 幀看起來是臟的，因為有不斷的運動。
然而，通過回顧視頻幀，系統可以確定照相機正在移動，景象內 的人正在移動，但垃圾箱308是固定的。這樣，垃圾箱308上的空間可 以自由用于廣告或其他圖像或圖形，因為垃圾箱本身是基本固定的。
圖3B圖示了被插入垃圾箱308上的景象內的"Town Realty (城鎮 房地產)"的廣告312。在本例中，垃圾箱308包括景象中的能夠插入附 加內容而不遮蔽景象中的活動的區域。因此，在一些實施例中，在照相 機正在移動或搖鏡頭拍攝的情況下，系統可以識別固定的物體，然后識 別廣告如何被重疊在固定的物體上。在一些實施例中，這可以通過沿幀 移動支點以便從移動物體中濾除固定物體而完成。即，系統可以關于參 考元件位于幀內的地點來滑動透視點，以使得照相機運動可以從景象中 移動的實際演員中被濾除。
如上所述，方法100(圖l)包括步驟106,用于確定當幀序列被播 放時區域是可用的時間量；和步驟108,用于確定該區域的大小。例如， 系統可以確定屏幕的右側在特定時間量內可以是空閑的，以及它在該時 間量內對于特定尺度是空閑的。這個信息對于選擇廣告可能是重要的， 因為該尺度可以能夠容納具有特定最大尺寸的廣告。而且，該尺度可能 僅僅在特定時間量(諸如2， 5， 15， 20秒等)內是可用的。
在一些實施例中，系統可以搜索幀序列中有足夠大區域或空間容納 特定尺寸的廣告的幀。系統還可以搜索視頻中足夠長的時間長度以便放 置某個廣告。例如，某個廣告可能需要用于放置該廣告的15秒的空閑且 干凈的區域。系統可以通過確定視頻中每個空區域會持續多長時間而做 到這一點。
在一些實施例中，系統可以使用確定的時間和尺寸信息來查看廣告 的數據庫，并且選擇適合于可用尺度和可用時間量的廣告。因此，在一 些實施例中，存在視頻序列的資料(profiling)，然后根據有多少時間 和空間對于廣告是可用的，存在廣告的數據庫查找表。例如，在一些實 施例中，系統可以確定對于封閉的空閑區域有多少時間可用于一見頻。然 后，數據庫查找表確定封閉的空閑區域的尺寸和可用的時間是否滿足數 據庫中的任何廣告的要求。
其它因素可以或可以不被用來選擇特定的廣告。例如，在一些實施例中，系統可以僅僅選擇滿足可用的最大時間和可用的最大尺寸的下一 個廣告。
或者在 一 些實施例中，系統可以選擇使得從銷售廣告空間而能夠生 成的收益最大化的廣告。廣告的各種不同尺寸和類型可以使得對于可用
的廣告空間的資金收益率(dollarreturn)最大化。例如，最大收益可以 通過用幾個較小廣告填充空間或用一個大廣告填充空間來產生。在一些 實施例中，系統可分析可用的空間和時間，以便根據那些規范使得資金 收益率最大化。
在一些實施例中，系統可以使用用于命令滿足經濟商業模型的廣告 的選擇的方法。例如，系統可以使用用于選擇廣告的優先級方案。作為 另一個例子，幾個小廣告可被用來優化可用的空間，這可能比一個大廣 告生成更多的收益。在任何這樣的情況下，系統仍舊可以確定下一個選 擇的廣告是否滿足所確定的時間和尺寸規范。
所以，本發明的實施例提供用于確定被放置在媒體中的廣告和其他 內容的位置和時序的方法。本發明的實施例可被用來自動找出視頻中的 能夠插入廣告或其他內容的空白區或空隙。也就是，視頻可以通過按照 本發明的實施例的過程被運行，從而自動找出視頻中的能夠插入廣告的 空白區或空隙。例如，十秒的視頻剪輯可包括兩秒的空白或黑屏。在本 例中，整個屏幕可以可用于廣告達兩秒。因此，十秒視頻的百分之二十 可被填充廣告或其他內容。
應當很好地理解，其他類型的內容且不僅僅廣告可被插入到空白區 或空隙。例如，其他類型的圖形、圖像、照片等等可包括附加內容，所 述附加內容可被插入到能夠插入附加內容而不遮蔽景象中的活動的區域 內。
這里描述的方法和技術可以在許多不同類型的系統、計算機、圖形 工作站、電視機、娛樂系統、視頻游戲系統、DVD播放器、DVR、媒體 播放器、家庭服務器、視頻游戲控制臺等等上被利用、實施和/或運行。 參照圖4，圖示了可被用于任何這樣的實施方式的系統400。系統400的 一個或多個部件可,皮用于實施上述的任何系統。然而，系統400或其任 何部分的使用當然不是必需的。
作為例子，系統400可包括(但不是必須包括)中央處理單元(CPU) 402、圖形處理單元(GPU) 404、數字差分分析(DDA)硬件406、隨機存取
10存儲器(RAM) 408以及諸如硬盤驅動器的大容量存儲單元410。系統400 可被耦合到顯示器412或與其集成，所述顯示器412是諸如任何類型的 顯示器，包括這里提到的任何類型的顯示器。系統400包括基于處理器 的系統的例子。
CPU 402和/或GPU 404可被用來執行或輔助執行這里描述的方法 和技術的步驟，并且多種節目內容和圖像可以呈現在顯示器412上?？?拆卸的存儲介質414可以任選地與可被用于存儲實施這里描述的方法和 技術的大容量存儲單元410—起使用。然而，任何存儲裝置，諸如RAM 408或大容量存儲單元410，可被用于存儲這樣的代碼。而且，任何存儲 裝置，諸如RAM 408或大容量存儲單元410，可被用于存儲以上描述的 數據庫。系統410的全部或一部分可以以任何類型的裝置來具體實施， 例如計算機、工作站、電視機、視頻游戲控制臺或系統、或者任何其他 類型的裝置，包括這里提到的任何類型的裝置。
但本領域技術人員可以在不脫離權利要求中闡述的本發明的范圍的情況 下對它們做出許多修改和改變。
權利要求
1.一種結合內容使用的方法，包括分析內容的幀序列；確定在由幀序列描繪的景象中是否存在能夠插入附加內容而不遮蔽景象中的活動的區域；對于任何這樣的區域，確定當幀序列被播放時所述區域是可用的時間量；以及對于任何這樣的區域，確定所述區域的大小。
2. 按照權利要求l的方法，其中確定是否存在區域的步驟包括識別景象中不具有活動的區域。
3. 按照權利要求l的方法，其中確定是否存在區域的步驟包括識別景象中具有活動的區域。
4. 按照權利要求l的方法，其中所述區域包括景象中的固定物體。
5. 按照權利要求l的方法，其中所述幀序列包括由固定照相機拍攝的視頻表示。
6. 按照權利要求l的方法，其中所迷幀序列包括由移動照相機拍攝的視頻表示。
7. 按照權利要求l的方法，還包括把附加內容插入到所述區域內。
8. 按照權利要求l的方法，還包括至少部分地根據所確定的所述區域是可用的時間量，從數據庫中選擇附加內容。
9. 按照權利要求1的方法，還包括至少部分地根據所確定的區域大小，從數據庫中選擇附加內容。
10. 按照權利要求1的方法，其中所述附加內容包括廣告。
11. 一種存儲可由基于處理器的系統執行的計算機程序的存儲介質，所述計算機程序使該基于處理器的系統執行以下步驟分析內容的幀序列；確定在由幀序列描繪的景象中是否存在能夠插入附加內容而不遮蔽景象中的活動的區域；對于任何這樣的區域，確定當幀序列被播放時所述區域是可用的時間量；以及對于任何這樣的區域，確定所述區域的大小。
12. 按照權利要求11的存儲介質，其中確定是否存在區域的步驟包括識別景象中不具有活動的區域。
13. 按照權利要求11的存儲介質，其中確定是否存在區域的步驟包括識別景象中具有活動的區域。
14. 按照權利要求11的存儲介質，其中所述區域包括景象中的固定物體。
15. 按照權利要求11的存儲介質，其中所述幀序列包括由固定照相機拍攝的視頻表示。
16. 按照權利要求11的存儲介質，其中所述幀序列包括由移動照相機拍攝的視頻表示。
17. 按照權利要求11的存儲介質，還包括把附加內容插入到所述區域內。
18. 按照權利要求11的存儲介質，還包括至少部分地根據所確定的所述區域是可用的時間量，從數據庫中選擇附加內容。
19. 按照權利要求11的存儲介質，還包括至少部分地根據所確定的區域大小，從數據庫中選擇附加內容。
20. 按照權利要求11的存儲介質，其中所迷附加內容包括廣告。
21. —種結合內容使用的設備，包括基于處理器的系統，其被配置成分析內容的幀序列和確定在由幀序列描繪的景象中是否存在能夠插入附加內容而不遮蔽景象中的活動的區域；其中對于任何這樣的區域，所述基于處理器的系統還被配置成確定當幀序列被播放時所述區域是可用的時間量以及確定所述區域的大小。
22. 按照權利要求21的設備，其中所述基于處理器的系統還被配置成識別景象中不具有活動的區域。
23. 按照權利要求21的設備，其中所述基于處理器的系統還被配置成識別景象中具有活動的區域。
24. 按照權利要求21的設備，其中所述區域包括景象中的固定物體。
25. 按照權利要求21的設備，其中所述幀序列包括由固定照相機拍攝的視頻表示。
26. 按照權利要求21的設備，其中所述幀序列包括由移動照相機拍攝的視頻表示。
27. 按照權利要求21的設備，其中所述基于處理器的系統還被配置成把附加內容插入到所述區域內。
28. 按照權利要求21的設備，其中所述基于處理器的系統還被配置成至少部分地根據所確定的所述區域是可用的時間量來從數據庫中選擇附加內容。
29. 按照權利要求21的設備，其中所述基于處理器的系統還被配置成至少部分地根據所確定的區域大小來從數據庫中選擇附加內容。
30. 按照權利要求21的設備，其中所述附加內容包括廣告。
全文摘要
一種結合內容使用的方法，包括分析內容的幀序列(102)；確定在由幀序列描繪的景象中是否存在能夠插入附加內容而不遮蔽景象中的活動的區域(104)；對于任何這樣的區域，確定當幀序列被播放時所述區域是可用的時間量(106)；以及對于任何這樣的區域，確定所述區域的大小(108)。還公開了一種存儲用于使得基于處理器的系統(400)執行這些步驟的計算機程序的存儲介質以及一種結合內容使用的設備。
文檔編號H04B1/66GK101641873SQ200880009256
公開日2010年2月3日 申請日期2008年3月18日 優先權日2007年3月22日
發明者G·M·扎列夫斯基 申請人:美國索尼電腦娛樂公司