植入內容到視頻演示中的方法和系統的制作方法
【技術領域】
[0001] 本公開設及一種視頻處理技術領域，尤其設及一種將內容植入到圖像/視頻序列 中的方法和系統。
【背景技術】
[0002] 當前，最常用的將諸如廣告等內容植入視頻播放中的方法是，在視頻開始的時候 W及視頻回放的時候播放廣告視頻流。例如，在化UTube上，總是會在視頻流中有幾個廣告 片段。
[0003] 如圖1(a)所示，觀看者不得不在所選擇的視頻播放之前觀看廣告視頻的播放，廣 告的持續時間在圖1(a)中用紅色圓圈標記。運是將廣告植入到視頻序列的基本方法之一。 然而，運種廣告播放方式的有效性評價并不好。視頻的觀看者可能在有廣告播放的時候切 換視頻頻道，并可能直到廣告播放結束后才轉回。運種廣告植入的強制方式會相當煩人，并 導致不愉快的觀看體驗。
[0004] 另一種常用的在視頻播放中顯示廣告的方式是在所播放的視頻流的頂層W透明 顯示盒的方式播放廣告內容，如圖1 (b)中用紅圈標記所示，運種植入播放方式也很煩人，也 可能會影響用戶對所選視頻的欣賞。
[0005] 因此，相應于本公開，對圖像/視頻處理的挑戰之一是如何在保持原始視頻源的原 有主要內容的同時獲得所期待的結果。在觀眾觀看圖像/視頻的時候，圖像顯著性可W用作 衡量像素點，區塊和對象對觀眾視覺注意力的吸引能力的基本方法之一。然而，通常在往視 頻序列里植入內容的時候不會納入圖像顯著性信息。而且，現有技術可能僅僅是在屏幕的 頂層簡單地疊加廣告，運就使得所疊加的內容無法融入屏幕場景中，而運會引起不舒服的 觀看效果。
[0006] 所公開的方法和系統就是用于解決上述的一個或多個問題W及其他問題。
【發明內容】
[0007] 本公開內容的一個方面提供了一種基于圖像顯著性的，用于將內容植入視頻演示 中的媒體操作方法。該方法包括:建立含有多個用于植入視頻中的廣告元件的廣告元件池； 獲取展示了至少一個場景并含有多個原始帖的一段輸入視頻；W及在所輸入的視頻上執行 鏡頭分組和主場景分析，W獲取具有靜態背景和有限鏡頭運動的場景。所述方法還包括在 所獲取的場景中檢測空白候選區域，W用于植入至少一個廣告元件，并基于廣告元件的視 頻顯著性調整所述空白候選區域和所述至少一個的廣告元件之間的排列關系。所述調整了 的排列關系用于增加所述廣告元件在其視頻顯著性上的收益，并限制了沒有植入內容的場 景在視頻顯著性上的改變。該方法還包括通過按照調整后的空白候選區域和廣告元件的排 列關系將所述廣告元件植入所述空白候選區域中，從而生成一段輸出視頻。
[000引本公開另一方面提供了一種基于圖像顯著性的媒體操作系統，用于在視頻播放中 植入內容。所述系統包括廣告處理模塊，視頻預處理模塊，空白候選區域檢測模塊，排列關 系調整模塊W及輸出模塊。所述廣告處理模塊用于獲得包含多個用于植入的廣告元件的廣 告元件池。所述視頻預處理模塊用于對輸入視頻執行鏡頭分組和主場景分析，W獲取具有 靜態背景的場景和有限鏡頭移動的場景，所述輸入視頻呈現至少一個場景并含有多個原始 帖。所述空白候選區域檢測模塊用于在所獲得的場景中檢測空白候選區域，用W植入至少 一個廣告元件。所述排列調整模塊用于基于廣告原件的圖像顯著性收益，來調整所述空白 候選區域和所述廣告元件之間的排列關系，用W增加所述廣告元件的圖像顯著性的收益W 及限制未植入內容的場景的圖像顯著性的改變。所述輸出模塊用于通過按照調整后的空白 候選區域和廣告元件的排列關系而將廣告元件植入空白候選區域中來產生一段輸出視頻。
【附圖說明】
[0009] W下附圖僅僅是為了說明目的而根據各公開實施例所舉的例子，并不是用于限制 本公開的范圍。
[0010]圖1(a)-圖1(b)顯示了兩種當前使用的廣告顯示方法。
[0011] 圖2(a)-圖2(b)顯示了兩種與本公開一致的廣告植入方法。
[0012] 圖3顯示整合了本公開的某些實施例的一個典型環境。
[0013] 圖4顯示了與本公開的實施例一致的一個典型的計算系統。
[0014] 圖5顯示了與本發明實施例一致的典型的W圖像顯著性為基礎的圖像/視頻操作 系統的結構示意圖。
[0015] 圖6顯示了與本發明一致的用于植入內容到圖像/視頻序列的典型的基于圖像顯 著性的一個媒體操作過程的流程圖。
[0016] 圖7顯示了所獲取的與本發明一致的具有5個預測的平坦表面的典型帖。
[0017] 圖8顯示了與本發明一致的一個典型的基于圖像顯著性特性的排列方式調整過程 的流程圖。
[0018] 圖9顯示了與本發明一致的一個典型的為鏡頭所建的有向無環圖(DAG)。
[0019] 圖10顯示了與本發明一致的一個典型的狀態空間和邊緣連接。及
[0020] 圖11顯示了一個視頻流被劃分為不同的視頻分量，與所公開的實施例一致。
【具體實施方式】
[0021] 為使本發明的目的、技術方案及效果更加清晰、明確，W下參照附圖并舉實施例對 本發明進一步詳細說明。同一個參考標號將盡可能的在所有附圖中的同一或類似部件上使 用。顯然，所描述的實施例只是本發明的部分而不是全部的實施例。基于所公開的實施例， 本領域的普通技術人員可能推導出與本發明一致的其他實施例，而所有運些實施例都在本 發明的保護范圍之內。
[0022] 為了提高在所點播和所廣播的視頻中的廣告的有效性，有兩個方面需要考慮:所 定制的廣告內容和一個為客戶所接受的廣告植入模式。本發明提供了一個基于圖像顯著性 的，用于植入廣告元件進圖像/視頻序列里=維場景中的媒體操作方法。
[0023] 此處所使用的圖像顯著性（salience)-詞，可用于指代諸如素點、區塊和對象對 人類視覺的吸引能力。換而言之，圖像顯著性是指，一個項目相對于其背景，在人類視覺系 統中得W區別出來的狀態或品質。所述項目可W是一個對象、一個區塊、一群像素點等等。
[0024] 圖2顯示了兩例采用與本發明一致的廣告植入方法的結果。如圖2(a)所示，一個廣 告圖標在媒體展示中覆蓋其中一個初始區塊。如圖2(b)所示，一個廣告圖標在媒體展示中 融入其中一個初始區塊。圖2(a)和圖2(b)都說明，只要原始圖像/視頻的剩余部分盡可能的 維持其原始的圖像顯著性不變，那么所植入的廣告元件可獲得最大的圖像顯著性。在某些 實施例中，所植入的內容可能不是廣告，而是可W整合進圖像/視頻序列的具有圖像展示的 任何內容。
[0025] 圖3是整合了本發明某些實施例的一個典型環境。如圖3所示，環境300可包括顯示 單元302，控制單元304，服務器306和用戶308。也可W包括其他設備。
[0026] 所述顯示單元302可W是任何類型的能夠播放圖像/視頻序列的設備，如電視機， 計算機，智能電話，平板電腦，數碼相機等。所述控制單元304可W是任何類型的外周設備， 只要其可W發送指令到所述顯示單元302即可，例如一個遙控器，鍵盤，鼠標，控制按鈕，觸 摸屏等。所述顯示單元302和所述控制單元304可W被集成在一個設備中。
[0027] 用戶308可使用控制單元304來與顯示單元302進行互動，從而觀看不同的視頻，控 制客戶設置，W及執行其他所希望的行動，或者用戶308可W簡單的僅僅使用手或身體姿態 來控制所述顯示單元302,只要所述顯示單元302使用了運動傳感器或深度攝像機。所述用 戶308可W是單個使用者或者多個使用者，例如家庭成員在一起看視頻。
[00%]所述顯示單元302,控制單元304,和/或服務器306可安裝在任何適合的計算電路 平臺上。圖4顯示了一個典型計算系統400的框圖，所述計算系統可實現所述基于視頻顯著 性的媒體操作系統。
[00巧]如圖4所示，計算系統400可包括處理器402，存儲介質404，顯示器406，通訊模塊 408,數據庫410,和外周設備412。某些設備可能有所增減。
[0030] 處理器402可包括任何合適的處理器或處理器群。進一步，處理器402可W包括用 于多線程或并行處理的多核處理器。存儲介質404可包括內存模塊，例如只讀存儲器(ROM), 隨機存取存儲器(RAM),閃存模塊，W及諸如光盤和硬盤等大容量存儲器。儲存介質404可儲 存計算機程序，用于使得當處理器402執行所述計算機程序時，可W完成不同的進程。
[0031] 進一步，外周設備412可包括不同的傳感器和其他輸入/輸出（I/O)設備，諸如鍵盤 和鼠標，而通訊模塊408可包括一些通過通訊網卡建立連接的網絡接口設備。數據庫410可 包括一個或多個數據庫，用于存儲某些數據，并用于對所儲存的數據執行某些操作，如數據 庫捜索。
[0032] 特別是，存儲介質404和數據庫410可存儲一個廣告池及一段輸入視頻。所述廣告 池和所述輸入視頻可預先提供并存儲于一當地存儲介質中，或通過網絡在線提供。所述計 算系統400可實施一基于視頻顯著性的媒體操作方法，并通過把從所述廣告池中提取的廣 告元件植入所述輸入視頻而產生一輸出視頻。在所產生的輸出視頻中，所植入的廣告元件 可獲得最大的視頻顯著性，只要原始圖像/視頻的剩余部分基本保持其原有的視頻顯著性。
[0033] 圖5顯示了與本發明所公開的實施例一致的一個典型的基于視頻顯著性的圖像/ 視頻操作系統的結構示意圖。如圖5所示，所述基于視頻顯著性的媒體操作系統500(如，計 算系統400)可包括視頻預處理模塊502,空白候選區域檢測模塊503,廣告處理模塊505,排 列關系調整模塊506, W及輸出模塊507。某些設備可能有所增減。所述系統500(如，各種元 件)可W由硬