專利名稱：創建概要的方法
技術領域：
本發明涉及一種創建內容項目的概要的方法，該內容項目包括多 個片段，每個片段具有各自的重要性分數。
背景技術：
配備有視頻捕獲功能的消費者設備的實用性和可負擔性已經在近 些年得到增長。這使得用戶能夠記錄他們在他們生活中經歷的許多事 件。這進而又導致龐大數量的由單個用戶制作的視聽素材。觀看完整 長度的錄像是相當消耗時間的并且是乏味的，由于有趣的視聽素材與 缺乏吸引力的視聽素材混合在 一 起。多種技術已經被開發出來以創建 任意視聽內容項目的概要。
出版物CHI Letters, 2000，第2巻，第81-89頁，A. Girgensohn， J. Boreczky 等人的 "A semi—automat i c approach to home video editing"公開了一種系統，其允許用戶使用標準視頻攝像機從原始視 頻鏡頭中容易地創建定制視頻。系統使用自動分析以確定原始視頻各 部分的適合性。不合適的視頻具有快速或不穩定的攝像機運動。基于 這個分析，對于視頻的每個幀，計算出用數字表示的"不適合性"分數。 結合編輯規則，這個分數被用于識別用于包括在最終視頻概要中的片 段(在原始公開中使用術語"剪輯")，并且被用于選擇它們的開始和結束 點。為了創建定制視頻，用戶通過將對應于期望片段的關鍵幀拖入概要中^擇 片段。
這個方法僅僅允許選4械合包括在概要中的片段,所iii4擇基于與攝^4腿 動有關的內容分析。而選擇的片段很可能關于攝^^i^動是高質量的，對于均勻 質量的視頻素材，這會導致用戶相當隨^U^ii擇片段。
發明概述
本發明的一個目的是提供一種增強的創建內容項目的概要的方法，該內容項 目包括多個片段，每個片段具有各自的重要性分數，其至少部分地減少了上述情根據本發明，以上面提到的方法實現這個目的，該方法特4正在于為多個潛 在切割點(cut point)的每一個導出切割點重要性分數，每個潛在切割點是兩 個相應的片段之間的邊界，特定潛在切割點的切割點重要性分數基于與所iii昝在 切割點對齊的兩個片段的內斜爭性，以及創建概要，該概要包括基于片段重要性 分數和切割點重要性分數的組合而選擇的內容項目的多個片段的子集。
內容項目包括多個片段。潛在切割點被定義為兩個相鄰片段之間的邊界，即 內容項目中可f汰生片段分離的點。根據本發明，為每個潛在切割點得出切割點
重要性分數。特定的潛在切割點的切割點重要性分數基于與潛在切割點相鄰的兩 個片段的內^f爭性。內^^爭性包4射者如亮度或音頻等級的分量(component)。從 而本發明有利地結合了切割點重要性分數和片段重要性分數輛擇應當組成概 要的那些片段。
作為結果產生的概要提供了改善的即更一致的對ii7v概要的片段的選擇，所 述概要具有提供給用戶的改善的呈iM量。對于相當均勻質量的視頻內容，這尤
地切割，或者背景音樂的音樂小節被中斷的手段。 口
在一個實施方式中，潛在切割點的切割點重要性分數是內斜爭性的加權范數 (weighted norms)的絕對差，該內斜何^十應于與所述潛在切割點對齊的兩個 片段。內^#性的^*對應于不同特征，并且因此這些分量的值在不同范圍內。 通過權重按比例調整這些不同^f值以將它們導入相同的范圍，并因此使得它們 的比較成為可能。在加權范數中的權重還能夠被用于表示特定分量的相關性。加 權范凄&一維的，因此允許容易地比較對應于與切割點對齊的片段的多維內^# 性。對齊片段的加權范數的差導致產生潛在切割點的切割點重要性分數。
在一個實施方式中，在相鄰片段的內斜爭性的至少一個分量中重大的改變處 確定潛在切割點。內容特性的至少一個分量中的重大的改變導致切割點重要性分 數的增力口。切割點重要性分凄a高，該潛在切割點是越合適的。因此將潛在切割 點置于內斜爭性的至少一個分量中發生重大改變的點是有優勢地,尤其對于相當 均勻的一見頻內容。
在一個實施方式中，將被包括在概要中的片段子集的適合性通itit合性分數 被測量，所趙合性分凄議以下^^貞的加權總和
屬于該片段子集的片段的片段重要性分數,以及給連續片段的組定界的潛在 切割點的重大的切割點重要性分數，該連續片段對于在屬于該組的片段之間的潛 在切割點具有無意義(insignificant)切割點重要性分數。此處無意義不是指 潛在切割點的重要性分數的值，而是指對于潛在切割點的選擇，其已經被判定為對于適合性分數貢獻較少。該總和提供了一維測量，允許評估所選4奪的片段子集 的適合性。^J ]在加權總和中的權重，允許區分片段重要性分數和切割點重要性 分數。例如切割點重要性分數的權重低于片段重要性分數的權重，這意味著相比 與內容片段間轉換相關的內容呈現，用戶更關注實際內容。
在一個實施方式中，被選擇為包括在概要中的片段子集具有最高的適合性分 數。基于片段重要性分數和切割點重要性分數，能夠為概要選擇各種片段子集。 為了在可能的概要中做出最好的選擇，^^]適合性分數。適合性分凄 高，概要 越好。
在一個實施方式中，在攝i^f幾鏡頭邊界確定潛在切割點，所述攝f^幾鏡頭是 在接連的錄制開始和結束之間錄制的連續視頻內容。對于相當均勻的視頻內容， 這防止將攝^4幾鏡頭邊界置于片段中。將這種片段包括在概要中將被察覺為視頻 中的另一個切割點。如果攝<斜幾鏡頭邊^4皮置于接近潛在切割點，對于用戶這將
相當惱人。將潛在切割點與攝^^幾鏡頭邊界對齊防止了這種惱AJ見象的發生。
在一個實施方式中，片段的大小不小于預定的最小片段大小，并且不大于預 定的最大片段大小。最大片段大小防止片段太長。對于均勻視頻內容這是尤其相 關的，對于其來說，如果不使用最大片段大小，可以創建非常長的(可能是不感 興趣的)片段，其可能將在概要中結束。具有受限大小的片段使得能夠更好i^笨 查在均勻視頻內容中的內斜爭性的變化。
另一方面，使得片段太小(例如單個幀)是非常不現實的，并且對于選擇包 括在概要中的短片段能夠做出的選擇數量過多。對片段大小設置最小值/最大值 限制導致產生片段和潛在切割點的豐富選擇，對獲取短期的特性^X夠的，并且 同時不會太長以致于不能防止整個概要過長。還使得能夠控制得到概要所需要的 計算復雜性。因為對于大的片段集合，得到概要所需要的計算強度越多。
在一個實施方式中，潛在的切割點被這樣選擇，使得在可容許的潛在切割點 中它具有最高的切割點重要性分數，所述可容許的潛在切割點提供的片段大小不 小于預定的最小片段大小并且不大于預定的最大片段大小。簡言之，這個實施方 式使得能夠從保證片段大小在預定的限制內并且保證使用切割點重要性分數測 量的所i^it合性的所有可能的潛在切割點中選擇最合適的潛在切割點。
在一個實施方式中，最小片段大小和最大片段大小由用戶明確提供。對于什 么是最小和最大片段大小的合適值，用戶具有大致的想法，由于用戶他/她自己 捕獲視頻內容并且知ii^視頻中捕獲了何種事件。
對于最d 、 /最大片段大d 、的用戶選#^￡反映了用戶想要為視頻內容中捕獲的 事件給出什么樣的關注范圍。此外，通過設置最大和最小片段大小，用戶影響他/她想要花在創建概要上的時間。它們越小，可用的片段和潛在切割點越多，并 且因此需，多計算時間為概剩故出合適的片段選擇。
在一個實施方式中，概要的大小由用戶提供。允許用戶指示他/她想要花多 少時間》M概要。考慮在假期期間捕獲的視頻內容的情況。當用戶獨自或與他/ 她的休假同伴"^^Lt作為結果產生的概要時，概要的大小可以是大的。當用戶 與朋友-"^^贈概要時，概要大小可以是短的，因為用戶想^{又僅顯示他/她的 假期最重要的精彩場面。
在一個實施方式中，提供了預定大d、的為概要選擇的片段子集具有最高的適 合性得分。目標的概要大小可以通過各種片段選擇而實現。在所有可能的選擇中 最好的概要具有最高的適合性得分，其提供了最好的內容選4科口呈5^量。
本發明進一步提供了一種在根據本發明的方法中使用的設備。方法和設備的 優選實施方式在乂A^權利要求中被陳述。
本發明的這些和其它方面將通過圖中所示實施方式而變得明顯，并參照它們
而得到闡明，其中
圖1示意性示出了具有對應概要的內容項目； ' 圖2示例了特定的潛在切割點的切割點重要性分數，其基于與所述潛在切割
點對齊的兩個片段的內^#性；
圖3示出了^^呈圖，其包括根據本發明創建概要的方法的步驟；
圖4示出了將被包括在概要中的片段子集的例子,通過適合性分凄復量其適
合性；
圖5示出了片段子集的兩個例子，所選的將被包括在概要中的子集具有最高 的適合性^^凄t
圖6示意性地示出了在攝^p幾鏡頭邊^^角定的潛在切割點，所述攝<糾幾鏡頭
圖7示i性地示出了潛在切割,l將被這樣選擇,使得它在可容許的潛在切割 點中具有最高的切割點重要性分數，所述可容許的潛在切割點提供的片段大小不 d 、于預定最d 、片段大小并且不大于預定最大片段大小；
圖8示出了被配置以實現本發明方法的設備。
在所有圖中，相同的附圖標記指示類似或對應的特征。在圖中指示的一些特 征典型地以軟件實現，因jt匕表示軟件實體，諸如軟件模塊或對象。優選實施方式詳述
圖1示意性地示出了具有對應概要110的內容項目100。內容項目100包括 范圍從第一片段101-1至末尾片段101-7的多個片段。有多種已知的方式來確定
片段。 一種可選方iU:人工地確定片段。另一種可選方式是自動分割片段，通過 4^]例如John Boreczky， Andreas Girgensohn, Gene Golovchinsky和Shingo Uchihashi在荷蘭哈根，關于計算系統中人為因素的SIGCHI ^i義學報，ACM,第 185-192頁的"用于探索視頻的交互連環漫畫冊介紹"(John Boreczky, Andreas Girgensohn， Gene Golovchinsky and Shingo Uchihashi , "An Interactive Comic Book Presentation for Exploring Video", In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems( The Hague, Netherlands), ACM，卯.185-192 )中描述的方法。上述的分割片^殳方法僅為示例，其它方法也 是可能的。
屬于內容項目100的每個片段具有各自的片段重要性分數，由表示片段的框 中包含的數字來指示。這些片段重要性分數或者是主觀片段重要性分數或者是客 觀片段重要性分數。主觀片段重要性分lt^:人為？ 1入的并且直接反映某人的判斷 的分數，例如內容項目的導演或創作者。可替換地，客觀片段重要性分ltA^于 在片段中包括的內容而計##出，不受人為的干涉。例如BarbieriM., Weda H.， Dimitrova N.在2006年l月7-11日美國拉斯維加斯的關于消費電子的IEEE國 際會漢學報，ICCE 2006，第301-302頁的"使用一分鐘電影瀏覽視頻記錄" (Barbieri M., Weda H. ， Dimitrova N. , "Browsing Video Recordings Using Movie-in-a-Mirmte ，， , Proc. of the IEEE International Conference on Consumer Electronics, ICCE 2006， pp. 301-302, January 7-11，2006, Las Vegas, USA)中討論了客觀片段重要性分數的計算。
在片段的邊界定義潛在切割點。對應于內容項目100的潛在切割點范圍W昝 在切割點102-1至102-8，它們由垂直的虛線指示。這些潛在切割點包括在兩個 相應片段之間的邊界102-2至102-7，以及內容項目100的第一片段和最后片段 各自的末端邊界，102-1和102-8。為內容項目100定義的每個潛在切割點具有 各自的切割點重要性分數，其由直接置于潛在切割點下面的數字來指示。切割點 重要性分數的導出將參考圖2被討論。
概要110包括內容項目的多個片段的子集，它們基于它們各自的片段重要性 分數和切割點重要性分數而被選擇。片段104是所選片段中的一個。片段104 的框的粗實線指示該片段已經被選擇用于概要110。片,殳103的框的虛線指示這 個片段沒有被選擇用于概要110。在圖1中示出的例子中，概要包括片段101-2至101-5。所有已選片段具有
大于5的重要性分數。然而，對于片段101-6雖然它在所有片段中具有最高的片 段重要性分數但它沒有被包括在概要110中。這是因為在這個片段前面的潛在切 割點102-6是非常合適的切割點，其表示為具有值為17的高的切割點重要性分 數。在這個片段后面的潛在切割點102-7具有值為2的非常低的切割點重要性分 數，其意味著它不是個合適的切割點。將參考圖3討論基于片段重要性分數和切 割點重要性分數的組合為概要110選擇片段的細節。
內容項目IOO優選地包括音視頻內容。內容項目IOO優選地包括音樂，視 頻，電影，剪輯，多i某體內容，圖像等。
圖2示出了特定的潛在切割點的切割點重要性分數，其基于與所必替在切割 點對齊的兩個片段的內^f爭性。圖2描寫了兩個相連的片段101-i和101-j。在 這兩個片段之間的潛在切割點是102-ij。每個片段具有與其相關聯的內^#性， 分別為201-i和201-j。 i^內^^爭性被描述為分量的向量，對于片段"i"，內 斜+性201-H皮表達為的術語一樣的內^#性。這
中的:個都能夠:給:」個值，其與一些預定的最大值相關。、 ^
通常，片段包括例如一系列幀。內^#性的值可以例如是對應于屬于片段的 幀的內容特性值的算術平均或最小值。可替換地，這種平均可以對幀的特定子集 計算。例如，對于在片段中均勻間隔的預定數量的幀，或者對于基于它們的內容 而被認為對于片段有4仏性的那些幀。計算對應于片段的內^#性值的方法是公 知的。例如Barbieri M., Weda H. ， Dimitrova N.在2006年l月7-11日美國 拉斯維加斯的關于消費電子的IEEE國際會H義學報，ICCE 2006，第301-302頁的 "使用一分鐘電影瀏覽視頻記錄"(Barbieri M., Weda H. ， Dimitrova N.，"Browsing Video Recordings Using Movie-in-a-Mi皿te'，， Pro" of the IEEE International Conference on Consumer Electronics, ICCE 2006, pp. 301-302， January 7-11, 2006, Las Vegas, USA)中討論了片段重要i"生分數的計算。
為了測量與內斜目關的某個內斜爭性，可能有必要完全或部分地解碼內容。 在具有可攜式攝^^幾功能的當前設備中通常出現的音視頻內容所用的格式是 MPEG2、 MPEG4或DV (數字視頻)。然而，不排除其它格式。
切割點重要性分數被這樣計算，使得與潛在切割點對齊的片段的內容特性的 至少一個分量中的重大改變導致切割點重要性分數值的重大改變。為了能夠對內 ^f爭性中各種毅做比較，能夠4頓基于內^#性計算的一維范數。這種范數的 例子是經典的歐幾里纟尋3巨離。
在一個實施方式中，潛在切割點的切割點重要性分凄b^對應于與所必替在切 割點對齊的兩個片段的內^#性的加權范數的^^于差。對于片段"i",加權范數 是權重歐幾里得距離，并JW^4達為
其中矩陣M是包括權重系數的權重矩陣。M矩陣是對角線占優矩陣，即非對 角線的項為零元素。在對角線上的非零M是權重。這些權重的值被選擇，使得 它們將對內容特性各種分量測量的值置于相同的范圍中，使得這些各種分量對一 維范數的貢南議平等的。可替換地，當已知對于切割點重要f生分數的評估， 一些 分量比其它^*更相關時，權重可以被選擇以反映在分量相關性中的這種差另'j。
對于在內容項目中定義的潛在切割點的切割點重要性分數計算,權重是固定 的。可替換地，根據視頻內容的細節，權重可以隨著內容項目而改變。例如，由 于具有語音的片段優先于沒有語音的片段，語音檢測是非常重要的。尤其是句子 的開始和結^于于放置潛在切割點是相關的，因為這些是切割視頻的非常合適的 點。這能夠一版映在與語音相關的權重值中。對于包4射吾音的片段，語音相關權 重可以^i文大，但是對于包括例如沒有^^可語音出現的風景的片段，語音相關權 重可以被設置為非常低的值。
此外，對于內容項目的均勻視頻段，權重可以被選擇，使得內斜爭性的一些 分量中小的波動被放大。或者換句話說，加權范數對于小的分量變化更敏感。然 而，對應于分量的權重的選擇應當謹f真地做出，并且應當密切依靠FM時間過去 而觀察的內斜爭性，這樣一些分量的噪聲的'j、的局部波動將不會被4射吳^故大。
圖3示出了一個流程圖，包括根據本發明創建概要的方法的步驟。步驟30丄 包括輸入對應于內容項目的原始視頻內容。步驟302包括從輸入的內容項目中提取出內^f爭性。在這個步驟中，為每個幀導出內^#性。可替換地，每固定數量 幀的內容特性可以被計算以減少計算復雜性。另 一種可選方式是對于一組幀計算 平均內斜爭性。這些只是示例內^f爭性能夠如何被計算，確定內^t爭性的其它方 式也是可能的。
在步驟303中，內容項目被分割成片段。這個步驟包括確定潛在切割點，其
進而又確定片段的邊界。分割片段能夠以多種方式被實現，例如，它可以包括將 內容項目劃分為固定大小的片段，或者更高級的基于內斜爭性查找合適的潛在切
割點，如將在圖7中解釋的。這些只是分割片段的兩個例子，實現將內容項目分 割為片段的其它方式也是可能的。步驟304和305能夠彼此獨立地J丸行。
步驟304包括導出片段重要性分數，步驟305包括導出潛在切割點重要性分 數。雖然這兩個步驟作為獨立的步驟被畫出，但是考慮到兩個步驟需要可能類似 的計算，在實際實現中它們也可以被合并。
步驟304和305的結果隨后是步驟306，其包括自動編輯。這個步驟被進一 步詳細示出。在步驟306-1中多個片段子集被選擇，它們有可能被包括在概要中。 將片^i4擇至子集中可以基于它們的片段重要性分數,例如具有超過特定閾值的 片段重要性分數的所有片段被認為是作為將被包括在概要中的候選。A/Ji樣的集 合中多個子集被選4奪，使得這些子集服從附加的限制。這種附加的限制例如是由 用戶預定的期望的概要大小，其在某個容限內應當由所選片段子集遵守，或者應 當由從內容項目創建的概要a^的所選主題，例如包4封既要時間的至少60%的子 集覆蓋所選主題。
因otb^步驟306-2中，作為片段重要性分數和潛在切割點重要性分數的函數 的成本函凄^皮評估。
成本函數能夠是例如與被選擇將被包括在概要中的片段關聯的所有片段重 要性分數和所有潛在切割點重要性分數的加權總和。上述成本函數僅為示例并且 使用片段重要性分數和潛在切割點重要性分數確定成本函數的其它方式也是可
的一個例子可以口是由用^于l貞定的期望的概^大小:或者從內容項目中創建的概要 所應該^t^的所選主題。
在步驟306-3中，基于對應于所選子集的已評估成本函數，最佳的片段子集 被選擇。這個最佳子集選擇之后是步驟307，其中概要被制作并輸出給用戶。
圖4示出了將被包括在概要中的一個示例片段子集，其適合'^it過適合性分 數而測量。圖4描述了具有對應概要110的內容項目。概要包括片段101-2至 101—5。對應于片段子集的適合性分凄議以下各項的加權總和
屬于片段子集的片段的片段重要性分數，和
給連續片段的組定界的潛在切割點的重大的切割點重要性分數，對于屬于該 組的片段之間的潛在切割點具有無意義切割點重要性分數。此處無意義指的不是 潛在切割點的重要性分數的值，而是潛在切割點的選擇，該潛在切割點被判定為 對適合性分數較少貢獻。
對應于將被選擇入概要110的片段的片段重要性分數的總和是37。這個總 和的計算由粗線箭頭象征性地描述。選擇的片段形成由潛在切割點102-2和 102-6定界的單個片段組。對應于它們切割點分數的總和是32。這個總和的計算 由細線箭頭象征性^4葛述。如果沒有應用權重，適合性分數"s"是計算的上述 片段總和和切割點總和(即分別為37和32 )的總和，結果得到具有值為69的 適合性分數。
當在片段和潛在切割點的相關性之間的區別是期望的時， <捐加權。這是比 起在概要中所選片段怎樣彼j^于齊，片段內^^寸于用戶更為重要的情況。
可替換地,能夠^^1評估所選片段子集對于概要的適合性的其它方法。例如， 可以定義片段的所有可能組合，以4于片段重要性分數和切割點重要性分數的 它們的適合性可以通過一些分數測"l f皮評估。給定限制計算模型和將被優化(最 大化或最小化)的分數測量函數，片段選擇的問^A—種受限優化問題，其可以 使用公知的例如受限邏輯編程或本地搜索技術而解決，這在Aarts E. H. L. ,Lenstra J.K.在1997年英國奇切斯特，John Wiley & Sons,"組合優化 中的本J4^臾索"(Aarts E. H. L. ， Lenstra J. K. ， "Local Search in Combinatorial Optimization", John Wiley & Sons, Chichester, England, 1997 )中討論了。
圖5示出了片段子集的兩個例子，被選擇包括在概要中的子集具有最高的適 合性分數。在圖5中，描述了將被包括在概要中的兩個可能的片段子集llO-a 和IIO-b。這些子集中的每個包括4個片段。子集IIO-a包括具有最高片段重要 性分數的4個片段，即片段101-2， 101-4， 101-5和101-6。子集110-b包括片 段101-2至101-5,允許具有片段重要性分數為14的片段101-6被拋棄，而偏 袒具有^#到的片段重要性分數的片段101-3。選擇片段101-3的優勢在于它提 供了從片段101-2至片段101-4的更平滑過渡，其表現為在潛在切割點102-3 和102-4處非常低的切割點重要性分數。
對于選擇110-a，片段101-2， 101-4, 101-5和101-6的片段重要性分數的 總和結果產生值46。在這個子集中形成了兩組片段，即孤立的片段101-2和包 括片段101-4至101-6的組。給這些組定界的潛在切割點是102-2, 102-3, 102-4和102-7。對應于這些潛在切割點的切割點分數的總和是21。從而對于權重設為 1，適合性分數為46+21=67。
對于選擇110-b,對于權重設為1，適合性分數為69。由于對應于選拷，110-b 的適合性分數比選擇110-a的適合性分數更高，片段子集110-b被選擇用于概要。
圖6示意性示出了在攝^^幾鏡頭邊^^角定潛在切割點，所述攝l斜幾鏡頭是在 連續的錄制開始和結束之間錄制的連續視頻內容。內容項目100-a描述了具有攝 11^幾鏡頭邊界105-1至105-4的原始4見頻。內容項目100-b描述了對應于內容項 目100-a的已分段視頻內容。100-b中的片段邊界102-1， 102-2， 102-6和102—8 與100-a中各自的攝^^幾鏡頭邊界105-1， 105-2, 105-3和105-4對齊。通扭 視頻內容中設置標i&戈者通過分才射見頻內容，攝^4幾鏡頭邊界可以被維持。對于 DV視頻格式，通過查找DV時間戳中的不連續性能夠容易M^r測到攝f^幾鏡頭。 用于鏡頭切變抬r測的許多其它方法是已知的，例如R. Lienhart在1999年l月 美國^f可塞，用于圖像和視頻數據庫的^f諸和檢索Vn學報，第290-301頁，自 動鏡頭邊界檢測算法的比較(R. Lienhart， Comparison of Automatic Shot Boundary Detection Algorithms, Proceedings of Storage and Retrieval for Image and Video Databases VII， January 1999， San Jose， USA, pp. 290—301 )。
在一個實施方式中，片段的大小不小于預定的最小片段大小，并且不大于預 定的最大片段大小。最大片段大小防止片段太長。i^于于均勻視頻內容^C其相 關的，對于均勻視頻內容如果不^i ]最大片段大小，可能非常長(可能無趣)的 片段將被創建，該片段可能在概要中結束。具有受限大小的片段使得能夠在均勻 視頻內容中更好地探測內容特性的變化。
另一方面，使得片段太小(例如單個幀)是非常不現實的，并且為了選擇包 括在概要中的短片段而能夠做出的選擇數量會過多。設置片段大小的最小/最大 限制的結果是片段和潛在切割點的豐富選擇，對于捕獲短暫特征A^夠的，并且 同時不會太長以致不能防止整個概要變得太長。其還使得能夠控制實現概要所需 要的計算復雜性。由于對于較大的片段集合，實現概要所需要的計算強度越大。
圖7示意性地示出了潛在切割點，它被選擇，使得它在可容許的潛在切割點 中具有最高切割點重要性分數，所述可容許的潛在切割點提供了不小于預定的最 小片段大小并且不大于預定的最大片段大小的片段大小。將被創建的片段的開始 邊^H立于潛在切割點102-p。開始于102-p的具有預定的最小片段大小的片段被 描述為108-a。開始于102-p具有預定的最大片段大小的片段被描述為108-b。 將被創建的片段的M能夠在潛在切割點，其位于屬于具有最大片段大d 、的片段 的幀的邊界，但是不在具有最小片段大小的片段中，兩個片段都開始于102-p。潛在切割點的這個集合被稱作可容許的。從潛在切割點的這個集合中，能夠選擇 最合適的潛在切割點，所述潛在切割點具有最高切割點重要性分數。
在一個實施方式中，最小片段大小和最大片段大小由用戶明確^y是供。對于 最小和最大片段大小什么是合適的值，用戶具有大致的想法，因為用戶他/她自 己捕獲的視頻內容并且知錄視頻中捕獲了何種事情。從感知的觀點來說，
的最小片段是大約1-2秒，其等價于25-50幀。推薦的最大大小是大約10-50 秒，其對應于250-1250幀。
在一個實施方式中，概要的大小由用戶提供。其允許用戶指示他/她想要花 多少時間MJr概要。提供了用戶接口使得用戶能夠輸入概要大小。
在一個實施方式中，提供有預定大小的將被選擇入概要的片段子集具有最高 的適合性分數。概要大小可以通過多種片段選擇而iiJij。在所有可能選擇中最好 的概要具有最高的適合性分數，其提供了最好的內容選4料口呈;M量。
圖8示出了設備802，被配置以實現本發明的方法。原始視頻內^f皮輸入至 設備802，其可以是配備在石tt802-a或其它^^諸裝置中的視頻錄f^L。視頻內 ^fc^諸在石M 802-a并進一步饋入分4錄置802-b，其將內容項目分段為具有 對應潛在切割點的片段。裝置802-c導出對應于由分^錄置802-b提供的片段的 片段重要性分數。裝置802-d為分^錄置802-b提供的多個潛在切割點的每一個 導出切割點重要性分數。裝置802-e評估4Mt本發明的方法的步驟306和307， 其分別對應于自動編輯和制作并輸出概要。輸出的概要在TV 801上^皮顯示給用 戶。
應當注意到上述實施方式是說明而非限制本發明，本領域技術人員將能夠設 計多種可替換實施方式而不脫離所附權利要求的范圍。例如可以使用音頻項目代 替音視頻內容項目。
在所附權利要求中，放在括號中的參考標記不應當解釋成對權利要求的限
元件前的詞語"一，'或"一個"不排除多個這種元件的存在。本發明可以通過包 括若干不同元件的硬件和通過適當編程的計算機來實現。
在列舉了若干個裝置的設備權利要求中，這些裝置中的若干個能夠具體實施 為同一個硬件項目。僅僅某些措^t彼此不同的A/v4權利要求中敘述這個事實并 不表明這些措施的結合不能被有優勢地4M 。
權利要求
1.創建內容項目(100)的概要(110)的方法，該內容項目(100)包括多個片段(101-1...101-7)，每個片段具有各自的片段重要性分數，特征在于為多個潛在切割點(102-1...102-8)的每一個導出切割點重要性分數，每個潛在切割點是兩個相應的片段之間的邊界，特定的潛在切割點的切割點重要性分數基于與所述潛在切割點對齊的兩個片段的內容特性；和創建概要(110)，其包括基于片段重要性分數和切割點重要性分數的組合而選擇的內容項目的多個片段的子集。
2. 如權利要求1中所述的方法，其中，潛在切割點的切割點重要性分數是內 ^f爭性(201-i， 201-j)的加權范數的纟&于差，該內^#'^十應于與所述潛在切 割點(102-ij)對齊的兩個片段(101-i， 101-j)。
3. 如權利要求1中所述的方法，其中，擬目鄰片段的內容特性的至少一個分 量的重大改變處確定;昝在切割點(102-i j )。
4. 如權利要求1中所述的方法，其中，將被包括在概要(110)中的片段子 集的適合性通過適合性分數而測量，所iiii合性分凄tA以下各項的加權總和屬于片段子集的片段的片段重要性分數，和給連續片段的組定界的潛在切割點的重大的切割點重要性分數，對于在屬于 該組的片段之間的潛在切割點具有無意義切割點重要性分數。
5. 如權利要求4中所述的方法，其中，選擇將被包括在概要(110)中的片 段子集具有最高適合性分數。
6. 如權利要求1中所述的方法，其中，在攝^^L鏡頭邊界(例如，105-2) 確定潛在切割點(例如，102-2)，所述攝^斜幾鏡頭是在接連的錄制開始和停止之 間錄制的連續視頻內容。
7. 如權利要求1中所述的方法，其中，片段的大小不小于預定的最小片段大 小，且不大于預定的最大片段大小。
8. 如權利要求7中所述的方法，其中，潛在切割點被這樣選擇，使得它在可 容許的潛在切割點之中具有最高的切割點重要性分數，所述可容許的潛在切割點 提供不小于預定最小片段大小和不大于預定的最大片段大小的片段大小。
9. 如權利要求7和8中所述的方法，其中，最小片段大小和最大片段大小由 用戶明確纟是供。
10. 如權利要求1中所述的方法，其中，概要的大小由用戶提供。
11. 如權利要求10中所述的方法，其中，提供了預定大小的選擇入概剩110 )的片段子集具有最高的適合性分數。
12. —種設備，可操作以提供用于為多個潛在切割點(102-1...102-8 )的每 一個導出切割點重要性分數的裝置(802-d )，每個潛在切割點是兩個相應的片段 之間的邊界，特定的切割點的切割點重要性分凄a基于與所逸瞥在切割點對齊的 兩個片段的內斜爭性，以及用于創建概要的裝置(802-e)，該概要包括基于片段 重要性分數和切割點重要性分數的組合而選擇的內容項目UOO)的多個片段(101-1...101-7)的子集，所述設備可根據權利要求1中所述的方法操作。
13. 如權利要求12中所述的設備，進一步包括用于分段內容項目(100)，使 得在相鄰片段的內容特性的至少 一個分量的重大改變處確定潛在切割點(102-ij)的裝置(802_b)。
14. 如權利要求12中所述的設備，進一步包括用于分段內容項目(100)，使 得在各勤^^幾《竟頭邊界確定潛在切割點(102-ij)的裝置(802-b )，所述攝^斜M竟 頭是在接連的錄制開始和停止之間錄制的連續—見頻內容。
15. 如權利要求13和14中所述的設備，其中，用于分^殳內容項目(100)的 裝置(802-b)被這樣配置，使得片段的大小不小于預定的最小片段大小并且不 大于預定的最大片段大小。
16. 如權利要求12中所述的設備，進一步包括用戶接口裝置，用于使得用戶 能夠提供以下的至少一個最小片段大小、最大片段大小或概要大小。
17. 用于實現如在權利要求1中所述方法的可在設備硬件上沖W亍的軟件。
全文摘要
創建內容項目(100)的概要(110)的方法，該內容項目(100)包括多個片段(101-1...101-7)，每個片段具有各自的片段重要性分數。該方法包括為多個潛在切割點(102-1...102-8)的每一個導出切割點重要性分數，每個潛在切割點是兩個相應的片段之間的邊界，特定的潛在切割點的切割點重要性分數基于與所述潛在切割點對齊的兩個片段的內容特性；和創建概要(110)，其包括基于片段重要性分數和切割點重要性分數的組合而選擇的內容項目的多個片段的子集。
文檔編號G11B27/28GK101517650SQ200780036106
公開日2009年8月26日 申請日期2007年9月26日 優先權日2006年9月27日
發明者J·韋達, M·E·坎帕尼拉, M·巴比里, P·斯雷斯塔 申請人:皇家飛利浦電子股份有限公司