專利名稱：動態關鍵幀的生成與使用的制作方法
技術領域：
本發明一般涉及處理電視(TV)節目的視頻源幀的方法和系統，更具體地說，涉及這種動態并受控于視頻處理系統中存儲的算法的處理。
如果電視(TV)用戶在電視節目初始部分已經播放后打開電視，則用戶可能決定觀看該電視節目的剩余部分，但卻不知道該電視節目的初始部分，也不知道他或她是否可能喜歡觀看該電視節目的剩余部分。因此，需要一種方法和系統來幫助這樣的電視用戶決定是否觀看電視節目的剩余部分。
本發明提供一種用于處理視頻源幀的方法，所述方法包括提供視頻處理系統(VPS)，該系統包括處理器、存儲器結構和視頻輸入裝置，其中處理器連接到存儲器結構和視頻輸入裝置；通過該視頻輸入裝置將視頻源幀從視頻源輸入到VPS；由處理器執行視頻源幀；在執行期間，從視頻源幀中動態且非連續地抽取關鍵幀，所述抽取根據存儲器結構中存儲的幀抽取算法而實現并由處理器執行；在存儲器結構的第一存儲器中存儲抽取的關鍵幀；以及在視頻源幀的所述執行完成前終止抽取關鍵幀。
本發明提供了一種用于處理視頻幀的系統，所述系統包括視頻幀抽取算法，在視頻源幀的執行期間從視頻源幀動態且非連續地抽取關鍵幀；處理器，執行視頻源幀并執行視頻幀抽取算法；視頻輸入裝置，從視頻源接收視頻源幀；其中視頻輸入裝置連接到處理器；
存儲器結構，連接到處理器，其中存儲器結構存儲視頻幀抽取算法，并且其中存儲器結構的第一存儲器存儲抽取的關鍵幀；以及終止機制，在視頻源幀執行完成前終止關鍵幀的抽取。
本發明提供了一種方法和結構，用于幫助電視(TV)用戶決定在其打開電視時電視節目的初始部分已經播出的情況下是否觀看該電視節目的剩余部分。
圖1顯示根據本發明的實施例的視頻處理系統的方框圖；圖2顯示根據本發明的實施例的關鍵幀抽取；圖3顯示根據本發明的實施例，結合相關關鍵幀的抽取、存儲和清除的視頻源幀實時域。
圖1顯示根據本發明的實施例的視頻處理系統(VPS)10的方框圖。VPS10包括處理器12、連接到處理器12的存儲器結構14、連接到處理器12的視頻輸入裝置18、連接到處理器12的用戶輸入裝置19、連接到處理器12的視頻處理裝置34、以及連接到處理器12的輸出顯示器20。系統10可表示計算機系統(例如，臺式、膝上型、掌上型計算機系統)、電視(TV)用機頂盒等。
存儲器結構14包括一個或多個存儲裝置或其中的區域(例如，存儲裝置或區域22或24)，所述裝置或區域可包括臨時存儲器、永久性存儲器和可移動存儲器。存儲在臨時存儲器中的數據在VPS10的電源斷開時會消失。臨時存儲器可包括隨機存取存儲器(RAM)等。存儲在永久存儲器中的數據在VPS10的電源斷開時仍然存在。永久存儲器可包括硬盤存儲器、光存儲器等。可移動存儲器可以方便地從VPS10中取出。可移動存儲器可包括軟盤或磁帶等。
視頻輸入裝置18是用于接收視頻信號和視頻信號中的視頻幀的一個或多個視頻輸入裝置(例如，天線、圓盤式衛星電視天線等)。用戶輸入裝置19是一個或多個用戶輸入裝置，其中可包括遙控器、鍵盤、鼠標等。輸出顯示器20包括顯示視頻幀中所包含內容(即一個或多個視頻幀)的任何顯示器，如電視顯示器、計算機監視器等。輸出顯示器20也許能夠顯示所有內容(視頻、音頻、文本等)或其中的部分內容(例如，僅限于視頻內容、僅限于音頻內容、僅限于文本內容等)。
圖1顯示的視頻源30是一個或多個視頻節目源。視頻源30是可由VPS10通過通信媒體或路徑25(如電視電纜線路)接收的視頻節目源。視頻源30可包括電視(TV)廣播系統、電視衛星系統、因特網網站、本地設備(如VHS磁帶播放器、DVD播放機)等。雖然本發明的實施例針對的是電視節目，但本發明的范圍包括可通過VPS10從視頻源30傳遞到用戶的任一視頻節目(即任一視頻幀的節目序列)。因此，視頻源30也可包括通過因特網廣播視頻節目的因特網網站，其中此類因特網廣播的節目可由VPS10通過技術上可行的任一通信媒體或路徑25(如電話線、電視電纜線路等)接收。
圖1也顯示了通過用戶輸入裝置19和輸出顯示器20與VPS10通信的用戶40。
在圖1中，視頻源幀(如電視節目)通過通信媒體或路徑25從視頻源30傳送到VPS10的視頻輸入裝置18。本發明的一個方面是從上述視頻源幀中抽取稱為關鍵幀的幀子集，如圖2所示。
圖2顯示了根據本發明的實施例的關鍵幀抽取。在圖2中，對視頻源幀44(表示為A1，A2，...，A12)進行處理以形成關鍵幀48(表示為B1、B2、B3)。關鍵幀48的構成在兩個方面少于所有視頻源幀44。第一方面是，只對視頻源幀44的初始部分45(即幀A1，A2，...，A6)進行抽取以生成關鍵幀48，而視頻源幀44的剩余部分46(即幀A7，A8，...，A12)不存在抽取的可能性。實際上，在幀A6的處理完成時，幀抽取方法或機制便已停止或禁止。第二方面是，B1、B2和B3的關鍵幀48是非連續地從視頻源幀44的初始部分45中抽取的。非連續抽取意味著并非抽取初始部分45的所有幀，即在形成關鍵幀48時，初始部分45中至少一幀沒被抽出。由于第二方面的原因，后續回放關鍵幀48所需要的時間少于初始部分45的實時播放時間。
關鍵幀48可以有利地用于下面的情況，其中電視用戶40(參見圖1)在電視節目初始部分已經播出后打開電視。如果在電視節目的初始部分45執行(即播放)時已實時生成了從電視節目的視頻源幀44的初始部分45抽取的關鍵幀48，則用戶隨后可瀏覽(如回放)關鍵幀48以決定是否觀看該電視節目的剩余部分46。由于關鍵幀48只是暫時使用，因此關鍵幀48可存儲在臨時存儲器(如RAM)中，并在該關鍵幀48不再需要(如已瀏覽了該關鍵幀48后)時便立即清除。這樣，關鍵幀48不代表VPS系統10的存儲容量上的主要負擔(參見圖1)。
回到圖1，且如上所述，視頻源幀通過通信媒體或路徑25從視頻源30傳送到VPS10的視頻輸入裝置18。隨著視頻源幀進入VPS系統10并由處理器12處理或控制，視頻源幀會由處理器12實時地進行所謂的“執行”。視頻源幀通過視頻路徑26傳遞到視頻處理裝置34，然后通過視頻路徑27進入存儲器結構。視頻處理裝置34執行從視頻源幀抽取關鍵幀所需的對視頻源幀進行的任何硬件處理。
關鍵幀的抽取是根據存儲器結構14中存儲的幀抽取算法32實現的。幀抽取算法32確定要抽取視頻源幀的哪些幀，并且其中可包括本領域的普通技術人員所知的任一幀抽取方法。基于內容的幀抽取算法的示例是美國專利6137544(2000年10月24日，Dimitrova等人)中公開的場景檢測關鍵幀方法，這里通過引用將該專利的全部內容結合到本文中。美國專利6137554公開了四種場景檢測關鍵幀方法，名為方法1(第5列，第27行-第6列，第31行)、方法2(第6列，第32行-第7列，第22行)、方法3(第7列，第23行-第8列，第18行)及方法4(第8列，第19行-第9列，第43行)。通常，幀抽取算法32可包括確定抽取視頻源幀中哪些幀的任一方法。也可使用獨立于內容的幀抽取方法，如僅抽取奇數幀(即編號為1、3、5...的幀)。幀抽取算法32可以是由處理器12執行的軟件包的一部分，并且可以存儲在存儲器結構14的RAM等中。或者，幀抽取算法32可編碼在硬件中，如編碼到只讀存儲器(ROM)芯片等上。注意，幀抽取算法32的具體情況決定是否需要視頻處理裝置34，因為幀抽取算法32可能不要求視頻源幀進行硬件處理，并可能只要求將視頻源幀從輸入裝置26傳遞到存儲器結構14。
在對視頻源幀進行實時動態執行時生成關鍵幀。動態抽取意味著在執行視頻源幀時的實時抽取。關鍵幀存儲在存儲器結構14中并可存儲在臨時存儲器(如RAM)、永久存儲器(如硬盤存儲器)或可移動存儲器(如軟盤或磁帶存儲器)中。將關鍵幀存儲在RAM中的優點是對RAM的數據訪問要快于對永久存儲器的數據訪問。此外，如果只是暫時使用關鍵幀，由此在它們生成后不久便將被清除，則無需存儲關鍵幀的永久存儲器。另外，永久存儲器可能變滿，這樣臨時存儲器是存儲附加數據唯一可用的存儲器。將關鍵幀存儲在永久存儲器的優點是由于處理器正在并行運行其它應用而其它應用具有密集的RAM要求，因此可能沒有足夠可用于存儲關鍵幀的RAM。此外，對于需要保留以備將來使用的那些關鍵幀，永久存儲器可使關鍵幀即使在VPS10電源斷開后也存在。將關鍵幀存儲在可移動存儲器中的優點是如果需要可方便存儲關鍵幀以備將來使用，而不會影響RAM、硬盤等存儲資源。
對于本發明的典型用法，關鍵幀抽取將在視頻源幀執行完畢前終止。例如，如果視頻源幀涉及60分鐘的電視節目，用戶40可能在該節目播放了15分鐘后打開電視，然后瀏覽關鍵幀以決定是否觀看電視節目剩余的45分鐘。由于瀏覽關鍵幀可能要一或二分鐘，因此留給用戶后續觀看該電視節目的時間將少于45分鐘，從而留下了時間差，以下將結合圖3的討論說明該時間差。
用戶40可采取措施終止關鍵幀抽取，如操作用戶輸入裝置19等。例如，如果用戶輸入裝置19是遙控裝置，則可以通過按壓遙控裝置上的按鈕觸發關鍵幀抽取的終止。或者，抽取算法32可包括在預定條件發生時終止關鍵幀抽取的功能。許多預定條件的示例可用于終止關鍵幀抽取。第一個示例包括從視頻源幀執行開始(例如，執行30分鐘電視節目的前5分鐘)的預定時段的執行。第二個示例包括執行視頻源幀的預定部分或百分比或數量(如分別為執行對應于30分鐘電視節目的前6分鐘的2000幀視頻源幀的0.20或20％或100幀)。上述示例說明的情況是用戶40預計無法觀看電視節目的初始部分，但能夠估計大約何時他或她將能夠打開電視觀看電視節目的剩余部分。VPS10也可包括由算法32在預定條件發生時使其發聲的鈴或蜂鳴器，從而提醒用戶40及時開始瀏覽關鍵幀。
關鍵幀抽取終止后，算法32可表明關鍵幀抽取在視頻源幀序列的何處終止(即關鍵幀抽取終止時抽取的視頻源幀的指示)。隨后，可以通過生成包括該指示的特殊關鍵幀等方法并將該特殊關鍵幀附在存儲器結構14中存在的已抽取關鍵幀上來記錄此指示(如視頻源幀編號的特定幀編號)。如果視頻源幀由VPS10記錄和保存，則記錄此指示使用戶40能夠確定視頻源幀未抽取的剩余部分的開始之處。用戶40的這個確定使其可在以后以有序組合方式觀看關鍵幀和視頻源幀的剩余部分。
出于用戶瀏覽的目的，已抽取關鍵幀可通過輸出顯示器20進行瀏覽，該顯示器可以是電視顯示器或計算機監視器等。“可瀏覽”指的是能夠具有可供瀏覽的已抽取關鍵幀的視頻、音頻和文本幀內容，或其中的部分(如僅限于視頻內容、僅限于音頻內容、僅限于文本內容等)。已抽取關鍵幀從存儲器結構14移動(例如復制)到輸出顯示器20。用戶40通過輸出顯示器20動態實時地瀏覽關鍵幀，并因此決定是否觀看電視節目的剩余部分，即在用戶40瀏覽完關鍵幀后進入VPS10的剩余視頻源幀。例如參見以上討論的圖2中視頻源幀44的剩余部分46。
在圖1中，如果用戶40不再使用關鍵幀，則可以清除關鍵幀。因此，用戶可諸如通過操作用戶輸入裝置19等激活對關鍵幀的清除。例如，如果用戶輸入裝置19是遙控裝置，則可以通過按壓遙控裝置上的按鈕觸發對關鍵幀的清除。或者，抽取算法32可包括在預定條件發生時清除關鍵幀的功能。許多預定條件的示例可用于清除關鍵幀。第一個示例包括在用戶40瀏覽了關鍵幀后經過預定時間量(例如瀏覽后的2分鐘)進行清除。第一個示例假定關鍵幀在瀏覽后無需保留，但仍允許用戶有時間緩沖(如2分鐘)，在此緩沖時間內決定返回并啟動第二次關鍵幀瀏覽。第二個示例包括完成視頻源幀的執行，假定用戶40無法確定在電視節目結束后他或她將不需要再次瀏覽關鍵幀。當然，用戶40可決定不清除關鍵幀，或者可決定保存關鍵幀以備將來使用。如果用戶40希望保存關鍵幀以備將來使用，并且如果關鍵幀存儲在臨時存儲器(如RAM)或永久存儲器(如硬盤存儲器)中，則用戶40可執行將關鍵幀復制到可移動存儲器(例如軟盤存儲器或磁帶)。臨時存儲器或永久存儲器中的關鍵幀在復制到可移動存儲器后可被清除。
圖3說明根據本發明的實施例，結合相關關鍵幀的抽取、存儲和清除執行視頻源幀的實時域。在圖3中，從時間t1到t2進行視頻源幀的執行的步驟50，其中，t1＜t2。從時間t1到tA進行從視頻源幀抽取關鍵幀的步驟52，其中，t1＜tA＜t2。因此，抽取關鍵幀52在視頻源幀的實時執行50期間動態(且如上所述非連續地)進行。可通過上述任一方法在時間tA終止抽取關鍵幀52。將已抽取關鍵幀存儲在存儲器結構14(見圖1)的步驟54與抽取關鍵幀的步驟52并行進行，即從時間t1到tA。用戶40瀏覽已抽取關鍵幀的步驟56(見圖1)可如圖3所示在tA或tA之后開始，并在時間tB結束，其中，tA＜tB＜t2。瀏覽了已抽取關鍵幀后，用戶40(見圖1)可選擇執行步驟58中的觀看從時間tW到時間t2的剩余視頻源幀，其中，tB＜tW＜t2。
上述時間順序留下了時間差51(從時間tA到時間tB)，在該時間差期間，視頻幀在執行但用戶40看不到，因為抽取步驟52在時間tA終止，而瀏覽步驟56在時間差51期間發生。此問題的解決方法是在時間tB而不是在時間tA終止抽取步驟52，這樣在抽取步驟52仍在執行時進行瀏覽步驟56，并且瀏覽步驟56因而早于抽取步驟52的終止而進行。此解決方法使用戶40(見圖1)瀏覽的關鍵幀包括了步驟58中觀看的那些視頻源幀前的所有視頻源幀。
本發明的優點在于已抽取關鍵幀一般在瀏覽后便不再需要并因此被清除，這釋放了已抽取關鍵幀占用的存儲器結構14中的空間(見圖1)。相應地，在瀏覽步驟56結束時或結束后不久，即在時間tE，其中tE＜tB，可啟動清除已抽取關鍵幀的步驟60。清除步驟60在時間tC終止。與本文所討論的其它時間標度(如抽取時段或瀏覽時段)相比，清除時段即tC-tE是很短的。在獨立應用中，用戶40(見圖1)可選擇保持已抽取幀以便在視頻源幀完全執行后使用。在此類獨立應用中，清除步驟60可在視頻源幀執行完成的時間t2之后執行。
雖然以上論述集中在對應于一個電視節目的一組視頻源幀，但本發明的范圍一般包括同時處理一組或多組這種視頻源幀。這種同步處理N個視頻源幀包括動態且非連續地抽取對應于N組視頻源幀中的每一組的關鍵幀組，其中N＞1。這種同步處理使用戶40(見圖1)能夠在有N個節目且每個節目已播放一部分的情況下決定觀看N個對應電視節目中的哪個節目。
雖然本文說明性地討論了本發明的特定實施例，許多修改和變化對本發明的技術人員都是顯而易見的。因此，所附權利要求書旨在包括在本發明的真實精神和范圍之內的所有此類修改和變化。
權利要求
1.一種處理視頻源幀(44)的方法，它包括提供視頻處理系統(VPS)(10)，該系統包括處理器(12)、存儲器結構(14)和視頻輸入裝置(18)，其特征在于，所述處理器(12)連接到所述存儲器結構(14)和所述視頻輸入裝置(18)；通過所述視頻輸入裝置(18)將視頻源幀(44)從視頻源(30)輸入到所述VPS(10)；由所述處理器(12)執行(50)所述視頻源幀(44)；在所述執行(50)期間，從所述視頻源幀(44)中動態且非連續地抽取(52)關鍵幀(48)，所述抽取(52)根據所述存儲器結構(14)中存儲的幀抽取算法(32)而實現并由所述處理器(12)執行；在所述存儲器結構(14)的第一存儲器中存儲(54)所述已抽取關鍵幀(48)；以及在所述視頻源幀(44)的所述執行(50)完成前終止抽取(52)關鍵幀(48)。
2.如權利要求1所述的方法，其特征在于，還包括在所述第一存儲器中記錄所述終止發生時執行(50)的視頻源幀(44)的指示。
3.如權利要求1所述的方法，其特征在于，由所述VPS(10)的用戶(40)的操作觸發所述終止。
4.如權利要求1所述的方法，其特征在于，所述終止在預定條件出現時發生。
5.如權利要求1所述的方法，還包括由所述VPS(10)的用戶(40)瀏覽(56)所述關鍵幀(48)，其特征在于，所述瀏覽(56)是通過連接到所述處理器(12)的輸出顯示器(20)進行的。
6.一種處理視頻幀(44)的系統，它包括視頻幀抽取算法(32)，在所述視頻源幀(44)的執行(50)期間，從所述視頻源幀(44)動態且非連續地抽取(52)關鍵幀(48)；處理器(12)，執行(50)所述視頻源幀(44)并執行所述視頻幀抽取算法(32)；視頻輸入裝置(18)，從視頻源(30)接收所述視頻源幀(44)的，其特征在于所述視頻輸入裝置(18)連接到所述處理器(12)；存儲器結構(14)，它連接到所述處理器(12)，其特征在于所述存儲器結構(14)存儲所述視頻幀抽取算法(32)，以及其中所述存儲器結構(14)的第一存儲器存儲(54)所述已抽取關鍵幀(48)；以及終止機制，在所述視頻源幀(44)的執行(50)完成前終止所述關鍵幀(48)的抽取(52)。
7.如權利要求6所述的系統(10)，其特征在于，還包括記錄機制，它在關鍵幀(48)的所述抽取(52)終止時，在所述第一存儲器中記錄執行(50)的視頻源幀(44)的指示。
8.如權利要求7所述的系統(10)，其特征在于，所述記錄機制將所述指示記錄在添加到所述已抽取關鍵幀(48)的特殊關鍵幀中。
9.如權利要求6所述的系統(10)，其特征在于，所述終止機制包括用戶控制裝置。
10.如權利要求6所述的系統(10)，其特征在于，所述終止機制在預定條件出現時終止所述抽取(52)。
11.如權利要求10所述的系統(10)，其特征在于，所述預定條件包括抽取(50)所述視頻源幀(44)的預定部分或百分比。
12.如權利要求10所述的系統(10)，其特征在于，所述預定條件包括抽取(50)預定數量的視頻源幀(44)。
13.如權利要求10所述的系統(10)，其特征在于，所述預定條件包括從所述視頻源幀(44)的所述執行(50)開始經過的預定時段。
14.如權利要求6所述的系統(10)，它還包括輸出顯示器(20)，用戶(40)可通過該顯示器瀏覽所述已抽取關鍵幀(48)，其特征在于，所述輸出顯示器(20)連接到所述處理器(12)。
15.如權利要求14所述的系統(10)，其特征在于，所述系統(10)允許在所述視頻源幀(44)的執行(50)完成前瀏覽(56)所述關鍵幀(48)。
16.如權利要求15所述的系統(10)，其特征在于，所述系統(10)允許在所述終止機制終止抽取(52)所述關鍵幀(48)之時或之后瀏覽(56)所述關鍵幀(48)。
17.如權利要求15所述的系統(10)，其特征在于，所述系統(10)允許在所述終止機制終止抽取(52)所述關鍵幀(48)之前瀏覽(56)所述關鍵幀(48)。
18.如權利要求14所述的系統(10)，其特征在于，所述系統(10)允許在所述視頻源幀(44)的執行(50)完成之時或之后瀏覽(56)所述關鍵幀(48)。
19.如權利要求14所述的系統(10)，其特征在于，還包括清除機制，該機制在所述用戶(40)瀏覽(56)完所述關鍵幀(48)之時或之后從所述第一存儲器清除(60)所述關鍵幀(48)。
20.如權利要求6所述的系統(10)，它還包括所述存儲器結構(14)的第二存儲器和傳送機制，其特征在于，所述傳送機制將所述關鍵幀(48)從所述第一存儲器傳送到所述第二存儲器，并且其中所述第二存儲器包括可移動存儲器。
21.如權利要求20所述的系統(10)，它還包括清除機制，所述清除機制在所述傳送機制完成所述關鍵幀(48)從所述第一存儲器到所述第二存儲器的傳送后，從所述第一存儲器清除(60)所述關鍵幀(48)。
全文摘要
利用視頻處理系統(VPS)(10)處理視頻源幀(44)(如電視電影)的動態方法和系統，視頻處理系統包括處理器(12)、存儲器結構(14)、輸入裝置(19)和輸出顯示器(20)。VPS(10)從視頻源(30)接收的視頻源幀(44)由處理器(12)執行。在執行(50)視頻源幀(44)時，從視頻源幀(44)抽取稱為關鍵幀(48)的幀子集(44)，并將其存儲(54)在存儲器結構(14)中。關鍵幀(48)的抽取(52)是根據幀抽取算法(32)而實現的。抽取(52)在視頻源幀(44)的執行(50)完成前終止。抽取(52)終止后，用戶(40)通過輸出顯示器(20)瀏覽(56)關鍵幀(48)，以確定是否觀看視頻源幀(44)的剩余部分。關鍵幀(48)在瀏覽(56)后清除(60)。
文檔編號H04N5/44GK1459188SQ02800615
公開日2003年11月26日 申請日期2002年2月20日 優先權日2001年3月13日
發明者S·古塔, K·庫拉帕蒂, A·科爾梅納雷茲 申請人:皇家菲利浦電子有限公司