專利名稱：搜索視頻信號的系統和方法
技術領域：
本發明涉及數字和模擬視頻數據處理領域。尤其涉及在視頻信號中查找 特定內容。
技術背景本部分旨在向讀者介紹與以下所描述和/或4是出專利權的本發明各方面 相關的諸方面技術。討論相關技術有助于向讀者提供背景信息，便于讀者更 好地了解本發明的方方面面。因此，就此發明而非作為對已有技術的承認對 以下陳述加以審閱。雖然視頻傳輸在半個世紀以前就已經發明了 ，但是視頻傳輸技術的最新 進展才能夠革命性地提高視頻(如電視、電影等)節目在大多數人生活中的 地位。尤其是，盡管視頻節目過去只能通過模擬無線傳輸或模擬錄像帶傳輸， 但如今視頻節目可以通過因特網、無線數字電視信號和/或數字存儲媒體(如DVD)等多種傳輸方式進行傳輸或重傳。合適的視頻傳輸技術的增加，促進 了普通消費者能觀看的視頻節目數量的增長。例如，盡管30年前，普通消費 者只能觀看五個電視頻道，如今的消費者卻能觀看來自于全世界的幾十個、 幾百個、甚至幾千個不同的視頻節目。進一步，數據存儲技術的進步已使視頻節目的存儲和/或存檔能力前所 未有。例如，為了觀看和/或以后觀看，數字錄傳4幾(DVR)可以臨時或永久 存儲視頻節目。通常，這些DVR能存儲數百小時的視頻節目。更甚的是， 這種技術的專業版和/或商業版能夠存儲數萬個小時或更長時間的視頻節目。雖然視頻信號傳輸和存儲技術進步顯著，但傳統系統仍然不能有效地在 已存儲的或新的視頻信號中搜索內容。視頻節目傳輸是目前未改為計算機輔 助搜索的少數幾種信息傳輸機制之一。例如，如果消費者想要在一個數字化 存儲的文檔和/或網頁找到一個特定的單詞或詞組，用戶只需執行相關文檔或 網頁的簡單文本搜索就行了。但是，搜索電視節目、電影或其它視頻信號， 以便找到某個特定單詞或詞組的語音，目前還沒有現成的技術。而傳統系統允許用戶搜索視頻節目(例如一個特定的電視節目)區，而不是在視頻節目 的一個或多個區里搜索一個特定的單詞或詞組等等。正因為如此，為了找到 特定的單詞或詞組，用戶必須觀看視頻節目，直到該單詞或詞組^皮-說出或者 在視頻信號中出現(通過快進、倒退等方式)、直到遇到所找單詞或詞組。這 種人工搜索的效率很低。因此，需要一種改進的搜索視頻信號的系統和方法。 發明內容下文所述是與公開的實施方式范圍相當的某些方面。陳述這些方面僅為 向讀者提供本發明可能采用的某些形式的簡要內容，且所陳述的這些方面并 非用于限制本發明的范圍。實際上，本發明可能包含未在下文陳述的^f艮多方 面。本文提供了一種搜索視頻信號內容的系統和方法。具體而言，在一種實施方式中提供了一種方法該方法包括接收包含文本數據和視頻數據的視 頻節目，所述文本數據與所述視頻數據相關聯，從所述視頻節目中提取文本 數據，確定被提取的文本數據的時間信息，為所述被提取的文本數據創建含 有所述被提取的文本數據和所述時間信息的索引文件。
本發明的有益效果可以通過閱讀以下詳細的描述及相關的附圖得以顯現圖l是依據本發明的一個實施例給出的視頻裝置方框圖；圖2是依據本發明的一個實施例給出的視頻搜索系統方框圖；圖3是依據本發明的一個實施例給出的流程圖，用于說明為視頻信號生成索引文件的技術；圖4是依據本發明的一個實施例給出的流程圖，用于說明查找^L頻信號索引文件的技術；圖5是依據本發明的一個實施例給出的一個瀏覽頁面圖解，所述瀏覽頁 面包含一部分實例文本數據和兩幅從視頻信號中提取的靜態實例圖像。
具體實施方式
為使本發明的目的、技術方案、及優點更加清楚明白，以下參照附圖并舉實施例，對本發明進一步詳細說明。下文對本發明的一個或多個具體實施方式
予以說明。為提供這些實施方 式的簡潔說明，在此并未將一個實際實施方式的所有特點全部給予描述。應 該認識到在任何這些實際實施方式的開發中，正如在任何工程或"i殳計項目中 一樣，為實現開發方的具體目標，就必須做出許多具體實施決定，如要符合 與系統相關和商業相關的約束(因實施方式不同而不同)，。而且，開發過程 可能復雜耗時，但盡管如此，對于那些具有實現本發明所需普通技術的人員 而言，這不過是一個設計、加工、制造的例行工作。圖l是依據本發明的一個實施例,出的視頻裝置方框圖，以參考標號10總體標示。視頻裝置IO可包括使用等離子顯示、數字光學投影電視(DLP)、 硅基液晶(LCOS)、投影系統或類似技術的電視才幾。在各種實施方式中，教L 頻裝置IO可用于顯示模擬和數字視頻信號，包括高清晰電視(HDTV)信號。視頻裝置IO可包括調諧器12，所述調諧器12用于接收電視信號，如先 進電視制式委員會(ATSC)無線信號等。調諧器12可用于接收^L頻信號從 所接收的視頻信號形成視頻傳輸流。例如，在一種實施方式中，調諧器12 用于生成MPEG傳輸流。在替代實施方式中，調諧器12可用于接收和產生 其它合適類型或形式的視頻信號，所述視頻信號可包括但不限于Quicklime 視頻、MP4視頻等等。而且，在視頻裝置IO的替代實施方式中，調諧器12 可被替換，或與其它合適的視頻信號源，如DVD播放機、數字錄像機(DVR )、 計算機、無線接收機等一起工作。如上所述，在一種實施方式中，調諧器12可產生可傳送給傳輸流解復用 器14的視頻傳輸流。傳輸流解復用器14可將視頻傳輸流分離成#見頻數據、 音頻數據和用戶數據。視頻數據可包括視頻節目本身，音頻數據可包括伴隨 視頻的音頻。用戶數據可能包括說明數據、字幕數據和/或其它支持視頻節目 的數據。傳輸流多路分配器14將視頻數據、音頻數據和用戶數據傳送到分組緩沖 器16。然后，視頻解碼器18從分組緩沖器16讀取視頻數據和用戶數據。在 一種實施方式中，；現頻解碼器18可包括MPEG^L頻解碼器18。浮見頻解碼器18可將視頻數據解碼為視頻節目，并為在主顯示器26上潛在的顯示將視頻 節目傳送至顯示處理器24。另外，視頻解碼器18可用于將用戶數據傳輸至視頻搜索系統20。視頻 搜索系統20可在視頻裝置10內完成多個功能。首先，視頻搜索系統20可處 理伴隨所傳視頻節目的任何文本。例如，視頻搜索系統20可用于處理說明數 據、圖文電視數據、字幕數據和/或其它適當形式的伴隨文本。在圖l所示實 施方式中，伴隨文本可以包含在用戶數據中。但在替代實施方式中，視頻搜 索系統20可接收來自視頻裝置10內另 一適當來源的伴隨文本。視頻搜索系統20還可用于使伴隨文本和視頻節目同步，并把所述文本以 圖形的形式傳輸到所述顯示處理器24,以便所述文本與視頻節目 一起在主顯 示器26上顯示。而且，視頻搜索系統20還可用于生成索引文件，該索引文 件包含伴隨文本和時間信息(如時間戳)，時間信息可指示與伴隨文本各部分 相應的一見頻節目部分。另外，視頻搜索系統20能夠通過用戶輸入設備22在索引文件中查找， 用戶輸入設備包括鍵盤、鼠標、輸入板、網絡計算機系統、遙控器等等。而 且，在一種實施方式中，如在圖2-4中更為詳細的描述，可從視頻存儲系統 28中獲取通過索引文件成功搜索出的視頻節目(若適用則連同伴隨音頻)并 顯示在主顯示器上。換言之，包含搜索條目的文本連同來自相應視頻的靜態 畫面可被顯示為瀏覽"頁面"或其它合適的圖形顯示。在其它一些實施方式 中，視頻裝置IO可以綜合利用這些顯示技術。如圖l所示，視頻解碼器18、視頻搜索系統20、視頻存儲系統28均可 與顯示處理器24耦合。顯示處理器24可用于調節來自這些設備的信號，以 便在主顯示器26上顯示。例如，所述顯示處理器可將視頻搜索系統20提供 的說明數據疊加到視頻解碼器18提供的視頻節目上。另外，顯示處理器24 可用于顯示圖形化的用戶界面，以便于在索引文件中搜索和/或顯示搜索結 果。圖2是依據本發明的一個實施例給出的視頻搜索系統20的方框圖，如上 所述，視頻搜索系統20可用于接收伴隨視頻節目的文本數據，并將其傳遞給顯示處理器24,使之與視頻信號一起顯示。另外，視頻搜索系統20可用于 創建伴隨視頻節目的可搜索文本索引、可用于在索引文件中進行搜索、和/ 或用于顯示搜索結果。在一種實施方式中，視頻搜索系統20可包括用于數字 電視或DVR的標準隱蔽式字幕系統的改進版。現在說明圖2所示的視頻搜索系統20的實施部件。為l更于說明，將對圖 2和圖3 (是用于說明一種為視頻信號生成索引文件的技術40的技術實例流 程圖)一起描述。但在替代實施方式中，技術40可由合適型號的視頻裝置執 行，所述視頻裝置用于接收包括伴隨或嵌入式文本的視頻信號。如圖3中方框42所示，技術40以接收用戶凄t據(如文本數據)及視頻 搜索系統20在數據重排器30處接收的圖像和/或時間信息開始。在一種實施 方式中，圖像和時間信息包括來自序列解碼器、圖像組(GOP)標題和/或單 個圖像標題的信息。如圖3中方框42所示，數據重排器30可將用戶數據重 新排序，以補償用戶數據的任何部分，所述用戶數據的部分可能在視頻信號 傳輸至視頻裝置IO期間因為錯誤而產生混亂，如方框42所示。在各種實施 例中，數據重排器30可使用圖像參考代碼、圖像類型或其它合適的屬性，以 便于實現該功能。一旦用戶數據被重新排序，經過排序的用戶數據(如說明數據)將被傳 輸到數據分析器32。數據分析器32可接收經過排序的用戶數據，并才艮據用 戶數據的格式提取/處理測試數據，如方框46所示。 一旦提取和/或處理完畢， 數據分析器32會將文本數據傳輸至用以顯示文本數據的繪圖庫36 (圖3中 未示)。例如，在一種實施方式中，文本數據可包含控制數據，所述控制數據 指示哪些文本區應在主顯示器26上一起顯示。在這樣一種實施方式中，數據 分析器32可在將文本傳輸至繪圖庫36前將所述文本分為大小合適的文本區。如上所述，數據分析器32用于處理基于文本凝:據才各式的用戶數據。例如， 數據分析器32可處理基于ATSC標準的ATSC 53數據，基于SCTE 21標準 的SCTE21數據，基于圖文電視標準的圖文電視數據，基于適用的DVD標 準且來自錄傳J 某介(如DVD)的嵌入文本等等。在一個實施例中，lt據分析 器32可使用嵌于EIA 708數字數據分析器的EIA 608模擬分析器。數據分析器32還可用于將文本數據傳輸至文本存儲和搜索系統34。文 本存儲和搜索系統34可用于接收文本數據，然后將所述文本數據逐條存儲在 索引文件中。在一個實施例中，文本存儲和搜索系統34可用于根據數據分析 器32創建的文本區接收并逐條存儲文本數據。換言之，在某個幀持續時間內 出現在屏幕上的所有單詞將被存儲在索引文件的一個條目中，在其它時間段 內出現的單詞將被存儲在索引文件的另一個條目中，等等。例如，如果詞組 "WILL NOW INVESTIGATE"先顯示，然后顯示"INAPPROPRAITE CONDUCT AT A"，再顯示"FACILITY THAT IS SUPPOSED TO",第一個詞 組將保存在第一個條目中，第二個詞組將保存在第二個條目中，等等以此類 推。以這種"屏幕大小，，的條目保存文本數據能夠更優地實現相對準確地識 別包含所需內容的視頻節目片段。例如，有一個實施例中，文本存儲和搜索 系統34限制條目的長度不超過20個單詞。在另 一個實施例中，根據嵌入到伴隨文本內的命令確定索引文件中條目 的長度。例如，通過在詞組間嵌入回車或其它控制注釋，預先將伴隨文本分 割成詞組(如部分隱蔽式字幕文本的句子)。在這樣一種實施方式中，索引文 件中的每個條目均包含兩個嵌入的回車之間的文本。但是，在其它替代實施的適合技術確定這些文本條目的位置。然而，如上所描述，文本存儲和搜索系統34可用于創建包括同時包含文 本數據塊和時間信息(如時間戳)的條目的索引文件。這些時間信息對應于 視頻節目中與該條目內文本數據相關的時間。在一種實施方式中，上述數據 重排器30也可用于確定時間信息，如方框48所示。在一種實施方式中，時 間信息包含從視頻節目的開始進行計算的時間長度(以小時、分鐘、秒為單 位)，后跟一些時間參考編號，所述時間參考編號表示來自于顯示序列中的最 后一個GOP的幀數。但在替代實施方式中可使用其它適當的時間信息格式。數據重排器30可用于確定來自不同定時來源的時間信息。例如，在一個 實施例中，數據重排器30可利用視頻裝置10的系統時間來產生時間信息。 然而，在另一個實施例中，重排的數據可用于從用戶數據中提取時間信息。例如，時間參考編號可從圖像標題提取，時間代碼可從MPEG2視頻標準的圖像組標題中提取。正如本技術領域內的普通人員所知，在圖像組標題中的時間代碼包含一個25位的字段，所述字段來表示小時、分鐘、秒鐘和圖像數。 在另一種實施方式中，時間信息可用MPEG2序列標題中的幀速率代碼來計算。如上所描述， 一旦數據重排器30確定了某條特定條目的文本數據的信 息，時間信息即被傳輸至文本存儲和搜索系統34,并在此與相關的文本詞組 匹配并創建或更新索引文件，如方框50所示。在一個實施例中，文本存儲和 :後索系統34生成的索引文件包含一個XML文件。例如，與以上所述詞組例 相應的XML可讀取如下< xml version二，1.0' encoding ='UTF-8，？><clip = ，13-1 News，><transcript=，WILL NOW INVESTIGATE' time=,0:0:0:227> <transcript=，INAPPROPRIATE CONDUCT AT' time=，0:0:1:19，/> <transcript=FACILITYTHAT IS SUPPOSED TO' time=,0:0:2:197> </clip>這種XML文件格式僅為索引文件可利用的一種格式，并非具有唯一性。 索引文件一旦生成，即可用于在伴隨文本中搜索內容。由于伴隨文本直 接(隱蔽式字幕、圖文電視、字幕等)或間接(其它類型的嵌入文本)地與 視頻內容相對應，所以該功能可使用戶在視頻節目搜索內容。因此，圖4為 依據一種實施方式給出的說明用于在索引文件進行搜索的技術60的實例流程圖。技術60可由文本存儲和搜索系統34、視頻裝置10的另 一個合適部件、 或與視頻裝置IO耦合的外部裝置執行。如圖4中方框62所示，技術60以文本存儲和搜索系統34接收4叟索請求 開始。搜索請求中的搜索條目可以是一個單詞或詞組。從用戶輸入設備22 或其它合適的來源(如計算機)處接收所述搜索請求。然后文本存儲和搜索 系統34在索引文件里搜索所述搜索請求中所含單詞或詞組，如方框64所示。 多種適用的搜索技術中的任何一種(如本技術領域內的普通人員所知)均可用于在索引文件中搜索所述搜索條目。接下來，文本存儲和搜索系統34在索引文件中識別與搜索條目匹配的內容，如方框66所示。然后，文本存儲和搜索系統34在主顯示器26顯示搜索 結果，如方框68所示。如果在索引文件中找到多個匹配項，文本存卡者和4叟索 系統34會在主顯示器26上列出所有的匹配項，讓用戶選擇將哪一個匹配項 顯示在主顯示器26上，如下所示。文本存儲和搜索系統34可利用多種不同的技術來在主顯示器26上顯示 搜索結果。在一種實施方式中，文本存儲和搜索系統34訪問視頻存儲系統 28，命令視頻存儲系統28顯示與搜索結果相對應的視頻節目。例如，文本存 儲和搜索系統34可命令視頻存儲系統按搜索結果中所含時間或在此之前三 十秒等等開始顯示視頻節目。在另 一個實施例中，文本存儲和搜索系統34可用于檢索與視頻存儲系統 28搜索結果相應的視頻節目(或靜態圖像)，并創建包含所述視頻/圖像及與 所述搜索結果相關的文本的瀏覽"頁面"(如所述文本是文本數據中圍繞所述 搜索條目文本)。在一個實施例中，瀏覽頁面是一個XML網頁。例如，圖5 是實例瀏覽頁面70的圖解，圖5包含相關的文本凝:據72的實例片<^殳和兩張 依據一個實施方式從視頻信號中提取的靜態圖像74a和74b。作為搜索條目 "車禍"的搜索結果，瀏覽頁面70由文本存儲和搜索系統34創建。在其它索的結果。視頻裝置IO可提高在視頻節目中搜索內容的效率。具體而言，視頻裝置 10使得對視頻節目的搜索與對傳統文本文檔(如網頁)的搜索一樣的有效。 有利的是，這種可搜索性使以前只用于文本文檔的訪問和分類方法也可以用 于視頻節目。盡管本發明允許有各種修改和替代形式，但具體實施方式
已通過實例示 于簡圖內并將在此進行詳細說明。然而，可以理解的是本發明并不限制于這 些公開的具體形式。相反，本發明涵蓋所有符合按所述權利要求定義的本發 明的精神和范圍的所有修改、等同物和替代物。
權利要求
1.一種方法，包括接收包含文本數據和視頻數據的視頻節目，所述文本數據與所述視頻數據相關聯；從所述視頻節目中提取文本數據；確定被提取的文本數據的時間信息；為所述被提取的文本數據生成含有所述被提取的文本數據和所述時間信息的索引文件。
2. 根據專利權項1中所述的方法，包括 在所述索引文件中查找搜索條目； 顯示與所述搜索條目相關聯的視頻節目。
3. 根據專利權項2中所述的方法，所述顯示視頻節目包括顯示瀏覽頁面， 所述瀏覽頁面包括所述視頻節目和所述文本數據，所述文本數據圍繞所述搜 索條目。
4. 根據專利權項1中所述的方法，所述提取包括從所述視頻節目中提取 說明數據。
5. 根據專利權項1中所述的方法，所述提取包括從所述視頻節目中提取 圖文電視數據。
6. 根據專利權項1中所述的方法，所述提取包括從所述視頻節目中提取 字幕數據。
7. 根據專利權項1中所述的方法，所述接收包括接收數字電視信號。
8. 根據專利權項1中所述的方法，所述接收包括從數字存儲媒介接收視 頻節目。
9. 根據專利權項1中所述的方法，所述確定包括根據視頻信號中的時間 信息生成時間戳。
10. 根據專利權項1中所述的方法，所述生成包括生成索引文件，所述索 引文件的每條項目包含不超過20個單詞的文本數據。
11. 一種視頻裝置(10)，包括 視頻搜索系統(20),用于接收包含文本數據和視頻數據的視頻節目，所述文本數據與所述視頻數據相關聯；從所述視頻節目中提取所述文本數據； 確定被提取的文本數據的時間信息；為所述纟皮提取的文本數據生成含有所述被提取的文本數據和所述時間信 息的索引文件。
12. 根據專利權項11中所述的視頻裝置(10),其中視頻搜索系統(20) 用于在所述索引文件中查找搜索條目； 顯示與所述搜索條目相關聯的視頻節目。
13. 根據專利權項12中所述的視頻裝置(10),包括視頻存儲系統(28), 所述視頻搜索系統(20)用于顯示存儲在所述視頻存儲系統的視頻節目。
14. 根據專利權項12中所述的視頻裝置(10),包括調諧器(12),所述 視頻搜索系統(20)用于從所述調諧器(12)接收視頻節目。
15. 根據專利權項12中所述的視頻裝置(10),包括用于輸入所述搜索條 目的用戶輸入設備(22)。
16. 根據專利權項12中所述的視頻裝置(10)，所述視頻搜索系統(20) 包括隱蔽式字幕系統。
17. —種視頻裝置(10),包括接收包含文本數據和視頻數據的視頻節目的方法，所述文本數據與所述 視頻數據相關聯；從所述視頻節目中提取所述文本數據的方法； 確定祐j是取的文本數據的時間信息的方法；為所述被提取的文本數據創建含有所述被提供的文本數據和所述時間信 息的索引文件的方法。
18. 根據專利權項17中所述的視頻裝置(10)，包括 在所述索引文件中查找搜索條目的方法； 顯示與所述搜索條目相關聯的視頻節目的方法。
19. 根據專利權項17中所述的視頻裝置(10),包括顯示瀏覽頁面的方法， 所述瀏覽頁面包括所述視頻節目和所述文本數據，所述文本數據包括所述搜索條目。
20.專利權項17中的視頻裝置(10 ),所述提取的方法包括從視頻節目中 提取說明數據的方法。
全文摘要
本發明提供了一種搜索視頻信號的系統和方法。具體而言，在一個實施方式里提供了一種方法，包括接收包含文本數據和視頻數據的視頻節目，其中文本數據與視頻數據相關聯，從視頻節目中抽取文本數據，確定所抽取的文本數據的時間信息，并為所抽取的文本數據創建包含文本數據和時間信息的索引文件。
文檔編號H04N5/445GK101336545SQ200680052287
公開日2008年12月31日 申請日期2006年3月15日 優先權日2006年3月15日
發明者李正換 申請人:深圳Tcl新技術有限公司