專利名稱：特征向量生成裝置，搜索裝置，特征向量生成方法和搜索方法
技術領域：
本發明涉及一種用于生成用于標識內容的數據的數據生成方法，用于，以及一種使用此方法的搜索裝置。
背景技術：
存在一種傳統方法，它使用分配給內容的ID來搜索內容。在這種方法中，如果期望的內容是廣播內容，則通過使用廣播日期或廣播電臺作為關鍵字來搜索該內容。
此外，公開了一種方法，其中每個觀眾都參與在社區中，社區對應于各自的內容段，并且每個社區都根據他們所欣賞的內容來確定(例如見日本專利申請特許公開No.2001-148841)。更具體來說，每個社區都根據對應于內容的日期和頻道來確定。
使用嵌入在內容中的同步數據來利用對話屏幕同步內容的一種技術也被公開(例如見日本專利申請特許公開No.2001-298431)。
但是，一些廣播內容段不具有內容ID，而且相同的內容完全可以在不同的廣播時間并由不同局部地區之間的不同廣播電臺來廣播。因此，使用傳統的方法來標識內容有時候很困難。
如上所述，基于內容的廣播電臺或日期/時間，內容有時候是不能被檢測到的，因為在局部地區之間或者當內容被重播時，廣播日期/時間和頻道可以完全不同。
發明內容
根據本發明的第一方面，提供一種特征向量生成裝置，包括輸入單元，用于輸入包括視頻數據和音頻數據中的至少一個的內容數據；生成單元，用于基于指示內容數據的特征狀態出現的時刻的信息來生成特征向量，特征狀態以視頻數據和音頻數據中的至少一個發生改變為表征；以及存儲單元，用于存儲內容數據和特征向量。
根據本發明的第二方面，提供一種搜索裝置，包括存儲單元，用于與內容數據和內容數據的元數據(meta data)中的至少一個相關聯地存儲每個特征向量，內容數據包括視頻數據和音頻數據中的至少一個，特征向量是基于指示內容數據的特征狀態分別出現的時刻的信息而生成的，特征狀態分別以視頻數據和音頻數據中的至少一個發生改變為表征；可變部分檢測單元，用于檢測第一內容數據中的可變部分，其中第一內容數據包括視頻數據和音頻數據中的至少一個；生成單元，用于基于指示第二內容數據的特征狀態出現的時刻的信息來生成第一特征向量，第二內容數據通過從第一內容數據中去除可變部分來獲得；以及搜索單元，用于在存儲在存儲單元中的特征向量中搜索與第一特征向量相似的特征向量。
根據本發明的第三方面，提供一種搜索裝置，包括存儲單元，用于與內容數據的元數據相關聯地存儲每個特征向量，內容數據包括視頻數據和音頻數據中的至少一個，特征向量是基于指示內容數據的特征狀態分別出現的時刻的信息而生成的，特征狀態分別以視頻數據和音頻數據中的至少一個發生改變為表征；接收單元，用于接收包括第一特征向量作為搜索條件的搜索請求，第一特征向量是基于指示第一內容數據的特征狀態分別出現的時刻的信息而生成的；搜索單元，用于在存儲在存儲單元中的特征向量中搜索與第一特征向量相似的特征向量；以及傳輸單元，用于向搜索請求的請求者發送搜索結果，其中搜索結果包括搜索單元所檢測到的特征向量的元數據。
根據本發明的第四方面，提供一種搜索裝置，包括存儲單元，用于與對應于內容數據的元數據和電子節目指南(EPG)信息相關聯地存儲每個特征向量，內容數據包括視頻數據和音頻數據中的至少一個，特征向量是基于指示內容數據的特征狀態分別出現的時刻的信息而生成的，特征狀態分別以視頻數據和音頻數據中的至少一個發生改變為表征；接收單元，用于接收搜索請求，其中搜索請求包括第一特征向量作為搜索條件，或者包括第一特征向量和第一內容數據的第一EPG信息作為搜索條件，其中第一內容數據包括視頻數據和音頻數據中的至少一個，第一特征向量是基于指示第一內容數據的特征狀態分別出現的時刻的信息而生成的；搜索單元，用于如果搜索請求包括第一EPG信息，則在EPG信息中搜索與第一EPG信息相同的EPG信息，如果與第一EPG信息相同的EPG信息未被檢測到或者如果第一EPG信息未被包括在搜索請求中，則搜索單元在特征向量中搜索與第一特征向量相似的特征向量；以及傳輸單元，用于向搜索請求的請求者發送搜索結果，其中搜索結果包括與和第一EPG信息相同的EPG信息相關的、并且被搜索單元檢測到的元數據，或者包括與和第一特征向量相似的特征向量相關的、并且被搜索單元檢測到的元數據。
根據本發明的第五方面，提供一種特征向量生成方法，用于基于指示內容數據的特征狀態分別出現的時刻的信息來生成特征向量，特征狀態分別以視頻數據和音頻數據中的至少一個發生改變為表征。
根據本發明的第六方面，提供一種搜索方法，包括準備存儲單元，其中存儲單元用于與內容數據和內容數據的元數據中的至少一個相關聯地存儲每個特征向量，內容數據包括視頻數據和音頻數據中的至少一個，特征向量是基于指示內容數據的特征狀態分別出現的時刻的信息而生成的，特征狀態分別以視頻數據和音頻數據中的至少一個發生改變為表征；檢測第一內容數據中的可變部分，其中第一內容數據包括視頻數據和音頻數據中的至少一個；基于指示第二內容數據的特征狀態出現的時刻的信息來生成第一特征向量，其中第二內容數據通過從第一內容數據中去除可變部分來獲得；以及在存儲在存儲單元中的特征向量中搜索與第一特征向量相似的特征向量。
附圖簡述
圖1是舉例說明根據本發明第一實施例的特征向量生成裝置的構造示例的框圖；圖2是有助于解釋圖1的特征向量生成裝置的操作的流程圖；圖3是舉例說明根據本發明第二實施例的搜索系統的構造示例的框圖；圖4是舉例說明存儲在特征向量存儲單元中的數據示例的視圖；
圖5是舉例說明根據第三實施例的搜索系統的構造示例的框圖；圖6是舉例說明元數據的顯示示例的視圖；圖7是舉例說明存儲在特征向量存儲單元中的記錄數據示例的視圖；圖8是舉例說明BBS表的示例的視圖；圖9是舉例說明根據第四實施例的搜索系統的構造示例的框圖；圖10是舉例說明用于編輯內容的元數據的示例的視圖；圖11是舉例說明根據第五實施例的搜索系統的構造示例的框圖；圖12是舉例說明存儲在特征向量存儲單元中的另一記錄數據示例的視圖；圖13是舉例說明圖11的搜索系統中搜索元數據的操作的流程圖；以及圖14是舉例說明檢測到的元數據的顯示示例的視圖。
具體實施例方式
本發明的實施例將參考附圖來進行描述。
本發明的實施例專注于用于生成數據的方法和裝置，其中數據不需要比如廣播電臺或廣播日期這樣的附屬于內容的信息就能標識任何內容。而且，這些實施例專注于用于容易地使用所生成的標識數據來搜索內容或內容的元數據的方法和裝置。
在本發明的實施例中，任何內容都能被標識，而不需要比如廣播電臺或廣播日期這樣的附屬于內容的信息。
將給出對輸入內容數據(下文中簡稱做“內容”)的唯一特征和搜索系統的描述，其中搜索系統用于生成用來標識內容的特征向量并且使用該特征向量來搜索內容或對應于內容的元數據。
在此描述中，每個內容段都是時間序列數據，包括比如靜止圖像或運動圖像這樣的圖像數據(視頻數據)，以及音頻數據。上述特征向量是基于信息而生成的，其中所述信息例如指示內容的圖像或音頻數據中的特征狀態(視頻變化或音頻變化；舉例來說，畫面改變、靜區(silent zone)、或聲音電平不低于預定電平的狀態)出現的時刻。
首先，將給出根據第一實施例的并且被后面所述的搜索系統包含的特征向量生成裝置的描述。
(第一實施例)圖1是舉例說明第一實施例的特征向量生成裝置的構造示例的框圖。如圖所示，該裝置包括用于接收內容的內容輸入部分1，和用于檢測輸入內容中的可變部分的可變部分檢測單元2。該裝置還包括用于檢測通過去除內容中的可變部分獲得的不可變部分中的特征向量的特征向量計算單元3，以及用于存儲由特征向量計算單元3所計算出的特征向量的特征向量存儲單元4。
圖2是有助于解釋圖1的特征向量生成裝置的操作的流程圖。將參考圖2來描述圖1中的每個單元。
首先，內容被輸入到內容輸入單元1(步驟S1)。內容可以是，例如，市場上可購買到的錄制的廣播內容或DVD內容。
可變部分檢測單元2將檢測通過內容輸入單元1向裝置輸入的內容中的一個可變部分(或一些可變部分)(步驟S2)。可變部分指替換或省略出現的那些部分，例如，可以是CM(商業消息)部分。例如使用以下這些方法來檢測CM部分(1)執行剪接檢測。如果在15秒(或30秒)的單元內檢測到剪接，則該部分就被確定為CM部分。(2)利用CM之前以及之后會有一個靜區的事實。如果在15秒(或30秒)的單元內檢測到這樣一個靜區，則該區段被確定為CM部分。(3)如果立體廣播部分被包括在單聲道節目內容中，則這部分被確定為CM部分。(4)存儲對應于CM的圖像圖案(pattern)。如果有一個部分與這些圖像圖案中的一個相匹配，則這部分被確定為CM部分。(5)如日本專利申請特許公開No.2003-257160中所公開的，利用電視信號的音頻模式、視頻信號電平圖案和音頻信號電平圖案來檢測CM部分。此方法用于檢測包括在例如雙語程序內容中的CM部分。
可變部分檢測單元2利用上述方法中的一種或其組合來檢測輸入內容中的一個CM部分(或一些CM部分)。
在上述方法(4)中，可以使用例如上述方法(5)來存儲CM圖像圖案。在這種情況下，當使用音頻模式中的不同檢測到一個CM部分時，該CM部分的圖像圖案就被存儲。如果檢測到與該圖像圖案相同的圖像，就被確定為CM。CM圖像圖案也可以使用上述方法(3)來存儲。在這種情況下，如果立體廣播部分被包括在單聲道節目內容中，則這部分就被確定為CM部分，并且其圖像圖案被存儲。需要注意的是不需要一直存儲圖像圖案，以規律的間隔來存儲圖案就足夠了，例如以5秒為間隔。而且，最好是減小數據量，例如通過減小所存儲的每個圖像的圖像尺寸或將彩色圖像轉換成單色圖像。每個存儲的圖像圖案通過一個亮度值序列來表示。這些值通過一個向量來表示，并且此向量用于與內容做比較，以檢測CM部分。
而且，可變部分檢測單元2還將節目內容的開始和結束部分確定為可變部分，在節目內容的開始和結束部分中，開始和結束主題曲被演唱。可變部分檢測單元2可以將以規律的間隔(例如每周或每天)上產生相同特征向量的部分確定為可變部分。
如上所述(步驟S3)，如果在內容中，一個可變部分(或一些可變部分)被檢測到，程序將進行到步驟S4，其中(多個)可變部分被從內容中去除。
可變部分主要是CM部分，但也可以是一些其他種類的部分，例如上面所提到的主題曲部分或是那些某一特征向量被周期性產生的部分。當生成特征向量時，可以選擇將要被去除的可變部分。例如，CM部分可以照其原樣留下，而只有構成內容的開始和結束部分的主題曲部分被去除。這對于旨在搜索CM部分的情況非常合適。
在步驟S4將可變部分從輸入內容中去除之后，程序將進行到步驟S5，其中為了生成特征向量，特征向量計算單元3將首先在檢測內容中的特征時刻，該內容具有通過從其之中去除(多個)可變部分而獲得的其(多個)不可變部分。特征時刻是，例如，內容中畫面改變發生的時刻、靜區出現(舉例來說，靜區的起始點)的時刻以及聲音電平超出預定電平的時刻。每個特征時刻可以被設置為以上三種狀態(也就是，畫面改變的出現、靜區的出現以及聲音電平超過預定電平的狀態)中的至少兩種同時出現的時刻，或被設置為三種狀態中的一種出現的時刻。
畫面改變出現的時刻實際上就是內容中出現大的變化的時刻，也就是，整個圖像明顯發生改變。要檢測畫面改變，就要檢測整個圖像明顯改變的時刻。畫面改變也能通過一種公知技術來檢測，比如利用MPEG運動向量的技術。
關于靜區，聲音電平低于預定閾值的區段被確定為靜區。在這種情況下，檢測靜區開始的時刻作為特征時刻。
內容中的每個特征時刻被檢測到之后，程序將進行步驟S6，其中所述內容具有通過從其之中去除(多個)可變部分而獲得的其(多個)不可變部分，在此步驟中特征向量計算單元3將基于檢測到的特征時刻來產生特征向量。具體來說，特征向量計算單元3使用檢測到的特征時刻的數量和從不帶有可變部分的內容的開頭開始到每個特征時刻的時段來生成特征向量。在此實施例中，由特征時刻來劃分內容所獲得的區段被稱為片段。特征向量是指示按順序排列的片段的各自的時間長度的數值序列。序列中所包括的數值的數量等于指示內容的特征的特征時刻的數量，比如內容中包括的畫面變化的數量以及靜區的數量。
例如，如果在某內容中，特征時刻在內容開始之后的5秒、8秒和16秒被檢測到，那么片段的時間長度就是“5”、“3”和“8”，而且被用作特征向量的組成部分。
如果片段的時間長度相當短，例如，如果特征時刻以小于1秒的間隔出現，那么片段的時間長度可以用秒的單位來表示。例如，當特征時刻是在內容開始之后的0.2秒、1.8秒、2.2秒、3.5秒，假如片段的時間長度以1/10秒的單位來表示，那么片段的時間長度將分別是0.2秒、1.6秒、0.4秒和1.3秒。但是，如果這些時間長度僅用整數部分來表示(然而，如果時間長度小于1秒，將被四舍五入為整數)，那么片段的時間長度就分別是1秒、1秒、1秒和1秒。
在本實施例中，特征向量由指示按順序排列的片段的時間長度的數值序列構成，但本實施例并不限于此。作為選擇，特征向量可以由指示從內容(具有通過從其之中去除(多個)可變部分而獲得的其(多個)不可變部分)的開始到各自的特征時刻的時段的數值序列構成。也就是說，如果特征時刻在內容開始之后的5秒、8秒和16秒被檢測到，那么“5”、“8”和“16”可以被用作特征向量的組成部分。
如上所述，每個特征向量指示內容的特征，比如畫面的改變或靜區的出現圖案。
除生成特征向量外，特征向量計算單元3可以在每個檢測到的特征時刻從內容中提取特征信息，比如圖像(優選地是具有比實際圖像低的分辨率的圖像)和包括聲音電平數據的音頻數據。
在步驟S7，步驟S6所生成的特征向量和內容輸入單元1所接收到的內容被存儲在特征向量存儲單元4中。當特征向量計算單元3在每個特征時刻從內容中提取特征信息時，除生成特征向量外，每個特征時刻上的特征信息被與對應的特征向量中的數值(指示所述每個特征時刻)相關聯地存儲在特征向量存儲單元4中。
在以上描述中，特征向量計算單元3從內容來計算特征向量，其中所述內容具有通過從其之中去除(多個)可變部分而獲得的其(多個)不可變部分。但是，通過從內容計算出特征向量并且將該特征向量連同位置(時刻)信息一起存儲在存儲單元4中，能獲得同樣的好處，其中所述內容包括一個可變部分(或一些可變部分)，位置(時刻)信息指示包括在內容中的每個可變部分出現的位置(時刻)并且被用于去除每個可變部分。
在上述方式中，每個被用作內容標識符的特征向量都是從廣播內容或DVD內容計算出的。
該實施例所使用的特征向量的表征是其不包括可變部分，也就是CM部分，而且指示內容的特征，比如畫面變化和靜區的出現圖案。這意味著特征向量不受諸如廣播日期和廣播電臺這樣的附屬于內容的信息的影響，并且特征向量只與內容本身相關。換句話說，即使在不同的日期和/或由不同局部地區之間的不同廣播電臺廣播相同的內容，或者即使內容被重播時在相同的內容中插入了不同的CM，都能獲得相同的特征向量。
(第二實施例)
圖3顯示了根據本發明第二實施例的搜索系統的構造示例，其中采用了圖1的特征向量生成裝置。在圖3中，與圖1中的元件相似的元件用相應的參考數字來表示，并且將僅給出不同的元件的描述。圖3的搜索系統，除了采用了圖1的特征向量生成裝置中的元件外，還采用了用于使用上述特征向量來搜索內容的搜索單元5來和用于存儲內容的內容存儲單元6。
如圖4所示，特征向量存儲單元4將存儲例如特征向量和特征信息，其中特征向量和特征信息由特征向量生成裝置根據幾段廣播內容來生成，并被用于標識這些廣播內容段。單元4還存儲鏈接信息(例如，為廣播內容分配的存儲區域的地址)，其中鏈接信息被鏈接到存儲在例如內容存儲單元6中的廣播內容段并被用于閱讀這些段。特征向量存儲單元4與數據ID相關聯地存儲記錄數據，其中記錄數據包括特征向量、特征信息和鏈接到內容的鏈接信息。記錄數據可以包括內容本身，而不是鏈接信息。在任何情況下，如果特征向量和特征信息被與內容相關聯地存儲就足夠了。也就是說，如果當稍后將描述的搜索單元5檢測到某記錄數據時，就能夠指定對應于包括在該記錄數據中的特征向量和特征信息的那段內容，這就足夠了。
有一種情況是存儲內容的請求和內容本身被輸入到內容輸入單元1，而還有一種情況是搜索內容的請求和內容本身被輸入到內容輸入單元1。
內容存儲操作包括當存儲內容的請求和內容被輸入時所執行的特征向量生成操作，與第一實施例中的內容存儲操作相似。也就是，如第一實施例所述，特征向量根據內容來生成，且記錄數據以及數據ID被存儲在特征向量存儲單元4中，其中記錄數據包括特征向量、特征信息、指示相應內容的鏈接信息。
當搜索內容的請求和內容本身被輸入到內容輸入單元1時，特征向量根據內容來生成，與第一實施例一樣。而且，搜索單元5使用所生成的特征向量作為搜索條件，來在存儲在特征向量存儲單元4中的記錄數據中搜索包含與搜索條件中所包括特征向量相同的特征向量的記錄數據。根據檢測到的記錄數據，期望的內容(也就是要搜索的內容)就被獲得。
當搜索內容的請求被輸入到內容輸入單元1時所執行的操作將被更詳細地描述。
根據被輸入到輸入單元1的內容連同搜索請求一起來生成特征向量的操作，與第一實施例中的操作相同。此處假設特征向量a被生成。特征向量計算單元3將所生成的特征向量傳送到搜索單元5。使用特征向量a作為搜索條件，搜索單元5將在特征向量存儲單元4中搜索包括與特征向量a相似的一個特征向量(或一些特征向量)的一個記錄數據項(或一些記錄數據項)。
在一種特征向量生成過程中，其中每個特征向量根據內容來生成，所述內容具有通過從其之中去除(多個)可變部分而獲得的其(多個)不可變部分，存儲在特征向量存儲單元4中的特征向量和作為搜索條件的特征向量被直接用于搜索。
相比之下，在一種特征向量生成過程中，其中每個特征向量根據帶有一個或多個可變部分的內容來生成，指示(多個)可變部分的數據在搜索之前就被從存儲在特征向量存儲單元4中的特征向量和作為搜索條件的特征向量中去除。如上所述，可變部分數據被存儲在特征向量存儲單元4中。因此，為了從存儲在特征向量存儲單元4中的特征向量中去除可變部分數據，利用了存儲在特征向量存儲單元4中的可變部分數據(指示每個可變部分的位置(時間)的數據)。
在任何情況下，搜索都是使用從內容提取的特征向量來執行的，其中內容具有通過從其之中去除(多個)可變部分((多個)CM部分)而獲得的其(多個)不可變部分。結果，即使在重播的內容中或不同局部地區所廣播的相同的內容中插入不同的CM，該內容都能被標識。
搜索單元5計算存儲在特征向量存儲單元4中的特征向量與作為搜索條件的特征向量之間的相似度，然后執行搜索。在該實施例中，例如通過計算存儲在特征向量存儲單元4中的每個特征向量與作為搜索條件的特征向量之間的內積，來獲得相似度。
使用N-gram方法的搜索可以在對應于特征向量的數值序列上執行。例如，在存儲在特征向量存儲單元4中的那些特征向量中搜索，以檢測一個由N個數值構成的特征向量，這N個數值連續地排列并且被包括在作為搜索條件的特征向量中。例如，即使存儲在特征向量存儲單元4中的特征向量是根據一些內容段生成的，其中內容具有通過從其之中去除(多個)可變部分而獲得的其(多個)不可變部分，而且作為搜索條件的特征向量a是僅根據某一段內容生成的時，使用N-gram方法的搜索能夠從存儲在特征向量存儲單元4中的特征向量中，搜索與特征向量a相似的一個特征向量(或一些特征向量)，還能夠使該(多個)相似的特征向量的位置被檢測到。在這種情況下，作為搜索條件(搜索查詢)的特征向量可以不必根據所有的特征時刻來生成。當特征時刻的數量太大時，可以設置一個上限(舉例來說，從開始起的200個特征時刻)，以使得特征向量根據預定數量的特征時刻來生成。
此外，對于搜索，搜索單元5可以生成關于每個特征向量的每個片段的時間長度的直方圖，并且可以計算存儲在特征向量存儲單元4中的每個特征向量與作為搜索條件的特征向量之間在直方圖上的相似度。在這種情況下，考慮存儲在特征向量存儲單元4中的每個特征向量與作為搜索條件的特征向量之間的每個片段的時間長度的直方圖，如果兩個特征向量之間的對應時間長度的頻率之間的差額的和不超過預定的閾值，這兩個特征向量就被確定為彼此是相似的。
如此計算出的相似度是基于頻率的，使用該頻率在每個特征向量中檢測到相同的特征時序。換句話說，相似度并不依賴于每個片段的順序，且因此搜索不需要大量代價。據此，使用直方圖的搜索被用作預處理，在預處理中，包括在存儲于特征向量存儲單元4中的所有特征矢量中的、并且與作為搜索條件的特征向量在直方圖中相似的特征向量被預先檢測。使用“內積”或“N-gram方法”的搜索方法被用于在這樣限定范圍的特征向量中搜索與作為搜索條件的特征向量相似的一個特征向量(或一些特征向量)。
此外，當特征向量存儲單元4如圖4所示存儲每個特征時刻上所獲得的特征信息(圖像數據、包括聲音電平數據的音頻數據等等)和特征向量、且搜索單元5從特征向量計算單元3接收作為搜索條件的特征向量a和在每個特征時刻上所獲得的信息(圖像數據、包括聲音電平數據的音頻數據等等)時，除了計算特征向量之間的相似度以外，特征信息被以每個特征時刻為單位進行比較。因此，能夠執行更詳細的搜索。使用已知的技術能夠容易地計算出圖像之間的相似度以及包括聲音電平數據在內的音頻數據之間的相似度。例如，可以通過將圖像轉換成亮度值向量，然后計算向量的內積以比較向量來計算圖像之間的相似度。另外，考慮聲音電平之間的相似度，如果聲音電平之間的差值小于預定的閾值，它們就被認為是彼此相似的。
特征向量計算單元3根據相同的內容并不總是生成完全相同的特征向量。每次特征向量計算單元3根據相同的內容生成特征向量時，所檢測到的特征時刻可能會稍微偏離正確的特征時刻，并生成稍微不同的特征向量。但是，如果搜索單元5基于上述的特征向量之間的相似度來執行搜索，是能夠吸收一定范圍的差異的。
如上所述，搜索單元5在特征向量存儲單元4中搜索與作為搜索條件的特征向量相似的特征向量，來檢測所包括的特征向量與特征向量a最相似的記錄數據項，也就是來檢測與搜索條件相匹配的一段內容。作為選擇，搜索單元5可以檢測所包括的特征向量與作為搜索條件的特征向量a相似的多個記錄數據項。
當上述的特征向量作為搜索條件被給出時，第二實施例的搜索系統能夠容易且可靠地檢測出期望的內容，即使相同的內容在不同的時刻和/或由不同廣播電臺廣播，或者即使在不同局部地區之間的相同的內容中被插入了不同的CM。
在第二實施例中，根據廣播內容來生成特征向量，以搜索與前面所提到的內容相同的廣播內容。但是，所述內容沒有被限制為廣播內容，而是通過以上相同的過程，即使根據存儲在例如市場上可以購買到的DVD上的內容，都能獲得同樣的好處。一些存儲在市場上可以購買到的DVD上的內容段可以是相似的但包括微小的差別。例如，相同內容的不同版本，其編輯方法是不同的，可以以不同的包裝形式出售。這些包裝作為相似的內容段能被檢測到。在這種情況下，可變部分檢測單元2將檢測不同版本之間的視頻數據的差別，或檢測包括在版本中的CM信息，由此檢測可變部分以方便相似內容段的檢測。
(第三實施例)圖5顯示了根據第三實施例的搜索系統的構造示例，其采用了圖1的特征向量生成裝置。第三實施例的搜索系統是包括一個服務器100和多個客戶機101(為了方便畫圖，圖5只顯示了一個客戶)的客戶機—服務器系統。在圖5中，與圖1或3中相似的元件使用相應的參考符號來表示。每個客戶機101包括內容輸入單元1、可變部分檢測單元2、特征向量計算單元3、通信單元7和元數據輸出單元9。通信單元7和元數據輸出單元9用于與服務器100進行通信。每個客戶機101被連接到內容觀看裝置102上，以重現/顯示接收到的廣播內容或從諸如DVD這樣的記錄介質上讀取的內容。
服務器100包括用于與每個客戶機101通信的通信單元8、特征向量存儲單元4和搜索單元5。
有一種情況是存儲元數據的請求、內容和元數據本身被輸入到內容輸入單元1，而還有一種情況是搜索內容的請求和內容本身被輸入到內容輸入單元1。
當存儲元數據的請求、內容和元數據本身被輸入到某客戶機101的內容輸入單元1時，與第一實施例中一樣，根據內容生成一個特征向量，并且該特征向量、所輸入的元數據等通過通信單元7被從客戶機101發送到服務器100。通過通信單元8接收到從客戶機101發送的特征向量、元數據等后，服務器100將包括特征向量、元數據等的記錄數據存儲到特征向量存儲單元4上。
當每個客戶機101的特征向量計算單元3根據具有一個可變部分(一些可變部分)的內容計算特征向量時，每個客戶機101將可變部分數據連同特征向量發送到服務器100上，然后服務器100將包括特征向量、元數據和可變部分數據的記錄數據存儲到特征向量存儲單元4中。
特征向量存儲單元4將存儲多個記錄數據項，其中記錄數據項包括內容的元數據、特征向量等并且是從每個客戶機101發送的，如稍后將描述的。
當搜索內容的請求和內容本身被輸入到某客戶機101的內容輸入單元1上時，與第一實施例中一樣，根據內容生成一個特征向量，并且包括作為搜索條件的特征向量的搜索請求被通過通信單元7從客戶機101發送到服務器100。通過通信單元8接收到搜索請求后，服務器100的搜索單元5在特征向量存儲單元4中搜索所包括的特征向量與作為搜索請求的搜索條件的特征向量最相似的記錄數據項，并且將檢測到的記錄數據項返回客戶機101。
對應于某內容的元數據是，例如，用戶關于內容(設備)的觀點或評論。為了接收存儲元數據的請求，圖5的客戶機—服務器系統利用了電子布告欄系統(BBS)。也就是，每個客戶機101的內容輸入單元1利用電子布告欄系統來接收存儲元數據的請求。為了進行存儲指示用戶關于某內容的觀點或評論的元數據的請求，每個客戶機101的用戶在由電子布告欄系統(BBS)提供的預定頁上寫下元數據。這時，特征向量計算單元3根據輸入到內容輸入單元1中的內容來計算特征向量。該特征向量連同元數據被發送。指示觀點或評論并且包括特征向量的元數據被通過通信單元7從每個客戶機101發送到服務器100。服務器100將記錄數據存儲到特征向量存儲單元4中，其中記錄數據包括元數據連同特征向量并且通過通信單元8被接收。
當用戶想看元數據時，比如由另一用戶貼出的關于某內容的觀點或評論，當看該內容時，他們通過內容輸入單元1將搜索請求和該內容輸入到他們的客戶機(設備)101。特征向量計算單元3根據內容來計算特征向量，而且包括作為搜索條件的特征向量的搜索請求被發送到服務器100。接收到搜索請求之后，服務器100的搜索單元5在特征向量存儲單元4中搜索所包括的特征向量與作為搜索請求的搜索條件的特征向量最相似的記錄數據項。包括在檢測到的記錄數據項中的元數據被返回到作為請求者終端的客戶機101。
如上所述，第三實施例的搜索系統能夠容易地從對應于各段內容并被存儲在特征向量存儲單元4中的元數據項中提取出對應于某段內容的元數據項。
用戶除了能夠貼出關于整個內容的觀點以外，也能夠貼出關于包括在內容中的某一畫面的觀點。例如，當用戶貼出觀點時，他們中斷了正在通過連接到客戶機101上的內容觀看裝置102重放的內容，然后使用內容輸入單元1，即電子布告欄系統，將他們對于停止的畫面的觀點輸入到客戶機101。通過內容觀看裝置102重放的內容數據也被輸入到內容輸入單元1。可變部分檢測單元2和特征向量計算單元3根據通過內容觀看裝置102重放/顯示的、并且對應于輸入到內容輸入單元1中的內容數據的內容數據來生成特征向量，與第一實施例中一樣。而且，內容觀看裝置102將測量從內容重放開始所歷經的時刻(重放時刻)，并將測量出的時刻輸出到內容輸入單元1和元數據輸出單元9。內容輸入單元1暫時存儲指示中斷重放的時刻、以及所輸入的觀點(消息)。
由用戶輸入的觀點(消息)，連同對應于內容的特征向量(也就是，根據整個內容生成的特征向量，其中該內容具有通過從其之中去除(多個)可變部分而獲得的其(多個)不可變部分)，以及測量出的重放時刻，被發送到服務器100。服務器100將包括元數據的記錄數據存儲到特征向量存儲單元4，其中所述元數據比如特征向量、重放時刻和用戶關于在重放時刻要被重放的畫面的觀點。
在此實施例中，特征向量是基于被輸入到內容輸入單元1并且同時由內容觀看裝置102重放/顯示的內容，由可變部分檢測單元2和特征向量計算單元3生成的。但是，在內容被內容觀看裝置102重放/顯示之前，該內容可以被輸入到內容輸入單元1并經過可變部分檢測單元2和特征向量計算單元3來生成特征向量。在這種情況下，當用戶中斷內容的重放以輸入他們的觀點時，特征向量已經被生成了。因此，存儲元數據的請求在用戶輸入請求之后馬上被發送到服務器100，其中所述元數據包括用戶的輸入觀點(消息)、特征向量(也就是，根據內容生成的特征向量，其中所述內容具有通過從其之中去除(多個)可變部分而獲得的其(多個)不可變部分)和重放時刻。
當服務器100的特征向量存儲單元4存儲內容的特征向量、元數據和對應于元數據的內容的一個畫面的重放時刻時，另一用戶能夠顯示對應于現在正在被重放的相同內容的一個畫面(該畫面的重放時刻)的元數據。
例如，當某內容被重放時，某一用戶通過通信單元7向服務器100發送搜索該內容的請求，其中所述請求包括搜索條件，即由可變部分檢測單元2和特征向量計算單元3預先根據該內容生成的特征向量，與第一實施例中一樣。服務器100在特征向量存儲單元4中搜索所包括的特征向量與作為搜索請求的搜索條件的特征向量相似的記錄數據項。如果存在多個記錄數據項，其中每個記錄數據項都包括與作為搜索條件的特征向量相似的特征向量，那么這些記錄數據項都會被檢測到。所檢測到的那個記錄數據項或那些記錄數據項被返回到該用戶的客戶機101。也就是說，在重放某內容之前，客戶機101從服務器100下載了一個記錄數據項(或一些記錄數據項)，并且暫時將它(它們)存儲在例如元數據輸出單元9中，其中所述一個記錄數據項(或一些記錄數據項)包括與該內容的特征向量相似的特征向量。
內容觀看裝置102測量被重放/顯示的內容的重放時刻，并且將重放時刻輸出到內容輸入單元1和元數據輸出單元9中。元數據輸出單元9比較從內容觀看裝置102輸出的重放時刻與每個下載的記錄數據項中所包括的重放時刻。如果從內容觀看裝置102輸出的重放時刻與某一下載的記錄數據項中所包括的重放時刻是一樣的(也就是，如果與該下載的記錄數據項中包括的重放時刻對應的畫面被重放/顯示)，那么包括在該記錄數據項中的元數據被顯示。
圖6顯示了元數據的顯示示例。具體來說，該圖顯示了內容觀看裝置102的屏幕的示例。在此例中，屏幕包括內容顯示區域201、元數據顯示區域202、內容控制區域203和消息寫入區域204。在內容輸入單元1和元數據輸出單元9的控制下，該屏幕顯示內容、元數據等。
內容顯示區域201顯示由內容觀看裝置102重放的內容。
元數據顯示區域202根據每個記錄數據項中包括的重放時刻，來顯示包括在每個記錄數據項中的元數據，其中所述記錄數據項是從服務器100下載的并暫時存儲在元數據輸出單元9中。
當發送存儲元數據的請求時，用戶中斷了內容的重放，將他們的消息寫入到消息寫入區域204中含有的區域204a上，然后按下發送按鈕204b。接著，內容輸入單元1暫時存儲從內容觀看裝置102輸出的重放時刻(所測量的時刻范圍從重放開始時刻到重放被中斷時刻)。在此之后，使用可變部分檢測單元2和特征向量計算單元3，根據內容來生成特征向量，與第一實施例中一樣(作為選擇，對應于內容的特征向量可以如上所述地被預先生成)，其中所述內容具有通過從其之中去除(多個)可變部分而獲得的其(多個)不可變部分。特征向量連同暫時存儲于區域204a中的消息(元數據)和重放時刻一起從通信單元7被發送到服務器100。
圖7顯示了服務器100的特征向量存儲單元4中此刻存儲的記錄數據示例。
如圖所示，記錄數據被存儲在特征向量存儲單元4中，例如，用附加在其上的數據ID“3”來標識該記錄數據。數據ID為“3”的記錄數據包含被包括在來自用戶的存儲請求中的元數據“精彩的比賽，不是嗎”、對應于該元數據的內容的特征向量，以及當該元數據已經被貼出時內容顯示區域201上所顯示的畫面的重放時刻(記錄在圖7中的“時刻”欄中)。重放時刻指示從開始測量出的重放內容的時段。
在圖7中，存儲在特征向量存儲單元4中的數據ID為“1”的記錄數據包括特征向量“11，10，15，6，4”、重放時刻(時刻)“153000毫秒”，以及消息(元數據)“多么好看的比賽！”。
例如，正在觀看對應于數據ID為“1”的記錄數據的內容的某一用戶下載了該記錄數據之后，當包括在該記錄數據中的重放時刻(時刻)在觀看內容的過程中到達時，包括在該記錄數據中的元數據被顯示在如圖6所示的元數據顯示區域202上。
圖7中數據ID為“2”的記錄數據包括鏈接信息。鏈接信息所指示的目標是包括在特征向量為“10，5，13，5，4，6”并且所對應的重放時刻為326000秒的內容中的一個畫面。正在觀看對應于數據ID為“2”的記錄數據的內容的某一用戶下載了該記錄數據之后，當包括在該記錄數據中的重放時刻(時刻)在觀看內容的過程中到達時，包括在該記錄數據中的元數據被顯示在如圖6所示的元數據顯示區域202上。元數據包括鏈接到目標的鏈接信息。因此，隨著數據ID為“2”的元數據被顯示在元數據顯示區域202上，當用戶敲擊消息時，鏈接目標，即包括在特征向量為“10，5，13，5，4，6”并且所對應的重放時刻為326000秒的內容中的那個畫面，會被顯示在內容顯示區域201上。
如果用于貼出關于某內容的消息的BBS本身被用作元數據，對應于該內容的特征向量可以預先被附加到電子布告欄系統上。具體來說，如圖8所示，服務器100的特征向量存儲單元4預先存儲了一個包括多個記錄數據項的BBS表，其中所述多個記錄數據項包括對應于多段內容的特征向量和被分配給對應于所述多段內容的電子布告欄系統的地址(列舉在圖8中的“bbs-url”欄中)。
在這種情況下，當用戶貼出他們的關于某內容的觀點時，他們通過客戶機101的內容輸入單元1輸入指令來發出搜索電子布告欄系統的請求。接收到這個指令之后，包括根據內容預先生成的特征向量作為搜索條件的搜索電子布告欄的請求將通過通信單元7被發送到服務器100。
服務器100的搜索單元5將在圖8的BBS表中搜索所包括的特征向量與作為搜索請求中的搜索條件而包括的特征向量最相似的記錄數據。包括在檢測到的記錄數據中的電子布告欄系統的地址被返回到作為請求者終端的客戶機101。接收到該電子布告欄系統的地址后，客戶機101的內容輸入單元1通過通信單元7訪問該地址，圖6的顯示屏幕上的消息寫入區域204由此變成激活的。也就是，被寫在消息寫入區域204的區域204a上的消息，以及存儲此消息(元數據)的請求能被發送到服務器100。
如上所述，當貼出關于內容的消息時，通過使用特征向量的搜索，作為目標的期望的電子布告欄系統能被容易地檢測到。
因此，在第三實施例中，即使同樣的內容在不同時刻和/或由不同局部地區之間的不同廣播電臺來廣播或重播，以及由此包括了不同的CM(可變部分)，或在記錄介質的不同版本之間包括了不同的CM(可變部分)，都能通過使用與其對應的特征向量來標識。因此，即使同樣的內容包括了一個或多個可變部分，對應于該同樣的內容的元數據都能被容易地檢測到，而不管可變部分是否不同。
每個客戶機101可以采用一個存儲單元，未在圖5中示出，用于與和內容段對應的特征向量相關聯地存儲內容段。根據某內容生成特征向量后，該特征向量可以被存儲在該存儲單元，以使其能夠被用于存儲請求或搜索請求。
(第四實施例)圖9是舉例說明根據第四實施例的搜索系統的構造示例的框圖，其使用了圖1的特征向量生成裝置。在圖9中，與圖3或5中相似的元件用相應的參考數字來表示。
與圖5的搜索系統一樣，圖9的搜索系統包括服務器100和多個客戶機101。客戶機101被連接到內容觀看裝置102。每個客戶機101包括內容輸入單元1、可變部分檢測單元2、特征向量計算單元3、特征向量存儲單元4、搜索單元5和通信單元7。如圖4或7所示，特征向量存儲單元4存儲特征向量和包括對應于每段內容的元數據的記錄數據，其中所述特征向量是由可變部分檢測單元2和特征向量計算單元3基于通過內容輸入單元1輸入的每段內容來生成的。搜索系統還包括圖5所示的元數據輸出單元9，以及內容編輯單元10，其中所述內容編輯單元10用于使用從服務器100下載的元數據來編輯內容，如稍后將描述的。
服務器100包括通信單元8、元數據存儲單元11和搜索單元12。元數據存儲單元11存儲元數據項，每個元數據項都包括一個特征向量。搜索單元12使用特征向量來在元數據存儲單元11中搜索元數據，就像搜索單元5一樣，或使用作為搜索條件而提供的特征字符串作為關鍵數據，來在元數據存儲單元11中搜索元數據。
服務器100的元數據存儲單元11可以存儲從每個客戶機101發送的元數據，如圖7所示。
圖9所示構造的搜索系統能夠執行與第三實施例的搜索系統同樣的處理。例如，在圖5中的搜索系統中，服務器100包括搜索單元5，并且響應于每個客戶機101的搜索請求，基于特征向量執行搜索。作為比較，在圖9的搜索系統中，由于每個客戶機101都包括搜索單元5，其使用搜索單元5和其中生成的特征向量來搜索元數據。
將描述第四實施例的操作，它與第三實施例的操作不同。
圖9所示的服務器100的元數據存儲單元11將存儲包括用于編輯內容的編輯信息的元數據。編輯信息連同包括對應于該內容的特征向量的元數據存儲請求，被從客戶機101發送到服務器100，其中所述編輯信息是使用用于編輯的設備，通過從內容中刪除不需要的部分、重新編輯從多段內容收集起來的部分、或給內容附加注釋來獲得的。接收到元數據存儲請求后，服務器100將包括了特征向量和作為元數據的編輯信息的記錄數據存儲到特征向量存儲單元4中。
如果某一用戶搜索內容的編輯信息，使用該內容的特征向量作為搜索條件的搜索請求被從該用戶的客戶機101發送到服務器100上。服務器100將在特征向量存儲單元4中搜索所包括的特征向量與作為搜索條件的特征向量最相似的元數據項，并且將檢測到的記錄數據項或包括在其中的元數據返回到作為請求終端的客戶機101。
客戶機101的內容編輯單元10使用從服務器100作為搜索條件返回的元數據來編輯內容。也就是說，如果該元數據是包括指示內容的不需要部分的信息的編輯信息，則內容觀看裝置102被基于編輯信息來控制，以使其不重放不需要的部分。進而，如果元數據包括用于顯示內容中某一畫面的注釋的編輯信息，則內容觀看裝置102被控制，以使其同時顯示注釋和畫面。
服務器100的元數據存儲單元11可以預先存儲如圖10所示的這些元數據。圖10所示的元數據是由每個客戶機101下載的數據，并且被其使用來編輯內容。
圖10的元數據指示編輯，其中帶有標識符“videoid＝1”的視頻數據和帶有標識符“videoid＝2”的視頻數據按順序被重放，帶有標識符“audioid＝1”的音頻數據和帶有標識符“audioid＝2”的音頻數據按順序被重放，當帶有標識符“videoid＝1”的視頻數據被重放時，消息“這是節目的A部分”被顯示，而當帶有標識符“videoid＝2”的視頻數據被重放時，消息“這是節目的B部分”被顯示。
更具體來說，帶有標識符“videoid＝1”的視頻數據是特征向量為“1，9，8，7，12，3，4”(數值序列“1，9，8，7，12，3，4”由圖10中的元素<uri vector>來指示)的內容的視頻數據部分，其在從內容的開頭的重放時刻“153000毫秒”(由圖10中的<uri time>來指示)開始的歷經“1000毫秒”(由圖10中的元素<uri duration>來指示)的時段內被重放。
在視頻數據重放的同時，帶有標識符“audioid＝1”的音頻數據，即特征向量為“1，9，8，7，13，2，1”(數值序列“1，9，8，7，13，2，1”由圖10中的元素<uri vector>來指示)的內容的音頻數據部分，在從內容的開頭的重放時刻“153000毫秒”(由圖10中的<uritime>來指示)開始的歷經“1000毫秒”(由圖10中的元素<uri duration>來指示)的時段內被重放。
此外，當帶有標識符“videoid＝1”的視頻數據被重放時，消息“這是節目的A部分”(由圖10中的元素<message>來指示)，在從視頻數據的重放時刻“5秒”(由圖10中的<time>來指示)開始的歷經“20秒”(由圖10中的元素<duration>來指示)的時段內被顯示。
其后，帶有標識符“videoid＝2”的視頻數據和帶有標識符“audioid＝2”的音頻數據被同時重放。
帶有標識符“videoid＝2”的視頻數據是特征向量為“10，9，2，8，3，7，8”(由圖10中的元素<uri vector>來指示)的內容的視頻數據部分，其在從內容的開頭的重放時刻“154800毫秒”(由圖10中的<uri time>來指示)開始的歷經“50000毫秒”(由圖10中的元素<uriduration>來指示)的時段內被重放。
帶有標識符“audioid＝2”的音頻數據是特征向量為“10，9，2，8，3，7，8”(由圖10中的元素<uri vector>來指示)的內容的音頻數據部分，其在從內容的開頭的重放時刻“154800毫秒”(由圖10中的<uri time>來指示)開始的歷經“50000毫秒”(由圖10中的元素<uriduration>來指示)的時段內被重放。
而且，當帶有標識符“videoid＝2”的視頻數據被重放時，消息“這是節目的B部分”(由圖10中的元素<message>來指示)，在從視頻數據的重放時刻“10秒”(由圖10中的<time>來指示)開始的歷經“20秒”(由圖10中的元素<duration>來指示)的時段內被顯示。
圖10所示的元數據包括對應于三段內容的特征向量“1，9，8，7，12，3，4”、“1，9，8，7，13，2，1”和“10，9，2，8，3，7，8”。因此，如果在來自客戶機101的搜索請求中作為搜索條件所包括的特征向量與這三個特征向量中的一個相似，那么該元數據將被搜索單元12搜索。服務器100將圖10的元數據作為搜索結果返回給作為請求者終端的客戶機101。客戶機101的內容編輯單元10使用該元數據來執行內容編輯。特征向量可以比圖10所示的具有更大的尺寸。但是，為了方便描述，采用了所示尺寸的特征向量。
需要注意的是，指示每個特征向量與相應的內容的鏈接的信息可以被附加在圖10的元數據中的每個特征向量區域中。
此外，例如，如果元數據包括一個指示例如每段內容的標題的特征字符串，那么該特征字符串可以被用作搜索條件，而不用特征向量。具體來說，當用戶通過內容輸入單元1向他們的客戶機101輸入期望的特征字符串時，包括該特征字符串作為搜索條件的搜索請求被發送到服務器100。服務器100的搜索單元12將在元數據存儲單元11中搜索包括作為搜索條件的特征字符串的元數據，并將檢測到的元數據返回到作為請求者終端的客戶機101。
在第四實施例中，為了指定包括在某內容中的某一畫面，該內容(具有通過從其之中去除(多個)可變部分而獲得的其(多個)不可變部分)的特征向量和該畫面的重放時刻被使用。然而，此實施例并不局限于此。例如，該特征向量可以根據范圍從該內容開頭到該畫面出現的點的內容數據來生成，或者根據該畫面之后的內容數據來生成。當搜索單元5或12使用這樣的特征向量來執行記錄數據搜索時，它在特征向量存儲單元4或元數據存儲單元11中搜索與包括在整個數值序列中的某一區段中作為搜索條件的特征向量最相似的特征向量。
(第五實施例)圖11是舉例說明根據第五實施例的搜索系統的構造示例的框圖，其使用了圖1的特征向量生成裝置。在圖11中，與圖9中的元件相同的元件使用相應的參考數字來表示，并且將僅給出不同的元件的描述。
在第五實施例中，除圖9所示的元件外，每個客戶機101中含有屬性信息獲取單元13。
屬性信息指示標題、廣播日期及時間、廣播電臺或內容種類、關于內容的評論等等，并且屬性信息是例如電子節目指南(EPG)信息。
如圖12所示，每個客戶機101的特征向量存儲單元4存儲根據通過內容輸入單元1輸入的每段內容生成的特征向量、由屬性信息獲取單元13根據每段內容獲取的屬性信息、包括了元數據項并具有數據ID的記錄數據項。特征向量存儲單元4可以存儲從服務器100下載的記錄數據。每個記錄數據項可以包括鏈接信息或內容本身，其中所述鏈接信息指示相應內容被實際存儲的存儲區域。
服務器100的元數據存儲單元11還將存儲大量的記錄數據，包括特征向量、屬性信息、元數據和數據ID，如圖12所示。存儲在元數據存儲單元11中的元數據項可以包括響應于來自每個客戶機101的元數據存儲請求而存儲的那些元數據項，以及預先存儲的那些元數據項。
假定局部地區α中的用戶A使用由屬性信息獲取單元13獲得的屬性信息來選擇內容C1，并且通過內容觀看裝置102記錄內容C1(例如，使用屬性信息來執行內容C1的規劃)。在這種情況下，內容C1被從內容觀看裝置102提供給內容輸入單元1，由此可變部分檢測單元2和特征向量計算單元3根據內容C1生成特征向量，與第一實施例一樣。包括了特征向量和由屬性信息獲取單元13獲得的屬性信息的記錄數據被存儲在特征向量存儲單元4中。此處假定內容C1的特征向量和屬性信息分別是“B1001”和“E1001”。
現在參考圖13的流程圖，將給出圖11所示的搜索系統的元數據搜索操作的描述。
當用戶A通過內容輸入單元1指示客戶機101進行一個包括特征向量“B1001”和屬性信息“E1001”作為搜索條件的搜索請求時，該請求通過通信單元7被發送到服務器100。
接收到此搜索請求后(步驟S101和S102)，服務器100的通信單元8將此搜索請求傳送到搜索單元12。如果接收到的搜索請求不包括屬性信息，搜索單元12將進行到步驟S107。與此相反，如果接收到的搜索請求包括屬性信息作為搜索條件(步驟S103)，搜索單元12將進行到步驟S104，在其中搜索單元12在元數據存儲單元11中搜索所包括的屬性信息與作為搜索條件的屬性信息一樣的一個記錄數據項(一些記錄數據項)。如果檢測到一個記錄數據項(一些記錄數據項)帶有與給出的作為搜索條件的屬性信息“E1001”一樣的屬性信息，它將被發送到作為請求者終端的客戶機101。
客戶機101的通信單元7接收到作為(多個)搜索結果的(多個)記錄數據項之后，元數據輸出單元9將比如包括在(多個)記錄數據項中的元數據的信息顯示在內容觀看裝置102上，如圖14所示。如果用戶A確認所顯示的數據為對應于所請求的內容的元數據，并按下“確定”按鈕201，則處理完成。另一方面，如果用戶A按下“取消”按鈕202，則一條關于搜索結果與用戶A所請求的元數據不同的消息被通過通信單元7從內容輸入單元1發送到服務器100(步驟S106)。服務器100接收到此信息后，搜索單元12此刻使用作為另一搜索條件給出的特征向量來執行與上述類似的搜索(步驟S107)。
當在存儲于元數據存儲單元11中的記錄數據項中檢測到所包括的一個特征向量(或一些特征向量)與作為搜索條件的特征向量“B1001”相似的一個記錄數據項(或一些記錄數據項)時(步驟S108)，記錄數據項被發送到作為請求者終端的客戶機101。
當客戶機101的通信單元7接收到作為(多個)搜索結果的(多個)記錄數據項時，元數據輸出單元9將比如包括在(多個)記錄數據項中的元數據的信息顯示在內容觀看裝置102上，如圖14所示。如果沒有與用戶A所請求的內容相對應的元數據，用戶將再次按下“取消”按鈕202，而且另一條關于用戶A所請求的元數據沒有被檢測到的消息被發送到服務器100(步驟S109)，緊接著的是處理的終止。相反，如果用戶A從所顯示的元數據中選擇了期望的記錄數據并按下“確定”按鈕201，這將被報告給服務器100(步驟S109)。接收到此報告后，服務器100進行到步驟S110，其中將確定在步驟S102所接收到的搜索條件是否包括屬性信息。如果包括屬性信息，程序將進行到步驟S111，其中屬性信息被添加到在步驟S107和S108所檢測到的記錄數據中，緊接著的是處理的終止。
需要注意的是搜索處理也在以下情況結束當在步驟S108沒有檢測到與作為搜索條件的特征向量相同或相似的特征向量時；當盡管檢測到了相似的記錄數據，但用戶A在步驟S109已按下“取消”按鈕時；以及當盡管用戶A已在所檢測到的記錄數據項中選擇了一個，并按下“確定”按鈕，但在步驟S110檢測到沒有包括屬性信息作為搜索條件時。
假定當用戶A在步驟S106已經按下“確定”按鈕，也就是，當服務器100已接收到所檢測到的元數據與期望的內容C1相對應的消息。此刻，處理結束。
然后假定局部地區β中的用戶B已經記錄了與用戶A一樣的內容C1，與特征向量“B1001”相似的特征向量“B1002”已被生成，并且與屬性信息“E1001”不同的屬性信息“E1002”已被獲得。在這種情況下，為了獲得對應于內容C1的元數據，包括作為搜索條件的特征向量“B1002”和屬性信息“E1002”的搜索請求被從用戶B的客戶機101發送到服務器100，與用戶A的情況一樣。
此刻，服務器100的搜索單元5將在元數據存儲單元11中搜索與屬性信息“E1002”相同的一個記錄數據項(或一些記錄數據項)(步驟S101到S105)。屬性信息包括內容的廣播電臺和廣播日期及時間。
如果沒有屬性信息與屬性信息“E1002”相同的記錄數據，程序進行到步驟S107，其中搜索單元5將基于作為另一搜索條件的特征向量“B1002”來執行搜索。由于特征向量“B1002”與特征向量“B1001”相似，圖12中所示的帶有數據ID“1”的記錄數據被搜索到。該記錄數據包括元數據“M1001”(步驟S107)。
當使用屬性信息和/或特征向量的搜索被執行時，多個記錄數據項可以被檢測到。包括在所檢測到的記錄數據中的屬性信息可以包括指示相應內容的種類的信息。該種類是指內容的類型，比如“電影”、“體育”等等。
服務器100可以存儲來自每個用戶的搜索請求和每個元數據存儲請求的歷史記錄。在這種情況下，當多個記錄數據項被檢測到時，包括在用戶B的歷史記錄中的屬性信息可以被查閱，由此而執行排序處理，比如將檢測到的記錄數據項關于他們的種類來按出現頻率漸降的順序進行重排列。
如圖14所示，用戶B的客戶機101的元數據輸出單元9將在內容觀看裝置102上，顯示在步驟S108所檢測到的包括帶有數據ID“1”的記錄數據的記錄數據項。如果用戶B按下“確定”按鈕，一條關于帶有數據ID“1”的記錄數據被用戶B所請求的消息被發送到服務器100(步驟S109)。由于從用戶B發送的搜索條件包括屬性信息“E1002”(步驟S110)，服務器100將此屬性信息添加到帶有數據ID“1”的記錄數據中(步驟S111)。
結果，包括元數據“M1001”的帶有數據ID“1”的記錄數據包括特征向量“B1001”和屬性信息項“E1001”和“E1002”。
在用戶B發出搜索請求之前，服務器100的元數據存儲單元11已經存儲了另一記錄數據項(帶有，比如數據ID“10”)，該記錄數據項包括特征向量“B1002”、屬性信息項“E1002”和與元數據“M1001”不同的元數據“M1002”。此記錄數據項連同帶有數據ID“1”的記錄數據被檢測到，并被一起顯示在內容觀看裝置102上。如果用戶B選擇帶有數據ID“1”的記錄數據(包括元數據“M1001”)，屬性信息“E1002”被添加到該記錄數據中。
此后，如果局部地區β中的用戶C的客戶機101已經向服務器100發送元數據搜索請求，其中該元數據搜索請求包括特征向量“B1002”和屬性信息“E1002”作為搜索條件，那么服務器100的搜索單元5將使用屬性信息“E1002”來在元數據存儲單元11中搜索，與上述情況一樣。此時，由于帶有數據ID“1”的記錄數據包括屬性信息項“E1001”和“E1002”，因此在步驟S105中帶有數據ID“1”的記錄數據被檢測到。
在此例中，即使用戶C的客戶機101不具有特征向量計算單元3(也就是，即使沒有包括特征向量來作為搜索條件)，使用屬性信息也能檢測到對應于期望內容的記錄數據，即元數據。
如上所述，在第五實施例中，即使由于相同的內容在不同的時間和/或由不同區域之間的不同廣播電臺來廣播，或在不同的廣播日期及時間被重播，而使得對應于相同內容的元數據包括著不同的屬性信息項，通過額外使用對應于內容的特征向量，元數據也能被容易地檢測到。
在第五實施例中，屬性信息是EPG信息，對應于具有這種屬性信息的廣播內容的元數據被搜索。但是，第五實施例的搜索系統并不局限于進行這個搜索。對于具有比如EPG信息這種屬性信息的內容的情況，舉例來說，對于記錄在市場上可購買到的DVD中的內容，相同內容會有不同版本被出售。因此，如果使用對于不同版本的相同DVD內容是唯一的某一ID作為屬性信息，那么元數據搜索就能被如上所述容易地執行。DVD內容的唯一ID能夠例如使用以下方式被生成。一定數量的數據，舉例來說，200Kbyte的數據，被從DVD數據的頭部讀取，并且由此計算出一個散列(hash)值。參考散列表，該散列值能被用作分配給DVD數據的ID。
在第一到第五實施例中，用于標識某內容的ID數據不依賴于附屬于該內容的信息，比如廣播電臺和/或廣播時間，該ID數據根據該內容本身被生成，并且被用于容易地檢測與該內容相同的內容或與其對應的元數據。
由于不管內容的廣播電臺和/或廣播時間，該內容都能被檢測到，所以即使內容由不同局部地區之間的不同廣播電臺和/或在不同的廣播時間(日期和時間)廣播，該內容也能被容易地檢測到。而且，如果某些內容間包括不同的CM，例如，當該內容被初次廣播以及當其被重播時，通過從其中去除CM能夠標識該內容。
內容輸入部分1、可變部分檢測單元2、特征向量計算單元3、搜索單元5和12、通信單元7和8、元數據輸出單元9、內容編輯單元10、屬性信息獲取單元13等的功能可以通過讓計算機執行指定上述過程的程序來實現。
對于本領域的技術人員來說，很容易進行附加的改進和修改。因此，本發明在其更廣的方面并不受這里所示出和描述的具體細節和典型實施例的限制。因此，在不脫離由所附權利要求及其等價物所限定的一般發明概念的精神和范圍的情況下，可以進行各種修改。
權利要求
1.一種特征向量生成裝置，包括輸入單元，用于輸入包括視頻數據和音頻數據中的至少一個的內容數據；生成單元，用于基于指示所述內容數據的特征狀態出現的時刻的信息來生成特征向量，所述特征狀態以所述視頻數據和所述音頻數據中的至少一個發生改變為表征；以及存儲單元，用于存儲所述內容數據和所述特征向量。
2.如權利要求1所述的裝置，其中所述特征狀態指示畫面改變、靜區以及聲音電平不低于預置電平的狀態中的至少一個。
3.如權利要求1所述的裝置，其中，所述信息指示范圍從所述內容數據開始到多個時刻中的每一個的時段。
4.如權利要求1所述的裝置，還包括可變部分檢測單元，所述可變部分檢測單元用于檢測所述內容數據中的可變部分，以及其中，所述生成單元根據通過從所述內容數據中去除所述可變部分而獲得的修改過的內容數據來生成所述特征向量。
5.如權利要求1所述的裝置，還包括傳輸單元，所述傳輸單元用于發送搜索請求，其中所述搜索請求包括用于在所述內容數據中搜索元數據的所述特征向量。
6.一種搜索裝置，包括存儲單元，用于與內容數據和所述內容數據的元數據中的至少一個相關聯地存儲每個特征向量，所述內容數據包括視頻數據和音頻數據中的至少一個，所述特征向量是基于指示所述內容數據的特征狀態分別出現的時刻的信息而生成的，所述特征狀態分別以所述視頻數據和所述音頻數據中的至少一個發生改變為表征；可變部分檢測單元，用于檢測第一內容數據中的可變部分，其中所述第一內容數據包括視頻數據和音頻數據中的至少一個；生成單元，用于基于指示第二內容數據的特征狀態出現的時刻的信息來生成第一特征向量，所述第二內容數據通過從所述第一內容數據中去除所述可變部分來獲得；以及搜索單元，用于在存儲在所述存儲單元中的所述特征向量中搜索與所述第一特征向量相似的特征向量。
7.一種搜索裝置，包括存儲單元，用于與內容數據的元數據相關聯地存儲每個特征向量，所述內容數據包括視頻數據和音頻數據中的至少一個，所述特征向量是基于指示所述內容數據的特征狀態分別出現的時刻的信息而生成的，所述特征狀態分別以所述視頻數據和所述音頻數據中的至少一個發生改變為表征；接收單元，用于接收包括第一特征向量作為搜索條件的搜索請求，所述第一特征向量是基于指示第一內容數據的特征狀態分別出現的時刻的信息而生成的；搜索單元，用于在存儲在所述存儲單元中的所述特征向量中搜索與所述第一特征向量相似的特征向量；以及傳輸單元，用于向所述搜索請求的請求者發送搜索結果，其中所述搜索結果包括所述搜索單元所檢測到的所述特征向量的元數據。
8.如權利要求1所述的裝置，其中，所述特征向量指示所述時刻的數量、以及每對相鄰的所述時刻之間的區段的時間長度，其中在所述時刻，所述內容數據的特征狀態分別出現。
9.如權利要求4所述的裝置，其中，所述可變部分檢測單元檢測包括在所述內容數據中的商業消息部分作為所述可變部分。
10.如權利要求7所述的裝置，其中，所述搜索請求還包括關于所述第一內容數據的屬性信息，以及所述存儲單元與元數據相關聯地存儲所述屬性信息，其中所述元數據被包括在所述傳輸單元所發送的所述元數據中，并且被發出所述搜索請求的用戶選擇。
11.一種搜索裝置，包括存儲單元，用于與對應于內容數據的元數據和電子節目指南(EPG)信息相關聯地存儲每個特征向量，所述內容數據包括視頻數據和音頻數據中的至少一個，所述特征向量是基于指示所述內容數據的特征狀態分別出現的時刻的信息而生成的，所述特征狀態分別以所述視頻數據和所述音頻數據中的至少一個發生改變為表征；接收單元，用于接收搜索請求，其中所述搜索請求包括第一特征向量作為搜索條件，或者包括所述第一特征向量和第一內容數據的第一EPG信息作為搜索條件，其中所述第一內容數據包括視頻數據和音頻數據中的至少一個，所述第一特征向量是基于指示所述第一內容數據的特征狀態分別出現的時刻的信息而生成的；搜索單元，用于如果所述搜索請求包括所述第一EPG信息，則在所述EPG信息中搜索與所述第一EPG信息相同的EPG信息，如果與所述第一EPG信息相同的EPG信息未被檢測到或者如果所述第一EPG信息未被包括在所述搜索請求中，則所述搜索單元在所述特征向量中搜索與所述第一特征向量相似的特征向量；以及傳輸單元，用于向所述搜索請求的請求者發送搜索結果，其中所述搜索結果包括與和所述第一EPG信息相同的所述EPG信息相關的、并且被所述搜索單元檢測到的元數據，或者包括與和所述第一特征向量相似的所述特征向量相關的、并且被所述搜索單元檢測到的元數據。
12.如權利要求11所述的裝置，其中，如果所述傳輸單元向所述請求者發送包括與和所述第一特征向量相似的所述特征向量相關的所述元數據的所述搜索結果，并且如果所述搜索請求包括所述第一EPG信息，則所述存儲單元與元數據相關聯地存儲所述第一EPG信息，其中所述元數據被包括在所述傳輸單元所發送的所述元數據中，并且被所述請求者選擇。
13.一種特征向量生成方法，用于基于指示內容數據的特征狀態分別出現的時刻的信息來生成特征向量，所述特征狀態分別以視頻數據和音頻數據中的至少一個發生改變為表征。
14.如權利要求13所述的方法，其中，所述特征狀態至少包括畫面改變、靜區以及聲音電平不低于預置電平的狀態中的一個。
15.如權利要求13所述的方法，其中，指示所述特征狀態出現的所述時刻的所述信息表示范圍從所述內容數據的開始到每個所述時刻的時段。
16.如權利要求13所述的方法，其中，所述特征向量指示所述時刻的數量、以及每對相鄰的所述時刻之間的區段的時間長度。
17.一種搜索方法包括準備存儲單元，所述存儲單元用于與內容數據和所述內容數據的元數據中的至少一個相關聯地存儲每個特征向量，所述內容數據包括視頻數據和音頻數據中的至少一個，所述特征向量是基于指示所述內容數據的特征狀態分別出現的時刻的信息而生成的，所述特征狀態分別以所述視頻數據和所述音頻數據中的至少一個發生變化為表征；檢測第一內容數據中的可變部分，其中所述第一內容數據包括視頻數據和音頻數據中的至少一個；基于指示第二內容數據的特征狀態出現的時刻的信息來生成第一特征向量，其中所述第二內容數據通過從所述第一內容數據中去除所述可變部分來獲得；以及在存儲在所述存儲單元中的所述特征向量中搜索與所述第一特征向量相似的特征向量。
全文摘要
一種特征向量生成裝置，包括輸入單元，用于輸入包括視頻數據和音頻數據中的至少一個的內容數據；生成單元，用于基于指示內容數據的特征狀態出現的時刻的信息來生成特征向量，特征狀態以視頻數據和音頻數據中的至少一個發生改變為表征；以及存儲單元，用于存儲內容數據和特征向量。
文檔編號H04N7/173GK1773507SQ200510120458
公開日2006年5月17日 申請日期2005年11月10日 優先權日2004年11月10日
發明者筒井秀樹, 鈴木優, 真鍋俊彥 申請人:株式會社東芝