信息處理設(shè)備、信息處理方法和程序的制作方法

專利名稱：信息處理設(shè)備、信息處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本技術(shù)涉及信息處理設(shè)備、信息處理方法和程序。
背景技術(shù)：
當(dāng)觀看視頻圖像和TV畫面等時(shí)，人們可能希望獲得關(guān)于圖像中出現(xiàn)的人、物體或地點(diǎn)等(以下稱為目標(biāo)對(duì)象)的詳細(xì)信息。當(dāng)前，許多用戶使用個(gè)人計(jì)算機(jī)(以下稱為PC)、移動(dòng)電話或便攜信息終端等(以下稱為信息電器)來搜索信息。然而，如果不知道能夠表示圖像中出現(xiàn)的目標(biāo)對(duì)象的關(guān)鍵詞，則用戶難以獲得關(guān)于目標(biāo)對(duì)象的信息。而且，在觀看視頻圖像的同時(shí)啟動(dòng)信息電器或在信息電器中輸入搜索關(guān)鍵詞的操作是麻煩的。例如，如果實(shí)現(xiàn)了使得能夠在屏幕上顯示視頻圖像中出現(xiàn)的目標(biāo)對(duì)象并且使得能夠在屏幕上顯示關(guān)于用戶選擇的目標(biāo)對(duì)象的信息的用戶界面，則可預(yù)期用戶的方便性會(huì)大大提升?？梢酝ㄟ^使用諸如觸摸板或遙控器等輸入裝置來實(shí)現(xiàn)對(duì)目標(biāo)對(duì)象的選擇操作。然而，為了指定在屏幕上的選擇位置處存在的目標(biāo)對(duì)象，需要用于指示每一個(gè)視頻幀中的每一個(gè)目標(biāo)對(duì)象的位置的元數(shù)據(jù)。另外，例如，JP 2005-44330A中公開了用于自動(dòng)檢測(cè)視頻圖像中出現(xiàn)的目標(biāo)對(duì)象的位置的方法。

發(fā)明內(nèi)容
當(dāng)使用JP 2005-44330A中描述的技術(shù)時(shí)，可以自動(dòng)地檢測(cè)每一個(gè)視頻幀中出現(xiàn)的目標(biāo)對(duì)象的位置。因此，通過使用已自動(dòng)檢測(cè)到的目標(biāo)對(duì)象的位置作為元數(shù)據(jù)，可以識(shí)別用戶已在屏幕上選擇的位置處所存在的目標(biāo)對(duì)象。然而，當(dāng)前，準(zhǔn)確度不足以自動(dòng)檢測(cè)出每一個(gè)目標(biāo)對(duì)象。因此，需要進(jìn)行對(duì)元數(shù)據(jù)的人為標(biāo)注的操作。然而，構(gòu)成視頻圖像的視頻幀的數(shù)量極大，并且對(duì)元數(shù)據(jù)進(jìn)行人為標(biāo)注的操作也很麻煩。因此，本發(fā)明人已經(jīng)開發(fā)了一種用于便于對(duì)元數(shù)據(jù)進(jìn)行人為標(biāo)注的操作的機(jī)制。然而，至今，難以獲得高度精確的元數(shù)據(jù)，因此，使用高度精確的元數(shù)據(jù)來執(zhí)行內(nèi)容再現(xiàn)控制的應(yīng)用的實(shí)現(xiàn)是困難的。因此，已經(jīng)鑒于上面的情況而作出了本技術(shù)，并且本技術(shù)旨在提供信息處理設(shè)備、信息處理方法和程序，這些設(shè)備、方法和程序是新穎的和改善的，并且能夠提供利用高度精確的元數(shù)據(jù)來執(zhí)行內(nèi)容再現(xiàn)控制的應(yīng)用。根據(jù)本技術(shù)的一個(gè)實(shí)施例，提供了一種信息處理設(shè)備，該設(shè)備包括元數(shù)據(jù)獲取單元，用于獲取用于指示每一個(gè)目標(biāo)對(duì)象出現(xiàn)在視頻中的出現(xiàn)區(qū)間的區(qū)間元數(shù)據(jù)；區(qū)間信息顯示單元，用于使用所述區(qū)間元數(shù)據(jù)來顯示區(qū)間信息，所述區(qū)間信息可視地表達(dá)在構(gòu)成所述視頻的所有區(qū)間中每一個(gè)目標(biāo)對(duì)象出現(xiàn)的區(qū)間；以及再現(xiàn)控制單元，在用戶從被顯示為關(guān)于特定目標(biāo)對(duì)象的多個(gè)區(qū)間信息的區(qū)間中選擇了一個(gè)區(qū)間的情況下，用于使得再現(xiàn)所選擇的區(qū)間的視頻幀。根據(jù)本技術(shù)的另一個(gè)實(shí)施例，提供了一種信息處理方法，該方法包括獲取用于指示每一個(gè)目標(biāo)對(duì)象在視頻中出現(xiàn)的出現(xiàn)區(qū)間的區(qū)間元數(shù)據(jù)；使用所述區(qū)間元數(shù)據(jù)來顯示區(qū)間信息，所述區(qū)間信息可視地表達(dá)在構(gòu)成所述視頻的所有區(qū)間中每一個(gè)目標(biāo)對(duì)象出現(xiàn)的區(qū)間；以及在用戶從被顯示為關(guān)于特定目標(biāo)對(duì)象的多個(gè)區(qū)間信息的區(qū)間中選擇了一個(gè)區(qū)間的情況下，使得再現(xiàn)所選擇的區(qū)間的視頻幀。根據(jù)本技術(shù)的另一個(gè)實(shí)施例，提供了一種程序，用于使得計(jì)算機(jī)實(shí)現(xiàn)區(qū)間信息顯示功能，該功能使用用于指示每一個(gè)目標(biāo)對(duì)象在視頻中出現(xiàn)的出現(xiàn)區(qū)間的區(qū)間元數(shù)據(jù)來顯示區(qū)間信息，所述區(qū)間信息可視地表達(dá)在構(gòu)成所述視頻的每一個(gè)區(qū)間中每一個(gè)目標(biāo)對(duì)象出現(xiàn)的區(qū)間。在用戶從被顯示為關(guān)于特定目標(biāo)對(duì)象的多個(gè)區(qū)間信息的區(qū)間中選擇了一個(gè)區(qū)間的情況下，再現(xiàn)所選擇的區(qū)間的視頻幀。根據(jù)本技術(shù)的另一個(gè)實(shí)施例，提供了一種信息處理設(shè)備，該設(shè)備包括元數(shù)據(jù)獲取單元，用于獲取用于指示每一個(gè)目標(biāo)對(duì)象在視頻中出現(xiàn)的出現(xiàn)區(qū)間的區(qū)間元數(shù)據(jù)；信息顯示單元，用于使用所述區(qū)間元數(shù)據(jù)來顯示在被再現(xiàn)的視頻幀中包括的每一個(gè)目標(biāo)對(duì)象的圖像或相關(guān)信息；以及再現(xiàn)控制單元，用于在用戶選擇目標(biāo)對(duì)象的圖像或相關(guān)信息的情況下，通過使用所述區(qū)間元數(shù)據(jù)來識(shí)別與所選擇的圖像或相關(guān)信息對(duì)應(yīng)的目標(biāo)對(duì)象的出現(xiàn)區(qū)間，并且使得再現(xiàn)在所述出現(xiàn)區(qū)間中包括的視頻幀。
根據(jù)本技術(shù)的另一個(gè)實(shí)施例，提供了一種信息處理設(shè)備，該設(shè)備包括元數(shù)據(jù)獲取單元，用于獲取區(qū)間元數(shù)據(jù)和區(qū)域元數(shù)據(jù)，所述區(qū)間元數(shù)據(jù)用于指示每一個(gè)目標(biāo)對(duì)象在視頻中出現(xiàn)的出現(xiàn)區(qū)間，所述區(qū)域元數(shù)據(jù)針對(duì)每個(gè)視頻幀寫入關(guān)于在構(gòu)成所述視頻的每一個(gè)視頻幀中包括的每一個(gè)目標(biāo)對(duì)象的位置或關(guān)于包括所述每一個(gè)目標(biāo)對(duì)象的區(qū)域的信息；區(qū)域識(shí)別單元，用于使用所述區(qū)域元數(shù)據(jù)來識(shí)別正在被再現(xiàn)的視頻幀內(nèi)用戶指定的位置處存在的目標(biāo)對(duì)象；以及再現(xiàn)控制單元，在通過所述區(qū)域識(shí)別單元識(shí)別了目標(biāo)對(duì)象的存在的情況下，用于通過使用所述區(qū)間元數(shù)據(jù)來識(shí)別其存在已經(jīng)被識(shí)別的目標(biāo)對(duì)象的出現(xiàn)區(qū)間，并且使得再現(xiàn)在所述出現(xiàn)區(qū)間中包括的視頻幀。根據(jù)本技術(shù)的另一個(gè)實(shí)施例，提供了一種用于存儲(chǔ)程序的計(jì)算機(jī)可讀記錄介質(zhì)。如上所述，根據(jù)本技術(shù)，可以提供利用高度精確的元數(shù)據(jù)來執(zhí)行內(nèi)容再現(xiàn)控制的應(yīng)用。


圖I是用于描述相關(guān)信息的顯示方法的示意圖；圖2是用于描述相關(guān)信息的顯示方法的示意圖；圖3是用于描述相關(guān)信息的顯示方法的示意圖；圖4是用于描述出現(xiàn)區(qū)間的顯示方法的示意圖；圖5是用于描述超鏈接視頻瀏覽的概念的示意圖；圖6是用于描述視頻時(shí)間線元數(shù)據(jù)的概述的示意圖；圖7是用于描述用于提供視頻時(shí)間線元數(shù)據(jù)的機(jī)制的示意圖；圖8是用于描述用于提供視頻時(shí)間線元數(shù)據(jù)的機(jī)制的示意圖；圖9是用于描述從提供視頻時(shí)間線元數(shù)據(jù)至使用該數(shù)據(jù)的處理的簡(jiǎn)略流程的示意圖；圖10是用于描述元數(shù)據(jù)提供終端的示例配置的示意圖；圖11是用于描述關(guān)于提供視頻時(shí)間線元數(shù)據(jù)的處理中的預(yù)處理的流程的示意圖12是用于描述預(yù)處理的細(xì)節(jié)的示意圖；圖13是用于描述預(yù)處理的細(xì)節(jié)的示意圖；圖14是用于描述預(yù)處理的細(xì)節(jié)的示意圖；圖15是用于描述預(yù)處理的細(xì)節(jié)的示意圖；圖16是用于描述預(yù)處理的細(xì)節(jié)的示意圖；圖17是用于描述預(yù)處理的細(xì)節(jié)的示意圖；圖18是用于描述關(guān)于提供視頻時(shí)間線元數(shù)據(jù)的處理中的元數(shù)據(jù)的標(biāo)注處理的流程的示意圖； 圖19是用于描述關(guān)于標(biāo)注的處理的細(xì)節(jié)的示意圖；圖20是用于描述關(guān)于標(biāo)注的處理的細(xì)節(jié)的示意圖；圖21是用于描述關(guān)于標(biāo)注的處理的細(xì)節(jié)的示意圖；圖22是用于描述關(guān)于標(biāo)注的處理的細(xì)節(jié)的示意圖；圖23是用于描述關(guān)于標(biāo)注的處理的細(xì)節(jié)的示意圖；圖24是用于描述關(guān)于標(biāo)注的處理的細(xì)節(jié)的示意圖；圖25是用于描述關(guān)于標(biāo)注的處理的細(xì)節(jié)的示意圖；圖26是用于描述關(guān)于標(biāo)注的處理的細(xì)節(jié)的示意圖；圖27是用于描述關(guān)于標(biāo)注的處理的細(xì)節(jié)的示意圖；圖28是用于描述關(guān)于標(biāo)注的處理的細(xì)節(jié)的示意圖；圖29是用于描述關(guān)于標(biāo)注的處理的細(xì)節(jié)的示意圖；圖30是用于描述關(guān)于標(biāo)注的處理的細(xì)節(jié)的示意圖；圖31是用于描述關(guān)于標(biāo)注的處理的細(xì)節(jié)的示意圖；圖32是用于描述關(guān)于標(biāo)注的處理的細(xì)節(jié)的示意圖；圖33是用于描述關(guān)于標(biāo)注的處理的細(xì)節(jié)的示意圖；圖34是用于描述關(guān)于標(biāo)注的處理的細(xì)節(jié)的示意圖；圖35是用于描述關(guān)于標(biāo)注的處理的細(xì)節(jié)的示意圖；圖36是用于描述視頻時(shí)間線提供處理中的后處理的簡(jiǎn)略流程的示意圖；圖37是用于描述元數(shù)據(jù)管理系統(tǒng)的示例配置的示意圖；圖38是用于描述在關(guān)于視頻時(shí)間線元數(shù)據(jù)的提供的流程中的后處理的流程的示意圖；圖39是用于描述后處理的細(xì)節(jié)的示意圖；圖40是用于描述后處理的細(xì)節(jié)的示意圖；圖41是用于描述后處理的細(xì)節(jié)的示意圖；圖42是用于描述由元數(shù)據(jù)管理系統(tǒng)提供的另一個(gè)功能的示意圖；圖43是用于描述由元數(shù)據(jù)管理系統(tǒng)提供的另一個(gè)功能的示意圖；圖44是用于描述由元數(shù)據(jù)管理系統(tǒng)提供的另一個(gè)功能的示意圖；圖45是用于描述元數(shù)據(jù)用戶終端的示例配置的示意圖；圖46是用于描述視頻時(shí)間線元數(shù)據(jù)的配置的示意圖；圖47是用于描述使用視頻時(shí)間線元數(shù)據(jù)的出現(xiàn)區(qū)間(appearance section)的顯示方法和出現(xiàn)區(qū)間的再現(xiàn)方法的示意圖48是用于描述使用視頻時(shí)間線元數(shù)據(jù)的出現(xiàn)區(qū)間的顯示方法和出現(xiàn)區(qū)間的再現(xiàn)方法的示意圖；圖49是用于描述使用視頻時(shí)間線元數(shù)據(jù)的出現(xiàn)區(qū)間的顯示方法和出現(xiàn)區(qū)間的再現(xiàn)方法的示意圖；圖50是用于描述使用視頻時(shí)間線元數(shù)據(jù)的出現(xiàn)區(qū)間的顯示方法和出現(xiàn)區(qū)間的再現(xiàn)方法的示意圖；圖51是用于描述相關(guān)信息的顯不方法的不意圖；圖52是用于描述相關(guān)信息的顯不方法的不意圖；
圖53是用于描述視頻時(shí)間線元數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)的示意圖；圖54是用于描述視頻時(shí)間線元數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)的示意圖；圖55是用于描述視頻時(shí)間線元數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)的示意圖；圖56是用于描述視頻時(shí)間線元數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)的示意圖；圖57是用于描述視頻時(shí)間線元數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)的示意圖；圖58是用于描述視頻時(shí)間線元數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)的示意圖；圖59是用于描述視頻時(shí)間線元數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)的示意圖；以及圖60是用于示出能夠?qū)崿F(xiàn)元數(shù)據(jù)提供終端、元數(shù)據(jù)管理系統(tǒng)和元數(shù)據(jù)用戶終端的信息處理設(shè)備的一個(gè)示例硬件配置的示意圖。
具體實(shí)施例方式以下參考附圖詳細(xì)描述本公開的優(yōu)選實(shí)施例。注意，在本說明書和附圖中，使用相同的附圖標(biāo)號(hào)來表示具有基本上相同的功能和配置的結(jié)構(gòu)元件，并且省略對(duì)這些結(jié)構(gòu)元件的重復(fù)描述。[說明流程]在此簡(jiǎn)述下文說明的流程。首先，將參考圖I至4來描述通過根據(jù)本實(shí)施例的技術(shù)來實(shí)現(xiàn)的用戶界面的具體示例。然后，將參考圖6和7來描述根據(jù)本實(shí)施例的視頻時(shí)間線元數(shù)據(jù)。然后，將參考圖8和9來描述根據(jù)本實(shí)施例的執(zhí)行關(guān)于視頻時(shí)間線元數(shù)據(jù)的提供、管理和使用的處理的系統(tǒng)的配置和該處理的流程。接下來，將參考圖10至35來描述根據(jù)本實(shí)施例的元數(shù)據(jù)提供終端10的配置和操作。在此詳細(xì)描述用于便于視頻時(shí)間線元數(shù)據(jù)的標(biāo)注處理的機(jī)制。然后，將參考圖36至44來描述根據(jù)本實(shí)施例的元數(shù)據(jù)管理系統(tǒng)20的配置和操作。將在此詳細(xì)描述用于整合由多個(gè)用戶設(shè)置的多個(gè)視頻時(shí)間線元數(shù)據(jù)的處理的細(xì)節(jié)和用于促進(jìn)視頻時(shí)間線元數(shù)據(jù)的設(shè)置操作的機(jī)制。接下來，將參考圖45至52來描述元數(shù)據(jù)用戶終端30的配置和操作。在此將詳細(xì)描述使用視頻時(shí)間線元數(shù)據(jù)的用戶界面的配置。然后，將參考圖53至59來描述根據(jù)本實(shí)施例的視頻時(shí)間線元數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)。然后，將參考圖60來描述根據(jù)本實(shí)施例的能夠?qū)崿F(xiàn)元數(shù)據(jù)提供終端10、元數(shù)據(jù)管理系統(tǒng)20和元數(shù)據(jù)用戶終端30的功能的信息處理設(shè)備的一個(gè)示例硬件配置。最后，將總結(jié)實(shí)施例的技術(shù)構(gòu)思，并將簡(jiǎn)述由該技術(shù)構(gòu)思獲得的效果。
(說明項(xiàng)目)I:引言2 :實(shí)施例2-1 :系統(tǒng)的整體配置和操作2-2 :元數(shù)據(jù)提供終端10的配置2-3 :元數(shù)據(jù)提供終端10的操作 2-3-1 :預(yù)處理2-3-2 :標(biāo)注處理2-4 :元數(shù)據(jù)管理系統(tǒng)20的配置2-5 :元數(shù)據(jù)管理系統(tǒng)20的操作2-5-1 :整合處理2-5-2:其他功能2-6 :元數(shù)據(jù)用戶終端30的配置和操作2-7 :視頻時(shí)間線元數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)3 :硬件配置4 :總結(jié)〈I:引言〉首先，將描述根據(jù)本實(shí)施例的通過使用視頻時(shí)間線元數(shù)據(jù)實(shí)現(xiàn)的用戶界面和應(yīng)用。還將描述根據(jù)本實(shí)施例的視頻時(shí)間線元數(shù)據(jù)。當(dāng)觀看諸如視頻圖像或TV畫面等視頻時(shí)，視頻中出現(xiàn)的人或物體等會(huì)吸引人們的關(guān)注。或者，人們可能不僅關(guān)注人或物體，而且還關(guān)注在視頻中出現(xiàn)的地點(diǎn)、視頻的創(chuàng)建者或視頻故事如何展現(xiàn)，并且可能要獲得與這樣的事項(xiàng)相關(guān)的詳細(xì)信息。例如，用戶在觀看TV劇的同時(shí)可能想要知道TV劇中出現(xiàn)的人所主演的其他視頻。另一用戶在觀看電影的同時(shí)可能會(huì)關(guān)注電影中出現(xiàn)的男演員所穿的衣服。過去，當(dāng)試圖如上所述地獲得信息時(shí)，許多用戶操作獨(dú)立提供的信息電器，并且從網(wǎng)絡(luò)中獲取信息，或者將屏幕切換到數(shù)據(jù)廣播顯示模式并且獲取信息。然而，麻煩的是，需要停止觀看視頻以進(jìn)行啟動(dòng)信息電器和在搜索引擎中輸入適當(dāng)?shù)乃阉麝P(guān)鍵字等操作。而且，在許多情況下，在數(shù)據(jù)廣播中，得不到期望的信息。而且，沒有適合于實(shí)時(shí)地獲取根據(jù)正在被觀看的場(chǎng)景的相關(guān)信息的方法。鑒于這些情況，促使本發(fā)明人來實(shí)現(xiàn)能夠?qū)崟r(shí)地觀看與在正在被觀看的場(chǎng)景中出現(xiàn)的人或?qū)ο蟮认嚓P(guān)的信息。例如，如圖I中所示，期望使得能夠?qū)崟r(shí)地顯示在視頻的場(chǎng)景中出現(xiàn)的人的相關(guān)信息。此外，如圖2中所示，期望使得能夠?qū)崟r(shí)地顯示在視頻的場(chǎng)景中出現(xiàn)的人的相關(guān)信息、人正在穿著的衣物的相關(guān)信息或與場(chǎng)景的拍攝位置相關(guān)的相關(guān)信息。而且，如圖3中所示，期望不僅實(shí)現(xiàn)在視頻再現(xiàn)時(shí)顯示相關(guān)信息，而且實(shí)現(xiàn)當(dāng)用戶選擇某一角色時(shí)顯示所選擇的角色的相關(guān)信息的用戶界面。為了實(shí)現(xiàn)這樣的相關(guān)信息的顯示，必須預(yù)先準(zhǔn)備在每一視頻幀中出現(xiàn)的人或物體等(以下稱為目標(biāo)對(duì)象)的信息(以下稱為視頻時(shí)間線元數(shù)據(jù))。例如，如果針對(duì)每個(gè)視頻幀來準(zhǔn)備用于指示特定目標(biāo)對(duì)象是否出現(xiàn)在視頻幀中的信息(以下稱為區(qū)間元數(shù)據(jù))和目標(biāo)對(duì)象的相關(guān)信息(以下稱為對(duì)象元數(shù)據(jù))，則可以在每一視頻幀再現(xiàn)時(shí)實(shí)時(shí)地顯示目標(biāo)對(duì)象的相關(guān)信息。而且，如圖I中所示，如果準(zhǔn)備了用于指示目標(biāo)對(duì)象在每一視頻幀內(nèi)出現(xiàn)的位置或范圍(以下稱為區(qū)域元數(shù)據(jù))的信息，則可以與目標(biāo)對(duì)象的位置或范圍相關(guān)聯(lián)地顯示相關(guān)信息。而且，如果使用區(qū)域元數(shù)據(jù)，則可以將在屏幕中顯示的目標(biāo)對(duì)象的位置或范圍與由用戶指定的位置相匹配，并且，如圖3中所示，可以實(shí)現(xiàn)根據(jù)用戶對(duì)位置的指定來顯示相關(guān)信息的用戶界面。而且，當(dāng)使用區(qū)間元數(shù)據(jù)時(shí)，可以識(shí)別其中特定目標(biāo)對(duì)象出現(xiàn)的區(qū)間，并且因此，可以向用戶呈現(xiàn)其中特定目標(biāo)對(duì)象出現(xiàn)的區(qū)間，或者，如圖4中所示，使得能夠僅再現(xiàn)其中特定目標(biāo)對(duì)象出現(xiàn)的區(qū)間。在圖4的示例中，示出了向用戶呈現(xiàn)人物出現(xiàn)的場(chǎng)景與場(chǎng)景中出現(xiàn)的人物相關(guān)聯(lián)的信息(出現(xiàn)區(qū)間的時(shí)間信息)的示例。而且，當(dāng)使用關(guān)于多個(gè)視頻的多個(gè)區(qū)間元數(shù)據(jù)時(shí)，可以實(shí)現(xiàn)如圖5中所示的超鏈接視頻瀏覽。在此，超鏈接 視頻瀏覽表示在視頻中出現(xiàn)的目標(biāo)對(duì)象作為關(guān)鍵信息的情況下在視頻之間進(jìn)行切換的同時(shí)觀看視頻的操作方法。例如，在圖5的示例中，當(dāng)選擇了在視頻#1中的場(chǎng)景中出現(xiàn)的某個(gè)人時(shí)，開始再現(xiàn)其中出現(xiàn)了該人的視頻#2，并且當(dāng)選擇了在視頻#2中的場(chǎng)景中出現(xiàn)的某個(gè)對(duì)象時(shí)，開始再現(xiàn)出現(xiàn)了該對(duì)象的視頻#4。以這種方式，通過在觀看視頻的同時(shí)選擇得到他/她的關(guān)注的目標(biāo)對(duì)象，使得用戶能夠在目標(biāo)對(duì)象出現(xiàn)的視頻之間自由切換的同時(shí)觀看視頻。在此，參見圖6，將補(bǔ)充對(duì)視頻時(shí)間線元數(shù)據(jù)的結(jié)構(gòu)的說明。根據(jù)區(qū)域元數(shù)據(jù)、區(qū)間元數(shù)據(jù)和對(duì)象元數(shù)據(jù)來構(gòu)造視頻時(shí)間線元數(shù)據(jù)。區(qū)域元數(shù)據(jù)是用于指示在每一視頻幀中出現(xiàn)的目標(biāo)對(duì)象的位置和范圍(以下稱為區(qū)域)的元數(shù)據(jù)。例如，在圖6中，通過陰影圓圈來示出人的面部區(qū)域。在該情況下，通過圓圈的中心坐標(biāo)來表達(dá)面部區(qū)域的位置。此外，通過圓圈的半徑來表達(dá)面部區(qū)域的范圍。另外，區(qū)域的形狀可以是矩形。在區(qū)域的形狀是矩形的情況下，通過例如矩形的左上角(當(dāng)然，也可接受左下角、右上角或右下角)的坐標(biāo)來表達(dá)區(qū)域的位置。還通過矩形的高度和寬度表達(dá)區(qū)域的范圍。另一方面，區(qū)間元數(shù)據(jù)是用于指示目標(biāo)對(duì)象出現(xiàn)的區(qū)間的元數(shù)據(jù)。例如，在人物A出現(xiàn)在第十視頻幀至第80視頻幀中的情況下，關(guān)于人物A的區(qū)間元數(shù)據(jù)指示與第10至第80視頻幀對(duì)應(yīng)的區(qū)間。區(qū)間元數(shù)據(jù)是針對(duì)每一視頻以及出現(xiàn)在該視頻中的每一目標(biāo)對(duì)象來準(zhǔn)備的。當(dāng)參考區(qū)間元數(shù)據(jù)時(shí)，可得知特定目標(biāo)對(duì)象是否出現(xiàn)在視頻中。另外，當(dāng)使用區(qū)間元數(shù)據(jù)時(shí)，可以得知每一個(gè)視頻中出現(xiàn)了特定目標(biāo)對(duì)象的區(qū)間的長(zhǎng)度。而且，當(dāng)使用區(qū)間元數(shù)據(jù)時(shí)，因?yàn)榭梢宰R(shí)別在同一視頻中出現(xiàn)的目標(biāo)對(duì)象的組合，所以例如可以檢測(cè)聯(lián)合主演者的關(guān)系或者可以計(jì)算聯(lián)合主演的時(shí)間。另外，假定由與視頻提供者不同的元數(shù)據(jù)提供者執(zhí)行如圖7中所示的視頻時(shí)間線元數(shù)據(jù)的提供。而且，假定通過使用視頻分析技術(shù)或通過人為輸入來創(chuàng)建視頻時(shí)間線元數(shù)據(jù)。例如，當(dāng)使用面部識(shí)別技術(shù)或面部跟蹤技術(shù)等時(shí)，可以自動(dòng)地檢測(cè)在每一個(gè)視頻幀中出現(xiàn)的人?？梢酝ㄟ^使用檢測(cè)結(jié)果來創(chuàng)建視頻時(shí)間線元數(shù)據(jù)。然而，當(dāng)使用這樣的自動(dòng)檢測(cè)技術(shù)時(shí)，易于出現(xiàn)諸如錯(cuò)誤檢測(cè)、錯(cuò)誤識(shí)別或檢測(cè)失敗等錯(cuò)誤。因此，必須對(duì)已經(jīng)出現(xiàn)錯(cuò)誤的區(qū)間人為地執(zhí)行視頻時(shí)間線元數(shù)據(jù)的校正或增加，或者，必須從開始就人為地創(chuàng)建視頻時(shí)間線元數(shù)據(jù)。當(dāng)然，當(dāng)人為地創(chuàng)建視頻時(shí)間線元數(shù)據(jù)時(shí)，可以實(shí)現(xiàn)較高準(zhǔn)確度。然而，構(gòu)成視頻的視頻幀的數(shù)量極大。因此，難以人為地使用視頻時(shí)間線元數(shù)據(jù)來標(biāo)注每一個(gè)視頻幀。因此，本發(fā)明人已開發(fā)了一種用戶界面，該用戶界面能夠簡(jiǎn)化視頻時(shí)間線元數(shù)據(jù)的人為標(biāo)注操作，并且大大地降低用戶的工作負(fù)荷。此外，本發(fā)明人已經(jīng)設(shè)計(jì)了能夠由一起工作的多個(gè)用戶來創(chuàng)建視頻時(shí)間線元數(shù)據(jù)的機(jī)制。通過應(yīng)用這些技術(shù)，可以提供高度精確的視頻時(shí)間線元數(shù)據(jù)。而且，實(shí)現(xiàn)了使用視頻時(shí)間線元數(shù)據(jù)的各個(gè)應(yīng)用。例如，使得能夠?qū)崿F(xiàn)如圖I至3中所示的相關(guān)信息的實(shí)時(shí)顯示。而且，使得能夠?qū)崿F(xiàn)如圖4中所示的出現(xiàn)區(qū)間的顯示或出現(xiàn)了特定角色的場(chǎng)景的選擇性再現(xiàn)。而且，使得能夠個(gè)實(shí)現(xiàn)如圖5中所示的超鏈接視頻瀏覽。
下文將詳細(xì)描述根據(jù)本實(shí)施例的視頻時(shí)間線元數(shù)據(jù)的標(biāo)注方法、用于視頻時(shí)間線元數(shù)據(jù)的標(biāo)注的用戶界面的配置和使用視頻時(shí)間線元數(shù)據(jù)的應(yīng)用。〈2.實(shí)施例〉下面將描述根據(jù)本實(shí)施例的技術(shù)的實(shí)施例。[2-1 :系統(tǒng)的操作的整體配置]首先，將參考圖8和9來描述能夠執(zhí)行根據(jù)本實(shí)施例的一系列處理的系統(tǒng)的配置和操作。圖8和9是用于描述本實(shí)施例的能夠執(zhí)行根據(jù)圖8和9的一系列處理的系統(tǒng)的配置和操作的示意圖。(配置)如圖8中所示，根據(jù)本實(shí)施例的系統(tǒng)主要包括元數(shù)據(jù)提供終端10、元數(shù)據(jù)管理系統(tǒng)20和元數(shù)據(jù)用戶終端30。元數(shù)據(jù)提供終端10提供了用于視頻時(shí)間線元數(shù)據(jù)的標(biāo)注操作的用戶界面，并且執(zhí)行與視頻時(shí)間線元數(shù)據(jù)的標(biāo)注相關(guān)的處理。而且，元數(shù)據(jù)提供終端10向元數(shù)據(jù)管理系統(tǒng)20提供用于標(biāo)注的視頻時(shí)間線元數(shù)據(jù)。另外，還可以配置其中從元數(shù)據(jù)提供終端10向元數(shù)據(jù)用戶終端30直接地提供視頻時(shí)間線元數(shù)據(jù)的系統(tǒng)。此外，在圖8中，僅提供了一個(gè)元數(shù)據(jù)提供終端10，但是還可以在系統(tǒng)中提供多個(gè)元數(shù)據(jù)提供終端10。在下文的說明書中，假定存在多個(gè)元數(shù)據(jù)提供者并且在系統(tǒng)中存在多個(gè)元數(shù)據(jù)提供終端10。元數(shù)據(jù)管理系統(tǒng)20累積由元數(shù)據(jù)提供終端10提供的視頻時(shí)間線元數(shù)據(jù)。此外，在提供與同一視頻相關(guān)的多個(gè)視頻時(shí)間線元數(shù)據(jù)的情況下，元數(shù)據(jù)管理系統(tǒng)20整合這些視頻時(shí)間線元數(shù)據(jù)。而且，元數(shù)據(jù)管理系統(tǒng)20還可以包括用于通過使用社會(huì)網(wǎng)絡(luò)服務(wù)(Social Network Service,以下稱為SNS)來使得能夠在多個(gè)用戶之間共享視頻時(shí)間線元數(shù)據(jù)的功能。而且，元數(shù)據(jù)管理系統(tǒng)20還可以包括獎(jiǎng)勵(lì)元數(shù)據(jù)提供者的功能。而且，元數(shù)據(jù)管理系統(tǒng)20還可以包括用于向元數(shù)據(jù)提供終端10發(fā)送有助于視頻時(shí)間線元數(shù)據(jù)的標(biāo)注操作的信息的功能。元數(shù)據(jù)用戶終端30從元數(shù)據(jù)管理系統(tǒng)20獲取視頻時(shí)間線元數(shù)據(jù)，并且使用所獲取的視頻時(shí)間線元數(shù)據(jù)來提供各種功能。例如，元數(shù)據(jù)用戶終端30使用視頻時(shí)間線元數(shù)據(jù)來提供顯示相關(guān)信息的功能、場(chǎng)景搜索/再現(xiàn)功能(顯示出現(xiàn)區(qū)間的功能和選擇性地再現(xiàn)出現(xiàn)區(qū)間的功能等)和超鏈接視頻瀏覽功能等。即，元數(shù)據(jù)用戶終端30提供用于使用視頻時(shí)間線元數(shù)據(jù)的應(yīng)用的執(zhí)行環(huán)境。(操作)根據(jù)本實(shí)施例的系統(tǒng)執(zhí)行在圖9中所示的一系列處理。首先，圖像顯示設(shè)備100或元數(shù)據(jù)管理系統(tǒng)20執(zhí)行預(yù)處理(S10)。步驟SlO的預(yù)處理主要用于通過使用諸如目標(biāo)識(shí)別技術(shù)或目標(biāo)檢測(cè)/目標(biāo)跟蹤技術(shù)等視頻分析技術(shù)來自動(dòng)地檢測(cè)在視頻中出現(xiàn)的目標(biāo)對(duì)象的處理。作為目標(biāo)檢測(cè)/對(duì)象跟蹤技術(shù),可以使用例如JP 2005-44330A中描述的技術(shù)。而且，作為目標(biāo)識(shí)別技術(shù)，可以使用例如JP 2007-65766A中描述的技術(shù)。如下所述，通過預(yù)先執(zhí)行預(yù)處理，可以減小要新標(biāo)注的目標(biāo)對(duì)象的數(shù)量和視頻幀的數(shù)量，并且可以降低標(biāo)注操作的負(fù)擔(dān)。然而，可以省略該預(yù)處理。在省略預(yù)處理的情況下，將使用視頻時(shí)間線元數(shù)據(jù)來人為地標(biāo)注所有的視頻幀。而且，預(yù)處理可由元數(shù)據(jù)提供終端10或元數(shù)據(jù)管理系統(tǒng)20來執(zhí)行。下面的描述中將假定由元數(shù)據(jù)提供終端10來執(zhí)行預(yù)處理。在執(zhí)行預(yù)處理后，元數(shù)據(jù)提供終端10執(zhí)行與視頻時(shí)間線元數(shù)據(jù)的標(biāo)注相關(guān)的處理(S20)。例如，元數(shù)據(jù)提供終端10再現(xiàn)作為標(biāo)注的目標(biāo)的視頻，并且接收用戶的輸入。此時(shí)，元數(shù)據(jù)提供終端10提供有助于用戶的標(biāo)注操作的用戶界面。然后，元數(shù)據(jù)提供終端10根據(jù)用戶的輸入來創(chuàng)建視頻時(shí)間線元數(shù)據(jù)，并且向元數(shù)據(jù)管理系統(tǒng)20提供視頻時(shí)間線元數(shù)據(jù)。接下來，元數(shù)據(jù)管理系統(tǒng)20對(duì)由元數(shù)據(jù)提供終端10提供的視頻時(shí)間線元數(shù)據(jù)執(zhí)行后處理(S30)。這個(gè)后處理一般是用于整合利用同一視頻作為目標(biāo)來設(shè)置的多個(gè)視頻時(shí)間線元數(shù)據(jù)的處理。然后，元數(shù)據(jù)用戶終端30從元數(shù)據(jù)管理系統(tǒng)20獲取視頻時(shí)間線元數(shù)據(jù)，并且通過使用所獲取的視頻時(shí)間線元數(shù)據(jù)來向用戶提供諸如相關(guān)信息的顯示等各種功能(S40)。已經(jīng)描述了能夠執(zhí)行根據(jù)本實(shí)施例的一系列處理的系統(tǒng)的配置和操作。下面，將參考圖9中所示的處理的流程來詳細(xì)描述元數(shù)據(jù)提供終端10、元數(shù)據(jù)管理系統(tǒng)20和元數(shù)據(jù)用戶終端30的詳細(xì)功能配置和在每一個(gè)步驟中的處理。[2-2 :元數(shù)據(jù)提供終端10的配置]首先，將參考圖10來描述元數(shù)據(jù)提供終端10的功能配置。圖10是用于描述元數(shù)據(jù)提供終端10的功能配置的示意圖。如圖10中所示，元數(shù)據(jù)提供終端10主要由存儲(chǔ)單元101、解碼器102、區(qū)域提取單元103、區(qū)域處理單元104、目標(biāo)識(shí)別單元105、元數(shù)據(jù)提供單元106、再現(xiàn)控制單元107、顯示單元108、輸入單元109、移動(dòng)距離計(jì)算單元110和相似度分?jǐn)?shù)計(jì)算單元111。另外，區(qū)域提取單元103、區(qū)域處理單元104和目標(biāo)識(shí)別單元105構(gòu)成視頻分析塊。在省略圖9中所示的步驟SlO的預(yù)處理的情況下，可以省略視頻分析塊。還可以在元數(shù)據(jù)管理系統(tǒng)20或用于視頻分析的其他裝置中設(shè)置視頻分析塊，以省略元數(shù)據(jù)提供終端10的視頻分析塊。然而，下文的說明書中，假定在元數(shù)據(jù)提供終端10中設(shè)置有視頻分析塊。在存儲(chǔ)單元101中存儲(chǔ)視頻。在存儲(chǔ)單元101中存儲(chǔ)的視頻被解碼器102解碼，并且被輸入到區(qū)域提取單元103、再現(xiàn)控制單元107和相似度分?jǐn)?shù)計(jì)算單元111。區(qū)域提取單元103使用目標(biāo)檢測(cè)/對(duì)象跟蹤技術(shù)等，并且提取在輸入視頻的每一視頻幀中出現(xiàn)的目標(biāo)對(duì)象的位置和范圍(以下稱為目標(biāo)區(qū)域)。關(guān)于由區(qū)域提取單元103提取的目標(biāo)區(qū)域的信 息被輸入到區(qū)域處理單元104。區(qū)域處理單元104基于關(guān)于已經(jīng)輸入的目標(biāo)區(qū)域的信息來處理目標(biāo)區(qū)域。例如，區(qū)域處理單元104去除出現(xiàn)時(shí)間短的目標(biāo)區(qū)域或尺寸小的目標(biāo)區(qū)域，或者組合在同一視頻幀中出現(xiàn)的相同類型的目標(biāo)區(qū)域。關(guān)于已經(jīng)被區(qū)域處理單元104處理的目標(biāo)區(qū)域的信息被輸入到目標(biāo)識(shí)別單元105。目標(biāo)識(shí)別單元105基于在已經(jīng)輸入的每一個(gè)目標(biāo)區(qū)域中包括的目標(biāo)對(duì)象的特征來簇化目標(biāo)對(duì)象，并且確定用于表示每一簇的目標(biāo)對(duì)象的特征。然后，目標(biāo)識(shí)別單元105參考用于將目標(biāo)對(duì)象的特征和目標(biāo)對(duì)象的標(biāo)識(shí)信息相關(guān)聯(lián)的數(shù)據(jù)庫，并且基于用于表示每一簇的目標(biāo)對(duì)象的特征來將目標(biāo)對(duì)象的標(biāo)識(shí)信息與每一簇相關(guān)聯(lián)。在這個(gè)階段獲取關(guān)于在每一個(gè)視頻幀中出現(xiàn)的每一個(gè)目標(biāo)區(qū)域的信息和與每一個(gè)目標(biāo)區(qū)域?qū)?yīng)的目標(biāo)對(duì)象的標(biāo)識(shí)信息。即，針對(duì)基于標(biāo)識(shí)信息而分類的每種類型的目標(biāo)對(duì)象，獲得出現(xiàn)目標(biāo)對(duì)象的區(qū)間(區(qū)間元數(shù)據(jù))以及每一視頻幀中目標(biāo)對(duì)象的位置和范圍(區(qū)域元數(shù)據(jù))。然而，視頻分析塊獲得的區(qū)間元數(shù)據(jù)和區(qū)域元數(shù)據(jù)包含可能已在目標(biāo)檢測(cè)/對(duì)象跟蹤和目標(biāo)識(shí)別時(shí)發(fā)生的錯(cuò)誤檢測(cè)、檢測(cè)失敗或錯(cuò)誤識(shí)別等的影響。因此，必須人為地校正通過視頻分析塊獲得的區(qū)間元數(shù)據(jù)和區(qū)域元數(shù)據(jù)。通過視頻分析塊獲得的區(qū)間元數(shù)據(jù)和區(qū)域元數(shù)據(jù)被輸入到元數(shù)據(jù)提供單元106、再現(xiàn)控制單元107和移動(dòng)距離計(jì)算單元110。元數(shù)據(jù)提供單元106基于用戶通過輸入單元109輸入的目標(biāo)區(qū)域的信息來校正視 頻分析塊獲得的區(qū)間元數(shù)據(jù)和區(qū)域元數(shù)據(jù)。然而，在省略視頻分析塊的情況下，元數(shù)據(jù)提供單元106基于由用戶通過輸入單元109輸入的目標(biāo)區(qū)域的信息來產(chǎn)生區(qū)間元數(shù)據(jù)和區(qū)域元數(shù)據(jù)。然后，元數(shù)據(jù)提供單元106向元數(shù)據(jù)管理系統(tǒng)20提供區(qū)域元數(shù)據(jù)和區(qū)間元數(shù)據(jù)。另夕卜，在用戶輸入對(duì)象元數(shù)據(jù)的情況下，元數(shù)據(jù)提供單元106向元數(shù)據(jù)管理系統(tǒng)20提供所輸入的對(duì)象元數(shù)據(jù)。再現(xiàn)控制單元107再現(xiàn)視頻，并且使得顯示單元108顯示視頻。另外，為了有助于用戶的輸入操作，再現(xiàn)控制單元107調(diào)整視頻的再現(xiàn)速度或跳過一些視頻幀的再現(xiàn)。而且，再現(xiàn)控制單元107顯示與用戶指定的目標(biāo)區(qū)域有關(guān)的信息，或者顯示用于向目標(biāo)區(qū)域添加對(duì)象元數(shù)據(jù)的菜單。另外，下面將描述再現(xiàn)控制單元107的詳細(xì)功能。顯示單元108是諸如IXD (液晶顯示器)或ELD (電致發(fā)光顯示器)等顯示裝置。輸入單元109也是輸入裝置，如觸摸板、觸控板、鼠標(biāo)、遙控器、游戲控制器、凝視輸入裝置、手勢(shì)輸入裝置或音頻輸入裝置等。另外，手勢(shì)輸入裝置是通過使用相機(jī)或傳感器等來檢測(cè)用戶的運(yùn)動(dòng)并且基于檢測(cè)結(jié)果來識(shí)別用戶的運(yùn)動(dòng)的裝置。下面的說明中假定使用觸摸板作為輸入裝置。移動(dòng)距離計(jì)算單元110計(jì)算在相鄰的視頻幀中目標(biāo)區(qū)域的移動(dòng)距離。例如，移動(dòng)距離計(jì)算單元110使用由視頻分析塊獲得的區(qū)域元數(shù)據(jù)，并且計(jì)算同一目標(biāo)對(duì)象的目標(biāo)區(qū)域在相鄰的視頻幀上移動(dòng)的距離。這個(gè)距離用于確定要跳過的視頻幀。移動(dòng)距離計(jì)算單元110還計(jì)算用戶通過輸入單元109輸入的目標(biāo)對(duì)象的移動(dòng)距離。這個(gè)移動(dòng)距離用于再現(xiàn)速度的調(diào)整。關(guān)于由移動(dòng)距離計(jì)算單元110計(jì)算的距離的信息被輸入到再現(xiàn)控制單元107和元數(shù)據(jù)提供單元106。相似度分?jǐn)?shù)計(jì)算單元111針對(duì)相鄰的視頻幀來計(jì)算所述視頻幀之間的相似度分?jǐn)?shù)(similarity score)。例如,相似度分?jǐn)?shù)計(jì)算單元111使用JP2007-206920A中描述的方法來計(jì)算視頻幀之間的相似度分?jǐn)?shù)。這個(gè)相似度分?jǐn)?shù)用于要跳過的視頻幀的確定。由移動(dòng)距離計(jì)算單元110計(jì)算的相似度分?jǐn)?shù)被輸入到再現(xiàn)控制單元107和元數(shù)據(jù)提供單元106。上面已經(jīng)描述了元數(shù)據(jù)提供終端10的主要功能配置。[2-3 :元數(shù)據(jù)提供終端10的操作]接下來，將參考圖11至35描述元數(shù)據(jù)提供終端10的操作。還將補(bǔ)充關(guān)于元數(shù)據(jù)提供終端10的詳細(xì)功能配置的說明。圖11至35是用于描述元數(shù)據(jù)提供終端10的操作的示意圖。(2-3-1 :預(yù)處理)首先，將參考圖11來描述元數(shù)據(jù)提供終端10的與預(yù)處理(在圖9中的步驟S10)相關(guān)的操作。圖11是用于描述元數(shù)據(jù)提供終端10的與預(yù)處理相關(guān)的操作的示意圖。如圖11中所示，元數(shù)據(jù)提供終端10通過解碼器102的功能來解碼 從存儲(chǔ)單元101讀取的視頻(S101)。然后，元數(shù)據(jù)提供終端10通過區(qū)域提取單元103的功能來執(zhí)行目標(biāo)區(qū)域的檢測(cè)和跟蹤(S102)。另外，可以通過使用例如JP 2005-44330A中描述的技術(shù)來實(shí)現(xiàn)目標(biāo)區(qū)域的檢測(cè)和跟蹤。在目標(biāo)對(duì)象是人的面部的情況下，元數(shù)據(jù)用戶終端30通過圖12中所示的方法來檢測(cè)目標(biāo)區(qū)域(在該情況下，為面部區(qū)域)。首先，區(qū)域提取單元103通過移動(dòng)面部檢測(cè)器(圖12的示例中的矩形窗口)來掃描一個(gè)視頻幀的整個(gè)圖像，并且檢測(cè)面部區(qū)域。然后，區(qū)域提取單元103試圖在移動(dòng)面部檢測(cè)器的同時(shí)相對(duì)于下一視頻幀來檢測(cè)面部區(qū)域。此時(shí)，區(qū)域提取單元103通過掃描在前一視頻幀中檢測(cè)到的面部區(qū)域的周圍來檢測(cè)面部區(qū)域。然后，區(qū)域提取單元103在相對(duì)于下一視頻幀而移動(dòng)面部檢測(cè)器的同時(shí)通過掃描前一視頻幀中檢測(cè)到的面部區(qū)域的周圍來檢測(cè)面部區(qū)域。圖12的示例示出與面部區(qū)域的檢測(cè)和跟蹤相關(guān)的處理的細(xì)節(jié)，但是，如圖13中所示，還可以相對(duì)于整個(gè)人、汽車和字母等以相同的方式來進(jìn)行區(qū)域的檢測(cè)和跟蹤。圖13的示例示出與人區(qū)域、汽車區(qū)域和字母區(qū)域的檢測(cè)和跟蹤相關(guān)的處理的細(xì)節(jié)。另外，目標(biāo)區(qū)域的形狀可以如圖12中所示的那樣是矩形的，或者可以是圓形的或任何其他形狀。當(dāng)目標(biāo)區(qū)域的形狀是矩形時(shí)，例如通過相對(duì)于左上角的坐標(biāo)(x，y)、高度h和寬度w來表達(dá)目標(biāo)區(qū)域的位置和范圍。另一方面，在目標(biāo)區(qū)域的形狀是圓形的情況下，通過例如中心坐標(biāo)(x，y)和半徑r來表達(dá)目標(biāo)區(qū)域的位置和范圍。將再次參考圖11。已經(jīng)以上述方式檢測(cè)到目標(biāo)區(qū)域的元數(shù)據(jù)提供終端10通過區(qū)域處理單元104的功能來計(jì)算每一個(gè)目標(biāo)區(qū)域的RPS (Region Priority Score,區(qū)域優(yōu)先級(jí)分?jǐn)?shù))(S103)。通過下面的表達(dá)式(I)來定義這個(gè)RPS。Type (類型)指示根據(jù)在目標(biāo)區(qū)域中包括的目標(biāo)對(duì)象的類型(如面部、人、字母或物體等)的分?jǐn)?shù)。而且，Sqr指示根據(jù)目標(biāo)區(qū)域在一個(gè)完整視頻幀中占用的面積的分?jǐn)?shù)。而且，AT指示目標(biāo)區(qū)域的出現(xiàn)的時(shí)間的長(zhǎng)度。而且，α、β和Y指示歸一化因子。表達(dá)式(I)RPS= α X Type+ β X Sqr+ Y X Δ T例如，如圖14中所示，在以5個(gè)視頻幀作為目標(biāo)的情況下，假定檢測(cè)到人區(qū)域、汽車區(qū)域和動(dòng)物區(qū)域，作為目標(biāo)區(qū)域的結(jié)果。另外，在圖14的示例中，人區(qū)域位于第一至第五視頻幀中，汽車區(qū)域位于第二和第三視頻幀中，并且動(dòng)物區(qū)域位于第一至第三視頻幀中。而且，假定為人區(qū)域分配分?jǐn)?shù)Type=5. O,為汽車區(qū)域分配分?jǐn)?shù)Type=L O,為動(dòng)物區(qū)域分配分?jǐn)?shù) Type=3. O。而且，基于目標(biāo)區(qū)域的檢測(cè)結(jié)果，假定與人區(qū)域的面積對(duì)應(yīng)的Sqr是2. 0，與汽車區(qū)域的面積對(duì)應(yīng)的Sqr是8.0，與動(dòng)物區(qū)域的面積對(duì)應(yīng)的Sqr是3. O。而且，假定人區(qū)域的出現(xiàn)時(shí)間是ΛΤ=5.0，汽車區(qū)域的出現(xiàn)時(shí)間是ΛΤ=2.0，并且動(dòng)物區(qū)域的出現(xiàn)時(shí)間是ΔΤ=3. O0 在該情況下，當(dāng) α=β = γ=1 時(shí)，人區(qū)域的 RPS 是 RPS(人)=5.0+2. 0+5. 0=12. O。此外，汽車區(qū)域的RPS是RPS (汽車)=1. 0+8. 0+2. 0=11. O。此外，動(dòng)物區(qū)域的RPS是RPS (動(dòng)物)=3· 0+1. 0+3. 0=7. O。再一次參考圖11，在以如上所述的方式計(jì)算了每種類型的目標(biāo)對(duì)象的目標(biāo)區(qū)域的RPS后，元數(shù)據(jù)提供終端10通過區(qū)域處理單元104的功能來確定每一 RPS是否等于或大于預(yù)定閾值(S104)。然后，元數(shù)據(jù)提供終端10通過區(qū)域處理單元104的功能來去除RPS小于預(yù)定閾值的目標(biāo)區(qū)域。即，元數(shù)據(jù)提供終端10通過元數(shù)據(jù)用戶終端30從目標(biāo)區(qū)域的檢測(cè)結(jié)果中去除RPS低于預(yù)定閾值的目標(biāo)區(qū)域。例如，在圖14的情況下，當(dāng)預(yù)定閾值是8. O時(shí)，從目標(biāo)區(qū)域的檢測(cè)結(jié)果中去除動(dòng)物區(qū)域。另外，可以通過將整個(gè)視頻作為目標(biāo)來計(jì)算RPS，或者可以通過在移動(dòng)RPS計(jì)算窗口的同時(shí)以從預(yù)定數(shù)量的視頻幀形成的、包括于RPS計(jì)算窗口中的視頻幀組作為目標(biāo)，以如圖15中所示的那樣進(jìn)行該計(jì)算。當(dāng)基于RPS計(jì)算窗口來計(jì)算RPS時(shí)，從包括于每一個(gè)RPS計(jì)算窗口中的視頻幀內(nèi)檢測(cè)的目標(biāo)區(qū)域中去除針對(duì)每一個(gè)PS計(jì)算窗口計(jì)算的RPS低于預(yù)定閾值的目標(biāo)區(qū)域。 將再一次參考圖11。在以如上所述的方式去除RPS小于預(yù)定閾值的目標(biāo)區(qū)域后，元數(shù)據(jù)提供終端10通過區(qū)域處理單元104的功能來計(jì)算剩余目標(biāo)區(qū)域的寬度和高度(在目標(biāo)區(qū)域?yàn)閳A形的情況下，為半徑)(S105)。然后，元數(shù)據(jù)提供終端10通過區(qū)域處理單元104的功能去除寬度或高度小于預(yù)定閾值的目標(biāo)區(qū)域(S106)。即，元數(shù)據(jù)提供終端10通過區(qū)域處理單元104的功能，從RPS等于或大于預(yù)定閾值的目標(biāo)區(qū)域中去除寬度或高度小于預(yù)定閾值的目標(biāo)區(qū)域。接下來，元數(shù)據(jù)提供終端10通過區(qū)域處理單元104的功能來組合同一視頻幀內(nèi)位置彼此接近的同一類型的目標(biāo)區(qū)域(S107)。如圖16中所示，在具有小尺寸的多個(gè)目標(biāo)區(qū)域位置彼此接近的情況下，區(qū)域處理單元104通過組合所述多個(gè)目標(biāo)區(qū)域來創(chuàng)建大目標(biāo)區(qū)域。另外，在圖11的示例中，在步驟S106中確定目標(biāo)區(qū)域的寬度和高度的閾值，但是，可以進(jìn)行修改，其中，在步驟S107后執(zhí)行步驟S105和S106的處理。利用這種配置，通過組合而變大的小目標(biāo)區(qū)域可以保持不被去除。已組合了目標(biāo)區(qū)域的元數(shù)據(jù)提供終端10通過目標(biāo)識(shí)別單元105的功能對(duì)目標(biāo)區(qū)域進(jìn)行簇化(S108)。例如，如圖17中所示，假定從視頻(視頻內(nèi)容)中檢測(cè)到5個(gè)面部跟蹤的區(qū)間(檢測(cè)結(jié)果I至5)，作為面部檢測(cè)/面部跟蹤的結(jié)果(面部跟蹤結(jié)果)。在該情況下，目標(biāo)識(shí)別單元105基于在每一個(gè)檢測(cè)結(jié)果中包括的面部的特征來整合與同一人相關(guān)的多個(gè)面部跟蹤區(qū)間。在圖17的示例中，假定面部特征在檢測(cè)結(jié)果I和檢測(cè)結(jié)果3之間相似。在該情況下，目標(biāo)識(shí)別單元105使得與檢測(cè)結(jié)果3對(duì)應(yīng)的面部區(qū)域?qū)儆谂c對(duì)應(yīng)于檢測(cè)結(jié)果I的面部區(qū)域相同的簇，并且整合對(duì)應(yīng)的兩個(gè)面部跟蹤區(qū)間。而且，在圖17的示例中，假定面部特征在檢測(cè)結(jié)果I和檢測(cè)結(jié)果5之間是相似的。在該情況下，目標(biāo)識(shí)別單元105使得與檢測(cè)結(jié)果5對(duì)應(yīng)的面部區(qū)域?qū)儆谂c對(duì)應(yīng)于檢測(cè)結(jié)果I的面部區(qū)域相同的簇，并且整合對(duì)應(yīng)的兩個(gè)面部跟蹤區(qū)間。另一方面，假定面部的特征在檢測(cè)結(jié)果1、2和4之間不同。在該情況下，不整合在檢測(cè)結(jié)果1、2和4之間的面部跟蹤區(qū)間。結(jié)果，獲得與檢測(cè)結(jié)果1、3和5對(duì)應(yīng)的面部區(qū)域所屬的簇I、與檢測(cè)結(jié)果2對(duì)應(yīng)的面部區(qū)域所屬的簇2和與檢測(cè)結(jié)果4對(duì)應(yīng)的面部區(qū)域所屬的簇4。再次參考圖11。對(duì)于非面部的區(qū)域，也以類似的方式進(jìn)行簇化。在進(jìn)行簇化后，元數(shù)據(jù)提供終端10通過目標(biāo)識(shí)別單元105的功能將標(biāo)識(shí)信息與每一個(gè)簇相關(guān)聯(lián)(S109)。例如，如圖17中所示，目標(biāo)識(shí)別單元105參考將面部的特征和用于表示特定人的標(biāo)識(shí)信息(人物ID)相關(guān)聯(lián)的面部數(shù)據(jù)庫，并且基于用于表示每一簇的面部的特征來識(shí)別與每一簇對(duì)應(yīng)的人物ID。然后，目標(biāo)識(shí)別單元105將已經(jīng)識(shí)別的人物ID與簇相關(guān)聯(lián)。另外，面部數(shù)據(jù)庫可以被存儲(chǔ)在元數(shù)據(jù)提供終端10中，或者可以被存儲(chǔ)在元數(shù)據(jù)管理系統(tǒng)20或外部電子裝置中。另外，可以通過使用例如JP 2010-3021A中描述的技術(shù)來實(shí)現(xiàn)步驟S108中的簇化。而且，可以通過使用例如JP 2007-65766A中描述的技術(shù)來實(shí)現(xiàn)步驟S109中基于特征的目標(biāo)對(duì)象的識(shí)別。上文已經(jīng)描述了與預(yù)處理相關(guān)的元數(shù)據(jù)提供終端10的操作。通過如上所述的處理，獲得關(guān)于出現(xiàn)特定目標(biāo)對(duì)象的區(qū)間、每一視頻幀中出現(xiàn)目標(biāo)對(duì)象的區(qū)域的信息以及用于識(shí)別目標(biāo)對(duì)象的標(biāo)識(shí)信息。即，獲得區(qū)域元數(shù)據(jù)和區(qū)間元 數(shù)據(jù)。然而，這些區(qū)域元數(shù)據(jù)和區(qū)間元數(shù)據(jù)已經(jīng)基于目標(biāo)檢測(cè)/目標(biāo)跟蹤技術(shù)和目標(biāo)識(shí)別技術(shù)而被自動(dòng)檢測(cè)，并且假定包含錯(cuò)誤檢測(cè)、檢測(cè)失敗或錯(cuò)誤識(shí)別等影響。因此，對(duì)元數(shù)據(jù)的人為標(biāo)注是不可缺少的。(2-3-2:標(biāo)注處理)下面將參考圖18來描述元數(shù)據(jù)提供終端10的與用戶的標(biāo)注操作相關(guān)的操作(圖9中的步驟S20)。圖18是用于說明元數(shù)據(jù)提供終端10的與用戶的標(biāo)注操作相關(guān)的操作的示意圖。如圖18中所示，元數(shù)據(jù)提供終端10準(zhǔn)備要作為標(biāo)注的目標(biāo)的視頻幀(以下稱為目標(biāo)幀)(S201)。然后，元數(shù)據(jù)提供終端10確定是否存在對(duì)目標(biāo)幀的分析結(jié)果(由視頻分析塊創(chuàng)建的區(qū)域元數(shù)據(jù)等)(S202)。在存在分析結(jié)果的情況下，元數(shù)據(jù)提供終端10將處理進(jìn)行到步驟S203。另一方面，在不存在分析結(jié)果的情況下，元數(shù)據(jù)提供終端10將處理進(jìn)行到步驟S205。在進(jìn)行到步驟S203的情況下，元數(shù)據(jù)提供終端10通過移動(dòng)距離計(jì)算單元110的功能來計(jì)算目標(biāo)區(qū)域在目標(biāo)幀和與目標(biāo)幀相鄰的視頻幀之間的移動(dòng)距離(S203)。另外，在目標(biāo)幀包括多個(gè)目標(biāo)區(qū)域的情況下，移動(dòng)距離計(jì)算單元110計(jì)算為多個(gè)目標(biāo)區(qū)域而計(jì)算的移動(dòng)距離的代表值(例如，平均值或中值)。然后，元數(shù)據(jù)提供終端10通過再現(xiàn)控制單元107的功能確定移動(dòng)距離是否等于或大于預(yù)定閾值(S204)。在移動(dòng)距離等于或大于預(yù)定閾值的情況下，元數(shù)據(jù)提供終端10將處理進(jìn)行到步驟S207。另一方面，在移動(dòng)距離小于預(yù)定閾值的情況下，元數(shù)據(jù)提供終端10將當(dāng)前目標(biāo)幀的下一視頻幀設(shè)置為新的目標(biāo)幀，并且將處理進(jìn)行到步驟S203。即，在目標(biāo)區(qū)域的移動(dòng)距離短并且目標(biāo)區(qū)域的位置幾乎沒有改變的情況下，如圖20中所示，元數(shù)據(jù)提供終端10跳過用戶對(duì)目標(biāo)幀的輸入機(jī)會(huì)。另外，在跳過用戶的輸入機(jī)會(huì)的情況下，元數(shù)據(jù)提供終端10通過元數(shù)據(jù)提供單元106的功能，將在目標(biāo)幀的前一視頻幀中設(shè)置的元數(shù)據(jù)設(shè)置到目標(biāo)幀。將再次參考圖18。在從步驟S202進(jìn)行到步驟S205的情況下，元數(shù)據(jù)提供終端10通過相似度分?jǐn)?shù)計(jì)算單元111的功能來計(jì)算在目標(biāo)幀和與目標(biāo)幀相鄰的視頻幀之間的相似度分?jǐn)?shù)(S205)。相似度分?jǐn)?shù)是用于指示視頻幀之間的相似程度的分?jǐn)?shù)。可以通過使用例如JP 2007-206920A中描述的技術(shù)來實(shí)現(xiàn)相似度分?jǐn)?shù)的計(jì)算。然后，元數(shù)據(jù)提供終端10通過再現(xiàn)控制單元107的功能來確定相似度分?jǐn)?shù)是否等于或大于預(yù)定閾值(S205)。
在相似度分?jǐn)?shù)等于或大于預(yù)定閾值的情況下，元數(shù)據(jù)提供終端10將處理進(jìn)行到步驟S207。另一方面，在相似度分?jǐn)?shù)小于預(yù)定閾值的情況下，元數(shù)據(jù)提供終端10將當(dāng)前目標(biāo)幀的下一視頻幀設(shè)置為新的目標(biāo)幀，并且將處理進(jìn)行到步驟S205。S卩，當(dāng)在目標(biāo)幀和與目標(biāo)幀相鄰的視頻幀之間幾乎沒有改變的情況下，如圖19中所示，元數(shù)據(jù)提供終端10跳過用戶對(duì)目標(biāo)幀的輸入機(jī)會(huì)。另外，在跳過用戶的輸入機(jī)會(huì)的情況下，元數(shù)據(jù)提供終端10通過元數(shù)據(jù)提供單元106的功能，將在目標(biāo)幀的前一視頻幀中設(shè)置的元數(shù)據(jù)設(shè)置到目標(biāo)幀。將再次參考圖18。在進(jìn)行到步驟S207的情況下，元數(shù)據(jù)提供終端10通過再現(xiàn)控制單元107的功能在顯示單元108上顯示目標(biāo)巾貞,并且通過輸入單元109的功能來接收用戶的輸入(S207)。例如，在輸入單元109是觸摸板的情況下，如圖21中所示，用戶在參考顯示單元108上顯示的目標(biāo)幀的同時(shí)選擇目標(biāo)區(qū)域。此時(shí)，再現(xiàn)控制單元107在已選擇的區(qū)域(選擇區(qū)域)處顯示具有預(yù)定形狀的對(duì)象(通過圖21中的陰影來表示)。另外，再現(xiàn)控制單元107可以根據(jù)壓力或接近距離(圖24)來調(diào)整對(duì)象的大小，或者可以根據(jù)張開/縮窄(pinchin/pinch out)操作(圖25)或手勢(shì)操作(圖26)來調(diào)整對(duì)象的大小。
接下來，元數(shù)據(jù)提供終端10通過移動(dòng)距離計(jì)算單元110的功能來計(jì)算目標(biāo)幀中用戶選擇的目標(biāo)區(qū)域和與目標(biāo)幀相鄰的視頻幀中的目標(biāo)區(qū)域之間的距離(S208)。在進(jìn)行標(biāo)注操作時(shí)，再現(xiàn)控制單元107以比正常的再現(xiàn)速度慢的速度再現(xiàn)視頻。然而，相對(duì)于其中目標(biāo)對(duì)象移動(dòng)得快的場(chǎng)景或其中目標(biāo)區(qū)域的選擇困難的場(chǎng)景，用戶的操作可能跟不上場(chǎng)景之間的切換，因而可能進(jìn)行對(duì)目標(biāo)區(qū)域的錯(cuò)誤選擇。因此，如圖23中所示，元數(shù)據(jù)提供終端10計(jì)算用戶選擇的目標(biāo)區(qū)域的移動(dòng)距離，并且基于移動(dòng)距離來檢測(cè)用戶操作的延遲。已計(jì)算了移動(dòng)距離的元數(shù)據(jù)提供終端10通過再現(xiàn)控制單元107的功能來確定其中移動(dòng)距離等于或大于預(yù)定閾值的區(qū)間是否繼續(xù)預(yù)定長(zhǎng)度或更長(zhǎng)(S209)。即，在其中移動(dòng)距離等于或大于預(yù)定閾值的區(qū)間繼續(xù)預(yù)定長(zhǎng)度或更長(zhǎng)的情況下，元數(shù)據(jù)提供終端10假定用戶操作存在延遲。在檢測(cè)到用戶操作的延遲的情況下，元數(shù)據(jù)提供終端10將處理進(jìn)行到步驟S210。另一方面，在未檢測(cè)到用戶操作的延遲的情況下，元數(shù)據(jù)提供終端10將處理進(jìn)行到步驟S211。在進(jìn)行到步驟S210的情況下，元數(shù)據(jù)提供終端10通過再現(xiàn)控制單元107的功能，將視頻的再現(xiàn)速度變慢(S210)，并且將處理進(jìn)行到步驟S201。在該情況下，元數(shù)據(jù)提供終端10不將用戶相對(duì)于目標(biāo)幀而選擇的目標(biāo)區(qū)域的信息用作元數(shù)據(jù)。另一方面，在進(jìn)行到步驟S211的情況下，元數(shù)據(jù)提供終端10通過元數(shù)據(jù)提供單元106的功能來存儲(chǔ)關(guān)于用戶選擇的目標(biāo)區(qū)域的信息(S211)。然后，元數(shù)據(jù)提供終端10確定是否完成對(duì)所有的目標(biāo)幀的處理(S212)。在完成對(duì)所有的目標(biāo)幀的處理的情況下，元數(shù)據(jù)提供終端10結(jié)束該系列處理。另一方面，在仍然存在未完成處理的目標(biāo)幀的情況下，元數(shù)據(jù)提供終端10將處理進(jìn)行到步驟 S201。上文已經(jīng)描述了元數(shù)據(jù)提供終端10的與標(biāo)注操作相關(guān)的操作。(用戶界面)在此將給出關(guān)于用于標(biāo)注操作的用戶界面的補(bǔ)充說明。元數(shù)據(jù)的標(biāo)注操作一般是目標(biāo)區(qū)域選擇操作。S卩，如圖21中所示，用戶檢測(cè)在屏幕上顯示的圖像中的目標(biāo)對(duì)象，并且選擇包括該目標(biāo)對(duì)象的區(qū)域，由此執(zhí)行對(duì)元數(shù)據(jù)的標(biāo)注。在觸摸板被用作輸入裝置的情況下，用戶可以僅通過觸摸顯示目標(biāo)對(duì)象的位置來選擇目標(biāo)區(qū)域。此外，因?yàn)檫B續(xù)地再現(xiàn)視頻圖像，用戶可以僅通過使用手指跟隨在屏幕上顯示的視頻中出現(xiàn)的目標(biāo)對(duì)象來選擇目標(biāo)區(qū)域。例如，在人物A的面部出現(xiàn)在第二至第六視頻幀中的情況下，如圖22中所示，用戶僅必須觸摸第二視頻幀中的人物A的面部出現(xiàn)的位置，并且使用手指來跟隨人物A的面部直到第六視頻幀的再現(xiàn)的結(jié)束。通過這個(gè)操作來創(chuàng)建用于指示第二至第六視頻幀的每一個(gè)中的出現(xiàn)人物A的區(qū)域的區(qū)域元數(shù)據(jù)。而且，區(qū)間元數(shù)據(jù)被創(chuàng)建，該區(qū)間元數(shù)據(jù)指示人物A的面部出現(xiàn)在與第二至第六視頻幀對(duì)應(yīng)的區(qū)間中。以這種方式，使得用戶能夠在參考正在被再現(xiàn)的視頻的同時(shí)、通過跟隨在屏幕上出現(xiàn)的目標(biāo)對(duì)象來進(jìn)行選擇，從而容易地創(chuàng)建區(qū)域元數(shù)據(jù)和區(qū)間元數(shù)據(jù)。而且，如圖24中所示，還可使得區(qū)域的大小根據(jù)壓力的強(qiáng)度以及觸摸板和手指之間的距離來改變。而且，如圖25中所示，還可使得所選擇的區(qū)域的大小根據(jù)縮窄(pinchout)操作而改變。而且，如圖26中所示，還可使得所選擇的區(qū)域的大小根據(jù)手勢(shì)來改變。例如，當(dāng)執(zhí)行順時(shí)針繪制圓圈的手勢(shì)時(shí)可以增大所選擇的區(qū)域的尺寸，并且當(dāng)執(zhí)行逆時(shí)針繪制圓圈的手勢(shì)時(shí)可以減小所選擇的區(qū)域的尺寸。 而且，如圖27中所示，還可使得用戶能夠通過使用滾動(dòng)條等來自由地選擇視頻中的再現(xiàn)場(chǎng)景。而且，如圖27中所示，可以基于由視頻分析塊自動(dòng)創(chuàng)建的區(qū)域元數(shù)據(jù)、使用每一個(gè)場(chǎng)景的圖像中的幀來顯示目標(biāo)區(qū)域(在這個(gè)示例中為面部區(qū)域)。在用戶校正視頻分析塊的分析結(jié)果的情況下，期望可以通過迅速地找到要校正的區(qū)間以執(zhí)行校正操作(例如參見圖30)。如圖27中所示，如果可以使用滾動(dòng)條來自由地選擇再現(xiàn)場(chǎng)景，并且在每個(gè)再現(xiàn)場(chǎng)景中顯示基于分析結(jié)果的幀，則使得用戶能夠迅速地找到其中目標(biāo)區(qū)域要校正的再現(xiàn)場(chǎng)
旦
-5^ O在圖27中圖示用于使用滾動(dòng)條來轉(zhuǎn)換場(chǎng)景的用戶界面，但是，如圖28中所示，用于使用輕彈(flicking)手勢(shì)來轉(zhuǎn)換再現(xiàn)場(chǎng)景的用戶界面也是方便的。使用這個(gè)用戶界面，當(dāng)手指滑動(dòng)到屏幕的左面時(shí)，再現(xiàn)場(chǎng)景轉(zhuǎn)換到下一頁面，并且當(dāng)手指滑動(dòng)到屏幕的右面時(shí)，再現(xiàn)場(chǎng)景轉(zhuǎn)換到前一頁面。另外，可以通過一個(gè)輕彈手勢(shì)將再現(xiàn)場(chǎng)景轉(zhuǎn)換一個(gè)視頻幀，或者，可以通過一個(gè)輕彈手勢(shì)將再現(xiàn)場(chǎng)景轉(zhuǎn)換到對(duì)于其而言視頻幀之間的相似度分?jǐn)?shù)等于或大于預(yù)定閾值的視頻中貞。而且，如圖29中所示，可以在指示目標(biāo)區(qū)域的幀中顯示關(guān)于目標(biāo)區(qū)域的信息。圖29是顯示面部區(qū)域的信息的示例，并且在該情況下，在幀中顯示面部區(qū)域的大小、面部ID(或人物ID)和屬性信息(面部的取向、面部的遮擋或人的姓名等)等。例如，通過如圖31和32中所示的選擇菜單項(xiàng)目的操作或字母的輸入操作來執(zhí)行屬性信息的設(shè)置。而且，面部的取向可以是例如“前”、“側(cè)”或“后”等。而且，遮擋的水平可以是例如“完全可見”、“有些隱藏”、“可以看到眼、鼻或嘴”或“完全隱藏”等。而且，如圖33中所示，可以并排顯示針對(duì)同一目標(biāo)對(duì)象而在過去設(shè)置的目標(biāo)區(qū)域的圖像。例如，當(dāng)在特定的再現(xiàn)場(chǎng)景中使用兩個(gè)手指來選擇面部區(qū)域時(shí)，并排顯示針對(duì)與面部區(qū)域中包括的面部相同的面部而在過去設(shè)置的面部區(qū)域的圖像。使用并排顯示的、在過去設(shè)置的面部區(qū)域的圖像，可以確認(rèn)在過去設(shè)置的面部區(qū)域和在當(dāng)前再現(xiàn)場(chǎng)景中出現(xiàn)的人的面部確實(shí)匹配。還使得用戶能夠迅速地發(fā)現(xiàn)錯(cuò)誤的輸入。另外，通過在并排顯示的圖像中選擇面部區(qū)域的圖像，還可使得能夠轉(zhuǎn)換到設(shè)置了面部區(qū)域的再現(xiàn)場(chǎng)景。由此使得能夠在發(fā)現(xiàn)錯(cuò)誤輸入時(shí)迅速轉(zhuǎn)換到對(duì)應(yīng)的再現(xiàn)場(chǎng)景，以允許對(duì)面部區(qū)域的更有效的校正。而且，還可具有用于使用兩個(gè)手指(或菜單選擇或雙擊等)來校正通過選擇而顯示的、并排顯示的圖像中的面部區(qū)域的圖像的屬性信息的菜單項(xiàng)。由此能夠在不轉(zhuǎn)換再現(xiàn)場(chǎng)景的情況下校正屬性信息，以允許對(duì)屬性信息的更有效校正?，F(xiàn)在，當(dāng)通過視頻分析塊自動(dòng)處理時(shí)，可能將同一目標(biāo)對(duì)象識(shí)別為不同的目標(biāo)對(duì)象。例如，在同一人出現(xiàn)在視頻中分開較遠(yuǎn)的區(qū)間中的情況下，在這些區(qū)間中出現(xiàn)的兩個(gè)人可能被識(shí)別為彼此不同。在該情況下，必須組合關(guān)于在這兩個(gè)區(qū)間中出現(xiàn)的人的信息。使用如圖34中所示的用戶界面來執(zhí)行這樣的組合處理。如圖34中所示，當(dāng)使用手指選擇在特定的再現(xiàn)場(chǎng)景中出現(xiàn)的人的面部區(qū)域(例如，菜單選擇或使用三個(gè)手指的選擇)時(shí)，顯示組合候選者。然后，當(dāng)在組合候選者中選擇一個(gè)人時(shí)，關(guān)于當(dāng)前再現(xiàn)幀中出現(xiàn)的面部區(qū)域的信息和關(guān)于所選擇的人的信息被組合。順便提及，在進(jìn)行標(biāo)注操作時(shí)，如果不向用戶返回反饋，則難以得知已經(jīng)增加了元數(shù)據(jù)。此外，如圖35中所示，通過向用戶返回特征反饋，可以直觀地表達(dá)關(guān)于已經(jīng)增加的元 數(shù)據(jù)的信息。在圖35的示例中，示出下述配置其中，對(duì)于目標(biāo)對(duì)象是人、汽車和動(dòng)物的情況，振動(dòng)模式是不同的。例如，當(dāng)觸摸已經(jīng)被增加了元數(shù)據(jù)的面部區(qū)域時(shí)，根據(jù)用于人的振動(dòng)模式的振動(dòng)出現(xiàn)，因而用戶可認(rèn)識(shí)到增加了人的元數(shù)據(jù)。這些出現(xiàn)的反饋還有助于激勵(lì)用戶執(zhí)行標(biāo)注操作。例如，用戶可能由于沒有從未被增加元數(shù)據(jù)的區(qū)域獲得振動(dòng)反饋而想要增加元數(shù)據(jù)。此外，如果根據(jù)按照再現(xiàn)場(chǎng)景中的人的感覺的振動(dòng)模式的振動(dòng)反饋被返回，則標(biāo)注操作變得象游戲那樣，并且用戶將自愿開始增加元數(shù)據(jù)，以使得出現(xiàn)振動(dòng)反饋。例如，可設(shè)想這樣的振動(dòng)模式根據(jù)該振動(dòng)模式，當(dāng)人憤怒時(shí)振動(dòng)幅度大，而當(dāng)人平靜時(shí)振動(dòng)幅度小，并且當(dāng)人放松時(shí)振動(dòng)幅度平滑。上文已經(jīng)給出了關(guān)于用于標(biāo)注操作的用戶界面的補(bǔ)充說明。[2-4 :元數(shù)據(jù)管理系統(tǒng)20的配置]接下來將參考圖36和37來描述元數(shù)據(jù)管理系統(tǒng)20的配置。圖36和37是用于描述元數(shù)據(jù)管理系統(tǒng)20的配置的示意圖。(概述)首先，將參考圖36描述元數(shù)據(jù)管理系統(tǒng)20的功能的概述。如圖36中所示，元數(shù)據(jù)管理系統(tǒng)20具有整合由多個(gè)元數(shù)據(jù)提供終端10提供的多個(gè)視頻時(shí)間線元數(shù)據(jù)的功能。通過整合而獲得的視頻時(shí)間線元數(shù)據(jù)被提供到元數(shù)據(jù)用戶終端30。而且，元數(shù)據(jù)管理系統(tǒng)20包括構(gòu)造學(xué)習(xí)數(shù)據(jù)庫的功能，該學(xué)習(xí)數(shù)據(jù)庫用于創(chuàng)建用于從視頻中檢測(cè)目標(biāo)對(duì)象的檢測(cè)器或用于執(zhí)行對(duì)目標(biāo)對(duì)象的識(shí)別的識(shí)別器。如上所述，元數(shù)據(jù)管理系統(tǒng)20主要執(zhí)行多個(gè)視頻時(shí)間線元數(shù)據(jù)的整合和學(xué)習(xí)數(shù)據(jù)庫的構(gòu)造。另外，元數(shù)據(jù)管理系統(tǒng)20還可以具有圖10中所示的視頻分析塊的功能。(功能配置)現(xiàn)在參見圖37。如圖37中所示，元數(shù)據(jù)管理系統(tǒng)20主要包括元數(shù)據(jù)獲取單元201、技巧/趨向分析單元202、區(qū)域元數(shù)據(jù)整合單元203、區(qū)間元數(shù)據(jù)整合單元204、對(duì)象元數(shù)據(jù)整合單元205、元數(shù)據(jù)提供單元206、存儲(chǔ)單元207和學(xué)習(xí)單元208。首先,元數(shù)據(jù)獲取單元201從元數(shù)據(jù)提供終端10獲取視頻時(shí)間線元數(shù)據(jù)。由元數(shù)據(jù)獲取單元201獲取的視頻時(shí)間線元數(shù)據(jù)被輸入到技巧/趨向分析單元202。技巧/趨向分析單元202基于輸入的視頻時(shí)間線元數(shù)據(jù)來分析關(guān)于已經(jīng)增加了視頻時(shí)間線元數(shù)據(jù)的用戶的標(biāo)注操作的標(biāo)注技巧或趨向。技巧/趨向分析單元202的分析結(jié)果被輸入到區(qū)域元數(shù)據(jù)整合單元203、區(qū)間元數(shù)據(jù)整合單元204和對(duì)象元數(shù)據(jù)整合單元205。區(qū)域元數(shù)據(jù)整合單元203整合多個(gè)區(qū)域元數(shù)據(jù)。例如，在目標(biāo)區(qū)域是矩形的情況下，區(qū)域元數(shù)據(jù)整合單元203針對(duì)與在同一視頻幀中設(shè)置的同一目標(biāo)對(duì)象相關(guān)的多個(gè)目標(biāo)區(qū)域來計(jì)算頂點(diǎn)坐標(biāo)的平均值，并且將以該平均值作為頂點(diǎn)的矩形區(qū)域設(shè)置為整合后的目標(biāo)區(qū)域。而且，在目標(biāo)區(qū)域?yàn)閳A形的情況下，區(qū)域元數(shù)據(jù)整合單元203針對(duì)與在同一視頻幀中設(shè)置的同一目標(biāo)對(duì)象相關(guān)的多個(gè)目標(biāo)區(qū)域來計(jì)算中心坐標(biāo)的平均值和半徑的平均值，并且將以中心坐標(biāo)的平均值作為新中心坐標(biāo)并以半徑的平均值作為半徑的圓形區(qū)域設(shè)置為整合后的目標(biāo)區(qū)域。整合后的區(qū)域元數(shù)據(jù)被輸入到元數(shù)據(jù)提供單元206。區(qū)間元數(shù)據(jù)整合單元204整合多個(gè)區(qū)間元數(shù)據(jù)。例如，區(qū)間元數(shù)據(jù)整合單元204參考與同一視頻和同一目標(biāo)對(duì)象相關(guān)的多個(gè)區(qū)間元數(shù)據(jù)，并且通過下述處理來創(chuàng)建整合后的區(qū)間元數(shù)據(jù)將通過預(yù)定數(shù)量或更多的區(qū)間元數(shù)據(jù)而作為目標(biāo)對(duì)象的出現(xiàn)區(qū)間的區(qū)間設(shè)置為目標(biāo)對(duì)象的出現(xiàn)區(qū)間，并且將其他區(qū)間設(shè)置為目標(biāo)對(duì)象的非出現(xiàn)區(qū)間。另外，區(qū)間元數(shù) 據(jù)整合單元204可以使用考慮到用戶的技巧的分?jǐn)?shù)來創(chuàng)建整合后的區(qū)間元數(shù)據(jù)。整合后的區(qū)間元數(shù)據(jù)被輸入到元數(shù)據(jù)提供單元206。對(duì)象元數(shù)據(jù)整合單元205整合多個(gè)對(duì)象元數(shù)據(jù)。對(duì)象元數(shù)據(jù)例如包括用于指示對(duì)象的名稱、屬性和描述等的多個(gè)文本。然而，這些文本包括寫入方式的變動(dòng)。因此，對(duì)象元數(shù)據(jù)整合單元205校正文本，以便減少每一對(duì)象元數(shù)據(jù)中包括的寫入方式的變動(dòng)。即，對(duì)象元數(shù)據(jù)整合單元205確定相似的文本，并且將它們校正為預(yù)定的寫入方式。例如，對(duì)象元數(shù)據(jù)整合單元205將用于表示同一人的姓名的所有的寫入方式“Cameron Diaz”、“CameronDiaz，，、“Cameron，，和“Cameron Michelle Diaz，，替換為“Cameron Diaz，，。整合后的對(duì)象元數(shù)據(jù)被輸入到元數(shù)據(jù)提供單元206。另外，優(yōu)選地，在用戶輸入對(duì)象元數(shù)據(jù)時(shí)，對(duì)象元數(shù)據(jù)的寫入方式的變動(dòng)被抑制到一定程度。例如，可以設(shè)想用于提供使得用戶能夠從文本候選中選擇而不需輸入文本的用戶界面或使用文本完成功能的方法。而且，可以用與在對(duì)象元數(shù)據(jù)整合單元205相同的方式在元數(shù)據(jù)提供終端10處減少寫入方式的變動(dòng)。元數(shù)據(jù)提供單元206向元數(shù)據(jù)用戶終端30提供整合后的區(qū)域元數(shù)據(jù)、整合后的區(qū)間元數(shù)據(jù)和整合后的對(duì)象元數(shù)據(jù)。元數(shù)據(jù)提供單元206還在存儲(chǔ)單元207中存儲(chǔ)整合后的區(qū)域元數(shù)據(jù)、整合后的區(qū)間元數(shù)據(jù)和整合后的對(duì)象元數(shù)據(jù)。在通過學(xué)習(xí)來創(chuàng)建目標(biāo)對(duì)象的檢測(cè)器和識(shí)別器時(shí)，存儲(chǔ)單元207中存儲(chǔ)的區(qū)域元數(shù)據(jù)、區(qū)間元數(shù)據(jù)和對(duì)象元數(shù)據(jù)被用作訓(xùn)練數(shù)據(jù)。當(dāng)收集了多個(gè)訓(xùn)練數(shù)據(jù)時(shí)，學(xué)習(xí)單元208使用所收集的多個(gè)訓(xùn)練數(shù)據(jù)，并且通過學(xué)習(xí)來創(chuàng)建目標(biāo)對(duì)象的檢測(cè)器和識(shí)別器。此時(shí)，學(xué)習(xí)單元208使用例如JP 2009-104275A中描述的技術(shù)。在視頻分析塊中使用由學(xué)習(xí)單元208創(chuàng)建的檢測(cè)器和識(shí)別器。上文已經(jīng)描述了元數(shù)據(jù)管理系統(tǒng)20的配置。[2-5 :元數(shù)據(jù)管理系統(tǒng)20的操作]接下來，將參考圖38至44來描述元數(shù)據(jù)管理系統(tǒng)20的操作。還給出關(guān)于元數(shù)據(jù)管理系統(tǒng)20的詳細(xì)功能配置的補(bǔ)充說明。圖38至44是用于描述元數(shù)據(jù)管理系統(tǒng)20的操作的示意圖。
(2-5-1 :整合處理)首先，將參考圖38來描述元數(shù)據(jù)管理系統(tǒng)20的關(guān)于后處理的操作(圖9中的步驟S30)。圖38是用于描述元數(shù)據(jù)管理系統(tǒng)20的關(guān)于后處理的操作的示意圖。如圖38中所示，元數(shù)據(jù)管理系統(tǒng)20通過元數(shù)據(jù)獲取單元201的功能來從元數(shù)據(jù)提供終端10獲取視頻時(shí)間線元數(shù)據(jù)(S301)。然后，元數(shù)據(jù)管理系統(tǒng)20確定是否存在高度可靠的數(shù)據(jù)(S302)。高度可靠的數(shù)據(jù)例如是使用高度精確的視頻分析引擎而檢測(cè)到的視頻時(shí)間線元數(shù)據(jù)或從技巧高超的用戶獲取的視頻時(shí)間線元數(shù)據(jù)。在存在高度可靠的元數(shù)據(jù)的情況下，元數(shù)據(jù)管理系統(tǒng)20將處理進(jìn)行到步驟S303。另一方面，在沒有高度可靠的元數(shù)據(jù)的情況下，元數(shù)據(jù)管理系統(tǒng)20將處理進(jìn)行到步驟S305。在進(jìn)行到步驟S303的情況下，元數(shù)據(jù)管理系統(tǒng)20通過技巧/趨向分析單元202的功能基于下面的表達(dá)式(2)來計(jì)算用于每一個(gè)用戶和每一個(gè)類 型的視頻時(shí)間線元數(shù)據(jù)的LSS (Labeling Skill Score,標(biāo)注技巧分?jǐn)?shù))(S303)。在此,下面的表達(dá)式(2)中包括的Accuracy (準(zhǔn)確度)是用于指示所獲取的視頻時(shí)間線元數(shù)據(jù)的準(zhǔn)確度的參數(shù)。例如，可以將諸如再現(xiàn)率(recall)、準(zhǔn)確度、F測(cè)量和錯(cuò)誤率等值用作所述準(zhǔn)確度。而且，Variance (方差)是高度可靠的元數(shù)據(jù)和所獲取的視頻時(shí)間線元數(shù)據(jù)之間的差的方差。另外，α和β是歸一化因子。表達(dá)式(2)LSS = ax Accuracy +Bx---
' I + Variance根據(jù)上面的表達(dá)式(2)可以假定，當(dāng)所獲取的視頻時(shí)間線元數(shù)據(jù)的準(zhǔn)確度變大時(shí)，LSS具有更大的值。當(dāng)所獲取的視頻時(shí)間線元數(shù)據(jù)和高度可靠的元數(shù)據(jù)之間的差的方差變小時(shí)，LSS也具有更大的值。另外，可以根據(jù)作為高度可靠的元數(shù)據(jù)和所獲取的視頻時(shí)間線元數(shù)據(jù)之間的差的方差的方差來分析用戶的趨向(tendency)。例如，在Variance小的情況下，可設(shè)想存在獨(dú)特于用戶的趨向，如設(shè)置大區(qū)域的趨向、獲取長(zhǎng)間隔的趨向、區(qū)域選擇操作晚的趨向?，F(xiàn)在，已經(jīng)計(jì)算了 LSS的元數(shù)據(jù)管理系統(tǒng)20通過技巧/趨向分析單元202的功能并且根據(jù)高度可靠的元數(shù)據(jù)和所獲取的視頻時(shí)間線元數(shù)據(jù)之間的差來計(jì)算用戶的趨向(S304)。然后，元數(shù)據(jù)管理系統(tǒng)20在根據(jù)所獲取的視頻時(shí)間線元數(shù)據(jù)的類型的處理之間進(jìn)行切換(S305)。在所獲取的視頻時(shí)間線元數(shù)據(jù)是區(qū)域元數(shù)據(jù)的情況下，元數(shù)據(jù)管理系統(tǒng)20將處理進(jìn)行到步驟S306。而且，在所獲取的視頻時(shí)間線元數(shù)據(jù)是區(qū)間元數(shù)據(jù)的情況下，元數(shù)據(jù)管理系統(tǒng)20將處理進(jìn)行到步驟S307。而且，在所獲取的視頻時(shí)間線元數(shù)據(jù)是對(duì)象元數(shù)據(jù)的情況下，元數(shù)據(jù)管理系統(tǒng)20將處理進(jìn)行到步驟S308。在進(jìn)行到步驟S306的情況下，元數(shù)據(jù)管理系統(tǒng)20通過區(qū)域元數(shù)據(jù)整合單元203的功能來整合多個(gè)區(qū)域元數(shù)據(jù)(S306)。例如，如圖40中所示，假定獲取了用戶A、用戶B和用戶C已用來標(biāo)注同一視頻幀中的同一目標(biāo)對(duì)象的多個(gè)區(qū)域元數(shù)據(jù)。在該情況下，區(qū)域元數(shù)據(jù)整合單元203計(jì)算用戶A已經(jīng)標(biāo)注的目標(biāo)區(qū)域的每組頂點(diǎn)坐標(biāo)、用戶B已經(jīng)標(biāo)注的目標(biāo)區(qū)域的每組頂點(diǎn)坐標(biāo)和用戶C已經(jīng)標(biāo)注的目標(biāo)區(qū)域的每組頂點(diǎn)坐標(biāo)的平均值，并且計(jì)算具有頂點(diǎn)坐標(biāo)的平均值的區(qū)域。然后，區(qū)域元數(shù)據(jù)整合單元203將所計(jì)算的區(qū)域設(shè)置為整合后的區(qū)域元數(shù)據(jù)。
而且，如圖40中所示，區(qū)域元數(shù)據(jù)整合單元203可以通過坐標(biāo)熱圖(coordinatesheat map)來表示每一個(gè)目標(biāo)區(qū)域，并且使用熱圖作為可靠性分布。而且，區(qū)域元數(shù)據(jù)整合單元203可以根據(jù)LSS進(jìn)行加權(quán)，使得在整合多個(gè)元數(shù)據(jù)前，具有高LSS的用戶標(biāo)注的區(qū)域元數(shù)據(jù)被施加較大的權(quán)重。區(qū)域元數(shù)據(jù)整合單元203還可以考慮到每一個(gè)用戶的趨向而執(zhí)行對(duì)多個(gè)區(qū)域元數(shù)據(jù)的整合處理。例如，如果用戶A具有設(shè)置小區(qū)域的趨向，則區(qū)域元數(shù)據(jù)整合單元203可以在將用戶A設(shè)置的區(qū)域與其他用戶設(shè)置的區(qū)域整合之前放大用戶A設(shè)置的區(qū)域。再次參考圖38。在進(jìn)行到步驟S307的情況下，如圖41 中所示(S307)，元數(shù)據(jù)管理系統(tǒng)20通過區(qū)間元數(shù)據(jù)整合單元204的功能來整合多個(gè)區(qū)間元數(shù)據(jù)。首先，區(qū)間元數(shù)據(jù)整合單元204基于下面的表達(dá)式(3)來計(jì)算TMS (Timeline Meta Score,時(shí)間線元分?jǐn)?shù))。下面的表達(dá)式(3)中包括的L指示已經(jīng)執(zhí)行標(biāo)注的一組用戶。另外，LSSn表示用戶η的LSS。另外，IsLabeledn, t表示用戶η是否已經(jīng)對(duì)時(shí)間t的視頻幀執(zhí)行了標(biāo)注。而且，M指示已經(jīng)進(jìn)行了標(biāo)注的用戶的總數(shù)。TMSt表示已經(jīng)對(duì)時(shí)間t的視頻幀進(jìn)行了標(biāo)注的多個(gè)用戶的標(biāo)注技巧分?jǐn)?shù)(LSS)的平均值。表達(dá)式(3)
YjLSSnXlsLabeledniTMSl=s^--
1M已經(jīng)計(jì)算TMS的區(qū)間元數(shù)據(jù)整合單元204將其中TMS等于或大于預(yù)定閾值Th的區(qū)間設(shè)置為目標(biāo)對(duì)象的出現(xiàn)區(qū)間，并且創(chuàng)建整合后的區(qū)間元數(shù)據(jù)。另外，區(qū)間元數(shù)據(jù)整合單元204可以在區(qū)間元數(shù)據(jù)的整合處理中反映每一個(gè)用戶的趨向。例如，假定用戶A具有在延遲的定時(shí)選擇區(qū)域的趨向。在該情況下，在計(jì)算TMS前，區(qū)間元數(shù)據(jù)整合單元204校正用戶A的區(qū)間元數(shù)據(jù)，使得目標(biāo)對(duì)象的出現(xiàn)開始/結(jié)束定時(shí)前移時(shí)間上的延遲時(shí)間量，然后基于TMS來創(chuàng)建整合后的區(qū)間元數(shù)據(jù)。在從步驟S305進(jìn)行到步驟S308的情況下，元數(shù)據(jù)管理系統(tǒng)20通過對(duì)象元數(shù)據(jù)整合單元205的功能來執(zhí)行對(duì)象元數(shù)據(jù)的整合處理(S308)。首先，如圖39中所示，對(duì)象元數(shù)據(jù)整合單元205整合標(biāo)注于同一目標(biāo)對(duì)象上的多個(gè)屬性信息等。然后，對(duì)象元數(shù)據(jù)整合單元205校正用于指示對(duì)象元數(shù)據(jù)中包括的目標(biāo)對(duì)象的名稱、屬性或描述等的文本在寫入方式上的變動(dòng)。當(dāng)完成步驟S306、S307或S308的處理時(shí)，元數(shù)據(jù)管理系統(tǒng)20通過元數(shù)據(jù)提供單元206的功能向元數(shù)據(jù)用戶終端30提供整合后的區(qū)域元數(shù)據(jù)、整合后的區(qū)間元數(shù)據(jù)或整合后的對(duì)象元數(shù)據(jù)(S309)。然后，元數(shù)據(jù)管理系統(tǒng)20確定是否使用整合后的視頻時(shí)間線元數(shù)據(jù)來創(chuàng)建新的檢測(cè)器或識(shí)別器(新功能開發(fā)/準(zhǔn)確度增強(qiáng))(S310)。在使用整合后的視頻時(shí)間線元數(shù)據(jù)來用于新功能開發(fā)/準(zhǔn)確度增強(qiáng)的情況下，元數(shù)據(jù)管理系統(tǒng)20將處理進(jìn)行到步驟S311。另一方面，在不使用整合后的視頻時(shí)間線元數(shù)據(jù)來用于新功能開發(fā)/準(zhǔn)確度增強(qiáng)的情況下，元數(shù)據(jù)管理系統(tǒng)20結(jié)束該系列處理。在進(jìn)行到步驟S311的情況下，元數(shù)據(jù)管理系統(tǒng)20在存儲(chǔ)單元207 (學(xué)習(xí)數(shù)據(jù)庫)中存儲(chǔ)整合后的視頻時(shí)間線元數(shù)據(jù)(S311)。然后，元數(shù)據(jù)管理系統(tǒng)20通過學(xué)習(xí)單元208的功能來確定是否在學(xué)習(xí)數(shù)據(jù)庫中累積了足夠的視頻時(shí)間線元數(shù)據(jù)(S312)。在學(xué)習(xí)數(shù)據(jù)庫中累積了足夠的視頻時(shí)間線元數(shù)據(jù)的情況下，元數(shù)據(jù)管理系統(tǒng)20將處理進(jìn)行到步驟S313。另一方面，在學(xué)習(xí)數(shù)據(jù)庫中還未累積足夠的視頻時(shí)間線元數(shù)據(jù)的情況下，元數(shù)據(jù)管理系統(tǒng)20結(jié)束該系列處理。在進(jìn)行到步驟S313的情況下，元數(shù)據(jù)管理系統(tǒng)20通過學(xué)習(xí)單元208的功能來將存儲(chǔ)單元207中累積的視頻時(shí)間線元數(shù)據(jù)用作訓(xùn)練數(shù)據(jù)，并且通過學(xué)習(xí)來創(chuàng)建新的檢測(cè)器和識(shí)別器(S313)。已經(jīng)創(chuàng)建了新檢測(cè)器和識(shí)別器的元數(shù)據(jù)管理系統(tǒng)20結(jié)束該系列處理。上面已經(jīng)描述了元數(shù)據(jù)管理系統(tǒng)20的與后處理相關(guān)的操作。(2-5-2:其他功能)順便提及，除了整合多個(gè)視頻時(shí)間線元數(shù)據(jù)的功能和通過學(xué)習(xí)來創(chuàng)建新的檢測(cè)器和識(shí)別器的功能之外，元數(shù)據(jù)管理系統(tǒng)20還可以包括幫助或促進(jìn)標(biāo)注的功能。例如，如圖42中所示，元數(shù)據(jù)管理系統(tǒng)20可以包括向已經(jīng)執(zhí)行標(biāo)注的用戶獎(jiǎng)勵(lì)點(diǎn)數(shù)或獎(jiǎng)券等的功能。此外，如圖43中所示，元數(shù)據(jù)管理系統(tǒng)20可以包括用于通過社會(huì)網(wǎng)絡(luò)服務(wù)(social networks service,以下稱為SNS)提供其中可以在多個(gè)用戶之間共享視頻時(shí)間線元數(shù)據(jù)的環(huán)境的功能。而且，如圖44中所示，元數(shù)據(jù)管理系統(tǒng)20可以包括提供有助于對(duì)象元數(shù)據(jù)的輸入的信息的功能。這些功能是用于直接地或間接地激勵(lì)用戶執(zhí)行標(biāo)注操作的功能。對(duì)于許多用戶來說，視頻時(shí)間線元數(shù)據(jù)的標(biāo)注操作可能是麻煩的操作。此外，甚至對(duì)于一些用戶來說，標(biāo)注操作是痛苦的。因此，提供對(duì)于視頻時(shí)間線元數(shù)據(jù)的標(biāo)注操作的激勵(lì)是有意義的。例如，如圖42中所示，通過提供用于為已經(jīng)執(zhí)行標(biāo)注的用戶提供點(diǎn)數(shù)或獎(jiǎng)券的機(jī)制，可以使得增強(qiáng)標(biāo)注操作的動(dòng)機(jī)。此外，取代提供點(diǎn)數(shù)或獎(jiǎng)券，可以提供其上已經(jīng)執(zhí)行了標(biāo)注的視頻(電影或廣播節(jié)目等)來免費(fèi)觀看。而且，還可以設(shè)想給予用戶諸如“在視頻中查找”等目標(biāo)，使得標(biāo)注操作變得象游戲一樣。而且，給予已經(jīng)長(zhǎng)時(shí)間執(zhí)行標(biāo)注操作的用戶高獎(jiǎng)勵(lì)或?yàn)橐呀?jīng)對(duì)具有高關(guān)注度的人物執(zhí)行了標(biāo)注的用戶提供高獎(jiǎng)勵(lì)的機(jī)制是有效的。而且，如圖43中所示，當(dāng)在SNS上共享視頻時(shí)間線元數(shù)據(jù)時(shí)，已經(jīng)上載了視頻時(shí)間線元數(shù)據(jù)的用戶可以被其他用戶所贊賞。被其他用戶贊賞可以激勵(lì)用戶自愿地執(zhí)行標(biāo)注操作。此外，如圖44中所示，通過基于在視頻中選擇的面部區(qū)域的特征來提供匹配的候選者而簡(jiǎn)化標(biāo)注操作。此外，包括猜人游戲的元素，因而還可預(yù)期用戶的標(biāo)注操作的動(dòng)機(jī)的增強(qiáng)。上面已經(jīng)描述了元數(shù)據(jù)管理系統(tǒng)20的可選功能。另外，可以通過另一服務(wù)提供系統(tǒng)來提供如上所述的可選功能。[2-6 :元數(shù)據(jù)用戶終端30的配置和操作]接下來，將參考圖45來描述元數(shù)據(jù)用戶終端30的配置。在此，還描述元數(shù)據(jù)用戶終端30的操作。圖45是用于描述元數(shù)據(jù)用戶終端30的配置的示意圖。如圖45中所示，元數(shù)據(jù)用戶終端30主要包括元數(shù)據(jù)獲取單元301、出現(xiàn)區(qū)間呈現(xiàn)單元302、出現(xiàn)區(qū)間再現(xiàn)單元303、存儲(chǔ)單元304、顯示單元305、相關(guān)信息出現(xiàn)單元306和輸入單元307。元數(shù)據(jù)獲取單元301從元數(shù)據(jù)管理系統(tǒng)20獲取視頻時(shí)間線元數(shù)據(jù)(參見圖46)。元數(shù)據(jù)獲取單元301獲取的視頻時(shí)間線元數(shù)據(jù)中的區(qū)間元數(shù)據(jù)比輸入到出現(xiàn)區(qū)間呈現(xiàn)單元302。另一方面，向相關(guān)信息出現(xiàn)單元306輸入?yún)^(qū)域元數(shù)據(jù)。出現(xiàn)區(qū)間呈現(xiàn)單元302使用區(qū)間元數(shù)據(jù)，并且在顯示單元305上顯示用于指示其中每一個(gè)目標(biāo)對(duì)象出現(xiàn)的區(qū)間的信息。例如，如圖47中所示，出現(xiàn)區(qū)間呈現(xiàn)單元302以不同的顏色來顯示所有區(qū)間中的角色的出現(xiàn)區(qū)間。而且，如圖4和48中所示，出現(xiàn)區(qū)間呈現(xiàn)單元302可以彼此相關(guān)聯(lián)地顯示其中角色出現(xiàn)的區(qū)間的時(shí)間信息和關(guān)于在區(qū)間中出現(xiàn)的角色的信息。而且，如圖49中所示，出現(xiàn)區(qū)間呈現(xiàn)單元302可以顯示在當(dāng)前被再現(xiàn)的區(qū)間中出現(xiàn)的角色。此外，出現(xiàn)區(qū)間呈現(xiàn)單元302可以在時(shí)間線上顯示其中出現(xiàn)由用戶從當(dāng)前再現(xiàn)的區(qū)間中出現(xiàn)的各角色中選擇的角色的區(qū)間。而且，如圖50中所示，出現(xiàn)區(qū)間呈現(xiàn)單元302可將其中出現(xiàn)由用戶從當(dāng)前再現(xiàn)的區(qū)間中出現(xiàn)的各角色中選擇的角色的區(qū)間的代表性場(chǎng)景顯示在一行中。將再次參考圖45。區(qū)間元數(shù)據(jù)還經(jīng)由出現(xiàn)區(qū)間呈現(xiàn)單元302被輸入到出現(xiàn)區(qū)間再現(xiàn)單元303。出現(xiàn)區(qū)間再現(xiàn)單元303再現(xiàn)存儲(chǔ)單元304中存儲(chǔ)的視頻，并且在顯示單元305上顯示它。此外，在其中出現(xiàn)特定目標(biāo)對(duì)象或特定目標(biāo)對(duì)象被選擇的區(qū)間的情況下，出現(xiàn)區(qū)間再現(xiàn)單元303基于區(qū)間元數(shù)據(jù)來再現(xiàn)所選擇的區(qū)間或其中出現(xiàn)了所選擇的目標(biāo)對(duì)象的 區(qū)間。例如，如圖47中所示，在用戶選擇了“Cameron”的出現(xiàn)區(qū)間的情況下，出現(xiàn)區(qū)間再現(xiàn) 單元303再現(xiàn)所選擇的出現(xiàn)區(qū)間的視頻圖像。而且，如圖48中所示，在從出現(xiàn)區(qū)間的列表中選擇了一個(gè)出現(xiàn)區(qū)間的情況下，出現(xiàn)區(qū)間再現(xiàn)單元303再現(xiàn)所選擇的出現(xiàn)區(qū)間的視頻圖像。此外，如圖49中所示，在選擇了當(dāng)前正在被再現(xiàn)的區(qū)間中出現(xiàn)的角色的情況下，出現(xiàn)區(qū)間再現(xiàn)單元303再現(xiàn)其中所選擇的角色出現(xiàn)的區(qū)間的視頻圖像。而且，如圖50中所示，在選擇了屏幕上的所選角色的出現(xiàn)場(chǎng)景之一的情況下，出現(xiàn)區(qū)間再現(xiàn)單元303再現(xiàn)所選擇的出現(xiàn)場(chǎng)景的視頻圖像。以這種方式，出現(xiàn)區(qū)間再現(xiàn)單元303使用區(qū)間元數(shù)據(jù)，并且選擇性地再現(xiàn)與由用戶選擇的區(qū)間或目標(biāo)對(duì)象對(duì)應(yīng)的視頻圖像。關(guān)于相關(guān)信息出現(xiàn)單元306的功能，相關(guān)信息出現(xiàn)單元306使用區(qū)域元數(shù)據(jù)，并且在顯示單元305上顯示在當(dāng)前顯示的圖像中包括的每一個(gè)目標(biāo)對(duì)象的相關(guān)信息。例如,如圖I中所示，在當(dāng)前顯示的圖像中包括人物A和人物B的情況下，相關(guān)信息出現(xiàn)單元306在屏幕上顯示人物A和人物B的多個(gè)相關(guān)信息。此外，如圖2中所示，在當(dāng)前顯示的圖像包括對(duì)象和地點(diǎn)的情況下，相關(guān)信息出現(xiàn)單元306在屏幕上顯示對(duì)象和地點(diǎn)的多個(gè)相關(guān)信息。而且，如圖3中所示，在選擇了當(dāng)前顯示的圖像中出現(xiàn)的目標(biāo)對(duì)象的情況下，相關(guān)信息出現(xiàn)單元306還可以被配置為顯示所選擇的目標(biāo)對(duì)象的相關(guān)信息。另外，除了人的簡(jiǎn)檔和照片之外，相關(guān)信息還可以包括例如到SNS服務(wù)的鏈接或到在線銷售網(wǎng)站的鏈接、人或?qū)ο蟮恼掌⑵渲谐霈F(xiàn)人的另一視頻產(chǎn)品。此外，元數(shù)據(jù)管理系統(tǒng)20或元數(shù)據(jù)用戶終端30存儲(chǔ)相關(guān)信息，或者，通過向服務(wù)提供系統(tǒng)發(fā)送諸如人物ID等標(biāo)識(shí)彳目息，可以從提供相關(guān)彳目息的服務(wù)提供系統(tǒng)獲取相關(guān)彳目息。而且,如圖51和52中所示,可以使用AR (Augmented Reality,增強(qiáng)現(xiàn)實(shí))來顯示相關(guān)信息。在使用AR的情況下，用戶使用具有相機(jī)的終端裝置來拍攝視頻的顯示屏幕，并且使得顯示屏幕被顯示在具有相機(jī)的終端裝置的顯示器上，如圖51中所示。當(dāng)視頻的顯示屏幕進(jìn)入拍攝范圍時(shí)，具有相機(jī)的終端裝置獲取在顯示屏幕上出現(xiàn)的目標(biāo)對(duì)象的相關(guān)信息，并且使得在顯示器上顯示所獲取的相關(guān)信息。而且，如圖52中所示，在具有相機(jī)的終端裝置的安裝角度發(fā)生改變并且顯示屏幕從拍攝范圍中移除的情況下，在具有相機(jī)的終端裝置的顯示器上可以僅顯示所述相關(guān)信息。另外，如果諸如加速度計(jì)等傳感器被安裝在具有相機(jī)的終端裝置中，則可以檢測(cè)所述角度的改變，因此，使得能夠基于檢測(cè)結(jié)果，在相關(guān)信息的各顯示方法之間切換。上面已經(jīng)描述了元數(shù)據(jù)用戶終端30的配置和操作。[2-7 :視頻時(shí)間線元數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)]接下來，將參考圖53至59來描述視頻時(shí)間線元數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)。圖53至59是用于描述視頻時(shí)間線元數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)的示意圖。另外，圖46示出視頻時(shí)間線元數(shù)據(jù)的一個(gè)示例配置(其中目標(biāo)對(duì)象是面部的情況)。在圖46的示例中，區(qū)域元數(shù)據(jù)包括面部幀的位置和范圍，區(qū)間元數(shù)據(jù)包括面部的出現(xiàn)區(qū)間，并且對(duì)象元數(shù)據(jù)包括人物ID、面部屬性和面部的縮略圖。在此將給出關(guān)于使得能夠容易地管理具有如上所述的結(jié)構(gòu)的視頻時(shí)間線元數(shù)據(jù)的存儲(chǔ)格式的說明。在這種存儲(chǔ)格式中，以如圖53中所示的連接框結(jié)構(gòu)(connected box structure)來存儲(chǔ)視頻時(shí)間線元數(shù)據(jù)。根據(jù)視頻時(shí)間線元數(shù)據(jù)的類型對(duì)框(box)進(jìn)行分類。例如，“面部框(face box)”表示與面部區(qū)域相關(guān)的視頻時(shí)間線元數(shù)據(jù)。此外，“汽車框(car box)”表示與汽車區(qū)域相關(guān)的視頻時(shí)間線元數(shù)據(jù)。利用這樣的連接框結(jié)構(gòu)，便于增加新類型的框。此外，便于在視頻時(shí)間線元數(shù)據(jù)的尾部增加數(shù)據(jù)。如圖54中所示，每一個(gè)框包括頭和數(shù)據(jù)區(qū)域。此外，頭的類型包括對(duì)于框公共的頭(框頭，box header)和依賴于數(shù)據(jù)的頭(數(shù)據(jù)頭，data header)?？虻拇笮　⒖虻念愋秃涂騃D等被存儲(chǔ)在對(duì)于框公共的頭中。另一方面，依賴于數(shù)據(jù)的頭存儲(chǔ)數(shù)據(jù)元素的數(shù)量和時(shí)間信息等。而且，數(shù)據(jù)區(qū)域包括一個(gè)或更多個(gè)數(shù)據(jù)元素(數(shù)據(jù)元素)。如上所述，視頻時(shí)間線元數(shù)據(jù)利用為每一類型提供的框來存儲(chǔ)。然而，如圖55中所示，還可以將一個(gè)框分割為多個(gè)框(分割，fragmentation)。在圖55的示例中，諸如“面部框”等框被分割為二。通過分割所述框，減少了在一個(gè)框中存儲(chǔ)的數(shù)據(jù)量。因此，可以減少輸出時(shí)暫時(shí)存儲(chǔ)在存儲(chǔ)器中的數(shù)據(jù)量，并且可以減小輸出時(shí)的存儲(chǔ)器負(fù)載。而且，如圖56中所示，還可以將被分割的框連接在一起?；诳蝾怚D來連接被分割的框。這個(gè)框類ID是預(yù)先創(chuàng)建的用來標(biāo)識(shí)框的ID。例如，存儲(chǔ)視頻分析引擎A的分析結(jié)果的面部框的框類ID被創(chuàng)建為1，并且存儲(chǔ)視頻分析引擎B的分析結(jié)果的面部框的框類ID被創(chuàng)建為10。在連接被分割的框的情況下，檢測(cè)具有相同的框類ID的框，并將其連接為一個(gè)框。此外，如圖57中所示，創(chuàng)建數(shù)據(jù)元素之間的父子關(guān)系。通過從父節(jié)點(diǎn)向子節(jié)點(diǎn)延伸的箭頭來表達(dá)父節(jié)點(diǎn)和子節(jié)點(diǎn)之間的關(guān)系。此外，可以從一個(gè)父節(jié)點(diǎn)向多個(gè)子節(jié)點(diǎn)延伸箭頭。相對(duì)于面部區(qū)域，對(duì)應(yīng)于人物ID或姓名的“人”的數(shù)據(jù)元素是在最上層的父節(jié)點(diǎn)。而且，在數(shù)據(jù)元素“人(Person)”下，設(shè)置數(shù)據(jù)元素“間隔(Interval)”，該間隔對(duì)應(yīng)于出現(xiàn)人的區(qū)間的起點(diǎn)或長(zhǎng)度。而且，在數(shù)據(jù)元素“間隔”下，設(shè)置數(shù)據(jù)元素“向量(Vector)”，該向量對(duì)應(yīng)于向量(面部幀的位置和范圍、面部特征)。此外，在數(shù)據(jù)元素“間隔”下，設(shè)置數(shù)據(jù)元素“面部(face)”，該元素對(duì)應(yīng)于面部信息(面部位置、大小、部分位置、特征)。另外，在數(shù)據(jù)元素“間隔”下，設(shè)置了數(shù)據(jù)元素“圖像”，該元素對(duì)應(yīng)于圖像(圖像信息、圖像數(shù)據(jù))。通過創(chuàng)建這樣的父子關(guān)系，出現(xiàn)人物A的各區(qū)間都可以例如以列表的格式被顯示。為了實(shí)現(xiàn)如圖57中所示的父子關(guān)系，每一個(gè)數(shù)據(jù)元素必須是可識(shí)別的。鑒于此，為每一個(gè)數(shù)據(jù)元素添加元素ID。這個(gè)元素ID是一個(gè)視頻時(shí)間線元數(shù)據(jù)內(nèi)具有相同的框類ID的所有框中的唯一 ID。例如，如圖58中所示，元素ID對(duì)于具有框類ID I的兩個(gè)面部框是唯一的。另一方面，元素ID可以在具有框類ID I的面部框和具有框類ID 10的面部框
之間重疊。根據(jù)上面的創(chuàng)建，通過組合框類ID和元素ID，保證了父框的唯一性。另外，在子框的框頭中存儲(chǔ)父框的框類ID。在子框的數(shù)據(jù)元素中存儲(chǔ)父框的數(shù)據(jù)元素的元素ID。將參考圖59來考慮作為父框的人物框(Person box)和作為子框的間隔框(Interval box)之間的關(guān)系。人物框的框類ID被存儲(chǔ)在間隔框的框頭中。人物框中的數(shù)據(jù)元素、人元素的元素ID I和2被存儲(chǔ)于間隔框的數(shù)據(jù)元素、間隔元素中。即，父可以具有多個(gè)子，但是子不能有多個(gè)父。上面已經(jīng)描述了視頻時(shí)間線元數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)。<3 :硬件配置> 可以通過例如使用圖60中所示的信息處理設(shè)備的硬件配置來實(shí)現(xiàn)如上所述的元數(shù)據(jù)提供終端10、元數(shù)據(jù)管理系統(tǒng)20和元數(shù)據(jù)用戶終端30的每一個(gè)結(jié)構(gòu)元件的功能。即，可以通過使用計(jì)算機(jī)程序控制圖60中所示的硬件來實(shí)現(xiàn)每一個(gè)結(jié)構(gòu)元件的功能。另夕卜，這個(gè)硬件的模式是任意的，并且可以是個(gè)人計(jì)算機(jī)、諸如移動(dòng)電話、PHS或PDA等移動(dòng)信息終端、游戲機(jī)或各種類型的信息電子裝置。而且，PHS是個(gè)人手持電話系統(tǒng)(PersonalHandy-phone System)的縮寫。此外，PDA 是個(gè)人數(shù)字助理(Personal Digital Assistant)的縮寫。如圖60中所示，該硬件主要包括CPU 902、ROM 904、RAM 906、主機(jī)總線908和橋910。而且，本硬件包括外部總線912、接口 914、輸入單元916、輸出單元918、存儲(chǔ)單元920、驅(qū)動(dòng)器922、連接端口 924和通信單元926。而且，CPU是中央處理單元(Central ProcessingUnit)的縮寫。此外，ROM是只讀存儲(chǔ)器(Read Only Memory)的縮寫。而且，RAM是隨機(jī)存取存儲(chǔ)器(Random Access Memory)的縮寫。CPU 902作為例如算術(shù)處理單元或控制單元，并且基于在ROM 904、RAM 906、存儲(chǔ)單元920或可拆卸記錄介質(zhì)928上記錄的各種程序來控制每一個(gè)結(jié)構(gòu)元件的整體操作或操作的一部分。ROM 904是用于存儲(chǔ)例如要在CPU 902上安裝的程序或在算術(shù)運(yùn)算中使用的數(shù)據(jù)等的部件。RAM 906暫時(shí)或永久地存儲(chǔ)例如要在CPU 902上安裝的程序或在程序的執(zhí)行中任意改變的各種參數(shù)等。這些結(jié)構(gòu)元件通過例如能夠執(zhí)行高速數(shù)據(jù)傳輸?shù)闹鳈C(jī)總線908來彼此連接。關(guān)于其功能，主機(jī)總線908通過橋910連接到例如數(shù)據(jù)傳輸速度較低的外部總線912。而且，輸入單元916例如是鼠標(biāo)、鍵盤、觸摸板、按鈕、開關(guān)或桿等。此外，輸入單元916可以是遙控器，該遙控器可以通過使用紅外線或其他無線電波來發(fā)送控制信號(hào)。輸出單元918例如為顯示裝置(諸如CRT、LCD、PDP或ELD等);音頻輸出裝置(諸如揚(yáng)聲器或耳機(jī)等)、打印機(jī)、移動(dòng)電話或者傳真機(jī)等(它們能夠可視地或可聽地向用戶通知所獲取的信息)。而且，CRT是陰極射線管(Cathode Ray Tube)的縮寫。LCD是液晶顯示器(Liquid Crystal Display)的縮寫。PDP 是等離子體顯不板(Plasma Display Panel)的縮寫。此外，ELD是電致發(fā)光顯不器(Electro-Luminescence Display)的縮寫。存儲(chǔ)單元920是用于存儲(chǔ)各種數(shù)據(jù)的裝置。存儲(chǔ)單元920例如是磁存儲(chǔ)裝置(如硬盤驅(qū)動(dòng)器(HDD))、半導(dǎo)體存儲(chǔ)裝置、光存儲(chǔ)裝置或磁光存儲(chǔ)裝置等。HDD是硬盤驅(qū)動(dòng)器(Hard Disk Drive)的縮寫。驅(qū)動(dòng)器922是讀取在諸如磁盤、光盤、磁光盤或半導(dǎo)體存儲(chǔ)器等可拆卸記錄介質(zhì)928上記錄的信息或者在可拆卸記錄介質(zhì)928中寫入信息的裝置?？刹鹦队涗浗橘|(zhì)928例如是DVD介質(zhì)、藍(lán)光介質(zhì)、HD-DVD介質(zhì)或各種類型的半導(dǎo)體存儲(chǔ)介質(zhì)等。當(dāng)然，可拆卸記錄介質(zhì)928例如可以是安裝了非接觸IC芯片的電子裝置或IC卡。IC是集成電路(IntegratedCircuit)的縮寫。連接端口 924是諸如USB端口、IEEE 1394端口、SCSI、RS-232C端口或用于連接諸如光學(xué)音頻終端等外部連接裝置930的端口等的端口。外部連接裝置930例如是打印機(jī)、移動(dòng)音樂播放器、數(shù)字相機(jī)、數(shù)字?jǐn)z像機(jī)或IC記錄器等。而且，USB是通用串行總線(Universal Serial Bus)的縮寫。此外，SCSI是小計(jì)算機(jī)系統(tǒng)接口(Small ComputerSystem Interface)的縮寫。通信單元926是要連接到網(wǎng)絡(luò)932的通信裝置，并且例如是用于有線或無線LAN、 Bluetooth (注冊(cè)商標(biāo)，藍(lán)牙)或WUSB的通信卡、光學(xué)通信路由器、ADSL路由器或各種通信調(diào)制解調(diào)器。連接到通信單元926的網(wǎng)絡(luò)932包括有線連接或無線連接的網(wǎng)絡(luò)，并且例如是因特網(wǎng)、家用LAN、紅外線通信、可見光通信、廣播或衛(wèi)星通信等。而且，LAN是局域網(wǎng)(LocalArea Network)的縮寫。此外,WUSB是無線USB (Wireless USB)的縮寫。而且,ADSL是非對(duì)稱數(shù)字用戶線(Asymmetric Digital Subscriber Line)的縮寫。最后，將簡(jiǎn)述本實(shí)施例的技術(shù)內(nèi)容。在此所述的技術(shù)內(nèi)容可以被應(yīng)用到各種信息處理設(shè)備，諸如PC、移動(dòng)電話、便攜游戲機(jī)、便攜信息終端、信息電器和汽車導(dǎo)航系統(tǒng)等。可以將如上所述的信息處理設(shè)備的功能配置表達(dá)如下。( I) 一種信息處理設(shè)備，包括元數(shù)據(jù)獲取單元，用于獲取用于指示每一個(gè)目標(biāo)對(duì)象在視頻中出現(xiàn)的出現(xiàn)區(qū)間的區(qū)間元數(shù)據(jù)；區(qū)間信息顯示單元，用于使用所述區(qū)間元數(shù)據(jù)來顯示區(qū)間信息，所述區(qū)間信息可視地表達(dá)在構(gòu)成所述視頻的所有區(qū)間中每一個(gè)目標(biāo)對(duì)象出現(xiàn)的區(qū)間；以及再現(xiàn)控制單元，用于在用戶從被顯示為關(guān)于特定目標(biāo)對(duì)象的多個(gè)區(qū)間信息的區(qū)間中選擇了一個(gè)區(qū)間的情況下，使得再現(xiàn)所選擇的區(qū)間的視頻幀。(2)根據(jù)(I)所述的信息處理設(shè)備，其中，所述區(qū)間信息顯示單元連同所述區(qū)間信息一起來顯示與所述區(qū)間信息對(duì)應(yīng)的目標(biāo)對(duì)象的圖像，并且其中，在用戶選擇與關(guān)于特定目標(biāo)對(duì)象的區(qū)間信息一起顯示的目標(biāo)對(duì)象的圖像的情況下，所述再現(xiàn)控制單元再現(xiàn)被顯示為所述區(qū)間信息的所有區(qū)間的視頻幀。(3)根據(jù)(I)或(2)所述的信息處理設(shè)備，進(jìn)一步包括圖像顯示單元，用于通過使用所述區(qū)間元數(shù)據(jù)來識(shí)別在正在被再現(xiàn)的視頻幀中包括的每一個(gè)目標(biāo)對(duì)象，并且將每一所識(shí)別的目標(biāo)對(duì)象的圖像顯示在一行中，其中，在用戶選擇特定目標(biāo)對(duì)象的圖像的情況下，所述再現(xiàn)控制單元使得再現(xiàn)其中與所選擇的圖像對(duì)應(yīng)的目標(biāo)對(duì)象出現(xiàn)的區(qū)間的視頻幀。(4)根據(jù)(I)到(3)中任一項(xiàng)所述的信息處理設(shè)備，
其中，所述元數(shù)據(jù)獲取單元獲取區(qū)域元數(shù)據(jù)，所述區(qū)域元數(shù)據(jù)針對(duì)每個(gè)視頻幀寫入關(guān)于在構(gòu)成視頻的每一個(gè)視頻幀中包括的每一個(gè)目標(biāo)對(duì)象的位置或關(guān)于包括所述每一個(gè)目標(biāo)對(duì)象的區(qū)域的信息，并且其中，所述信息處理設(shè)備進(jìn)一步包括區(qū)域識(shí)別單元，用于使用所述區(qū)域元數(shù)據(jù)來識(shí)別正在再現(xiàn)的視頻幀內(nèi)用戶指定的位置處存在的目標(biāo)對(duì)象，以及相關(guān)信息顯示單元，在通過所述區(qū)域識(shí)別單元識(shí)別目標(biāo)對(duì)象的存在的情況下，用于顯示與所述目標(biāo)對(duì)象相關(guān)的相關(guān)信息。(5)根據(jù)(I)到(3)中任一項(xiàng)所述的信息處理設(shè)備，其中，所述元數(shù)據(jù)獲取單元獲取區(qū)域元數(shù)據(jù)，所述區(qū)域元數(shù)據(jù)用于針對(duì)每個(gè)視頻幀寫入關(guān)于在構(gòu)成視頻的每一個(gè)視頻幀中包括的每一個(gè)目標(biāo)對(duì)象的位置或關(guān)于包括所述 每一個(gè)目標(biāo)對(duì)象的區(qū)域的信息，其中，所述信息處理設(shè)備進(jìn)一步包括區(qū)域識(shí)別單元，用于使用所述區(qū)域元數(shù)據(jù)識(shí)別正在再現(xiàn)的視頻幀內(nèi)用戶指定的位置處存在的目標(biāo)對(duì)象，并且其中，在通過所述區(qū)域識(shí)別單元識(shí)別出目標(biāo)對(duì)象的存在的情況下，所述再現(xiàn)控制單元使用所述區(qū)間元數(shù)據(jù)來再現(xiàn)其中出現(xiàn)所述目標(biāo)對(duì)象的區(qū)間的視頻幀。(6)根據(jù)(I)到(3)中任一項(xiàng)所述的信息處理設(shè)備，其中，所述元數(shù)據(jù)獲取單元獲取區(qū)域元數(shù)據(jù)，所述區(qū)域元數(shù)據(jù)用于針對(duì)每個(gè)視頻幀寫入關(guān)于在構(gòu)成視頻的每一個(gè)視頻幀中包括的每一個(gè)目標(biāo)對(duì)象的位置或關(guān)于包括所述每一個(gè)目標(biāo)對(duì)象的區(qū)域的信息，其中，所述信息處理設(shè)備進(jìn)一步包括相關(guān)信息顯示單元，用于使用所述區(qū)間元數(shù)據(jù)來識(shí)別在正在再現(xiàn)的視頻幀中包括的每一個(gè)目標(biāo)對(duì)象，并且顯示與每一個(gè)所識(shí)別的目標(biāo)對(duì)象相關(guān)的相關(guān)信息，并且其中，所述相關(guān)信息顯示單元使用所述區(qū)域元數(shù)據(jù)顯示來自所述視頻幀中包括的每一個(gè)目標(biāo)對(duì)象的位置或來自包括所述每一個(gè)目標(biāo)對(duì)象的區(qū)域的氣球，并且在所述氣球中顯示與所述每個(gè)目標(biāo)對(duì)象相關(guān)的相關(guān)信息。(7)根據(jù)(I )到(3)中任一項(xiàng)所述的信息處理設(shè)備，其中，所述區(qū)間信息顯示單元顯示其中出現(xiàn)目標(biāo)對(duì)象的區(qū)間與每個(gè)區(qū)間中出現(xiàn)的每一目標(biāo)對(duì)象相關(guān)聯(lián)的列表。(8)根據(jù)(I )到(3)中任一項(xiàng)所述的信息處理設(shè)備，其中，所述區(qū)間信息顯示單元在條上顯示所述視頻的每一個(gè)區(qū)間，并且以加重的方式在所述條上顯示其中由用戶選擇的目標(biāo)對(duì)象出現(xiàn)的區(qū)間。(9)根據(jù)(I)到(3)中任一項(xiàng)所述的信息處理設(shè)備，其中，所述區(qū)間信息顯示單元相對(duì)于其中由用戶選擇的目標(biāo)對(duì)象出現(xiàn)的至少一個(gè)區(qū)間在一行中顯示用于表示區(qū)間的圖像，并且其中，在用戶選擇用于表示區(qū)間的一個(gè)圖像的情況下，所述再現(xiàn)控制單元使得再現(xiàn)與所述圖像對(duì)應(yīng)的區(qū)間的視頻幀。(10)根據(jù)(I)到(3)中任一項(xiàng)所述的信息處理設(shè)備，進(jìn)一步包括信息發(fā)送單元，用于使用所述區(qū)間元數(shù)據(jù)來識(shí)別正在被再現(xiàn)的視頻幀中包括的每一個(gè)目標(biāo)對(duì)象，并且向終端裝置發(fā)送關(guān)于每一被識(shí)別的目標(biāo)對(duì)象的信息，
其中，所述終端裝置被安裝有圖像捕獲裝置和顯示裝置，并且通過所述圖像捕獲裝置來捕獲正在被再現(xiàn)的所述視頻幀，通過所述顯示裝置來顯示所述視頻幀，并且基于關(guān)于從所述信息處理設(shè)備接收的每一目標(biāo)對(duì)象的信息，在所述視頻幀上以重疊的方式來顯示關(guān)于所述每一目標(biāo)對(duì)象的相關(guān)信息。(11)根據(jù)(10)所述的信息處理設(shè)備，其中，在所述視頻幀的顯示區(qū)域被包括在所述圖像捕獲裝置的拍攝范圍中的情況下，所述終端裝置在所述顯示裝置上顯示所述視頻幀和所述相關(guān)信息，并且其中，在所述視頻幀的所述顯示區(qū)域不被包括在所述圖像捕獲裝置的所述拍攝范圍中的情況下，所述終端裝置僅在所述顯示裝置上顯示所述相關(guān)信息。(12) 一種信息處理方法，包括 獲取用于指示每一個(gè)目標(biāo)對(duì)象在視頻中出現(xiàn)的出現(xiàn)區(qū)間的區(qū)間元數(shù)據(jù)；使用所述區(qū)間元數(shù)據(jù)來顯示區(qū)間信息，所述區(qū)間信息可視地表達(dá)在構(gòu)成所述視頻的所有區(qū)間中每一個(gè)目標(biāo)對(duì)象出現(xiàn)的區(qū)間；以及在用戶從被顯示為關(guān)于特定目標(biāo)對(duì)象的多個(gè)區(qū)間信息的區(qū)間中選擇一個(gè)區(qū)間的情況下，使得再現(xiàn)所述擇的區(qū)間的視頻幀。(13) 一種程序，用于使得計(jì)算機(jī)實(shí)現(xiàn)以下功能區(qū)間信息顯示功能，用于使用用于指示每一個(gè)目標(biāo)對(duì)象在視頻中出現(xiàn)的出現(xiàn)區(qū)間的區(qū)間元數(shù)據(jù)來顯示區(qū)間信息，所述區(qū)間信息可視地表達(dá)在構(gòu)成所述視頻的每一個(gè)區(qū)間中每一個(gè)目標(biāo)對(duì)象出現(xiàn)的區(qū)間，其中，在用戶從被顯示為關(guān)于特定目標(biāo)對(duì)象的多個(gè)區(qū)間信息的區(qū)間中選擇一個(gè)區(qū)間的情況下，再現(xiàn)所選擇的區(qū)間的視頻幀。( 14) 一種信息處理設(shè)備，包括元數(shù)據(jù)獲取單元，用于獲取用于指示每一個(gè)目標(biāo)對(duì)象在視頻中出現(xiàn)的出現(xiàn)區(qū)間的區(qū)間元數(shù)據(jù)；信息顯示單元，用于使用所述區(qū)間元數(shù)據(jù)來顯示在被再現(xiàn)的視頻幀中包括的每一個(gè)目標(biāo)對(duì)象的圖像或相關(guān)信息；以及再現(xiàn)控制單元，在用戶選擇目標(biāo)對(duì)象的圖像或相關(guān)信息的情況下，用于通過使用所述區(qū)間元數(shù)據(jù)來識(shí)別與所選擇的圖像或相關(guān)信息對(duì)應(yīng)的目標(biāo)對(duì)象的出現(xiàn)區(qū)間，并且使得再現(xiàn)在所述出現(xiàn)區(qū)間中包括的視頻幀。(15) 一種信息處理設(shè)備,包括元數(shù)據(jù)獲取單元，用于獲取區(qū)間元數(shù)據(jù)和區(qū)域元數(shù)據(jù)，所述區(qū)間元數(shù)據(jù)用于指示每一個(gè)目標(biāo)對(duì)象在視頻中出現(xiàn)的出現(xiàn)區(qū)間，所述區(qū)域元數(shù)據(jù)針對(duì)每個(gè)視頻幀寫入關(guān)于在構(gòu)成所述視頻的每一個(gè)視頻巾貞中包括的每一個(gè)目標(biāo)對(duì)象的位置或關(guān)于包括所述每一個(gè)目標(biāo)對(duì)象的區(qū)域的信息；區(qū)域識(shí)別單元，用于使用所述區(qū)域元數(shù)據(jù)來識(shí)別正在被再現(xiàn)的視頻幀內(nèi)用戶指定的位置處存在的目標(biāo)對(duì)象；以及再現(xiàn)控制單元，在通過所述區(qū)域識(shí)別單元識(shí)別了目標(biāo)對(duì)象的存在的情況下，用于通過使用所述區(qū)間元數(shù)據(jù)來識(shí)別其存在已經(jīng)被識(shí)別的目標(biāo)對(duì)象的出現(xiàn)區(qū)間，并且使得再現(xiàn)在所述出現(xiàn)區(qū)間中包括的視頻幀。
(注釋)如上所述的元數(shù)據(jù)獲取單元301是元數(shù)據(jù)獲取單元的一個(gè)示例。如上所述的出現(xiàn)區(qū)間呈現(xiàn)單元302是區(qū)間信息顯示單元的一個(gè)示例。出現(xiàn)區(qū)間再現(xiàn)單元303是再現(xiàn)控制單元和圖像顯示單元的一個(gè)示例。相關(guān)信息呈現(xiàn)單元306是區(qū)域識(shí)別單元和相關(guān)信息顯示單元的一個(gè)示例。相關(guān)信息呈現(xiàn)單元306是信息發(fā)送單元和信息顯示單元的一個(gè)示例。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)明白，可以根據(jù)設(shè)計(jì)要求和其他因素進(jìn)行各種修改、組合、子組合和改變，只要它們?cè)谒降臋?quán)利要求或其等同內(nèi)容的范圍內(nèi)既可。
本申請(qǐng)包含與2011年5月30日提交于日本專利局的日本優(yōu)先權(quán)專利申請(qǐng)JP2011-120395中公開的主題相關(guān)的主題，該日本申請(qǐng)的整體內(nèi)容通過引用而合并于此。
權(quán)利要求
1.一種信息處理設(shè)備,包括 元數(shù)據(jù)獲取單元，用于獲取用于指示每一個(gè)目標(biāo)對(duì)象出現(xiàn)在視頻中的出現(xiàn)區(qū)間的區(qū)間元數(shù)據(jù)； 區(qū)間信息顯示單元，用于使用所述區(qū)間元數(shù)據(jù)來顯示區(qū)間信息，所述區(qū)間信息可視地表達(dá)在構(gòu)成所述視頻的所有區(qū)間中每一個(gè)目標(biāo)對(duì)象出現(xiàn)的區(qū)間；以及 再現(xiàn)控制單元，在用戶從被顯示作為關(guān)于特定目標(biāo)對(duì)象的多個(gè)區(qū)間信息的各區(qū)間中選擇了一個(gè)區(qū)間的情況下，該再現(xiàn)控制單元用于使得再現(xiàn)所選擇的區(qū)間的視頻幀。
2.根據(jù)權(quán)利要求I所述的信息處理設(shè)備， 其中，所述區(qū)間信息顯示單元與所述區(qū)間信息一起顯示與所述區(qū)間信息對(duì)應(yīng)的目標(biāo)對(duì)象的圖像，并且其中，在用戶選擇了與關(guān)于特定目標(biāo)對(duì)象的區(qū)間信息一起顯示的目標(biāo)對(duì)象的圖像的情況下，所述再現(xiàn)控制單元再現(xiàn)被顯示為所述區(qū)間信息的所有區(qū)間的視頻幀。
3.根據(jù)權(quán)利要求I所述的信息處理設(shè)備，進(jìn)一步包括 圖像顯示單元，用于通過利用所述區(qū)間元數(shù)據(jù)來識(shí)別正在被再現(xiàn)的視頻幀中包括的每一個(gè)目標(biāo)對(duì)象，并且將每一個(gè)識(shí)別的目標(biāo)對(duì)象的圖像顯示在一行， 其中，在用戶選擇了特定目標(biāo)對(duì)象的圖像的情況下，所述再現(xiàn)控制單元使得再現(xiàn)其中出現(xiàn)了與所選擇的圖像對(duì)應(yīng)的目標(biāo)對(duì)象的區(qū)間的視頻幀。
4.根據(jù)權(quán)利要求I所述的信息處理設(shè)備， 其中，所述元數(shù)據(jù)獲取單元獲取區(qū)域元數(shù)據(jù)，所述區(qū)域元數(shù)據(jù)包含針對(duì)每個(gè)視頻幀的關(guān)于在構(gòu)成視頻的每個(gè)視頻幀中包括的每一個(gè)目標(biāo)對(duì)象的位置的信息或關(guān)于包括所述每一個(gè)目標(biāo)對(duì)象的區(qū)域的信息，并且 其中，所述信息處理設(shè)備進(jìn)一步包括 區(qū)域識(shí)別單元，用于利用所述區(qū)域元數(shù)據(jù)來識(shí)別在正在再現(xiàn)的視頻幀內(nèi)在用戶指定的位置處存在的目標(biāo)對(duì)象，以及 相關(guān)信息顯示單元，在通過所述區(qū)域識(shí)別單元識(shí)別出存在目標(biāo)對(duì)象的情況下，該相關(guān)信息顯示單元用于顯示與所述目標(biāo)對(duì)象相關(guān)的相關(guān)信息。
5.根據(jù)權(quán)利要求I所述的信息處理設(shè)備， 其中，所述元數(shù)據(jù)獲取單元獲取區(qū)域元數(shù)據(jù)，所述區(qū)域元數(shù)據(jù)包含針對(duì)每個(gè)視頻幀的關(guān)于在構(gòu)成視頻的每個(gè)視頻幀中包括的每一個(gè)目標(biāo)對(duì)象的位置的信息或關(guān)于包括所述每一個(gè)目標(biāo)對(duì)象的區(qū)域的信息， 其中，所述信息處理設(shè)備進(jìn)一步包括區(qū)域識(shí)別單元，用于利用所述區(qū)域元數(shù)據(jù)來識(shí)別在正在再現(xiàn)的視頻幀內(nèi)在用戶指定的位置處存在的目標(biāo)對(duì)象，并且 其中，在通過所述區(qū)域識(shí)別單元識(shí)別出存在目標(biāo)對(duì)象的情況下，所述再現(xiàn)控制單元利用所述區(qū)間元數(shù)據(jù)來再現(xiàn)其中出現(xiàn)了所述目標(biāo)對(duì)象的區(qū)間的視頻幀。
6.根據(jù)權(quán)利要求I所述的信息處理設(shè)備， 其中，所述元數(shù)據(jù)獲取單元獲取區(qū)域元數(shù)據(jù)，所述區(qū)域元數(shù)據(jù)包含針對(duì)每個(gè)視頻幀的關(guān)于在構(gòu)成視頻的每個(gè)視頻幀中包括的每一個(gè)目標(biāo)對(duì)象的位置的信息或關(guān)于包括所述每一個(gè)目標(biāo)對(duì)象的區(qū)域的信息， 其中，所述信息處理設(shè)備進(jìn)一步包括相關(guān)信息顯示單元，用于利用所述區(qū)間元數(shù)據(jù)來識(shí)別在正在再現(xiàn)的視頻幀中包括的每一個(gè)目標(biāo)對(duì)象，并且顯示與每一個(gè)識(shí)別的目標(biāo)對(duì)象相關(guān)的相關(guān)信息，并且 其中，所述相關(guān)信息顯示單元利用所述區(qū)域元數(shù)據(jù)從所述視頻幀中包括的每一個(gè)目標(biāo)對(duì)象的位置或從包括所述每一個(gè)目標(biāo)對(duì)象的區(qū)域來顯示氣球，并且在所述氣球中顯示與所述每一個(gè)目標(biāo)對(duì)象相關(guān)的相關(guān)信息。
7.根據(jù)權(quán)利要求I所述的信息處理設(shè)備，其中，所述區(qū)間信息顯示單元顯示列表，在該列表中，出現(xiàn)目標(biāo)對(duì)象的區(qū)間與在每個(gè)區(qū)間中出現(xiàn)的每一目標(biāo)對(duì)象相關(guān)聯(lián)。
8.根據(jù)權(quán)利要求I所述的信息處理設(shè)備，其中，所述區(qū)間信息顯示單元將所述視頻的每一個(gè)區(qū)間顯示在條上，并且以加重的方式在所述條上顯示其中出現(xiàn)用戶選擇的目標(biāo)對(duì)象的區(qū)間。
9.根據(jù)權(quán)利要求I所述的信息處理設(shè)備， 其中，所述區(qū)間信息顯示單元相對(duì)于其中出現(xiàn)用戶選擇的目標(biāo)對(duì)象的至少一個(gè)區(qū)間在一行中顯示用于表示區(qū)間的圖像，并且 其中，在用戶選擇了用于表示區(qū)間的一個(gè)圖像的情況下，所述再現(xiàn)控制單元使得再現(xiàn)與所述圖像對(duì)應(yīng)的區(qū)間的視頻幀。
10.根據(jù)權(quán)利要求I所述的信息處理設(shè)備，進(jìn)一步包括 信息發(fā)送單元，用于利用所述區(qū)間元數(shù)據(jù)來識(shí)別在正在被再現(xiàn)的視頻幀中包括的每一個(gè)目標(biāo)對(duì)象，并且向終端裝置發(fā)送關(guān)于每一個(gè)識(shí)別的目標(biāo)對(duì)象的信息， 其中，所述終端裝置安裝有圖像捕獲裝置和顯示裝置，并且通過所述圖像捕獲裝置來捕獲正在被再現(xiàn)的所述視頻幀，通過所述顯示裝置來顯示所述視頻幀，并且基于從所述信息處理設(shè)備接收的關(guān)于每一個(gè)目標(biāo)對(duì)象的信息，在所述視頻幀上以重疊的方式顯示關(guān)于所述每一個(gè)目標(biāo)對(duì)象的相關(guān)信息。
11.根據(jù)權(quán)利要求10所述的信息處理設(shè)備， 其中，在所述視頻幀的顯示區(qū)域被包括在所述圖像捕獲裝置的拍攝范圍中的情況下，所述終端裝置在所述顯示裝置上顯示所述視頻幀和所述相關(guān)信息，并且 其中，在所述視頻幀的所述顯示區(qū)域不被包括在所述圖像捕獲裝置的所述拍攝范圍中的情況下，所述終端裝置僅在所述顯示裝置上顯示所述相關(guān)信息。
12.—種信息處理方法,包括 獲取用于指示每一個(gè)目標(biāo)對(duì)象出現(xiàn)在視頻中的出現(xiàn)區(qū)間的區(qū)間元數(shù)據(jù)； 利用所述區(qū)間元數(shù)據(jù)來顯示區(qū)間信息，所述區(qū)間信息可視地表達(dá)在構(gòu)成所述視頻的所有區(qū)間中出現(xiàn)每一個(gè)目標(biāo)對(duì)象的區(qū)間；以及 在用戶從被顯示作為關(guān)于特定目標(biāo)對(duì)象的多個(gè)區(qū)間信息的各區(qū)間中選擇了一個(gè)區(qū)間的情況下，使得再現(xiàn)所選擇的區(qū)間的視頻幀。
13.一種程序，用于使得計(jì)算機(jī)實(shí)現(xiàn)下述功能 區(qū)間信息顯示功能，用于利用用于指示每一個(gè)目標(biāo)對(duì)象出現(xiàn)在視頻中的出現(xiàn)區(qū)間的區(qū)間元數(shù)據(jù)來顯示區(qū)間信息，所述區(qū)間信息可視地表達(dá)在構(gòu)成所述視頻的每一個(gè)區(qū)間中出現(xiàn)每一個(gè)目標(biāo)對(duì)象的區(qū)間， 其中，在用戶從被顯示作為關(guān)于特定目標(biāo)對(duì)象的多個(gè)區(qū)間信息的各區(qū)間中選擇了一個(gè)區(qū)間的情況下，再現(xiàn)所選擇的區(qū)間的視頻幀。
14.一種信息處理設(shè)備,包括 元數(shù)據(jù)獲取單元，用于獲取用于指示每一個(gè)目標(biāo)對(duì)象出現(xiàn)在視頻中的出現(xiàn)區(qū)間的區(qū)間元數(shù)據(jù)； 信息顯示單元，用于利用所述區(qū)間元數(shù)據(jù)來顯示在正被再現(xiàn)的視頻幀中包括的每一個(gè)目標(biāo)對(duì)象的圖像或相關(guān)信息；以及 再現(xiàn)控制單元，在用戶選擇了目標(biāo)對(duì)象的圖像或相關(guān)信息的情況下，該再現(xiàn)選擇單元用于通過利用所述區(qū)間元數(shù)據(jù)來識(shí)別與所選擇的圖像或相關(guān)信息對(duì)應(yīng)的目標(biāo)對(duì)象的出現(xiàn)區(qū)間，并且使得再現(xiàn)所述出現(xiàn)區(qū)間中包括的視頻幀。
15.—種信息處理設(shè)備,包括 元數(shù)據(jù)獲取單元，用于獲取區(qū)間元數(shù)據(jù)和區(qū)域元數(shù)據(jù)，所述區(qū)間元數(shù)據(jù)用于指示每一個(gè)目標(biāo)對(duì)象出現(xiàn)在視頻中的出現(xiàn)區(qū)間，所述區(qū)域元數(shù)據(jù)針對(duì)每個(gè)視頻幀寫入關(guān)于在構(gòu)成所述視頻的每個(gè)視頻巾貞中包括的每一個(gè)目標(biāo)對(duì)象的位置的信息或關(guān)于包括所述每一個(gè)目標(biāo)對(duì)象的區(qū)域的信息； 區(qū)域識(shí)別單元，用于利用所述區(qū)域元數(shù)據(jù)來識(shí)別在正在被再現(xiàn)的視頻幀內(nèi)在用戶指定的位置處存在的目標(biāo)對(duì)象；以及 再現(xiàn)控制單元，在通過所述區(qū)域識(shí)別單元識(shí)別出存在目標(biāo)對(duì)象的情況下，該再現(xiàn)控制單元用于通過利用所述區(qū)間元數(shù)據(jù)來識(shí)別存在已被識(shí)別的所述目標(biāo)對(duì)象的出現(xiàn)區(qū)間，并且使得再現(xiàn)所述出現(xiàn)區(qū)間中包括的視頻幀。
全文摘要
本發(fā)明提供了信息處理設(shè)備、信息處理方法和程序。一種信息處理設(shè)備包括元數(shù)據(jù)獲取單元，用于獲取用于指示每一個(gè)目標(biāo)對(duì)象出現(xiàn)在視頻中的出現(xiàn)區(qū)間的區(qū)間元數(shù)據(jù)；區(qū)間信息顯示單元，用于使用所述區(qū)間元數(shù)據(jù)來顯示區(qū)間信息，所述區(qū)間信息可視地表達(dá)在構(gòu)成所述視頻的所有區(qū)間中每一個(gè)目標(biāo)對(duì)象出現(xiàn)的區(qū)間；以及再現(xiàn)控制單元，在用戶從被顯示為關(guān)于特定目標(biāo)對(duì)象的多個(gè)區(qū)間信息的區(qū)間中選擇了一個(gè)區(qū)間的情況下，用于使得再現(xiàn)所選擇的區(qū)間的視頻幀。
文檔編號(hào)H04N21/431GK102857810SQ201210162919
公開日2013年1月2日 申請(qǐng)日期2012年5月23日 優(yōu)先權(quán)日2011年5月30日
發(fā)明者村田誠, 倉田雅友, 佐藤浩司, 澀谷直樹 申請(qǐng)人:索尼公司