會議信息處理裝置和方法以及計算機可讀存儲介質(zhì)的制作方法

專利名稱：：會議信息處理裝置和方法以及計算機可讀存儲介質(zhì)的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及會議信息處理裝置、會議信息處理方法以及計算機可讀存儲介質(zhì)。
背景技術(shù)：
：已存在與會議記錄相關(guān)的多種傳統(tǒng)技術(shù)，例如用于對會議視頻進行索引以備將來使用的技術(shù)、用于分析會議視頻圖像的技術(shù)、用于對會議視頻進行概要處理的技術(shù)以及用于根據(jù)預(yù)定的模式和規(guī)則對會議視頻進行概要處理的技術(shù)。這些傳統(tǒng)技術(shù)僅在物理事件級別上實施。但是，在要通過任何上述傳統(tǒng)技術(shù)來處理會議過程中捕獲的圖像數(shù)據(jù)的情況下，不能對會議參加者的各種動作進行適當?shù)乃饕?，并且不能為在會議之后觀看會議視頻的那些人提供有用的會議視頻。此外，這些傳統(tǒng)技術(shù)甚至沒有公開特別重要的動作。該方法也不能根據(jù)不同的應(yīng)用目的而提供不同的會議視頻概要。
發(fā)明內(nèi)容鑒于上述情況提出了本發(fā)明，并且本發(fā)明提供了一種會議信息處理裝置和會議信息處理方法，以及計算機可讀存儲介質(zhì)，其中消除了上述缺點。根據(jù)本發(fā)明的一個方面，提供了一種會議信息處理裝置，其具有提取單元，用于從會議音頻和/或可視信息中提取部分會議音頻和/或可視信息，所述部分會議音頻和/或可視信息還包含會議參加者的一個或多個物理事件。此外，該裝置還具有提供單元，用于根據(jù)從一個或更多個物理事件中摘錄的功能性動作來為所述部分會議音頻和/或可視信息提供索引。根據(jù)本發(fā)明的另一方面，提供了一種會議信息處理方法。該方法包括以下步驟從會議音頻和/或可視信息中提取部分會議音頻和/或可視信息；以及根據(jù)從會議參加者的一個或更多個物理事件中摘錄的功能性動作來為所述部分會議音頻和/或可視信息提供索引。根據(jù)本發(fā)明的另一方面，提供了一種計算機可讀存儲介質(zhì)，該存儲介質(zhì)存儲有可由計算機執(zhí)行的指令程序，以執(zhí)行包括以下步驟的功能從會議音頻和/或可視信息中提取部分會議音頻和/或可視信息，所述會議音頻和/或可視信息包含會議參加者的一個或多個物理事件；以及根據(jù)從一個或多個物理事件摘錄的功能性動作來為所述部分會議音頻和/或可視信息提供索引?；谝韵赂綀D對本發(fā)明的實施例進行詳細說明，其中圖1是表示根據(jù)本發(fā)明的會議信息處理裝置的方框圖；圖2表示以分級方式表述會議參加者的動作的可視化數(shù)據(jù)；圖3是由圖1中所示的索引提供單元提供的圖形用戶界面的示例畫面；圖4表示功能性動作的二維圖形表述的示例；圖5是以XML數(shù)據(jù)的形式表述的索引數(shù)據(jù)集的前半部分；圖6是以XML數(shù)據(jù)的形式表述的索引數(shù)據(jù)集的后半部分；圖7是會議記錄處理的流程圖；圖8是圖7中所示的概要規(guī)則生成步驟的詳細過程的流程圖；圖9是表示其中三個人參加會議并且如本發(fā)明第一實施例中那樣對各個參加者的功能性動作進行定義的情況的時間線圖；圖10表示持續(xù)時間比預(yù)定閾值長的功能性動作以及持續(xù)時間比預(yù)定閾值短的功能性動作；圖11是索引顯示操作的流程圖；圖12表示在功能層和介質(zhì)層中的圖像數(shù)據(jù)結(jié)構(gòu)的示例；圖13是功能性動作“發(fā)言”的時間線圖；圖14是功能性動作持續(xù)時間確定處理的流程圖；圖15是功能性動作持續(xù)時間確定處理的更詳細的流程圖；圖16是功能性動作“獲得發(fā)言權(quán)(AttentionSeeking)”的時間線圖；圖17是功能性動作“繼續(xù)發(fā)言”的時間線圖；圖18是功能性動作“觀察”的時間線圖；圖19是功能性動作“參加”的時間線圖；圖20是功能性動作“不參加”的時間線圖；圖21是功能性動作“附應(yīng)(Backchanneling)”的時間線圖；圖22是功能性動作“提問”的時間線圖；圖23是功能性動作“確認提問”的時間線圖；圖24是功能性動作“發(fā)言型思考”的時間線圖；圖25是功能性動作“提問型思考”的時間線圖；圖26是功能性動作“確認提問型思考”的時間線圖；圖27是功能性動作“不發(fā)言型思考”的時間線圖；圖28是功能性動作“自言自語”的時間線圖；圖29是功能性動作“發(fā)言型公共信息空間使用”的時間線圖；圖30是功能性動作“提問型公共信息空間使用”的時間線圖；圖31是功能性動作“確認提問型公共信息空間使用”的時間線圖；圖32是功能性動作“不發(fā)言型公共信息空間使用”的時間線圖；圖33是功能性動作“參加型私人信息空間使用”的時間線圖；圖34是功能性動作“不參加型私人信息空間使用”的時間線圖；以及圖35是功能性動作“笑”的時間線圖。具體實施例方式在下文中，參照附圖詳細說明本發(fā)明的示例性實施例。(第一實施例)首先參照圖1，對根據(jù)本發(fā)明第一實施例的會議信息處理裝置進行說明。圖1是表示根據(jù)該實施例的會議信息處理裝置的示例的方框圖。圖1中所示的會議信息處理裝置包括會議視頻攝像單元2、會議視頻記錄單元3、部分會議視頻提取單元4、索引提供單元5、索引記錄單元6、會議視頻顯示單元7、索引顯示單元8、同步單元9、概要規(guī)則生成單元10、概要規(guī)則記錄單元11、概要規(guī)則顯示單元12、視頻概要生成單元13以及視頻概要記錄單元14。在會議信息處理裝置1中，會議視頻攝像單元2、會議視頻記錄單元3、部分會議視頻提取單元4、索引提供單元5、索引記錄單元6、會議視頻顯示單元7、索引顯示單元8、同步單元9、概要規(guī)則生成單元10、概要規(guī)則記錄單元11、概要規(guī)則顯示單元12、視頻概要生成單元13以及視頻概要記錄單元14通過網(wǎng)絡(luò)或數(shù)據(jù)線、控制線和電路彼此相連。會議信息處理裝置1處理會議視頻，并包括CPU(中央處理單元)、ROM(只讀存儲器)和RAM(隨機存取存儲器)。CPU將預(yù)定程序加載到RAM中以部分地執(zhí)行圖1中所示的功能。根據(jù)該程序?qū)崿F(xiàn)本發(fā)明所要求保護的會議信息處理方法。會議視頻攝像單元2由攝像機和麥克風系統(tǒng)(聲音采集系統(tǒng)、聲音拾取系統(tǒng)或語音記錄系統(tǒng))或者兩者的組合等構(gòu)成。會議視頻攝像單元2獲取運動圖像數(shù)據(jù)和音頻數(shù)據(jù)、或者作為運動圖像數(shù)據(jù)和音頻數(shù)據(jù)的組合的會議視頻數(shù)據(jù)，并將數(shù)據(jù)輸出到會議視頻記錄單元3。會議視頻記錄單元3由諸如存儲器或硬盤的記錄介質(zhì)以及記錄裝置等構(gòu)成。會議視頻記錄單元3接收由會議視頻攝像單元2獲取的會議視頻數(shù)據(jù)，并在諸如內(nèi)置存儲器或硬盤的記錄介質(zhì)上記錄該會議視頻數(shù)據(jù)。會議視頻記錄單元3隨后將所記錄的會議視頻數(shù)據(jù)輸出到部分會議視頻提取單元4、視頻概要生成單元13以及會議視頻顯示單元7。也就是說，部分會議視頻提取單元4提取由運動圖像數(shù)據(jù)和音頻數(shù)據(jù)構(gòu)成的視頻數(shù)據(jù)的部分或者全部。更具體地說，部分會議視頻提取單元4可以從視頻數(shù)據(jù)(記錄在會議視頻記錄單元3上)中只提取運動圖像，或只提取音頻數(shù)據(jù)，或者提取部分或全部運動圖像數(shù)據(jù)和音頻數(shù)據(jù)。部分會議視頻提取單元4從存儲在會議視頻記錄單元3中的會議音頻和/或可視信息中提取部分會議音頻和/或可視信息。該部分會議音頻和/或可視信息包含會議參加者的一個或更多個物理事件。部分會議視頻提取單元4還從該部分會議視頻信息中提取各個物理事件的音頻和/或可視信息。當提取部分音頻和/或可視信息時，部分會議視頻提取單元4可以提取記錄在會議視頻記錄單元3上的部分會議音頻和/或可視信息，或者提取記錄在會議視頻記錄單元3上的全部會議音頻和/或可視信息。由部分會議視頻提取單元4提取的部分音頻和/或可視信息也稱作為部分會議視頻數(shù)據(jù)或部分圖像數(shù)據(jù)。部分會議視頻提取單元4包括諸如圖像識別裝置的音頻和/或可視處理裝置、諸如運動圖像數(shù)據(jù)處理裝置或音頻和/或可視數(shù)據(jù)處理裝置的視頻音頻和/或可視處理裝置、以及諸如語音識別裝置的語言處理裝置等。索引提供單元5由CPU等構(gòu)成。索引提供單元5為由部分會議視頻提取單元4提取的各個物理事件的音頻和/或可視信息提供適當?shù)乃饕龜?shù)據(jù)。索引提供單元5還對從索引數(shù)據(jù)中的各個對應(yīng)物理事件中摘錄的一個或更多個功能性動作進行識別，并根據(jù)這些功能性動作，為由部分會議視頻提取單元4提取的部分會議視頻數(shù)據(jù)提供索引。索引提供單元5執(zhí)行半自動或全自動索引數(shù)據(jù)生成操作。在第一實施例中，執(zhí)行半自動索引數(shù)據(jù)生成操作。在稍后描述的第二實施例中，執(zhí)行全自動索引數(shù)據(jù)生成操作。索引提供單元5包括諸如鼠標的指示器、鍵盤、以及諸如顯示器的圖形用戶界面。用戶可以利用指示器、鍵盤和圖形用戶界面手工生成索引數(shù)據(jù)。索引記錄單元6由諸如存儲器或硬盤的記錄介質(zhì)以及記錄裝置構(gòu)成。索引記錄單元6記錄從索引提供單元5輸入的索引數(shù)據(jù)，并將該索引數(shù)據(jù)輸出到索引顯示單元8或視頻概要生成單元13。會議視頻顯示單元7由諸如顯示器或監(jiān)視器的顯示裝置構(gòu)成。會議視頻顯示單元7顯示從會議視頻記錄單元3輸出的會議視頻、從部分會議視頻提取單元4輸出的部分圖像、以及由視頻概要生成單元13進行了概要處理的會議視頻。索引顯示單元8由諸如顯示器或監(jiān)視器的顯示裝置構(gòu)成，并向用戶顯示通過索引記錄單元6輸入的索引數(shù)據(jù)。當在相同時間段內(nèi)由會議視頻攝像單元2獲取兩個或更多個會議視頻時，同步單元9使所捕獲的會議視頻的數(shù)據(jù)彼此同步。通過這樣做，可以使兩個或更多個會議視頻彼此同步。同步單元9使用延時數(shù)據(jù)作為同步化的參數(shù)。將延時數(shù)據(jù)作為關(guān)于各個圖像數(shù)據(jù)集的屬性信息記錄在會議視頻記錄單元3上。概要規(guī)則生成單元10產(chǎn)生要用于對記錄在會議視頻記錄單元3上的圖像數(shù)據(jù)進行概要處理的概要規(guī)則數(shù)據(jù)。概要規(guī)則生成單元10將概要規(guī)則數(shù)據(jù)輸出到概要規(guī)則記錄單元11。概要規(guī)則記錄單元11由諸如存儲器或硬盤的記錄介質(zhì)以及記錄裝置構(gòu)成。概要規(guī)則記錄單元11在諸如內(nèi)置存儲器或硬盤的記錄介質(zhì)上記錄已從概要規(guī)則生成單元10輸入的概要規(guī)則數(shù)據(jù)，并且隨后將概要規(guī)則數(shù)據(jù)輸出給概要規(guī)則顯示單元12。概要規(guī)則顯示單元12由諸如顯示器或監(jiān)視器的顯示裝置構(gòu)成，并向用戶顯示從概要規(guī)則記錄單元11輸入的概要規(guī)則數(shù)據(jù)。視頻概要生成單元13基于從概要規(guī)則記錄單元11輸入的概要規(guī)則數(shù)據(jù)和由索引提供單元5提供的索引結(jié)果，生成作為會議視頻記錄單元3的會議音頻和/或可視信息概要的會議視頻。視頻概要生成單元13將概要會議視頻輸出給視頻概要記錄單元14。視頻概要記錄單元14由諸如存儲器或硬盤的記錄介質(zhì)以及記錄裝置構(gòu)成。視頻概要記錄單元14記錄由視頻概要生成單元13進行了概要處理的會議視頻。視頻概要記錄單元14將所記錄的視頻概要數(shù)據(jù)輸出給會議視頻顯示單元7。由此，在會議視頻顯示單元7上顯示根據(jù)功能性動作產(chǎn)生的會議視頻。部分會議視頻提取單元4、索引提供單元5、視頻概要生成單元13、視頻概要記錄單元14、會議視頻顯示單元7、以及同步單元9分別相當于本發(fā)明的權(quán)利要求中的提取單元、提供單元、生成單元、記錄單元、顯示單元和同步單元。現(xiàn)參照圖2，對會議參加者的動作進行說明。圖2表示以分級的方式顯示會議參加者的動作的分級可視化數(shù)據(jù)22。通過索引顯示單元8由圖形用戶界面(稍后描述)將可視化數(shù)據(jù)22呈現(xiàn)給用戶。如圖2中所示，將會議參加者的動作劃分成場景層22a、功能性動作層22b和介質(zhì)層22c。場景層22a的級別比功能性動作層22b高。例如，將“討論”和“陳述”分類為場景層22a的動作。功能性動作層22b表示功能性動作單元中的功能性動作，并且級別比場景層22a低但比介質(zhì)層22c高。例如，盡管功能性動作層22b的細節(jié)將在后面描述，但將“發(fā)言”和“發(fā)言型公共信息空間使用”視為功能性動作。介質(zhì)層22c的級別比功能性動作層22b低，并根據(jù)話音識別技術(shù)或姿勢識別技術(shù)表示數(shù)據(jù)輸入/輸出單元中的數(shù)據(jù)。將諸如交談、看某物和做出姿勢的物理動作(事件)分類為介質(zhì)層22c的事件。在此，可以將功能性動作定義為一個或多個物理事件的摘錄。通過這種方式，圖形用戶界面分級地顯示多個物理事件和從這些物理事件摘錄的功能性動作。圖形用戶界面還顯示以分級的方式從一個或更多個功能性動作摘錄的場景。通過圖形用戶界面，可以以分級化布局清楚地識別多個物理事件和從這些物理事件摘錄的功能性動作之間的差異，也可以以分級化布局清楚地識別功能性動作和從功能性動作摘錄的場景之間的差異。如圖2中所示，通過多級數(shù)據(jù)表示各個會議視頻，在該多級數(shù)據(jù)中至少一個級層表示功能性動作的描述，至少另一個級層表示場景的描述?？梢酝ㄟ^具有一個或多個單層分級表達或多層分級表達的數(shù)據(jù)來表示各個會議視頻。會議信息處理裝置1分級地顯示會議參加者的每個動作。而且，會議信息處理裝置1可以處理、存儲、累積并在外部以分級方式顯示數(shù)據(jù)(例如XML數(shù)據(jù)等)。會議參加者的功能性動作的示例包括發(fā)言；獲得發(fā)言權(quán)；繼續(xù)發(fā)言；觀察；參加；不參加；附應(yīng)；提問；確認型提問；發(fā)言型思考；提問型思考；確認提問型思考；不發(fā)言型思考；自言自語；提問型公共信息空間使用；確認提問型公共信息空間使用；不發(fā)言型公共信息空間使用；參加型私人信息空間使用；不參加型私人信息空間使用；笑；以及不可描述動作。上述動作僅僅是從一個或多個物理事件摘錄的功能性動作的示例，也可以包括其他功能性動作。在該實施例的說明的最后將對這些功能性動作進行定義?，F(xiàn)將對由索引提供單元5提供的圖形用戶界面15進行詳細說明。圖3表示由索引提供單元5提供的圖形用戶界面15的顯示的示例。例如，通過操作系統(tǒng)(OS)的用戶來控制圖形用戶界面15的顯示。索引提供單元5通過索引記錄單元6在索引顯示單元8上顯示圖形用戶界面15。圖形用戶界面15在會議視頻顯示單元7上顯示索引提供單元5的索引結(jié)果。利用該圖形用戶界面15，用戶可以控制整個會議信息處理裝置1。而且，可以根據(jù)功能性動作提供索引。如圖3中所示，圖形用戶界面15包括圖像顯示窗口16a至16d、控制面板17、菜單18、功能性動作描述表19A和19B、軌道表(tracktable)20和場景描述表21。視頻顯示窗口16a至16d顯示記錄在會議視頻記錄單元3上的會議視頻以及由部分會議視頻提取單元4提取的部分會議視頻。圖形用戶界面15顯示通過四個系統(tǒng)的攝像機和一個系統(tǒng)的立體聲麥克風獲取的會議的運動圖像數(shù)據(jù)。在此，分別在圖像顯示窗口16a、16b、16c和16d上顯示從四個攝像機提供的運動圖像數(shù)據(jù)。控制面板17包括圖像數(shù)據(jù)重放按鈕17a、圖像數(shù)據(jù)停止按鈕17b、圖像數(shù)據(jù)快進按鈕17c、圖像數(shù)據(jù)倒退按鈕17d以及滑動條(sliderbar)17e。用戶對控制面板17進行控制，以控制在圖像顯示窗口16a至16d上重放的運動圖像數(shù)據(jù)，并通過揚聲器重放音頻數(shù)據(jù)(可以將運動圖像數(shù)據(jù)和音頻數(shù)據(jù)總稱為“圖像數(shù)據(jù)”)。由用戶操縱滑動條17e，以在任何所需時間在圖像顯示窗口16a至16d上顯示經(jīng)同步處理的運動圖像數(shù)據(jù)。菜單18包括文件菜單18a和概要菜單18b。文件菜單18a包括多個菜單項，例如“新運動圖像數(shù)據(jù)讀取”、“現(xiàn)有數(shù)據(jù)讀取”、“重寫”、“重命名并保存”和“結(jié)束”。概要菜單18b包括多個菜單項，例如“用于回顧的會議視頻”、“用于公共觀看的會議視頻”以及“用于管理人員的會議視頻”。通過選擇這些項，可以從原始會議視頻中生成用于回顧的會議視頻、用于公共觀看的會議視頻和用于管理人員的會議視頻。用于回顧的會議視頻對于會議參加者回顧他們所參加的會議的視頻圖像是有用的。用于公共觀看的會議視頻對于沒有參加會議但允許觀看會議視頻圖像的人是有用的。用于管理人員的會議視頻對于公司管理人員觀看會議的視頻圖像是有用的。根據(jù)會議參加者的數(shù)量設(shè)置功能性動作描述表19A和19B。功能性動作描述表19A包括“動作人姓名”顯示欄19a、“識別編號”欄19b、“開始時間”欄19c、“結(jié)束時間”欄19d、“功能性動作名稱”欄19e、“動作人的角色”欄19f、以及“動作的預(yù)計方向”欄19g。根據(jù)各個單個會議參加者生成并顯示功能性動作描述表19B。在圖3中，例如，存在兩個會議參加者“Alice”和“Betty”。因此，在圖3中顯示作為“Alice”的功能性動作描述表和“Betty”的功能性動作描述表的兩個表?！白R別編號”欄19b表示用于識別各個功能性動作的序列編號。“開始時間”欄19c和“結(jié)束時間”欄19d表示各個功能性動作的開始時間和結(jié)束時間?！肮δ苄詣幼髅Q”欄19e表示會議參加者的功能性動作。在用戶手工提供索引的情況下，用戶參照圖形用戶界面15的圖像顯示窗口16a至16d識別各個功能性動作。根據(jù)所識別的功能性動作，用戶通過鍵盤輸入適當?shù)乃饕?，從而在“功能性動作名稱”欄19e中的對應(yīng)欄中顯出功能性動作的名稱。在自動提供索引的情況下，部分會議視頻提取單元4從會議音頻和/或可視信息中提取包含會議參加者的一個或更多個物理事件的部分音頻和/或可視信息，并且索引提供單元5根據(jù)該部分會議音頻和/或可視信息識別從一個或更多個物理事件摘錄的功能性動作?；谠摴δ苄詣幼?，索引提供單元5提供部分會議音頻和/或可視信息的索引。通過這樣做，在圖形用戶界面15上的“功能性動作名稱”欄19e中的對應(yīng)欄中顯示功能性動作的名稱。在“動作人的角色”欄19f中，寫入動作人的摘錄角色，例如“發(fā)起者”、“回答者”或“觀察者”。在“動作的預(yù)計方向”欄19g中，寫入各個功能性動作的預(yù)計方向。在“Alice”向“Betty”提問的功能性動作的情況下，將動作的預(yù)計方向表示為“Betty”。進而，將“Betty”回答“Alice”的提問的動作的預(yù)計方向表示為“Alice”。如功能性動作描述表19A和19B中所示，圖形用戶界面15顯示各個會議參加者的以下多項中的每一項的數(shù)據(jù)索引識別符、索引開始時間、索引結(jié)束時間、功能性動作、會議參加者的角色以及動作的預(yù)計方向。軌道表20表示同步化操作所需的延遲。軌道表20包括表示要用作為視頻識別符的軌道編號的軌道編號欄20a、用于識別介質(zhì)的介質(zhì)識別符欄20b、以及表示相對延時的延時欄20c。根據(jù)要使用的運動圖像數(shù)據(jù)集(顯示在圖像顯示窗口16a至16d上)的數(shù)量來生成并顯示軌道表20中所包含的數(shù)據(jù)。在圖3中，軌道編號欄20a中所示的軌道編號與圖像顯示窗口16a至16d相對應(yīng)。更具體地，在圖像顯示窗口16a上顯示與軌道編號0相對應(yīng)的運動圖像數(shù)據(jù)，在圖像顯示窗口16b上顯示與軌道編號1相對應(yīng)的運動圖像數(shù)據(jù)，在圖像顯示窗口16c上顯示與軌道編號2相對應(yīng)的運動圖像數(shù)據(jù)，以及在圖像顯示窗口16d上顯示與軌道編號3相對應(yīng)的運動圖像數(shù)據(jù)。將軌道表20用于指定或提供關(guān)于包含同步的運動圖像數(shù)據(jù)集的數(shù)據(jù)的信息。軌道編號欄20a中的軌道編號表示軌道表20中的數(shù)據(jù)順序。介質(zhì)識別符欄20b表示諸如記錄在會議視頻記錄單元3上的運動圖像數(shù)據(jù)或圖像數(shù)據(jù)集合的名稱的識別符。延遲時間欄20c表示對于由系統(tǒng)規(guī)定的介質(zhì)(或圖像數(shù)據(jù))的重放開始時間的相對延時。圖3中所示的軌道表20表示與軌道編號3相對應(yīng)的運動圖像數(shù)據(jù)或者與介質(zhì)識別符“Video3”相對應(yīng)的運動圖像數(shù)據(jù)相對于其他運動圖像數(shù)據(jù)延遲0.05秒。通過在延遲時間欄20c中指定各組圖像數(shù)據(jù)的延遲時間，用戶可以同步地重放兩個或更多個視頻圖像。場景描述表21表示對具有與功能性動作不同程度的摘錄或不同意義的圖像數(shù)據(jù)的內(nèi)容和結(jié)構(gòu)的描述。更具體地，場景描述表21表示用于描述會議的各個場景的數(shù)據(jù)，包括識別編號欄21a、開始時間欄21b、結(jié)束時間欄21c、場景名稱欄21d以及自由文本注釋欄21e。在識別編號欄21a中，寫入用于規(guī)定場景順序的編號。在開始時間欄21b和結(jié)束時間欄21c中，寫入各個場景的開始時間和結(jié)束時間。在場景名稱欄21d中，寫入諸如“討論”和“陳述”的場景名稱。在自由文本注釋欄21e中，以文本格式寫入各個場景中的事件。通過圖形用戶界面15可以以不同的顏色表示記錄在功能性動作描述表19A和19B以及場景描述表21中的索引數(shù)據(jù)。更具體地，以不同的顏色二維地或三維地表示表19A、19B和21中的圖形元素，并按年月日順序排列，以使得用戶可以從圖形上識別各個元素?，F(xiàn)參照圖4，對功能性動作的二維圖形表達進行說明。圖4表示功能性動作的二維圖形表達，即經(jīng)索引的會議視頻的圖形表達的示例。在索引顯示單元8上顯示會議視頻的圖形表達。在該實施例中，會議參加者是“Alice”和“Betty”。在圖4中，將會議參加者“Alice”和“Betty”的功能性動作劃分成與兩個參加者相對應(yīng)的兩行，并按年月日順序排列。而且，以時間線和圖表的方式顯示功能性動作。在圖4中，橫坐標軸表示時間?！癆lice”和“Betty”行中所示的各個矩形表示功能性動作。為功能性動作的各個單元設(shè)置索引。在圖4中，以黑色表示與要用于產(chǎn)生回顧“Alice”的某些動作的視頻概要的功能性動作相對應(yīng)的圖形元素。通過不同顏色的矩形來表示功能性動作。例如，用淡粉紅色表示“發(fā)言”、用暗粉紅色表示“獲得發(fā)言權(quán)”、用棗紅色表示“繼續(xù)發(fā)言”、用洋紅色表示“觀察”、用猩紅色表示“參加”、用中國紅表示“不參加”、用金色表示“附應(yīng)”、用棕色表示“提問”、用淺褐色表示“確認型提問”、用青銅色表示“發(fā)言型思考”、用拿浦黃色表示“提問型思考”、用奶油黃表示“確認提問型思考”、用檸檬黃表示“不發(fā)言型思考”、用海綠色表示“自言自語”、用鈷綠色表示“發(fā)言型公共信息空間使用”、用翠綠色表示“提問型公共信息空間使用”、用青綠色表示“確認提問型公共信息空間使用”、用青天藍表示“不發(fā)言型公共信息空間使用”、用鐵藍色表示“參加型私人信息空間使用”、用深藍色表示“不參加型私人信息空間使用”、用紫羅蘭色表示“笑”、用紫色表示“不可描述的動作”、用雪白色表示“暫時離開”、以及用灰色表示“會議室準備”。在圖4所示的示例中，為以下場景描述設(shè)置標簽和索引“介紹”、“自言自語”、“陳述”、“討論”以及“交談”。如圖4中所示，圖形用戶界面15以時間線或圖表的形式表示索引提供單元5的索引結(jié)果，以能夠以用戶友好的方式設(shè)置各個視頻概要的屬性信息。在圖4所示的示例中，圖形用戶界面15通過使用特定顏色、特定形狀或特定運動的圖形表達，著重表示特定功能性動作，例如會議參加者中的語音發(fā)言者的變化、物理性發(fā)言者的變化、或者語音和物理性發(fā)言者的變化。因此，可以以圖形的方式表示會議參加者中的語音發(fā)言者的變化、物理性發(fā)言者的變化、或者語音和物理性發(fā)言者的變化。下面，對將索引數(shù)據(jù)表示為XML數(shù)據(jù)的情況進行說明。在此，索引數(shù)據(jù)由索引提供單元5生成并記錄在索引記錄單元6上。圖5表示被表示為XML數(shù)據(jù)的索引數(shù)據(jù)的前半部分，圖6是該索引數(shù)據(jù)的后半部分。在圖5和6中，索引數(shù)據(jù)被表示為具有作為根單元的MPEG-7單元的XML數(shù)據(jù)的索引數(shù)據(jù)。Mpeg7單元包括Description單元。Description單元包括用于對要用于索引的圖像數(shù)據(jù)集進行描述的ContentCollection單元、以及用于對功能性動作進行描述的Session單元。在該示例中，ContentCollection單元包括用于描述兩個圖像數(shù)據(jù)集的使用的兩個MultiMediaContent單元。每一個MultiMediaContent單元包括Audio和/或Visual單元，該Audio和/或Visual單元包括用于描述對應(yīng)圖像數(shù)據(jù)的位置的MediaLocation單元以及用于描述同步化所需延時的MediaTime單元。MediaLocation單元包括MediaUri單元，MediaUri單元具有用于識別對應(yīng)圖像數(shù)據(jù)被存儲在何處的識別符。在該示例中，使用“file/video1.mpg”和“file/video2.mpg”作為圖像數(shù)據(jù)。MediaTime單元包括MediaTimePoint單元，MediaTimePoint單元表示對于由系統(tǒng)規(guī)定的基準時間(基準點)的相對延遲時間。在該示例中，“file/video1.mpg”的延遲時間為0.0秒，其中沒有延遲。另一方面，“file/video2.mpg”的延遲時間為1.0秒，意味著“file/video2.mpg”比“file/video1.mpg”落后1秒。因此，會議信息處理裝置1執(zhí)行重放等操作，使“file/video2.mpg”相對于“file/video1.mpg”延遲1秒。Session單元包括表示會議參加者的Actor單元以及表示會議的場景集合的ConceptualSceneCollection單元。在該示例中，存在描述兩個會議參加者的兩個Actor單元。每個Actor單元包括描述會議參加者姓名的Name單元以及表示會議參加者的功能性動作集合的FunctionalActCollection單元。在該示例中，Name單元表示“Alice”和“Betty”是會議參加者。每個FunctionalActCollection單元包括表示功能性動作的一個或更多個FunctionalAct單元。在該示例中，會議參加者“Alice”的功能性動作由兩個FunctionalAct單元表示，“Betty”的功能性動作也由兩個FunctionalAct單元表示。每一個FunctionalAct單元包括表示執(zhí)行對應(yīng)的功能性動作的時間段的MediaTime單元、表示會議參加者的角色的RoleofActor單元、以及表示動作的預(yù)計方向的ActDirectionIntention單元。每一個FunctionalAct單元還具有表示功能性動作的類型的“類型”屬性、以及表示功能性動作的識別符的“id”屬性。在該示例中，將“Alice”的功能性動作表示為“提問”和“觀察”，而將“Betty”的功能性動作表示為“觀察”和“發(fā)言”。每一個FunctionalAct單元中的MediaTime單元包括MediaTimePoint單元和MediaTimeDuration單元。MediaTimePoint單元表示對應(yīng)的功能性動作的開始時間，MediaTimeDuration單元表示功能性動作的持續(xù)時間。由會議參加者“Alice”執(zhí)行的“提問”的功能性動作從由會議信息處理裝置1限定的基準時間(基站點)的0秒點開始持續(xù)了1秒。在該示例中，將執(zhí)行該功能性動作的動作人的角色(RoleOfActor)表示為“發(fā)起者”，將動作的預(yù)計方向表示為“Betty”。ConceptualSceneCollection單元包括一個或更多個表示場景的ConceptualScene單元。每個ConceptualScene單元包括表示對應(yīng)場景的內(nèi)容的TextAnnotation單元以及表示關(guān)于該場景的時間的MediaTime單元。TextAnnotation單元包括FreeTextAnnotation單元。在該示例中，F(xiàn)reeTextAnnotation單元表示場景為“討論”。對應(yīng)的MediaTime單元包括分別表示場景的開始時間和場景的持續(xù)時間的MediaTimePoint單元和MediaTimeDuration單元。在該示例中，“討論”從作為基準時間點的0秒點開始持續(xù)了60秒。接下來，對為部分會議視頻手工設(shè)置索引數(shù)據(jù)并生成參加者的功能性動作的視頻概要數(shù)據(jù)的處理進行說明。作為本發(fā)明的第二實施例，將在下面描述根據(jù)參加者的功能性動作自動生成并提供索引數(shù)據(jù)的處理。圖7是會議記錄處理的流程圖。該會議記錄處理包括會議視頻獲取步驟S1、會議視頻索引步驟S2和會議視頻概要處理步驟S3。在會議視頻獲取步驟S1中，將包括由會議視頻攝像單元2捕獲的運動圖像數(shù)據(jù)和由麥克風系統(tǒng)捕獲的音頻數(shù)據(jù)的會議視頻數(shù)據(jù)記錄在會議視頻記錄單元3上。在從用戶發(fā)出請求時，在會議視頻顯示單元7上顯示記錄在會議視頻記錄單元3上的會議視頻。用戶可以通過圖3中所示的圖形用戶界面15上的視頻顯示窗口16a至16d來參看會議視頻數(shù)據(jù)(會議的運動圖像數(shù)據(jù))。因此，為了使運動圖像數(shù)據(jù)集彼此同步，用戶在軌道表20中指定軌道編號欄20a、介質(zhì)識別符欄20b以及延遲時間欄20c。將軌道表20中的軌道編號欄20a、介質(zhì)識別符欄20b以及延遲時間欄20c的數(shù)據(jù)從索引提供單元5發(fā)送到同步單元9。利用該數(shù)據(jù)，同步單元9使已記錄在會議視頻記錄單元3上的圖像數(shù)據(jù)集彼此同步。現(xiàn)將對會議視頻索引步驟S2進行描述。會議視頻索引步驟S2包括部分會議視頻提取步驟S21、索引記錄步驟S22和索引顯示步驟S23。在部分會議視頻提取步驟S21中，部分會議視頻提取單元4從記錄在會議視頻記錄單元3上的會議視頻數(shù)據(jù)中提取部分會議視頻。在索引記錄步驟S22中，為在部分會議視頻提取步驟S21中所提取的部分會議視頻數(shù)據(jù)提供根據(jù)參加者的各個功能性動作的索引數(shù)據(jù)。由用戶通過圖形用戶界面15來執(zhí)行該索引設(shè)置。例如，在索引記錄單元6上記錄圖5和6中所示的XML數(shù)據(jù)格式的索引數(shù)據(jù)。然后在索引顯示步驟S23中，將在索引記錄步驟S22中記錄在索引記錄單元6上的作為XML數(shù)據(jù)的索引數(shù)據(jù)作為圖表在圖形用戶界面15上顯示給用戶。在會議視頻索引步驟S2中，通過操縱控制面板17上的圖像數(shù)據(jù)重放按鈕17a，用戶查看顯示在圖像顯示窗口16a至16d上的運動圖像數(shù)據(jù)，并通過揚聲器系統(tǒng)接聽音頻數(shù)據(jù)。在這樣做時，用戶觀察作為圖像數(shù)據(jù)內(nèi)容的會議參加者的功能性動作，并在功能性動作描述表19A和19B中寫入所觀察的功能性動作。具體地，根據(jù)會議參加者的功能性動作，用戶填寫“識別編號”欄19b、“開始時間”欄19c、“結(jié)束時間”欄19d、“功能性動作名稱”欄19e、“動作人的角色”欄19f、以及“動作的預(yù)計方向”欄19g。在此，可以從對應(yīng)的圖像數(shù)據(jù)中獲得要寫入開始時間欄19c和結(jié)束時間欄19d中的開始時間和結(jié)束時間。功能性動作描述表19A和19B是記錄在索引記錄單元6上的索引數(shù)據(jù)通過圖形用戶界面15的表達，也是索引提供單元5和索引顯示單元8的實施例。而且，用戶通過控制面板17參看特定(或部分)圖像數(shù)據(jù)的操作相當于由會議信息處理裝置1的部分會議視頻提取單元4所執(zhí)行的圖像數(shù)據(jù)提取操作。在會議視頻索引步驟S2中，用戶通過操縱控制面板17上的圖像數(shù)據(jù)重放按鈕17a來觀看顯示在圖像顯示窗口16a至16d上的運動圖像數(shù)據(jù)，并通過揚聲器系統(tǒng)接聽音頻數(shù)據(jù)。在這樣做時，用戶識別圖像數(shù)據(jù)中的每個場景，并在場景描述表21中的場景名稱欄21d中寫入對應(yīng)的場景名稱(例如“討論”或“陳述”)。用戶還填寫場景描述表21中的識別編號欄21a、開始時間欄21b、結(jié)束時間欄21c、以及自由文本注釋欄21e?，F(xiàn)將對會議視頻概要處理步驟S3進行詳細說明。在會議視頻概要處理步驟S3中，根據(jù)各種目的生成各種圖像概要。會議視頻概要處理步驟S3包括概要規(guī)則生成步驟S31和視頻概要處理步驟S32。在概要規(guī)則生成步驟S31中，概要規(guī)則生成單元10生成概要規(guī)則數(shù)據(jù)，并將該概要規(guī)則數(shù)據(jù)記錄在概要規(guī)則記錄單元11上。隨后概要規(guī)則顯示單元12向用戶顯示所記錄的概要規(guī)則數(shù)據(jù)。圖形用戶界面15沒有具體實施概要規(guī)則顯示單元12的用戶界面。在視頻概要處理步驟S32中，視頻概要生成單元13參照記錄在會議視頻記錄單元3上的會議視頻數(shù)據(jù)、記錄在索引記錄單元6上的索引數(shù)據(jù)、以及記錄在概要規(guī)則記錄單元11上的概要規(guī)則數(shù)據(jù)。根據(jù)索引數(shù)據(jù)和概要規(guī)則數(shù)據(jù)，視頻概要生成單元13編輯會議視頻數(shù)據(jù)并生成概要會議視頻數(shù)據(jù)。在視頻概要處理步驟S32中，視頻概要生成單元13將預(yù)定的最大部分圖像持續(xù)時間與各個部分圖像數(shù)據(jù)集的持續(xù)時間進行比較。視頻概要生成單元13通過使用在所有的現(xiàn)有部分圖像數(shù)據(jù)中沒有超過預(yù)定持續(xù)時間的部分圖像數(shù)據(jù)，基于會議音頻和/或可視信息產(chǎn)生概要會議視頻。例如，預(yù)定的最大部分圖像持續(xù)時間可以為10秒。如果部分圖像數(shù)據(jù)集的持續(xù)時間超過10秒，則僅部分圖像數(shù)據(jù)的第一個10秒可以用作為視頻概要數(shù)據(jù)的數(shù)據(jù)源。將由視頻概要生成單元13生成的會議視頻概要數(shù)據(jù)記錄在視頻概要記錄單元14上。在會議視頻顯示單元7上顯示所記錄的會議視頻概要數(shù)據(jù)?？梢酝ㄟ^用戶指定菜單18中的概要菜單18b中的一項來啟動視頻概要處理步驟S32?，F(xiàn)參照圖8，對概要規(guī)則生成步驟S31進行詳細說明。圖8是概要規(guī)則生成步驟S31的詳細過程的流程圖。概要規(guī)則生成步驟S31開始于從概要菜單18b中的“用于回顧的會議視頻”、“用于公共觀看的會議視頻”以及“用于管理人員的會議視頻”中選擇一項。在此，用于回顧的會議視頻對會議參加者回顧他們所參加的會議的視頻圖像是有用的。用于公共觀看的會議視頻對于那些沒有參加會議但允許觀看會議視頻圖像的人是有用的。用于管理人員的會議視頻對于公司管理人員觀看會議的視頻圖像是有用的。在步驟S41中，概要規(guī)則生成單元10確定是否選擇了“用于回顧的會議視頻”。如果選擇了“用于回顧的會議視頻”，則操作轉(zhuǎn)移到步驟S42。如果沒有選擇“用于回顧的會議視頻”，則操作轉(zhuǎn)移到步驟S43。在步驟S42(回顧會議視頻規(guī)則生成步驟)中，概要規(guī)則生成單元10集中于功能性動作中的“活動功能性動作”或“思考陳述的功能性動作”。在參加者指定步驟S421中，由用戶通過鍵盤等指定要回顧的參加者的姓名。在回顧功能性動作確定步驟S422中，概要規(guī)則生成單元10參照記錄在索引記錄單元6上的索引數(shù)據(jù)，并隨后確定是否存在與“活動功能性動作”或“思考陳述的功能性動作”相對應(yīng)的索引數(shù)據(jù)。如果存在與“活動功能性動作”或“思考陳述的功能性動作”相對應(yīng)的索引數(shù)據(jù)，則概要規(guī)則生成單元10生成視頻概要生成規(guī)則，以獲取對應(yīng)的部分會議視頻數(shù)據(jù)作為可能要用于產(chǎn)生用于回顧的視頻概要的數(shù)據(jù)源。概要規(guī)則生成單元10還生成視頻概要生成規(guī)則，以獲取與來自現(xiàn)有部分圖像數(shù)據(jù)的與“討論”場景相對應(yīng)的部分圖像數(shù)據(jù)，并將所獲取的部分圖像數(shù)據(jù)設(shè)置為可用來生成用于回顧的視頻概要的第二數(shù)據(jù)源。概要規(guī)則生成單元10隨后向概要規(guī)則記錄單元11輸出作為用于回顧的會議視頻規(guī)則數(shù)據(jù)的規(guī)則。在此，“活動功能性動作”包括諸如“發(fā)言”、“提問”、“發(fā)言型公共信息空間使用”、“提問型公共信息空間使用”以及“不發(fā)言型公共信息空間使用”的功能性動作。在回顧功能性動作確定步驟S422中要處理的功能性動作是與在參加者指定步驟S421中所指定的參加者相關(guān)的功能性動作。在步驟S43中，概要規(guī)則生成單元10確定是否選擇了“用于公共觀看的會議視頻”。如果選擇了“用于公共觀看的會議視頻”，則操作轉(zhuǎn)移到S44。如果沒有選擇“用于公共觀看的會議視頻”，則操作轉(zhuǎn)移到步驟S45。在公共觀看會議視頻規(guī)則生成步驟S44中，概要規(guī)則生成單元10處理以下功能性動作之一“發(fā)言”、“提問”、“發(fā)言型思考”或“發(fā)言型公共信息空間使用”。在閾值和參加者指定步驟S441中，由用戶通過鍵盤等指定要用于生成視頻概要的閾值數(shù)據(jù)。會議視頻處理裝置1可以預(yù)先設(shè)置閾值數(shù)據(jù)作為預(yù)定值。用戶還通過鍵盤等指定要觀看的會議參加者。該閾值數(shù)據(jù)表示要觀看的場景的持續(xù)時間與現(xiàn)有部分圖像數(shù)據(jù)的總持續(xù)時間的比率。在此，將場景的持續(xù)時間定義為場景的開始時間和結(jié)束時間之差。在公共觀看功能性動作確定步驟S442中，概要規(guī)則生成單元10參照索引記錄單元6，并且確定是否存在與以下功能性動作中的任何一個相對應(yīng)的索引數(shù)據(jù)“發(fā)言”、“提問”、“發(fā)言型思考”以及“發(fā)言型公共信息空間使用”。如果存在與“發(fā)言”、“提問”、“發(fā)言型思考”以及“發(fā)言型公共信息空間使用”中的任何一個相對應(yīng)的索引數(shù)據(jù)，則概要規(guī)則生成單元10生成圖像概要規(guī)則，以獲取對應(yīng)的部分會議視頻數(shù)據(jù)，作為可用來產(chǎn)生用于公共觀看的會議視頻的數(shù)據(jù)源。如果與要處理的功能性動作相對應(yīng)的部分圖像數(shù)據(jù)中的場景的持續(xù)時間與該部分圖像數(shù)據(jù)的總持續(xù)時間的比率超過由在閾值和參加者指定步驟S441中所指定的閾值數(shù)據(jù)表示的值，則概要規(guī)則生成單元10生成視頻概要生成規(guī)則以獲取部分圖像數(shù)據(jù)，作為可用來產(chǎn)生用于公共觀看的會議視頻的第二數(shù)據(jù)源。概要規(guī)則生成單元10隨后將所產(chǎn)生的規(guī)則作為公共觀看會議視頻生成規(guī)則數(shù)據(jù)輸出到概要規(guī)則記錄單元11。在公共觀看功能性動作確定步驟S442中，要進行處理以產(chǎn)生視頻概要的功能性動作是與在閾值和會議參加者指定步驟S441中所指定的會議參加者相關(guān)的功能性動作。在步驟S45中，概要規(guī)則生成單元10確定是否選擇了“用于管理人員的會議視頻”。如果選擇了“用于管理人員的會議視頻”，則操作轉(zhuǎn)移到步驟S46。如果沒有選擇“用于管理人員的會議視頻”，則結(jié)束概要規(guī)則生成操作。在管理人員會議視頻生成步驟S46中，概要規(guī)則生成單元10處理功能性動作“發(fā)言”、“發(fā)言型思考”和“發(fā)言型公共信息空間使用”中的任何一個。在閾值和參加者指定步驟S461中，由用戶通過鍵盤等指定要用于產(chǎn)生視頻概要的閾值數(shù)據(jù)?？梢酝ㄟ^會議信息處理裝置1預(yù)先設(shè)置閾值數(shù)據(jù)作為預(yù)定值。用戶還通過鍵盤等指定要觀看的會議參加者。該閾值數(shù)據(jù)表示要觀看的場景的持續(xù)時間與現(xiàn)有的部分圖像數(shù)據(jù)的總持續(xù)時間的比率。在管理人員關(guān)心的功能性動作確定步驟S462中，概要規(guī)則生成單元10參照索引記錄單元6，并確定是否存在與任何以下功能性動作相對應(yīng)的索引數(shù)據(jù)“發(fā)言”、“發(fā)言型思考”和“發(fā)言型公共信息空間使用”。如果存在與功能性動作“發(fā)言”、“發(fā)言型思考”和“發(fā)言型公共信息空間使用”中任何一個相對應(yīng)的索引數(shù)據(jù)，則概要規(guī)則生成單元10生成概要規(guī)則數(shù)據(jù)，以獲取對應(yīng)的部分會議視頻數(shù)據(jù)作為可以用來產(chǎn)生用于管理人員的會議視頻的數(shù)據(jù)源。概要規(guī)則生成單元10還產(chǎn)生概要規(guī)則數(shù)據(jù)，以從可以用作為用來產(chǎn)生用于管理人員的會議視頻的數(shù)據(jù)源的現(xiàn)有的部分圖像數(shù)據(jù)中獲取與場景“討論”或“陳述”相對應(yīng)的部分圖像數(shù)據(jù)，并將所獲取的部分圖像數(shù)據(jù)設(shè)置為可以用來產(chǎn)生用于管理人員的會議視頻的第二數(shù)據(jù)源。如果與要觀看的功能性動作相對應(yīng)的部分圖像數(shù)據(jù)中的場景的持續(xù)時間與該部分圖像數(shù)據(jù)的總持續(xù)時間的比率超過了由在閾值和參加者指定步驟S461中所指定的閾值數(shù)據(jù)表示的值，則概要規(guī)則生成單元10生成視頻概要生成規(guī)則，以獲取部分圖像數(shù)據(jù)作為可以用來產(chǎn)生用于管理人員的會議視頻的第三數(shù)據(jù)源。概要規(guī)則生成單元10隨后將所生成的概要規(guī)則數(shù)據(jù)作為管理人員會議視頻生成規(guī)則數(shù)據(jù)輸出到概要規(guī)則記錄單元11。在管理人員關(guān)心的功能性動作確定步驟S462中，要進行處理以產(chǎn)生視頻概要的功能性動作是與在閾值和會議參加者指定步驟S461中所指定的會議參加者相關(guān)的功能性動作。接下來，對會議視頻概要步驟S3的過程進行詳細說明。根據(jù)情況存在三種不同類型的會議視頻概要。通過選擇“用于回顧的會議視頻”、“用于公共觀看的會議視頻”和“用于管理人員的會議視頻”多個項之一，來相應(yīng)地產(chǎn)生會議視頻概要。首先對“用于回顧的會議視頻”的情況進行說明。在“用于回顧的會議視頻”的情況下，視頻概要生成單元13使用在回顧會議視頻規(guī)則生成步驟S42中所生成的回顧會議視頻規(guī)則數(shù)據(jù)，以從記錄在索引記錄單元6上的索引數(shù)據(jù)中提取要回顧的索引數(shù)據(jù)。視頻概要生成單元13從會議視頻記錄單元3中提取與所提取的索引數(shù)據(jù)相關(guān)的圖像數(shù)據(jù)或部分圖像數(shù)據(jù)，并隨后產(chǎn)生包含關(guān)于以下“活動功能性動作”的數(shù)據(jù)的回顧會議視頻數(shù)據(jù)“發(fā)言”、“提問”、“發(fā)言型公共信息空間使用”、“提問型公共信息空間使用”和“不發(fā)言型公共信息空間使用”，以及“發(fā)言型思考功能性動作”?，F(xiàn)對“用于公共觀看的會議視頻”的情況進行詳細說明。在“用于公共觀看的會議視頻”的情況下，視頻概要生成單元13使用在公共觀看會議視頻規(guī)則生成步驟S44中所生成的公共觀看會議視頻規(guī)則數(shù)據(jù)，以從索引記錄單元6中提取要觀看的索引數(shù)據(jù)。視頻概要生成單元13從會議視頻記錄單元3中提取與所提取的索引數(shù)據(jù)相關(guān)的圖像數(shù)據(jù)或部分圖像數(shù)據(jù)，并且隨后產(chǎn)生包含關(guān)于以下功能性動作的數(shù)據(jù)的公共觀看會議視頻數(shù)據(jù)“發(fā)言”、“提問”、“發(fā)言型思考”以及“發(fā)言型公共信息空間使用”?，F(xiàn)對“用于管理人員的會議視頻”的情況進行說明。在“用于管理人員的會議視頻”的情況下，視頻概要生成單元13使用在管理人員會議視頻規(guī)則生成步驟S46中生成的管理人員會議視頻規(guī)則數(shù)據(jù)，以從索引記錄單元6中提取要觀看的索引數(shù)據(jù)。視頻概要生成單元13提取與所提取的索引數(shù)據(jù)相關(guān)的圖像數(shù)據(jù)或部分圖像數(shù)據(jù)，并且隨后產(chǎn)生包含關(guān)于以下功能性動作的數(shù)據(jù)的管理人員會議視頻數(shù)據(jù)“發(fā)言”、“發(fā)言型思考”以及“發(fā)言型公共信息空間使用”?，F(xiàn)參照圖9和圖10說明要對該三種類型的會議視頻概要執(zhí)行的概要處理。以下還對要在概要處理中使用的功能性動作數(shù)據(jù)進行說明。圖9表示在會議參加者為Alice、Betty和Cherryl并根據(jù)該實施例如上所述定義參加者的功能性動作的情況下獲得的時間線?？傊?，圖9中所示的時間線表示功能性動作的持續(xù)時間。在圖9中，橫坐標軸表示時間(經(jīng)過的時間)。如可從圖9中看到的，在會議中，Alice執(zhí)行了以下的功能性動作(a)發(fā)言；(b)發(fā)言；(c)附應(yīng)；(d)提問；(e)附應(yīng)；以及(f)不發(fā)言型公共信息空間使用。如還可從圖9中看到的，Betty執(zhí)行了(g)發(fā)言，而Cherryl執(zhí)行了(h)發(fā)言。在回顧會議視頻規(guī)則生成步驟S42中，生成圖像概要規(guī)則以產(chǎn)生由會議參加者用于回顧會議的視頻概要。在公共觀看會議視頻規(guī)則生成步驟S44中，生成圖像概要規(guī)則以產(chǎn)生由那些沒有參加會議但允許在會議之后通過視頻概要觀看會議的人使用的視頻概要。同樣地，在管理人員會議視頻規(guī)則生成步驟S46中，生成圖像概要規(guī)則以產(chǎn)生由領(lǐng)導(dǎo)會議參加者工作并希望觀看會議以作參考的管理人員、主管和經(jīng)理使用的視頻概要。例如，在參加了會議之后，Alice可以通過“用于回顧的會議視頻”來回顧會議視頻。沒有參加會議的Diana可以通過“用于公共觀看的會議視頻”來觀看會議視頻。作為公司管理人員和Alice的上級的Elly可以通過“用于管理人員的會議視頻”來參看會議視頻。在此，Diana沒有出席(attend)主題會議，意味著她沒有實際出席會議，或者她沒有參加(participate)視頻會議(通過諸如視頻監(jiān)視器的裝置)。這與“不參加(non-participating)”完全不同，而是意味著她沒有參與(takeanypartin)該會議。當Alice使用“用于回顧的會議視頻”時，她在參加者指定步驟S421中指定她自己(即“Alice”)作為主題參加者。通過指定她自己作為參加者，Alice可以僅指定她自己的功能性動作作為要回顧的對象。因此，將要由Alice回顧的關(guān)于“用于回顧的會議視頻”的功能性動作限制為圖9中所示的(a)發(fā)言、(b)發(fā)言、(c)附應(yīng)、(d)提問、(e)附應(yīng)，以及(f)不發(fā)言型公共信息空間使用。在生成回顧會議視頻規(guī)則的步驟中，只考慮“活動功能性動作”以及“發(fā)言型思考功能性動作”。因此，使用功能性動作(a)發(fā)言、(b)發(fā)言、(c)提問、以及(f)不發(fā)言型公共信息空間使用作為要進行概要處理的對象，來執(zhí)行所述概要處理。當沒有參加會議的Diana使用“用于公共觀看的會議視頻”時，她首先指定會議參加者。例如，在閾值和參加者指定步驟S441中，Diana指定Alice。因此，將要在“用于公共觀看的會議視頻”中進行概要處理的功能性動作限制為圖9中所示的(a)發(fā)言、(b)發(fā)言、(c)附應(yīng)、(d)提問、(e)附應(yīng)，以及(f)不發(fā)言型公共信息空間使用。如上所述，在“用于公共觀看的會議視頻”中，功能性動作“發(fā)言”、“提問”、“發(fā)言型思考”和“發(fā)言型公共信息空間使用”是要進行概要處理的對象。因此，僅將圖9中所示的功能性動作(a)發(fā)言、(b)發(fā)言和(d)提問作為要進行概要處理的對象，來執(zhí)行概要處理。當作為管理人員的Elly使用“用于管理人員的會議視頻”時，在閾值和參加者指定步驟S461中她可以指定Alice、Betty和Cherryl。在這種情況下，在概要處理中僅將圖9中所示的由Alice執(zhí)行的(a)發(fā)言和(b)發(fā)言、由Betty執(zhí)行的(g)發(fā)言以及由Cherryl執(zhí)行的(h)發(fā)言的功能性動作作為要進行概要處理的對象。這是因為在管理人員會議視頻規(guī)則生成步驟S46中僅將“發(fā)言”、“發(fā)言型思考”和“發(fā)言型公共信息空間使用”的功能性動作指定為要進行概要處理的對象。現(xiàn)參照圖10，對閾值處理過程進行說明?？梢允褂瞄撝祦懋a(chǎn)生更緊湊的視頻概要。例如，可以使用閾值來設(shè)定要進行概要處理的各個功能性動作的持續(xù)時間的上限。圖10表示具有比閾值長的持續(xù)時間的功能性動作，以及具有比閾值短的持續(xù)時間的功能性動作。在圖10中，橫坐標軸表示時間(經(jīng)過的時間)。如可以從圖10中看到的，Alice執(zhí)行了功能性動作(a’)發(fā)言和(b’)發(fā)言。例如，為了對要進行概要處理的功能性動作的持續(xù)時間設(shè)定上限，將閾值t設(shè)定為8秒。由Alice執(zhí)行的第一發(fā)言(a’)持續(xù)了10秒，而由Alice執(zhí)行的第二發(fā)言(b’)持續(xù)了6秒。由于在圖像概要處理操作中處理的功能性動作是“發(fā)言”，并且閾值t為8秒，所以要處理的僅僅是第一發(fā)言(a’)的前8秒的數(shù)據(jù)。同時，要處理比8秒的閾值t要短的整個第二發(fā)言(b’)。對上述各個功能性動作進行具體定義。將“發(fā)言”歸為獨立功能性動作類別，并且通常被寫作或解釋為參加者發(fā)言。“發(fā)言”與語言動作相關(guān)聯(lián)。將“提問”歸為另一個類別，但將反問歸類為“發(fā)言”。“獲得發(fā)言權(quán)”表示參加者希望在討論中開始交談的動作?？梢詫ⅰ矮@得發(fā)言權(quán)”動作分為語音動作和可視動作。為了獲得發(fā)言權(quán)，參加者舉起他/她的手以示意他/她希望開始談話，或者發(fā)出噪聲以吸引其他參加者的注意力。除了保持發(fā)言權(quán)的動作以外，“繼續(xù)發(fā)言”表示與“獲得發(fā)言權(quán)”相同的動作。當另一個參加者試圖獲得發(fā)言權(quán)時，正在發(fā)言的參加者執(zhí)行“繼續(xù)發(fā)言”?！坝^察”表示參加者有意地看著關(guān)注點的動作，而不執(zhí)行任何其他動作?！瓣P(guān)注點”字面的意思表示吸引參加者注意力的物體或人的動作?！皡⒓印北硎緟⒓诱邿o意地看著關(guān)注點的動作。參加者可能驚訝地睜大他/她的眼睛，或者在他/她的椅子上挪動。當僅考慮“凝視”時，檢測(或識別)這種動作的預(yù)計方向不象所想的那樣困難。一個人凝視的物體應(yīng)該是重要的，因此，在開始和結(jié)束時該動作的凝視方向暗示該動作的預(yù)計方向。當另一個參加者執(zhí)行“附應(yīng)”或發(fā)言者以某種方式強調(diào)他/她的發(fā)言時(通過姿勢或較大的聲音)，實際“參加”會議的參加者應(yīng)該向“動作的預(yù)計方向”看?！安粎⒓印北硎居幸獾厣婕巴耆c會議無關(guān)的事情的參加者的動作。“不參加”動作的示例包括睡覺或打電話?！案綉?yīng)”表示每個參加者可能給出以繼續(xù)討論的確認手勢。“附應(yīng)”動作的示例包括諸如點頭或“啊哈”的短的可聽到的響應(yīng)。“提問”表示參加者以回答者可以保持發(fā)言權(quán)的方式提出問題的動作。“確認型提問”表示參加者以不允許回答者發(fā)言的方式提出問題的動作。確認型提問通常由非常短的句子構(gòu)成。“發(fā)言型思考”表示參加者在談話的同時進行思考的動作。當參加者向上看時，可以將參加者的動作確定為“發(fā)言型思考”動作?！疤釂栃退伎肌北硎緟⒓诱咚伎紗栴}的動作?！按_認提問型思考”表示參加者進行思考但不談話的動作?！白匝宰哉Z”表示參加者對自己說話的動作。該動作的標記之一是參加者向下看的動作。該動作無意針對任何人。“陳述型公共信息空間使用”表示參加者在談話的同時在白板或在兩個或更多個會議參加者之間共享的某些其他信息空間上進行書寫的動作。“提問型公共信息空間使用”表示參加者在提出問題的同時在白板或在兩個或更多個會議參加者之間共享的某些其他信息空間上進行書寫的動作。“確認提問型公共信息空間使用”表示參加者在提出確認型提問的同時在白板或在兩個或更多個會議參加者之間共享的某些其他信息空間上進行書寫的動作?！安话l(fā)言型公共信息空間使用”表示參加者在白板或在兩個或更多個會議參加者之間共享的某些其他信息空間上進行書寫的動作。除了“不發(fā)言型公共信息空間使用”動作以外，不發(fā)言型功能性動作不具有任何“動作的預(yù)計方向”?！皡⒓有退饺诵畔⒖臻g使用”表示參加者在“參加”會議的同時有意地涉及“私人信息空間”的動作?！皡⒓有退饺诵畔⒖臻g使用”的示例包括在紙張上進行書寫和在膝上型計算機上輸入筆記。在這種情況下，參加者可能偶爾掃視一下會議，甚至可能提出短的評論或執(zhí)行“附應(yīng)”動作?！安粎⒓有退饺诵畔⒖臻g使用”表示參加者在“不參加”會議的同時有意地涉及“私人信息空間”的動作?！靶Α弊置娴囊馑急硎緟⒓诱咝Φ膭幼鳌！安豢擅枋龅膭幼鳌北硎静荒軐碜砸曨l的動作或該動作的預(yù)計方向進行解釋。根據(jù)上述第一實施例，可以基于從一個或更多個物理事件摘錄的各個功能性動作對會議音頻和/或可視信息進行編輯。因此，可以提供對于那些希望以后觀看會議的人有用的會議視頻。(第二實施例)現(xiàn)將對本發(fā)明的第二實施例進行說明。在第二實施例中，索引提供單元5根據(jù)會議參加者的功能性動作自動地產(chǎn)生索引數(shù)據(jù)。更具體地，使用音頻/非音頻部分檢測技術(shù)、語音識別技術(shù)以及姿勢識別技術(shù)，對圖像數(shù)據(jù)中的各個功能性動作進行識別，并且自動地生成與參加者的功能性動作相對應(yīng)的索引數(shù)據(jù)以及通過群集技術(shù)(clusteringtechnique)等識別的場景。圖11是索引顯示處理的流程圖。如從圖11中可看到的，該處理包括事件索引步驟S51、功能性動作索引步驟S52、場景索引步驟S53、以及索引顯示步驟S54。事件索引步驟S51、功能性動作索引步驟S52、以及場景索引步驟S53是上述索引記錄步驟S22的更詳細的方案。在事件索引步驟S51中，索引提供單元5對與介質(zhì)層22c相對應(yīng)的圖像數(shù)據(jù)進行索引。更具體地，索引提供單元5從由部分會議視頻提取單元4提取的部分會議視頻數(shù)據(jù)中識別會議參加者的各個物理事件(例如掃視和點頭)。索引提供單元5隨后提供索引并使圖像數(shù)據(jù)結(jié)構(gòu)化。在功能性動作索引步驟S52中，索引提供單元5對與功能性動作層22b相對應(yīng)的圖像數(shù)據(jù)進行索引。更具體地，索引提供單元5根據(jù)關(guān)于被結(jié)構(gòu)化為介質(zhì)層22c的物理事件的索引數(shù)據(jù)來識別各個功能性動作。索引提供單元5隨后提供索引并使圖像數(shù)據(jù)結(jié)構(gòu)化。在場景索引步驟S53中，索引提供單元5對與場景層22a相對應(yīng)的圖像數(shù)據(jù)進行索引。更具體地，索引提供單元5根據(jù)關(guān)于被結(jié)構(gòu)化為功能性動作層22b的功能性動作的索引數(shù)據(jù)來識別各個場景。索引提供單元5隨后提供索引并使圖像數(shù)據(jù)結(jié)構(gòu)化。在索引顯示步驟S54中，索引顯示單元8以圖形的方式顯示被結(jié)構(gòu)化為介質(zhì)層22c、功能性動作層22b和場景層22a的索引數(shù)據(jù)，以使得可以將索引數(shù)據(jù)如圖2中所示呈現(xiàn)給用戶。圖12表示與功能性動作層和介質(zhì)層相對應(yīng)的圖像數(shù)據(jù)的示例結(jié)構(gòu)。在圖12中所示的示例中，存在介質(zhì)層22c的四個事件(動作)。事件A表示參加者離開他/她的座位的物理事件。事件B表示參加者發(fā)言的物理事件。事件C表示參加者在白板上進行書寫的物理事件。事件D表示參加者入座的物理事件。在此，事件B和C彼此同時發(fā)生。更具體地，存在發(fā)言的同時在白板上進行書寫的會議參加者。根據(jù)關(guān)于該事件的索引數(shù)據(jù)，可以在對應(yīng)的功能性動作層22b上將該會議參加者的動作識別為“發(fā)言型公共信息空間使用”。為了識別每兩個場景之間的邊界，可以利用“MethodofDetectingMovingPictureCutsfromaMPEGBitStreamthroughLikelihoodRatioTest”(Kaneko，etal.，IEICETransactionsD-II，vol.J82-D-II，No.3，pp.361-370，1990)。在一個場景包括兩個或更多個剪輯的情況下，可以使用在“AnInteractiveComicBookPresentationforExploringVideo”(Boreczky，etal.，CHI2000CHILetters，volume2，issue1，pp.185-192，2000)中公開的群集技術(shù)來將兩個或更多個剪輯作為一個場景集中進行處理。根據(jù)Boreczky等人所公開的技術(shù)，通過階層式聚合群集技術(shù)(hierachicalagglomerativeclusteringtechnique)的所謂完全連通法(completelinkmethod)來群集所有的視頻幀。為了識別圖像數(shù)據(jù)(或者部分會議視頻數(shù)據(jù))中的“發(fā)言”的功能性動作，可以使用在“MethodofDetectingTimingforPresentingSubtitlesinTelevisionprogram，UsingWordSpottingandDynamicProgrammingTechnique”(Maruyama，etal.)中公開的“塊逆譜通量(BlockCepstrumFlux)”技術(shù)。如果根據(jù)音頻數(shù)據(jù)和非音頻數(shù)據(jù)之間的閾值確定為非音頻幀的序列幀的數(shù)量超過預(yù)定數(shù)量，則將非音頻幀部分歸類為非音頻部分，并將所有的剩余部分歸類為音頻部分。通過檢測這些音頻部分，可以識別圖像數(shù)據(jù)中的“發(fā)言”的功能性動作。在參加者作出手勢以獲得發(fā)言權(quán)(“獲得發(fā)言權(quán)”)的情況下，可以使用傳統(tǒng)的姿勢識別技術(shù)來從圖像數(shù)據(jù)(或部分會議視頻數(shù)據(jù))中檢測手和身體姿勢。例如，可以使用在日本未審專利公報No.2001-229398中公開的裝置來從視頻圖像中檢測由動作者作出的姿勢，并以可以再現(xiàn)該姿勢的方式設(shè)定姿勢的參數(shù)。隨后將標簽加入這些參數(shù)。存儲帶有標簽的參數(shù)，以使這些參數(shù)可以用于制作以自然方式動畫運動的角色。而且，可以使用在日本未審專利公報No.2000-222586中公開的裝置來有效地描述與視頻圖像中的對象相對應(yīng)的運動信息。更具體地，通過累加運動頻率分布圖來產(chǎn)生累計運動頻率圖，并產(chǎn)生有效描述與視頻圖像中的對象相對應(yīng)的運動信息的運動描述符，并且將該運動描述符用于視頻搜索。還提出了幾種技術(shù)以構(gòu)造用于根據(jù)序列圖像幀來精確估測運動對象的運動和結(jié)構(gòu)的模型方法，由此識別由運動對象作出的姿勢。例如，可以使用在日本未審專利公報No.9-245178中公開的姿勢運動圖像識別方法。更具體地，將構(gòu)成運動圖像的各個圖像幀視為矢量空間中的點，并將各個點的運動軌跡設(shè)定為各個對應(yīng)類型的姿勢的特征參數(shù)。將通過該方式得到的特征參數(shù)與基準模式的特征參數(shù)進行比較。由此，可以精確地識別姿勢的類型。還可以使用在日本未審專利公報No.11-238142中公開的裝置。將在原始運動圖像中可以看到的姿勢具體分類成多種類型，例如提問(前傾)和同意(點頭)。因此，構(gòu)成要加入到各種類型姿勢中的識別標簽，并從各個對應(yīng)的識別標簽中提取各種姿勢的含意。因此，可以產(chǎn)生說明各個姿勢的開始時間和結(jié)束時間的腳本(script)。還可以使用在日本未審專利公報No.6-89342中公開的運動圖像處理器。更具體地，輸入構(gòu)成運動圖像的多個圖像，并根據(jù)該多個圖像中的至少三個特征點的位置變化來估測圖像幀中的仿射變形(affinedeformation)。因此，可以根據(jù)圖像特征數(shù)量的位置變化來檢測運動對象的運動和結(jié)構(gòu)?？梢岳靡陨系淖藙葑R別技術(shù)來識別圖像數(shù)據(jù)中諸如“獲得發(fā)言權(quán)”和“附應(yīng)”的功能性動作?，F(xiàn)將對待由索引提供單元5執(zhí)行的功能性動作識別操作進行說明。索引提供單元5根據(jù)一個或多個物理事件的持續(xù)時間的邏輯總和來計算各個功能性動作的持續(xù)時間。各個功能性動作的持續(xù)時間可以根據(jù)對應(yīng)的功能性動作的開始時間和結(jié)束時間來確定，并且可以在上述功能性動作索引處理中使用。換句話說，可以在圖像數(shù)據(jù)結(jié)構(gòu)化處理中使用各個功能性動作的持續(xù)時間。索引提供單元5還根據(jù)包含在部分會議音頻和/或可視信息中的各個會議參加者作出的姿勢、各個會議參加者的鼠標的運動、各個會議參加者的眼睛的移動、各個會議參加者的頭部的移動、各個會議參加者的書寫動作、各個會議參加者從椅子上站起的動作、各個會議參加者在預(yù)定輸入裝置上打字的動作、各個會議參加者的面部表情，以及各個會議參加者的語音數(shù)據(jù)來識別功能性動作?，F(xiàn)參照圖13，對“發(fā)言”情況進行說明。圖13是功能性動作“發(fā)言”的時間線圖。圖13中的橫坐標軸表示時間(經(jīng)過的時間)。圖13中的時間線圖表示(a)“發(fā)言視頻源數(shù)據(jù)”；(b)“發(fā)言者的姿勢數(shù)據(jù)”；(c)“發(fā)言者的鼠標移動圖像數(shù)據(jù)”；和(d)“發(fā)言語音數(shù)據(jù)”。這些數(shù)據(jù)可以視為上述介質(zhì)層中的數(shù)據(jù)。同時，將(e)“所檢測的發(fā)言持續(xù)時間(時間段)”的數(shù)據(jù)視為功能性動作層中的數(shù)據(jù)。圖13中的“發(fā)言視頻源數(shù)據(jù)”是發(fā)言的運動圖像數(shù)據(jù)，并用作為“發(fā)言者的姿勢數(shù)據(jù)”和“發(fā)言者的鼠標移動圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會議視頻提取單元4通過傳統(tǒng)的姿勢識別技術(shù)從“發(fā)言視頻源數(shù)據(jù)”中提取“發(fā)言者的姿勢數(shù)據(jù)”。同樣地，部分會議視頻提取單元4從“發(fā)言視頻源數(shù)據(jù)”中提取“發(fā)言者的鼠標移動圖像數(shù)據(jù)”。索引提供單元5通過計算介質(zhì)層中的動作的持續(xù)時間的邏輯總和來確定功能性動作層的“發(fā)言”的持續(xù)時間，如圖14中所示。圖14是功能性動作持續(xù)時間確定處理的流程圖。該功能性動作持續(xù)時間確定處理包括介質(zhì)層事件持續(xù)時間邏輯總和計算步驟S61、其余事件(數(shù)據(jù)源)確定步驟S62，以及功能性動作持續(xù)時間確定步驟S63。這些步驟由索引提供單元5執(zhí)行。通常，可以通過介質(zhì)層的一個或更多個事件的持續(xù)時間來識別功能性動作。因此，索引提供單元5以與介質(zhì)層的對應(yīng)事件的數(shù)量相同的次數(shù)來重復(fù)介質(zhì)層事件持續(xù)時間邏輯總和計算步驟S61。索引提供單元5確定在另一個事件(數(shù)據(jù)源)確定步驟S62中是否應(yīng)該再次重復(fù)步驟S61。在介質(zhì)層事件持續(xù)時間邏輯總和計算步驟S61中，索引提供單元5計算在時間軸上已計算的事件持續(xù)時間和當前計算的事件持續(xù)時間的邏輯總和。在功能性動作持續(xù)時間確定步驟S63中，索引提供單元5基于在步驟S61中得到的時間邏輯總和，計算事件的開始時間和結(jié)束時間之間的差值。索引提供單元5隨后將該差值確定為對應(yīng)功能性動作的持續(xù)時間。通過這種方式，通過開始時間和結(jié)束時間之間的差值來確定各個功能性動作的持續(xù)時間。在要確定“發(fā)言”功能性動作的持續(xù)時間的情況下，索引提供單元5計算作為圖13中所示的“發(fā)言者的姿勢數(shù)據(jù)”、“發(fā)言者的鼠標移動圖像數(shù)據(jù)”和“發(fā)言語音數(shù)據(jù)”的介質(zhì)層事件的持續(xù)時間的邏輯總和。由此，確定“發(fā)言”功能性動作的持續(xù)時間。現(xiàn)參照圖15，對圖14中所示的功能性動作持續(xù)時間確定步驟S63進行詳細說明。圖15是功能性動作持續(xù)時間確定處理的流程圖。如圖15中所示，功能性動作持續(xù)時間確定步驟S63包括開始時間獲取步驟S71、最早開始時間比較步驟S72、最早開始時間設(shè)定步驟S73、結(jié)束時間獲取步驟S74、最晚結(jié)束時間比較步驟S75、最晚結(jié)束時間設(shè)定步驟S76、其他事件(數(shù)據(jù)源)確定步驟S77，以及功能性動作持續(xù)時間確定步驟S78。這些步驟由索引提供單元5執(zhí)行。在開始時間獲取步驟S71中，索引提供單元5獲取具有介質(zhì)層的事件的開始時間。在最早開始時間比較步驟S72中，索引提供單元5將預(yù)定的最早開始時間與在開始時間獲取步驟S71中獲取的事件開始時間進行比較。如果在步驟S72中獲取的開始時間早于預(yù)定的最早開始時間，則索引提供單元5執(zhí)行最早開始時間設(shè)定步驟S73。如果在步驟S71中獲取的開始時間等同于或晚于預(yù)定的最早開始時間，則索引提供單元5轉(zhuǎn)移到結(jié)束時間獲取步驟S74。在最早開始時間設(shè)定步驟S73中，索引提供單元5將在步驟S71中獲取的開始時間設(shè)定為最早開始時間。在結(jié)束時間獲取步驟S74中，索引提供單元5獲取具有對應(yīng)介質(zhì)層的事件的結(jié)束時間。在最晚結(jié)束時間比較步驟S75中，索引提供單元5將預(yù)定的最晚結(jié)束時間與在結(jié)束時間獲取步驟S74中獲取的事件結(jié)束時間進行比較。如果在步驟S74中獲取的結(jié)束時間比預(yù)定的最晚結(jié)束時間晚，則索引提供單元5執(zhí)行最晚結(jié)束時間設(shè)定步驟S76。如果在步驟S74中獲取的結(jié)束時間等同于或早于預(yù)定的最晚結(jié)束時間，則索引提供單元5轉(zhuǎn)移到其他事件(數(shù)據(jù)源)確定步驟S77。在其他事件(數(shù)據(jù)源)確定步驟S77中，索引提供單元5確定是否存在與功能性動作相關(guān)的任何其他事件(或數(shù)據(jù)源)。如果存在另一事件，則操作返回到該事件的開始時間獲取步驟S71。如果不存在與功能性動作相關(guān)的任何其他事件，則索引提供單元5執(zhí)行功能性動作持續(xù)時間確定步驟S78。在功能性動作持續(xù)時間確定步驟S78中，索引提供單元5計算在最早開始時間設(shè)定步驟S73中設(shè)定的最早開始時間和在最晚結(jié)束時間設(shè)定步驟S76中設(shè)定的最晚結(jié)束時間之間的差值。索引提供單元5隨后將該差值確定為功能性動作的持續(xù)時間。通過這種方式，通過最早開始時間和最晚結(jié)束時間之間的差值來確定功能性動作的持續(xù)時間。通過上述過程，可以根據(jù)圖13中所示的“發(fā)言者的姿勢數(shù)據(jù)”、“發(fā)言者的鼠標移動圖像數(shù)據(jù)”和“發(fā)言語音數(shù)據(jù)”來計算“所檢測的發(fā)言持續(xù)時間(時間段)”。接下來，對從圖13中所示的“發(fā)言視頻源數(shù)據(jù)”中提取介質(zhì)層中的各個物理事件的處理進行說明。該處理由部分會議視頻提取單元4執(zhí)行。為了從圖13中所示的“發(fā)言視頻源數(shù)據(jù)”中提取“發(fā)言者的姿勢數(shù)據(jù)”，可以使用軟件版實時三維運動測量系統(tǒng)“SV-Tracker”或圖像運動測量軟件“Pc-MAG”(兩者都由OKKINC.制造)。在使用SV-Tracker的情況下，各個會議參加者必須事先佩帶有用于姿勢的三維測量的標記。使用所謂的IEEE1394數(shù)碼相機，可以從通過該數(shù)碼相機捕獲的“發(fā)言視頻源數(shù)據(jù)”中提取“發(fā)言者的姿勢數(shù)據(jù)”。在使用Pc-MAG的情況下，不需要上述標記，但必須相對于與“發(fā)言視頻源數(shù)據(jù)”相對應(yīng)的圖像設(shè)定用于測量姿勢的測量點，以使得可以從“發(fā)言視頻源數(shù)據(jù)”中提取“發(fā)言者的姿勢數(shù)據(jù)”。作為姿勢識別技術(shù)，可以使用在“MethodofEstimatingtheLocationandtheHandAreaofaPersonbyaMulti-EyeCameraforGestureRecognition”(Tominaga，etal.，IPSJTechnicalReport，Vol.2001，No.87，HumanInterface95-12(9.13.2001)，pp.85-92)中公開的方法。為了從圖13中所示的“發(fā)言視頻源數(shù)據(jù)”中提取“發(fā)言者的鼠標移動圖像數(shù)據(jù)”，可以使用在“SpeechStartandEndDetectionfromMovementsofMouseandSurroundingArea”(Murai，etal.，ProceedingsofIPSJNationalConferenceinAutumn2000，Vol.2，pp.169-170，2000)中公開的方法。在提取圖13中所示的“發(fā)言語音數(shù)據(jù)”的處理中，可以使用“Java(已注冊商標)語言”(由InternationalBussinessMachinesCorporation生產(chǎn))，以從普通音頻數(shù)據(jù)中提取實際發(fā)言音頻部分的音頻數(shù)據(jù)。而且，可以使用在“BasicsofVoiceRecognitionDescriptionandDevelopmentofApplicationPrograms”(Interface(Aug.1998)，pp.100-105)中公開的語音識別方法提取發(fā)言音頻數(shù)據(jù)。現(xiàn)參照圖16，對“獲得發(fā)言權(quán)”情況進行說明。圖16是“獲得發(fā)言權(quán)”的功能性動作的時間線圖。圖16中的橫坐標軸表示時間(經(jīng)過的時間)。該時間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“獲得發(fā)言權(quán)視頻源數(shù)據(jù)”；(b)“獲得發(fā)言權(quán)姿勢(舉起他/她的手)數(shù)據(jù)”；(c)“參加者的站起圖像數(shù)據(jù)”；(d)“參加者的鼠標移動圖像數(shù)據(jù)”；以及(e)“獲得發(fā)言權(quán)(“對不起”)話音數(shù)據(jù)”。該時間線圖還示出了被視為功能性動作層中的數(shù)據(jù)的(f)“所檢測的獲得發(fā)言權(quán)持續(xù)時間(時間段)”。圖16中的“獲得發(fā)言權(quán)視頻源數(shù)據(jù)”是獲得發(fā)言權(quán)動作的運動圖像數(shù)據(jù)，并且用作為“獲得發(fā)言權(quán)姿勢數(shù)據(jù)”、“參加者的站起圖像數(shù)據(jù)”和“參加者的鼠標移動圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會議視頻提取單元4通過傳統(tǒng)的姿勢識別技術(shù)從“獲得發(fā)言權(quán)視頻源數(shù)據(jù)”中提取“獲得發(fā)言權(quán)姿勢數(shù)據(jù)”。部分會議視頻提取單元4還從“獲得發(fā)言權(quán)視頻源數(shù)據(jù)”中提取“參加者的站起圖像數(shù)據(jù)”。同樣地，部分會議視頻提取單元4從“獲得發(fā)言權(quán)視頻源數(shù)據(jù)”中提取“參加者的鼠標移動圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計算介質(zhì)層中的動作的持續(xù)時間的邏輯總和來確定功能性動作層中的“獲得發(fā)言權(quán)””的持續(xù)時間。在Alice作為會議的參加者試圖獲得發(fā)言權(quán)(“獲得發(fā)言權(quán)”)的情況下，將上述(a)“獲得發(fā)言權(quán)視頻源數(shù)據(jù)”、(b)“Alice的獲得發(fā)言權(quán)姿勢(舉起她的手)數(shù)據(jù)”、(c)“Alice的站起圖像數(shù)據(jù)”、(d)“Alice的鼠標移動圖像數(shù)據(jù)”以及(e)“獲得發(fā)言權(quán)語音數(shù)據(jù)(Alice說“對不起”)”視為與Alice相關(guān)的介質(zhì)層中的數(shù)據(jù)。此外，將上述(f)“所檢測的獲得發(fā)言權(quán)持續(xù)時間(時間段)”視為與Alice相關(guān)的功能性動作層中的數(shù)據(jù)?，F(xiàn)參照圖17，對“繼續(xù)發(fā)言”的情況進行說明。圖17是“繼續(xù)發(fā)言”的功能性動作的時間線圖。圖17中的橫坐標軸表示時間(經(jīng)過的時間)。該時間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“繼續(xù)發(fā)言視頻源數(shù)據(jù)”；(b)“繼續(xù)發(fā)言姿勢(向前伸出他/她的手表示“停止”)數(shù)據(jù)”；(c)“參加者的鼠標移動圖像數(shù)據(jù)”以及(d)“繼續(xù)發(fā)言(“以及…”)語音數(shù)據(jù)”。該時間線圖還示出了被視為功能性動作層中的數(shù)據(jù)的(e)“所檢測的繼續(xù)發(fā)言持續(xù)時間(時間段)”。圖17中的“繼續(xù)發(fā)言視頻源數(shù)據(jù)”是繼續(xù)發(fā)言動作的運動圖像數(shù)據(jù)，并且用作為“繼續(xù)發(fā)言姿勢數(shù)據(jù)”和“參加者的鼠標移動圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會議視頻提取單元4通過傳統(tǒng)的姿勢識別技術(shù)從“繼續(xù)發(fā)言視頻源數(shù)據(jù)”提取“繼續(xù)發(fā)言姿勢數(shù)據(jù)”。同樣地，部分會議視頻提取單元4從“繼續(xù)發(fā)言視頻源數(shù)據(jù)”提取“參加者的鼠標移動圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計算介質(zhì)層中的動作的持續(xù)時間的邏輯總和來確定功能性動作層中的“繼續(xù)發(fā)言”的持續(xù)時間。在Alice作為會議的參加者保持發(fā)言權(quán)(“繼續(xù)發(fā)言”)的情況下，將上述(a)“繼續(xù)發(fā)言視頻源數(shù)據(jù)”、(b)“Alice的繼續(xù)發(fā)言姿勢(向前伸出她的手)數(shù)據(jù)”、(c)“Alice的鼠標移動圖像數(shù)據(jù)”以及(d)“繼續(xù)發(fā)言語音數(shù)據(jù)(Alice說“以及...”)”視為與Alice相關(guān)的介質(zhì)層中的數(shù)據(jù)。此外，將上述(e)“所檢測的繼續(xù)發(fā)言持續(xù)時間(時間段)”視為與Alice相關(guān)的功能性動作層中的數(shù)據(jù)?，F(xiàn)參照圖18，對“觀察”的情況進行說明。圖18是“觀察”功能性動作的時間線圖。圖18中的橫坐標軸表示時間(經(jīng)過的時間)。該時間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“觀察視頻源數(shù)據(jù)”和(b)“觀察者的眼睛移動圖像數(shù)據(jù)”。該時間線圖還示出了被視為功能性動作層中的數(shù)據(jù)的(c)“所檢測的觀察持續(xù)時間(時間段)”。圖18中的“觀察視頻源數(shù)據(jù)”是觀察動作的運動圖像數(shù)據(jù)，并用作為“觀察者的眼睛移動圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會議視頻提取單元4通過傳統(tǒng)的眼睛移動跟隨技術(shù)從“觀察視頻源數(shù)據(jù)”中提取“觀察者的眼睛移動圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計算介質(zhì)層中的動作的持續(xù)時間的邏輯總和來確定功能性動作層中的“觀察”的持續(xù)時間。為了獲得眼睛移動數(shù)據(jù)，可以使用在“ApplicationInnerStructureVisualizingInterfaceUtilizingEyeMovements”(Yamato，etal.，IEICETechnicalReport，HIP2000-12(2000-06)，pp.37-42)和“ForEnvironmentswithEyesfromEyeInterfacetoEyeCommunication”(byTakehikoOhno，IPSJTechnicalReport，Vol.2001，No.87，HumanInterface95-24(9.14.2001)，pp.171-178)中公開的技術(shù)?，F(xiàn)參照圖19，對“參加”的情況進行說明。圖19是“參加”的功能性動作的時間線圖。圖19中的橫坐標軸表示時間(經(jīng)過的時間)。該時間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“參加視頻源數(shù)據(jù)”和(b)“參加者的眼睛移動圖像數(shù)據(jù)”。該時間線圖還示出了被視為功能性動作層中的數(shù)據(jù)的(c)“所檢測的參加持續(xù)時間(時間段)”。圖19中的“參加視頻源數(shù)據(jù)”是參加動作的運動圖像數(shù)據(jù)，并用作為“參加者的眼睛移動圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會議視頻提取單元4通過傳統(tǒng)的眼睛移動跟隨技術(shù)從“參加視頻源數(shù)據(jù)”中提取“參加者的眼睛移動圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計算介質(zhì)層中的動作的持續(xù)時間的邏輯總和來確定功能性動作層中的“參加”的持續(xù)時間?，F(xiàn)參照圖20，對“不參加”的情況進行說明。圖20是“不參加”的功能性動作的時間線圖。圖20中的橫坐標軸表示時間(經(jīng)過的時間)。該時間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“不參加視頻源數(shù)據(jù)”；(b)“不參加者的搖頭運動圖像數(shù)據(jù)”；(c)“不參加者的鼾聲數(shù)據(jù)”以及(d)“不參加者的鼾聲數(shù)據(jù)”。該時間線圖還示出了被視為功能性動作層中的數(shù)據(jù)的(e)“所檢測的不參加持續(xù)時間(時間段)”。圖20中的“不參加視頻源數(shù)據(jù)”是不參加動作的運動圖像數(shù)據(jù)，并用作為“不參加者的搖頭運動圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會議視頻提取單元4通過傳統(tǒng)的姿勢識別技術(shù)從“不參加視頻源數(shù)據(jù)”中提取“不參加者的搖頭運動圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計算介質(zhì)層中的動作的持續(xù)時間的邏輯總和來確定功能性動作層中的“不參加”的持續(xù)時間?，F(xiàn)參照圖21，對“附應(yīng)”的情況進行說明。圖21是“附應(yīng)”的功能性動作的時間線圖。圖21中的橫坐標軸表示時間(經(jīng)過的時間)。該時間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“附應(yīng)(點頭)視頻源數(shù)據(jù)”；(b)“附應(yīng)姿勢(伴隨有點頭的“拍手”)數(shù)據(jù)”；(c)“附應(yīng)(點頭)的頸部移動圖像數(shù)據(jù)”；(d)“參加者的鼠標移動圖像數(shù)據(jù)”以及(e)“附應(yīng)(“啊哈”)語音數(shù)據(jù)”。該時間線圖還示出了被視為功能性動作層中的數(shù)據(jù)的(f)“所檢測的附應(yīng)持續(xù)時間(時間段)”。圖21中的“附應(yīng)視頻源數(shù)據(jù)”是附應(yīng)動作的運動圖像數(shù)據(jù)，并用作為“附應(yīng)姿勢數(shù)據(jù)”、“附應(yīng)的頸部移動圖像數(shù)據(jù)”和“參加者的鼠標移動圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會議視頻提取單元4通過傳統(tǒng)的姿勢識別技術(shù)從“附應(yīng)視頻源數(shù)據(jù)”中提取“附應(yīng)姿勢數(shù)據(jù)”。部分會議視頻提取單元4還從“附應(yīng)視頻源數(shù)據(jù)”中提取“附應(yīng)的頸部移動圖像數(shù)據(jù)”。同樣地，部分會議視頻提取單元4從“附應(yīng)視頻源數(shù)據(jù)”中提取“參加者的鼠標移動圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計算介質(zhì)層中的動作的持續(xù)時間的邏輯總和來確定功能性動作層中的“附應(yīng)”的持續(xù)時間。在Alice作為會議的參加者作出響應(yīng)(附應(yīng))的情況下，將上述(a)“附應(yīng)視頻源數(shù)據(jù)”、(b)“Alice的附應(yīng)姿勢(拍手)數(shù)據(jù)”、(c)“Alice的點頭(頸部移動)圖像數(shù)據(jù)”、(d)“Alice的鼠標移動圖像數(shù)據(jù)”以及(e)“附應(yīng)語音數(shù)據(jù)(Alice發(fā)出的“啊哈”)”視為與Alice相關(guān)的介質(zhì)層中的數(shù)據(jù)。而且，將上述(f)“所檢測的附應(yīng)持續(xù)時間(時間段)”視為與Alice相關(guān)的功能性動作層中的數(shù)據(jù)。為了確定點頭(頸部移動)圖像數(shù)據(jù)的持續(xù)時間，可以使用在“AhalysisofGestureInterrelationshipinNaturalConversations”(Maeda，etal.，IPSJTechnicalReport，Vol.2003，No.9，HumanInterface102-7(1.31.2003)，pp.39-46)中公開的技術(shù)。為了檢測參加者的頭部位置和姿勢，可以使用在“MethodofDetectingHeadLocationandPosture，andApplicationsoftheMethodforLarge-SizedInformationPresentingEnvironments”(Fujii，etal.，IPSJTechnicalReport，Vol.2002，No.38，HumanInterface98-6(5.17.2002)，pp.33-40)中公開的技術(shù)。為了檢測頸部移動，可以使用在“StudyonNeck-MovementPCOperationSupportToolsfortheHandicapped”(Kubo，etal.，IEICETechnicalReport，HCS2000-5(2000-04)，pp.29-36)中公開的技術(shù)?，F(xiàn)參照圖22，對“提問”的情況進行說明。圖22是“提問”的功能性動作的時間線圖。圖22中的橫坐標軸表示時間(經(jīng)過的時間)。該時間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“提問視頻源數(shù)據(jù)”；(b)“提問姿勢(舉起他/她的手)數(shù)據(jù)”；(c)“提問者的鼠標移動圖像數(shù)據(jù)”；以及(d)“提問語音數(shù)據(jù)”。該時間線圖還示出了被視為功能性動作層中的數(shù)據(jù)的(e)“所檢測的提問持續(xù)時間(時間段)”。圖22中的“提問視頻源數(shù)據(jù)”是提問動作的運動圖像數(shù)據(jù)，并用作為“提問姿勢數(shù)據(jù)”和“提問者的鼠標移動圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會議視頻提取單元4通過傳統(tǒng)的姿勢識別技術(shù)從“提問視頻源數(shù)據(jù)”中提取“提問姿勢數(shù)據(jù)”。同樣地，部分會議視頻提取單元4從“提問視頻源數(shù)據(jù)”中提取“提問者的鼠標移動圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計算介質(zhì)層中的動作的持續(xù)時間的邏輯總和來確定功能性動作層中的“提問”的持續(xù)時間。在Alice作為會議參加者提問的情況下，將上述(a)“提問視頻源數(shù)據(jù)”、(b)“Alice的提問姿勢(舉起她的手)數(shù)據(jù)”、(c)“Alice的鼠標移動圖像數(shù)據(jù)”，以及(d)“Alice的提問語音數(shù)據(jù)”視為與Alice相關(guān)的介質(zhì)層中的數(shù)據(jù)。另外，將上述(e)“所檢測的提問持續(xù)時間(時間段)”視為與Alice相關(guān)的功能性動作層中的數(shù)據(jù)?，F(xiàn)參照圖23，對“確認型提問”的情況進行說明。圖23是“確認型提問”的功能性動作的時間線圖。該時間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“確認型提問視頻源數(shù)據(jù)”；(b)“確認型提問者的站起圖像數(shù)據(jù)”；(c)“確認型提問者的鼠標移動圖像數(shù)據(jù)”；以及(d)“確認型提問語音數(shù)據(jù)”。該時間線圖還示出了被視為功能性動作層中的數(shù)據(jù)的(e)“所檢測的確認型提問持續(xù)時間(時間段)”。圖23中的“確認型提問視頻源數(shù)據(jù)”是確認型提問動作的運動圖像數(shù)據(jù)，并用作為“確認型提問者的站起圖像數(shù)據(jù)”和“確認型提問者的鼠標移動圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會議視頻提取單元4通過傳統(tǒng)的姿勢識別技術(shù)從“確認型提問視頻源數(shù)據(jù)”中提取“確認型提問者的站起圖像數(shù)據(jù)”。同樣地，部分會議視頻提取單元4從“確認型提問視頻源數(shù)據(jù)”中提取“確認型提問者的鼠標移動圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計算介質(zhì)層中的動作的持續(xù)時間的邏輯總和來確定功能性動作層中的“確認型提問”的持續(xù)時間。在Alice作為會議參加者提出確認型問題的情況下，將上述(a)“確認型提問視頻源數(shù)據(jù)”、(b)“Alice的站起圖像數(shù)據(jù)”、(c)“Alice的鼠標移動圖像數(shù)據(jù)”，以及(d)“Alice的確認型提問語音數(shù)據(jù)”視為與Alice相關(guān)的介質(zhì)層中的數(shù)據(jù)。另外，將上述(e)“所檢測的確認型提問持續(xù)時間(時間段)”視為與Alice相關(guān)的功能性動作層中的數(shù)據(jù)?，F(xiàn)參照圖24，對“發(fā)言型思考”的情況進行說明。圖24是“發(fā)言型思考”的功能性動作的時間線圖。圖24中的橫坐標軸表示時間(經(jīng)過的時間)。該時間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“發(fā)言型思考視頻源數(shù)據(jù)”；(b)“參加者的眼睛移動(看天花板)圖像數(shù)據(jù)”；(c)“發(fā)言者的鼠標移動圖像數(shù)據(jù)”；以及(d)“發(fā)言語音數(shù)據(jù)”。該時間線圖還示出了被視為功能性動作層中的數(shù)據(jù)的(e)“所檢測的發(fā)言型思考持續(xù)時間(時間段)”。圖24中的“發(fā)言型思考視頻源數(shù)據(jù)”是發(fā)言型思考動作的運動圖像數(shù)據(jù)，并用作為“參加者的眼睛移動(看天花板)圖像數(shù)據(jù)”和“發(fā)言者的鼠標移動圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會議視頻提取單元4通過傳統(tǒng)的眼睛移動測量技術(shù)和傳統(tǒng)的姿勢識別技術(shù)從“發(fā)言型思考視頻源數(shù)據(jù)”中提取“參加者的眼睛移動(看天花板)圖像數(shù)據(jù)”。同樣地，部分會議視頻提取單元4從“發(fā)言型思考視頻源數(shù)據(jù)”中提取“發(fā)言者的鼠標移動圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計算介質(zhì)層中的動作的持續(xù)時間的邏輯總和來確定功能性動作層中的“發(fā)言型思考”的持續(xù)時間。在Alice作為會議參加者進行“發(fā)言型思考”的情況下，將上述(a)“發(fā)言型思考視頻源數(shù)據(jù)”、(b)“Alice的眼睛移動(看天花板)圖像數(shù)據(jù)”、(c)“Alice的鼠標移動圖像數(shù)據(jù)”，以及(d)“Alice的發(fā)言語音數(shù)據(jù)”視為與Alice相關(guān)的介質(zhì)層中的數(shù)據(jù)。另外，將上述(e)“所檢測的發(fā)言型思考持續(xù)時間(時間段)”視為與Alice相關(guān)的功能性動作層中的數(shù)據(jù)。現(xiàn)參照圖25，對“提問型思考”的情況進行說明。圖25是“提問型思考”的功能性動作的時間線圖。圖25中的橫坐標軸表示時間(經(jīng)過的時間)。該時間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“提問型思考視頻源數(shù)據(jù)”；(b)“參加者的眼睛移動(看天花板)圖像數(shù)據(jù)”；(c)“提問者的鼠標移動圖像數(shù)據(jù)”；以及(d)“提問語音數(shù)據(jù)”。該時間線圖還示出了被視為功能性動作層中的數(shù)據(jù)的(e)“所檢測的提問型思考持續(xù)時間(時間段)”。圖25中的“提問型思考視頻源數(shù)據(jù)”是提問型思考動作的運動圖像數(shù)據(jù)，并用作為“參加者的眼睛移動(看天花板)圖像數(shù)據(jù)”和“提問者的鼠標移動圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會議視頻提取單元4通過傳統(tǒng)的眼睛移動測試技術(shù)和傳統(tǒng)的姿勢識別技術(shù)從“提問型思考視頻源數(shù)據(jù)”中提取“參加者的眼睛移動(看天花板)圖像數(shù)據(jù)”。同樣地，部分會議視頻提取單元4從“提問型思考視頻源數(shù)據(jù)”中提取“提問者的鼠標移動圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計算介質(zhì)層中的動作的持續(xù)時間的邏輯總和來確定功能性動作層中的“提問型思考”的持續(xù)時間。在Alice作為會議參加者進行“提問型思考”的情況下，將上述(a)“提問型思考視頻源數(shù)據(jù)”、(b)“Alice的眼睛移動(看天花板)圖像數(shù)據(jù)”、(c)“Alice的鼠標移動圖像數(shù)據(jù)”，以及(d)“Alice的提問語音數(shù)據(jù)”視為與Alice相關(guān)的介質(zhì)層中的數(shù)據(jù)。另外，將上述(e)“所檢測的提問型思考持續(xù)時間(時間段)”視為與Alice相關(guān)的功能性動作層中的數(shù)據(jù)?，F(xiàn)參照圖26，對“確認提問型思考”的情況進行說明。圖26是“確認提問型思考”的功能性動作的時間線圖。圖26中的橫坐標軸表示時間(經(jīng)過的時間)。該時間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“確認提問型思考視頻源數(shù)據(jù)”；(b)“參加者的眼睛移動(看天花板)圖像數(shù)據(jù)”；(c)“確認提問者的鼠標移動圖像數(shù)據(jù)”；以及(d)“確認提問聲音數(shù)據(jù)”。該時間線圖還示出了被視為功能性動作層中的數(shù)據(jù)的(e)“所檢測的確認提問型思考持續(xù)時間(時間段)”。圖26中的“確認提問型思考視頻源數(shù)據(jù)”是確認提問型思考動作的運動圖像數(shù)據(jù)，并用作為“參加者的眼睛移動(看天花板)圖像數(shù)據(jù)”和“確認提問者的鼠標移動圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會議視頻提取單元4通過傳統(tǒng)的眼睛移動測量技術(shù)和傳統(tǒng)的姿勢識別技術(shù)從“確認提問型思考視頻源數(shù)據(jù)”中提取“參加者的眼睛移動(看天花板)圖像數(shù)據(jù)”。同樣地，部分會議視頻提取單元4從“確認提問型思考視頻源數(shù)據(jù)”中提取“確認提問者的鼠標移動圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計算介質(zhì)層中的動作的持續(xù)時間的邏輯總和來確定功能性動作層中的“確認提問型思考”的持續(xù)時間。在Alice作為會議參加者進行“確認提問型思考”的情況下，將上述(a)“確認提問型思考視頻源數(shù)據(jù)”、(b)“Alice的眼睛移動(看天花板)圖像數(shù)據(jù)”、(c)“Alice的鼠標移動圖像數(shù)據(jù)”，以及(d)“Alice的確認提問語音數(shù)據(jù)”視為與Alice相關(guān)的介質(zhì)層中的數(shù)據(jù)。另外，將上述(e)“所檢測的確認提問型思考持續(xù)時間(時間段)”視為與Alice相關(guān)的功能性動作層中的數(shù)據(jù)?，F(xiàn)參照圖27，對“不發(fā)言型思考”的情況進行說明。圖27是“不發(fā)言型思考”的功能性動作的時間線圖。圖27中的橫坐標軸表示時間(經(jīng)過的時間)。該時間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“不發(fā)言型思考視頻源數(shù)據(jù)”；(b)“參加者的眼睛移動(看天花板)圖像數(shù)據(jù)”；以及(c)“參加者的曲臂姿勢數(shù)據(jù)”。該時間線圖還示出了被視為功能性動作層中的數(shù)據(jù)的(e)“所檢測的不發(fā)言型思考持續(xù)時間(時間段)”。圖27中的“不發(fā)言型思考視頻源數(shù)據(jù)”是不發(fā)言型思考動作的運動圖像數(shù)據(jù)，并用作為“參加者的眼睛移動(看天花板)圖像數(shù)據(jù)”和“參加者的曲臂姿勢數(shù)據(jù)”的數(shù)據(jù)源。部分會議視頻提取單元4通過傳統(tǒng)的眼睛移動測量技術(shù)和傳統(tǒng)的姿勢識別技術(shù)從“不發(fā)言型思考視頻源數(shù)據(jù)”中提取“參加者的眼睛移動(看天花板)圖像數(shù)據(jù)”。同樣地，部分會議視頻提取單元4從“不發(fā)言型思考視頻源數(shù)據(jù)”中提取“參加者的曲臂姿勢數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計算介質(zhì)層中的動作的持續(xù)時間的邏輯總和來確定功能性動作層中的“不發(fā)言型思考”的持續(xù)時間。在Alice作為會議參加者進行“不發(fā)言型思考”的情況下，將上述(a)“不發(fā)言型思考視頻源數(shù)據(jù)”、(b)“Alice的眼睛移動(看天花板)圖像數(shù)據(jù)”，以及(c)“Alice的曲臂姿勢的數(shù)據(jù)”視為與Alice相關(guān)的介質(zhì)層中的數(shù)據(jù)。另外，將上述(d)“檢測到的不發(fā)言型思考持續(xù)時間(時間段)”視為與Alice相關(guān)的功能性動作層中的數(shù)據(jù)。現(xiàn)參照圖28，對“自言自語”的情況進行說明。圖28是“自言自語”的功能性動作的時間線圖。圖28中的橫坐標軸表示時間(經(jīng)過的時間)。該時間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“自言自語視頻源數(shù)據(jù)”；(b)“參加者的鼠標移動圖像數(shù)據(jù)”；以及(c)“自言自語語音數(shù)據(jù)”。該時間線圖示出了被視為功能性動作層中的數(shù)據(jù)的(d)“所檢測的自言自語持續(xù)時間(時間段)”。圖28中的“自言自語視頻源數(shù)據(jù)”是自言自語動作的運動圖像數(shù)據(jù)，并用作為“參加者的鼠標移動圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會議視頻提取單元4通過傳統(tǒng)的姿勢識別技術(shù)從“自言自語視頻源數(shù)據(jù)”中提取“參加者的鼠標移動圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計算介質(zhì)層中的動作的持續(xù)時間的邏輯總和來確定功能性動作層中的“自言自語”的持續(xù)時間。在Alice參加會議時自言自語的情況下，將上述(a)“Alice的視頻源數(shù)據(jù)”、(b)“Alice的鼠標移動圖像數(shù)據(jù)”，以及(c)“Alice的自言自語語音數(shù)據(jù)”視為與Alice相關(guān)的介質(zhì)層中的數(shù)據(jù)。另外，將上述(d)“所檢測的自言自語持續(xù)時間(時間段)”視為與Alice相關(guān)的功能性動作層中的數(shù)據(jù)?，F(xiàn)參照圖29，對“發(fā)言型公共信息空間使用”的情況進行說明。圖29是“發(fā)言型公共信息空間使用”的功能性動作的時間線圖。圖29中的橫坐標軸表示時間(經(jīng)過的時間)。該時間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“發(fā)言型公共信息空間使用視頻源數(shù)據(jù)”；(b)“參加者的站起圖像數(shù)據(jù)”；(c)“發(fā)言者的在白板上進行書寫的圖像數(shù)據(jù)”；(d)“發(fā)言者的鼠標移動圖像數(shù)據(jù)”；以及(e)“發(fā)言語音數(shù)據(jù)”。該時間線圖還示出了被視為功能性動作層中的數(shù)據(jù)的(f)“所檢測的發(fā)言型公共信息空間使用持續(xù)時間(時間段)”。圖29中的“發(fā)言型公共信息空間使用視頻源數(shù)據(jù)”是發(fā)言型公共信息空間使用動作的運動圖像數(shù)據(jù)，并用作為“發(fā)言者的站起圖像數(shù)據(jù)”、“發(fā)言者的在白板上進行書寫的圖像數(shù)據(jù)”和“發(fā)言者的鼠標移動圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會議視頻提取單元4通過傳統(tǒng)的姿勢識別技術(shù)從“發(fā)言型公共信息空間使用視頻源數(shù)據(jù)”中提取“發(fā)言者的站起圖像數(shù)據(jù)”。部分會議視頻提取單元4還從“發(fā)言型公共信息空間使用視頻源數(shù)據(jù)”中提取“發(fā)言者的在白板上書寫的圖像數(shù)據(jù)”。同樣地，部分會議視頻提取單元4從“發(fā)言型公共信息空間使用視頻源數(shù)據(jù)”中提取“發(fā)言者的鼠標移動圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計算介質(zhì)層中的動作的持續(xù)時間的邏輯總和來確定功能性動作層中的“發(fā)言型公共信息空間使用”的持續(xù)時間。在Alice作為會議參加者執(zhí)行“發(fā)言型公共信息空間使用”的情況下，將上述(a)“發(fā)言型公共信息空間使用視頻源數(shù)據(jù)”、(b)“Alice的站起圖像數(shù)據(jù)”、(c)“Alice的在白板上進行書寫的圖像數(shù)據(jù)”、(d)“Alice的鼠標移動圖像數(shù)據(jù)”以及(e)“Alice的發(fā)言語音數(shù)據(jù)”視為與Alice相關(guān)的介質(zhì)層中的數(shù)據(jù)。另外，將上述(f)“所檢測的發(fā)言型公共信息空間使用持續(xù)時間(時間段)”視為與Alice相關(guān)的功能性動作層中的數(shù)據(jù)?，F(xiàn)參照圖30，對“提問型公共信息空間使用”的情況進行說明。圖30是“提問型公共信息空間使用”的功能性動作的時間線圖。圖30中的橫坐標軸表示時間(經(jīng)過的時間)。該時間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“提問型公共信息空間使用視頻源數(shù)據(jù)”；(b)“提問者的站起圖像數(shù)據(jù)”；(c)“提問者的在白板上進行書寫的圖像數(shù)據(jù)”；(d)“提問者的鼠標移動圖像數(shù)據(jù)”；以及(e)“提問語音數(shù)據(jù)”。該時間線圖還示出了被視為功能性動作層中的數(shù)據(jù)的(f)“所檢測的提問型公共信息空間使用持續(xù)時間(時間段)”。圖30中的“提問型公共信息空間使用視頻源數(shù)據(jù)”是提問型公共信息空間使用動作的運動圖像數(shù)據(jù)，并用作為“提問者的站起圖像數(shù)據(jù)”、“提問者的在白板上進行書寫的圖像數(shù)據(jù)”和“提問者的鼠標移動圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會議視頻提取單元4通過傳統(tǒng)的姿勢識別技術(shù)從“提問型公共信息空間使用視頻源數(shù)據(jù)”中提取“提問者的站起圖像數(shù)據(jù)”。部分會議視頻提取單元4還從“提問型公共信息空間使用視頻源數(shù)據(jù)”中提取“提問者的在白板上進行書寫的圖像數(shù)據(jù)”。同樣地，部分會議視頻提取單元4從“提問型公共信息空間使用視頻源數(shù)據(jù)”中提取“提問者的鼠標移動圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計算介質(zhì)層中的動作的持續(xù)時間的邏輯總和來確定功能性動作層中的“提問型公共信息空間使用”的持續(xù)時間。在Alice作為會議參加者執(zhí)行“提問型公共信息空間使用”的情況下，將上述(a)“提問型公共信息空間使用視頻源數(shù)據(jù)”、(b)“Alice的站起圖像數(shù)據(jù)”、(c)“Alice的在白板上進行書寫的圖像數(shù)據(jù)”、(d)“Alice的鼠標移動圖像數(shù)據(jù)”以及(e)“Alice的提問語音數(shù)據(jù)”視為與Alice相關(guān)的介質(zhì)層中的數(shù)據(jù)。另外，將上述(f)“所檢測的提問型公共信息空間使用持續(xù)時間(時間段)”視為與Alice相關(guān)的功能性動作層中的數(shù)據(jù)?，F(xiàn)參照圖31，對“確認提問型公共信息空間使用”的情況進行說明。圖31是“確認提問型公共信息空間使用”的功能性動作的時間線圖。圖31中的橫坐標軸表示時間(經(jīng)過的時間)。該時間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“確認提問型公共信息空間使用視頻源數(shù)據(jù)”；(b)“確認提問者的站起圖像數(shù)據(jù)”；(c)“確認提問者的在白板上進行書寫的圖像數(shù)據(jù)”；(d)“確認提問者的鼠標移動圖像數(shù)據(jù)”；以及(e)“確認提問語音數(shù)據(jù)”。該時間線圖還示出了被視為功能性動作層中的數(shù)據(jù)的(f)“所檢測的確認提問型公共信息空間使用持續(xù)時間(時間段)”。圖31中的“確認提問型公共信息空間使用視頻源數(shù)據(jù)”是確認提問型公共信息空間使用動作的運動圖像數(shù)據(jù)，并用作為“確認提問者的站起圖像數(shù)據(jù)”、“確認提問者的在白板上進行書寫的圖像數(shù)據(jù)”和“確認提問者的鼠標移動圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會議視頻提取單元4通過傳統(tǒng)的姿勢識別技術(shù)從“確認提問型公共信息空間使用視頻源數(shù)據(jù)”中提取“確認提問者的站起圖像數(shù)據(jù)”。部分會議視頻提取單元4還從“確認提問型公共信息空間使用視頻源數(shù)據(jù)”中提取“確認提問者的在白板上進行書寫的圖像數(shù)據(jù)”。同樣地，部分會議視頻提取單元4從“確認提問型公共信息空間使用視頻源數(shù)據(jù)”中提取“確認提問者的鼠標移動圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計算介質(zhì)層中的動作的持續(xù)時間的邏輯總和來確定功能性動作層中的“確認提問型公共信息空間使用”的持續(xù)時間。在Alice作為會議參加者執(zhí)行“確認提問型公共信息空間使用”的情況下，將上述(a)“確認提問型公共信息空間使用視頻源數(shù)據(jù)”、(b)“Alice的站起圖像數(shù)據(jù)”、(c)“Alice的在白板上進行書寫的圖像數(shù)據(jù)”、(d)“Alice的鼠標移動圖像數(shù)據(jù)”以及(e)“Alice的確認提問語音數(shù)據(jù)”視為與Alice相關(guān)的介質(zhì)層中的數(shù)據(jù)。另外，將上述(f)“所檢測的確認提問型公共信息空間使用持續(xù)時間(時間段)”視為與Alice相關(guān)的功能性動作層中的數(shù)據(jù)。現(xiàn)參照圖32，對“不發(fā)言型公共信息空間使用”的情況進行說明。圖32是“不發(fā)言型公共信息空間使用”的功能性動作的時間線圖。圖32中的橫坐標軸表示時間(經(jīng)過的時間)。該時間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“不發(fā)言型公共信息空間使用視頻源數(shù)據(jù)”；(b)“參加者的站起圖像數(shù)據(jù)”；以及(c)“參加者的在白板上進行書寫的圖像數(shù)據(jù)”。該時間線圖還示出了被視為功能性動作層中的數(shù)據(jù)的(d)“所檢測的不發(fā)言型公共信息空間使用持續(xù)時間(時間段)”。圖32中的“不發(fā)言型公共信息空間使用視頻源數(shù)據(jù)”是不發(fā)言型公共信息空間使用動作的運動圖像數(shù)據(jù)，并用作為“參加者的站起圖像數(shù)據(jù)”和“參加者的在白板上進行書寫的圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會議視頻提取單元4通過傳統(tǒng)的姿勢識別技術(shù)從“不發(fā)言型公共信息空間使用視頻源數(shù)據(jù)”中提取“參加者的站起圖像數(shù)據(jù)”。同樣地，部分會議視頻提取單元4從“不發(fā)言型公共信息空間使用視頻源數(shù)據(jù)”中提取“參加者的在白板上進行書寫的圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計算介質(zhì)層中的動作的持續(xù)時間的邏輯總和來確定功能性動作層中的“不發(fā)言型公共信息空間使用”的持續(xù)時間。在Alice作為會議參加者執(zhí)行“不發(fā)言型公共信息空間使用”的情況下，將上述(a)“不發(fā)言型公共信息空間使用視頻源數(shù)據(jù)”、(b)“Alice的站起圖像數(shù)據(jù)”以及(c)“Alice的在白板上進行書寫的圖像數(shù)據(jù)”視為與Alice相關(guān)的介質(zhì)層中的數(shù)據(jù)。另外，將上述(d)“所檢測的不發(fā)言型公共信息空間使用持續(xù)時間(時間段)”視為與Alice相關(guān)的功能性動作層中的數(shù)據(jù)?，F(xiàn)參照圖33，對“參加型私人信息空間使用”的情況進行說明。圖33是“參加型私人信息空間使用”的功能性動作的時間線圖。圖33中的橫坐標軸表示時間(經(jīng)過的時間)。該時間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“參加型私人信息空間使用視頻源數(shù)據(jù)”；(b)“參加者的在筆記本電腦上打字的圖像數(shù)據(jù)”；(c)“參加者的搖頭運動(點頭)圖像數(shù)據(jù)”；(d)“參加者的鼠標移動圖像數(shù)據(jù)”；以及(e)“參加者的點頭語音數(shù)據(jù)”。該時間線圖還示出了被視為功能性動作層中的數(shù)據(jù)的(f)“所檢測的參加型私人信息空間使用持續(xù)時間(時間段)”。圖33中的“參加型私人信息空間使用視頻源數(shù)據(jù)”是參加型私人信息空間使用動作的運動圖像數(shù)據(jù)，并用作為“參加者的在筆記本電腦上打字的圖像數(shù)據(jù)”、“參加者的搖頭運動(點頭)圖像數(shù)據(jù)”和“參加者的鼠標移動圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會議視頻提取單元4通過傳統(tǒng)的姿勢識別技術(shù)從“參加型私人信息空間使用視頻源數(shù)據(jù)”中提取“參加者的在筆記本電腦上打字的圖像數(shù)據(jù)”。部分會議視頻提取單元4還從“參加型私人信息空間使用視頻源數(shù)據(jù)”中提取“參加者的搖頭運動(點頭)圖像數(shù)據(jù)”。同樣地，部分會議視頻提取單元4從“參加型私人信息空間使用視頻源數(shù)據(jù)”中提取“參加者的鼠標移動圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計算介質(zhì)層中的動作的持續(xù)時間的邏輯總和來確定功能性動作層中的“參加型私人信息空間使用”的持續(xù)時間。在Alice作為會議參加者執(zhí)行“參加型私人信息空間使用”的情況下，將上述(a)“參加型私人信息空間使用視頻源數(shù)據(jù)”、(b)“Alice的在筆記本電腦打字的圖像數(shù)據(jù)”、(c)“Alice的搖頭運動(點頭)圖像數(shù)據(jù)”、(d)“Alice的鼠標移動圖像數(shù)據(jù)”以及(e)“Alice的同意語音數(shù)據(jù)(例如“啊哈”和“我明白”)”視為與Alice相關(guān)的介質(zhì)層中的數(shù)據(jù)。另外，將上述(f)“所檢測的參加型私人信息空間使用持續(xù)時間(時間段)”視為與Alice相關(guān)的功能性動作層中的數(shù)據(jù)?，F(xiàn)參照圖34，對“不參加型私人信息空間使用”的情況進行說明。圖34是“不參加型私人信息空間使用”的功能性動作的時間線圖。圖34中的橫坐標軸表示時間(經(jīng)過的時間)。該時間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“不參加型私人信息空間使用視頻源數(shù)據(jù)”和(b)“參加者的在筆記本電腦上打字的圖像數(shù)據(jù)”。該時間線圖還示出了被視為功能性動作層中的數(shù)據(jù)的(c)“所檢測的不參加型私人信息空間使用持續(xù)時間(時間段)”。圖34中的“不參加型私人信息空間使用視頻源數(shù)據(jù)”是不參加型私人信息空間使用動作的運動圖像數(shù)據(jù)，并用作為“參加者的在筆記本電腦上打字的圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會議視頻提取單元4通過傳統(tǒng)的姿勢識別技術(shù)從“不參加型私人信息空間使用視頻源數(shù)據(jù)”中提取“參加者的在筆記本電腦上打字的圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計算介質(zhì)層中的動作的持續(xù)時間的邏輯總和來確定功能性動作層中的“不參加型私人信息空間使用”的持續(xù)時間。在Alice作為會議參加者執(zhí)行“不參加型私人信息空間使用”的情況下，將上述(a)“不參加型私人信息空間使用視頻源數(shù)據(jù)”和(b)“Alice的在筆記本電腦上打字的圖像數(shù)據(jù)”視為與Alice相關(guān)的介質(zhì)層中的數(shù)據(jù)。另外，將上述(c)“所檢測的不參加型私人信息空間使用持續(xù)時間(時間段)”視為與Alice相關(guān)的功能性動作層中的數(shù)據(jù)?，F(xiàn)參照圖35，對“笑”的情況進行說明。圖35是“笑”的功能性動作的時間線圖。圖35中的橫坐標軸表示時間(經(jīng)過的時間)。該時間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“笑的視頻源數(shù)據(jù)”；(b)“參加者的面部表情圖像數(shù)據(jù)”；(c)“參加者的鼠標移動圖像數(shù)據(jù)”；以及(d)“參加者的笑的語音數(shù)據(jù)”。該時間線圖還示出了被視為功能性動作層中的數(shù)據(jù)的(e)“所檢測的笑的持續(xù)時間(時間段)”。圖35中的“笑的視頻源數(shù)據(jù)”是笑的動作的運動圖像數(shù)據(jù)，并用作為“參加者的面部表情圖像數(shù)據(jù)”和“參加者的鼠標移動圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會議視頻提取單元4通過傳統(tǒng)的姿勢識別技術(shù)從“笑的視頻源數(shù)據(jù)”中提取“參加者的面部表情圖像數(shù)據(jù)”。同樣地，部分會議視頻提取單元4從“笑的視頻源數(shù)據(jù)”中提取“參加者的鼠標移動圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計算介質(zhì)層中的動作的持續(xù)時間的邏輯總和來確定功能性動作層中的“笑”的持續(xù)時間。在Alice作為會議參加者笑的情況下，將上述(a)“笑的視頻源數(shù)據(jù)”、(b)“Alice的面部表情圖像數(shù)據(jù)”、(c)“Alice的鼠標移動圖像數(shù)據(jù)”和(d)“Alice的笑的語音數(shù)據(jù)”視為與Alice相關(guān)的介質(zhì)層中的數(shù)據(jù)。另外，將上述(e)“所檢測的笑的持續(xù)時間(時間段)”視為與Alice相關(guān)的功能性動作層中的數(shù)據(jù)。如上所述，根據(jù)第二實施例，對于由部分會議視頻提取單元4提取的部分會議視頻數(shù)據(jù)，可以由索引提供單元5自動地生成與參加者的功能性動作相對應(yīng)的索引數(shù)據(jù)。盡管已示出并說明了本發(fā)明的一些優(yōu)選實施例，但本領(lǐng)域的技術(shù)人員應(yīng)該理解，可以在不脫離本發(fā)明的原理和精神的情況下對這些實施例進行變化，本發(fā)明的范圍是由權(quán)利要求及其等同物限定的。通過引用并入于2004年3月22日提交的日本專利申請No.2004-083268的全部內(nèi)容，包括說明書、權(quán)利要求、附圖以及摘要。權(quán)利要求1.一種會議信息處理裝置，其包括提取單元，用于從會議音頻和/或可視信息中提取部分會議音頻和/或可視信息，所述部分會議音頻和/或可視信息包含會議參加者的一個或更多個物理事件；以及提供單元，用于根據(jù)從所述一個或更多個物理事件中摘錄的功能性動作，為所述部分會議音頻和/或可視信息提供索引。2.根據(jù)權(quán)利要求1所述的會議信息處理裝置，進一步包括生成單元，用于根據(jù)由所述提供單元提供的所述索引，產(chǎn)生所述會議音頻和/或可視信息的概要會議視頻。3.根據(jù)權(quán)利要求2所述的會議信息處理裝置，進一步包括記錄單元，用于記錄由所述生成單元進行了概要處理的所述會議視頻。4.根據(jù)權(quán)利要求2所述的會議信息處理裝置，進一步包括顯示單元，用于顯示由所述生成單元進行了概要處理的所述會議視頻。5.根據(jù)權(quán)利要求1所述的會議信息處理裝置，進一步包括同步單元，用于使多個會議視頻彼此同步，所述多個會議視頻是在相同的時間段內(nèi)捕獲的。6.根據(jù)權(quán)利要求1所述的會議信息處理裝置，進一步包括圖形用戶界面，用于顯示由所述提供單元提供的索引。7.根據(jù)權(quán)利要求1所述的會議信息處理裝置，其中所述提供單元根據(jù)所述一個或更多個物理事件的持續(xù)時間的邏輯總和來計算所述功能性動作的持續(xù)時間。8.根據(jù)權(quán)利要求1所述的會議信息處理裝置，其中所述提供單元至少通過所述會議參加者做出的姿勢來識別所述功能性動作，所述姿勢包含在所述部分會議音頻和/或可視信息中。9.根據(jù)權(quán)利要求1所述的會議信息處理裝置，其中所述提供單元至少通過所述會議參加者的鼠標的移動來識別所述功能性動作，所述鼠標的移動包含在所述部分會議音頻和/或可視信息中。10.根據(jù)權(quán)利要求1所述的會議信息處理裝置，其中所述提供單元至少通過所述會議參加者的眼睛的移動來識別所述功能性動作，所述眼睛的移動包含在所述部分會議音頻和/或可視信息中。11.根據(jù)權(quán)利要求1所述的會議信息處理裝置，其中所述提供單元至少通過所述會議參加者的頭部的移動來識別所述功能性動作，所述頭部的移動包含在所述部分會議音頻和/或可視信息中。12.根據(jù)權(quán)利要求1所述的會議信息處理裝置，其中所述提供單元至少通過所述會議參加者的書寫動作來識別所述功能性動作，所述書寫動作包含在所述部分會議音頻和/或可視信息中。13.根據(jù)權(quán)利要求1所述的會議信息處理裝置，其中所述提供單元至少通過所述會議參加者從他/她的座位上站起的動作來識別所述功能性動作，所述站起的動作包含在所述部分會議音頻和/或可視信息中。14.根據(jù)權(quán)利要求1所述的會議信息處理裝置，其中所述提供單元至少通過所述會議參加者在預(yù)定輸入裝置上進行輸入的動作來識別所述功能性動作，所述輸入的動作包含在所述部分會議音頻和/或可視信息中。15.根據(jù)權(quán)利要求1所述的會議信息處理裝置，其中所述提供單元至少通過所述會議參加者的面部表情來識別所述功能性動作，所述面部表情包含在所述部分會議音頻和/或可視信息中。16.根據(jù)權(quán)利要求1所述的會議信息處理裝置，其中所述提供單元至少通過所述會議參加者的語音數(shù)據(jù)來識別所述功能性動作，所述語音數(shù)據(jù)包含在所述部分會議音頻和/或可視信息中。17.根據(jù)權(quán)利要求2所述的會議信息處理裝置，其中所述生成單元生成用于回顧的會議視頻，該會議視頻包括活動功能性動作以及發(fā)言型思考的功能性動作，其中活動功能性動作有發(fā)言、提問、發(fā)言型公共信息空間使用、提問型公共信息空間使用、以及不發(fā)言型公共信息空間使用。18.根據(jù)權(quán)利要求2所述的會議信息處理裝置，其中所述生成單元生成用于公共觀看的會議視頻，該會議視頻包括的功能性動作有發(fā)言、提問、發(fā)言型思考和發(fā)言型公共信息空間使用。19.根據(jù)權(quán)利要求2所述的會議信息處理裝置，其中所述生成單元生成用于管理人員的會議視頻，該會議視頻包括的功能性動作有發(fā)言、發(fā)言型思考和發(fā)言型公共信息空間使用。20.根據(jù)權(quán)利要求6所述的會議信息處理裝置，其中所述圖形用戶界面分級地顯示所述多個物理事件和從所述多個物理事件中摘錄的所述多個功能性動作。21.根據(jù)權(quán)利要求6所述的會議信息處理裝置，其中所述圖形用戶界面對所述多個功能性動作分級地顯示多個場景，所述多個場景中的每一個是從所述多個功能性動作中的一個或更多個中摘錄的。22.根據(jù)權(quán)利要求6所述的會議信息處理裝置，其中所述圖形用戶界面以時間線或表格的形式表示所述索引。23.根據(jù)權(quán)利要求6所述的會議信息處理裝置，其中所述圖形用戶界面以各種顏色表示所述多個功能性動作。24.根據(jù)權(quán)利要求6所述的會議信息處理裝置，其中所述圖形用戶界面通過對所述多個功能性動作中的每一個對應(yīng)的功能性動作的圖形表示賦予不同的顏色或不同的形狀或者提供運動圖像，來著重顯示語音發(fā)言者的變化、物理性發(fā)言者的變化或者語音和物理性發(fā)言者的變化。25.根據(jù)權(quán)利要求6所述的會議信息處理裝置，其中所述圖形用戶界面顯示關(guān)于索引識別符、索引開始時間、索引結(jié)束時間、功能性動作名稱、會議參加者的角色、動作的預(yù)計方向的數(shù)據(jù)。26.根據(jù)權(quán)利要求2所述的會議信息處理裝置，其中所述生成單元通過對所述對應(yīng)的部分會議音頻和/或可視信息中沒有超過預(yù)定持續(xù)時間的圖像部分進行概要處理來產(chǎn)生各個會議視頻。27.一種會議信息處理方法，包括以下步驟從會議音頻和/或可視信息中提取部分會議音頻和/或可視信息，所述部分會議音頻和/或可視信息包含會議參加者的一個或更多個物理事件；以及根據(jù)從所述一個或更多個物理事件中摘錄的功能性動作，為所述部分會議音頻和/或可視信息提供索引。28.根據(jù)權(quán)利要求27所述的會議信息處理方法，進一步包括以下步驟根據(jù)所述索引，產(chǎn)生所述會議音頻和/或可視信息的概要會議視頻。29.一種計算機可讀存儲介質(zhì)，該存儲介質(zhì)存儲有可由計算機執(zhí)行以實現(xiàn)包括以下步驟的功能的指令程序從會議音頻和/或可視信息中提取部分會議音頻和/或可視信息，所述會議音頻和/或可視信息包含會議參加者的一個或更多個物理事件；以及根據(jù)從所述一個或更多個物理事件中摘錄的功能性動作，為所述部分會議音頻和/或可視信息提供索引。30.根據(jù)權(quán)利要求29所述的存儲介質(zhì)，進一步使計算機執(zhí)行多個指令以根據(jù)所提供的索引產(chǎn)生所述會議音頻和/或可視信息的概要會議視頻。31.根據(jù)權(quán)利要求1所述的會議信息處理裝置，其中由用戶手工生成所述索引。全文摘要會議信息處理裝置和方法以及計算機可讀存儲介質(zhì)。一種會議信息處理裝置，其包括提取單元，用于從會議音頻和/或可視信息中提取部分會議音頻和/或可視信息，所述部分會議音頻和/或可視信息包含會議參加者的一個或更多個物理事件；以及提供單元，用于根據(jù)從所述一個或更多個物理事件中摘錄的功能性動作，為所述部分會議音頻和/或可視信息提供索引。文檔編號G06F9/00GK1674672SQ20041008115公開日2005年9月28日申請日期2004年9月30日優(yōu)先權(quán)日2004年3月22日發(fā)明者平田和貴,宮崎淳申請人:富士施樂株式會社