腦波識別方法的調整裝置、方法及計算機程序的制作方法

專利名稱：腦波識別方法的調整裝置、方法及計算機程序的制作方法
技術領域：
本發明涉及可以利用腦波操作機器的接口 (腦波接口)系統。更具體 地說，本發明涉及在利用用戶的腦波檢出用戶的心理狀態、感情狀態、認 知狀態等后檢出用戶操作機器及取得信息的意圖的腦波接口中，具備進行
旨在正確分析腦波的校準(calibration)的功能的腦波接口系統。
背景技術：
迄今為止，人們推出了以電視機、手機、PDA (Personal Digital Assistant)等為代表的各種機器的方案。用戶在這些機器的包圍中度過 日常生活，通過操作機器接收所需的信息及服務。由于機器的數量與日倶 增，以及不使用機器就不能獲得的信息越來越多等原因，提高旨在操作機 器的接口的操作性的重要程度逐年增大。
例如關于上述的信息機器， 一邊看著機器的畫面， 一邊選擇希望執行 的操作的選項，從而實現機器操作。作為操作輸入單元，廣泛采用一邊看 著例如按下按鈕、移動光標后決定的畫面， 一邊操作鼠標等方法。可是， 例如正在干家務活、照料孩子、開車等雙手忙于機器操作以外的作業而不 能使用時，往往無法進行利用操作輸入單元的輸入，不能實現機器操作。 因此，即使在兩手沒空的狀況下也想操作信息機器的這種用戶的要求，正 在高漲。
面對這種要求，開發出了利用用戶的活體信號的輸入單元。例如在非 專利文獻1中，公布了使用腦波的事件關聯電位(event-related potential)識別用戶想選擇的選項的腦波接口技術。如果具體地講述非專利文獻1所述的技術，那就是隨機高亮選項，利用將選項被高亮的時刻 作為起點，大約300毫秒后出現的事件關聯電位的波形，識別用戶想選擇 的選項。采用該技術后，由于用戶即使在兩手沒空的狀況下，或者由于疾 病等手腳不能動的狀況下，也能夠選擇想選擇的選項，所以實現了符合上 述要求的機器操作等的接口。
在這里，所謂"事件關聯電位"，是指與外在的或者內在的事件時間 性地關聯后產生的大腦皮層的一過性的電位變動。在腦波接口中，利用將 外在的事件的發生時刻作為起點計測的該事件關聯電位。例如利用對于視 覺刺激等發生的事件關聯電位的"P300"成分后，就能夠選擇菜單的選項。 所謂"P300"，是在從起點開始的大約300毫秒附近出現的事件關聯電位 的陽性的成分。
由于上述腦波的波形的狀態個人差較大，所以為了將事件關聯電位作 為接口的輸入單元使用，需要實現與該個人差對應的高精度的識別。非專 利文獻1的32頁，示出個人差的一個例子。另外，圖5表示對于36名參 試人員實施同一課題時的腦波的個人差的一個例子。在各參試人員的曲線 中，分別用實線和虛線表示與2種狀況對應的腦波。由圖5可知由于個 人差，波形及峰值位置中的振幅相差很大，所以很難用單一的基準對所有 的用戶進行高精度的識別。
為了修正個人差、高精度地計測腦波(活體信號)，需要對計測機器 進行校準，以便將其調整成為用計測機器計測的數據正確地表示用戶的活 體信息。例如在專利文獻l中，公布了為了高精度地計測用戶的視線，在 安裝計測機器的時刻、即在計測視線之前，校準計測機器，整合計測機器 和用戶的視線之間的坐標系的技術。
另一方面，還想出了考慮事件關聯電位的成分中出現的個人差的適當 的識別方法。例如在專利文獻2中，公布了按照各個用戶改變識別方法提 高識別率的技術。該技術不用單一的基準對所有的用戶進行識別，而是根據對于想調査的情況而言的事件關聯電位的加法平均波形，事先編制每個 人的模板，使用該模板，識別事件關聯電位的成分。此外，關于事件關聯 電位的個人差，例如在非專利文獻2中有詳細的敘述。
現有技術的腦波接口，作為面向身體不能自由活動的人群的一項研 究，正在進行之中，是利用即使身體不能自由活動也能夠自由地表示腦波 的條件實現機器操作的接口。在上述非專利文獻l中，示出使用事件關聯 電位的P300成分，從而可以選擇菜單及輸入文字等的情況。這樣，能夠 向床邊以經常可以使用的狀態準備的菜單的顯示畫面，傳遞對于飲食及照 料的要求。
將上述腦波接口應用于普通用戶日常使用的機器的操作中時，為了正 確識別個人差較大的各用戶的事件關聯電位，對于各用戶而言的系統的調
整也是不可缺少的。按照一般的校準思想，人們想出來下述方法在使用
腦波接口之前，請用戶實施假設性地操作腦波接口的作業，記錄這時的波 形，作為旨在識別實際使用腦波接口時的信息使用。
專利文獻1: JP特開2005_312605號公報 專利文獻2:國際公開第06/051709號手冊(
段) 非專利文獻l:埃曼努埃爾 東琴(Emanuel Donchin)、另2人、"The
MentalProsthesis:AssesingtheSpeedofaP300-Based
Brain-Computer Interface " 、 TRANSACTIONS ON REHABILITATION
ENGINEERI NG、 Vol,8、 No. 2、 2000年6月
非專利文獻2:入戶野宏、《心理學的事件關聯電位手冊》、北大路書
房、2005年9月20日發行、32頁
可是，在日常使用的機器的操作中應用腦波接口時，為了發揮本來的 功能，必須實行夸張的校準，這對用戶來說成為負擔，也很費事。旨在減 輕戶來的負擔的腦波接口，反而對用戶來說成為負擔，這豈不是事與愿違。 因此，將腦波接口應用于日常的用途之際，必須使用戶隨時能夠輕松地利 用，而且能夠高精度地動作，發揮本來的功能。
8
但是，將腦波接口應用于日常的用途之際，存在著在研究及醫療用途 等特殊狀況下不會出現的特征。例如存在著下述特征變更頻道及變更音 量等輕微的操作，只偶爾進行，而且不知道何時進行。
另外，還存在著下述特征由于顯示器通常顯示腦波接口的菜單以外 的信息，所以對于事件關聯電位的影響較大，而且不規則地發生。例如在 腦波接口不啟動的時間帶，顯示別的信息(電視節目、電影等)。此外， 如果是研究及醫療用途等，為了提高腦波的識別精度，可以在使用接口之 前，花費足夠的時間實施校準，確保足夠的修正能力后，再取得腦波。
這樣，即使不是經常使用，只是偶爾操作機器之際，也必須高精度地 動作的條件，對于腦波接口而言非常苛刻。需要對于各用戶正確調整腦波 識別方法的方法。

發明內容
本發明的目的之一在于在具備利用腦波的接口的系統中，解除為了 正確地計測腦波而使用戶進行校準的負擔，而且很好地維持關于腦波的判 別精度。
采用本發明的調整裝置，在具有輸出部(該輸出部根據內容的數據， 向用戶提示所述內容)、活體信號計測部(該活體信號計測部取得用戶的 腦波信號)、腦波接口部(該腦波接口部根據所述腦波信號，識別用戶的 要求，特定符合所述要求的功能)的腦波接口中，為了調整所述腦波接口
部的識別方法而使用。所述調整裝置，具備分析部，該分析部將與給予 所述用戶的視覺及/或聽覺的刺激對應的物理量，作為所述刺激的特征量， 進行測量、分析，檢出影響所述腦波信號包含的事件關聯電位的所述刺激 的特征量的變化，從而檢出所述刺激的變化；存儲部，該存儲部將檢出刺 激的變化的時刻作為起點，至少在遍及以后的規定期間，存儲所述事件關
9聯電位的波形；用戶特征抽出部，該用戶特征抽出部根據存儲的所述事件 關聯電位的波形，抽出所述用戶的特征量；識別方法調整部，該識別方法
調整部根據抽出的所述用戶的特征量，調整基于腦波接口部中的所述腦波 信號的要求的識別方法。
所述刺激，是向所述用戶提示的內容是映像及/或聲音時，所述分析 部可以分析所述內容的數據，檢出影響所述腦波信號包含的事件關聯電位 的所述刺激的特征量的變化。
所述輸出部，根據運動圖像數據，用規定的頻率切換顯示多個圖像的 每一個，從而提示運動圖像的內容；所述分析部，可以將連續的所述多個 圖像的圖像特征量的變化作為所述內容的特征量的變化檢出。
所述分析部，可以將亮度及色調中的至少一個的變化，作為所述內容 的特征量的變化檢出。
所述輸出部，根據聲音數據，提示聲音的內容；所述分析部，可以將 所述聲音的輸出電平的變化，作為所述內容的特征量的變化檢出。
所述輸出部，用規定的頻率切換顯示多個圖像的每一個，從而提示運 動圖像的內容，而且提示聲音的內容；所述分析部，可以將連續的所述多 個圖像的圖像特征量的變化和所述聲音的輸出電平的變化同步時，作為所 述內容的特征量的變化檢出。
所述腦波接口部，根據預先保持的閾值和所述腦波信號的事件關聯電 位的振幅，識別用戶的要求；所述用戶特征抽出部，將存儲的所述事件關 聯電位的振幅，作為所述用戶的特征量抽出；所述識別方法調整部，可以 根據抽出的所述用戶的特征量，調整所述腦波接口部保持的所述閾值。
所述腦波接口部，根據預先保持的至少一個波形的樣板和所述腦波信號的事件關聯電位的波形的相互關系，識別用戶的要求；所述用戶特征抽
出部，將存儲的所述事件關聯電位的波形，作為所述用戶的特征量抽出；
所述識別方法調整部，可以根據抽出的所述用戶的特征量，調整所述腦波 接口部保持的所述至少一個波形的樣板。
所述識別方法調整部，根據抽出的所述用戶的特征量，使所述至少一 個波形的樣板的值變化，設定成為所述腦波接口部；所述腦波接口部，根 據設定的所述至少一個波形的樣板，識別所述用戶的要求。
所述腦波接口部，保持多個波形的樣板；所述識別方法調整部，根據 抽出的所述用戶的特征量，特定所述多個波形的樣板中的一個，為了識別 所述用戶的要求，作為樣板，可以指令所述腦波接口部設定。
所述腦波接口部，根據預先保持的至少一個波形的樣板和所述腦波信 號的事件關聯電位的波形的相互關系，識別用戶的要求；所述用戶特征抽 出部，將存儲的所述事件關聯電位的波形，作為所述用戶的特征量抽出； 所述識別方法調整部，可以指令所述腦波接口部及所述活體信號計測部的 一個，以便根據抽出的所述用戶的特征量，調整所述用戶的腦波信號的振 幅。
所述用戶特征抽出部，在所述存儲部存儲的所述事件關聯電位的波形 的振幅小于預先規定的閾值時，輸出信號；所述識別方法調整部，可以根 據來自所述用戶特征抽出部的信號，指令所述腦波接口部，以便輸出有關 取得所述活體信號計測部的腦波信號的警告。
在所述刺激是所述用戶所處的環境中的光及/或聲時，所述分析部， 可以檢出所述環境中的光及/或聲，檢出影響所述腦波信號包含的事件關 聯電位的所述環境中的光及/或聲的特征量的變化。
采用本發明的方法，在具有輸出部(該輸出部根據內容的數據，向用
ii戶提示所述內容)、活體信號計測部(該活體信號計測部取得用戶的腦波 信號)、腦波接口部(該腦波接口部根據所述腦波信號，識別用戶的要求， 特定符合所述要求的功能)的腦波接口中，為了調整識別方法而使用。所 述方法，具備將與給予所述用戶的視覺及/或聽覺的刺激對應的物理量， 作為所述刺激的特征量，進行測量的步驟；檢出影響所述腦波信號包含的 事件關聯電位的所述刺激的特征量的變化，從而檢出所述刺激的變化的步 驟；將檢出所述刺激的變化的時刻作為起點，至少在遍及以后的規定期間， 存儲所述事件關聯電位的波形的步驟；根據存儲的所述事件關聯電位的波 形，抽出所述用戶的特征量的步驟；根據抽出的所述用戶的特征量，調整 基于腦波接口部中的所述腦波信號的要求的識別方法的步驟。
采用本發明的計算機程序，是在具有輸出部(該輸出部根據內容的數 據，向用戶提示所述內容)、活體信號計測部(該活體信號計測部取得用 戶的腦波信號)、腦波接口部(該腦波接口部根據所述腦波信號，識別用 戶的要求，特定符合所述要求的功能)的腦波接口中，被為了調整所述腦 波接口部的識別方法而使用的腦波識別方法調整裝置中安裝的計算機執 行。所述計算機程序使所述計算機執行下述程序將與給予所述用戶的視 覺及/或聽覺的刺激對應的物理量，作為所述刺激的特征量，進行測量的 歩驟；檢出影響所述腦波信號包含的事件關聯電位的所述刺激的特征量的 變化，從而檢出所述刺激的變化的步驟；將檢出所述剌激的變化的時刻作 為起點，至少在遍及以后的規定期間，存儲所述事件關聯電位的波形的步 驟；根據存儲的所述事件關聯電位的波形，抽出所述用戶的特征量的步驟； 根據抽出的所述用戶的特征量，調整基于腦波接口部中的所述腦波信號的 要求的識別方法的步驟。
采用本發明后，在用戶視聽的內容以及用戶所處的環境中的環境光及 環境聲的作用下，用戶從外部受到光及/或聲等的刺激時，能夠取得有關 腦波接口系統的校準所需的個人差的信息。而且在利用腦波接口時，使用 收集的數據，在系統內部執行校準。
12由于不強制用戶參加校準而且不明確地進行校準，所以能夠大幅度減 少由于校準而給用戶帶來的負擔及麻煩。其結果，用戶能夠取消校準的等 待時間地立即開始視聽內容。另一方面，因為能夠按照各個用戶進行校準， 所以能夠高精度地判別腦波，能夠提供提高了操作性的腦波接口系統。


圖1是表示本申請發明人設想的腦波接口系統1的結構及利用環境的圖形。
圖2是表示采用第1實施方式的腦波接口系統1的功能塊的結構的圖形。
圖3是表示腦波接口部13的處理的步驟的流程圖。 圖4 (a) (d)是表示在腦波接口系統l中，用戶10操作TV欣賞 想視聽的種類的節目時的例子的圖形。
圖5是表示腦波信號的個人差的例子的圖形。
圖6 (a)是用時間序列示出實施現有技術的校準時的畫面利用狀況的 圖形，(b)是用時間序列示出實施采用第1實施方式的校準時的畫面利用 狀況的圖形。
圖7是表示采用第1實施方式的腦波接口系統1的處理的步驟的流程圖。
圖8是表示分析運動圖像的影像內容的處理的步驟的流程圖。 圖9是表示根據事件關聯電位的波形的用戶特征的抽出處理的步驟的 流程圖。
圖10 (a) (d)是表示與抽出用戶的特征的處理相關的波形的例子 的圖形。
圖11是表示調整前的樣板和調整后的樣板的圖形。
圖12是表示內容分析部14分析影像及聲音混在的內容時的處理的步
驟的流程圖。
圖13是表示內容分析部14分析聲音的內容時的處理的步驟的流程圖。圖14是表示采用第3實施方式的腦波接口系統1的功能塊的結構的 圖形。
圖15是表示分析有關聲音的環境變化的處理的步驟的流程圖。
符號說明
l腦波接口系統
2、 50腦波識別方法調整裝置
3 CPU
4 RAM
5計算機程序
ll輸出部
12活體信號計測部
13腦波接口部
14內容分析部
15腦波存儲部
16用戶特征抽出部16
17識別方法調整部
51外部環境檢出部
52外部環境分析部
具體實施例方式
下面，參照附圖，講述本發明涉及的腦波接口系統及裝入腦波接口系 統的腦波識別方法調整裝置的實施方式。
首先，講述采用本發明的腦波接口系統及腦波識別方法調整裝置的主 要特征的概要。然后，講述腦波識別方法調整裝置的各實施方式。
本申請發明人設想將來在組合佩戴型的腦波計和佩戴型的顯示器的 環境下構筑腦波接口。用戶始終佩戴腦波計和顯示器，能夠利用佩戴型顯
14示器視聽內容及操作畫面。另外，除此之外，還設想在組合家用電視機和 佩戴型的腦波計的家庭內等的環境下構筑腦波接口。用戶看電視時佩戴腦 波計，能夠視聽內容及操作畫面。
例如圖1示出采用后者的例子的本申請發明人設想的腦波接口系統1 的結構及利用環境。該腦波接口系統l，與后文講述的第1實施方式的系 統結構對應地例示。
腦波接口系統1，是旨在提供利用用戶10的腦波信號操作TV11的接 口的系統。用戶10的腦波信號被用戶頭上佩戴的活體信號計測部12取得， 采用無線或有線方式，發送給腦波接口部13。 TV11內置的腦波接口部13 利用構成腦波的一部分的事件關聯電位的P3成分，識別用戶的意圖，進 行切換頻道等的處理。
所謂"P3成分"，是指與事件關聯電位中的視覺、聽覺、體性感覺等 感覺刺激的種類無關，目標刺激后250毫秒 500毫秒的時間段出現的陽 性成分。最具代表性的P3成分，是指目標刺激后300毫秒附近出現的陽 性成分。但是，在以下的實施方式的講述中，將起因于對視覺的刺激而產 生的事件關聯電位的P3成分，表述為"視覺P3成分"等。
腦波信號(事件關聯電位)中的P3成分實際出現的時間及振幅，隨 著用戶的不同而不同，所以在腦波接口系統1中，需要按照用戶10的腦 波信號調整動作的基準。旨在取得進行該調整的基準的處理，就是校準。 校準由活體信號計測部12進行。
在腦波接口系統l中，即使在作為接口使用腦波時以外的狀態，也能 夠計測腦波，在視聽電視及電影等內容時，也能夠計測腦波。
腦波識別方法調整裝置2，在用戶視聽內容之間，收集校準所需的數 據。更詳細地說，腦波識別方法調整裝置2分析輸出的數據的內容，檢出
15影響事件關聯電位的內容的變化，在遍及將檢出變化的時刻作為起點的規
定期間，存儲事件關聯電位的波形。例如被TVll的畫面lla提示的運動 圖像像的亮度、色調出現閾值以上變化時，及TVll的揚聲器llb輸出的
聲音的電平出現閾值以上變化時，檢出內容的變化。該內容的變化，就是 影響事件關聯電位的變化。
收集的數據，在利用腦波用戶操作機器時，為了進行校準而利用。但 是，因為已經收集了必要的數據，所以不向用戶提示詳盡的校準過程，用 戶不知道正在進行校準的情況。由于校準按照各用戶實施，所以即使例如 正在干家務活、照料孩子而兩手沒空的狀況下，也完全不必用戶動手就能 夠正確地操作因此提高了機器的操作性用戶識別為了按照用戶實現例如 不手正確地操作TVll等機器。從而大大提高了機器的操作性。
采用這種腦波接口系統1后，因為用戶不需要在開始利用機器時為了 校準而測定腦波，所以能夠解除開始利用機器時的用戶的負擔。另外，因 為不需要設置在開始利用系統l時進行校準的時間，所以用戶能夠立刻開 始視聽內容。將視聽內容等作為目的而開始利用機器，能夠馬上實現符合 用戶的希望的動作，這一點非常有用。
此外，在本發明中，為了取得關于腦波接口系統的校準所需的個人差 的信息，而檢出給予用戶的刺激的變化。采用下述方法檢出刺激的變化。 就是說，將與視覺及/或聽覺的刺激對應的物理量，作為刺激的特征量， 進行測量、分析，檢出刺激的特征量的變化，從而檢出刺激的變化。
但是，具體的刺激的變化的檢出方法，第1及第2實施方式和第3實 施方式不同。
在第1及第2實施方式中，在用戶視聽映像及/或聲音內容及圖像的 期間，根據用戶從機器接收的刺激(映像及/或聲音)的變化和起因于該 變化的事件關聯電位的的變化，檢出該刺激的變化。
另一方面，在第3實施方式中，在用戶所處的環境中，根據用戶從環
境接收的刺激(環境光及/或環境聲音等)的變化和起因于該變化的事件 關聯電位的的變化，檢出該刺激的變化。
下面，分別講述本發明的第1 第3實施方式。
(第1實施方式)
圖2表示采用本實施方式的腦波接口系統1的功能塊的結構。腦波接 口系統1，具有腦波識別方法調整裝置2、輸出部11、活體信號計測部12 和腦波接口部(IF) 13。圖2還示出腦波識別方法調整裝置2的詳細的功 能塊。為了便于講述，還示出用戶10的塊。 腦波識別方法調整裝置2，采用有線或者無線的方式，分別與輸出部 11、活體信號計測部12及腦波接口部13連接，進行信號的發送和接收。 在圖1中，腦波接口部13和腦波識別方法調整裝置2分別單獨設置，但 這是一個例子，可以將它們部分或者全部一體化。
在腦波接口系統1中，為了根據各用戶的腦波信號校準腦波接口部13 而設置了腦波識別方法調整裝置2。腦波識別方法調整裝置2的詳細內容， 將在后文講述。
輸出部11向用戶輸出內容及腦波接口中供選擇的菜單。圖1所示的 TV11是輸出部11的具體例子，所以在以下的講述中將參照符號"11"賦 予輸出部。輸出部11輸出的內容為運動圖像及靜止畫時，與顯示器畫面 lla (圖1)對應；輸出的內容是聲音時，與揚聲器llb (圖1)對應。此 外，顯示器畫面lla及揚聲器lib還往往同時被作為輸出部11采用。
活體信號計測部12是計測佩戴在用戶10的頭部的電極中的電位變化 從而檢出活體信號的腦波計，作為活體信號計測腦波。腦波計可以是圖1所示的那種頭部安裝式腦波計。用戶io預先佩戴腦波計。
將電極配置在活體信號計測部12中，以便佩戴在用戶10的頭部時， 接觸其頭部的規定位置。電極的配置位置，例如為Pz (頭頂中央)、Al (耳 朵)及用戶10的鼻根部。不過，最少有2個電極即可，例如可以只在Pz 和Al計測電位。該電極位置，取決于信號測量的可靠性及佩戴的容易程度等。
其結果，活體信號計測部12能夠測量用戶10的腦波。測量到的用戶 IO的腦波，被能夠用計算機處理地取樣，發送給腦波接口部13及腦波識 別方法調整裝置2。此外，為了減少混入腦波的噪聲的影響，在活體信號 計測部12中，測量到的腦波預先被進行例如0. 05 20Hz的帶通濾波處理， 并且被用提示菜單項目及聽覺刺激前的例如200毫秒的平均電位進行基線 修正。
腦波接口部13向用戶提示有關機器操作的菜單項目，切出、識別活 體信號計測部12計測到的腦波的事件關聯電位。在識別之際，腦波接口 部13利用波形的樣板18。樣板18規定表示例如符合希望時出現的腦波的 事件關聯電位的波形的數據。腦波接口部13通過輸出部11作媒介，顯示 菜單項目等，評價以后取得的事件關聯電位的波形是否接近樣板18的波 形。然后在評價為接近時，指令機器執行與該菜單項目對應的動作。其結 果可以變更、修正輸出部ll提示的內容。此外，腦波接口部13動作的詳 細內容，將在后文參照圖3及圖4講述。
利用輸出部11、活體信號計測部12及腦波接口部13，實現腦波接口 系統1中的主要功能即旨在提供利用腦波的機器操作的腦波接口功能。
接著，詳細講述腦波識別方法調整裝置2的結構。
腦波識別方法調整裝置2，具有CPU3、 RA^M、 HDD等腦波存儲部15。
18
腦波存儲部15，從活體信號計測部12接受腦波的事件關聯電位，存
儲其波形的數據。存儲數據的開始及結束，在接收了來自后文講述的內容
分析部14 (CPU3)的存儲指令信號的時刻進行。
RAM4保持計算機程序。CPU3執行該程序5，從而進行后文講述的各種 處理。如果從功能上分析這些處理，那么CPU3就象多個構成要素地發揮 作用，從而實現各處理。在圖2的CPU3中，將CPU3進行的主要處理作為 3個功能塊繪出。具體地說，CPU3作為內容分析部14、用戶特征抽出部 16及腦波識別方法調整部17發揮作用。下面，講述它們的詳細內容。
內容分析部14，接收輸出部ll輸出的內容，分析該內容。從是否出 現影響用戶10的事件關聯電位的那種內容的變化的角度，進行分析。例 如如果運動圖像像的亮度、色調出現某個值以上的變化，那么就知道通常 影響事件關聯電位。因此，內容分析部14根據內容的數據，判定運動圖 像像的亮度及色調等圖像特征量的變化是否成為預先設定的值(閾值)以 上。成為閾值以上時，作為應該蓄積事件關聯電位的波形的時刻，向腦波 存儲部15輸出。
由于只在出現內容的變化程度較大的狀況時，輸出存儲指令信號，所 以存儲在近似的狀況中的包含該用戶的特征的事件關聯電位的波形。
用戶特征抽出部16，抽出使用腦波接口系統1的用戶10的腦波包含 的特征。腦波的狀態個人差很大。在這里，所謂"腦波的個人差"，是指 事件關聯電位的波形上的特征，更具體地說是形狀及峰值時刻的振幅的大
為了抽出該個人差的信息即用戶固有的特征，而設置用戶特征抽出部 16。例如用戶特征抽出部16抽出存儲的事件關聯電位的波形的加法平均， 從而抽出用戶固有的特征。
19
腦波識別方法調整部17，根據用戶特征抽出部16抽出的個人差的信 息，調整在腦波接口部13中利用的旨在識別的樣板18的數據。這樣，即 使有個人差也能夠很高地確保腦波接口部13中的識別性能。
此外，上述內容分析部14、用戶特征抽出部16及腦波識別方法調整 部17既可以利用一個CPU3實現，也可以作為各個處理芯片安裝。
接著，參照圖3及圖4，概述圖2所示的腦波接口系統1的主要處理。 然后，講述校準的必要性。
設置腦波接口系統l的目的，在于使用事件關聯電位，識別用戶想從 TV畫面等顯示的多個選擇項目中，選擇哪個項目。
圖3表示腦波接口部13的處理的步驟。另一方面，圖4 (a) (d) 表示在腦波接口系統1中，用戶IO操作TV欣賞想視聽的種類的節目時的 例子。
下面，沿著圖3所示的流程圖，適當參照圖4，講述腦波接口部13 的動作。
在步驟S91中，腦波接口部13通過輸出部11作媒介，顯示菜單。例 如假設視聽內容時，在TV的顯示器上，顯示圖4 (a)那樣的選擇前的畫 面21 (這時是新聞)。右下方顯示的"菜單"22，用特定的頻率閃爍。用 戶看到該"菜單"22時，由于特定的頻率成分與腦波重疊，所以能夠判斷 是否看到該"菜單"22，能夠啟動腦波接口。所謂腦波接口的"啟動"， 是指為了使用腦波進行菜單的選擇等而使接口開始動作。
腦波接口啟動后，顯示圖4 (b)所示的菜單項目畫面23。在畫面中， 提示"您想看哪個節目？"的問題24和想看的候補節目——選項25。在該例中，顯示"棒球"25a、"天氣預報"25b、"運動圖像片"25c、"新聞"
25d等4種。
在步驟S92中，腦波接口部13選擇一個項目。在圖4(b)的例子中， 首先選擇最上方的棒球25a。以后，每逢執行該步驟S92時，依次選擇下 一個選項，繼第4個新聞之后，又返回第l個的棒球。
在步驟S93中，腦波接口部13高亮顯示在步驟S92中選擇的項目。 所謂"高亮顯示"，是使用比其它項目明亮的背景進行的顯示，是利用明 亮的文字顏色進行的顯示。此外，還可以取代高亮顯示，或者和高亮顯示 一起，用使用了輔助的箭頭的轉輒器及光標指令項目。在這里，可以在用 戶10看時，傳遞系統側現在希望注意哪個項目。
在步驟S94中，腦波接口部13從活體信號計測部12計測的腦波中取 得事件關聯電位。開始取得事件關聯電位的起點，設定成在步驟S93中高 亮顯示的瞬間。而且取得從該瞬間起例如200毫秒前到1秒后的事件關聯 電位。這樣，可以取得用戶對于高亮顯示的項目的反應。
在步驟S95中，腦波識別方法調整裝置2調整腦波接口部13中的識 別方法。在本實施方式中，根據用戶特征抽出部16計算出的用戶10的特 征，腦波識別方法調整部17調整腦波接口部13內的樣板18。經過該處理 后，能夠調整成與用戶的個人差對應的識別方法。此外，抽出用戶特征及 調整識別方法的詳細內容，將在后文講述。
在步驟S96中，腦波接口部13利用調整后的樣板18，識別現在取得 的事件關聯電位。識別的內容為現在取得的事件關聯電位的波形是用戶10 看了想選擇的項目時出現的波形，還是看了不想選擇的項目時出現的波形。
圖4 (c)表示各菜單項目被高亮顯示的瞬間取得的事件關聯電位的波
21形26a 26d。例如如果假設用戶10想看天氣預報，那么只在天氣預報的 項目被高亮顯示時的波形26b中出現特征的成分。它是被稱作"事件關聯 電位的視覺P3成分"的波形成分，是切換菜單項目之后約300毫秒后出 現的陽性的特征性的波形。腦波接口部13判定在取得的事件關聯電位的 波形中是否看到該成分。判定看到視覺P3成分時，進入步驟S97;沒有看 到時，返回步驟S92。
假設在步驟S97中，判定看到用戶10的視覺P3成分的項目，是用戶 10希望選擇的項目，腦波接口部13就指令TV執行與選擇的項目對應的處 理。在圖4 (c)的例子中，由于與天氣預報的項目25b對應，看到視覺 P3成分，所以腦波接口部13指令TV切換頻道以便顯示天氣預報。根據該 指令，TV切換頻道，從而如圖4 (d)所示，畫面27顯示天氣預報。
經過上述處理后，用戶能夠不操作按鈕等地利用腦波選擇菜單項目， 視聽與希望的項目對應的內容。
此外，在步驟S92中，假設依次選擇項目，但也可以采用隨機提示的 方法。這樣，因為事先不知道選擇哪個項目，所以有可能選擇更有意思的 菜單。
在這種腦波接口中，為了實現符合用戶10的意圖的順利的操作，必 須對事件關聯電位具有很高的識別性能。可是，因為腦波信號的個人差較 大，所以難以根據單一的基準識別。
圖5示出非專利文獻1所述的腦波信號的個人差的例子。在圖5中， 示出參與對于視覺刺激而言的辨別課題的36個人的腦波信號的例子。另 外，據非專利文獻l說，事件關聯電位的振幅的個人差，有反應時間的3 倍以上的個人差， 一般認為振幅的范圍是4.4V 27.7V (平均16.64uV， 標準偏差6. 17uV)，與反應時間等行動指標相比，個人差的差異很大。
22這樣，如果沒有掌握利用腦波接口系統1的用戶10產生具有哪種特 征的腦波，就不能夠實現腦波接口系統l中的順利的操作。就是說，需要 進行校準即按照各用戶10的腦波信號調整動作的基準。
因此，為了更明確的闡述本申請發明的特征，參照圖6，比較研究及 醫療用途等現有技術的腦波接口系統1中的校準和采用本實施方式的腦波 接口系統l中的校準。
現有技術的腦波接口系統1，首先需要在使用接口前用和使用接口同 樣的狀況進行測量。圖6 (a)用時間序列示出實施現有技術的校準時的畫 面利用狀況。橫軸是時間。
將佩戴腦波計的時刻TO作為起點，到時刻T1為止，為了實施校準而 利用畫面。用戶需要面對畫面，計算出旨在利用腦波進行操作的腦波信號。 收集腦波信號的數據后，調整識別方法，例如在畫面上顯示進行該調整之 意的短信息。
校準完畢后，畫面顯示菜單，識別利用了腦波接口系統的選擇項目。 例如按照順序分別高亮顯示選項，測量其不同的事件關聯電位，決定用戶 希望的選項，執行決定的選項的動作(任務)。
此外，在包含研究及醫療用途等的現有技術中，畫面顯示的菜單不是 旨在選擇內容的菜單等，而是列舉希望要求執行的任務的候補的菜單。作 為執行的任務，例如在醫院中相當于患者要求飲料時，在決定選項后，護 士等按照該選項拿來飲料的任務。
另一方面，在本實施方式中，使用根據視聽內容時的事件關聯電位的 振幅計算的用戶的特征，進行校準。其原理如下所述。
作為上述個人差的要素，可以列舉解剖學方面的個人差(頭蓋骨及大腦的形狀)、電極的佩戴狀態、個人的覺醒度的變化、對于課題而言的處 理措施的不同等。
這些變動中，關于解剖學方面的個人差(頭蓋骨及大腦的形狀)、電 極的佩戴狀態、個人的覺醒度的變化，可以認為在視聽內容時的事件關聯 電位的振幅和執行腦波接口時對于各菜單項目而言的事件關聯電位的振 幅之間找到了相關性。因為它們與課題的種類無關地影響到腦波的形狀。 這樣，至少使用根據視聽內容時的事件關聯電位的振幅計算的用戶的特征 后，進行校準，能夠提高使用腦波接口時的識別性能。
圖6 (b)用時間序列示出實施采用本實施方式的校準時的畫面利用狀 況。橫軸是時間。
采用本實施方式的腦波接口系統1，既能夠在佩戴腦波計的時刻T0 立即顯示內容，也能夠利用腦波接口選擇內容等。在最初使用腦波接口時， 腦波接口可以根據規定的值判別選項。例如可以使用標準的P3成分的振 幅及上次的該用戶的事件關聯電位的波形等。在視聽內容的期間，不能使 用腦波接口，但是可以在視聽內容時收集校準的數據。
然后，在時刻T3中結束視聽內容后，顯示圖4所示的菜單。而且在 顯示菜單的期間，具體地說在圖3的步驟S95所示的階段中，在腦波接口 系統l的內部執行校準。再然后，進行利用腦波接口系統l的選擇項目的 識別，執行對應的動作。其結果，提示時刻T5以后選擇的內容。
采用本實施方式后，因為不必象現有技術那樣明確地設置取得校準用 的數據的期間，所以用戶能夠立刻開始視聽內容。由于用戶將視聽內容等 作為目的開始利用機器，所以對于用戶來說，這一點非常有用。
另外，由于在視聽內容時收集校準的數據，然后進行校準，所以還能 夠提高腦波接口的操作性。這時，因為用戶不知道詳盡的校準過程，所以
24可以說對用戶而言毫無負擔。
接著，參照圖7，講述采用本實施方式的腦波接口系統l的處理的步
驟。下面，和圖3的例子同樣，設想利用腦波接口系統1切換TV提示內 容、變更頻道及音量。反復進行以下的步驟S10 步驟S90的處理，從而 進行整體的處理。
圖7示出采用本實施方式的腦波接口系統1的處理的步驟。
在步驟S10中，輸出部ll顯示內容。通常，TV的畫面顯示電視節目 及電影等的內容。
在步驟S20中，活體信號計測部12計測腦波。假設無論視聽內容時，
還是使用腦波接口時，都佩戴腦波計。
在步驟S30中，腦波接口部13判定用戶是否要求啟動腦波接口 。
確認要求啟動腦波接口時，進入步驟S70的特征抽出處理；沒有能夠 確認時，進入步驟S40的內容分析處理。
為了判定是否要求啟動腦波接口，可以使用SSVEP或P300。所謂 "SSVEP (Steady State VisuaL Evoked Potential)",是指正常視覺誘 發電位。
如和圖4U)關聯地講述的那樣，在選擇前的畫面中，右下方顯示"菜 單"22，該"菜單"22用特定的頻率閃爍。用戶看到該"菜單"22時， 因為特定的頻率成分與腦波層疊，所以能夠判別是否看到該"菜單"22 能夠啟動腦波接口。此外，由于可以根據特定的頻率成分是否與腦波層疊， 判定是否要求啟動腦波接口，即使在執行校準前，也能夠正確地動作。此外，關于SSVEP，詳見Xiaorong Gao， et al ， "A BCI—Based Environmental Controller for the Motion — Disabled ，， ， IEEE Transaction on Neural Systems and Rehabilitation Engineering, Vol.11， No.2， Juns 2003。
在步驟S40 步驟S60中，因為在步驟S30中確認沒有啟動腦波接口， 所以分析內容，進行旨在掌握用戶10的腦波的特征的準備處理。
在步驟S40中，內容分析部14分析內容的數據，特定容易出現被內 容包含的、用戶10的腦波上的特征的場面。
在腦波接口系統l中，由于使用菜單被高亮顯示時發生的事件關聯電 位波形，判定用戶的要求，所以內容分析部14在視聽內容時觀測同樣的 信號，抽出那種場面。例如人們認為在畫面的亮度變化較大的情景中，能 夠觀側到和視覺P3成分類似的成分。因此，內容分析部14用和規定的閾
值的關系，根據內容數據，分析是否出現畫面的亮度變化較大的內容的情
學
在步驟S50中，內容分析部14判定是否應該存儲現在的腦波。步驟 S40的分析結果判定現在的腦波包含和用戶使用腦波接口時的腦波同樣的 傾向時、即判定畫面的亮度變化較大時，進入步驟S60;沒有判定畫面的 亮度變化較大時，結束處理。
在步驟S60中，腦波存儲部15存儲內容分析的結果判定的腦波存儲 時刻的周邊的腦波(事件關聯電位)。在腦波接口系統1中，需要捕捉來 自特定的時刻的事件關聯電位的波形變化。因為需要使判定的基線一致， 所以腦波存儲部15例如切取存儲時刻的一200毫秒 1000毫秒后存儲。 經過這樣地存儲、加法運算后，能夠在減輕腦波每次的偏移及噪聲的影響 的狀況下，抽出用戶的特征。
26步驟S70 步驟S90，在步驟S30中要求啟動腦波接口時執行。在這
些處理中，進行執行腦波接口的準備及腦波接口的動作。
在步驟S70中，用戶特征抽出部16抽出現在佩戴腦波計的用戶的事 件關聯電位波形的特征。例如用戶特征抽出部16對腦波存儲部15存儲的 事件關聯電位波形數據進行加法平均，抽出腦波的特征。所謂"腦波的特 征"，例如是指用戶的波形的振幅的大小的傾向等。
在歩驟S80中，腦波識別方法調整部17調整腦波接口部13采用的識 別方法。該處理根據在步驟S70中抽出的特征量后進行。關于調整識別方 法的方法處理，將在后文講述
在步驟S90中，腦波接口部13提供腦波接口的功能。具體的處理， 如參照圖3及圖4所述的那樣進行。
經過以上的處理，存儲不啟動腦波接口地視聽內容時的用戶的個人差 的特征，使用腦波接口啟動后存儲的用戶的個人差特征的數據，調整腦波 接口部13的識別方法。這樣，能夠提供可以高精度地識別個人差很大的 腦波的能力。
接著，參照圖8 圖11，詳細講述上述步驟S40、步驟S70及步驟S80 的每一個。
首先，參照圖8，詳細講述圖7的步驟S40所述的內容分析處理。作 為運動圖像講述內容。
圖8示出分析運動圖像的影像內容的處理的步驟。
在步驟S41中，內容分析部14取得影像內容的數據。例如內容分析 部14捕捉現在顯示的影像，取得靜止畫數據。眾所周知運動圖像是用
27規定的頻率(例如30Hz) —個接一個地切換顯示多個靜止圖像來實現的。 在某個瞬間捕捉運動圖像，就可以獲得一枚靜止畫的數據。
另外，還可以不從現在顯示的影像取得靜止畫數據，根據旨在顯示該 影像的運動圖像數據，取得靜止畫數據。例如在數字播放中，由于發送數 字化的運動圖像數據，所以能夠從該運動圖像數據中抽出構成運動圖像的 靜止畫的數據。
在步驟S42中，內容分析部14計算圖像亮度值的平均值。雖然圖像 本身包含亮度、色調、鮮艷度等圖像特征量及像素數等各種信息，但是在 本實施方式中，為了抓住作為對于用戶IO而言的視覺刺激的整體的傾向， 而使用圖像的亮度值的平均值，分析該平均值的變化的動向。
在步驟S43中，內容分析部14對在步驟S42中計算出的平均值和上 次處理時的平均值進行比較。這樣，可以判定亮度變化大不大。此外，第 1次進行比較時，作為"上次處理時的平均值"，既可以采用任意的值，也 可以兩次求出平均值，將第1次的平均值作為"上次處理時的平均值"采用。
在步驟S44中，內容分析部14判定步驟S43中求出的亮度變化量是 不是規定的閾值以上。如果是閾值以上就進入步驟S45，如果是閾值以下 則結束處理。
在步驟S45中，內容分析部14認為應該從該時刻起存儲腦波的事件 關聯電位波形，所以向腦波存儲部15輸出表示存儲時刻的存儲指令信號。 這是因為認為在執行步驟S45的狀況下，正在用戶的腦波中誘發對于刺激 而言的事件關聯電位，所以能夠判斷需要存儲數據。其結果，表示畫面的 亮度變化較大的情景附近的用戶的特征的事件關聯電位的波形就被存儲。
此外，所謂"畫面的亮度變化較大的情景"，是在電視畫面中電影等突然從暗淡向明亮變化時，或者從電視節目切換成CM時等。作為視覺刺 激來看，這些情景相當于對于用戶而言容易引起誘發電位的情景。只抽出 這種狀況，可以獲得和在實驗室收集計測對于視覺刺激的反應的那種數據
同等的效果。
此外，不必逐幀檢出圖像的亮度變化，考慮多幀的變化的大小即可， 另外，即使不使用亮度平均值，只要能夠掌握對用戶而言的視覺刺激的特 征——事件關聯電位的傾向，就沒有問題。
此外，還能夠利用雖然亮度的變化相同或者較小但是色調的變化卻較 大的圖像的出現，決定事件關聯電位的波形存儲時刻。這樣，可以只利用 色調判斷存儲時刻。還可以利用鮮艷度及其它的圖像特征量。
關于腦波存儲部15中的存儲量，需要考慮下述諸點后決定應該存 儲足夠的量；但是不能夠使用過于陳舊的數據等。在事件關聯電位的研究 中， 一般需要進行20次左右的數據的加法。因此，從精度上說，最好存 儲數據20次左右。
另外，我們知道即使是在同一個人佩戴的條件下，腦波的振幅也隨時 變化，所以經過相當一段時間后的數據，往往成為對識別無用的信息。因 此，腦波存儲部15既可以只存儲最近20次的數據地動作，也可以丟棄經 過規定的時間(例如1 2小時)的數據。在后文講述的處理中，可以使 用腦波存儲部15存儲的數據中最近20次的數據。而且，在用戶取下腦波 計后重新佩戴時，可以丟棄以前的數據，重新開始存儲數據。
以上的處理結果，使腦波存儲部15存儲適當的事件關聯電位的波形。
接著，參照圖9及圖10，詳細講述圖7的步驟S70所述的用戶特征的 抽出處理。作為運動圖像講述內容。
圖9表示根據事件關聯電位的波形的用戶特征的抽出處理的步驟。另 外，圖10 (a) (d)表示與抽出用戶的特征的處理相關的波形的例子。
首先，假設如圖10 (a)所示，使腦波存儲部15存儲多個事件關聯電位的 波形組41。這是非專利文獻1記述的例子，假設性地提示。由于事件關聯 電位的波形組41是在出現亮度變化很大的情景時抽出的，所以存儲的條 件近似。在該前提下，開始圖9所示的用戶特征抽出部16的處理。
在步驟S71中，用戶特征抽出部16對腦波存儲部15蓄積的事件關聯 電位的波形組41進行加法平均計算。這樣，減輕眼電 (Electro-oculographies potential)及背景腦波等各種影響，容易只強 調希望注意的事件關聯電位的成分。圖10 (b)例示加法平均后的波形42。 雖然在圖10 (a)中，可以看到存儲的條件近似卻難以唯一性地判斷特征 的波形組41，但是可以說，采用圖IO (b)后容易只看到特征。
在圖9的步驟S72中，用戶特征抽出部16對于在步驟S71中計算出 的加法平均波形檢出(計算出)P3振幅。該所謂"P3振幅"是指事件關 聯電位的P3成分的峰值電位。如果使P3成分為從事件關聯電位的起點算 起的300毫秒附近出現的陽性成分，那么就是該300毫秒附近中的陽性的 峰值電位。
在圖IO (b)的例子中，在300毫秒附近的加法平均波形42中，可以 看到朝下(陽性)的電位峰值。計測在這個位置的電位的大小43后，是 12uV。該振幅因為個人差很大，所以作為各用戶的特征利用該振幅，是 本發明的著眼點。
可以設定振幅的平均性的大小，例如在非專利文獻l的事例中，是平 均16.64iiV。更正確地說，可以事先計算出與圖像變化對應的標準值。
在圖9的步驟S73中，用戶特征抽出部16對在步驟S72中計算出的 P3成分的振幅43和設想的P3的平均性的波形45的振幅加以比較，判定
30大小。然后，計算修正用的特征量。
例如能夠將在步驟S72中計算出的P3成分的振幅43分類成下述3種 后，賦予其特征和平均值同等的大小，比平均值大，比平均值小。
這樣分類的理由，是因為為了計算修正用的特征量而需要。按照分類， 決定修正用的特征量。就是說，修正用的特征量相當于大、中、小那樣的 分群的群名。該分類的精度，可以按照目的及測量精度進一步地細分。另 外，還能夠用對于平均振幅而言的量判定。
在圖IO (c)中，實線42是獲得的波形，虛線45是平均的波形(標 準波形)。圖10 (d)例示比較其大小的分類。可以用"比平均波形小"這 一 3分類記述特征，或者使平均振幅為16 p V、這次的振幅為12 u V后， 將比0. 75作為修正用的特征量。
這樣，能夠根據視聽內容時存儲的波形計算出反映用戶的個人差的特 征量。這里的個人差，除了每個人的波形的振幅的大小以外，還反映每次 佩戴的狀況造成的情況、當時的覺醒度的差異等，包含所有的影響識別的 那些要素，被修正用的特征量包含。此外，還可以根據視聽內容時的用戶 的所述事件關聯電位的波形，計算各單位區間的平均值的分散，利用該分 散。
接著，講述利用用戶特征抽出部16計算出的特征量，腦波識別方法 調整部17怎樣調整腦波接口部13的識別方法。
在腦波接口部13的處理中，為了判定現在高亮顯示的菜單是否被選 擇，想出了利用樣板的被稱作"樣板匹配"的方法。例如腦波接口部13 預先將標準的菜單被選擇時的事件關聯電位波形(A)和菜單未被選擇時 的事件關聯電位波形(B)，作為樣板18保持。然后，腦波接口部13識別 現在觀測的事件關聯電位波形靠近(A)和(B)中的哪個樣板，從而能夠判斷現在高亮顯示的菜單是否被選擇。
樣板匹配在現在的用戶10的事件關聯電位的振幅的大小是標準的場 合，只能識別和標準樣板的單純匹配，但是在現在的用戶10與標準的振 幅不同時，就需要修正樣板。因此，根據用戶特征抽出部16計算出的特 征量，修正樣板。
用戶特征用大、中、小等分類時，準備與它們分別對應的樣板，切換 那些樣板后，能夠適應各種情況。另外，用戶特征用0.75倍等的倍率表 現時，對于標準的樣板的各時間段，使電位為規定的計數倍(例如在前面 的例子中為0.75倍)，從而能夠制作調整后的樣板。圖11表示調整前的 樣板和調整后的樣板。
由于樣板波形的時間段的不同，存在出現個人差很大的部分和出現個 人差很小的部分時，為了進一步提高精度，可以考慮這一情況后調整樣板。 例如個人差在電極的佩戴不完善時及來自頭部的形狀等時，有可能整體影 響振幅的大小。但是假如認知性的覺醒度降低時，可以想方設法地在被認 為對視覺刺激直接反應的成分較多的200毫秒的以前，減少特征量的反映， 在較多地出現P3成分的200毫秒 500毫秒中，則增加特征量的反映等。
此外，上述修正采用變更樣板的方法。但也可以使樣板原封不動，在 來自活體信號計測部12的輸出時，或者在向腦波接口部13輸入時，使事 件關聯電位的振幅放大或衰減。腦波識別方法調整部17向腦波接口部13 或活體信號計測部12下達指令，從而可以使事件關聯電位的振幅放大或 衰減。
采用這種結構后，如果采用本發明的腦波識別方法調整裝置，由于用 戶在視聽內容的期間能夠不進行明確表示的校準地取得校準所需的信息， 所以能夠不設置校準的時間地高精度地判別用戶的腦波，能夠提供容易操 作的接口。
在以上的講述中，提示的內容是運動圖像，對于聲音沒有特別言及。 可是，在視聽電視等時，往往顯示器上顯示影像的同時，還由揚聲器等提
示聲音信息。
我們知道對于影像等視覺刺激誘發事件關聯電位，對于聲音等聽覺 刺激也誘發事件關聯電位。因此，在只用來自視覺信息的基準選擇的事件 關聯電位中，還重疊著來自各種聲音信息的誘發電位，從調整識別方法的 觀點上說，還可以將它們作為噪聲看待。為了更正確地計算與事件關聯電
位的個人差關聯的特征，在內容分析部14中，不僅分析圖像，還考慮聲
音的分析結果，從而提高精度。
下面，參照圖12，講述輸出部11輸出影像和聲音時的內容分析部14 的處理
圖12示出內容分析部14分析影像及聲音混在的內容時的處理的歩驟。
在步驟S141中，內容分析部14取得在該時刻被輸出部11提示的圖 像數據，然后在步驟S142中，計算取得的圖像數據的亮度的平均值。
另一方面，在步驟S143中，內容分析部14取得輸出部11輸出的聲 音數據，在步驟S144中，根據取得的聲音數據，計算輸出的聲音電平的 平均值。
在步驟S145中，用戶特征抽出部16判定是不是能夠取得良好地反映 用戶的個人差的事件關聯電位的那種時刻。具體地說，在有上述圖像的變 化而且還與該變化同步地觀察到聲音的變化時，就判斷能夠取得起因于對 用戶的刺激的變化而良好地表現用戶的特征的事件關聯電位。用已經講述的那種處理方法，能夠檢出圖像及聲音各自的變化。判定 這些變化是否同歩后，可以使對于圖像而言的誘發電位和對于聲音而言的 誘發電位不分離地將用戶的事件關聯電位的振幅作為關于個人差的信息 利用。在該步驟S145中，判定圖像及聲音同步變化時，就進入步驟S146 判定沒有變化時，則結束處理。
在步驟S146中，用戶特征抽出部16認為在此時此刻的腦波中誘發著 對于刺激而言的事件關聯電位，判定需要存儲數據，將該時刻作為存儲時 刻輸出。
如上所述，由于映像和聲音同步變化的情況，大多與電視的情景切換 對應地產生，所以能夠充分地收集數據。此外，可以變更步驟S141及S142 和步驟S143及S144的處理的順序。
采用以上講述的處理后，根據起因于圖像及/或聲音的特征量的變化 的事件關聯電位的變化的大小，更通俗地說，根據被內容的特征量的變化 誘發的事件關聯電位的變化的大小，能夠取得校準所需的信息。
此外，在腦波存儲部15中，只抽出看到對于刺激而言的事件關聯電 位時的剌激，但是也能夠存儲刺激較少(畫面變化較少)條件的數據。這 樣，能夠存儲有刺激時的腦波和刺激較少時的腦波等兩者，使用它們的差 異，能夠明確地取得通常出現的腦波和對于特性的刺激而言的腦波的差異。
此外，在腦波存儲部15中，每次存儲時都檢查被腦波存儲部15存儲 的腦波的波形的振幅，在通常的個人差的范圍以上存儲的腦波較小時，能 夠使輸出部11輸出提醒確認腦波計的佩戴狀態的信息。例如最初佩戴腦 波計時，在佩戴的情況不良、不能計測腦波之類的狀態下，使輸出部11 輸出"還不能測量腦波，請重新佩戴"等短信息。進而，如果有定期檢査 腦波存儲部的數據的結構，還能夠檢出身體活動等引起腦波劑的佩戴狀態變化導致信號微弱的情況等，這時能夠輸出"請確認腦波計的佩戴狀況" 等短信息。這樣，啟動腦波接口后，不需要擔心不能夠充分使用腦波接口， 能夠實現自然地使用腦波接口的狀況。
(第2實施方式)
在第l實施方式中，主要講述了利用畫面提示的圖像的變化，收集校 準用的數據，調整識別方法的情況。在本實施方式中，講述對于使用聲音 的腦波接口而言的使用聲音的校準的實施方法。這種系統，例如被作為汽 車的導航系統應用后，用戶即使在開車中也能夠操作系統，所以非常便利。
在本實施方式中，在視聽利用播放及射流提供的收音機等的內容時， 只使用聲音頻道。基本的腦波接口系統l的結構，如圖1所示，但是可以 取代TV，只設置揚聲器。
輸出部11利用揚聲器等提示聲音的內容。通過畫面作媒介提供腦波 接口，或者利用聲音依次讀出菜單項目，從而提供腦波接口。采用后者時， 成為只利用聲音進行校準的腦波接口。
下面，參照圖13，講述輸出部11輸出聲音內容時的內容分析部14 的處理。
圖13示出分析聲音內容的內容分析部14的處理的步驟。
在步驟S241中，內容分析部14取得聲音數據。取得的聲音數據的范 圍，是繼上次處理取得的聲音區間之后的聲音區間。聲音區間，例如可以 被每隔規定的時間取樣等的時間的規定及無音區間的檢出等的信號強度 的規定定義。
在步驟S242中，內容分析部14對取得的聲音區間的聲音數據，計算 出聲音電平的平均值。
在步驟S243中，內容分析部14比較上次計算出的聲音電平的平均值 和這次的平均值。這樣，能夠檢出聲音電平的變化很大的區間。
在步驟S244中，內容分析部14判定在步驟S243中檢出的聲音電平 的變化量是不是規定的閾值以上。如果是閾值以上，就進入步驟S245;如 果是閾值以下，則結束處理。
在步驟S245中，內容分析部14判定需要存儲數據，將該時刻作為存 儲時刻輸出。因為認為在用戶的腦波中誘發著對于聲音刺激而言的事件關 聯電位的緣故。
這樣地動作后，即使在將聲音作為主體的腦波接口中，因為在聲音變 化較大時，誘發表示用戶的特征的事件關聯電位，所以能夠檢出該時刻， 用下一個存儲部15存儲波形。
在這里，所謂"聲音變化較大的瞬時"，在電視機的聲音磁道及收音
機中，可以列舉例如關于體育，在足球比賽的直播中，射門之后突然爆 發出高聲歡呼時；在娛樂節目等中，突然爆發出哄堂大笑時；以及報時(例 如"嘟、嘟、嘟、嘀")等。存儲這些時刻的事件關聯電位后，能夠收集 對于聽覺刺激的反應。
采用本實施方式涉及的腦波識別方法調整裝置后，由于即使在將聲音 作為主體的腦波接口中，用戶在視聽內容的期間能夠不明確地進行校準地 取得校準所需的信息，所以能夠不設置校準的時間地高精度地判別用戶的 腦波，能夠提供容易操作的接口。
(第3實施方式)
在第1及第2實施方式中，講述了從電視機等的內容中取得校準的信 息的實施例。
可是，即使視聽電視等內容時，用戶io的腦波也往往受到內容以外 的要素的影響。如果要列舉一個內容以外的要素的例子，那就是是外部環 境的變化。具體地說，關門時的"叭嗒"聲、鐘表的報時聲、來人時"吡、
吡"的蜂鳴聲等，都可以影響用戶io的腦波。
本申請發明人發現感覺來自外部環境的刺激(用戶所處的環境中的 光及/或聲)，可以根據其結果，取得校準用的數據。
下面，參照圖14，講述本實施方式中的腦波識別方法調整裝置。
圖14示出采用本實施方式的腦波接口系統1的結構。腦波接口系統1 具有腦波識別方法調整裝置50。
腦波識別方法調整裝置50與腦波識別方法調整裝置2 (圖2)的不同 之處在于取代腦波識別方法調整裝置2的內容分析部14，腦波識別方法 調整裝置50具備外部環境檢出部51和外部環境分析部52。這表明腦波識 別方法調整裝置50和腦波識別方法調整裝置2的分析對象不同。
下面，詳細講述腦波識別方法調整裝置50。對于腦波識別方法調整裝 置50的構成要素中和腦波識別方法調整裝置2 (圖2)相同的構成要素， 賦予相同的符號，不再贅述。
外部環境檢出部51，檢出用戶IO所處的環境的變化。所謂"用戶10 所處的環境"，在圖l所示的例子中，是指室內。或者在用戶IO佩戴隨身 型的機器外出時，是指室外。用戶10正在開車時，是指車內及道路周邊 的狀況。
外部環境檢出部51，是檢出、輸出環境的狀態的傳感器。更具體地說， 是取得用戶10所處的環境中的聲音的信息后輸出該信息的麥克風、取得該環境中的用戶周邊的視覺性的信息后輸出的照相機。但是，這些只不過 是例子而己。可以使用適合于希望檢出的環境的傳感器。
外部環境分析部52，接收外部環境檢出部51的輸出信號和(按照需 要)來自輸出部ll的輸出(被提示的內容)，進行信號分析，指令腦波存 儲部15存儲腦波的時刻。
接著，參照圖15，詳細講述環境變化的分析處理。在以下的例子中， 設想用戶用電視機視聽內容時，根據室內環境的聲音，進行環境變化的分 析處理。
圖15示出分析有關圖1所示的室內環境的聲音的環境變化的處理的 步驟。
在步驟S521中，外部環境檢出部51取得外部環境的聲音。例如在用 戶10佩戴的腦波計12等的附近設置麥克風后，可以利用麥克風取得用戶 10聽到的聲音。
假設在視聽電視機11時取得的外部環境的聲音中，還混雜著來自電 視機ll等的聲音。因此，通過以下的步驟，除去電視機ll的影響。
在步驟S522中，外部環境分析部52取得來自電視機11的輸出信號 中有關聲音的信息。這樣，能夠取得具有內容的聲音信息。
在步驟S523中，外部環境分析部52從外部環境檢出部51取得的外 部環境的聲音的信息中，除去內容的聲音信息。這樣，能夠只抽出來自外 部環境的信號。
在步驟S524中，外部環境分析部52判定在利用來自外部環境的信號 取得的外部環境的聲音中，是否包含有特征的聲音。所謂"有特征的聲音"，
38例如是關門時的"叭嗒"聲、來人時"吡、吡"的蜂鳴聲等。這種聲音的 物理量(波形、聲音電平等)的特征在于聲音電平急劇上升，該聲音電 平作為事件關聯電位，影響腦波。只要具備這種聲音的物理量的特征，就 可以說該聲音在外部環境的聲音中有特征性的聲音。取得這時的腦波的事 件關聯電位，可以獲得校準用的信息。具體地說，可以將聲音電平的單位 時間的增加量是否超過規定的閾值等，作為判定條件使用。如果判定有特 征時，就進入步驟S525;沒有能夠判定有特征時，則結束處理。
在步驟S525中，因為聲音的變化為閾值以上，所以認為在用戶的腦 波中誘發對于聲音刺激而言的事件關聯電位，判定需要存儲數據，將該時 刻作為存儲時刻輸出。
經過這種處理后，不僅能夠從內容信息中，而且還能夠從外部環境的 特征性的變化中取得校準用的波形。
以上，講述了在室內視聽電視機時根據室內環境聲音進行校準的例 子。可是，檢出檢出的物理量在其它的外部環境中的變化，從而檢出環境 變化，也能夠用于校準。
例如，佩戴隨身型的機器外出時，將室外突然產生的聲音——例如火 車站站臺響起的鈴聲、商店的音樂、視覺上的招牌等的閃爍——作為物理 量的變化檢出，進而檢出被這種聲音及閃爍誘發的事件關聯電位的變化 后，能夠檢出外部環境變化。同樣，開車時可以將其它車的喇叭及交通信 號的閃爍及切換等作為物理量的變化檢出，作為影響腦波的信號利用。
這樣，采用本實施方式的腦波識別方法調整裝置后，還能夠不明確地 進行校準地從用戶所處的狀況的環境變化中取得校準所需的信息。所以， 能夠不設置校準的時間地高精度地判別用戶的腦波，能夠提供容易操作的接口。采用本發明的腦波識別方法調整裝置及該裝置裝入的腦波接口系統 后，可以在用戶視聽內容時，從內容中抽出反映用戶的個人差的特征的腦 波(事件關聯電位)，調整判別方法。這樣，就在改善需要反映腦波的個 人差、提高判別方法的機器例如使用腦波的機器操作接口搭載的信息機器 及影像音響機器等的操作性上，非常有用。另外，除了使用腦波的接口以 外，對于檢出用戶心理狀態、感情狀態、認知狀態后按照其狀態動作的服 務提供機器等需要修正個人差的機器而言，本裝置可以有效地發揮作用。
這種裝置的功能，例如還可以通過計算機程序實現，所以可以很容易 地、不大幅度改變系統地進行安裝。
權利要求
1、一種腦波識別方法的調整裝置，用于在具有輸出部、活體信號計測部和腦波接口部的腦波接口系統中，調整所述腦波接口部的識別方法，所述輸出部根據內容的數據，向用戶提示所述內容，所述活體信號計測部用于取得用戶的腦波信號，所述腦波接口部根據所述腦波信號，識別用戶的要求，確定符合所述要求的功能，所述調整裝置具備分析部，該分析部將與給予所述用戶的視覺及/或聽覺的刺激對應的物理量，作為所述刺激的特征量，進行測量、分析，檢出影響所述腦波信號中包含的事件關聯電位的所述刺激的特征量的變化，從而檢出所述刺激的變化；存儲部，該存儲部將檢出刺激的變化的時刻作為起點，至少在其后的整個規定期間內，存儲所述事件關聯電位的波形；用戶特征抽出部，該用戶特征抽出部根據存儲的所述事件關聯電位的波形，抽出所述用戶的特征量；和識別方法調整部，該識別方法調整部根據抽出的所述用戶的特征量，調整基于所述腦波接口部中的所述腦波信號的要求的識別方法。
2、 如權利要求1所述的調整裝置，其特征在于所述刺激，是向所 述用戶提示的內容的映像及/或聲音時，所述分析部，分析所述內容的數據，檢出影響所述腦波信號中包含的 事件關聯電位的所述刺激的特征量的變化。
3、 如權利要求2所述的調整裝置，其特征在于所述輸出部，根據 運動圖像數據，用規定的頻率切換顯示多個圖像的每一個，從而提示運動 圖像的內容；所述分析部，檢出連續的所述多個圖像的圖像特征量的變化，作為所 述內容的特征量的變化。
4、 如權利要求3所述的調整裝置，其特征在于所述分析部，檢出 亮度及色調中的至少一個的變化，作為所述內容的特征量的變化。
5、 如權利要求2所述的調整裝置，其特征在于所述輸出部，根據聲音數據，提示聲音的內容；所述分析部，檢出所述聲音的輸出電平的變化，作為所述內容的特征量的變化。
6、 如權利要求2所述的調整裝置，其特征在于所述輸出部，用規 定的頻率切換顯示多個圖像的每一個，從而提示運動圖像的內容，而且提 示聲音的內容；所述分析部，檢出連續的所述多個圖像的圖像特征量的變化與所述聲 音的輸出電平的變化同步時，作為所述內容的特征量的變化。
7、 如權利要求2所述的調整裝置，其特征在于所述腦波接口部， 根據預先保持的閾值和所述腦波信號的事件關聯電位的振幅，識別用戶的 要求；所述用戶特征抽出部，抽出存儲的所述事件關聯電位的振幅，作為所 述用戶的特征量；所述識別方法調整部，根據抽出的所述用戶的特征量，調整所述腦波 接口部保持的所述閾值。
8、 如權利要求2所述的調整裝置，其特征在于所述腦波接口部， 根據預先保持的至少一個波形的樣板與所述腦波信號的事件關聯電位的 波形的相互關系，識別用戶的要求；所述用戶特征抽出部，抽出存儲的所述事件關聯電位的波形，作為所 述用戶的特征量；所述識別方法調整部，根據抽出的所述用戶的特征量，調整所述腦波 接口部保持的所述至少一個波形的樣板。
9、 如權利要求8所述的調整裝置，其特征在于所述識別方法調整 部，根據抽出的所述用戶的特征量，使所述至少一個波形的樣板的值變化， 設定到所述腦波接口部；所述腦波接口部，根據設定的所述至少一個波形的樣板，識別所述用 戶的要求。
10、 如權利要求8所述的調整裝置，其特征在于所述腦波接口部， 保持多個波形的樣板；所述識別方法調整部，指令根據抽出的所述用戶的特征量，選定所述多個波形的樣板中的一個，作為用于識別所述用戶的要求的樣板，設定到 所述腦波接口部。
11、 如權利要求2所述的調整裝置，其特征在于所述腦波接口部， 根據預先保持的波形的樣板與所述腦波信號的事件關聯電位的波形的相 互關系，識別用戶的要求；所述用戶特征抽出部，抽出存儲的所述事件關聯電位的波形，作為所 述用戶的特征量；所述識別方法調整部，指令所述腦波接口部及所述活體信號計測部的 一個，以便根據抽出的所述用戶的特征量，調整所述用戶的腦波信號的振幅。
12、 如權利要求2所述的調整裝置，其特征在于所述用戶特征抽出 部，在所述存儲部存儲的所述事件關聯電位的波形的振幅小于預先規定的 閾值時，輸出信號； 所述識別方法調整部，根據來自所述用戶特征抽出部的信號，指令所 述腦波接口部，以便輸出有關由所述活體信號計測部取得腦波信號的警生
13、 如權利要求1所述的調整裝置，其特征在于在所述刺激是所述 用戶所處的環境中的光及/或聲時，所述分析部，檢出所述環境中的光及/或聲，并檢出影響所述腦波信 號中包含的事件關聯電位的所述環境中的光及/或聲的特征量的變化。
14、 一種方法，用于在具有輸出部、活體信號計測部和腦波接口部的 腦波接口系統中，調整所述腦波接口部的識別方法，所述輸出部根據內容 的數據，向用戶提示所述內容，所述活體信號計測部用于取得用戶的腦波 信號，所述腦波接口部根據所述腦波信號，識別用戶的要求，確定符合所 述要求的功能，所述方法具備將與給予所述用戶的視覺及/或聽覺的刺激對應的物理量，作為所述 刺激的特征量，進行測量的步驟；檢出影響所述腦波信號中包含的事件關聯電位的所述刺激的特征量 的變化，從而檢出所述刺激的變化的步驟；將檢出所述刺激的變化的時刻作為起點，至少在其后的整個規定期間內，存儲所述事件關聯電位的波形的步驟；根據存儲的所述事件關聯電位的波形，抽出所述用戶的特征量的步驟；和根據抽出的所述用戶的特征量，調整基于所述腦波接口部中的所述腦 波信號的要求的識別方法的步驟。
15、 一種計算機程序，是腦波識別方法調整裝置中安裝的由計算機執 行的計算機程序，所述腦波識別方法調整裝置，用于在具有輸出部、活體 信號計測部和腦波接口部的腦波接口系統中，調整所述腦波接口部的識別 方法，所述輸出部根據內容的數據，向用戶提示所述內容，所述活體信號 計測部用于取得用戶的腦波信號，所述腦波接口部根據所述腦波信號，識 別用戶的要求，確定符合所述要求的功能，所述計算機程序，使所述計算機執行下述步驟將與給予所述用戶的視覺及/或聽覺的刺激對應的物理量，作為所述刺激的特征量，進行測量的步驟；檢出影響所述腦波信號中包含的事件關聯電位的所述刺激的特征量 的變化，從而檢出所述刺激的變化的步驟；將檢出所述刺激的變化的時刻作為起點，至少在其后的整個規定期間 內，存儲所述事件關聯電位的波形的步驟；根據存儲的所述事件關聯電位的波形，抽出所述用戶的特征量的步 驟；和根據抽出的所述用戶的特征量，調整基于所述腦波接口部中的所述腦 波信號的要求的識別方法的步驟。
全文摘要
在具有利用腦波的接口的系統中，消除用于準確檢測腦波的校準的負擔，并維持腦波的高精度識別。腦波接口(IF)系統(1)具有腦波IF部(13)，利用腦波識別用戶要求，確定符合要求的功能。腦波識別方法調整裝置(2、50)，具有分析部(14、52)，其檢出用戶受到的刺激的特征量的變化從而檢出刺激的變化，存儲部(15)，其存儲從檢出刺激變化的時刻起規定期間的事件關聯電位的波形，抽出部(16)，其根據存儲的波形抽出用戶的特征量，調整部(17)，其根據抽出的特征量調整基于腦波IF部(13)中的腦波信號的要求的識別方法。
文檔編號A61B5/0476GK101589358SQ20078003098
公開日2009年11月25日 申請日期2007年11月14日 優先權日2006年11月15日
發明者森川幸治, 足立信夫 申請人:松下電器產業株式會社