決定腦波識別與否的裝置及方法

專利名稱：決定腦波識別與否的裝置及方法
技術領域：
本發明涉及一種利用用戶的腦波用戶能夠操作設備的接口(腦波接 口)系統。更具體而言，本發明涉及一種為了準確地分析用戶的意圖因而 實時測量使用腦波接口時的用戶的腦波，并采用其頻率判定用戶是否在觀 看菜單項目的技術。
背景技術：
近年來，由于電視、移動電話、PDA (Personal Digital Assistant)等 各種信息設備得到普及，并進入到人們的生活中，所以，用戶在平時生活 中的很多情形下需要操作信息設備。通常，用戶用手借助按鈕等輸入機構 (接口部interface section)輸入指令，來實現設備的操作。但是，例如 當作家務、育兒或駕駛時等，在兩手因設備操作以外的任務而無法空閑的 狀況下，難以實現利用接口部的輸入，無法進行設備的操作。因此，想要 在所有情況下能夠操作信息設備的用戶需求在不斷高漲。
針對這樣的需求，正在開發一種利用了用戶的生物體信號的輸入機 構。例如在非專利文獻l中，公開了利用腦波的事態關聯電位來識別用戶 想要選擇的選擇項的腦波接口。若對非專利文獻1記載的技術進行具體說 明，隨機對選擇項高亮顯示，以選擇項被高亮顯示的時刻為起點，利用約 300ms后出現的事態關聯電位的P3成分，實現了用戶想要選擇的選擇項 的識別。通過該技術，用戶能夠在不使用手的情況下確定想要選擇的選擇 項。
這里，"事態關聯電位"是指時間上與外部或內部事態相關聯而產生 的腦的暫時性電位變動。在腦波接口，利用對視覺的刺激而得到的事態關 聯電位作為外部事態。例如，如果利用對視覺刺激的事態關聯電位中的所 謂被稱為P3成分的成分，則可以進行頻道的切換、希望視聽的節目的類 型選擇、音量的調整等處理。"P3成分"是指事態關聯電位中與聽覺、視
7覺、體性感覺等感覺刺激的種類無關，從標的剌激提示后250ms到500ms 的時間段出現的陽性成分。
為了將事態關聯電位用于接口，重要的是以高的精度識別對象的事態 關聯電位(例如P3成分)。因此，需要高精度測量生物體信號、及通過 恰當的識別方法高精度地識別測量出的生物體信號。
識別率低的原因分為兩類。第一個原因在于，腦波接口所采用的腦波 成分(P3成分等)的信噪比(S/N)低，識別方法的精度低，因此實現不 了高精度的識別。對于這個原因，混入腦波的噪音的除去方法、精度高的 識別方法分別正在開發。
例如，在專利文獻l中，公開了一種技術，采用帶通濾波器在腦波所 包含的噪音中將以與用商用電源噪音等識別對象(事態關聯電位)的頻率 不同的頻率混入的噪音去除之后，進行識別，使識別率提高。并且，在專 利文獻2中，公開了將含有眼電的試行從識別對象中除去使識別率提高的 技術，作為將在單純的頻率濾波器中難以去除的由眼電等生物體所導致的 噪音去除的技術。
識別率低的第二個原因在于，例如由于因被實驗者的狀態被實驗者的 腦波中最初不會出現作為識別對象的腦波成分，因此無法識別。對于這個 原因，在以往的實驗室條件下的實驗中采用如下方法，通過準備排除干擾 的實驗室并提示被實驗者集中于課題，或者通過使確認鍵按下等來統一控 制被實驗者的狀態，從而使之穩定地出現反應。
專利文獻l:國際公開第2005/001677號文本
專利文獻2:特開平10—146323號公報
非專利文獻l:工7二二工々.K、y于y (EmanuelDonchin)、其他 兩位、"The Mental Prosthesis: Assesing the Speed of a P300—Based Brain —Computer Interface " 、 TRANSACTIONS ON REHABILITATION ENGINEERING 2000、 Vol.8、 2000年6月
在利用腦波作為家庭通常采用的信息設備的操作接口的情況下，并非 限于用戶始終集中于選擇菜單的課題。例如，盡管提示了腦波接口的畫面， 但是還會產生用戶對此以外的事情感興趣而不看菜單的狀況。在這樣的狀 況下，由于識別對象的腦波成分最初不會出現，因此無法進行基于腦波的識別。這正符合上述的識別率低的第二個原因。
在用戶沒有看菜單項目的情況下，即使用戶要選擇的菜單項目被高亮
顯示也不會出現P3成分。但是，在偶然混入了與P3成分相似的波形的噪 音的情況下，會產生P3成分的誤識別。因腦波的識別率降低，從而用戶 不想選的菜單項目會被選擇，利用了腦波接口的腦波識別無法正確工作。 設想這樣的不適當識別在日常測量腦波并利用于接口的狀況下會頻繁產生。
上述的問題，在實驗室條件下未被設想，而在家庭通常采用的信息設 備中采用腦波接口才會被識別。像在實驗室條件的實驗中采用的那樣在所 有的一般家庭中設計統一控制被實驗者的狀態并使腦波反應穩定出現的 環境，會妨礙輕松使用腦波接口，是不可能的。因此，需要不會使腦波的 識別率降低的其他方法。

發明內容
本發明的目的在于，在具備利用了腦波的接口的系統中，根據用戶腦 波的頻率判定用戶是否觀看了菜單，從識別對象中除去用戶未在觀看菜單 的情況，從而使因誤識別所產生的用戶不想要的設備動作減少。
本發明的裝置是一種用于調整識別方法的裝置，其在腦波接口系統中 用于對在腦波接口部中采用的腦波信號的識別方法進行調整，所述腦波接
口系統具有以視覺方式提示設備的操作菜單的輸出部；取得用戶的所述 腦波信號的生物體信號測量部；和經由所述輸出部以特定的切換頻率提示 所述操作菜單的菜單項目，基于預先保持的所述腦波信號識別在所述菜單 項目被高亮顯示后的所述腦波信號中含有的事態關聯電位的成分，并基于 識別出的所述事態關聯電位使所述設備動作的所述腦波接口部，所述用于 調整識別方法的裝置具備頻率分析部，其計算所述腦波信號的頻率功率 為極大的頻率作為代表頻率；和決定部，其基于所述菜單項目的切換頻率 以及所述腦波信號的代表頻率的相對量，判定所述代表頻率是否與所述菜 單項目的切換關聯，并根據所判定的結果，對所述腦波接口部輸出用于對 在所述腦波接口部中采用的所述腦波信號的識別方法進行調整的指示。 所述決定部，在判定所述代表頻率與所述菜單項目的切換關聯的情況
9下，對所述腦波接口部指示采用所述腦波信號作為識別對象，在判定所述 代表頻率與所述菜單項目的切換不關聯的情況下，對所述腦波接口部指示將所述腦波信號從識別對象中除去。所述決定部，基于所述菜單項目的切換頻率與所述腦波信號的代表頻 率之間的差值、或者所述菜單項目的切換頻率與所述腦波信號的代表頻率 之間的比值，判定所述代表頻率是否與所述菜單項目的切換關聯。所述頻率分析部，基于在比所述菜單項目被高亮顯示的時刻早規定的 秒數的時刻以后取得的腦波信號，計算所述代表頻率。所述頻率分析部，計算在包含所述菜單項目的切換頻率在內的規定頻 帶中頻率功率為最大的頻率作為所述代表頻率。所述頻率分析部，計算在0.5Hz以上的頻帶中頻率功率為最大的頻率 作為所述代表頻率。所述決定部，基于從0.5Hz至9Hz的頻帶中選擇的所述切換頻率以及 所述腦波信號的代表頻率的相對量，判定所述代表頻率是否與所述菜單項 目的切換關聯。所述決定部，在所述菜單項目的切換頻率與所述腦波信號的代表頻率 之間的差值為0.2Hz以上時，判定所述代表頻率與所述菜單項目的切換不 關聯。所述決定部對所述腦波接口部指示將所述腦波信號從識別對象中除 去，從而所述腦波接口部將所述設備的動作狀態返回前一個狀態。在所述腦波接口部以互不相同的多種切換頻率分別提示多種操作菜 單的菜單項目時，所述決定部，基于所述多種切換頻率的每一個與所述腦 波信號的代表頻率的相對量，判定所述代表頻率是否與某個操作菜單的菜 單項目的切換關聯。所述決定部，基于按照相互不是整數倍的關系的方式設置的所述多種 切換頻率的每一個與所述腦波信號的代表頻率之間的相對量，判定所述代 表頻率是否與某個操作菜單的菜單項目的切換關聯。所述決定部，對所述多種切換頻率的每一個與所述腦波信號的代表頻 率之間的相對量中最小的相對量所對應的切換頻率進行確定，判定所述代 表頻率與以確定的所述切換頻率提示的菜單項目的切換是否關聯。所述決定部，對與所述多種切換頻率的每一個對應的閾值進行保持， 所述決定部，在所述最小的相對量比與確定的上述切換頻率對應的閾值小 時，判定所述代表頻率與以確定的所述切換頻率提示的菜單項目的切換關 聯，當所述最小的相對量在與確定的所述切換頻率對應的閾值以上時，判 定所述代表頻率與以確定的所述切換頻率提示的菜單項目的切換不關聯。所述腦波接口部，保持用于對在所述菜單項目被高亮顯示后的所述腦 波信號中含有的事態關聯電位中是否含有P3成分進行識別的閾值，所述 決定部，在判定所述代表頻率與所述菜單項目的切換不關聯的情況下，使所述閾值的大小向難以檢測事態關聯電位的P3成分的一側改變。本發明的方法是一種在腦波接口系統中用于決定是否使腦波接口部進行腦波信號的識別的方法，所述腦波接口系統具有以視覺方式提示設備 的操作菜單的輸出部；取得用戶的所述腦波信號的生物體信號測量部；和 經由所述輸出部以特定的切換頻率提示所述操作菜單的菜單項目，基于預 先保持的所述腦波信號識別在所述菜單項目被高亮顯示后的所述腦波信 號中含有的事態關聯電位的成分，并基于識別出的所述事態關聯電位使所 述設備動作的所述腦波接口部，所述方法包括計算所述腦波信號的頻率 功率為極大的頻率作為代表頻率的步驟；基于所述菜單項目的切換頻率以 及所述腦波信號的代表頻率的相對量，判定所述代表頻率與所述菜單項目 的切換是否關聯的判定步驟；在判定關聯的情況下，對所述腦波接口部指 示采用所述腦波信號作為識別對象的步驟；和在判定不關聯的情況下，對 所述腦波接口部指示將所述腦波信號從識別對象中除去的步驟。在所述腦波接口部以相互不同的多種切換頻率分別提示多種操作菜單 的菜單項目時，所述判定步驟，基于所述多種切換頻率的每一個與所述腦 波信號的代表頻率的相對量，判定所述代表頻率是否與某個操作菜單的菜 單項目的切換關聯。所述判定步驟，對所述多種切換頻率的每一個與所述腦波信號的代表 頻率之間的相對量中的最小相對量所對應的切換頻率進行確定，判定所述 代表頻率與以確定的所述切換頻率提示的菜單項目的切換是否關聯。進一步包含準備與所述多種切換頻率的每一個對應的閾值的步驟，所 述判定步驟，在所述最小的相對量比與確定的所述切換頻率對應的閾值小時，判定所述代表頻率與以確定的所述切換頻率提示的菜單項目的切換關 聯，當所述最小的相對量在與確定的所述切換頻率對應的閾值以上時，判 定所述代表頻率與以確定的所述切換頻率提示的菜單項目的切換不關聯。本發明的另一裝置是一種用于調整識別方法的裝置，在腦波接口系統 中用于對在腦波接口部中采用的腦波信號的所述識別方法進行調整，所述 腦波接口系統具有以視覺方式提示設備的操作菜單的輸出部；取得用戶的所述腦波信號的生物體信號測量部；和經由所述輸出部以特定的切換頻率提示所述操作菜單的菜單項目，基于預先保持的所述腦波信號識別在所 述菜單項目被高亮顯示后的所述腦波信號中含有的事態關聯電位的成分， 并基于識別出的所述事態關聯電位使所述設備動作的所述腦波接口部，所述用于調整識別方法的裝置具備頻率分析部，其計算所述腦波信號的頻率功率為極大的頻率作為代表頻率；和決定部，其基于所述菜單項目的切換頻率以及所述腦波信號的代表頻率的相對量，判定所述代表頻率是否與 所述菜單項目的切換關聯，在判定關聯的情況下，判斷所述用戶在觀看所 述菜單項目，在判定不關聯的情況下，判斷所述用戶不在觀看所述菜單項 目，并根據判斷結果調整所述腦波接口部的所述腦波信號的識別方法 發明效果根據本發明的識別與否決定裝置、方法及組裝了識別與否決定裝置的腦波接口系統，以在用戶腦波的頻率功率為極大的代表頻率(ee)與菜單 項目高亮顯示的切換頻率(es)不同的情況下，判定用戶沒有觀看菜單， 并從識別對象中除去的方法調整識別方法。這樣，由于在日常測量腦波的 接口中因菜單項目的漏看而產生的誤識別這樣的問題消除了，因此能夠維 持高識別率。從而，由于減少了因腦波的識別錯誤而引起的用戶非意圖的 設備動作，所以可實現腦波接口的操作性提高。


圖1是表示腦波接口系統1的構成及利用環境的圖。 圖2是表示在腦波接口系統1中操作TV2，用戶5收看想視聽的頻道 的節目時的例子的圖。圖3是表示本發明的腦波接口的第一通常處理步驟的例子(處理步驟A) 的流程圖。圖4是表示本發明的腦波接口的第二通常處理步驟的例子(處理步驟B) 的流程圖。圖5是表示實驗步驟的圖，(a)是表示設備的處理步驟的流程圖， (b)是表示被實驗者的動作步驟的流程圖。圖6 (a)是表示實際提示給被實驗者的菜單以及選擇指示的顯示畫面 的圖，(b)是表示高亮顯示的菜單項目的顯示例的圖。 圖7是表示實驗結果一例的曲線圖。圖8 (a)是表示每隔350ms切換菜單項目并高亮顯示時(條件A)的 腦波的頻率功率的圖，(b)是表示在步驟S51提示選擇指示刺激時(條 件B)的腦波的頻率功率的圖。圖9是表示本發明的第一實施方式的腦波接口系統1的功能框圖的結 構的圖。圖IO是表示第一實施方式的腦波接口系統1的處理步驟的流程圖。 圖11是表示判定用戶5是否看到菜單項目的處理的詳細步驟的流程圖。圖12是表示本發明的第二實施方式2的腦波接口系統2的功能模塊 的構成圖。圖13是表示利用腦波接口系統2在大畫面電視上提示兩種菜單的例 子的圖。圖14是表示第二實施方式的腦波接口系統2的處理步驟的流程圖。 圖15是表示判定用戶5看了菜單A、菜單B中的哪個，或者什么菜 單都沒看的處理的詳細步驟的流程圖。圖16是表示第三實施方式的腦波接口系統3的功能塊的構成圖。 圖17是表示第三實施方式的腦波接口系統3的處理步驟的流程圖。 圖中1、 2、 3—腦波接口系統，5—用戶，7—輸出部，7a—畫面，10 一識別與否決定裝置，ll一代表頻率分析部，12—決定部，21 —識別對象 決定部，31—識別方法調整部，50 —生物體信號測量部，IOO —腦波接口 部，200 —多菜單提示腦波接口部，300—識別參數可變腦波接口部，301 一P3識別用參數。
具體實施方式
下面參照附圖，對本發明的腦波接口系統及組裝到腦波接口系統中的 識別與否決定裝置的實施方式進行說明。以下首先對腦波接口系統進行說明，然后說明識別與否決定裝置的構 成及動作。圖1表示腦波接口系統1的構成及利用環境。該腦波接口系統1與后 述實施方式1的系統構成對應地進行了例示。腦波接口系統1是用于提供利用用戶5的腦波信號來操作TV2的接口 的系統。用戶5的腦波信號由用戶頭部安裝的生物體信號測量部50取得， 以無線或有線的方式發送給腦波接口部100。內置于TV2中的腦波接口部 100利用了構成腦波的一部分的被稱為事態關聯電位的成分來識別用戶的 意圖，進行頻道切換等處理。圖2表示在腦波接口系統1中操作TV2、由用戶5觀看想要視聽的類 型節目時的例子。圖2 (a)是腦波接口部100通過TV2的畫面7a向用戶提示的菜單的 例子。圖2 (a)中，在畫面7a—1 畫面7a—4中分別表示了 "棒球"、 "天氣預報"、"動畫"、"新聞"等菜單項目被按順序或隨機高亮顯示 的樣子。在本說明書中，包括與圖2 (a)所示的設備操作有關的選項群在內定 義為"菜單"，將構成菜單的各選項定義為"菜單項目"。并且，將切換 菜單項目的高亮顯示的頻度定義為"切換頻率(es)"。例如，在一秒內 切換兩次高亮顯示的情況下，切換頻率(es)為2Hz (周期為500ms)。 以下說明中，針對切換頻率(es)為2.86Hz，周期為350ms的情況進行說 明。通過將菜單項目高亮顯示，從而能夠測量以將各個菜單項目高亮顯示 的時刻為起點的事態關聯電位。另外，也可以代替高亮顯示，或在高亮顯 示的同時以采用以輔助箭頭的指示器提示菜單項目。圖2 (a)表示高亮顯 示的同時以指示器提示菜單項目的例子。圖2 (b)示意表示以將菜單項目高亮顯示的時刻為起點測量的用戶的 腦波信號的事態關聯電位。現在用戶想看"天氣預報"。在從畫面7a—l至畫面7a—4為止的各個畫面對應的腦波信號201 204中，若用戶觀看 "天氣預報"被高亮顯示了的畫面7a—2，則以"天氣預報"被高亮顯示 的時刻為起點在潛伏時間約400 450ms出現有特征的陽性成分(P3成 分)。若腦波接口部100識別該P3成分的出現，則能夠選擇用戶想要選擇 的菜單項目"天氣預報"。在圖2 (c)中，根據識別了P3成分的結果， 表示頻道被切換至"天氣預報"之后的畫面7a—5。圖3表示本發明的腦波接口的第一通常處理步驟的例子(處理步驟A)。在步驟S101中，腦波接口部100，提示例如包含4個菜單項目在內的 菜單(圖2 (a)的左側)和詢問的語句(圖2 (a)的右側)。在步驟S102 中，腦波接口部100選擇一個菜單項目。在步驟S103中，對通過步驟S102 選擇的菜單項目高亮顯示。在步驟S104中，腦波接口部100以在步驟S103中菜單項目被高亮顯 示的時刻為起點，例如測量500ms的用戶的事態關聯電位。作為事態關聯 電位提出的區間，如果包含在300 500ms出現的P3成分，則也可以是例 如800ms、 1000ms。在此，測量圖2 (b)所示意性表示的腦波信號的事態 關聯電位201 204。在步驟S105中，識別在步驟S104測量的事態關聯電位中是否包含 P3成分。P3成分的識別，可以單純地對波形的最大振幅或者波形的某個 區間的平均電位是否比預先設置的閾值大進行判定，也可以如專利文獻2 記載那樣，計算出與以預先按每個用戶測量出的視覺P3成分的加法平均 波形建立的模板的相關系數。另外，閾值也可以是按每個用戶決定。當步 驟S105為是的情況下，進入到步驟S106，在否的情況下返回到步驟S102， 選擇下一個菜單項目。在步驟S106中，腦波接口部100執行與步驟S105所選擇的菜單項目 對應的處理。由此，該菜單項目被選擇、執行，顯示圖2 (c)所示的畫面 7a—5。例如，如果是圖2的例子，則選擇天氣預報，提示天氣預報的節 目。根據這樣的腦波接口系統1，例如即使在因作家務或育兒而兩手不得空閑的情況下，用戶也能夠不使用手地操作TV2等設備。因此，能夠格外地提高設備的操作性。但是，在將腦波用作接口的情況下，并非限于用戶始終看著菜單。例 如，當并行進行家務或育兒等與采用腦波接口的設備的操作不同的作業 時，接口難以始終注視畫面。另外，如上述，在菜單項目被高亮顯示的時刻，用戶沒有看菜單的情況下，在步驟S103沒有測量到P3成分。這樣的 情況下，在步驟S104中取得的事態關聯電位中混入噪音(例如眼電)顯 示與P3成分相似的波形的情況下，在步驟S105中判定存在P3成分，由 于步驟S106中可能會執行用戶非意圖的菜單項目的選擇，因此優選進行 識別精度更高的處理。作為不同的識別方法，例如還可以對各個菜單項目被高亮顯示之后的 事態關聯電位進行比較，采用選擇出現P3成分的可能性最高的處理步驟 (處理步驟B)。在采用處理步驟B的情況下，由于通過事態關聯電位的 比較可選擇與P3成分接近的波形，因此即使混入一點噪音也能夠實現設 備動作。圖4表示本發明的腦波接口的第二通常處理步驟的例子(處理步驟 B)。另外，關于執行與圖3所示的腦波接口的處理步驟A相同的處理的 步驟，附加相同的參照符號，并省略其說明。在步驟S107中，根據所有的選擇項目是否至少被高亮顯示過一次而 產生分支。在步驟S107中為是的情況下，進入步驟S108，為否的情況下， 返回步驟S102，選擇接下來的菜單項目。在步驟S108中，計算步驟S104中取得的每個菜單項目的事態關聯電 位中含有P3成分的可能性，按每個項目進行比較識別最接近的菜單項目 為存在P3成分。每個項目的事態關聯電位含有P3成分的可能性，可以如 圖3中的步驟S104那樣，單純選擇最大振幅為最大的作為波形的最大振 幅值，也可以求出某個區間的平均電位的大小來選擇平均電位最大的。另 外，還可以選擇與模板的相關系數的值較大的。在步驟S108中為是的情 況下，進入步驟S106，為否的情況下返回步驟S102，選擇接下來的菜單 項目。這樣，通過對每個菜單項目的事態關聯電位進行比較，選擇出現P316成分的可能性最高的選擇項目，從而實現即使混入一點噪音也能識別的識 別方法，但在采用處理步驟B的情況下也同樣，在用戶沒有觀看菜單的情況下，也會選擇含有P3的某個菜單項目。從而，由于仍然有可能執行用戶非意圖的菜單項目的選擇，因此優選執行識別精度更高的處理。用戶非意圖的菜單項目的選擇，都是因設備方無法判定用戶是否觀看 了菜單項目而發生的。如果能夠判定是否觀看了菜單，通過在沒有觀看的 情況下從識別對象中除去等識別方法的調整，從而能夠將這些非意圖的設 備動作取消。本申請的發明者，通過分析利用腦波接口的用戶的腦波的頻率，從而 發現能夠判定用戶是否正觀看菜單。這樣，不用新添加視線檢測裝置等，便能夠實現用戶沒有觀看菜單的檢測。以下，參照圖5 圖7針對本申請 的發明者們實施的實驗以及實驗結果進行說明。圖5為表示實驗的流程的圖。圖5 (a)為表示實驗中的設備方的流程 的刺激以及事態關聯電位測量的步驟的圖，圖5 (b)為表示在實驗過程中 被實驗者實施的課題的步驟的圖。圖5 (a)以及(b)的流程是并行執行 的。接受圖5 (a)的設備動作，被實驗者執行依據圖5 (b)的動作。并 且，設備根據圖5 (a)來測量結果發生的事態關聯電位。首先，針對圖5 (a)進行說明。在步驟S50中，設備開始被實驗者的腦波測量。在步驟S51中，設備提示4個菜單項目以及被實驗者選擇哪個菜單項 目的選擇指示。圖6 (a)表示實際提示給被實驗者的菜單以及選擇指示的 顯示畫面。本申請的發明者們的實驗中，提示了4秒鐘的圖6(a)的顯示。 以下，將發出選擇指示的選擇項目稱作"目標"。另外，接收該提示后被實驗者開始動作。從圖5 (a)的步驟S51向圖 5 (b)的步驟S61的箭頭，表示與步驟S51的設備動作對應的被實驗者的 動作的開始時刻。在步驟S52中，設備隨機選擇菜單項目。在步驟S53中，將步驟S52所選擇的菜單項目高亮顯示350ms。艮卩， 菜單項目的高亮顯示以切換頻率es二2.86Hz被切換。圖6 (b)表示被高亮 顯示的菜單項目的顯示例。設備計算將菜單項目高亮顯示的總次數ri并進行保存。在步驟S54中，設備，在步驟S53以菜單項目被高亮顯示的時刻為基 準提出規定區間的腦波，取得事態關聯電位。本實驗中，提出從高亮顯示 前100ms至高亮顯示后1000ms為止的區間的事態關聯電位。在步驟S55,設備判定菜單項目的高亮顯示次數n是40次以下還是比 40次多。在高亮顯示次數n為40次以下的情況下，設備返回步驟S52的 處理，重復菜單項目的高亮顯示。另一方面，若高亮顯示次數n比40次 多，則設備結束處理。通過上述處理，在統計上按每個菜單項目分別前后IO次執行高亮顯 示。另外，該處理次數，是為了在實驗上對事態關聯電位反復進行相加平 均，以確認成分的出現所需要設置的。實際上在安裝作為腦波接口系統的 情況下，不一定需要設置這樣的處理次數。通過上述的步驟S50至步驟S55，在每隔350ms將高亮顯示的菜單項 目切換的條件下，設備能夠試行取得40個以在各個菜單項目逐個高亮顯 示IO次左右時的高亮顯示為起點的被實驗者的事態關聯電位。接著，針對圖5 (b)進行說明。在步驟S61中，被實驗者，觀看由圖5 (a)的步驟S51所提示的菜單 以及選擇指示。被實驗者觀看選擇指示，確認目標。這就對應于在實際采 用腦波接口的情況下用戶想要實現的設備動作。在步驟S62中，被實驗者注視菜單，觀看由圖5 (a)的步驟S52至步 驟S55所提示的菜單項目高亮顯示，等待選擇對象的菜單項目被高亮顯示。在步驟S63中，被實驗者，判斷在步驟S61目標是否被高亮顯示。當 判斷目標被高亮顯示時，則進入步驟S64，當判斷沒有被高亮顯示時，則 返回步驟S62。步驟S64中，是被實驗者心算目標被高亮顯示的次數的步驟。所謂心 算，是指在心中計算數量。 '在步驟S65中，被實驗者，判斷高亮顯示的切換是否結束，當由設備 進行的菜單項目的切換處理結束時，結束實驗，當菜單項目的切換處理在 繼續時，重新開始從步驟S62開始的動作。另外，腦波是從頭皮上Fz、 Cz、 Pz (國際10—20法)的三個部位起18以耳朵為基準測量的。并且，視覺刺激提示在被實驗者眼前lm的19英寸 LCD顯示器上。圖7為表示實驗結果的一例的曲線圖。該曲線圖表示在電極位置Pz 測量的事態關聯電位的加算平均波形。實線的波形a，表示目標在0ms被 高亮顯示后所得到的事態關聯電位的加算平均波形。另一方面，虛線的波 形b表示在目標以外的項目被高亮顯示后的事態關聯電位的加算平均波 形。另外，曲線圖的橫軸為時間(單位ms)，縱軸為電位(單位nV)。 菜單項目是按每350ms切換的。如與目標關聯的圖7的實線波形a所示，在目標的高亮顯示后300至 400ms出現陽性成分。這是一般的P3成分，認為與非專利文獻1的結果 一致。進而，本申請的發明者們發現，在圖7的實線、虛線若共同存在周期 性的特征，具體而言雙方的波形存在以大約350ms的間隔出現陰性的極值 這樣的特征。并且，著眼于該特征實施了腦波的頻率分析。圖8 (a)表示在將菜單項目每隔350ms切換進行高亮顯示時(條件A) 的腦波的頻率功率，圖8 (b)表示在步驟S51提示了選擇指示刺激時(條 件B)的腦波的頻率功率。兩者都是橫軸表示頻率(單位Hz)，縱軸表 示頻率功率(單位|nV*|lV/Hz)。由圖8 (a)可知，能理解在條件A下頻率功率存在特征性的峰值。 與該峰值對應的頻率(ee)為2.74Hz。如上述，與條件A對應的菜單項 目的切換頻率(es)為2.86Hz，與腦波的頻率功率為極大的頻率大致一致。 另一方面，根據圖8 (b)，在條件B下頻率功率中不存在特征性的峰值。綜合這些，認為由于菜單項目高亮顯示的切換頻率(es)對腦波的頻 率會產生影響，因此事態關聯電位產生了周期性的變化。因此，通過計算 腦波的頻率功率為極大的頻率(ee)，從而可判定用戶是否觀看了菜單。另外，可知若提示在相同位置亮滅的視覺刺激，則被稱作SSVEP的 成分與視覺刺激的亮滅同步出現在腦波中(XiaorongGao等，ABCI-Based Environmental Controller for the Motion-Disabled, IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2003)。因此，本申請的發明者們，認為通過本申請的發明者們的實驗所得到的結果與SSVEP不同。其原因在于，因為本次實驗中的視覺刺激是高亮顯示的切換，不是在相同位置亮滅。進而，作為其他原因，在本次的實驗 中，被實驗者處于等待對象的菜單項目(目標)被高亮顯示的狀態，與SSVEP的實驗那樣的僅觀看亮滅的刺激的狀態不同。即，本申請的發明者 們的實驗與SSVEP的實驗的設置不同。接著，詳細說明本發明的實施方式中的識別與否決定裝置。識別與否 決定裝置，計算腦波接口使用時的用戶腦波的頻率功率為極大的頻率，作 為代表頻率(ee)。然后，基于代表頻率(ee)與菜單項目的切換頻率之 間的相對量，判定代表頻率(ee)是否與菜單項目的切換關聯。所謂"基于相對量"，是指例如根據頻率(ee)與菜單項目的切換頻率之間的差值，或者頻率(ee)與菜單項目的切換頻率之間的比值是否在閾值以下還是比閾值大這樣的意思。如果是閾值以下，則判定代表頻率(ee)與菜單項目的切換頻率關聯，即用戶觀看了菜單。結果，采用腦波信號作為腦波接口中的識別對象。另一方面，當比閾值大時，則判定代表頻率。e)與菜單項目的切換 頻率不關聯，用戶沒有觀看菜單。結果是，腦波信號被從腦波接口中的識 別對象中除去。這樣，能夠減少用戶不想要的設備動作。(第一實施方式)圖9表示本實施方式的腦波接口系統1的功能框圖的結構。腦波接口 系統l，具有輸出部7、識別與否決定裝置IO、生物體信號測量部50、 和腦波接口 (IF)部100。圖9也表示識別與否決定裝置10 (以下稱作"決 定裝置100")的功能框圖。用戶5的框圖是為方便說明而表示的。另外， 輸出部7，表示向用戶5提示菜單等的畫面。雖然用戶5僅通過注意觀看由腦波接口部100向輸出部7提示的與設 備操作有關的菜單項目是否被高亮顯示，不進行操作輸入，然而設備根據 經由腦波接口部100選擇的菜單項目工作。決定裝置100，以有線或者無線的方式與生物體信號測量部50以及腦 波接口部100連接，進行信號的發送以及接收。在圖9中，生物體信號測 量部50以及腦波接口部100，與決定裝置10是分開的，但這只是一例。也可以將生物體信號測量部50以及腦波接口部的一部分或者全部設置于決定裝置10內。生物體信號測量部50，是檢測用戶5的生物體信號的腦波計，測量腦 波作為生物體信號。腦波計可以是圖1所示這樣的頭置式的腦波計。用戶 5事先安安裝腦波計。當被安裝在用戶5的頭部時，在生物體信號測量部50配置電極以與 用戶頭部的規定位置接觸。電極的配置，處于例如Pz (正中頭頂)、Al (耳朵)以及用戶5的鼻根部。電極最低只要2個即可，例如僅在Pz和 Al便能夠進行電位測量。該電極位置由信號測定的可靠性以及安裝的容 易度等決定。由此，生物體信號測量部50能夠測定用戶5的事態關聯電位。所測 定的用戶5的腦波，按照計算機能夠處理的方式被取樣，并被發送給腦波 接口部IOO以及決定裝置IO。另外，為了降低混入腦波的噪音的影響，生 物體信號測量部50中所測量的腦波被事先進行例如0.05至20Hz的帶通 濾波處理，以菜單項目高亮顯示前的例如100ms的平均電位修正基線。腦波接口部IOO，向用戶提示與設備操作有關的菜單項目，將由生物 體信號測量部50所測量的腦波提出進行識別。然后，根據識別結果控制 設備動作。腦波接口部IOO的基本動作與上述相同。如果利用腦波接口部IOO進行控制的設備是例如圖1所示的TV2，則 菜單經由輸出部7被提示給用戶5。如圖2 (a)所示，菜單項目以規定的 切換周期以es (例如2.86Hz)逐個被高亮顯示。0s可以是2Hz、 3Hz、 5Hz。腦波接口部IOO，對識別執行標記101進行保持。識別執行標記101，是為了決定是否識別由生物體信號測量部50所測 量的用戶5的腦波所包含的事態關聯電位的特征而參照的。例如，當識別 執行標記101為"1"時，腦波接口部100，采用所得到的事態關聯電位作 為識別對象。另一方面，當識別執行標記101為"0"時，腦波接口部100， 將所得到的事態關聯電位從識別對象中除去。識別執行標記IOI，是采用 后述的方法根據來自決定裝置10的指示而設置的。另外，"0"以及"1" 各值所對應的動作是一例，也可以采用其他例。當識別執行標記101設置為"1"時，腦波接口部100，以菜單項目被21高亮顯示的時刻為起點，從由生物體信號測量部50所測量的用戶5的腦波中提出例如比P3成分的峰值潛伏時間更長的500ms的腦波，對波形進 行識別。提出腦波的時間，也可以是還考慮從波形峰值恢復的部分的 1000ms的時間。識別事態關聯電位的方法，可以是單純對波形進行閾值 處理，也可以是如專利文獻2所記載的那樣計算與以事先按每個用戶測量 的P3成分的相加平均波形所制作的模板的相關系數。接著，說明本實施方式的決定裝置10的詳細結構。本發明的一個主 要特征在于決定裝置10的結構以及動作。決定裝置IO，具有代表頻率分析部11和決定部12。 代表頻率分析部11，計算頻率功率具有特征峰值的頻率(代表頻率 (ee))，并發送給決定部12。以下，具體說明代表頻率(ee)的計算方 法。首先，代表頻率分析部11，通過例如快速傅立葉變換(Fast Fourier Transform:FFT)計算由生物體信號測量部50所測量的用戶5的腦波的頻 率功率。代表頻率分析部ll，以腦波接口部ioo對菜單項目進行高亮顯 示的時刻為基準，提出例如前后1秒左右的腦波計算頻率功率。另外， 提出腦波的時間窗的長度，可以根據高亮顯示的切換頻率而改變。為了 使頻率分析的精度提高，也可以按照產生2次以上的高亮顯示的方式設 置時間窗的長度。接著，代表頻率分析部11，根據所計算的頻率功率中頻率功率的極大 值求出代表頻率(ee)。求出頻率功率的極大值的范圍，只要是例如直流成分和a波等自發腦 波的影響小的范圍(1Hz 8Hz的頻帶或者更寬的0.5Hz 9Hz的頻帶) 即可。或者，也可以從腦波接口部100中取得菜單項目高亮顯示的切換 頻率，并根據該頻率的周邊的頻率功率求出。圖8 (a)表示菜單項目高 亮顯示的切換頻率的周邊土0.2Hz的頻帶A與0.5Hz 9Hz的頻帶B。作為頻率功率的極大值，只要選擇例如上述范圍的所有極大值中的最大的值即可。進而，在頻率功率中設置閾值(例如頻率功率為4000 (pV*^iV/Hz))，以其閾值以上為條件設置即可。代表頻率分析部ll， 由于可以將有特征的峰值特定作為頻率功率的極大值，因此可以采用與22該極大值對應的頻率作為代表頻率(ee)。另外，頻率功率的極大值根據0.5Hz 9Hz的頻帶決定，是指從 0.5HZ 9Hz中選擇菜單項目高亮顯示的切換頻率(es)，即切換頻率(es) 可變。0.5Hz的情況下，切換非常慢，另一方面9Hz的情況下切換非常快。 根據用戶5的性別、年齡、熟悉度等的不同，也有如果菜單項目高亮顯示 的切換不慢的話無法實際使用的情況，也有即使很快也能充分對應的情 況。因此，可以從0.5Hz 9Hz的頻帶中選擇菜單項目高亮顯示的切換頻 率(es)，同時頻率功率的極大值也可以根據0.5Hz 9Hz的頻帶決定。另外，腦波IF部100如果進行兩次左右的菜單項目的高亮顯示，則 由于菜單項目高亮顯示的周期確定，因此頻率功率的極大值會出現有意的 差值。決定部12，計算從代表頻率分析部11接收的代表頻率(ee)與從腦 波接口部100接收的菜單項目切換頻率(es)之間的相對量(差值或者比 值)，判定兩者是否相互關聯。是否相互關聯的判定，只要基于由取樣頻率、頻率分析的時間窗決定的頻率分析精度，例如根據es與ee之間的差值是否在0.2Hz以內，或者6s與0e之間的比值是否在0.93以上1.07以下的范圍內而決定即可。以下對利用差值進行判定的情況進行說明。另外， 閾值也可以不是固定值，而可以是變化的。在判斷兩者相互關聯的情況下，決定部12什么都不執行。另一方面， 在判斷兩者不相互關聯的情況下，決定部12，調整腦波接口部100中的腦 波識別方法。因為可以判斷用戶5未觀看菜單。腦波識別方法的調整，是指例如指示將腦波接口部ioo保持的識別執 行標記101設置為表示從識別對象中除去的值"0"。另外，在上述說明 中，雖然說明了在判斷兩者相互關聯的情況下決定部12什么都不執行， 但例如也可以指示將識別執行標記101設置為"1"，使之采用作為識別 對象。通過按照這樣構成，從而由于能夠以腦波的頻率(ee)為指標判定用 戶5是否觀看了菜單項目的高亮顯示，因此能夠進行將用戶5沒有觀看菜 單的情況下的試行從識別對象中除去這樣的識別方法的調整。從而，減少 用戶5非意圖的設備動作，能夠實現對于用戶5而言容易使用的腦波接口 。接著，參照圖10的流程圖，說明在圖9的腦波接口系統1中執行的 整體處理步驟。圖10表示本實施方式的腦波接口系統1的處理步驟。在該腦波接口系統1中設置以下功能進行用戶5是否觀看菜單的判定，將沒有觀看菜 單的情況從識別對象中除去。另外，圖10所示的步驟S101至步驟S106，與圖3所示的腦波接口 的處理步驟相同。從而，以下省略這些說明。與圖3的腦波接口的處理步驟之間的差異在于，設置了判定用戶5是 否觀看了菜單項目的高亮顯示的步驟S20。在步驟S20中，決定裝置IO，根據生物體信號測量部50所測量的用 戶5的腦波的頻率判定用戶5是否觀看了菜單項目的高亮顯示。具體的處 理參照圖ll后述。若通過決定裝置10判定用戶5觀看了菜單(步驟S20中為是)，則 處理進入步驟S105。在步驟S105中，腦波IF部100，實施在步驟S104 測量的事態關聯電位中是否出現P3成分的識別。另一方面，若通過決定裝置10判定用戶5未觀看菜單(步驟S20中 為否)，則腦波IF部100不進行事態關聯電位的識別處理，返回步驟S102 的處理。然后，腦波IF部100針對接下來的菜單項目高亮顯示選擇高亮 顯示的項目。接著，參照圖11說明步驟S20的詳細處理。圖11表示判定用戶5是否觀看了菜單項目的處理的詳細步驟。該處 理是通過構成決定裝置10的代表頻率分析部11和決定部12進行的。在步驟S21中，代表頻率分析部ll，提出由生物體信號測量部50所 測量的用戶5的腦波。提出腦波的時刻，可以是例如腦波接口部100提示 菜單的時刻，也可以是例如以每隔1秒的方式由代表頻率分析部11單獨 決定。另外，提出腦波的區間，可以是例如l秒，也可以是2秒、3秒、5 秒。在步驟S22中，代表頻率分析部，通過快速傅立葉變換FFT計算由步 驟S21提出的用戶5的腦波的頻率功率。在步驟S23中，代表頻率分析部11，計算由步驟S22計算的頻率功率為極大的頻率作為代表頻率(ee)，并發送給決定部12。在步驟S24中，決定部12，從腦波接口部100接收菜單項目高亮顯示的切換頻率(es)，計算ee與es之間的差值。在步驟S25中，決定部i2，計算es與ee之間的差值，并判定該差值是否比閾值小。在差值比閾值小的情況下，進入步驟S26，在閾值以上的 情況下進入步驟S27。在步驟S26中，決定部12判定用戶5觀看了菜單，對腦波IF部100 什么都不執行。并且，決定部12，也可以指示腦波IF部100將腦波IF部 100保持的識別執行標記101設置為"1"。另一方面，在步驟S27中，決定部12判定用戶5沒有觀看菜單，對 腦波IF部100指示將識別執行標記101設置為"0"。通過這樣的處理，可以將作為使識別率低下的原因的用戶沒有觀看菜 單時的識別處理的執行除去，能夠實現用戶非意圖的設備動作的減少。另外，在本實施方式中，當用戶沒有觀看菜單時，將該腦波信號從識 別對象中除去。但是，在用戶未觀看菜單的情況下，還可以使設備動作使 其動作狀態返回一個或者一個以上狀態之前。這種情況下，由于僅通過用 戶視線離開菜單就可以將用戶非意圖的設備動作取消，因此腦波接口的操 作性格外提高。另外，不需要設置"返回"這樣的菜單項目，代之可以設 置其他的菜單項目。進而此外，通過在用戶沒有觀看菜單項目的情況下以 圖像或者聲音提示警報等能夠檢測沒有觀看菜單，由此可實現各種各樣的 設備動作。通過在本實施方式的腦波接口系統1中設置決定裝置10，從而能夠根 據利用腦波接口的用戶5的腦波的頻率判定用戶5是否觀看了菜單項目的 高亮顯示。從而，可進行在未觀看菜單的情況下從識別對象中除去的識別 方法的調整，由于能夠實現用戶非意圖的設備動作的減少，能夠實現使用 容易的接口。(第二實施方式)在第一實施方式的腦波接口系統1中，對于腦波接口部100提示的一 種菜單(菜單項目為多個)，根據腦波接口系統使用時的用戶腦波的頻率的特征，判定用戶是否在觀看菜單項目，在未觀看菜單項目的情況下從識 別對象中除去，從而實現了用戶非意圖的設備動作的減少。在上述的腦波接口中，由于將菜單項目隨機性地高亮顯示，因此至要 選擇的菜單項目被高亮顯示為止的時間與菜單項目的數目成比例增加。因 此，若考慮操作性則必須限制菜單項目的數目。因此，例如在可利用近年來正在普及的大畫面電視這樣的可圖像顯示 區域大的顯示裝置的狀況下，通過在不同的位置同時提示多個菜單，從而 能夠從眾多菜單項目中在短時間內進行菜單項目的選擇。若在一個畫面上同時提示多個菜單，則由于各個菜單中菜單項目被高 亮顯示，因此結果是在相同的時刻多個菜單項目被高亮顯示。從而，首先 在對用戶正觀看哪個菜單進行確定之后，需要唯一決定用戶想要的設備動 作。本實施方式的腦波接口系統中，對多個菜單分別單獨設置菜單項目的 高亮顯示的切換頻率，對多個菜單項目各自的高亮顯示進行切換。然后， 基于用戶腦波的頻率的特征，進行用戶正在觀看哪個菜單的判定。這樣， 即使多個菜單被同時提示，且在相同時刻多個菜單項目被高亮顯示的狀態 下，也能夠確定用戶正觀看哪個菜單。并且，能夠基于事態關聯電位判斷 用戶希望對所確定的菜單執行哪個菜單項目。這樣便能夠實現精度高的識 別。圖12是表示本實施方式的腦波接口系統2的功能框圖的構成。圖12 還表示識別與否決定裝置20的功能框圖。用戶5的框圖是為了方便說明 而顯示的。進而，圖13表示本實施方式的腦波接口系統2是如何被利用的。艮P， 圖13表示利用腦波接口系統2在大畫面電視上提示兩種菜單的例子。為了方便理解，首先說明圖13所示的顯示例。圖13中，提示與TV 操作有關的菜單A，并提示與TV以外的設備的操作有關的菜單B。然后， 在菜單A中"頻道選擇"被高亮顯示，在菜單B中，"照明"被高亮顯 示。在本例中，高亮顯示的切換，針對菜單A是以3Hz進行的，針對菜 單B是以5Hz進行的。在用戶正觀看菜單A的狀況下，觀測與3Hz相對 接近的代表頻率(ee)，在用戶正觀看菜單B的狀況下，觀測與5Hz相對接近的代表頻率(ee)。另外，在用戶沒有觀看任何菜單的情況下，不觀 測代表頻率(ee)。如上述通過采用腦波接口提示多個菜單，從而能夠簡 單且確切地操作多個設備。
腦波接口系統2與第一實施方式的腦波接口系統1 (圖9)的不同點 在于，代替第一實施方式的腦波接口部100具備多菜單提示腦波接口部 200，以及將識別與否決定裝置20 (以下稱作"決定裝置20")的結構中 決定部12變更為識別對象決定部21。另外，關于腦波接口系統2中的構 成要素中與腦波接口系統1 (圖9)相同的構成要素附加相同的參照符號 并省略其說明。
多菜單提示腦波接口部200 (以下稱作"腦波IF部200")，對腦波 接口部100的功能進行擴展，能同時提示多個菜單，且可從各菜單的菜單 項目中進行功能的執行。
腦波IF部200，經由輸出部7向用戶5提示多個菜單。例如，腦波IF 部200，在某個菜單中顯示與特定設備的詳細功能有關的菜單項目，在其 他菜單中顯示與可控制的多個設備有關的菜單項目。并且，將各菜單的菜 單項目高亮顯示的切換頻率(es)設置為不同值，對高亮顯示進行切換。
在圖13所示的例子中，若將菜單A、菜單B的高亮顯示頻率分別描 述為0sa、 0sb，則可將9sa設置為3Hz，將esb設置為5Hz。菜單項目高亮
顯示的頻率(es)，只要是用戶5能夠識別高亮顯示的范圍即可。并且， 若考慮倍數頻率成分的影響，則優選設置esa和esb不成整數倍。并且，還
可以設置菜單項目的高亮顯示的時刻不重疊。
另外，腦波IF部200，對識別執行標記群201進行保持。識別執行標 記群201，是多個識別執行標記的集合。在本實施方式中，識別執行標記 是與菜夢對應設置的。例如，識別執行標記群201的第一位與菜單A對應， 第二位與菜單B對應。腦波IF部200，在將任一標記值設置為"1"時， 采用所得到的事態關聯電位作為識別對象。然后，基于該事態關聯電位， 判定是否執行在與標記值"1"對應的菜單中的某個菜單項目所示的操作， 并執行與該項目對應的動作。識別執行標記群201，是通過如下說明的識 別對象決定部21更新的。
識別對象決定部21 (以下稱作"決定部21")，進行從腦波IF部200收到的切換頻率(esa、 6sb)、和從代表頻率分析部11收到的用戶5的腦 波頻率功率為極大的代表頻率(ee)之間的比較，判定用戶5在觀看哪個菜單。
該判定可與第一實施方式的決定部12同樣，只要計算代表頻率(ee)
與各菜單項目切換頻率(esa、 esb)之間的相對量(差值或者比值)，并
基于該相對量進行即可。例如，若列舉利用差值作為相對量的例子，則對
代表頻率(ee)與切換頻率(esa、 esb)各自的差值進行比較，只要觀看
較小一方的菜單即可。或者，設閾值為0.2Hz，判定觀看了代表頻率(ee)
與切換頻率(esa、 esb)各自的差值為閾值以下的菜單，除此以外任何菜
單都沒觀看。
決定部21 ，根據判定結果，指示腦波IF部200從設置在腦波IF部200 的識別執行標記群201中將與用戶5觀看的菜單對應的識別執行標記的值 設置為"1"。在用戶沒有觀看任何菜單的情況下，決定部21對腦波IF 部200不進行任何指示，或者指示將識別執行標記群201中的所有標記值 設置為"0"。這樣，便能夠確切地從識別對象中除去，可降低誤識別。
接收決定部21的判定結果，腦波IF部200進行與對應的菜單的菜單 項目高亮顯示關聯的事態關聯電位的識別，在判定存在P3成分的情況下， 執行對應的菜單項目的設備動作。
這樣在同時提示多個菜單，且分別以不同的頻率高亮顯示菜單項目的 情況下，能夠判定用戶觀看了哪個菜單。這樣，能夠進行在用戶觀看的菜 單的菜單項目中限定的識別，提高識別精度，結果可實現從許多菜單項目 中以短時間進行菜單項目的選擇。
接著，參照圖14的流程圖對腦波接口系統2中進行的整體處理步驟 進行說明。
圖14表示本實施方式的腦波接口系統2的處理步驟。在圖14中，表 示提示圖13所示這樣的菜單A、菜單B的兩種菜單作為多個菜單的例子 的情況下的處理步驟。并且，菜單A、菜單B分別由多個菜單項目構成。 例如，參照圖13所示的顯示例。關于進行與腦波接口系統1 (圖10)的 處理相同的處理的步驟，附加相同的參照符號，并省略其說明。
在步驟S201中，腦波IF部200向用戶5提示菜單A。在步驟S202中，腦波IF部200將菜單B提示給用戶5。另外，步驟 S201和步驟S202可以是同時，也可以分別在不同的時刻。
在步驟S203中，腦波IF部200從菜單A或者菜單B中選擇高亮顯示 的菜單項目。從哪個菜單中選擇菜單項目，是基于由各個菜單項目高亮顯 示的頻率決定的順序的。
在步驟S204中，腦波IF部200，對在步驟S203中選擇的菜單項目進 行高亮顯示。對菜單項目進行高亮顯示的時刻，由各個菜單項目高亮顯示 的頻率決定。
在步驟S30中，決定裝置20判定用戶5觀看了哪個菜單還是什么菜 單都沒觀看，并產生分支。關于步驟S30的處理的詳細情況，后述。
在步驟S205中，腦波IF部200，識別在以由步驟S104所測量的菜單 A的菜單項目高亮顯示為起點的事態關聯電位中是否包含P3成分。P3成 分的識別，可以是單純對波形進行閾值處理，也可以如專利文獻2所記載 那樣與預先按每個用戶測定的P3成分的相加平均波形制作的樣板之間的 相關系數。在步驟S205中為是的情況下，進入步驟S207，在否的情況下， 返回步驟S203，選擇接下來的菜單項目。
在步驟S206中，腦波IF部200，識別以在由步驟S104中測量的菜單 B的菜單項目高亮顯示為起點的事態關聯電位中是否包含P3成分。P3成 分的識別，與步驟S205同樣。在步驟S206為是的情況下，進入步驟S208， 在否的情況下返回步驟S203，選擇接下來的菜單項目。
在步驟S207中，腦波IF部200，執行與由步驟S205所選擇的菜單A 的菜單項目對應的處理。從而，該菜單項目被選擇并執行。
在步驟S208中，腦波IF部200，執行與由步驟S206所選擇的菜單B 的菜單項目對應的處理。這樣，該菜單項目被選擇并執行。
接著，參照圖15對步驟S20的詳細處理進行說明。
圖15表示判定用戶觀看了菜單A、菜單B中的某個，或者什么菜單 都沒看的處理的詳細步驟。該處理，是通過構成決定裝置20的代表頻率 分析部11和決定部21進行的。在圖15的處理中，列舉利用差值作為代
表頻率(ee)與高亮顯示切換頻率(esa、 esb)各自的相對量的例子進行
說明。另外，對與圖11所示的處理相同的處理相關的步驟，附加相同的
29參照符號，并省略其說明。
在步驟S31中，決定部21，對從腦波IF部200接收的菜單A的高亮 顯示切換頻率(esa)以及菜單B的高亮顯示切換頻率(esb)、與在步驟 S23中從代表頻率分析部11接收的用戶5的腦波的頻率功率為極大的代表 頻率(ee)進行比較，計算差值Aa以及Ab。
在步驟S32中，決定部21，判定在步驟S31計算的Aa和Ab的大小。 若Aa小(在步驟S32中為是)，則處理進入步驟S33，若Ab小(在步驟 S32中為否)，則處理進入步驟S34。另外，在判定是觀看了菜單A或菜 單B中的哪個的兩種狀態的情況下，由于只要比較Aa、 Ab后判定觀看了 較小一方的菜單即可，因此不需要以后的S33至S37的處理。
在步驟S33中，決定部21根據Aa是否比閾值小而產生分支。在差值 為閾值以下的情況下，處理進入步驟S35，在閾值以上的情況下，處理進 入步驟S36。閾值可以是例如0.1Hz，也可以是0.2Hz、 0.3Hz。
在步驟S33中，決定部21判定Ab是否比閾值小，由此產生分歧。在 差值為閾值以下的情況下，作為"是"而進入步驟S37，在閾值以上的情 況下，作為"否"而進入步驟S36。閾值可以如步驟S33那樣決定。
在步驟S35、步驟S37中，決定部21分別判定為在觀看菜單A、在觀 看菜單B，在步驟S36中，判定為任何菜單都沒觀看。
通過這樣的處理，同時提示高亮顯示的切換頻率分別獨立的多個菜單 項目，根據用戶腦波的頻率來判定用戶在觀看哪個菜單。從而，在例如操 作多臺設備的情況等多個菜單項目被同時提示的狀況下，也能夠實現精度 高的識別。
通過在本實施方式的腦波接口系統2中設置決定裝置20，從而能夠根 據利用腦波接口的用戶5的腦波的頻率判定用戶5觀看了哪個菜單。從而， 即使在同時提示多個菜單項目的狀況下，也能夠按每個菜單進行識別方法 的調整，能夠從許多菜單項目中以短時間進行菜單項目的選擇，能夠實現 使用容易的腦波接口。
在上述實施方式中，決定部12、 21，利用識別執行標記間接控制腦波 接口部IOO、 200。但是，也可以不利用識別執行標記，決定部12、 21直 接指示腦波接口部IOO、 200進行與標記值"0"以及"1"對應的動作。(第三實施方式)
在第一實施方式的腦波接口系統1中，通過在識別方法調整裝置10 中根據腦波接口系統使用時的規定時間窗的用戶的腦波的頻率判定用戶 是否觀看了菜單項目，在沒有觀看菜單項目的情況下，從識別對象中除去， 從而實現了用戶非意圖的設備動作的減少。
但是，在時間窗的長度特別不夠長的情況下，代表頻率容易受背景腦 波或眼電，肌電噪音的影響，例如有可能即使用戶觀看了高亮顯示也誤判 為沒有觀看。在第一實施方式中，由于采用代表頻率作為絕對的指標，以 "1"或"0"決定是否識別，因此在誤判定的情況下，無法正確識別。
因此，在本實施方式的腦波接口系統中，根據代表頻率調整高亮顯示 后的P3成分的識別用參數。這樣，即使在誤判定是否觀看了高亮顯示的 情況下，也能夠恢復根據高亮顯示后的P3成分檢測用戶的選擇意圖的可 能性，能夠實現精度更高的識別。
圖16表示本實施方式的腦波接口系統3的功能框圖的結構。另外圖 16還表示識別方法調整裝置30的功能框圖。用戶5的框圖是為了說明而 顯示的。
腦波接口系統3與第一實施方式的腦波接口系統1 (圖9)的不同點 在于，代替第一實施方式的腦波接口部100，設置基于P3識別用參數301 使P3成分的識別參數可變的腦波接口部300、以及代替第一實施方式的識 別與否決定裝置10而具備識別方法調整裝置300，該識別方法調整裝置 300具有基于代表頻率決定P3成分的識別參數的識別方法調整部31作為 其構成要素。另外，關于腦波接口系統3的構成要素中與腦波接口系統1 (圖9)相同的結構要素，附加相同的參照符號并省略其說明。
腦波接口部300 (以下稱作"腦波IF部300")，擴展了腦波接口部 100的功能，在內部具有P3識別用參數301，并基于P3識別用參數301 調整識別方法來識別高亮顯示后的P3成分。
P3識別用參數301，是在識別高亮顯示后的P3成分時使用的參數(閾 值)。如上述(例如圖3中的步驟S105)，雖然P3成分的識別方法有多 種，但識別參數也可以與識別方法對應，是例如與區間平均電位或相關系 數有關的閾值。識別方法調整部31，計算從腦波IF部300接收的切換頻率(es)與 從代表頻率分析部11接收的用戶5的腦波頻率功率為極大的代表頻率
(ee)之間的相對量(差值或者比值)，判定兩者是否相互關聯。判定方
法與圖9中的決定部12同樣。在判斷es與6e相互關聯的情況下，識別方 法調整部31什么都不執行。另一方面，在判斷兩者不相互關聯的情況下， 識別方法調整部31，對腦波接口部300中的識別方法進行調整。
在此，所謂"對識別方法進行調整"，是指將腦波IF部300保持的 P3識別用參數301 (閾值)變成難以檢測P3成分的閾值。例如，在腦波 IF部300中采用區間平均電位進行識別的情況下，使閾值向正的方向改變。 另外，在采用相關系數進行識別的情況下，使閾值向接近1的方向改變。
作為用于使之改變的方法，可以是例如從外部對在腦波IF部300內 保持的P3識別用參數301直接進行改寫，也可以對腦波IF部300指示P3 識別用參數301的變更。
另外，雖然在此es與ee的關聯性是在"有關聯性"和"無關聯性"
的兩種狀態下判斷的，但并非限于兩種狀態，也可以根據es與ee的一致
度，使閾值連續地或者階段性地改變。
這樣通過根據代表頻率對P3成分識別的參數進行調整，從而即使在 誤判定是否觀看了高亮顯示的情況下，也能恢復根據高亮顯示后的P3成 分能夠檢測用戶的選擇意圖的可能性，能夠實現精度更高的識別。
根據上述說明能夠理解，識別方法調整部31，與第一實施方式以及第 二實施方式所說明的"決定部12"(圖9)以及"識別對象菜單決定部21" (圖12)的動作同樣，首先決定是否進行識別。從而，識別方法調整部 31，可以說既具有作為"決定部12"(圖9)以及"識別對象菜單決定部 21"這樣的決定部的功能，還具有附加的功能。
接著，參照圖17的流程圖，對在腦波接口系統3中進行的整體處理 的步驟進行說明。
圖17表示本實施方式的腦波接口系統2的處理步驟。在圖17中，針 對進行與腦波接口系統l (圖IO)的處理相同的處理的步驟附加相同的參 照符號，并省略其說明。
在步驟S301中，識別方法調整部31，將腦波IF部300中的P3識別用參數301調整為難以檢測P3成分。
在步驟S302中，腦波IF部300，參照P3識別用參數301取得P3成 分檢測的閾值，并基于所取得的閾值實施在步驟S104所測量的事態關聯 電位中是否出現P3成分的識別。
通過這樣的處理，即使在誤判定是否觀看了高亮顯示的情況下，也能 夠根據高亮顯示后的P3成分檢測用戶的選擇意圖。另外，雖然圖17中是 在兩種狀態下采用代表頻率判定用戶是否觀看了高亮顯示，但并非限于兩 種狀態，也可以根據6s與6e的一致度使閾值連續地或者階段性地改變。
通過在本實施方式的腦波接口系統3中設置識別方法調整裝置30，從 而能基于代表頻率進行P3成分識別的參數的調整，能夠實現采用代表頻 率和P3成分的識別。雖然有可能代表頻率和P3成分兩者都受噪音影響， 但通過采用兩者能夠進行不易受噪音影響的識別，結果能夠實現用戶非意 圖的設備動作的減少。
工業上的可利用性
根據本發明的識別與否決定裝置以及組裝了識別與否決定裝置的腦 波接口系統，不用添加視線檢測裝置等，根據操作腦波接口的用戶的腦波 的頻率，便能夠檢測出用戶沒有觀看菜單。這樣，通過將用戶沒有在觀看 菜單的情況從識別對象中除去，從而能夠實現用戶非意圖的設備動作的減 少。這樣的識別與否決定裝置的功能，還可以通過例如計算機程序來實現。 由于通過將計算機程序讀入計算機來執行便能夠發揮上述功能，因此不會 對系統進行大幅度改變，且容易安裝。
3權利要求
1、一種用于調整識別方法的裝置，其在腦波接口系統中用于對在腦波接口部中采用的腦波信號的識別方法進行調整，所述腦波接口系統具有以視覺方式提示設備的操作菜單的輸出部；取得用戶的所述腦波信號的生物體信號測量部；和經由所述輸出部以特定的切換頻率提示所述操作菜單的菜單項目，基于預先保持的所述腦波信號識別在所述菜單項目被高亮顯示后的所述腦波信號中含有的事態關聯電位的成分，并基于識別出的所述事態關聯電位使所述設備動作的所述腦波接口部，所述用于調整識別方法的裝置具備頻率分析部，其計算所述腦波信號的頻率功率為極大的頻率作為代表頻率；和決定部，其基于所述菜單項目的切換頻率以及所述腦波信號的代表頻率的相對量，判定所述代表頻率是否與所述菜單項目的切換關聯，并根據所判定的結果，對所述腦波接口部輸出用于對在所述腦波接口部中采用的所述腦波信號的識別方法進行調整的指示。
2、 根據權利要求l所述的用于調整識別方法的裝置，其特征在于， 所述決定部，在判定所述代表頻率與所述菜單項目的切換關聯的情況下，對所述腦波接口部指示采用所述腦波信號作為識別對象，在判定所述代表頻率與所述菜單項目的切換不關聯的情況下，對所述 腦波接口部指示將所述腦波信號從識別對象中除去。
3、 根據權利要求l所述的用于調整識別方法的裝置，其特征在于， 所述決定部，基于所述菜單項目的切換頻率與所述腦波信號的代表頻率之間的差值、或者所述菜單項目的切換頻率與所述腦波信號的代表頻率 之間的比值，判定所述代表頻率是否與所述菜單項目的切換關聯。
4、 根據權利要求1所述的用于調整識別方法的裝置，其特征在于， 所述頻率分析部，基于在比所述菜單項目被高亮顯示的時刻早規定的秒數的時刻以后取得的腦波信號，計算所述代表頻率。
5、 根據權利要求l所述的用于調整識別方法的裝置，其特征在于， 所述頻率分析部，計算在包含所述菜單項目的切換頻率在內的規定頻帶中頻率功率為最大的頻率，作為所述代表頻率。
6、 根據權利要求l所述的用于調整識別方法的裝置，其特征在于， 所述頻率分析部，計算在0.5Hz以上的頻帶中頻率功率為最大的頻率作為所述代表頻率。
7、 根據權利要求6所述的用于調整識別方法的裝置，其特征在于， 所述決定部，基于從0.5Hz至9Hz的頻帶中選擇的所述切換頻率以及所述腦波信號的代表頻率的相對量，判定所述代表頻率是否與所述菜單項 目的切換關聯。
8、 根據權利要求7所述的用于調整識別方法的裝置，其特征在于， 所述決定部，在所述菜單項目的切換頻率與所述腦波信號的代表頻率之間的差值為0.2Hz以上時，判定所述代表頻率與所述菜單項目的切換不 關聯。
9、 根據權利要求1所述的用于調整識別方法的裝置，其特征在于， 所述決定部對所述腦波接口部指示將所述腦波信號從識別對象中除去，從而所述腦波接口部將所述設備的動作狀態返回前一個狀態。
10、 根據權利要求l所述的用于調整識別方法的裝置，其特征在于， 在所述腦波接口部以互不相同的多種切換頻率分別提示多種操作菜單的菜單項目時，所述決定部，基于所述多種切換頻率的每一個與所述腦 波信號的代表頻率的相對量，判定所述代表頻率是否與某個操作菜單的菜 單項目的切換關聯。
11、 根據權利要求10所述的用于調整識別方法的裝置，其特征在于, 所述決定部，基于按照相互不是整數倍的關系的方式設定的所述多種切換頻率的每一個與所述腦波信號的代表頻率之間的相對量，判定所述代 表頻率是否與某個操作菜單的菜單項目的切換關聯。
12、 根據權利要求10所述的用于調整識別方法的裝置，其特征在于， 所述決定部，對所述多種切換頻率的每一個與所述腦波信號的代表頻率之間的相對量中最小的相對量所對應的切換頻率進行確定，判定所述代 表頻率與以確定的所述切換頻率提示的菜單項目的切換是否關聯。
13. 根據權利要求12所述的用于調整識別方法的裝置，其特征在于， 所述決定部，對與所述多種切換頻率的每一個對應的閾值進行保持， 所述決定部，在所述最小的相對量比與確定的所述切換頻率對應的閾值小時，判定所述代表頻率與以確定的所述切換頻率提示的菜單項目的切 換關聯，當所述最小的相對量在與確定的所述切換頻率對應的閾值以上 時，判定所述代表頻率與以確定的所述切換頻率提示的菜單項目的切換不 關聯。
14. 根據權利要求l所述的用于調整識別方法的裝置，其特征在于， 所述腦波接口部，保持有用于對在所述菜單項目被高亮顯示后的所述腦波信號中含有的事態關聯電位中是否含有P3成分進行識別的閾值，所述決定部，在判定所述代表頻率與所述菜單項目的切換不關聯的情 況下，使所述閾值的大小向難以檢測事態關聯電位的P3成分的一側改變。
15. —種識別與否決定方法，在腦波接口系統中用于決定是否使腦波 接口部進行腦波信號的識別，所述腦波接口系統具有以視覺方式提示設備的操作菜單的輸出部； 取得用戶的所述腦波信號的生物體信號測量部；和 經由所述輸出部以特定的切換頻率提示所述操作菜單的菜單項目，基 于預先保持的所述腦波信號識別在所述菜單項目被高亮顯示后的所述腦 波信號中含有的事態關聯電位的成分，并基于識別出的所述事態關聯電位 使所述設備動作的所述腦波接口部， 所述識別與否決定方法包括計算所述腦波信號的頻率功率為極大的頻率作為代表頻率的步驟；基于所述菜單項目的切換頻率以及所述腦波信號的代表頻率的相對 量，判定所述代表頻率與所述菜單項目的切換是否關聯的步驟；在判定關聯的情況下，對所述腦波接口部指示采用所述腦波信號作為 識別對象的步驟；和在判定不關聯的情況下，對所述腦波接口部指示將所述腦波信號從識 別對象中除去的步驟。
16. 根據權利要求15所述的識別與否決定方法，其特征在于， 在所述腦波接口部以相互不同的多種切換頻率分別提示多種操作菜單的菜單項目時，所述判定步驟，基于所述多種切換頻率的每一個與所述腦 波信號的代表頻率的相對量，判定所述代表頻率是否與某個操作菜單的菜 單項目的切換關聯。
17. 根據權利要求16所述的識別與否決定方法，其特征在于， 所述判定步驟，對所述多種切換頻率的每一個與所述腦波信號的代表頻率之間的相對量中的最小相對量所對應的切換頻率進行確定，判定所述 代表頻率與以確定的所述切換頻率提示的菜單項目的切換是否關聯。
18. 根據權利要求17所述的識別與否決定方法，其特征在于， 進一步包括準備與所述多種切換頻率的每一個對應的閾值的步驟， 所述判定步驟，在所述最小的相對量比與確定的所述切換頻率對應的閾值小時，判定所述代表頻率與以確定的所述切換頻率提示的菜單項目的 切換關聯，當所述最小的相對量在與確定的所述切換頻率對應的閾值以上 時，判定所述代表頻率與以確定的所述切換頻率提示的菜單項目的切換不 關聯。
19. 一種用于調整識別方法的裝置，其在腦波接口系統中用于對在腦 波接口部中采用的腦波信號的識別方法進行調整，所述腦波接口系統具 有以視覺方式提示設備的操作菜單的輸出部；取得用戶的所述腦波信號的生物體信號測量部；和經由所述輸出部以特定的切換頻率提示所述操作菜單的菜單項目，基 于預先保持的所述腦波信號識別在所述菜單項目被高亮顯示后的所述腦 波信號中含有的事態關聯電位的成分，并基于識別出的所述事態關聯電位 使所述設備動作的所述腦波接口部，所述用于調整識別方法的裝置具備頻率分析部，其計算所述腦波信號的頻率功率為極大的頻率作為代表 頻率；和決定部，其基于所述菜單項目的切換頻率以及所述腦波信號的代表頻 率的相對量，判定所述代表頻率是否與所述菜單項目的切換關聯，在判定 關聯的情況下，判斷所述用戶在觀看所述菜單項目，在判定不關聯的情況 下，判斷所述用戶不在觀看所述菜單項目，并根據判斷結果調整所述腦波接口部的所述腦波信號的識別方法。
全文摘要
本發明的識別與否決定裝置(10)，在腦波接口系統(1)中用于決定是否進行腦波信號的識別，具備計算腦波信號的頻率功率為極大的代表頻率的頻率分析部(11)；和決定部(12)。決定部(12)，基于菜單項目的切換頻率以及腦波信號的代表頻率的相對量，判定代表頻率是否與菜單項目的切換關聯，根據所判定的結果，對腦波接口部(100)輸出用于對在腦波接口部(100)中采用的腦波信號的識別方法進行調整的指示。從而在具備利用腦波的接口的系統中，根據用戶腦波的頻率判定用戶是否觀看了菜單，可從識別對象中除去用戶不在觀看菜單的情況下。
文檔編號G06F3/01GK101558368SQ20088000106
公開日2009年10月14日 申請日期2008年3月13日 優先權日2007年3月28日
發明者森川幸治, 足立信夫 申請人:松下電器產業株式會社