基于認知與情緒狀態多模態感知的腦機接口系統的制作方法
【專利摘要】本發明公開一種基于認知與情緒狀態多模態感知的腦機接口系統，包括便攜式生理信號采集與分析系統、基于視頻分析的行為識別系統、無線網關和數據融合與反饋計算機系統；本發明能夠解決認知/情緒等腦高級功能的解析與反饋問題，并突破傳統認知和情緒分離的腦特異性理論的局限，構建基于情緒-認知整合框架下的認知與情緒感知與計算的多模態腦機接口系統，揭示認知/情緒層次腦機融合的計算規律，實現腦與機器之間的高效匹配。
【專利說明】基于認知與情緒狀態多模態感知的腦機接口系統
【技術領域】
[0001]本發明涉及腦機接口領域，具體涉及一種用于認知/情緒層次的腦與信息系統交互的基于認知與情緒狀態多模態感知的腦機接口系統。
【背景技術】
[0002]人腦是世界上最復雜的、威力最強大的系統，在人腦與機器之間建立腦機接口(01-8111-180111116811)，即建立直接的信息通道和全新的交互方式，將涉及眾多領域創新的前沿，對科技、經濟、軍事，甚至社會的發展影響巨大。
[0003]而腦機接口技術因其涉及眾多領域創新的前沿，對科技、經濟、軍事，甚至社會的發展影響巨大，但截至目前，國內外腦機接口領域主要關注的是運動/感覺層次腦機接口領域的研究，只涉及到對腦低層次功能的解析和反饋。國內外腦機接口領域主要關注的是運動/感覺層次腦機接口研究，也取得了一些大的進展。現在不僅發展了一些由肌電、腦電、視覺、語音控制的信息系統，以修復一些動作功能(如行走、取物)、以及修復一些感知功能(如耳蝸、視力恢復)；還為腦或脊髓損傷、中風、腦癱等因素導致的外周神經或肌肉運動功能受損人群開發了機能增強技術和設備。
[0004]現有技術中，有大量專利公開了運動/感覺層次腦機接口系統的構建方法，例如:《基于多模態腦機接口的智能輪椅》(⑶201110268891.5)、《針對下肢的層級式功能性電刺激康復系統》(⑶200910310630.8)、《一種基于運動想象與？300腦電電位的功能鍵選擇方法》(⑶201010509550.8)等。雖然運動/感覺層次腦機接口取得了長足進展，但運動/感覺層次腦機接口研究只涉及到對腦低層次功能的解析和反饋。近15年來，在認知神經科學、神經生化、心理生理計算、信息技術等相關學科的推動下，使得涉及認知和情緒等腦高級智能的腦機接口的研究變得可能。認知/情緒層面腦機接口涉及到對人認知、情感和決策行為的感知、解讀、識別和反饋控制，直接涉及更廣闊的國家戰略需求。
[0005]此外，目前國內外認知與情緒狀態分析與識別研究主要還是集中在對6種基本情感(高興、悲傷、憤怒、恐懼、驚奇、厭惡)的識別及少量認知狀態的識別，而采用的方法主要是單模態分析。目前已經發展的單模態認知與情緒評測方法存在一些局限，多模態信息感知與融合方法已經成為國際學術界公認的方案。但眾多指標之間的關聯關系、各模態之間的關聯關系、各個模態對辨識目標的貢獻率等多模態分析的關鍵問題沒有得到很好的解決。
【發明內容】
[0006]發明目的:本發明的目的在于突破傳統單模態腦功能感知方法存在的局限，從生理-行為多模態信息融合視角下實現對認知與情緒狀態的實時感知與識別，最終提供一種基于認知與情緒狀態多I吳態感知的腦機接口系統。
[0007]技術方案:本發明的一種基于認知與情緒狀態多模態感知的腦機接口系統，包括便攜式生理信號采集與分析系統、基于視頻分析的行為識別系統、無線網關和數據融合與反饋計算機系統；所述便攜式生理信號采集與分析系統以及基于視頻分析的行為識別系統均通過無線網關分別與數據融合與反饋計算機系統實現雙向通訊連接；所述數據融合與反饋計算機系統通過無線網關向便攜式生理信號采集與分析系統以及基于視頻分析的行為識別系統同步發送數據采集指令，然后二者分別進行數據生理信號和行為數據的同步采集與實時分析，所述數據融合與反饋計算機系統收到所述分析結果后，對所獲得的生理數據和行為數據進行融合計算并得到認知與情緒狀態的估計結果，所述估計結果將進一步反饋給執行機構從而實現腦與機器的雙向交互接口。
[0008]進一步的，所述便攜式生理信號采集與分析系統包括微處理器、用于采集原始腦電信號的雙導腦電采集模塊、用于采集與心率同步的脈沖信號的耳夾式紅外心率采集模塊、無線收發模塊、SD卡讀寫模塊、電源調節與管理模塊、鋰電池和USB充電模塊，所述微處理器對存儲于SD卡讀寫模塊中的原始腦電信號和脈沖信號數據進行分析處理，并通過無線收發模塊將分析處理結果實時發送至數據融合與反饋計算機系統；所述USB充電模塊對鋰電池充電。
[0009]進一步的，所述原始腦電信號中可提取出反映大腦活動節律的腦電波功率譜，所述腦電波功率譜包括δ波、Θ波、α波、β波和Υ波；所述脈沖信號中可獲得產生心率變異性時域和頻率指標。
[0010]進一步的，所述雙導腦電采集模塊由干電池供電，在采集腦電信號時，頭皮位置的作用電極放置于雙側前額葉，參考電極和地電極分別放置于左右耳垂處。
[0011]進一步的，所述基于視頻分析的行為識別系統包括嵌入式平臺、攝像機、無線收發模塊和SD卡讀寫模塊，所述嵌入式平臺通過攝像機實時記錄和分析用戶的行為和面部表情并存儲于SD卡讀寫模塊，同時通過無線收發模塊實時將行為和面部表情的數據發送至數據融合與反饋計算機系統。
[0012]進一步的，所述數據融合與反饋計算機系統包括計算機和執行機構，所述計算機通過無線網關將采樣指令同步發送給便攜式生理信號采集與分析系統和基于視頻分析的行為識別系統，實現生理信號和行為信號同步采集，并同時通過無線網關接受便攜式生理信號采集與分析系統以及基于視頻分析的行為識別系統的計算結果，該計算結果經過數據融合算法生成控制信號來驅動執行機構實現腦與機器的雙向交互接口。
[0013]進一步的，所述數據融合算法通過分析多模態指標與識別目標之間的關聯關系獲得認知與情緒狀態識別的關鍵生理及行為指標。
[0014]進一步的，所述執行機構為機械機構(例如假肢和康復機械等)和虛擬3D場景中的任意一種。
[0015]有益效果:與現有技術相比，本發明具有以下優點:
[0016](I)國內外腦機接口技術目前主要聚焦于對腦低層次功能的解析和反饋；本發明從情緒-認知整合視角對認知與情緒狀態進行多模態信息感知，建立認知與情緒評測的關鍵生理及行為指標，實現對認知、情感和決策行為的感知、解讀與識別，在此基礎上構建認知/情緒層次腦機接口系統。
[0017](2)本發明突破傳統認知和情緒分離的腦特異性理論的局限，提出基于情緒-認知整合框架下的認知與情緒感知與計算新方法，探索認知/情緒層次腦機融合的感知與認知的計算規律，實現腦與機器之間的高效匹配。
[0018](3)本發明建立我國特定人群的核心認知與情緒表征集，并建立多模態指標和認知與情緒評測目標之間的關聯關系，在此基礎上建立認知與情緒評測的關鍵指標，并據此通過機器學習的方法建立認知與情緒狀態估計模型。
[0019](4)本發明提出了一種新的多元數據分析方法，分析獲得多模態指標與識別目標之間的關聯關系，在此基礎上建立認知與情緒評測的關鍵生理及行為指標。
[0020](5)目前國內外認知與情緒狀態分析與識別研究主要集中在對6種基本情感(高興、悲傷、憤怒、恐懼、驚奇、厭惡)的識別及少量認知狀態的識別，本發明實現了對復雜認知與情緒狀態的感知與識別。
[0021](6)本發明突破傳統單模態認知與情緒狀態感知技術存在的局限，采用生理-行為多模態感知與融合技術，實現對認知與情緒狀態的實時感知與估計。
【專利附圖】
【附圖說明】
[0022]圖1為本發明的整體組成框圖；
[0023]圖2為本發明中的便攜式生理信號采集與分析系統的組成框圖；
[0024]圖3為本發明中的基于視頻分析的行為識別系統的組成框圖；
[0025]圖4為本發明中的無線網關的組成框圖；
[0026]圖5為本發明中的數據融合與反饋計算機系統的組成框圖。
【具體實施方式】
[0027]下面對本發明技術方案結合附圖進行詳細說明。
[0028]如圖1所示，本發明的一種基于認知與情緒狀態多模態感知的腦機接口系統，包括便攜式生理信號采集與分析系統10、基于視頻分析的行為識別系統20、無線網關30和數據融合與反饋計算機系統40 ；所述便攜式生理信號采集與分析系統10以及基于視頻分析的行為識別系統20均通過無線網關30分別與數據融合與反饋計算機系統40實現雙向通訊連接；所述數據融合與反饋計算機系統40通過無線網關30向便攜式生理信號采集與分析系統10以及基于視頻分析的行為識別系統20同步發送數據采集指令，然后二者分別進行數據生理信號和行為數據的同步采集與實時分析，所述數據融合與反饋計算機系統40收到所述分析結果后，對所獲得的生理數據和行為數據進行融合計算并得到認知與情緒狀態的估計結果，所述估計結果將進一步反饋給執行機構從而實現腦與機器的雙向交互接0。
[0029]如圖2所示，本實施例中的便攜式生理信號采集與分析系統10的整體封裝于可頭戴的外殼中，具體包括微處理器、無線收發模塊、30卡讀寫模塊、耳夾式紅外心率采集模塊、雙導腦電采集模塊、電源調節與管理模塊、鋰電池』38充電模塊等模塊，所述微處理器對存儲于30卡讀寫模塊中的原始腦電信號和脈沖信號數據進行分析處理，并通過無線收發模塊將分析處理結果實時發送至數據融合與反饋計算機系統40 ；通過與計算機的…8接口或者與帶舊8接口的八00(:器件相連，舊8充電模塊能夠實現對鋰電池的充電功能；由于鋰電池輸出電壓范圍為3.7-4.2^,電源調節與管理模塊可以對本系統所有模塊單元提供穩定可靠的3.和訊電源；雙導腦電采集模塊包括干電極、三級放大電路、帶通濾波器和入/0轉換器等單元組成，兩個干電極布置在雙側前額葉，而參考電極和地電極分別位布置在雙耳耳垂；由干電極獲得的腦電信號經過三級放大電路放大后再經過帶通濾波器獲得信噪比較高的信號，該信號再經過高精度八/0轉換器處理后獲得穩定的原始腦電信號；耳夾式紅外心率采集模塊由耳夾式紅外傳感器、放大電路、比較器、濾波器等單元組成，由耳夾式紅外傳感器獲得的信號經過放大電路放大后再經過比較器和濾波器處理后獲得與心率同步的脈沖信號，該脈沖信號直接與微處理器的1/0 口相連，微處理器將通過現有公知技術計算產生心率變異性時域和頻率指標；大腦活動節律的8波、0波、0波、波、^波功率譜、以及心率變異性時域和頻率指標，將通過無線收發模塊實時發送給無線網關30。
[0030]從上述原始腦電信號中可提取出反映大腦活動節律的腦電波功率譜，其中腦電波功率譜包括 8 波(1-3?)、0 波(4-7?)、0 波(8-13?)、波(14-25?)和、波(25?以上)；且從脈沖信號中可獲得產生心率變異性時域和頻率指標。
[0031]如圖3所示，在本實施例中，基于視頻分析的行為識別系統20包括嵌入式平臺、攝像機、無線收發模塊、80卡讀寫模塊、液晶顯示模塊、電源調節與管理模塊、鋰電池、^88充電模塊等模塊單元；所述嵌入式平臺通過攝像機實時記錄和分析用戶的行為和面部表情并存儲于30卡讀寫模塊，同時通過無線收發模塊實時將行為和面部表情的數據發送至數據融合與反饋計算機系統40。
[0032]其中，通過與計算機…8接口或者與帶…8接口的…-0(:器件相連，…8充電模塊實現對鋰電池的充電功能；由于鋰電池輸出電壓范圍為3.7-4.2、，電源調節與管理模塊可以對本系統所有功能單元提供穩定可靠的3.和訊電源。
[0033]如圖4所示，在本實施例中，無線網關30由微處理器、無線收發模塊、串口轉…8接口模塊、電源調節與管理模塊等組成；電源調節與管理模塊獲得穩定的3.舊電源供無線網關30系統使用；微處理器通過串口轉口38接口模塊與數據融合與反饋計算機系統40的…8接口相連，并采用無線組網技術與便攜式生理信號采集與分析系統10以及基于視頻分析的行為識別系統20實現雙向無線通訊。
[0034]如圖5所示，在本實施例中，數據融合與反饋計算機系統40包括計算機、第一口38接口、第二舊8接口、執行機構和電源調節與管理模塊，所述計算機通過第一舊8接口與無線網關30相連，然后通過無線網關30將采樣指令同步發送給便攜式生理信號采集與分析系統10和基于視頻分析的行為識別系統20，實現生理信號和行為信號同步采集，并同時通過無線網關30接受便攜式生理信號采集與分析系統10以及基于視頻分析的行為識別系統20的計算結果，該計算結果經過數據融合算法通過第二舊8接口生成執行機構的控制信號來驅動執行機構實現腦與機器的雙向交互接口 ；其中電源調節與管理模塊將為計算機以及執行機構提供所需穩定電源。
[0035]上述的所述數據融合算法通過分析多模態指標與識別目標之間的關聯關系獲得認知與情緒狀態識別的關鍵生理及行為指標。
[0036]綜上所述，本發明能夠實時獲取對象的生理-行為多模態數據，借助多元數據分析方法分析獲得多I旲態指標與識別目標之間的關聯關系，在此基礎上建立認知與情緒評測的關鍵生理及行為指標；且本發明將獲取的認知與情緒狀態的實時感知與識別結果進行實時反饋控制，在腦與機器之間建立直接雙向信息通道和認知/情緒層次交互接口。
【權利要求】
1.一種基于認知與情緒狀態多模態感知的腦機接口系統，其特征在于:包括便攜式生理信號采集與分析系統、基于視頻分析的行為識別系統、無線網關和數據融合與反饋計算機系統； 所述便攜式生理信號采集與分析系統以及基于視頻分析的行為識別系統均通過無線網關分別與數據融合與反饋計算機系統實現雙向通訊連接； 所述數據融合與反饋計算機系統通過無線網關向便攜式生理信號采集與分析系統以及基于視頻分析的行為識別系統同步發送數據采集指令，然后二者分別進行數據生理信號和行為數據的同步采集與實時分析； 所述數據融合與反饋計算機系統收到所述分析結果后，對所獲得的生理數據和行為數據進行融合計算并得到認知與情緒狀態的估計結果，所述估計結果將進一步反饋給執行機構從而實現腦與機器的雙向交互接口。
2.根據權利要求1所述的基于認知與情緒狀態多模態感知的腦機接口系統，其特征在于:所述便攜式生理信號采集與分析系統包括微處理器、用于采集原始腦電信號的雙導腦電采集模塊、用于采集與心率同步的脈沖信號的耳夾式紅外心率采集模塊、無線收發模塊、SD卡讀寫模塊、電源調節與管理模塊、鋰電池和USB充電模塊，所述微處理器對存儲于SD卡讀寫模塊中的原始腦電信號和脈沖信號數據進行分析處理，并通過無線收發模塊將分析處理結果實時發送至數據融合與反饋計算機系統；所述USB充電模塊對鋰電池充電。
3.根據權利要求2所述的基于認知與情緒狀態多模態感知的腦機接口系統，其特征在于:所述原始腦電信號中可提取出反映大腦活動節律的腦電波功率譜，所述腦電波功率譜包括δ波、Θ波、α波、β波和Υ波；所述脈沖信號中可獲得產生心率變異性時域和頻率指標。
4.根據權利要求2所述的基于認知與情緒狀態多模態感知的腦機接口系統，其特征在于:所述雙導腦電采集模塊由干電池供電，在采集腦電信號時，頭皮位置的作用電極放置于雙側前額葉，參考電極和地電極分別放置于左右耳垂處。
5.根據權利要求1所述的基于認知與情緒狀態多模態感知的腦機接口系統，其特征在于:所述基于視頻分析的行為識別系統包括嵌入式平臺、攝像機、無線收發模塊和SD卡讀寫模塊，所述嵌入式平臺通過攝像機實時記錄和分析用戶的行為和面部表情并存儲于SD卡讀寫模塊，同時通過無線收發模塊實時將行為和面部表情的數據發送至數據融合與反饋計算機系統。
6.根據權利要求1所述的基于認知與情緒狀態多模態感知的腦機接口系統，其特征在于:所述數據融合與反饋計算機系統包括計算機和執行機構，所述計算機通過無線網關將采樣指令同步發送給便攜式生理信號采集與分析系統和基于視頻分析的行為識別系統，實現生理信號和行為信號同步采集，并同時通過無線網關接受便攜式生理信號采集與分析系統以及基于視頻分析的行為識別系統的計算結果，該計算結果經過數據融合算法生成控制信號來驅動執行機構實現腦與機器的雙向交互接口。
7.根據權利要求6所述的基于認知與情緒狀態多模態感知的腦機接口系統，其特征在于:所述數據融合算法通過分析多模態指標與識別目標之間的關聯關系獲得認知與情緒狀態識別的關鍵生理及行為指標。
8.根據權利要求6所述的基于認知與情緒狀態多模態感知的腦機接口系統，其特征在于:所述執行機構為機械機構和虛擬3D場景中的任意一種。
【文檔編號】A61B5/16GK104391569SQ201410547000
【公開日】2015年3月4日 申請日期:2014年10月15日 優先權日:2014年10月15日
【發明者】禹東川 申請人:東南大學