一種基于多生理信號融合的精神狀態檢測系統及方法
【專利摘要】本發明提出一種基于多生理信號融合的精神狀態檢測系統及方法，屬于數字信號處理及可穿戴智能設備領域，系統包括腦電采集單元、生理信號采集單元，處理器單元和提示警告單元，本發明融合多種生理信號，利用各自的特征對人不同的狀態進行判別分析，并借助分類器模型達到預期的分類識別效果；相對來說，彌補了單一生理信號特征檢測的不足；以腦電、皮溫、心率、脈搏等生理信號為基礎的檢測方法是一種隱式人機交換，在不干涉人的正常生活的情況下，實現對人體自然狀態下的精神狀態的長期檢測。
【專利說明】
-種基于多生理信號融合的精神狀態檢測系統及方法
技術領域
[0001] 本發明屬于數字信號處理及可穿戴智能設備領域，具體設及一種基于多生理信號 融合的精神狀態檢測系統及方法。
【背景技術】
[0002] 隨著人機交互技術和可穿戴設備技術的發展，生理信號被廣泛地應用于交互的設 計和評價，研究表明已經可W利用人的生理信號來判別精神狀態和精神壓力，并且在許多 領域基于運種生理信號的檢測方法逐漸得到研究人員的重視，運些領域主要包括人機交 互、情感計算、自適應技術等。
[0003] 目前，對人的精神狀態的檢測主要包括主觀檢測和客觀檢測。主觀檢測主要是通 過主觀評價表來進行評定的，運種方法比較簡單，但是主要依靠人的主觀判斷，差異性大， 可靠性較低，一般不能作為評價狀態的標準尺度。客觀檢測主要是基于生理特征和基于機 器視覺的面部特征的檢測，其中，基于生理信號的檢測的優點在于，記錄的生理信號具有非 常高的時間分辨率，很難受到人的主觀意愿的影響，從而能夠客觀地反應出人的狀態;而利 用視頻采集人的面部特征的判別方法容易受光照條件的影響，并對視頻檢測技術的要求非 常高，測量的可靠性技術需要取得突破。
【發明內容】
[0004] 針對現有技術的不足，本發明提出一種基于多生理信號融合的精神狀態檢測系統 及方法，W達到彌補單一生理信號特征檢測不足的目的。
[0005] -種基于多生理信號融合的精神狀態檢測系統，該系統包括腦電采集單元、生理 信號采集單元，處理器單元和提示警告單元，其中，
[0006] 腦電采集單元:用于采集用戶頭部的腦電信號，并發送至處理器單元中；
[0007] 生理信號采集單元：用于采集用戶手腕處的脈搏信號、胸口處的屯、電信號和蔽下 的皮溫信號，并將信號發送至處理器單元中；
[000引處理器單元：
[0009] 當構建模板時：用于對所采集的腦電信號、脈搏信號、屯、電信號和皮溫信號進行特 征參數提取，獲得用戶在不同狀態下所采集信號兩兩之間的相關性，并根據相關系數進行 等級劃分;采用D-S方法對信號進行特征融合，將融合后的不同狀態下各信號的特征值作為 模糊神經網絡的輸入，將對應的用戶狀態作為模糊神經網絡的輸出，對模糊神經網絡進行 訓練;結合用戶PVT測試的結果，獲得所構建的神經網絡的識別準確率，若識別準確率到達 設定闊值，則完成該用戶模板的構建；
[0010] 當用于實時檢測時：用于對所采集的信號進行特征參數提取并進行融合，將融合 后的結果輸入至訓練好的模糊神經網絡中，獲得被測用戶當前的狀態，并將檢測結果發送 至提示警告單元中；
[0011] 提示警告單元:根據檢測的疲勞結果對用戶進行提示。
[0012] 采用基于多生理信號融合的精神狀態檢測系統進行的檢測方法，包括W下步驟：
[0013] 步驟1、采用腦電采集單元和生理信號采集單元采集用戶在不同狀態下的不同生 理信號，包括頭部的腦電信號、手腕處的脈搏信號、胸口處的屯、電信號和蔽下的皮溫信號， 并將信號發送至處理器單元中；
[0014] 步驟2、處理器單元根據接收的用戶在不同狀態下的不同生理信號，構建該用戶的 模板，具體步驟如下：
[0015] 步驟2-1、對各信號進行特征參數提取；
[0016] 對腦電信號進行小波分解，并提取腦電功率譜的比值作為腦電信號的特征參數；
[0017] 提取屯、電信號的屯、率作為屯、電信號的特征參數；
[0018] 提取脈搏信號的時域信號最大值、時域信號最小值、時域信號均值、時域信號標準 差、頻域信號最大值、頻域信號最小值、頻域信號均值和頻域信號標準差，作為脈搏信號的 特征參數；
[0019] 提取皮溫信號的時域信號最大值、時域信號最小值、時域信號均值、時域信號標準 差、頻域信號最大值、頻域信號最小值、頻域信號均值和頻域信號標準差，作為皮溫信號的 特征參數；
[0020] 步驟2-2、獲得用戶在不同狀態下腦電信號、脈搏信號、屯、電信號和皮溫信號兩兩 之間的相關性，并對不同信號之間的相關系數進行等級劃分；
[0021] 步驟2-3、根據不同信號之間的相關系數，采用D-S方法對信號進行特征融合；
[0022] 步驟2-4、將融合后的不同狀態下各信號的特征值作為模糊神經網絡的輸入，將對 應的用戶狀態作為模糊神經網絡的輸出，對模糊神經網絡進行訓練；
[0023] 步驟2-5、結合用戶PVT測試的結果，獲得所構建的神經網絡的識別準確率；
[0024] 步驟2-6、判斷識別準確率是否到達設定闊值，若是，則完成該用戶模板的構建;否 則返回執行步驟2-1;
[0025] 步驟3、實時采用被測用戶的腦電信號、脈搏信號、屯、電信號和皮溫信號，采用處理 器單元對所采集的信號進行特征參數提取并進行融合，將融合后的結果輸入至訓練好的模 糊神經網絡中，獲得被測用戶當前的狀態.
[0026] 步驟4、提示警告單元根據檢測的疲勞結果對用戶進行提示。
[0027] 步驟1所述的不同狀態，包括重度疲勞、中度疲勞、輕度疲勞、興奮、平靜和不確定6 中狀態，具體判斷標準如下：
[002引
ο
[0029] 步驟4所述的提示警告單元根據檢測的疲勞結果對用戶進行提示，具體為：當被測 用戶處于疲勞狀態時進行提示。
[0030] 本發明優點：
[0031] 本發明提出一種基于多生理信號融合的精神狀態檢測系統及方法，融合多種生理 信號，利用各自的特征對人不同的狀態進行判別分析，并借助分類器模型達到預期的分類 識別效果;相對來說，彌補了單一生理信號特征檢測的不足；W腦電、皮溫、屯、率、脈搏等生 理信號為基礎的檢測方法是一種隱式人機交換，在不干設人的正常生活的情況下，實現對 人體自然狀態下的精神狀態的長期檢測，而且腦電和屯、率信號是能夠直接準確反映出人體 生理狀態的"金標準"，其對于精神健康狀態的檢測遠勝于傳統的基于十二經穴的生物電流 的檢測方法;此外，本發明中提及的處理器單元它帶有化herCAT總線，又稱工業W太網，具 有極強的數據處理與存儲能力，從長遠看，若通過其將采集到用戶數據連入云端，進行一個 大數據的整流與存儲，即可建成一個基于生理信號的健康數據庫，運在"大數據"時代也是 極為可觀的。
【附圖說明】
[0032] 圖1為本發明一種實施方式的基于多生理信號融合的精神狀態檢測系統結構框 圖；
[0033] 圖2為本發明一種實施方式的基于多生理信號融合的精神狀態檢測流程圖；
[0034] 圖3為本發明一種實施方式的各種不同的生理信號示意圖，其中，圖（a)為屯、電信 號、脈搏信號、皮溫信號示意圖；圖(b)為腦電生理信號示意圖；
[0035] 圖4為本發明一種實施方式的構建該用戶的模板方法流程圖；
[0036] 圖5為本發明一種實施方式的提取的特征分布圖；
[0037] 圖6為本發明一種實施方式的模糊神經網絡示意圖；
[0038] 圖7為本發明一種實施方式的疲勞識別準確率示意圖。
【具體實施方式】
[0039] 下面結合附圖對本發明一種實施例做進一步說明。
[0040] 本發明實施例中，如圖1所示，基于多生理信號融合的精神狀態檢測系統，該系統 包括腦電采集單元、生理信號采集單元，處理器單元和提示警告單元；
[0041] 本發明實施例中，腦電信號采集單元采用美國EM0TIV系統公司開發的便攜式腦電 感知系統Emotiv Epoc，該裝置利用一部能夠測量腦電活動的、類似于腦電圖的裝置，來實 時探測和處理腦電波W及面部肌肉信號。該設備通過非侵入方式采集腦電信號，可W測量 人體多種思想、情感信號;此外，Emotiv化0C頭盎還整合了一個巧螺儀，可W通過思維活動 來控制窗口圖像或鼠標指針。
[0042] 本發明實施例中，生理信號信號采集單元采用津發科技有限公司定做的生理信號 獲取平臺；肌電采集端子通過貼附于受試者皮膚表面的電極片獲取電位變化，經過內部放 大電路放大，W無線傳輸方式實時發送給接收端，該系統可W同時采集16路sEMG等生理信 號，每一導采樣頻率可W達到4096化，sEMG量程為正負1500UV，共模抑制比達到110DB，干擾 噪聲最大小于1.7UV，每個接收端充滿電后可W連續使用4~6小時，接收端與采集端最遠距 離可達500m，具有極強的跟蹤范圍，并且采集使用方便快捷。
[0043] 本發明實施例中，處理器采用采用英偉達公司生產的NVIDIA Jetson TK1開發主 板，Jetson接口包含192個CUDA核屯、的NVIDIAKeplerGPU，NVIDIA四核ARMCorteχ- A15CPU，RS232串行端口，2GB運行內存，16GB eMMC存儲空間，1 個USB 2.0端口、Micro AB Jetson接口，1個帶Mic In和Line Out的ALC5639Realtek音頻編解碼器，1個RTL8111GS Realtek千兆位W太網局域網，SPI 4兆字節引導閃存，1個SATA數據端口，1個完整尺寸SD/ MMC連接器，1個完整尺寸HDMI端口。腦電采集單元采集腦部的14個不同位置的腦電信號，生 理信號采單元的輸出端和腦電采集單元的輸出端通過藍牙連接處理器單元的輸入端，處理 器的輸出端連接預警提示系統的輸入端;DSP處理器RS232串口連接提示警告單元，提示警 告單元由一個發聲裝置組成，將DSP輸出的數字信號轉化為聲音信號。
[0044] 本發明實施例中，腦電采集單元用于采集用戶頭部的腦電信號，并發送至處理器 單元中；
[0045] 本發明實施例中，生理信號采集單元用于采集用戶手腕處的脈搏信號、胸口處的 屯、電信號和蔽下的皮溫信號，并將信號發送至處理器單元中；
[0046] 本發明實施例中，處理器單元，當構建模板時：用于對所采集的腦電信號、脈搏信 號、屯、電信號和皮溫信號進行特征參數提取，獲得用戶在不同狀態下所采集信號兩兩之間 的相關性，并根據相關系數進行等級劃分;采用D-S方法對信號進行特征融合，將融合后的 不同狀態下各信號的特征值作為模糊神經網絡的輸入，將對應的用戶狀態作為模糊神經網 絡的輸出，對模糊神經網絡進行訓練;結合用戶PVT測試的結果，獲得所構建的神經網絡的 識別準確率，若識別準確率到達設定闊值，則完成該用戶模板的構建；當用于實時檢測時： 用于對所采集的信號進行特征參數提取并進行融合，將融合后的結果輸入至訓練好的模糊 神經網絡中，獲得被測用戶當前的狀態，并將檢測結果發送至提示警告單元中.
[0047] 本發明實施例中，提示警告單元根據檢測的疲勞結果對用戶進行提示。
[0048] 采用基于多生理信號融合的精神狀態檢測系統進行的檢測方法，方法流程圖如圖 2所示，包括W下步驟：
[0049] 步驟1、采用腦電采集單元和生理信號采集單元采集用戶在不同狀態下的不同生 理信號，包括頭部的腦電信號、手腕處的脈搏信號、胸口處的屯、電信號和蔽下的皮溫信號， 并將信號發送至處理器單元中；
[0050] 本發明實施例中，所采集的給類信號如圖3所示；
[0051] 所述的不同狀態，包括重度疲勞、中度疲勞、輕度疲勞、興奮、平靜和不確定6中狀 態，具體判斷標準如表1:
[0化2] 表1
[0化3]
[0054] 步驟2、處理器單元根據接收的用戶在不同狀態下的不同生理信號，構建該用戶的 模板，具體方法流程圖如圖4所示，具體步驟如下：
[0055] 步驟2-1、對各信號進行特征參數提取；
[0056] 本發明實施例中，特征分布如圖5所示，對腦電信號進行小波分解，并提取腦電功 率譜的比值Κ=(α+θ)/β(α波段、Θ波段、β波段，腦電波根據頻率的不同分為不同的波段，并 Κα、θ、β···.等命名）作為腦電信號的特征參數;提取屯、電信號的屯、率化R)作為屯、電信號的 特征參數;提取脈搏信號的時域信號最大值、時域信號最小值、時域信號均值、時域信號標 準差、快速傅里葉變換后，頻域信號最大值、頻域信號最小值、頻域信號均值和頻域信號標 準差，作為脈搏信號的特征參數;提取皮溫信號的時域信號最大值、時域信號最小值、時域 信號均值、時域信號標準差、快速傅里葉變換后頻域信號最大值、頻域信號最小值、頻域信 號均值和頻域信號標準差，作為皮溫信號的特征參數；
[0057] 步驟2-2、獲得用戶在不同狀態下腦電信號、脈搏信號、屯、電信號和皮溫信號兩兩 之間的相關性，并對不同信號之間的相關系數進行等級劃分；
[0化引具體公式如下：
[0059]
(U)
[0060] 其中，m為一種信號，η為另一種信號；
[0061] 本發明實施例中，得到用戶不同狀態下時域和頻域中各生理信號之間的相關性結 果，如表2所示;相關系數表示兩個相關量之間的密切程度，相關系數越小，表明兩個相關量 之間的關系越弱;相關系數越大表明兩個相關量之間的相關性關系越強；
[0062] 表2各生理信號的相關性分析
[0063]
[0065] 本發明實施例中，相關系數的劃分如表3所示：
[0066] 表3相關系數的劃分
[0067]
[0068] 步驟2-3、根據不同信號之間的相關系數，采用D-S方法對信號進行特征融合；
[0069] 本發明實施例中，將各傳感器采集的信號作為證據，每個傳感器提供一組命題，建 立一個相應的信度函數，運樣多傳感器信息融合實質上就成為在同一識別框架下，將不同 的證據體合并成一個新的證據體的過程；
[0070] 多傳感器信息融合的一般過程是：
[0071] (1)分別計算各傳感器的基本可信數、信度函數和似真度函數；
[0072] (2)用Dempster合并規則求得所有傳感器聯合作用下的基本可信數、信度函數和 似真度函數；
[0073] (3)選擇具有最大支持度的目標。
[0074] 先由η個傳感器分別給出m個決策目標集的信度，經Dempster合并規則合成一致的 對m個決策目標集的信度.最后，對各可能決策利用某一決策規則，得到結果。
[0075] 本發明實施例中，將不同的生理狀態分為清醒、疲勞和不確定Ξ種大的狀態，并在 Ξ大類狀態的基礎上細分為6種細化狀態;結合D-S證據論證對相互交叉的各個特征向量進 行整合，得到最終的融合結果輸入到疲勞識別模型中；
[0076] 在融合階段，根據相關性系數，把相關性大的信號分為一類，比如頻域下的腦電信 號和脈搏信號相關性系數為0.8361，相關等級為極度相關，說明兩種信號的頻域特性十分 相同，那么在頻域特征值融合的時候，腦電信號和脈搏信號就可W作為一種信號去計算權 值，然后二者再均分權值。
[0077] 步驟2-4、將融合后的不同狀態下各信號的特征值作為模糊神經網絡的輸入，將對 應的用戶狀態作為模糊神經網絡的輸出，對模糊神經網絡進行訓練；
[0078] 本發明實施例中，模糊推理模型的設計主要包括:隸屬度函數的選取和模糊規則 的建立，并且很大程度上需要借助W往的先驗知識;疲勞識別的關鍵在于構建疲勞參數與 疲勞狀態間的模糊映射關系；
[0079] (1)模糊神經網絡的設計
[0080] 如圖6所示，本發明實施例構建的神經網絡共分為5層，分別為輸入層、模糊化層、 規則層、歸一化層、輸出層，有4個輸入節點xr-X4分別表示脈搏、腦電、屯、電和皮溫的采集信 號提取的特征向量輸入，6個輸出節點yr，T6分別表示對應不同生理狀態的輸出；
[0081] (2)隸屬度函數的選取
[0082] 本發明實施例中，選用高斯函數作為隸屬度函數構建模糊神經網絡模型。
[0083] (3)模糊規則的確立
[0084] 本發明實施例中，采用T-S模糊系統的模糊規則，經分析建立4輸入，6輸出的T-S模 型神經網絡系統.
[0085] (4)模糊神經網絡的訓練
[0086] 神經網絡需要訓練的參數有:每個輸入分量的分割數、每個模糊分割相對于模糊 函數的寬度與中屯、、最終輸出層的輸出權重;并采用隨機捜索，即BP算法測量誤差，隨機給 定參數的初值的方法，訓練上述3個參數。
[0087] 步驟2-5、結合用戶PVT測試的結果，獲得所構建的神經網絡的識別準確率；
[0088] 本發明實施例中，結合PVT測試疲勞程度量化標準，將疲勞程度細化為6個等級，即 疲倦(輕度疲倦，中度疲倦，重度疲倦），清醒(興奮、平靜)和不確定6種狀態;按照模糊神經 網絡的分類原則，每個等級均被視為單一的類別，并與其它類別分開，通過模糊神經網絡訓 練優化和精神狀態推理系統中的隸屬度函數與模糊規則，同時將提取的疲勞參數值輸入到 已訓練好的推理系統中，W提升精神狀態的檢測效果；
[0089] 本發明實施例中，經過神經網絡訓練和模糊判定，得出關于6類關于生理狀態的識 別準確率如圖6所示；
[0090] 步驟2-6、判斷識別準確率是否到達85%，若是，則完成該用戶模板的構建;否則返 回執行步驟2-1;
[0091] 本發明實施例中，如圖7所示，重度疲勞、平靜和不確定狀態達到了設定85%;
[0092] 步驟3、實時采用被測用戶的腦電信號、脈搏信號、屯、電信號和皮溫信號，采用處理 器單元對所采集的信號進行特征參數提取并進行融合，將融合后的結果輸入至訓練好的模 糊神經網絡中，獲得被測用戶當前的狀態.
[0093] 步驟4、提示警告單元根據檢測的疲勞結果對用戶進行提示;具體為：當被測用戶 處于疲勞狀態時，啟動提示報警系統，提醒受試進行適當的休息和進行運動。
【主權項】
1. 一種基于多生理信號融合的精神狀態檢測系統，其特征在于，該系統包括腦電采集 單元、生理信號采集單元，處理器單元和提示警告單元，其中， 腦電采集單元:用于采集用戶頭部的腦電信號，并發送至處理器單元中； 生理信號采集單元：用于采集用戶手腕處的脈搏信號、胸口處的心電信號和腋下的皮 溫信號，并將信號發送至處理器單元中； 處理器單元： 當構建模板時：用于對所采集的腦電信號、脈搏信號、心電信號和皮溫信號進行特征參 數提取，獲得用戶在不同狀態下所采集信號兩兩之間的相關性，并根據相關系數進行等級 劃分;采用D-S方法對信號進行特征融合，將融合后的不同狀態下各信號的特征值作為模糊 神經網絡的輸入，將對應的用戶狀態作為模糊神經網絡的輸出，對模糊神經網絡進行訓練； 結合用戶PVT測試的結果，獲得所構建的神經網絡的識別準確率，若識別準確率到達設定閾 值，則完成該用戶模板的構建； 當用于實時檢測時：用于對所采集的信號進行特征參數提取并進行融合，將融合后的 結果輸入至訓練好的模糊神經網絡中，獲得被測用戶當前的狀態，并將檢測結果發送至提 示警告單元中； 提示警告單元:根據檢測的疲勞結果對用戶進行提示。2. 采用權利要求1所述的基于多生理信號融合的精神狀態檢測系統進行的檢測方法， 其特征在于，包括以下步驟： 步驟1、采用腦電采集單元和生理信號采集單元采集用戶在不同狀態下的不同生理信 號，包括頭部的腦電信號、手腕處的脈搏信號、胸口處的心電信號和腋下的皮溫信號，并將 信號發送至處理器單元中； 步驟2、處理器單元根據接收的用戶在不同狀態下的不同生理信號，構建該用戶的模 板，具體步驟如下： 步驟2-1、對各信號進行特征參數提取； 對腦電信號進行小波分解，并提取腦電功率譜的比值作為腦電信號的特征參數； 提取心電信號的心率作為心電信號的特征參數； 提取脈搏信號的時域信號最大值、時域信號最小值、時域信號均值、時域信號標準差、 頻域信號最大值、頻域信號最小值、頻域信號均值和頻域信號標準差，作為脈搏信號的特征 參數； 提取皮溫信號的時域信號最大值、時域信號最小值、時域信號均值、時域信號標準差、 頻域信號最大值、頻域信號最小值、頻域信號均值和頻域信號標準差，作為皮溫信號的特征 參數； 步驟2-2、獲得用戶在不同狀態下腦電信號、脈搏信號、心電信號和皮溫信號兩兩之間 的相關性，并對不同信號之間的相關系數進行等級劃分； 步驟2-3、根據不同信號之間的相關系數，采用D-S方法對信號進行特征融合； 步驟2-4、將融合后的不同狀態下各信號的特征值作為模糊神經網絡的輸入，將對應的 用戶狀態作為模糊神經網絡的輸出，對模糊神經網絡進行訓練； 步驟2-5、結合用戶PVT測試的結果，獲得所構建的神經網絡的識別準確率； 步驟2-6、判斷識別準確率是否到達設定閾值，若是，則完成該用戶模板的構建;否則返 回執行步驟2-1; 步驟3、實時采用被測用戶的腦電信號、脈搏信號、心電信號和皮溫信號，采用處理器單 元對所采集的信號進行特征參數提取并進行融合，將融合后的結果輸入至訓練好的模糊神 經網絡中，獲得被測用戶當前的狀態； 步驟4、提示警告單元根據檢測的疲勞結果對用戶進行提示。3. 根據權利要求2所述的檢測方法，其特征在于，步驟1所述的不同狀態，包括重度疲 勞、中度疲勞、輕度疲勞、興奮、平靜和不確定6中狀態，具體判斷標準如下：4. 根據權利要求2所述的檢測方法，其特征在于，步驟4所述的提示警告單元根據檢測 的疲勞結果對用戶進行提示，具體為:當被測用戶處于疲勞狀態時進行提示。
【文檔編號】A61B5/02GK105877766SQ201610452456
【公開日】2016年8月24日
【申請日】2016年6月21日
【發明人】王斐, 林季, 周杰, 王海鳴, 王文哲, 楊俊 , 葉小鳳, 范瑜愷
【申請人】東北大學