一種基于腦電信號的情緒識別方法
【專利摘要】本發明公開了一種基于腦電信號的情緒識別方法。本發明包括如下步驟：步驟1、腦電信號的采集：采用多通道腦電采集設備采集被試腦電信號；步驟2、腦電信號的預處理：對步驟1所得的腦電信號進行預處理，以減少尾跡干擾，提高最終分類識別率；預處理包括降低采樣率，去除基線數據，進行不同頻段帶通濾波等；步驟3、計算相位同步特征；步驟4、采用主成分分析對相位同步特征向量降維；步驟5、對降維后的相位同步特征向量通過稀疏表達的分類器進行分類。本發明從相位的角度出發，利衡量兩個通道同一時間窗口的相位同步性，得到腦電信號的相位同步特征，得到較好的情緒分類識別效果。
【專利說明】
-種基于腦電信號的情緒識別方法
技術領域
[0001] 本發明屬于生物特征識別領域的腦電信號特征分類，具體是一種基于腦電信號的 情緒識別方法。
【背景技術】
[0002] 情緒是人的感覺、思想和行為的綜合狀態，它既包括人們由于個人經歷對外界或 自身刺激的屯、理反應，也包括隨之產生的生理反應。情緒在人們的日常生活溝通交流中至 關重要。腦機接口領域的情緒檢測可W應用在多個領域，如:娛樂、教育、衛生保健，甚至市 場營銷領域。之前對于情緒的研究通常是使用人們的面部表情、聲音和肢體語言等外在特 征。雖然運些特征容易獲取，但是也容易被偽裝，尤其是當人們不想別人知道他們的內屯、想 法時。所W，基于腦電信號的情緒識別引起更多關注。
[0003] 腦電信號是大腦活動和功能狀態的一種綜合反映，具有唯一性、不可偽裝性和實 時差異性，利用腦電信號進行情緒識別分類更為可靠。
[0004] 本發明采用一種基于腦電信號相位同步特征的情緒分類方法，既區別于傳統采用 面部表情、聲音、肢體語言等外部特征的分類研究，也有別于W往采用腦電信號的幅值如功 率譜密度、分形維數、小波賭等特征進行的情緒分類。
【發明內容】
[0005] 本發明的目的是針對現有技術的不足，提出一種基于腦電信號的情緒識別方法。 本發明在獲取腦電信號的特征時是利用兩兩通道的相位同步特征，并采用相位鎖定值來實 現，然后利用主成分分析方法對得到的相位同步特征進行降維，最后利用基于稀疏表達的 分類器進行分類識別。
[0006] 本發明解決其技術問題所采用的技術方案包括W下步驟：
[0007] 步驟1、腦電信號的采集:采用多通道腦電采集設備采集被試腦電信號。
[0008] 步驟2、腦電信號的預處理：對步驟1所得的腦電信號進行預處理，W減少尾跡干 擾，提高最終分類識別率。預處理包括降低采樣率，去除基線數據，進行不同頻段帶通濾波 等。
[0009] 步驟3、計算相位同步特征：
[0010] 對步驟2預處理后的數據進行相位同步特征提取，W相位鎖定值（Phase Lock 化lue，PLV)來衡定同步程度，具體過程如下：
[0011] 3-1、計算預處理得到的信號x(t)的希爾伯特變換；(/');
[0012] (1)
[0013] 公式(1)中，P是柯西主值，用于定義x(t)的解析信號如下：
[0014]
但）
[0015] 公式（2)中，狗是x(t)的瞬時振幅，於的是x(t)的瞬時相位，瞬時相位計算如 下：
[0016] 巧、
[0017] 同理，可W計算信號y(t)的瞬時相隹 >
[0018] 如果信號x(t)和y(t)的瞬時相位差滿足下列不等式：
[0019；
(4)
[0020] 其中，n和m是正整數，則稱信號x(t)和y(t)是n:m的同步，本發明采用的是1:1同 步。W上步驟求得的PLV是0到1之間實數，0表示完全不同步，1表示完全同步。
[0021] 有了瞬時相位差，則相位鎖定值的計算采用下式：
[0022]
煩.
[0023] 其中，<.〉表示求平均值的操作，批是通過公式(4)求得的相位差。
[0024] 在本發明中，對于預處理得到的信號，用時間窗口計算特定頻段的相位鎖定值，具 體的:先計算1秒時間段內的相位鎖定值，然后求N個時間片段的的平均相位鎖定值PLVM:
[0025] (6)
[0026] 假設本發明所選腦電通道數是M，則某個時間窗口內所有通道之間的平均相位鎖 定值PLVM，將會得到如下的上=角矩陣，維度為MXM:
[0027] (7)
[0028] 公式（7)所得的上=角矩陣不僅包含信號每兩個通道之間的相位關系，還包含通 道的空間信息。然后，按照行優先的順序將上=角矩陣轉化為一個列向量作為進行降維的 相位同步特征向量。
[0029] 同理，計算其他試驗階段和頻段的相位同步特征向量。
[0030] 步驟4、采用主成分分析對相位同步特征向量降維:輸入樣本X是一個mXn的矩陣， m代表步驟3所得相位同步特征向量的維數，n表示輸入樣本X的數目。主成分分析降維過程 如下：首先，計算輸入樣本X的均值向量V和協方差矩陣Cov;然后，計算協方差矩陣Cov的特 征值及對應的特征向量，并按照特征值降序排列特征向量;最后，取前k個特征值對應的特 征向量，且前k個特征值的和占所有特征值總和的90%。從而得到一個PCA空間Wp。。，維度是m X k。將輸入樣本X投影至化CA空間，=巧X義，維度是k X n。
[0031] 步驟5、對降維后的相位同步特征向量通過稀疏表達的分類器進行分類:對輸入樣 本Xpca建立字典A:
[0032] Xpca=A= [Al,A2, . . .Ac] (8)
[003；3]其中，(：代表類的個數，心=[",,1，0,._，.。心^,]，1 = 1，2，...(：，仍是第1個類的訓練樣本 的數目，則基于稀疏表達的分類過程具體如下：
[0034] 首先，歸一化字典A的每一列使其滿足L2范數；
[0035] 其次，借助于Ll范數最小化工具，同時通過解決最優化問題求解系數向量、：
[0036]
媽)
[0037] 其中，公式(9)的約束條件為y = Ax或者MAx-y||2《e，y是待確定類別的測試樣本 的向量，e是一個大于零的容錯誤差。最后，通過下式計算殘差：
[003引巧
（10)
[0039] 其中，為表示公式(9)求出的系數向量Si表示選擇與第i個類最相關的系數的特征 函數，A(.V)的非零項是％中與第i個類最相關的項。當殘差ri(y)取得最小值時的i即是測試 樣本y所屬的最終類別identity(y)，即：
[0040] 本發明的有益效果是：
[0041] 本發明提供了一種基于腦電信號的情緒分類方法，該方法對腦電數據進行特征提 取時，與W往不同的是，忽略信號的幅值影響，從相位的角度出發，利衡量兩個通道同一時 間窗口的相位同步性，得到腦電信號的相位同步特征，通過主成分分析方法降維后采用基 于稀疏表達的分類器進行分類，該分類方法通常用于處理圖像數據，應用于處理腦電情緒 數據，得到較好的情緒分類識別效果，說明基于稀疏表達的分類器在腦電數據處理領域也 是可行的。
【附圖說明】
[0042] 圖1為本發明【具體實施方式】系統流程圖
[0043] 圖2為本發明【具體實施方式】大腦電極位置圖
[0044] 圖3為本發明【具體實施方式】兩兩通道相位同步PLV色彩圖
【具體實施方式】
[0045] 本發明實施的具體流程如附圖1所示，下面對【具體實施方式】做詳細描述。
[0046] 步驟1、腦電信號的采集:采用多通道腦電采集設備采集被試腦電信號。
[0047] 步驟2、腦電信號的預處理:對步驟1所得的腦電信號進行預處理，W減少尾跡干 擾，提高最終分類識別率。預處理包括降低采樣率，去除基線數據，進行不同頻段帶通濾波 等。
[004引步驟3、計算相位同步特征：
[0049]對步驟2預處理后的數據進行相位同步特征提取，W相位鎖定值（Phase Lock 化lue，PLV)來衡定同步程度，具體過程如下：
[0化日]3-1、計算預處理得到的信號x(t)的希爾伯特變換i'(〇 ; (I)
[0化1 ]
[0052] 公式(I)中，P是柯西主值，用于定義x(t)的解析信號如下：
[0053]
狂)
[0054] 公式(2)中，的是x(t)的瞬時振幅，於^的是x(t)的瞬時相位，瞬時相位計算如 下：
[0化5] 八、
[0化6]同理，可W計算信號y(t)的瞬時相屯
[0057] 如果信號x(t)和y(t)的瞬時相位差滿化h列小
等巧：
[0化引 （4)
[0059] 具甲，n卿m巧止豎甄，則稱信巧XUj和y(t)是n:m的同步，本發明采用的是1:1同 步。W上步驟求得的PLV是0到1之間實數，0表示完全不同步，1表示完全同步。
[0060] 有了瞬時相位差，則相位鎖定值的計算采用下式：
[0061]
減
[0062] 其中，<.〉表示求平均值的操作是通過公式(4)求得的相位差。
[0063] 在本發明中，對于預處理得到的信號，用時間窗口計算特定頻段的相位鎖定值，具 體的:先計算1秒時間段內的相位鎖定值，然后求N個時間片段的的平均相位鎖定值PLVM:
[0064] (6)
[0065] 假設本發明所選腦電通道數是M，則某個時間窗口內所有通道之間的平均相位鎖 定值PLVM，將會得到如下的上=角矩陣，維度為MXM:
[0066] (7)
[0067] 公式（7)所得的上=角矩陣不僅包含信號每兩個通道之間的相位關系，還包含通 道的空間信息。然后，按照行優先的順序將上=角矩陣轉化為一個列向量作為進行降維的 相位同步特征向量。
[0068] 同理，計算其他試驗階段和頻段的相位同步特征向量。
[0069] 步驟4、采用主成分分析對相位同步特征向量降維:輸入樣本X是一個m X n的矩陣， m代表步驟3所得相位同步特征向量的維數，n表示輸入樣本X的數目。主成分分析降維過程 如下：首先，計算輸入樣本X的均值向量V和協方差矩陣Cov;然后，計算協方差矩陣Cov的特 征值及對應的特征向量，并按照特征值降序排列特征向量;最后，取前k個特征值對應的特 征向量，且前k個特征值的和占所有據佈估總?巧的90 %。從而得到一個PCA空間Wpca，維度是m X k。將輸入樣本X投影到PCA空間
維度是k X n。
[0070] 步驟5、對降維后的相位同步特征向量通過稀疏表達的分類器進行分類:對輸入樣 本Xpca建立字典A:
[0071] Xpca=A= [Al,A2, . . .Ac] (8)
[007^ 其中，C代表類的個數，<'：!/ = [",.|>",.:>...",,、.].1 = 1，2，...(：，仍是第1個類的訓練樣本 的數目，則基于稀疏表達的分類過程具體如下：
[0073] 首先，歸一化字典A的每一列使其滿足L2范數；
[0074] 其次，借助于Ll范數最小化工具，同時通過解決最優化問題求解系數向量為;
[00對
巧)
[0076] 其中，公式(9)的約束條件為y = Ax或者MAx-y||2《e，y是待確定類別的測試樣本 的向量，e是一個大于零的容錯誤差。最后，通過下式計算殘差：
[0077]
(1巧
[0078] 其中，ii表示公式(9)求出的系數向量Si表示選擇與第i個類最相關的系數的特征 函數，4.(與）的非零項是為中與第i個類最相關的項。當殘差n(y)取得最小值時的i即是測 試樣本y所屬的最終類別identity(y)，即：
[0079] 實施例1:
[0080] 1、腦電數據的采集:本發明在被試觀看時長60秒的音樂視頻時采集腦電數據，采 集過程中使用32個活動的氯化銀電極，采樣頻率51化Z，電極帽采用國際10-20系統標準電 極放置法，32個電極分別是:Fp 1，AF3，F3，巧，FC5，FC1，C3，T7，CP5，CP1，P3，P7，P03，01，Oz， Pz，FP2，AF4，Fz，F4，F8，FC6，FC2，Cz，C4，T8，CP6，CP2，P4，P8，P04,02。對應的電極位置圖女曰 附圖2所示。視頻觀看完畢后，被試對所觀看的每段音樂視頻進行打分，打分級別為1-9,當 前視頻刺激產生的情緒的標簽。
[0081] 2、腦電數據預處理:去除眼電尾跡，降低采樣率到12化Z，去除1-3秒的基線數據， 然后采用2階己特沃斯濾波器把數據濾波到theta波段(4-她Z) ,alpha波段(8-1化Z) ,beta 波段（13-30hz)，和gamma波段(30-45hz)。
[0082] 3、提取相位同步特征，具體實施過程如下：
[0083] 3.1計算原始信號x(t)的希爾伯特變換;(句；
[0084]
[0085] P是柯西主值，由此，可W定義x(t)的解析信號為：
[0086]
[0087]斗"的是x(t)的瞬時振幅，把W的是x(t)的瞬時相位，瞬時相位采用下面公式求出： [008引
[0089] 同理，計算信號y(t)的瞬時相位
[0090] 3.2通過計算瞬時相位差計算每兩個通道之間的相位鎖定值(PLV):
[0091] PLV=|<exp(jA (1))>
[0092] 其中，<.〉表示求平均值的操作，A d)是瞬時相位差。
[0093] 3.3本發明實施過程中，選取1秒的時間片段作為時間窗口，然后W60秒作為一個 試驗階護；古en&WA巫+知鋪'卓值PLV采用下式計算：
[0094]
[00%]本發明所采用的數據有32個通道，則構建兩兩通道之間通道對并計算平均相位鎖 定值后會形成一個32 X 32的上=角矩陣A，矩陣A中體現兩兩通道同步性的顏色對比結果如 附圖3所示。
[0096] 3.4將W上所得上上S角矩陣A按照行優先的順序去除0和1的數值排列為一個列 向量b，該列向量的維數為
[0097] 3.5同理計算所有被試所有試驗階段的相位同步特征向量，本實施過程共有40個 不同的試驗階段。
[0098] 4、利用主成分分析對得到的相位同步特征向量進行降維。假設取得的相位同步矩 陣是X，則降維過程具體如下：
[0099] 4.1計算矩陣X的均值向量m，m是一個496維的列向量，m的每一維度代表矩陣X在該 維度上的平均值。
[0100] 4.2計算協方差矩陣Cov,首先矩陣X的每個列向量減去均值向量m得到新的矩陣 X'，則Cov = X, XX。
[0101] 4.3計算協方差矩陣Cov的特征值及其對應的特征向量，然后按照特征值降序排列 對應的特征向量，本發明實施采用0.9的闊值選取前k個占所有特征值總和0.9的特征值對 應的特征向量作為最終的主成分空間。
[0102] 4.4相位同步矩陣投影到主成分空間，Xpca=WpcaTxX。
[0103] 5、本實施過程中采用基于稀疏表達的分類器（SRC)，進行分類。具體實施過程如 下：
[0104] 基于步驟四所得的卻Ca建立字典A:令Xpca = A=Ui,A2，. . .AcL本實施中C取值分 別為2，3，4，分別對應于兩類情緒(愉快和不愉快），=類情緒(積極、中立和消極)和四類情 緒(高興、生氣、傷屯、和放松）。
[0105] 5.1歸一化使A滿足L2范數:首先計算矩陣A的每列元素的平方和sq，求sq的平方根 sq'，然后該列每個元素除Wsq'，最后得到歸一化后的矩陣A'。
[01(?] 5.2稀疏編碼:求解7 = 4義或||4義一7||2《6中的系數向量義，本實施中容錯誤差￡ 設為0.01，通過求解最優化問題為=argm、in |4求解最優X。
[0107] 5.3進行分類:利用^上求得的系數向量《，求解';(.1') = |.1'-作巧4，則測試樣本 的最終類別是'.瓜k)二。巧…in(
[0108] 最后，將通過SRC求得的測試樣本所屬的類標簽與已知標簽進行比較，統計正確個 數，進而求得最終識別準確率。
[0109] 本發明中對情緒不同頻段不同類別的的分類識別結果如下表：
[0iinl
[0111] W上實施方式僅用于說明本發明，而并非對本發明的限制。本領域的技術人員應 當理解，對本發明的技術方案進行的各種組合、修改或者等同替換，都不脫離本發明技術方 案的精神和范圍，其均應涵蓋在本發明的權利要求范圍當中。
【主權項】
1. 一種基于腦電信號的情緒識別方法，其特征在于包括如下步驟:步驟1、腦電信號的 采集:采用多通道腦電采集設備采集被試腦電信號； 步驟2、腦電信號的預處理:對步驟1所得的腦電信號進行預處理，以減少尾跡干擾，提 高最終分類識別率;預處理包括降低采樣率，去除基線數據，進行不同頻段帶通濾波等； 步驟3、計算相位同步特征： 步驟4、采用主成分分析對相位同步特征向量降維 步驟5、對降維后的相位同步特征向量通過稀疏表達的分類器進行分類。2. 根據權利要求1所述的一種基于腦電信號的情緒識別方法，其特征在于步驟3所述的 計算相位同步特征，具體如下： 對步驟2預處理后的數據進行相位同步特征提取，以相位鎖定值來衡定同步程度，具體 過程如下： 3-1、計算預處理得到的信號x(t)的希爾伯特變換?⑴：~ （1) 公式(1)中，P是柯西主值，用于定義x(t)的解析信號如下：⑵ 公式(2)中，是x(t)的瞬時振幅，?f (〇是x(t)的瞬時相位，瞬時相位計算如下：⑶ 同理，可以計算信號y(t)的瞬時相位 如果信號x(t)和y(t)的瞬時相位差滿足下列不等式： ΦΗχγ(?)= |ηΦχΗ(?)^ΦγΗ(?) I ^const (4) 其中，n和m是正整數，則稱信號x(t)和y(t)是n:m的同步，本發明采用的是1:1同步；以 上步驟求得的PLV是0到1之間實數，0表示完全不同步，1表示完全同步； 有了瞬時相位差，則相位鎖定值的計算采用下式： PLV= | <exp( j φΗχγ(?))> (5) 其中，〈.>表示求平均值的操作，<i>Hxy(t)是通過公式(4)求得的相位差； 對于預處理得到的信號，用時間窗口計算特定頻段的相位鎖定值，具體的：先計算1秒 時間段內的相位鎖定值，然后求N個時間片段的的平均相位鎖定值PLVM:(6) 假設本發明所選腦電通道數是M，則某個時間窗口內所有通道之間的平均相位鎖定值 PLVM，將會得到如下的上三角矩陣，維度為MXM: (7) 公式（7)所得的上三角矩陣不僅包含信號每兩個通道之間的相位關系，還包含通道的 空間信息;然后，按照行優先的順序將上三角矩陣轉化為一個列向量作為進行降維的相位 同步特征向量； 同理，計算其他試驗階段和頻段的相位同步特征向量。3. 根據權利要求1所述的一種基于腦電信號的情緒識別方法，其特征在于步驟4所述的 采用主成分分析對相位同步特征向量降維，具體如下： 輸入樣本X是一個m X η的矩陣，m代表步驟3所得相位同步特征向量的維數，η表示輸入 樣本X的數目；主成分分析降維過程如下：首先，計算輸入樣本X的均值向量ν和協方差矩陣 Cov;然后，計算協方差矩陣Cov的特征值及對應的特征向量，并按照特征值降序排列特征向 量;最后，取前k個特征值對應的特征向量，且前k個特征值的和占所有特征值總和的90% ; 從而得到一個PCA空間Wpc；a，維度是m X k;將輸入樣本X投影到PCA空間，Xpca = WPCJ X X，維度 是 kXn〇4. 根據權利要求1所述的一種基于腦電信號的情緒識別方法，其特征在于步驟5所述的 對降維后的相位同步特征向量通過稀疏表達的分類器進行分類，具體如下： 對輸入樣本乂0。3建立字典A: Xpca 一 A 一 [ Al , A2, · · · Ac ] ( 8 ) 其中，c代表類的個數，1 …= HX，Nl是第i個類的訓練樣本的數目， 則基于稀疏表達的分類過程具體如下： 首先，歸一化字典A的每一列使其滿足L2范數； 其次，借助于L1范數最小化工具，同時通過解決最優化問題求解系數向量皂：其中，公式(9)的約束條件為y = Ax或者I |Ax_y| I2彡e，y是待確定類別的測試樣本的向 量，ε是一個大于零的容錯誤差;最后，通過下式計算殘差：(10) 其中，矣表示公式(9)求出的系數向量δ?表示選擇與第i個類最相關的系數的特征函數， 的非零項是烏中與第i個類最相關的項；當殘差n(y)取得最小值時的i即是測試樣本 y所屬的最終類別identity(y)，即：〗辦"邱'(」'）=arSmin認)') ·〇
【文檔編號】G06F3/01GK105956546SQ201610277786
【公開日】2016年9月21日
【申請日】2016年4月28日
【發明人】孔萬增, 宋旭琳, 劉燕, 蔣蓓
【申請人】杭州電子科技大學