一種基于CNN與Transformer的多尺度時空特征提取用于腦電情感識別的分類方法

本發明屬于腦電信號處理與模式識別領域，具體為一種基于cnn與transformer的多尺度時空特征提取用于腦電情感識別的分類方法。

背景技術：

1、此部分的陳述僅僅提供與本公開有關的背景技術信息，并且這些陳述可能構成現有技術。在實現本發明過程中，發明人發現現有技術中至少存在如下問題。

2、情感是人在某種環境下基于主觀經驗對事物的一種心理狀態和情感反應。作為大腦的高級功能，情感深刻影響著我們的學習、工作與生活，因此情感分析至關重要。1997年，情感計算(ac)概念被麻省理工學院的picard教授提出，這一創新使情感研究不再局限于傳統領域，而是向計算機賦予分類人類情感的能力，以推動更自然的人機交互。

3、腦機接口是一種聯系人與外界環境的獨立于人腦神經通路和肌肉的信息交流通道。它的主要信號是由腦神經活動產生的腦電波組成的生物電信號。在生物醫學領域，記錄腦電信號的神經成像方式主要包括皮質電圖(electrocorticography,ecog)，腦磁圖(magnetoencephalography,meg)，腦電圖(electroencephalography,eeg)等。腦電圖因其獲取簡單，耗時較短，采集成本低而備受青睞。腦電信號的采集方法主要分為三種：有創，部分有創，無創。

4、腦電腦電信號的情感分類任務的精度的提高，對腦電情感識別具有十分重要的意義。但其目前受限于下面兩個問題。

5、首先，當前大部分科研人員只研究了腦電信號的情感二分類或三分類，很少有對腦電信號情感四分類的研究。因為四分類的訓練需要大量的數據樣本，并且像科研人員經常使用的deap數據集中只具有效價程度、喚醒程度等標簽，無法提供四分類所需要的情感標簽，導致分類的準確率低下。

6、其次，腦電信號情感識別領域的模型從傳統的機器學習轉到深度學習，cnn模型具有極大的貢獻。cnn具有輕量化的優點，可以捕捉局部的接收域信息，但往往忽略全局信息。并且提取時序信息的能力較弱，極大限制了cnn模型的表現。因此，提高腦電信號情感分類任務的精度有十分重要的意義。

7、目前一些技術將cnn與其他網絡相結合，來提取腦電數據的空間特征和時間序列信息。如申請號202310057960.0專利名稱為“一種結合注意力機制與crnn的腦電情感識別方法”，基于空間注意力的卷積神經網絡(cnn)提取腦電數據的空間特征，并通過基于自注意力的循環神經網絡(rnn)提取出時間序列信息，最后將兩者相結合用于跨被試腦電情感識別，以此來提高分類效果的精度。而申請號202210665185.2專利名稱為“基于卷積遞歸神經網絡與多頭自注意力的情感識別方法”，則利用一維卷積(cnn)和雙向長短時記憶網絡(bilstm)提取腦電(eeg)信號的空間和動態時間特征，并利用全連接層融合這些特征克隆給多頭自注意力機制(multi-head?self-attention)對情感關鍵信息的權重進行再分配，得到準確的情感狀態識別。

8、上述方法雖然通過將cnn與其他網絡相結合來提取全局特征，提高了提取時序信息的能力，但其并不能感知信號中更深層的特征信息，導致很多有價值的信道內特征不能被有效提取。并且，上述方法也無法完成腦電信號情感四分類的分類任務，從而導致情感狀態識別的精度不佳。

技術實現思路

1、針對上述問題，本發明的目的在于解決現有技術中的一部分問題，或至少緩解這些問題。

2、一種基于cnn與transformer的多尺度時空特征提取用于腦電情感識別的分類方法，包括如下步驟：

3、對采集的腦電信號進行預處理和數據增強；

4、將經預處理和數據增強后的腦電信號轉換為時頻圖輸入至深度卷積模塊，以提取時頻域和時空域的特征信息；

5、將時頻域和時空域的特征信息輸入包括c-t模塊的特征提取模塊，通過自注意力機制進行特征融合和權重調配，得到待分類的特征數據；其中，所述c-t模塊包括cnn與transformer(用于自然語言處理和其他序列到序列任務的深度學習模型架構)結構；

6、將待分類的特征數據進行整合，并開始分類任務；所述四分類任務提供四種情感標簽，包括興奮、害怕、悲傷和放松。

7、所述預處理，包括對采集的腦電信號進行濾波和去偽跡處理，以消除噪聲和干擾；所述數據增強，包括使用滑窗方式將一份濾波和去偽跡后的腦電信號的數據變為多份，以增加訓練過程中可以得到的數據源。

8、進一步的，對采集的腦電信號進行預處理和數據增強，包括如下步驟：

9、用巴特沃斯3階濾波器對采集的腦電信號進行濾波，只截取5-35hz的頻段，將濾波完成的數據進行獨立主成分分析，去除腦電信號中的眼電，肌電，得到濾波和去偽跡后的腦電信號；

10、將濾波和去偽跡后的腦電信號進行數據增強，以一個長度為10秒的窗口，然后依次以2.5秒為間隔開始滑動，處理過后的deap數據集(人類情感狀態的多模態數據集)腦電信號為63秒；

11、從0秒開始取出一組窗口腦電數據，即0秒到10秒代表第一組數據，而52.5秒到62.5秒代表最后一組數據，滑動21次，從而將一份濾波和去偽跡后的腦電信號的數據，變為21份腦電信號的數據，以使訓練過程中可以得到更多的數據源。

12、所述深度卷積模塊用以提取時頻域和時空域的不同深度的特征信息；所述深度卷積模塊包括多個連續的層；所述層包括深度卷積層和池化層，以基于前一層分辨率減半的基礎上捕捉特征。

13、進一步的，所述深度卷積模塊以基于前一層分辨率減半的基礎上捕捉時頻域和時空域的不同深度的特征信息的步驟為：

14、每一層首先執行卷積操作，卷積核大小為3×3，步長為1，填充為1，卷積層的輸出計算如下：

15、

16、式中：是與第l層的第i個卷積核相對應的區域，是第l層的第j個特征圖，m是特征輸入圖，δ是卷積核的權重矩陣，b是偏差，f是激活函數，*是卷積運算。

17、卷積結束后，進入最大池化層，內核為2×1，其中進入下一層的池化層時，內核會改為1×2，兩種池化內核來回切換；

18、其中，池化層計算如下：

19、

20、式中：downmax是最大池化函數，是池化層的輸出特征圖。

21、通過上述操作，使第l層的數據量成為l-1層的一半；各層的深度卷積層獨立提取特征，各個通道間信息不交叉，以便獲取eeg信號不同深度的信息。

22、進一步的，所述經預處理和數據增強后的腦電信號利用短時傅里葉變換轉換為時頻圖，然后把時頻圖數據輸入至深度卷積模塊以捕獲特征信息；

23、所述短時傅里葉變換的公式如下：

24、

25、式中：ω表示角頻率，χ(τ)表示原始信號在時間域的值，ω(τ-t)表示時間t處平移的窗函數，δ表示共軛，e-jωτ表示復指數函數，j表示虛數單位，τ表示時刻。

26、進一步的，所述深度卷積模塊將提取的時頻域和時空域的不同深度的特征信息，輸入并行的多層c-t模塊進行特征融合和權重調配，并將得到的多組的待分類的特征數據輸入分類模塊進行四分類任務；所述c-t模塊的內部根據輸入的不同深度的特征信息的數據尺寸進行相應修改；所述特征提取模塊還包括設于c-t模塊之后的平均池化模塊，以將多層c-t模塊的輸出數據尺寸進行統一。

27、進一步的，所述c-t模塊獲取待分類的特征數據的步驟包括：

28、所述深度卷積模塊將提取的時頻域和時空域的特征信息分別接入c-t模塊的cnn與transformer結構；

29、分別通過cnn與transformer結構提取出特征信息并進行組合，得到待分類的特征數據；

30、所述cnn結構由三層卷積層組成，核大小為3×3，步長為1，填充為1，每個卷積層之后是一個batch?normalization(批量歸一化)層和一個relu激活層；批量歸一化公式如下：

31、

32、式中：x表示輸入數據，m表示當前批次數據大小，ε表示添加較小的值到方差中防止除零，γ表示可訓練的比例參數，β表示可訓練的偏差參數；

33、所述transformer結構包括多頭自關注(mhsa)模塊、前饋模塊和兩層歸一化(layernorm)模塊；兩層歸一化模塊分別在mhsa模塊之前和前饋模塊之后；

34、自關注模塊的計算方法如下：

35、

36、式中：qitf、kitf、vits分別表示自關注模塊中的詢問向量、關鍵向量、值向量輸入，softmax(·)表示softmax函數，dk表示kitf的維度，t表示時間步數。

37、進一步的，所述特征提取模塊將待分類的特征數據輸入softmax函數(歸一化指數函數)進行分類，以提供四種情感標簽的識別結果，即興奮、害怕、悲傷和放松；將待分類的特征數據進行整合，并開始分類任務，包括如下步驟：

38、所述分類模塊將特征提取模塊輸出的多組待分類的特征數據進行展平和組合，形成一個長度為1280的一維數據；

39、將所述一維數據輸入至全鏈接層；所述全鏈接層包括四個fc(fully?connected,全連接層)層，尺寸分別為1280、320、80和4；

40、最后直接輸入到logsoftmax(對數softmax層)層，以計算四個類別中每個類的預測概率的對數；

41、logsoftmax計算公式如下：

42、

43、式中：mi表示輸入向量m的第i個元素。

44、一種計算機可讀存儲介質，其上存儲有計算機程序，所述計算機程序被處理器執行時實現所述的基于cnn與transformer的多尺度時空特征提取用于腦電情感識別的分類方法的步驟。

45、本發明具有如下有益效果：

46、1、本發明根據transformer感知全局信息的優點，設計了cnn與transformer結合的混合模塊，并為了感知腦電信號更深層的特征信息，設計了一種可以提取多尺度分辨率特征的并行網絡模型，把兩者結合起來，成功提高了訓練效率和四分類的準確率。并且，本發明還使用滑窗方法來增加訓練樣本的數量，能更好的與重新定義的四分類的情感標簽相配合，展現出更高的分類準確率；

47、2、本發明通過結合短時傅里葉變換、cnn和transformer的優勢，實現了對腦電信號中多尺度時空特征的有效提取和融合，從而提高了情感識別的準確率和魯棒性；

48、3、本發明的深度卷積模塊能自動學習權重，在將信號降采樣到一半的同時，有效地提取出有價值的信道內特征；且各層的深度卷積層獨立提取特征，各個通道間信息不交叉，以便獲取eeg信號不同深度的信息并向c-t模塊進行輸出；

49、4、本發明在情感分類時采用了logsoftmax層，以計算四分類中每個類的預測概率的對數。在穩定梯度下降計算的同時，logsoftmax會嚴重懲罰高度錯誤的類，進一步優化了訓練時間。