一種多模態生理和行為數據融合采集系統的制作方法

本發明屬于實驗心理學與生理心理測量技術領域，具體涉及一種多模態生理和行為數據融合采集、分析、可視化的系統。

背景技術：

人們的心理和情緒狀態有多種表現方式，如語言、表情、動作以及各種生理信號。單一的生理或行為參數或其特征指標很難準確反映人們的心理和情緒狀態變化，因此，基于多模態生理和行為信息的數據融合采集技術已被越來越廣泛地應用于心理學、人機交互、人工智能等領域。

目前，采集受試者的生理和行為數據時，需要使用到多個數據采集設備對不同的生理和行為數據進行同步采集。由于各個數據采集設備都具有獨立的數據采集和存儲系統，所采集到的數據分別記錄到自己對應的計算機存儲單元中，然后分別對各自采集的數據進行分析，最后將各個數據分析后的特征或者指標導入數據融合反饋系統中再進行融合分析。由于不同的數據采集設備都需要獨立的采集和存儲系統，采集的數據模態越多，投入的系統設備成本越大。此外，不同模態的數據之間可能會相互干擾，需要在原始數據的融合采集過程中進行相應的處理，而傳統的數據采集設備不能實現數據的融合采集，因此，會影響對受試者心理和情緒狀態分析的準確性。最后，很多的數據采集設備不支持數據的在線分析，因此無法基于實時采集的數據給出在線的分析結果。

技術實現要素：

因此，本發明為了解決現有數據采集設備間無法在同一設備中實現數據的同步采集和融合分析的技術問題，為此，本發明提供了一種多模態生理和行為數據融合采集系統。

所采用的技術方案如下：

一種多模態生理和行為數據融合采集系統，所述系統包括后臺處理器和數據采集單元，所述后臺處理器集成于一臺計算機中，用于接收所述數據采集單元所采集的數據，所述數據采集單元包括:

生理采集模塊，與所述后臺處理器連接，用于采集受試者完成測試任務過程中所產生的神經生理數據；

行為采集模塊，與所述后臺處理器連接，用于采集受試者在完成測試任務過程中所產生的行為數據資料；

所述后臺處理器包括數據存儲模塊、時序模塊和數據分析模塊，所述數據存儲模塊與所述生理采集模塊和行為采集模塊實現數據連接，用于接收所采集到的生理數據和行為數據資料；所述時序模塊用于將所采集到的生理數據和行為數據按照時間順序存儲到所述的數據存儲模塊中；所述數據分析模塊用于對所述數據儲存模塊中的生理數據和行為數據資料進行分析，在線得出分析結果。

所述數據存儲模塊設有多個數據存儲區，所述數據存儲模塊對所述數據采集單元中的各種數據采集模塊所采集到的數據進行分類存儲，所述數據分析模塊對各數據進行同步在線分析。

所述系統還包括數據展示單元，其與所述后臺處理器連接，用于對外顯示所述數據采集單元的原始采集數據及所述后臺處理器的在線分析結果。

所述數據采集單元還包括環境采集模塊，用于采集受試者在測試時所處外部環境數據，其與所述后臺處理器實現數據連接。

所述生理采集模塊包括腦電數據采集設備、心電數據采集設備、皮膚電數據采集設備、血壓數據采集設備、呼吸數據采集設備、體溫數據采集設備和肌電數據采集設備中的一種和幾種。

所述的行為采集模塊為視頻采集設備，用于記錄受試者的面部表情、眼動和語音的行為數據。

所述系統中設有多個所述的數據采集單元，多個所述數據采集單元分別與同一所述后臺處理器實現數據傳輸。

所述行為采集模塊與所述生理采集模塊分別通過無線與所述后臺處理器實現數據傳輸。

所述系統中設有多個所述數據展示單元，所述數據展示單元與所述數據采集單元一一對應連接。

所述數據展示單元為視頻顯示設備。

本發明技術方案，具有如下優點：

a.本發明在采集系統中設置了后臺處理器和數據采集單元，數據采集單元中的生理采集模塊和行為采集模塊分別與同一后臺處理器形成數據連接，生理采集模塊與行為采集模塊所采集到的受試者的生理和行為數據直接傳輸到后臺處理器中的數據存儲模塊，大大降低了數據采集系統的成本。

b.本發明通過時序模塊將多模態數據實現在同一時間軸上的采集，并通過數據分析模塊對所有采集到的數據進行同步分析，提高了數據融合分析的效率；更重要的是，多種電生理信號在同步采集過程中相互之間會產生噪聲干擾；本發明在原始數據的融合采集過程中采用去燥、標準化和歸一化等數據預處理方法，可以有效去除數據間的噪聲干擾，提高對受試者心理和情緒狀態分析的準確性。

c.本發明在數據存儲模塊中將各數據采集設備所采集到的數據進行分類整理和同步存儲。受試者同時佩戴多種數據采集設備，所采集到的數據可以通過無線方式直接傳輸給同一后臺處理器進行同步分析處理，所有采集的數據直接存儲到同一數據存儲模塊中，提高了多模態數據存儲和管理的效率。

d.本發明通過數據分析模塊對多模態數據進行實時分析，并通過視頻顯示設備對外顯示原始采集數據、在線分析結果、多模態數據的采集過程以及受試者進行測試時其所處的測試環境，方便主試人員全方位、全時程記錄測試過程，有助于后期對受試者作出更加全面、客觀的結果分析。

附圖說明

為了更清楚地說明本發明具體實施方式或現有技術中的技術方案，下面將對具體實施方式或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖是本發明的一些實施方式，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。

圖1為本發明所提供融合采集系統的結構示意圖；

圖2為本發明所提供融合采集系統的原理圖；

圖3為本發明所提供多個數據采集單元的數據融合采集傳輸框圖。

圖中：

1-后臺處理器；2-數據采集單元；3-生理采集模塊；4-行為采集模塊；5-環境采集模塊；6-數據展示單元；7-視頻編碼端；8-視頻解碼端。

具體實施方式

下面將結合附圖對本發明的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。

如圖1和圖2所示，本發明提供了一種多模態生理和行為數據融合采集系統，包括后臺處理器1和數據采集單元2，后臺處理器1集成于一臺pc計算機中，用于接收數據采集單元2所采集的數據，其中的數據采集單元2包括生理采集模塊3和行為采集模塊4，其中的生理采集模塊3和行為采集模塊4與同一后臺處理器連接，生理采集模塊用于采集受試者完成測試任務過程中所產生的神經生理數據；

行為采集模塊用于采集受試者在完成測試任務過程中所產生的行為數據資料。

如圖2所示，其中的后臺處理器3包括數據存儲模塊、時序模塊和數據分析模塊，數據存儲模塊與生理采集模塊和行為采集模塊實現數據連接，后臺處理器可以通過藍牙、wifi或其它無線網關傳輸模塊接收所采集到的生理數據和行為數據資料；時序模塊將所采集到的生理數據和行為數據按照時間順序存儲到數據存儲模塊中，使所有數據在同一時間軸下；其中的數據分析模塊用于對數據儲存模塊中的生理數據和行為數據資料進行分析，在線得出分析結果。

本發明通過在系統中設置后臺處理器和數據采集單元，數據采集單元中的生理采集模塊和行為采集模塊分別與同一后臺處理器形成數據連接，生理采集模塊與行為采集模塊所采集到的受試者的生理和行為數據通過各設備中的sdk直接把數據讀到后臺處理器中的數據存儲模塊，使系統變得更簡便，大大降低了采集系統的成本，提高了數據融合分析的效率，針對原始數據的融合采集還可以有效去除數據間的干擾，提高對受試者心理和情緒狀態分析的準確性，本發明對所有采集到的數據進行同步分析，在線生成分析結果，為后期可以準確客觀地完成受試者的綜合測評分析打下基礎。

更優選地，在數據存儲模塊中設有多個數據存儲區，數據存儲模塊對數據采集單元中的各種數據采集模塊所采集到的數據進行分類存儲，比如依次獲得受試者的腦電數據、皮電數據和行為數據，這樣可以將三種數據存儲在不同的位置中，通過數據分析模塊分別對三種數據進行分析，也可以通過對上述三種數據進行融合分析。從而實現了通過一臺后臺處理器實時獲取多模態下的采集數據，實時對采集數據進行同步分析，在線得出分析結果。

為了方便主試方人員更能直觀看出對某一受試者的數據采集過程，在系統中還設有數據展示單元，其與后臺處理器連接，用于對外顯示數據采集單元的原始采集數據及后臺處理器的在線分析結果。這里的數據展示單元為視頻顯示設備，有關受試者的測試、采集數據及在線分析結果分別通過對應的視頻顯示設備呈現給主試方。

更優選地，在數據采集單元中還包括環境采集模塊，用于采集受試者在測試時所處外部環境數據，其與所述后臺處理器實現數據連接，后期在對受試者進行任務測評時，便于對受試者進行更加全面、客觀的結果分析。

本發明中所提及的生理采集模塊包括腦電數據采集設備、心電數據采集設備、皮膚電數據采集設備、血壓數據采集設備、呼吸數據采集設備、體溫數據采集設備和肌電數據采集設備中的一種和幾種。可以同時使用不同類型的采集設備進行數據采集，也可以根據任務要求選取其中的某一種或某幾種進行佩戴使用。在進行數據采集時，由于多種電生理信號在同步采集過程中相互之間會產生噪聲干擾，本發明在原始數據的融合采集過程中采用去燥、標準化和歸一化等數據預處理方法，可以有效去除數據間的噪聲干擾，提高對受試者心理和情緒狀態分析的準確性。

其中的行為采集模塊為視頻采集設備，用于記錄受試者的面部表情、眼動和語音的行為數據，并傳輸給后臺處理器進行分析。

如圖3所示，本發明可以在系統中設置多個數據采集單元和對應的多個數據展示單元，多個數據采集單元和多個數據展示單元分別與同一后臺處理器實現數據傳輸，分別對各個數據采集單元的采集數據進行存儲與同步分析，可以對多個受試者同時進行數據采集，通過一臺后臺處理器設備即可同步完成數據的存儲與分析，然后通過對應的視頻顯示設備對外顯示各個受試者的原始采集數據、在線分析結果、多模態數據的采集過程以及受試者進行測試時其所處的測試環境等，同步完成對多名受試者的在線分析。

最優選地，可以在不同的房間中采用對應的數據采集單元對不同的受試者進行數據采集，如圖1和3所示，視頻顯示設備與數據采集單元呈一一對應設置。這樣每個數據采集單元對應一名受試者，且數據采集情況由對應的視頻解碼端7通過數據展示單元5進行對外發布，有助于主試方同時對不同受試者進行視頻觀察。

當然，本發明所提供的數據融合采集系統不僅使用于一些行業特殊崗位的選拔上，還可以對某一崗位的工作人員進行定期的數據采集，保證這一崗位工作的安全開展；也適用于對老年人或兒童進行認知數據的采集，能全面、準確地對受試者的精神狀態作出分析測評。

顯然，上述實施例僅僅是為清楚地說明所作的舉例，而并非對實施方式的限定。對于所屬領域的普通技術人員來說，在上述說明的基礎上還可以做出其它不同形式的變化或變動。這里無需也無法對所有的實施方式予以窮舉。而由此所引伸出的顯而易見的變化或變動仍處于本發明創造的保護范圍之中。