基于SSVEP腦機接口與MR的無人機遠程控制系統

本發明涉及無人機控制系統，具體涉及結合了腦機接口(bci，brain-computerinterface)技術與混合現實(mr，mixed?reality)頭盔，通過穩態視覺誘發電位(ssvep，steady-state?visual?evoked?potentials)網頁范式實現，能夠在混合現實環境中實現高效的無人機遙控操作。

背景技術：

1、傳統的無人機遙控操作主要依賴于遙控器或手機app等物理設備，操作復雜、不直觀，且存在諸多限制。例如，用戶需要熟練掌握各種控制按鈕和開關，以及了解無人機的飛行規則和技巧，才能進行有效的遙控操作。此外，物理設備的操作也受到環境和物理條件的影響，如手部抖動、光線變化等，都可能影響遙控操作的準確性和穩定性。

2、隨著科技的不斷發展，腦機接口(bci)技術和混合現實(mr)技術逐漸成熟，為兩者的融合提供了可能。bci技術通過直接讀取和解碼大腦信號，實現了人與機器之間的直接通信和控制，而mr技術則通過創建逼真的虛擬環境，為用戶提供了沉浸式的體驗。將這兩種技術結合，可以為用戶提供一種全新的、直觀的交互方式，尤其是在無人機遙控操作領域，具有巨大的應用潛力。

3、穩態視覺誘發電位(ssvep)是一種基于視覺刺激的腦機接口技術，具有穩定性高、信息傳輸率快等優點。通過向用戶展示恒定頻率的視覺刺激，可以誘發大腦產生與刺激頻率同頻率的響應，進而實現對無人機的遙控操作。而ssvep網頁范式則進一步擴展了這種技術的應用范圍，使用戶可以通過網頁平臺展示視覺刺激，實現無需額外物理設備的遙控操作。

4、混合現實(mr)頭盔可以為用戶創建一個逼真的虛擬環境，使用戶感覺自己置身于其中。在這種環境下，用戶可以通過ssvep網頁范式實現對無人機的遙控操作，同時獲得實時的飛行反饋和視覺體驗。這種沉浸式的體驗方式不僅可以提高遙控操作的直觀性和效率，還可以為用戶帶來更加真實和刺激的飛行感受。

技術實現思路

1、以下給出一個或多個方面的簡要概述以提供對這些方面的基本理解。此概述不是所有構想到的方面的詳盡綜覽，并且既非旨在指認出所有方面的關鍵性或決定性要素亦非試圖界定任何或所有方面的范圍。其唯一的目的是要以簡化形式給出一個或多個方面的一些概念以為稍后給出的更加詳細的描述之序。

2、本發明的目的在于解決上述問題，提供了一種基于ssvep腦機接口與mr的無人機遠程控制系統，為混合現實應用中的無人機的人機交互提供更便捷、更有效率的方式，不僅適用于無人機遙控，也可擴展到其他需要精細操作的場景。

3、本發明的技術方案為：本發明揭示了一種基于ssvep腦機接口與mr的無人機遠程控制系統，系統包括集成了eeg采集模塊的腦電帽、安裝ssvep刺激的mr頭盔、腦電圖系統、運行flask框架的服務器，其中：

4、安裝ssvep刺激的mr頭盔，與腦電帽整合，以確保腦電帽固定在用戶頭部；

5、集成了eeg采集模塊的腦電帽，對mr頭盔中的用戶腦電信號進行采集；

6、腦電圖系統，用于對采集到的腦電信號進行信號分析和分類，以得到用戶的控制意圖，生成無人機的控制指令；

7、運行flask框架的服務器，接收來自mr頭盔所輸入的控制命令，將控制命令發送到無人機。

8、根據本發明的基于ssvep腦機接口與mr的無人機遠程控制系統的一實施例，腦電帽裝配有電極陣列，電極陣列分布于視覺皮層相關區域。

9、根據本發明的基于ssvep腦機接口與mr的無人機遠程控制系統的一實施例，腦電圖系統包括信號分析模塊和信號分類模塊，其中：

10、信號分析模塊，先進行信號預處理，再基于ssvep分析算法，識別因視覺刺激而產生的特定頻率響應；

11、信號分類模塊，通過機器學習分類器，基于信號分析模塊識別出的特定頻率響應來分類用戶的控制意圖。

12、根據本發明的基于ssvep腦機接口與mr的無人機遠程控制系統的一實施例，信號預處理包括濾波、降噪。

13、根據本發明的基于ssvep腦機接口與mr的無人機遠程控制系統的一實施例，視覺刺激通過在mr頭盔顯示的不同頻率閃爍的虛擬按鈕實現，其中，每個按鈕對應一種無人機控制命令，當用戶凝視某一頻率的按鈕時，其大腦活動會產生與該頻率相同的電信號。

14、根據本發明的基于ssvep腦機接口與mr的無人機遠程控制系統的一實施例，信號分析模塊進一步配置為：

15、先在ssvep信號中分析出為與視覺刺激頻率相關的特定頻率成分即頻域分析；

16、再根據頻域分析的結果，從腦電信號中提取出特定頻率的成分及其在時間上的變化；

17、最后使用ssvep分析算法，識別出與視覺刺激頻率相關的特定頻率響應。

18、根據本發明的基于ssvep腦機接口與mr的無人機遠程控制系統的一實施例，ssvep分析算法使用時間局部加權變換的多元同步指數算法對eeg采集到的腦電信號進行頻率分析，從中提取出與ssvep相關的頻率成分以幫助識別。

19、根據本發明的基于ssvep腦機接口與mr的無人機遠程控制系統的一實施例，機器學習分類器基于訓練數據學習不同頻率刺激與相應控制命令之間的關聯。

20、根據本發明的基于ssvep腦機接口與mr的無人機遠程控制系統的一實施例，在flask框架中實現錯誤處理和狀態監控機制：利用flask框架的錯誤處理裝飾器捕獲和處理異常，確保系統在出現錯誤時也能保持穩定運行。

21、根據本發明的基于ssvep腦機接口與mr的無人機遠程控制系統的一實施例，系統內部各模塊之間以及系統與無人機之間，采用openipc進行信號的傳輸。

22、本發明相對現有技術有如下的有益效果：本發明所設計的集成腦機接口(bci)與混合現實(mr)技術的無人機遠程控制系統，其創新之處主要體現在以下幾個方面：

23、首先，本系統采用了穩態視覺誘發電位(ssvep)作為連接用戶意圖與無人機控制指令的紐帶。ssvep具有反應速度快和系統穩定性好的特點，適合用于實時控制場景。在本系統中，通過設計不同頻率的視覺刺激，植入到mr頭盔中的顯示界面上，用戶只需通過視線聚焦于特定頻率的閃爍光點即可發出控制指令。這種方法的優勢在于不需要用戶進行復雜的肢體動作或言語指令，大大降低了用戶的操作負擔，使得控制過程更加直觀和自然。

24、其次，系統的另一個創新點是融合了混合現實技術。通過mr頭盔不僅實現了沉浸式的視覺體驗，還通過混合現實技術創建了一個可以與物理世界無縫對接的控制界面。這種混合現實的設置不僅增強了用戶的操作體驗，也提高了操作的準確性和效率。用戶在虛擬環境中對無人機的控制如同操作真實無人機一般，這種直觀的操作方式在傳統的無人機遙控系統中是難以實現的。

25、本系統的實現依賴于高度集成化的設計。通過flask框架建立的web服務器，不僅處理用戶的輸入信號，還負責將解析后的控制指令實時傳輸到無人機。這種服務器與無人機之間的通信協議優化確保了系統的高響應速度和低延遲，是實現復雜操作指令的關鍵。此外，系統的后端還整合了機器學習分類器，用于從eeg信號中提取出最有效的特征，從而提高了指令識別的準確度。

26、最后，本系統是針對無人機控制，但其核心技術和架構可以擴展到其他領域，如遠程醫療操作、虛擬游戲互動等。這種跨領域的應用前景顯示了該技術不僅局限于一種用途，而是有能力推動多個行業的技術進步。

27、綜上所述，本發明的無人機遠程控制系統在技術和應用層面展示了多個創新點，不僅提升了用戶體驗，也拓寬了bci和mr技術的應用范圍，具有很高的研究價值和市場潛力。