基于多傳感器測量與神經網絡學習的無人機操作員狀態評估方法與流程

本發明涉及無人機系統
技術領域：
，具體涉及一種基于多傳感器測量與神經網絡學習的無人機操作員狀態評估方法。
背景技術：
：隨著無人機自動化程度的提高，操作員對無人機的控制由低級的基于行為的控制轉變為高級的基于知識的控制，這種基于知識的控制就是監督控制。在監督控制中，飛行控制是由系統自動完成的，操作員主要是負責高層的任務管理和載荷管理。傳統指揮控制一架無人機經常需要多個操作員，監督控制則使得單個操作員控制多架無人機成為可能，一方面平臺自動化程度的提高為這種轉變提供了技術支持，另一方面網絡中心戰要求平臺間的交互為這種轉變提供了動力。在執行任務過程中地面站操作員仍然擁有操縱飛機的最終決定權，無人機系統仍屬于人在回路的系統，其作戰使用離不開人的指揮控制，大量的顯示信息及控制需求使地面站操作員的工作負荷和操作難度增大容易導致誤判和誤操作。公開號為101868284A的專利文獻提出一種用于基于傳感器測量來提供交互性的方法及系統，是一種用于客人的傳感器測量來向體驗場所的客人提供交互性的系統。公開號為105082150A的專利文獻，公開了一種基于用戶情緒及意圖識別的機器人人機交互方法，利用生物信號、面部表情以及利用語音交互實現人機交互，主要用于老人和小孩等使用者。公開號為105292476A的專利文獻公開了一種無人機的控制方法及系統，利用腦電波判斷無人機操作員大腦是否清醒。因此，從多傳感器測量角度，研究無人機操作人員工作狀態，為更好的監督控制多無人機系統提供依據。技術實現要素：本發明提出了一種基于多傳感器測量與神經網絡學習的無人機操作員狀態評估方法。多傳感器主要包括測量操作員姿態、面部表情、眼動跟蹤、體溫，心率的傳感器，以及人腦意念的傳感器。利用這些傳感器獲取操作員狀態信息，構建多維特征空間樣本庫。根據不同操作員的樣本，用神經網絡進行訓練和學習，建立與上述傳感器特征與語義之間的映射關系，從而估計出操作員的決策等級。該方法適用于具有不同熟練程度的各種層次的無人機操作員，可以更加直觀的掌握操作員的實時狀態，估計操作員當前是否適合該任務，以及對任務可做出相應的調整。一種基于多傳感器測量與神經網絡學習的無人機操作員狀態評估方法，包括以下步驟：步驟一：傳感器測量利用溫度傳感器檢測操作員的體溫，用于監測操作員不同情緒變化下的體溫分布情況。利用心率傳感器檢測操作員的心率，用于監測操作員不同狀態如興奮、疲勞狀態下的心率變化。利用人體動作、姿態檢測的深度圖像傳感器檢測操作員的姿態行為，用于監測操作員不同行為狀態下的姿態變化。利用面部表情的可見光圖像傳感器檢測操作員的面部表情，根據面部表情的變化檢測操作員的心情狀態。利用眼動儀傳感器檢測人的眼睛關注度，以及根據眼睛的閉合情況檢測眼睛疲勞狀態。利用人腦意念傳感器檢測操作員是否注意力集中。步驟二、利用上述傳感器獲取的操作員狀態信息，構建多維特征空間樣本庫；根據不同操作員的樣本，設計相應的神經網絡訓練學習感知器，建立與上述傳感器特征與語義之間的映射關系。1)首先構建多維的特征空間樣本庫人腦意念和眼動跟蹤可以輸出操作員的關注度，體溫和面部表情可以輸出操作員的心情，姿態可以判斷操作員的肢體行為，心率、眼動跟蹤以及姿態可以輸出操作員的疲勞度。基于上述狀態信息確定操作員狀態特征輸入矢量X(人腦意念x1，眼動跟蹤x2，體溫x3，面部表情x4，姿態x5，心率x6)。同時，確定操作員狀態特征目標矢量T(關注度T1，心情T2，肢體行為T3，疲勞度T4)。2)設計相應的神經網絡訓練學習感知器①確定輸入矢量X，目標矢量T，并由此確定各矢量的維數，r為輸入矢量P的維數，r＝6；s為目標矢量T的維數，s＝4；確定網絡結構大小的神經元節點數目q＝44。其數學模型可表示為Y為神經元輸出，f為神經元非線性激勵函數，X＝(x1,x2,...,x6)為神經元輸入，W＝(ω1,ω2,...,ω6)為權矢量，其中包含多個權值，θ為神經元激活閾值。②參數初始化，賦給權矢量W在(-1,1)的隨機非零初始值，給出最大訓練循環次數。③網絡表達式：根據輸入矢量X以及跟新權矢量W，計算網絡輸出矢量Y。④檢查：檢查輸出矢量Y與目標矢量T是否相同，如果是，或已達最大循環次數，訓練結束，否則轉入⑤。⑤學習，根據下式所示，感知器的學習規則調整權矢量W，并返回③。W＝W+EPTθ＝θ+E此處E為誤差矢量，E＝T-Y。3)最后建立與上述傳感器特征與語義之間的映射關系：首先對狀態模型進行語義量化；選擇很多對形容詞用于建立操作員狀態模型形容詞集，形容詞集如表1所示：表11、悲傷的–快樂的5、輕松的–壓抑的2、疲勞的–平靜的6、注意力集中的–分散的3、焦慮的–中性的7、低頭的–抬頭的4、緊張的–放松的8、清晰的–模糊的針對表1中的各個形容詞隊，如“疲勞的–平靜的”，將其分為四個等級進行評價，其評價可以是重度疲勞，輕微疲勞，良好，非常良好，分別對應的邊界條件為t43，t42，t41，當疲勞度T4大于操作員設定的閾值時T4＞t43，操作員重度疲勞，當T4小于操作員設定的閾值時T4＜t41，操作員狀態非常良好；同樣的，將其他各形容詞隊分別將其分為四個等級進行評價。然后建立狀態空間；首先獲得各測試用戶對某一狀態m的第n對形容詞的評價量化值，再對某一狀態m的第n對形容詞量化值求平均，獲得一維矩陣Ym＝[ym1,ym2,...,ymn]，并按照公式進行標準化，得到矩陣Xm；式中設E為公共因子矩陣，Z為載荷矩陣，其中式中，公共因子矩陣E的第m行em＝(em1,em2,...,emn)對每一操作用狀態m在狀態空間的坐標，載荷矩陣Z的第n行Zn＝(Zn1,Zn2,...,Znk)對應形容詞n在K維空間的坐標。再設U為獨特因子，D作為獨特因子的權值，為對獲得的矩陣X按公式做因子分析：X＝EZ'+UD通過以上步驟，將原先的N維操作員的狀態空間降至K維，形成K維的正交狀態空間，建立形容詞與操作員向量的映射。步驟三：構建語義組合構建的樹形結構，給出操作員的狀態評估，估計操作員當前是否適合該任務，以及對無人機任務控制站任務可做出相應的調整。構建語義組合構建的樹形結構，從葉子節點開始，按照樹所表示的節點層次關系，從底層葉子節點開始逐層向上進行有序的組合，最終得到整個句子的語義表示。然后根據上述的語義量化，操作員關注度T1，心情T2，肢體行為T3，疲勞度T4，采用D-S證據決策，操作員的狀態評估為Q：λi為各種狀態的權值系數，其中λ1*T1+λ2*T2+λ3*T3+λ4*T＜1；最后給出操作員的狀態評估，估計操作員當前是否適合該任務，以及對控制站任務可做出相應的調整。當Q大于操作員設定的閾值時Q＞Q1時，操作員不適合該任務，控制站自動處理該任務，并且提醒操作員該休息下；當Q0＜Q＜Q1時，操作員只適合部分該任務，控制站自動處理該任務，然后提示操作員確認該任務；當Q＜Q0時，操作員適合該任務，控制站把該任務全權交給操作員。本發明提出了一種基于多傳感器測量與神經網絡學習的無人機操作員狀態評估方法，建立與上述傳感器特征與語義之間的映射關系，從而估計出操作員的決策等級。該方法便于更加直觀地掌握操作員的實時狀態，估計操作員當前是否適合該任務，以及對任務可做出相應的調整。由于采用了神經網絡的學習方法，可建立不同操作員的特征空間，因此，適用于具有不同熟練程度的各種層次的無人機操作員。附圖說明圖1為本發明的流程圖，圖2為各個傳感器輸出操作員的各種狀態，圖3為神經網絡結構圖，圖4句子組合關系樹狀層次圖。具體實施方式下面結合附圖和具體實施方式對本發明作進一步說明。本發明旨在提供一種基于多傳感器測量與神經網絡學習的無人機操作員狀態評估方法，建立與上述傳感器特征與語義之間的映射關系，從而估計出操作員的決策等級。該方法便于更加直觀地掌握操作員的實時狀態，估計操作員當前是否適合該任務，以及對任務可做出相應的調整。由于采用了神經網絡的學習方法，可建立不同操作員的特征空間，因此，適用于具有不同熟練程度的各種層次的無人機操作員。下面結合附圖，說明本方法的具體實施方式。如圖1所示為本發明的流程圖。無人機操作員狀態特征提取主要通過多種傳感器檢測無人機操作員的各種狀態信號。傳感器包括用于操作員體溫檢測的溫度傳感器，用于監測操作員心率的心率傳感器，用于操作員人體動作、姿態檢測的深度圖像傳感器，用于檢測操作員面部表情的可見光圖像傳感器，用于操作員眼睛關注度和眼睛疲勞檢測的眼動儀傳感器，以及用于操作員人腦意念檢測的人腦意念傳感器。操作員的體溫檢測可以檢測不同情緒變化下的體溫；心率傳感器檢測人的心率變換，如在興奮、疲勞狀態下人的心率不同；人體動作、姿態檢測傳感器檢測姿態行為，處于不同狀態的人，表現的姿態上也有可能不一樣；面部表情的傳感器可以檢測操作員心情狀態，比如開心，憤怒等；眼睛關注度傳感器檢測人的關注度，也可以檢測疲勞狀態；人腦意念傳感器主要檢測操作員是否注意力集中。通過上述多種傳感器獲得這些特征量化后，根據不同操作員的樣本，在基于神經網絡的學習方法上進行訓練，建立與上述傳感器特征與語義之間的映射關系，該映射關系主要是利用訓練中的數據庫、知識庫、規則庫轉化的數值符號和語義概念合成，利用這些特征量化值作為特征輸入，通過語義輸出操作員各種狀態，估計該狀態下的操作員適合該任務的等級。最后無人機任務控制站系統以語義的方式反饋回操作員，使得操作員更加直觀的掌握實時的狀態信息。1)首先構建多維的特征空間樣本庫圖2為各個傳感器輸出操作員的各種狀態，其中根據人腦意念和眼動跟蹤可以輸出操作員的關注度，體溫和面部表情可以輸出操作員的心情，姿態可以判斷操作員的肢體行為，心率、眼動跟蹤以及姿態可以輸出操作員的疲勞度。然后根據這些狀態輸出操作員的狀態負載等級，最后根據負載等級無人機任務控制站提示因該給予操作員的任務等級。因此，基于上述狀態信息確定操作員狀態特征輸入矢量X(人腦意念x1，眼動跟蹤x2，體溫x3，面部表情x4，姿態x5，心率x6)，操作員狀態特征目標矢量T(關注度T1，心情T2，肢體行為T3，疲勞度T4)。語義網是如何把特征向量構建神經網絡的語義基礎，如圖3所示為神經網絡結構圖，語義網是基于有向圖描述事物、概念、屬性、動作、狀態及其之間的關聯關系的知識表示模式。在上文中獲得的目標圖像特征，用語義網理論加以描述，分析目標圖像特征信息與其內容之間的內在關聯關系。建立目標圖像知識表示模式，為神經網絡學習圖像語義提供支持。神經網絡信息存儲分布在連接權值上，使網絡局部輸入信息的不準確并不會影響網絡輸出的正確性，具有較高的容錯性和魯棒性。每個神經元根據接收輸入信息獨立運算，輸入下層處理，具有并行處理信息能力。神經網絡將信息處理和信息存儲分離，反映了網絡對信息的記憶聯想能力。2)設計相應的神經網絡訓練學習感知器①確定輸入矢量X，目標矢量T，并由此確定各矢量的維數，r為輸入矢量P的維數，r＝6；s為目標矢量T的維數，s＝4；確定網絡結構大小的神經元節點數目q＝44。其數學模型可表示為Y為神經元輸出，f為神經元非線性激勵函數，X＝(x1,x2,...,x6)為神經元輸入，W＝(ω1,ω2,...,ω6)為權矢量，其中包含多個權值，θ為神經元激活閾值。②參數初始化，賦給權矢量W在(-1,1)的隨機非零初始值，給出最大訓練循環次數。③網絡表達式：根據輸入矢量X以及跟新權矢量W，計算網絡輸出矢量Y。④檢查：檢查輸出矢量Y與目標矢量T是否相同，如果是，或已達最大循環次數，訓練結束，否則轉入⑤。⑤學習，根據下式所示，感知器的學習規則調整權矢量W，并返回③。W＝W+EPTθ＝θ+E此處E為誤差矢量，E＝T-Y。3)最后建立與上述傳感器特征與語義之間的映射關系.操作員各種狀態模型建立。操作員各種狀態模型的建立主要包括兩步，一是對狀態模型進行語義量化，二是建立狀態空間。選擇很多對形容詞用于建立操作員狀態模型形容詞集，形容詞對如表1所示：表1形容詞集1、悲傷的–快樂的5、輕松的–壓抑的2、疲勞的–平靜的6、注意力集中的–分散的3、焦慮的–中性的7、低頭的–抬頭的4、緊張的–放松的8、清晰的–模糊的針對表1中的各個形容詞隊，如“疲勞的–平靜的”，將其分為四個等級進行評價，其評價可以是重度疲勞，輕微疲勞，良好，非常良好，分別對應的邊界條件為t43，t42，t41，當疲勞度T4大于操作員設定的閾值時T4＞t43，操作員重度疲勞，當T4小于操作員設定的閾值時T4＜t41，操作員狀態非常良好。同樣的，將其他各形容詞隊分別將其分為多個等級進行評價。如將關注度T1分為高度集中、集中、關注度低、沒關注四個等級，分別對應的邊界條件為t13，t12，t11，當關注度T1大于操作員設定的閾值時T1＞t13，操作員沒關注，當T1小于操作員設定的閾值時T1＜t11，操作員高度集中。同理可將心情T2分為中性、厭惡、憤怒三個等級，將肢體行為T3分為直視、低頭、換動三個等級。然后建立狀態空間：首先獲得各測試用戶對某一狀態m的第n對形容詞的評價量化值，再對某一狀態m的第n對形容詞量化值求平均，獲得一維矩陣Ym＝[ym1,ym2,...,ymn]，并按照公式進行標準化，得到矩陣Xm；式中設E為公共因子矩陣，Z為載荷矩陣，其中式中，公共因子矩陣E的第m行em＝(em1,em2,...,emn)對每一操作用狀態m在狀態空間的坐標，載荷矩陣Z的第n行Zn＝(Zn1,Zn2,...,Znk)對應形容詞n在K維空間的坐標；再設U為獨特因子，D作為獨特因子的權值，為對獲得的矩陣X按公式做因子分析：X＝EZ'+UD通過以上步驟，將原先的N維操作員的狀態空間降至K維，形成K維的正交狀態空間，建立形容詞與操作員向量的映射。語義組合構建，由于語義組合構建需要使用到文本不同成分之間的語義表達的組合關系，故需要把上述工具分析得到的結果按照分析器定義的依存關系次序進行變換，就可以得到整個句子的組合關系樹狀層級圖，如圖4所示。按照圖4所示的樹狀結構，從葉子節點開始，按照樹所表示的節點層次關系，從底層葉子節點開始逐層向上進行有序的組合，最終得到整個句子的語義表示。文中對上圖樹中兩個子節點進行組合。然后根據語義組合構建的樹形結構，利用神經網絡學習的結果填充不同類型的語義詞，最后給出操作員的狀態評估，估計操作員當前是否適合該任務，以及對任務可做出相應的調整。采用D-S證據決策，操作員的狀態評估為Q。λi為各種狀態的權值系數，其中λ1*T1+λ2*T2+λ3*T3+λ4*T＜1。最后給出操作員的狀態評估，估計操作員當前是否適合該任務，以及對控制站任務可做出相應的調整。當Q大于操作員設定的閾值時Q＞Q1時，操作員不適合該任務，控制站自動處理該任務，并且提醒操作員該休息下。當Q0＜Q＜Q1時，操作員只適合部分該任務，控制站自動處理該任務，然后提示操作員確認該任務。當Q＜Q0時，操作員適合該任務，控制站把該任務全權交給操作員。對不同時刻下無人機操作員的狀態進行檢測，檢測疲勞、心情、表情、關注度以及行為，建立特征矩陣X，然后根據語義組合已經構建的語義網絡采用神經網絡學習方法，構建語義學習的結果。當操作員操作時間越長時，操作員的狀態會變的不好，最后根據所有操作員的狀態利用D-S證據決策對數據的融合估計操作員是否適合該任務或者操作。該語義學習的結果如表2所示。可以看出，操作員連續工作的時間越長，精神狀態越差，當操作員連續工作1小時左右，操作員就不太適合該任務的操作，或者需要更換其他的任務，或者休息。表2神經網絡語義學習不同時刻的無人機操作員狀態當前第1頁1 2 3