基于多傳感器融合的無(wú)人機(jī)操作員狀態(tài)監(jiān)視系統(tǒng)的制作方法

本發(fā)明涉及無(wú)人機(jī)系統(tǒng)技術(shù)領(lǐng)域，具體涉及一種基于多傳感器融合的無(wú)人機(jī)操作員狀態(tài)監(jiān)視系統(tǒng)。

背景技術(shù)：

近年來(lái)隨著無(wú)人機(jī)系統(tǒng)技術(shù)的迅猛發(fā)展，對(duì)無(wú)人機(jī)任務(wù)控制站提出了更高的要求，要求其具備集指揮控制、任務(wù)規(guī)劃、通信管理、情報(bào)處理等于一體的綜合能力，并且任務(wù)控制站不再局限于地面，還可以部署在空中、海面甚至是有人機(jī)。未來(lái)無(wú)人機(jī)任務(wù)控制站不僅能夠控制同型號(hào)的單架無(wú)人機(jī)或無(wú)人機(jī)群，還將能夠控制不同型號(hào)的無(wú)人機(jī)聯(lián)合機(jī)群，包括控制無(wú)人機(jī)協(xié)同有人機(jī)完成特定任務(wù)。同時(shí)，任務(wù)控制站向用更少的指揮人員控制更多數(shù)量的無(wú)人機(jī)平臺(tái)方向發(fā)展(低人機(jī)比)，達(dá)到一人控制多架無(wú)人機(jī)的目標(biāo)。雖然近年來(lái)無(wú)人機(jī)已具有較強(qiáng)的智能化水平和自主控制能力，開(kāi)始由“人在回路中”(man-in-the-loop)的交互控制向“人在回路上”(man-on-the-loop)的監(jiān)督控制(Supervisory Control)方向發(fā)展，但在執(zhí)行任務(wù)過(guò)程中任務(wù)控制站操作員仍然擁有無(wú)人機(jī)操控的最終決定權(quán)，其作戰(zhàn)使用也離不開(kāi)人的指揮控制。隨著傳感器和數(shù)據(jù)鏈性能的不斷提升，海量的信息顯示及控制需求使任務(wù)控制站操作員的工作負(fù)荷和操作難度增大，對(duì)于人機(jī)協(xié)同態(tài)勢(shì)感知提出了更大的挑戰(zhàn)，并極容易導(dǎo)致操作員誤判和誤操作，從而導(dǎo)致事故的發(fā)生。

在無(wú)人機(jī)監(jiān)督控制的概念中，無(wú)人機(jī)的飛行控制是自主的，操作員主要參與規(guī)劃、問(wèn)題求解以及意外事件(例如：突發(fā)威脅、目標(biāo)變化、天氣變化、系統(tǒng)故障等)的處理。在具備“一對(duì)多”控制能力的多無(wú)人機(jī)監(jiān)督控制系統(tǒng)中，應(yīng)當(dāng)堅(jiān)持以操作員的信息需求為中心，通過(guò)操作員與控制站輔助決策系統(tǒng)之間的相互協(xié)作，適時(shí)變換控制權(quán)限，完成四類基本功能：任務(wù)分配、航跡規(guī)劃、目標(biāo)識(shí)別、武器攻擊授權(quán)等。任務(wù)執(zhí)行時(shí)，二者所扮演的角色和作用分別表述如下：一方面，輔助決策系統(tǒng)的輔助決策、態(tài)勢(shì)感知能力以及平臺(tái)自主執(zhí)行任務(wù)的能力(例如：目標(biāo)分配和航跡規(guī)劃)，將有助于減少操作員的工作負(fù)擔(dān)，擴(kuò)大操作員的控制范圍，為實(shí)現(xiàn)多無(wú)人機(jī)監(jiān)督控制奠定基礎(chǔ)。另一方面，人類的監(jiān)督給系統(tǒng)注入了靈活性和創(chuàng)造性，能夠充分發(fā)揮人的主觀能動(dòng)性和決策能力。同時(shí)，不確定情況下的管理也能夠有效彌補(bǔ)智能組件系統(tǒng)的缺陷，保證任務(wù)的順利完成。

因而設(shè)計(jì)一種能夠?qū)崟r(shí)的掌握無(wú)人機(jī)操作員的工作狀態(tài)，避免“人不在回路”事件的發(fā)生，保證高效、安全的完成使命任務(wù)，為更好的無(wú)人機(jī)監(jiān)督控制提供依據(jù)的無(wú)人機(jī)操作員狀態(tài)監(jiān)視系統(tǒng)是本領(lǐng)域所亟需的。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明從人機(jī)交互的實(shí)時(shí)性、準(zhǔn)確性角度出發(fā)，提出了一種基于多傳感器融合的無(wú)人機(jī)操作員狀態(tài)監(jiān)視系統(tǒng)。

一種基于多傳感器融合的無(wú)人機(jī)操作員狀態(tài)監(jiān)視系統(tǒng)，包括用于對(duì)無(wú)人機(jī)進(jìn)行狀態(tài)監(jiān)視的多種傳感器，用于對(duì)各種傳感器采集的數(shù)據(jù)進(jìn)行處理的計(jì)算機(jī)以及進(jìn)行無(wú)人機(jī)狀態(tài)顯示與控制的顯示器；無(wú)人機(jī)操作員通過(guò)顯示器了解無(wú)人機(jī)的狀態(tài)并對(duì)無(wú)人機(jī)進(jìn)行控制，多種傳感器實(shí)時(shí)采集無(wú)人機(jī)操作員的各種狀態(tài)信息，實(shí)現(xiàn)對(duì)無(wú)人機(jī)操作員進(jìn)行狀態(tài)監(jiān)視，各傳感器將采集到的狀態(tài)信息傳送給計(jì)算機(jī)進(jìn)行數(shù)據(jù)處理，最終由計(jì)算機(jī)輸出操作員的狀態(tài)評(píng)估結(jié)果。

所述計(jì)算機(jī)內(nèi)加載有提取各傳感器采集的特征數(shù)據(jù)、數(shù)據(jù)預(yù)處理以及特征融合的算法軟件，首先對(duì)各個(gè)傳感器的數(shù)據(jù)進(jìn)行量化，特征檢測(cè)，根據(jù)不同的傳感器進(jìn)行不同的預(yù)處理，然后對(duì)這些特征進(jìn)行多傳感器的數(shù)據(jù)融合，接著輸出操作員的工作狀態(tài)評(píng)估結(jié)果，最后給出人機(jī)交互中操作員的決策等級(jí)，以此反饋到操作員，提醒其當(dāng)前最佳工作狀態(tài)等級(jí)。

所述傳感器包括測(cè)量無(wú)人機(jī)操作員的姿態(tài)、面部表情的體感傳感器，進(jìn)行無(wú)人機(jī)操作員的眼睛跟蹤和眼睛疲勞檢測(cè)的眼動(dòng)儀傳感器，測(cè)量無(wú)人機(jī)操作員心情、任務(wù)負(fù)荷度、身體狀態(tài)的心率傳感器以及體溫傳感器，通過(guò)這些傳感器對(duì)無(wú)人機(jī)操作員的姿態(tài)、眼睛、面部表情、心率、體溫的實(shí)時(shí)測(cè)量可分析其當(dāng)前的狀態(tài)、行為和注意力。其中體感傳感器和眼動(dòng)儀傳感器將采集的信號(hào)通過(guò)有線信號(hào)傳輸給計(jì)算機(jī)。心率傳感器和體溫傳感器將采集的信息通過(guò)藍(lán)牙或者無(wú)線信號(hào)傳輸給計(jì)算機(jī)。

測(cè)量無(wú)人機(jī)操作員的姿態(tài)、面部表情的體感傳感器為交互式傳感器，可以采用微軟Kinect，華碩的Xtion，以及RealSense，Prime等。

鑒于在圖像中直接識(shí)別眼睛的準(zhǔn)確性不高，進(jìn)行無(wú)人機(jī)操作員的眼睛跟蹤和眼睛疲勞檢測(cè)的眼動(dòng)儀傳感器采用固定在顯示器屏幕上的Tobii eyeX眼動(dòng)儀，或者ASL公司的頭盔式眼動(dòng)儀。

心率變異性(Heart Rate Variability,HRV)與人的負(fù)荷水平、疲勞程度有關(guān)，主要用心率傳感器進(jìn)行測(cè)量。情緒會(huì)導(dǎo)致人體內(nèi)部的化學(xué)變化，從而產(chǎn)生不同的熱量分布，通過(guò)體溫傳感器測(cè)量無(wú)人機(jī)操作員身不同位置的體溫獲得無(wú)人機(jī)操作員身體的熱量分布圖，通過(guò)對(duì)熱量分布圖進(jìn)行分析獲知無(wú)人機(jī)操作員的心情狀態(tài)。

當(dāng)無(wú)人機(jī)操作員處在不同的心情狀態(tài)時(shí)，其面部表情和體溫也會(huì)處于不同的狀態(tài)；當(dāng)操作員疲勞時(shí)，眼動(dòng)儀檢測(cè)眼睛的閉合時(shí)間增加，HRV指數(shù)升高，頭部的擺動(dòng)頻率也可能增加；當(dāng)操作員注意力不集中時(shí)，眼睛的注意力會(huì)降低。該系統(tǒng)實(shí)時(shí)掌握操作員的工作狀態(tài)，輸出無(wú)人機(jī)操作員的決策等級(jí)，從而避免飛行事故發(fā)生，保證高效、安全的完成使命任務(wù)，為無(wú)人機(jī)“一對(duì)多”監(jiān)督控制提供依據(jù)。

無(wú)人機(jī)操作員面對(duì)著顯示器工作，當(dāng)無(wú)人機(jī)操作員任務(wù)負(fù)荷過(guò)重或者處于長(zhǎng)時(shí)間工作狀態(tài)時(shí)，其疲勞度會(huì)增加，表現(xiàn)為眼睛的閉合時(shí)間增加，心率變化增加。當(dāng)無(wú)人機(jī)操作員處在不同的心情狀態(tài)時(shí)，其面部表情會(huì)處于不同的狀態(tài)，并且其身體的熱量分布也會(huì)處于不同的狀態(tài)，通過(guò)對(duì)面部表情和體溫的測(cè)量，可以綜合判斷無(wú)人機(jī)操作員的情緒狀態(tài)。對(duì)無(wú)人機(jī)操作員姿態(tài)、眼睛跟蹤的實(shí)時(shí)測(cè)量可分析出操作員當(dāng)前的行為和注意力。該系統(tǒng)可實(shí)時(shí)評(píng)估操作員的工作狀態(tài)，評(píng)估結(jié)果將用于計(jì)算無(wú)人機(jī)操作員的決策等級(jí)，從而避免“人不在回路”(man-out-of-the-loop)事件的發(fā)生，保證高效、安全的完成使命任務(wù)，為更好的無(wú)人機(jī)監(jiān)督控制提供依據(jù)。

本發(fā)明中通過(guò)體感傳感器檢測(cè)無(wú)人機(jī)操作員的姿態(tài)，其姿態(tài)識(shí)別采用深度圖像的識(shí)別，深度圖像主要由體感傳感器Kinect或Xtion等提供。利用深度傳感中的骨架識(shí)別部分對(duì)人體姿態(tài)進(jìn)行識(shí)別，本發(fā)明主要識(shí)別頭部的位置。設(shè)頭部的位置Head(x,y,z)，脖子的位置為Neck(x,y,z)，頭部的水平姿態(tài)為

α_H＝atan((Neck_x-Head_x)/(Neck_y-Head_y)) (1)

頭部的俯仰姿態(tài)為

β_H＝atan((Neck_z-Head_z)/(Neck_y-Head_y)) (2)

對(duì)于無(wú)人機(jī)操作人員，如果頭部位置超過(guò)設(shè)定的閾值即Head_min(x,y,z)＜Head(x,y,z)＜Head_max(x,y,z)，則判斷無(wú)人機(jī)操作員不在視場(chǎng)的中心位置，如果低頭或者抬頭超過(guò)設(shè)定的閾值時(shí)即β_H＞T_max或者β_H＜T_min，則無(wú)人機(jī)操作員可能低頭過(guò)多或者抬頭過(guò)多，無(wú)人機(jī)任務(wù)控制站會(huì)給操作人員提示，降低的無(wú)人機(jī)操作員的處理任務(wù)負(fù)擔(dān)，同時(shí)提高控制站自動(dòng)化處理能力的等級(jí)。

本發(fā)明中通過(guò)體感傳感器檢測(cè)無(wú)人機(jī)操作員的面部表情，面部表情識(shí)別同樣采用可見(jiàn)光圖像的識(shí)別，首先通過(guò)已經(jīng)采用Adaboost訓(xùn)練的人臉庫(kù)，進(jìn)行人臉位置的識(shí)別，然后識(shí)別人臉表情，進(jìn)而理解和把握人的情緒。人臉表情的識(shí)別主要是通過(guò)人面部表情的相關(guān)幾何特征，例如五官的相互位置之間的變化，對(duì)這些相互位置關(guān)系進(jìn)行細(xì)致的定位和測(cè)量，得到形狀、大小、間距、相互比例等特征來(lái)進(jìn)行識(shí)別。當(dāng)人驚恐的時(shí)候，嘴巴上的特征點(diǎn)會(huì)張開(kāi)，眼睛上的特征點(diǎn)也會(huì)向上動(dòng)。

本發(fā)明中通過(guò)眼動(dòng)儀傳感器實(shí)現(xiàn)無(wú)人機(jī)操作員的眼動(dòng)跟蹤、眼睛疲勞檢測(cè)，該設(shè)備的原理是采用主動(dòng)式紅外激光發(fā)射器，通過(guò)激光打到眼球反射回設(shè)備，并進(jìn)行檢測(cè)識(shí)別位置定位，眼動(dòng)跟蹤主要采用中值濾波對(duì)眼睛跟蹤坐標(biāo)點(diǎn)進(jìn)行濾波，然后采用Kalman濾波對(duì)坐標(biāo)點(diǎn)進(jìn)行預(yù)測(cè)跟蹤，眼睛疲勞度檢測(cè)采用PERCLOS指標(biāo)，即單位時(shí)間內(nèi)眼睛閉合的次數(shù)，對(duì)眼睛進(jìn)行疲勞度檢測(cè)。

本發(fā)明中通過(guò)心率傳感器和體溫傳感器測(cè)量無(wú)人機(jī)操作員的心情以及身體狀態(tài)。心率傳感器主要通過(guò)測(cè)量操作員實(shí)時(shí)的心率值，通過(guò)一段時(shí)間內(nèi)心率值的低頻和高頻數(shù)據(jù)的比值，估計(jì)操作員當(dāng)前的身體狀態(tài)；體溫傳感器測(cè)量身體10個(gè)以上部位的溫度值，然后根據(jù)身體部位的溫度值，與數(shù)據(jù)庫(kù)中的心情和身體狀態(tài)值比較，估計(jì)操作員當(dāng)前的身體狀態(tài)和心情。

當(dāng)無(wú)人機(jī)操作員處理負(fù)載過(guò)重或者長(zhǎng)時(shí)間工作時(shí)，其眼睛的閉合時(shí)間增加，心率變化增加；當(dāng)無(wú)人機(jī)操作員處在不同的心情狀態(tài)時(shí)，面部表情和體溫也會(huì)處于不同的狀態(tài)；當(dāng)操作員狀態(tài)不佳的時(shí)候，頭部姿態(tài)也會(huì)表現(xiàn)一定的變化；當(dāng)操作員處理其它非操作席的事務(wù)時(shí)，操作員可能表現(xiàn)的較大的偏頭或者低頭等。操作員輔助決策等級(jí)依據(jù)Sheridan和Verplank提出的分類法(SV-LOA)決策等級(jí)，根據(jù)該決策等級(jí)對(duì)并對(duì)相應(yīng)的狀態(tài)進(jìn)行描述。利用上述的各種傳感器測(cè)量指標(biāo)進(jìn)行歸一化量化，對(duì)數(shù)據(jù)進(jìn)行融合，輸出操作員輔助決策等級(jí)。以此反饋到操作員，提醒其當(dāng)前最佳工作狀態(tài)等級(jí)。

附圖說(shuō)明

圖1系統(tǒng)總體流程圖，

圖2為系統(tǒng)裝置總體結(jié)構(gòu)圖，

圖3為交互式傳感器姿態(tài)識(shí)別圖，

圖4為不同心情下的體溫變化圖，

圖5為眼睛閉合檢測(cè)示意圖，t1為眼睛的閉合時(shí)間，

圖6為PERCLOS值與心率低頻高頻比隨時(shí)間變化的趨勢(shì)圖，

圖7為操作員心情、注意力、頭部動(dòng)作頻率狀態(tài)隨時(shí)間變化的曲線圖。

具體實(shí)施方式

下面結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明作進(jìn)一步說(shuō)明。

本發(fā)明旨在設(shè)計(jì)一種基于多傳感器融合的無(wú)人機(jī)操作員狀態(tài)監(jiān)視系統(tǒng)。該系統(tǒng)可實(shí)時(shí)評(píng)估操作員的工作狀態(tài)，評(píng)估結(jié)果將用于計(jì)算無(wú)人機(jī)操作員的決策等級(jí)，從而避免“人不在回路”(man-out-of-the-loop)事件的發(fā)生，保證高效、安全的完成使命任務(wù)，為更好的無(wú)人機(jī)監(jiān)督控制提供依據(jù)。

下面根據(jù)圖1-7說(shuō)明本方法的具體實(shí)施方式。

圖1為系統(tǒng)總體流程圖，包括用于對(duì)無(wú)人機(jī)進(jìn)行狀態(tài)監(jiān)視的多種傳感器，用于對(duì)各種傳感器采集的數(shù)據(jù)進(jìn)行處理的計(jì)算機(jī)105以及進(jìn)行無(wú)人機(jī)狀態(tài)顯示與控制的顯示器102。多種傳感器包括測(cè)量無(wú)人機(jī)操作員的姿態(tài)、面部表情的體感傳感器100，進(jìn)行無(wú)人機(jī)操作員的眼睛跟蹤和眼睛疲勞檢測(cè)的眼動(dòng)儀傳感器101，測(cè)量無(wú)人機(jī)操作員心情、任務(wù)負(fù)荷度、身體狀態(tài)的心率傳感器103以及體溫傳感器104，通過(guò)這些傳感器對(duì)無(wú)人機(jī)操作員的姿態(tài)、眼睛、面部表情、心率、體溫的實(shí)時(shí)測(cè)量可分析其當(dāng)前的狀態(tài)、行為和注意力。其中體感傳感器和眼動(dòng)儀傳感器將采集的信號(hào)通過(guò)有線信號(hào)傳輸給計(jì)算機(jī)。心率傳感器和體溫傳感器將采集的信息通過(guò)藍(lán)牙或者無(wú)線信號(hào)傳輸給計(jì)算機(jī)。通過(guò)這些傳感器對(duì)無(wú)人機(jī)操作員姿態(tài)、眼睛、面部表情、心率、體溫的實(shí)時(shí)測(cè)量可分析其當(dāng)前的狀態(tài)、行為和注意力。

無(wú)人機(jī)操作員通過(guò)顯示器了解無(wú)人機(jī)的狀態(tài)并對(duì)無(wú)人機(jī)進(jìn)行控制，多種傳感器實(shí)時(shí)采集無(wú)人機(jī)操作員的各種狀態(tài)信息，實(shí)現(xiàn)對(duì)無(wú)人機(jī)操作員進(jìn)行狀態(tài)監(jiān)視，各傳感器將采集到的狀態(tài)信息傳送給計(jì)算機(jī)進(jìn)行數(shù)據(jù)處理，最終由計(jì)算機(jī)輸出操作員的狀態(tài)評(píng)估結(jié)果。

所述計(jì)算機(jī)內(nèi)加載有對(duì)各傳感器采集的數(shù)據(jù)進(jìn)行特征提取、數(shù)據(jù)預(yù)處理以及特征融合的算法軟件，首先對(duì)各個(gè)傳感器的數(shù)據(jù)進(jìn)行量化，特征檢測(cè)，根據(jù)不同的傳感器進(jìn)行不同的預(yù)處理，然后對(duì)這些特征進(jìn)行多傳感器的數(shù)據(jù)融合，接著輸出操作員的工作狀態(tài)評(píng)估結(jié)果，最后給出人機(jī)交互中操作員的決策等級(jí)，以此反饋到操作員，提醒其當(dāng)前最佳工作狀態(tài)等級(jí)。

圖2為系統(tǒng)裝置總體結(jié)構(gòu)圖。系統(tǒng)包括為無(wú)人機(jī)操作人員提供人員狀態(tài)監(jiān)督的各種傳感器，各種傳感器包括測(cè)量姿態(tài)、面部表情的體感傳感器100，眼睛跟蹤或者眼睛疲勞檢測(cè)的眼動(dòng)儀傳感器101，用于檢測(cè)心情、工作負(fù)荷度的心率傳感器103及體溫傳感器104。體感傳感器100安裝在顯示器的上面，更好的測(cè)量操作員的手勢(shì)或者頭部動(dòng)作，眼動(dòng)儀傳感器101主要是測(cè)量人眼睛的方位和眼睛的疲勞度，因此也安裝在顯示器的上面，為減少裝置對(duì)操作員的影響，心率傳感器103可以以手環(huán)的形式，體溫傳感器104為穿戴方式，采用陣列方式安置于操作員身體不同部位。該裝置既可以適用于地面站，也適用于有人機(jī)座艙。

圖3為交互式傳感器骨架識(shí)別和手勢(shì)識(shí)別圖，(a)為Kinect姿態(tài)識(shí)別圖，(b)為華碩Xtion姿態(tài)識(shí)別圖。無(wú)人機(jī)操作員的姿態(tài)識(shí)別主要識(shí)別其頭部和身體的各個(gè)部分。姿態(tài)識(shí)別可以根據(jù)人的某些行為去判斷操作人員當(dāng)前的狀態(tài)。如人在疲勞狀態(tài)下容易瞌睡，表現(xiàn)為頭部的搖動(dòng)或者低頭，當(dāng)操作人員頭部的搖動(dòng)或者低頭操作一定的閾值時(shí)，系統(tǒng)會(huì)給操作人員提示或者降低的人的處理任務(wù)負(fù)擔(dān)。通過(guò)姿態(tài)的識(shí)別也可以識(shí)別當(dāng)前手的位置，判斷操作員是否去處理其它的事情。

圖4為不同心情下的不同身體部位的體溫圖?？纱┐魇襟w溫傳感器通過(guò)檢測(cè)操作員身體的多個(gè)點(diǎn)的溫度，估計(jì)操作員處理某種情緒狀態(tài)。據(jù)英國(guó)《每日郵報(bào)》，一支來(lái)自芬蘭的科研小組對(duì)700名志愿者進(jìn)行了實(shí)驗(yàn)，測(cè)量人體在不同情緒控制下各個(gè)部位的溫度，然后用熱成像圖表示出來(lái)。結(jié)果顯示，情緒會(huì)導(dǎo)致人體內(nèi)部的化學(xué)變化，從而產(chǎn)生不同的熱量分布。例如，當(dāng)憤怒時(shí)，頭部和胸部的溫度就會(huì)升高；當(dāng)心情沮喪的時(shí)候，全身都涼透了；當(dāng)感到害羞時(shí)，“熱點(diǎn)”就會(huì)集中到臉上?？傊?，喜怒哀樂(lè)情緒變化影響身體熱量分布，相當(dāng)于得到一張身體情緒地圖。當(dāng)無(wú)人機(jī)操作員處在不同的心情狀態(tài)時(shí)，面部表情也會(huì)處于不同的狀態(tài)。因此，基于面部表情和體溫的測(cè)量，可以綜合判斷操作員的情緒狀態(tài)。

當(dāng)無(wú)人機(jī)操作員處理負(fù)載過(guò)重或者長(zhǎng)時(shí)間工作時(shí)，其疲勞度增加，眼睛的閉合時(shí)間增加，心率變化增加。圖5為不同疲勞狀態(tài)下的心率和眼睛閉合圖。PERCLOS(Average Eye Closure Speed)定義為眼睛閉合時(shí)間占某一時(shí)間的百分比。PERCLOS是公認(rèn)的疲勞檢測(cè)的視覺(jué)參數(shù)。PERCLOS是1994年根據(jù)駕駛模擬器上的實(shí)驗(yàn)確立的。定義為1分鐘內(nèi)，眼睛閉合時(shí)間所占的比例。眼睛閉合有70％，80％和完全閉合三種標(biāo)準(zhǔn)，以80％標(biāo)準(zhǔn)的效果最好。研究結(jié)果表明，PER-CLOS反應(yīng)了緩慢的眼皮閉合而不是快速的眨眼，可以強(qiáng)烈反應(yīng)精神的疲勞狀態(tài)。1999年4月，美國(guó)聯(lián)邦公路管理局召集駕駛疲勞研究方面的專家學(xué)者，討論了PERCLOS和其它眼睛活動(dòng)測(cè)量方法的有效性。研究表明：PERCLOS可以作為機(jī)動(dòng)車駕駛員的疲勞的車載的，實(shí)時(shí)的測(cè)評(píng)參數(shù)。雖然PERCLOS是機(jī)器視覺(jué)駕駛疲勞測(cè)量方法中最有效的，其不足之處在于眼睛的個(gè)體差異較大，增加了檢測(cè)的難度。圖5給出了PERCLOS的檢測(cè)示意圖，只要測(cè)量t1值就能計(jì)算出PERCLOS值。

圖6為PERCLOS值與心率低頻高頻比隨時(shí)間變化的趨勢(shì)圖。和其他檢測(cè)方法相比，心電檢測(cè)相比眼睛閉合檢測(cè)具有干涉性小、實(shí)時(shí)性好、設(shè)備價(jià)格低廉等諸多優(yōu)勢(shì)，尤其是不依賴于眼動(dòng)跟蹤傳感器的探測(cè)范圍。Hanlon等對(duì)心率變異性(heart rate variability,HRV)與人的負(fù)荷水平、疲勞程度進(jìn)行相關(guān)性研究，并推斷HRV可以評(píng)估駕駛疲勞。HRV是指竇性心率在一定時(shí)間內(nèi)周期性改變的現(xiàn)象，是反映交感-副交感神經(jīng)張力及其平衡的重要指標(biāo)。心率變化信號(hào)分解為不同的頻率成分并將其相對(duì)強(qiáng)度定量為功率，提供了各種頻率成分的功率譜測(cè)定。常用頻域指標(biāo)有心率變異性頻譜高頻部W_HF、頻譜低頻部分W_LF等，r_LF/HF表示W(wǎng)_LF與W_HF之比，代表交感-副交感神經(jīng)張力的平衡狀態(tài)。圖6為PERCLOS值與心率低頻高頻比隨時(shí)間變化的趨勢(shì)圖，PERCLOS值與r_LF/HF值呈一定的線性關(guān)系。

最后綜合所測(cè)量的多種傳感器數(shù)據(jù)，提取其特征值，估計(jì)無(wú)人機(jī)操作員的疲勞度、心情、肢體行為以及眼睛的注意力，圖7為操作員心情、注意力、頭部動(dòng)作頻率狀態(tài)隨時(shí)間變化的曲線，結(jié)合圖6眼睛閉合PERCLOS值與心率r_LF/HF值看出，操作員隨時(shí)間的變化，疲勞程度急劇增加，心情也變的厭惡和憤怒，頭部的運(yùn)動(dòng)頻率也相應(yīng)的增加。

表1為操作員不同時(shí)候人體狀態(tài)、輔助等級(jí)，根據(jù)人體的不同狀態(tài)輸出相應(yīng)的人機(jī)交互輔助決策等級(jí)，采用Sheridan和Verplank提出的分類法(SV-LOA)自主控制等級(jí)，根據(jù)決策等級(jí)對(duì)并對(duì)相應(yīng)的狀態(tài)進(jìn)行描述。經(jīng)過(guò)測(cè)試，在無(wú)人機(jī)執(zhí)行偵察任務(wù)條件下，無(wú)人機(jī)操作員的最佳工作時(shí)間為1小時(shí)左右。

表1操作員不同測(cè)試時(shí)間工作狀態(tài)與輔助決策等級(jí)