基于人臉圖像和眼動注視信息的心理測試方法與流程

本發明屬于心理測試
技術領域：
，具體涉及一種基于人臉圖像和眼動注視信息的心理測試方法。
背景技術：
：傳統意義上的心理測試，還是通過問卷回答，面對面直接溝通等方法，利用人的經驗進行觀察被測試人的行為舉止進行心理判斷。隨著人工智能和模式識別技術發展和大量使用，多模態的數據采集設備日益增多，相應的，利用這些數據進行行為識別和心理認知的技術越來越復雜；目前檢測主要是通過攝像頭獲取人的灰度或彩色圖像，并利用圖像處理和分析方法進行某種特定目的的識別，這樣的工作對行為檢測的范圍小，誤差大、成本高、對心理測試本身需要的信息融合度差，具有很大的局限性。基于此，本領域技術人員設計開發了各種行為數據的采集設備，針對可能產生的各種問題。但，上述裝備往往是“獨立作戰”，多數裝備的功能單一，信息采集內容有限，就小范圍少量的使用效果明顯，就針對更加復雜的行為檢測應用仍存在成本、信息融合、工作誤差等問題。通過檢索，申請人發現了一些用于心理測試領域的系統類技術方案，基本是通過被測試人的圖像和他眼動注視信息，綜合分析其在被測試過程中的行為狀態，進而實現負責心理行為分析的要求。然而現有涉及心理測試的系統在心理測試過程中，無法實現對被測試人進行系統全面的行為狀態的分析，從而無法滿足全面分析被測試人的心理狀態特征。.技術實現要素：本發明的目的在于解決上述的技術問題而提供一種基于人臉圖像和眼動注視信息的心理測試方法，其可以實現識別并同步跟蹤被測試人的表情、頭部狀態、手部狀態和眼動注視位置的狀態，同時基于識別的被測試人的狀態，分析被測試人的心理狀態特征，達到輔助心理測試的要求。為實現上述目的，本發明采用如下技術方案：一種基于人臉圖像和眼動注視信息的心理測試方法,包括以下步驟：步驟1、訓練并建立用戶特征模型，用戶特征模型包括表情識別模型、手部狀態識別模型、頭部狀態識別模型、心理特征識別模型；步驟2、使用圖像識別技術提取人臉圖像特征并進行表情、手部以及頭部狀態識別；步驟3、利用眼動儀獲取用戶眼動注視位置，對用戶眼動注視點進行圖像映射，獲取左右眼在屏幕上的坐標；然后使用同步分配算法，實現在每秒預定數量幀的速度下，對每一幀圖像眼動注視位置與表情狀態、頭部狀態、手部狀態的同步記錄；步驟4、利用同步后的眼動注視狀態以及表情狀態、頭部狀態、手部狀態特征，建立有時間維度的特征狀態流；使用遞歸神經網絡算法和心理特征識別算法，與訓練好的心理特征識別模型進行匹配，實現在每秒預定數量幀的速度下，對每一幀圖像心理狀態識別分析的同步記錄。其中，所述訓練并建立用戶特征模型的步驟如下：S101:搜集用戶心理數據樣本和彩色圖像數據樣本并進行標注；S102:建立表情特征識別模型：利用深度神經網絡特征學習算法和表情分類算法，對標注后的圖像數據樣本進行學習，建立表情特征識別模型；S103:建立手部狀態識別模型：利用深度神經網絡特征學習算法和手部動作分類算法，對標注后的圖像數據樣本進行學習，建立手部狀態特征識別模型；S104:建立頭部狀態識別模型：利用深度神經網絡特征學習算法和頭部動作分類算法，對標注后的圖像數據樣本進行學習，建立頭部狀態特征識別模型；S105:建立心理特征識別模型：利用遞歸深度神經網絡特征學習算法和心理特征分類算法，對標注后心理數據樣本的行為狀態特征與心理特征進行學習，建立心理特征識別模型。其中，所述使用圖像識別技術提取人臉圖像特征并進行狀態識別的步驟具體如下：S201:利用單幀視頻序列初始化背景模型；S202:利用背景模型進行前景檢測，并利用生命周期閾值調整背景模型的更新速度，完成前景檢測；S203:通過團塊檢測提取運動區域，并從運動區域中獲取人臉、頭部和手部的區域；S204:利用深度神經網絡分別計算人臉、頭部和手部的每一個區域的狀態特征，利用識別算法實現人臉、頭部和手部的狀態識別。其中，每一個區域的狀態特征為2*2個梯度特征，分布于區域的4個頂角，通過在每個頂角截取一幅32*32的圖像而形成。本發明本發明通過采集人臉彩色圖像進行表情識別、頭部狀態識別、手部狀態識別，同時用眼動儀記錄被測試人的眼動注視位置，并將整個過程同步匹配，實現對被測試人在心理測試過程中的行為狀態與眼動注視狀態的同步跟蹤記錄，并基于得到的狀態數據進行建模分析，實現對被測試人的心理特征識別，實現了在心理測試過程中對被測試人的表情、手部、頭部、眼動狀態的在線識別和同步處理，最終實現對心理狀態的實時分析和記錄。該方法具有很高的檢測精度和較低的誤分率，同時較快的檢測速度也滿足實際心理測試的需要。附圖說明圖1出示了本發明基于人臉圖像和眼動注視信息的心理測試方法的測試進程示意圖；圖2出示了本發明基于人臉圖像和眼動注視信息的心理測試方法的流程圖。具體實施方式下面，結合實例對本發明的實質性特點和優勢作進一步的說明，但本發明并不局限于所列的實施例。本發明利用彩色人臉圖像進行表情識別、頭部狀態識別、手部狀態識別，同時利用眼動儀記錄被測試人的眼動注視位置，而且將整個過程進行同步匹配，實現對被測試人在心理測試過程中的行為狀態與眼動注視狀態的同步跟蹤記錄，并基于獲取的狀態數據進行建模分析，實現對被測試人的心理特征識別。參見圖2所示，一種基于人臉圖像和眼動注視信息的心理測試方法，包括如下步驟：步驟1、訓練并建立用戶特征模型：用戶特征模型包括表情識別模型、手部狀態識別模型、頭部狀態識別模型、心理特征識別模型；其中，本發明中，訓練并建立用戶特征模型的步驟可以采用如下方法：S101:搜集用戶心理數據樣本和彩色圖像數據樣本并進行標注；S102:建立表情識別模型：利用深度神經網絡特征學習算法和表情分類算法，對標注后的彩色圖像數據樣本進行學習，建立表情特征識別模型；表情可以是包括如平淡、愉快、驚奇、生氣、厭煩、悲傷、恐懼；S103:建立手部狀態識別模型:利用深度神經網絡特征學習算法和手部動作分類算法，對標注后的彩色圖像數據樣本進行學習，建立手部狀態特征識別模型；手部狀態可以是包括抬高、搖擺、推動、觸碰、雙手交叉；S104:建立頭部狀態識別模型:利用深度神經網絡特征學習算法和頭部動作分類算法，對標注后的彩色圖像數據樣本進行學習，建立頭部狀態特征識別模型；頭部狀態可以是包括中正、搖擺、偏歪；S105:建立心理特征識別模型：利用遞歸深度神經網絡特征學習算法和心理特征分類算法，對標注后心理數據樣本的行為狀態特征與心理特征進行學習，建立心理特征識別模型；參見圖1所示，在進行測試時，由用戶(被測試人)登錄系統，并輸入用戶信息，為了保證測試結果的準確性，系統會提供測試用圖例讓用戶觀察，進行表情識別、人臉識別，以驗證測試系統各方面功能，使用戶調整姿態，包括頭部位置、正面以及眼動注視位置等；在系統驗證正常后開始測試，在測試時，由用戶答題或被要求做某種反饋，在答題過程中采集用戶彩色圖像以及眼動注視數據，直到完成所述測試題后結束測試；步驟2、測試時，使用圖像識別技術提取獲取的人臉彩色圖像特征并進行狀態識別；本發明中，提取人臉彩色圖像特征并進行狀態識別可以采用如下方法來實現：S201:利用基于梯度的背景建模算法進行背景建模初始化，即利用單幀視頻序列初始化背景模型。背景建模方法都是根據背景圖像建立像素級的背景模型然后，對后續幀判斷哪些點符合模型，即被判斷為背景點，不符合模型的點判斷為前景點，最后利用背景點更新背景模型，達到前景檢測的目的。初始化是建立背景模型的過程，一般的檢測算法需要一定長度的視頻序列學習完成，影響了檢測的實時性，而且當視頻畫面突然變化時，重新學習背景模型需要較長時間。本發明提出的基于梯度的背景建模算法，是利用單幀視頻序列初始化背景模型，對于一個像素點，結合相鄰像素點擁有相近像素值的空間分布特性，隨機的選擇它的鄰域點的像素值作為它的模型樣本值。這樣不僅減少了背景模型建立的過程，還可以處理背景突然變化的情況，當檢測到背景突然變化明顯時，只需要舍棄原始的模型，重新利用變化后的首幀圖像建立背景模型。S202:利用背景模型進行前景檢測背景模型為每個背景點存儲一個樣本集，然后每個新的像素值和樣本集比較判斷是否屬于背景。計算新像素值和樣本集中每個樣本值的距離，若距離小于閾值，則近似樣本點數目增加。如果近似樣本點數目大于閾值，則認為新的像素點為背景。檢測過程主要由三個參數決定：樣本集數目(SampleNum)，閾值(CountThreshold)和距離相近判定的閾值(DistenceThreshold)，同時引入生命周期閾值(LifeThreshold)來調整背景更新速度。S203:人臉、頭部和手部的區域檢測在完成前景檢測后，要提取每個運動區域的位置需要進行團塊檢測。根據上層設置的最大區域面積濾除過大或過小的運動區域,最后剩下的運動區域被認為是人臉、頭部和手部的區域；S204:人臉、頭部和手部的狀態識別在得到所有的人臉、頭部和手部的運動區域后，將對每一個運動區域計算2*2個梯度特征。即選取每全運動區域的4個頂角，每個頂角截取一幅32*32的圖像。當運動區域不足64*64時會產生重疊區域，當運動區域大于64*64時會有忽略區域。對這些運動區域首先利用深度神經網絡分別計算每一個區域的狀態特征，通過識別算法實現對不同區域內的人臉表情狀態識別、頭部狀態識別和手部狀態識別；步驟3：眼動注視數據采集，并同步眼動注視跟蹤狀態。S301:利用眼動儀獲取用戶眼動注視位置，對用戶眼動注視點進行圖像映射，獲取左右眼在屏幕上的坐標，獲得眼動注視位置數據。S302:使用同步分配算法，實現在每秒15幀圖像的速度下，每一幀圖像的眼動注視位置和表情狀態、頭部狀態、手部狀態的同步記錄。步驟4：利用同步后的眼動注視狀態以及表情狀態、頭部狀態、手部狀態特征，進行心理特征識別和數據存儲。S401:利用同步后的眼動注視狀態以及表情狀態、頭部狀態、手部狀態特征，建立有時間維度的特征狀態流。S402:使用遞歸神經網絡算法和心理特征識別算法，與訓練好的用戶心理特征識別模型進行匹配，實現在每秒15幀圖像的速度下，每一幀圖像的心理狀態特征識別分析的同步記錄。S403:記錄并存儲心理狀態特征數據。需要說明的是，本發明中，所提及的深度神經網絡特征學習算法、表情分類算法、手部動作分類算法、頭部動作分類算法、遞歸深度神經網絡特征學習算法、心理特征分類算法、圖像識別技術、同步分配算法、遞歸神經網絡算法和心理特征識別算法，均可以采用現有算法予以實現，本發明對具體算法過程不再進行詳細說明。測試驗證：選取了2100段心理測試視頻進行了實驗，最后選用正確識別率和每段視頻的平均檢測識別時間對本發明的有效性進行評估。其中：正確識別率定義為正確識別的圖像個數與總的圖像數目之比；結果如表1所示。正確識別率和每幅圖片的平均檢測識別時間兩個評價指標均表明了本發明方法的有效性。正確識別率95.83％平均識別時間(ms)24.01表1本發明提出的基于人臉圖像和眼動注視信息的心理測試方法，可以實現在心理測試過程中對被測試人的表情、手部、頭部、眼動狀態的在線識別和同步處理，最終實現對心理狀態的實時分析和記錄。該方法具有很高的檢測精度和較低的誤分率，同時較快的檢測速度也滿足實際心理測試的需要。以上所述僅是本發明的優選實施方式，應當指出，對于本
技術領域：
的普通技術人員來說，在不脫離本發明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應視為本發明的保護范圍。當前第1頁1 2 3