一種基于人臉的社交情商促進方法及系統的制作方法
【技術領域】
[0001] 本發明涉及一種基于人臉的社交情商促進方法及系統，屬于醫療健康、機器學習 和移動互聯網技術領域。
【背景技術】
[0002] 微表情記錄了人類隱蔽的表情，當人們面臨高風險時，例如有獲得或失去一些關 鍵性東西的跡象時，就會產生這類表情。微表情產生和持續的時間都非常短，產生時間只有 十六分之一秒，持續時間在臉上少于半秒。
[0003] 準確理解它人的微表情有利于促進人類的社交能力，例如有利于識別他人是否在 撒謊，有利于識別他人的內心感受，并判斷你的行為對他人的影響程度。遺憾的是大多數人 都無法識別自己或者別人的微表情，只有占很小比例的人類擁有識別微表情的天賦。
[0004] 保羅*艾克曼和Maureen 0' Sullivan博士等的研究發現，任何人經過訓練都能提 高自己識別微表情的能力，能夠認識到各種不同類型的隱蔽情緒，因此他們研究了若干微 表情訓練系統，例如 Microexpression Training Tool (METT 2)，Humintell 等，這些培訓 系統目前已被用于政府、執法機構、和企業的在線培訓，也適合于醫生、律師、法官、教師、學 生等的社交情商培訓。但是系統沒有提供個性化地培訓措施，例如對識別錯誤的微表情，缺 乏有針對性的強化培訓。同時現有系統沒有提供表情的扮演訓練，在很多情況下，需要表達 出合適的表情，例如面對悲傷的情景，不能表達出高興的表情。面對高興的情景，不適合表 達出憤怒的表情。即在社交時需要根據場景和對方的反映，表達出合適的表情，這也需要訓 練。一個典型的應用是演員訓練。目前國內還沒有發現這類訓練方法和系統的報道。
【發明內容】
[0005] 本發明要解決的技術問題是：目前缺乏表情識別和表情扮演能力的促進方法和設 備。本發明涉及一種基于人臉的社交情商促進方法，其特征在于該方法包括以下兩部分：
[1] 表情識別能力促進子方法
[2] 表情扮演能力促進子方法 其中表情識別能力促進子方法循環執行下列步驟，除非用戶退出： (a) 按選擇概率選擇某個表情類別的人臉圖片，每個表情類別的初始選擇概率為1，表 情類別包括憤怒，高興，悲傷，驚訝，厭惡，恐懼和平靜。每個表情類別下保存有大量對應表 情類別的人臉圖片； (b) 顯示選擇的人臉圖片； (c) 提醒用戶識別人臉圖片的表情類別； (d) 根據用戶的識別結果，計算用戶在每個表情類別上的識別準確率； (e) 以識別準確率為變量，修改每個表情類別的選擇概率，準確率越低，選擇概率越大， 以強化對難以識別的表情多做訓練。表情類別e的選擇概率為：= ，其中y為用 戶識別表情類別e的準確率，y為參數； (f)繪制用戶對人臉表情識別的準確率變化曲線，評估社交情商促進效果。
[0006] 表情扮演能力促進子方法循環執行下列步驟，除非用戶退出： (a) 按選擇概率選擇某個表情類別，每個表情類別的初始選擇概率為1，表情類別包括 憤怒，高興，悲傷，驚訝，厭惡，恐懼和平靜； (b) 顯示選擇的表情類別，及對應表情的參照人臉圖像； (c) 提醒用戶扮演選擇的表情； (d) 采集用戶扮演表情時的人臉圖像； (e) 完成人臉圖像的表情自動識別； (f) 根據表情自動識別結果與選擇的表情類別，判斷用戶扮演的表情是否準確，修改用 戶在每個表情類別上的表情扮演的準確率。表情類別 e的選擇概率為：/>(乂c) = i^,其中 ^為用戶扮演表情類別e的準確率，^為參數； (g) 繪制用戶表情扮演準確率變化曲線，評估社交情商促進效果。
[0007] 本發明涉及一種基于人臉的社交情商促進系統，其特征在于系統包括：表情類別 顯示模塊，用戶表情扮演模塊，人臉表情圖像采集模塊，人臉表情圖像顯示模塊，用戶識別 人臉表情模塊，人臉表情識別模塊，人臉表情識別模型學習模塊，選擇概率修改模塊，表情 類別選擇模塊，人臉表情圖像選擇模塊，用戶情商評估模塊。其中表情類別顯示模塊的輸出 與用戶表情扮演模塊的輸入連接，用戶表情扮演模塊的輸出與用戶人臉表情圖像采集模塊 的輸入連接，用戶人臉表情圖像采集模塊和人臉表情識別模型學習模塊的輸出與人臉表情 識別模塊的輸入連接，人臉表情識別模塊的輸出與選擇概率修改模塊的輸入連接，選擇概 率修改模塊的輸出與表情類別選擇模塊、人臉表情圖像選擇模塊和用戶情商評估模塊的輸 入連接，表情類別選擇模塊的輸出與表情類別顯示模塊的輸入連接，人臉表情圖像選擇模 塊的輸出與人臉表情圖像顯示模塊的輸入連接。其中人臉表情分類模型學習模塊是離線獨 立運行的。
[0008] 有益效果 與現有技術相比，本發明所涉及的一種基于人臉的社交情商促進方法及系統具有以下 優點：
[1] 提供了表情識別能力的個性化訓練方法與工具，使得訓練更加有效；
[2] 提供了表情扮演訓練方法和工具，使得用戶的社交情商促進更加全面。目前還沒有 發現這類訓練方法和系統。
[0009]
【附圖說明】 圖1一種人臉表情扮演能力的促進方法流程圖； 圖2 -種基于人臉的社交情商促進系統結構圖。
【具體實施方式】
[0010] 本發明提出一種基于人臉的社交情商促進方法及系統，結合附圖和實施例說明如 下。一種基于人臉的社交情商促進方法包括以下兩部分：
[1]表情識別能力促進子方法
[2]表情扮演能力促進子方法 其中表情識別能力促進子方法循環執行下列步驟，除非用戶退出 (a) 按選擇概率選擇某個表情類別的人臉圖片，每個表情類別的初始選擇概率為1，表 情類別包括憤怒，高興，悲傷，驚訝，厭惡，恐懼和平靜。每個表情類別下保存有大量對應表 情的人臉表情圖片； (b) 顯示選擇的人臉圖片； (c) 提醒用戶識別人臉圖片的表情類別； (d) 根據用戶的識別結果，計算用戶在每個表情類別上的識別準確率； (e) 以識別準確率為變量，修改每個表情類別的選擇概率，準確率越低，選擇概率越大， 以強化對難以識別的表情多做訓練。表情類別^的選擇概率為：P(ZC) = ，其中7為用 戶識別表情類別e的準確率，y為參數； (f) 繪制用戶對人臉表情識別的準確率變化曲線，評估社交情商促進效果。
[0011] 表情扮演能力促進子方法，如圖1所示，循環執行下列步驟，除非用戶退出 (a) 按選擇概率選擇某個表情類別，每個表情類別的初始選擇概率為1，表情類別包括 憤怒，高興，悲傷，驚訝，厭惡，恐懼和平靜； (b) 顯示選擇的表情類別，及對應表情的參照人臉圖像； (c) 提醒用戶扮演選擇的表情； (d) 采集用戶扮演表情時的人臉圖像； (e) 完成人臉圖像的表情自動識別； (f) 根據表情自動識別結果與選擇的表情類別，判斷用戶扮演的表情是否準確，修改用 戶在每個表情類別上的表情扮演的準確率。表情類別e的選擇概率為= ，其中 為用戶扮演表情類別c的準確率，y為參數； (g) 繪制用戶表情扮演準確率變化曲線，評估社交情商促進效果。
[0012] 本發明所述方法的實施案例中，用戶表情識別促進子方法的每個步驟都是平凡 的，很容易實現，而用戶表情扮演能力促進方法實現中的關鍵步驟敘述如下。
[0013] A :采集用戶表情扮演時的人臉圖像 本實施案例通過攝像頭等圖像捕捉工具獲取用戶扮演表情時候的人臉靜態圖像，然后 完成圖像預處理，包括圖像的大小和灰度的歸一化，頭部姿態的矯正，和人臉圖像的檢測等 人臉檢測算法采用Viola - Jones的級聯分類器算法，它是現在的一個比較優秀的人 臉檢測算法。這種算法使用基于Haar特征的級聯分類器策略，可快速且有效地找到多種 姿態和尺寸的人臉圖像。在Android OpenCV上有一個該算法的實現。Android OpenCV是 Intel開源計算機視覺庫（Computer Version),由一系列C函數和少量C++類構成，實 現了圖像處理和計算機視覺方面的很多通用算法。Android OpenCV擁有包括300多個C 函數的跨平臺的中、高層API。同時Android OpenCV提供了對硬件的訪問，可以直接訪問 攝像頭，因而我們利用Android OpenCV編程實現人臉圖像的采集和檢測，從而獲得人臉圖 像。
[0014] 本實施案例提取兩類人臉圖像特征構造圖像的特征向量。第1類，利用二維離散 小波在不明顯損失圖像信息的基礎上對表情圖像進行變換，變換后的圖像數據量大大減 少，再利用離散于余弦變換變換提取代表原圖像絕大部分能量的數據作為表情特征矢量。 第2類，對人臉表情圖像進行分割、消噪處理，然后對其作標準化處理，包括尺度歸一化和 灰度均衡化。對標準化處理后的圖像使用固定像素的網格進一步分割，對每一個網格進行 Gabor小波變換，取Gabor變換后的小波系數模的均值、方差作為該網格的表情特征向量， 最后將兩類特征向量