情緒識別方法、裝置和終端設備與流程

本公開涉及情緒識別技術領域，尤其涉及一種情緒識別方法、裝置和終端設備。

背景技術：

主觀情緒在人們生活和工作的各個方面起到了不可或缺的重要作用，而且在生活壓力越來越大的今天，更多的人在不同程度上受到負面情緒的影響，尤其是一些特殊工作的人，比如從事航空航天、軍事、心理醫生、客服等工作人員，長時間工作環境單一、枯燥，容易產生消極情緒，而消極的情緒不但會降低工作效率，還會對身心健康造成不利的影響，因此，對情緒的自動識別研究顯得尤為重要，且具有實際意義。

技術實現要素：

本公開提供一種情緒識別方法、裝置和終端設備，用以對用戶的情緒進行準確的識別。

根據本公開實施例的第一方面，提供一種情緒識別方法，包括：

獲取用戶的至少兩類特征數據，其中，所述至少兩類特征數據包括面部圖像數據，語音數據或者睡眠數據；

分別基于所述至少兩類特征數據進行情緒識別，得到對應的至少兩個用戶情緒數據，其中，每個用戶情緒數據包括情緒識別結果以及準確度；

根據所述至少兩個用戶情緒數據確定用戶情緒。

該技術方案可以包括以下有益效果：通過獲取用戶的面部圖像數據，語音數據或者睡眠數據等的至少兩類特征數據，并基于獲取到的特征數據進行情緒識別，獲得對應的至少兩個用戶情緒數據，，從而根據獲得的至少兩個用戶情緒數據確定用戶的情緒，實現了用戶情緒的精準識別。

在第一方面的第一種可能的實現方式中，所述分別基于所述至少兩類特征數據進行情緒識別，得到對應的至少兩個用戶情緒數據，包括：

將所述至少兩類特征數據分別與數據庫中存儲的對應的參考數據進行對比，確定每類特征數據和對應參考數據之間的相似度；

根據所述相似度，確定每類特征數據對應的情緒識別結果以及所述情緒識別結果的準確度。

該技術方案可以包括以下有益效果：通過將包含用戶的面部圖像數據，語音數據或者睡眠數據的至少兩類特征數據分別與數據庫中存儲的對應的參考數據進行對比，確定每類特征數據和對應參考數據之間的相似度，并根據獲得的相似度，確定每類特征數據對應的情緒識別結果以及情緒識別結果的準確度。從而根據各情緒識別結果以及各情緒識別結果對應的準確度，確定用戶的情緒。，實現了用戶情緒的精準識別。

根據第一方面的第一種可能的實現方式，在第一方面的第二種可能的實現方式中，所述參考數據包括：積極情緒對應的面部圖像數據和負面情緒對應的面部圖像數據，積極情緒對應的語音數據和負面情緒對應的語音數據，積極情緒對應的睡眠數據和負面情緒對應的睡眠數據。

該技術方案可以包括以下有益效果：通過將積極情緒對應的面部圖像數據和負面情緒對應的面部圖像數據，積極情緒對應的語音數據和負面情緒對應的語音數據，以及積極情緒對應的睡眠數據和負面情緒對應的睡眠數據存儲在數據庫中，方便了數據比較，有助于用戶情緒的識別。

根據第一方面的第二種可能的實現方式，在第一方面的第三種可能的實現方式中，所述面部圖像數據至少包括眼睛形態數據、眉毛形態數據以及嘴部形態數據中的一種。

根據第一方面的第二種可能的實現方式，在第一方面的第四種可能的實現方式中，所述語音數據包括語音信號的頻譜數據。

根據第一方面，以及第一方面的第一種可能，第二種可能、第三種可能和第四種可能中的任意一種實現方式，所述根據所述至少兩個用戶情緒數據確定用戶情緒，包括：

根據各情緒識別結果對應的準確度，確定對應準確度最大的情緒識別結果為所述用戶的情緒。

該技術方案可以包括以下有益效果：通過將各情緒識別結果對應的準確度進行對比，將對應準確度最大的情緒識別結果作為用戶的情緒，能夠減少誤識別的發生，提高用戶情緒識別結果的準確定。

根據本公開實施例的第二方面，提供一種情緒識別裝置，包括：

獲取模塊，被配置為獲取用戶的至少兩類特征數據，其中，所述至少兩類特征數據包括面部圖像數據，語音數據或者睡眠數據；

識別模塊，被配置為別基于所述至少兩類特征數據進行情緒識別，得到對應的至少兩個用戶情緒數據，其中，每個用戶情緒數據包括情緒識別結果以及準確度；

確定模塊，被配置為根據所述至少兩個用戶情緒數據確定用戶情緒。

該技術方案可以包括以下有益效果：通過獲取用戶的面部圖像數據，語音數據或者睡眠數據等的至少兩類特征數據，并基于獲取到的特征數據進行情緒識別，獲得對應的至少兩個用戶情緒數據，，從而根據獲得的至少兩個用戶情緒數據確定用戶的情緒，實現了用戶情緒的精準識別。

在第二方面的第一種可能的實現方式中，所述識別模塊包括：

第一確定子模塊，被配置為將所述至少兩類特征數據分別與數據庫中存儲的對應的參考數據進行對比，確定每類特征數據和對應參考數據之間的相似度；

第二確定子模塊，被配置為根據所述相似度，確定每類特征數據對應的情緒識別結果以及所述情緒識別結果的準確度。

該技術方案可以包括以下有益效果：通過將包含用戶的面部圖像數據，語音數據或者睡眠數據的至少兩類特征數據分別與數據庫中存儲的對應的參考數據進行對比，確定每類特征數據和對應參考數據之間的相似度，并根據獲得的相似度，確定每類特征數據對應的情緒識別結果以及情緒識別結果的準確度。從而根據各情緒識別結果以及各情緒識別結果對應的準確度，確定用戶的情緒，，實現了用戶情緒的精準識別。

根據第二方面的第一種可能的實現方式，在第二方面的第二種可能的實現方式中，所述參考數據包括：積極情緒對應的面部圖像數據和負面情緒對應的面部圖像數據，積極情緒對應的語音數據和負面情緒對應的語音數據，積極情緒對應的睡眠數據和負面情緒對應的睡眠數據。

該技術方案可以包括以下有益效果：通過將積極情緒對應的面部圖像數據和負面情緒對應的面部圖像數據，積極情緒對應的語音數據和負面情緒對應的語音數據，以及積極情緒對應的睡眠數據和負面情緒對應的睡眠數據存儲在數據庫中，方便了數據比較，有助于用戶情緒的識別。

根據第二方面的第二種可能的實現方式，在第二方面的第三種可能的實現方式中，所述面部圖像數據至少包括眼睛形態數據、眉毛形態數據以及嘴部形態數據中的一種。

根據第二方面的第二種可能的實現方式，在第二方面的第四種可能的實現方式中，所述語音數據包括語音信號的頻譜數據。

根據第二方面，以及第二方面的第一種可能，第二種可能、第三種可能和第四種可能中的任意一種實現方式，所述確定模塊，被配置為根據各情緒識別結果對應的準確度，確定對應準確度最大的情緒識別結果為所述用戶的情緒。

該技術方案可以包括以下有益效果：通過將各情緒識別結果對應的準確度進行對比，將對應準確度最大的情緒識別結果作為用戶的情緒，能夠減少誤識別的發生，提高用戶情緒識別結果的準確定。

根據本公開實施例的第三方面，提供一種情緒識別終端設備，包括：

處理器；

被配置為存儲處理器可執行指令的存儲器；

其中，所述處理器被配置為：

獲取用戶的至少兩類特征數據，其中，所述至少兩類特征數據包括面部圖像數據，語音數據或者睡眠數據；

分別基于所述至少兩類特征數據進行情緒識別，得到對應的至少兩個用戶情緒數據，其中，每個用戶情緒數據包括情緒識別結果以及準確度；

根據所述至少兩個用戶情緒數據確定用戶情緒。

應當理解的是，以上的一般描述和后文的細節描述僅是示例性和解釋性的，并不能限制本公開。

附圖說明

此處的附圖被并入說明書中并構成本說明書的一部分，示出了符合本公開的實施例，并與說明書一起用于解釋本公開的原理。

圖1是根據一示例性實施例示出的一種情緒識別方法實施例一的流程圖；

圖2是根據一示例性實施例示出的一種情緒識別方法實施例二的流程圖；

圖3是根據一示例性實施例示出的一種情緒識別裝置實施例一的框圖；

圖4是根據一示例性實施例示出的一種情緒識別裝置實施例二的框圖；

圖5是根據一示例性實施例示出的一種情緒識別終端設備的框圖；

圖6是根據一示例性實施例示出的另一種情緒識別終端設備的框圖。

通過上述附圖，已示出本公開明確的實施例，后文中將有更詳細的描述。這些附圖和文字描述并不是為了通過任何方式限制本公開構思的范圍，而是通過參考特定實施例為本領域技術人員說明本公開的概念。

具體實施方式

這里將詳細地對示例性實施例進行說明，其示例表示在附圖中。下面的描述涉及附圖時，除非另有表示，不同附圖中的相同數字表示相同或相似的要素。以下示例性實施例中所描述的實施方式并不代表與本公開相一致的所有實施方式。相反，它們僅是與如所附權利要求書中所詳述的、本公開的一些方面相一致的裝置和方法的例子。

圖1是根據一示例性實施例示出的一種情緒識別方法實施例一的流程圖，該方法可以由情緒識別裝置來執行，該情緒識別裝置可以集成在情緒識別終端設備中，如圖1所示，該方法包括以下步驟：

在步驟101中，獲取用戶的至少兩類特征數據，其中，所述至少兩類特征數據包括面部圖像數據，語音數據或者睡眠數據。

本實施例中，用戶的面部圖像數據主要包括用戶在發生面部表情時最明顯，且便于分析的幾個區域的數據，例如用戶的眉毛形態數據、眼睛形態數據以及嘴部形態數據等。

實際應用中，用戶的面部圖像數據可以從用戶的面部照片或視頻圖像中獲得，以視頻圖像為例，當對用戶的情緒進行識別時，啟動終端設備的攝像頭進行視頻錄像，在獲得用戶的視頻錄像后，從該視頻錄像中隨機抽取若干幀(例如3幀)包含用戶面部圖像的視頻幀，并對該視頻幀中用戶的面部圖像進行識別和掃描，從而提取出用戶的面部圖像數據。其中，對于視頻幀中用戶面部圖像的掃描，可以將用戶的面部圖像劃分為若干個不重疊的區域，通過對各區域進行不重合的掃描來獲得用戶的面部圖像數據。另外，從用戶的面部照片中獲得用戶的面部圖像數據的方法與上述從視頻幀中獲取面部圖像數據的方法類似，在這里不再贅述。

本實施例中，用戶的語音數據主要包括用戶語音信號的頻譜數據。其中，用戶的語音信號可通過設置在終端設備上的語音采集裝置(例如麥克風等)采集獲得，在獲得用戶的語音信號后通過對語音信號進行頻譜變換獲得語音信號的頻譜數據。

睡眠數據，包括用戶的深度睡眠時間、淺度睡眠時間、清醒時間等。可選的，睡眠數據可由與終端設備配合使用的睡眠采集裝置采集獲得，例如可以通過小米手環對用戶的睡眠數據進行采集，并將采集獲得的數據發送給終端設備。當然此處僅是舉例說明，而并不是對睡眠采集裝置的唯一限定。

在步驟102中，分別基于所述至少兩類特征數據進行情緒識別，得到對應的至少兩個用戶情緒數據，其中，每個用戶情緒數據包括情緒識別結果以及準確度。

實際應用中，在獲得用戶的面部圖像數據后，可以根據預先存儲的表情分類規則，確定用戶的面部圖像數據對應的表情分類，從而根據用戶的面部圖像數據對應的表情分類確定用戶面部圖像數據對應的用戶情緒。其中，本實施中用戶的情緒可以包括積極情緒和負面情緒，表情分類可分為，糾結難過，欣喜高興，平淡等。比如當用戶的面部圖像數據反映用戶當前正處于皺眉狀態，嘴角呈下彎的狀態，眼睛呈半開合狀態時，則可將用戶的表情分類為糾結、難過的表情類中，從而可以判定用戶當前可能處于消極的情緒中。而根據用戶的眉形和嘴形等數據與預設的消極情緒對應的眉形和嘴形數據的相似度，可以進一步確定用戶處于消極情緒的概率，概率越高說明識別用戶為消極情緒的準確度越高，例如可以設定為當用戶嘴角的下彎程度和皺眉程度越大時，用戶處于消極情緒的概率越大，識別用戶處于消極情緒的結果越準確。當然此處僅為舉例說明，而不是唯一限定，而根據用戶的面部圖像數據確定用戶的其他情緒的方法與此類似，在這里不再贅述。

本實施例中根據用戶的語音數據確定用戶的情緒的方法，可以是基于用戶語音的頻譜特性進行的，例如根據語音數據的頻譜特性，可以采用梅爾倒譜系數，線性預測倒譜系數；對數頻率功率系數，感知線性預測，線性預測系數等方法確定用戶的情緒，此與現有技術類似，在這里不再贅述。進一步的，語音數據對應的用戶情緒可以根據語音數據與預設的樣本語音數據的相似程度來確定的，例如，當采集獲得的用戶的語音數據與數據庫中存儲的表示積極情緒的樣本語音數據的相似度超過預設閾值，則語音數據對應的用戶情緒為積極情緒，另外，相似度越大，則說明此時的識別結果越準確。

另外，根據睡眠數據確定用戶情緒的方法，可以是預先為不同的用戶情緒設置對應的參考睡眠數據，其中參考睡眠數據包括對應積極情緒的睡眠數據和對應消極情緒的睡眠數據，當獲取用戶的睡眠數據后，只需將獲得的睡眠數據與預先設置的參考睡眠數據進行匹配，確定采集獲得的睡眠數據與參考睡眠數據之間的相似度，若采集獲得的數據與預先設定的對應積極情緒的睡眠數據相似度超過某一預設閾值，則確定用戶的的情緒為積極情緒，反之亦然，另外，需要說明的是，采集數據與預設的參考數據之間的相似度，能夠反映用戶情緒識別的準確度，采集數據與預設參考數據之間的相似度越高，則說明此時，用戶情緒的識別結果越準確。

進一步的，為了使情緒識別跟更加符合用戶的個性化特定，可以通過定期采集用戶面部圖像數據、語音數據、睡眠數據的方式建立屬于用戶自己的，符合用戶個性化的數據庫。該數據庫中存儲有：根據歷史獲得的用戶面部圖像數據、語音數據、睡眠數據，分析獲得的符合用戶個性特點的積極情緒對應的面部圖像數據、語音數據、睡眠數據，以及消極情緒對應的面部圖像數據、語音數據、睡眠數據。當確定在進行用戶情緒識別時，可以直接將獲取到的用戶面部圖像數據、語音數據、睡眠數據分別與數據庫中的對應數據進行對比，以獲得更準確的識別結果。

在步驟103中，根據所述至少兩個用戶情緒數據確定用戶情緒。

實際應用中，在獲得各類特征數據對應的情緒識別結果以及情緒結果對應的準確度后，可選的，可以通過將各情緒識別結果對應的準確度進行對比的方式，從各情緒識別結果中，獲得準確度最高的情緒識別結果作為用戶當前的情緒。從而達到降低誤識別率，提高情緒識別準確率的目的。

舉例來說，當用戶的面部圖像數據對應的用戶情緒為消極情緒，且采集數據與對應為消極情緒的參考數據之間的相似度為60％、語音數據對應的用戶情緒為積極情緒，且采集數據與對應為積極情緒的參考數據之間的相似度為90％，睡眠數據對應的用戶情緒為積極情緒，采集數據與對應為積極情緒的參考數據之間的相似度為70％，則確定相似度90％對應的用戶情緒為用戶當前的情緒狀態，即用戶當前處于積極情緒中。

本實施例中，通過獲取用戶的面部圖像數據，語音數據或者睡眠數據等的至少兩類特征數據，并基于獲取到的特征數據進行情緒識別，獲得對應的至少兩個用戶情緒數據，，從而根據獲得的至少兩個用戶情緒數據確定用戶的情緒，實現了用戶情緒的精準識別。。

圖2是根據一示例性實施例示出的一種情緒識別方法實施例二的流程圖，如圖2所示，該方法可以包括如下的步驟：

在步驟201中，獲取用戶的至少兩類特征數據，其中，所述至少兩類特征數據包括面部圖像數據，語音數據或者睡眠數據。

步驟201與步驟101的執行方法類似在這里不再贅述。

在步驟202中，將所述至少兩類特征數據分別與數據庫中存儲的對應的參考數據進行對比，確定每類特征數據和對應參考數據之間的相似度。

本實施例中，參考數據包括：用戶的積極情緒對應的面部圖像數據和負面情緒對應的面部圖像數據，用戶的積極情緒對應的語音數據和負面情緒對應的語音數據，用戶的積極情緒對應的睡眠數據和負面情緒對應的睡眠數據。

實際應用中，數據庫是通過定期采集用戶面部圖像數據、語音數據、睡眠數據的方式建立屬于用戶自己的，符合用戶個性化的數據庫。該數據庫中存儲有：根據歷史獲得的用戶面部圖像數據、語音數據、睡眠數據，分析獲得的符合用戶個性特點的積極情緒對應的面部圖像數據、語音數據、睡眠數據，以及消極情緒對應的面部圖像數據、語音數據、睡眠數據。當進行用戶情緒識別時，可以直接將獲取到的用戶面部圖像數據、語音數據或者睡眠數據分別與數據庫中的對應數據進行對比，以獲得準確的識別結果。

以語音數據為例，當進行情緒識別時，首先將采集獲得的用戶的語音數據分別與數據庫中存儲的表示積極情緒的語音數據和表示消極情緒的語音數據進行對比，確定采集獲得的語音數據與數據庫中存儲的各語音數據之間的相似程度。其中，采集獲得的語音數據與數據庫中存儲的各語音數據之間的相似程度可以通過一預設函數來確定，該函數可以根據具體需要具體設置，本實施例中不作具體限定。另外，本實施例中，用戶的面部圖像數據與數據庫中存儲的各面部圖像數據之間的相似度的確定方法，以及用戶的睡眠數據與數據庫中存儲的各睡眠數據之間的相似度的確定方法與用戶的語音數據的判斷方法類似，在這不再贅述。

在步驟203中，根據所述相似度，確定每類特征數據對應的情緒識別結果以及所述情緒識別結果的準確度。

承接上例，假設采集獲得語音數據與數據庫中表示消極情緒的語音數據更相似，則確定采集獲得的語音數據對應的用戶情緒為消極情緒。進一步的，可以根據采集數據與數據庫中存儲的數據之間的相似度，確定情緒識別的準確度，即采集數據和數據庫中存儲的數據之間的相似度越大，則用戶情緒識別的準確度越高，反之越低。另外，根據面部圖像數據和睡眠數據判斷用戶情緒的方法與語音數據的判斷方法類似，在這里不再贅述。

在步驟204中，根據所述至少兩個用戶情緒數據確定用戶情緒。

步驟204與步驟103的執行方式和有益效果類似，在這里不再贅述。

本實施例中，通過將包含用戶的面部圖像數據，語音數據或者睡眠數據的至少兩類特征數據分別與數據庫中存儲的對應的參考數據進行對比，確定每類特征數據和對應參考數據之間的相似度，并根據獲得的相似度，確定每類特征數據對應的情緒識別結果以及情緒識別結果的準確度。從而根據各情緒識別結果以及各情緒識別結果對應的準確度，確定用戶的情緒。，實現了用戶情緒的精準識別。

圖3是根據一示例性實施例示出的一種情緒識別裝置實施例一的框圖，如圖3所示，該裝置包括：

獲取模塊11，被配置為獲取用戶的至少兩類特征數據，其中，所述至少兩類特征數據包括面部圖像數據，語音數據或者睡眠數據；

識別模塊12，被配置為分別基于所述至少兩類特征數據進行情緒識別，得到對應的至少兩個用戶情緒數據，其中，每個用戶情緒數據包括情緒識別結果以及準確度；

確定模塊13，被配置為根據所述至少兩個用戶情緒數據確定用戶情緒。

其中，面部圖像數據至少包括眼睛形態數據、眉毛形態數據以及嘴部形態數據中的一種。語音數據包括語音信號的頻譜數據。

特別的，所述確定模塊13，被配置為根據各情緒識別結果對應的準確度，確定對應準確度最大的情緒識別結果為所述用戶的情緒。

本實施例提供的情緒識別裝置可以用于執行圖1所示方法實施例的技術方案。其執行方式和有益效果與圖1所示實施例類似，在這里不再贅述。

圖4是根據一示例性實施例示出的一種情緒識別裝置實施例二的框圖，如圖4所示，在圖3所示實施例的基礎上，所述識別模塊12包括：

第一確定子模塊121，被配置為將所述至少兩類特征數據分別與數據庫中存儲的對應的參考數據進行對比，確定每類特征數據和對應參考數據之間的相似度；

第二確定子模塊122，被配置為根據所述相似度，確定每類特征數據對應的情緒識別結果以及所述情緒識別結果的準確度。

其中，參考數據包括：用戶的積極情緒對應的面部圖像數據和負面情緒對應的面部圖像數據，用戶的積極情緒對應的語音數據和負面情緒對應的語音數據，用戶的積極情緒對應的睡眠數據和負面情緒對應的睡眠數據。

本實施例提供的情緒識別裝置可以用于執行圖2所示方法實施例的技術方案，其執行方式和有益效果與圖2所示實施例類似，在這里不再贅述。

以上描述了情緒識別裝置的內部功能和結構，如圖5所示，實際中，該情緒識別裝置可實現為情緒識別終端設備，包括：

處理器；

被配置為存儲處理器可執行指令的存儲器；

其中，所述處理器被配置為：

獲取用戶的至少兩類特征數據，其中，所述至少兩類特征數據包括面部圖像數據，語音數據或者睡眠數據；

分別基于所述至少兩類特征數據進行情緒識別，得到對應的至少兩個用戶情緒數據，其中，每個用戶情緒數據包括情緒識別結果以及準確度；

根據所述至少兩個用戶情緒數據確定用戶情緒。

本實施例中，通過獲取用戶的面部圖像數據，語音數據或者睡眠數據等的至少兩類特征數據，并基于獲取到的特征數據進行情緒識別，獲得對應的至少兩個用戶情緒數據，，從而根據獲得的至少兩個用戶情緒數據確定用戶的情緒，實現了用戶情緒的精準識別。

圖6是根據一示例性實施例示出的另一種情緒識別終端設備的框圖。例如，情緒識別終端設備800可以是移動電話，計算機，數字廣播終端，消息收發設備，游戲控制臺，平板設備，醫療設備，健身設備，個人數字助理等。

參照圖6，情緒識別終端設備800可以包括以下一個或多個組件：處理組件802，存儲器804，電力組件806，多媒體組件808，音頻組件810，輸入/輸出(I/O)的接口812，傳感器組件814，以及通信組件816。

處理組件802通常控制情緒識別終端設備800的整體操作，諸如與顯示，電話呼叫，數據通信，相機操作和記錄操作相關聯的操作。處理組件802可以包括一個或多個處理器820來執行指令，以完成上述的方法的全部或部分步驟。此外，處理組件802可以包括一個或多個模塊，便于處理組件802和其他組件之間的交互。例如，處理組件802可以包括多媒體模塊，以方便多媒體組件808和處理組件802之間的交互。

存儲器804被配置為存儲各種類型的數據以支持在設備800的操作。這些數據的示例包括用于在情緒識別終端設備800上操作的任何應用程序或方法的指令，聯系人數據，電話簿數據，消息，圖片，視頻等。存儲器804可以由任何類型的易失性或非易失性存儲設備或者它們的組合實現，如靜態隨機存取存儲器(SRAM)，電可擦除可編程只讀存儲器(EEPROM)，可擦除可編程只讀存儲器(EPROM)，可編程只讀存儲器(PROM)，只讀存儲器(ROM)，磁存儲器，快閃存儲器，磁盤或光盤。

電力組件806為情緒識別終端設備800的各種組件提供電力。電力組件806可以包括電源管理系統，一個或多個電源，及其他與為情緒識別終端設備800生成、管理和分配電力相關聯的組件。

多媒體組件808包括在所述情緒識別終端設備800和用戶之間的提供一個輸出接口的屏幕。在一些實施例中，屏幕可以包括液晶顯示器(LCD)和觸摸面板(TP)。如果屏幕包括觸摸面板，屏幕可以被實現為觸摸屏，以接收來自用戶的輸入信號。觸摸面板包括一個或多個觸摸傳感器以感測觸摸、滑動和觸摸面板上的手勢。所述觸摸傳感器可以不僅感測觸摸或滑動動作的邊界，而且還檢測與所述觸摸或滑動操作相關的持續時間和壓力。在一些實施例中，多媒體組件808包括一個前置攝像頭和/或后置攝像頭。當設備800處于操作模式，如拍攝模式或視頻模式時，前置攝像頭和/或后置攝像頭可以接收外部的多媒體數據。每個前置攝像頭和后置攝像頭可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。

音頻組件810被配置為輸出和/或輸入音頻信號。例如，音頻組件810包括一個麥克風(MIC)，當情緒識別終端設備800處于操作模式，如呼叫模式、記錄模式和語音識別模式時，麥克風被配置為接收外部音頻信號。所接收的音頻信號可以被進一步存儲在存儲器804或經由通信組件816發送。在一些實施例中，音頻組件810還包括一個揚聲器，用于輸出音頻信號。

I/O接口812為處理組件802和外圍接口模塊之間提供接口，上述外圍接口模塊可以是鍵盤，點擊輪，按鈕等。這些按鈕可包括但不限于：主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。

傳感器組件814包括一個或多個傳感器，用于為情緒識別終端設備800提供各個方面的狀態評估。例如，傳感器組件814可以檢測到設備800的打開/關閉狀態，組件的相對定位，例如所述組件為情緒識別終端設備800的顯示器和小鍵盤，傳感器組件814還可以檢測情緒識別終端設備800或情緒識別終端設備800一個組件的位置改變，用戶與情緒識別終端設備800接觸的存在或不存在，情緒識別終端設備800方位或加速/減速和情緒識別終端設備800的溫度變化。傳感器組件814可以包括接近傳感器，被配置用來在沒有任何的物理接觸時檢測附近物體的存在。傳感器組件814還可以包括光傳感器，如CMOS或CCD圖像傳感器，用于在成像應用中使用。在一些實施例中，該傳感器組件814還可以包括加速度傳感器，陀螺儀傳感器，磁傳感器，壓力傳感器或溫度傳感器。

通信組件816被配置為便于情緒識別終端設備800和其他設備之間有線或無線方式的通信。情緒識別終端設備800可以接入基于通信標準的無線網絡，如WiFi，2G或3G，或它們的組合。在一個示例性實施例中，通信組件816經由廣播信道接收來自外部廣播管理系統的廣播信號或廣播相關信息。在一個示例性實施例中，所述通信組件816還包括近場通信(NFC)模塊，以促進短程通信。例如，在NFC模塊可基于射頻識別(RFID)技術，紅外數據協會(IrDA)技術，超寬帶(UWB)技術，藍牙(BT)技術和其他技術來實現。

在示例性實施例中，情緒識別終端設備800可以被一個或多個應用專用集成電路(ASIC)、數字信號處理器(DSP)、數字信號處理設備(DSPD)、可編程邏輯器件(PLD)、現場可編程門陣列(FPGA)、控制器、微控制器、微處理器或其他電子元件實現，用于執行上述方法。

在示例性實施例中，還提供了一種包括指令的非臨時性計算機可讀存儲介質，例如包括指令的存儲器804，上述指令可由情緒識別終端設備800的處理器820執行以完成上述方法。例如，所述非臨時性計算機可讀存儲介質可以是ROM、隨機存取存儲器(RAM)、CD-ROM、磁帶、軟盤和光數據存儲設備等。

一種非臨時性計算機可讀存儲介質，當所述存儲介質中的指令由移動終端的處理器執行時，使得移動終端能夠執行一種情緒識別處理方法，所述方法包括：

獲取用戶的面部圖像數據、語音數據以及睡眠數據；

分別確定所述面部圖像數據、所述語音數據以及所述睡眠數據三者對應的用戶情緒，以及所述三者各自對應為所述用戶情緒的概率；

確定所述概率最大的用戶情緒為所述用戶的情緒。

本領域技術人員在考慮說明書及實踐這里公開的發明后，將容易想到本公開的其它實施方案。本申請旨在涵蓋本公開的任何變型、用途或者適應性變化，這些變型、用途或者適應性變化遵循本公開的一般性原理并包括本公開未公開的本技術領域中的公知常識或慣用技術手段。說明書和實施例僅被視為示例性的，本公開的真正范圍和精神由下面的權利要求指出。

應當理解的是，本公開并不局限于上面已經描述并在附圖中示出的精確結構，并且可以在不脫離其范圍進行各種修改和改變。本公開的范圍僅由所附的權利要求來限制。