一種駕駛員情緒識別方法和裝置與流程

本發(fā)明涉及汽車智能交互技術(shù)領(lǐng)域，尤其涉及一種駕駛員情緒識別方法和裝置。

背景技術(shù)：

隨著汽車的全球化普及以及汽車智能化的起步，人類對于汽車良好體驗的需求，使得人們希望汽車越來越懂自己，并且可以根據(jù)自己的性格與狀態(tài)定制對應(yīng)的服務(wù)內(nèi)容，人們希望汽車知道自己是誰，懂得自己的情感與需求，希望汽車在自己需要服務(wù)的時候主動提供服務(wù)。這樣對于車內(nèi)人員的情緒識別與身份識別將會起到一個非常重要的作用，讓車可以更好的理解人以及提供更人性化與準(zhǔn)確的服務(wù)。

在汽車駕駛中，行駛安全最為重要，但大多數(shù)的交通事故都是人為因素導(dǎo)致的，而車內(nèi)人員的情緒則是導(dǎo)致人為交通事故的重要原因。在行車過程中，由于長途的駕駛?cè)菀讓?dǎo)致駕駛員疲勞困倦，而堵車、糟糕的路況以及其它的車輛也會導(dǎo)致車內(nèi)人員的憤怒等不良情緒。因此有必要對車內(nèi)人員的情緒進(jìn)行識別，以便防止可能出現(xiàn)的交通事故。

現(xiàn)階段的車內(nèi)人員的情緒識別一般是通過單一的方式進(jìn)行識別，然而，單一的情緒識別方法無法達(dá)到準(zhǔn)確識別車內(nèi)人員情緒以及身份的效果，且單一方法在情緒識別所獲取的數(shù)據(jù)有限，判斷機(jī)制單一，故存在識別的準(zhǔn)確度低、誤差大和容易受外界因素影響等問題。

技術(shù)實現(xiàn)要素：

鑒于上述問題，提出了本發(fā)明以便提供一種至少解決上述問題的駕駛員情緒識別方法和裝置。

依據(jù)本發(fā)明的一個方面，提供一種駕駛員情緒識別方法，包括：

采集駕駛員的圖像數(shù)據(jù)、駕駛員的語音數(shù)據(jù)以及駕駛車輛的行駛數(shù)據(jù)中的至少兩種數(shù)據(jù)；

分別根據(jù)采集的多種數(shù)據(jù)，對駕駛員的情緒進(jìn)行識別，得到每種數(shù)據(jù)類型下的情緒識別結(jié)果；

基于得到的每種數(shù)據(jù)類型下的情緒識別結(jié)果，按照設(shè)定的情緒判定策略，判定出駕駛員的情緒。

可選地，本發(fā)明所述方法中，所述情緒識別結(jié)果包括：識別出的情緒類型及識別出該情緒類型的置信度。

可選地，本發(fā)明所述方法中，所述基于得到的每種數(shù)據(jù)類型下的情緒識別結(jié)果，按照設(shè)定的情緒判定策略，判定出駕駛員的情緒，包括：

當(dāng)至少兩個情緒識別結(jié)果中的情緒類型相同且置信度分別大于等于設(shè)定的對應(yīng)數(shù)據(jù)類型的第一情緒置信度閾值時，將所述至少兩個情緒識別結(jié)果中的情緒類型作為最終識別出的駕駛員的情緒；

當(dāng)各情緒識別結(jié)果中存在一個情緒識別結(jié)果的情緒類型的置信度大于等于設(shè)定的對應(yīng)數(shù)據(jù)類型的第二情緒置信度閾值時，將該情緒識別結(jié)果中的情緒類型作為最終識別出的駕駛員的情緒；

其中，同一數(shù)據(jù)類型下的第一情緒置信度閾值小于第二情緒置信度閾值。

可選地，本發(fā)明所述方法中，所述判定出駕駛員的情緒之后，還包括：根據(jù)預(yù)設(shè)的情緒類型的置信度與情緒類型級別的對應(yīng)關(guān)系，得到最終識別出的駕駛員的情緒的情緒級別。

可選地，本發(fā)明所述方法中，所述根據(jù)語音數(shù)據(jù)，對駕駛員的情緒進(jìn)行識別，具體包括：提取語音數(shù)據(jù)中的聲紋特征、以及識別所述語音數(shù)據(jù)中的語義，根據(jù)所述聲紋特征和所述語義，對駕駛員的情緒進(jìn)行識別。

可選地，本發(fā)明所述方法還包括：

當(dāng)采集到圖像數(shù)據(jù)或者語音數(shù)據(jù)時，根據(jù)所述圖像數(shù)據(jù)或者語音數(shù)據(jù)，識別出駕駛員的身份；當(dāng)采集到圖像數(shù)據(jù)和語音數(shù)據(jù)時，分別根據(jù)所述圖像數(shù)據(jù)和語音數(shù)據(jù)，對駕駛員的身份進(jìn)行識別，得到兩種數(shù)據(jù)類型下的兩個身份識別結(jié)果，并基于得到的兩個身份識別結(jié)果，按照設(shè)定的身份判定策略，判定出駕駛員的身份。

可選地，本發(fā)明所述方法中，所述身份識別結(jié)果包括：識別出的用戶及識別出該用戶的置信度；

所述基于得到的兩個身份識別結(jié)果，按照設(shè)定的身份判定策略，判定出駕駛員的身份，包括：

當(dāng)兩個身份識別結(jié)果中識別出的用戶相同且置信度分別大于等于設(shè)定的對應(yīng)數(shù)據(jù)類型的第一身份置信度閾值時，以共同識別出的用戶作為最終的用戶身份識別結(jié)果；

當(dāng)兩個身份識別結(jié)果中有一個身份識別結(jié)果中識別出的用戶的置信度大于等于設(shè)定的對應(yīng)數(shù)據(jù)類型的第二身份置信度閾值時，以用戶的置信度大于等于第二置信度身份閾值對應(yīng)的用戶，作為最終的用戶身份識別結(jié)果；

其中，同一數(shù)據(jù)類型下的第一身份置信度閾值小于第二身份置信度閾值。

可選地，本發(fā)明所述方法還包括：

利用得到的駕駛員的身份，在預(yù)先建立的各用戶行為習(xí)慣模型中匹配出與該駕駛員對應(yīng)的用戶行為習(xí)慣模型，并將駕駛員的情緒信息輸入到匹配的用戶行為習(xí)慣模型中，以對駕駛員的狀態(tài)和/或行為進(jìn)行預(yù)判，并根據(jù)預(yù)判結(jié)果，主動提供與預(yù)判結(jié)果相匹配的服務(wù)。

可選地，本發(fā)明所述方法中，所述根據(jù)預(yù)判結(jié)果，主動提供與預(yù)判結(jié)果相匹配的服務(wù)，具體包括：

確定與所述預(yù)判結(jié)果相匹配的服務(wù)，向用戶發(fā)出是否需要所述服務(wù)的詢問，并在確定出用戶需要時，向用戶提供所述服務(wù)。

可選地，本發(fā)明所述方法中，向用戶提供的與預(yù)判結(jié)果相匹配的服務(wù)，包括：內(nèi)容服務(wù)和/或設(shè)備狀態(tài)控制服務(wù)；所述設(shè)備狀態(tài)控制服務(wù)包括：控制所述智能語音設(shè)備和/或與所述智能語音設(shè)備連接的設(shè)備到目標(biāo)狀態(tài)。

依據(jù)本發(fā)明的一個方面，提供一種駕駛員情緒識別裝置，包括：

信息采集模塊，用于采集駕駛員的圖像數(shù)據(jù)、駕駛員的語音數(shù)據(jù)以及駕駛車輛的行駛數(shù)據(jù)中的至少兩種數(shù)據(jù)；

情緒識別模塊，用于分別根據(jù)采集的多種數(shù)據(jù)，對駕駛員的情緒進(jìn)行識別，得到每種數(shù)據(jù)類型下的情緒識別結(jié)果；

情緒判定模塊，用于基于得到的每種數(shù)據(jù)類型下的情緒識別結(jié)果，按照設(shè)定的情緒判定策略，判定出駕駛員的情緒。

可選地，本發(fā)明所述裝置中，所述情緒識別結(jié)果包括：識別出的情緒類型及識別出該情緒類型的置信度。

可選地，本發(fā)明所述裝置中，所述情緒判定模塊，具體用于當(dāng)至少兩個情緒識別結(jié)果中的情緒類型相同且置信度分別大于等于設(shè)定的對應(yīng)數(shù)據(jù)類型的第一情緒置信度閾值時，將所述至少兩個情緒識別結(jié)果中的情緒類型作為最終識別出的駕駛員的情緒；當(dāng)各情緒識別結(jié)果中存在一個情緒識別結(jié)果的情緒類型的置信度大于等于設(shè)定的對應(yīng)數(shù)據(jù)類型的第二情緒置信度閾值時，將該情緒識別結(jié)果中的情緒類型作為最終識別出的駕駛員的情緒；其中，同一數(shù)據(jù)類型下的第一情緒置信度閾值小于第二情緒置信度閾值。

可選地，本發(fā)明所述裝置中，情緒判定模塊，還用于在判定出駕駛員的情緒之后，根據(jù)預(yù)設(shè)的情緒類型的置信度與情緒類型級別的對應(yīng)關(guān)系，得到最終識別出的駕駛員的情緒的情緒級別。

可選地，本發(fā)明所述裝置中，所述情緒識別模塊，具體用于在根據(jù)采集的語音數(shù)據(jù)對駕駛員的情緒進(jìn)行識別時，提取語音數(shù)據(jù)中的聲紋特征、以及識別所述語音數(shù)據(jù)中的語義，根據(jù)所述聲紋特征和所述語義，對駕駛員的情緒進(jìn)行識別。

可選地，本發(fā)明所述裝置，還包括：

身份識別模塊，用于當(dāng)所述信息采集模塊采集到圖像數(shù)據(jù)或者語音數(shù)據(jù)時，根據(jù)所述圖像數(shù)據(jù)或者語音數(shù)據(jù)，識別出駕駛員的身份；當(dāng)所述信息采集模塊采集到圖像數(shù)據(jù)和語音數(shù)據(jù)時，分別根據(jù)所述圖像數(shù)據(jù)和語音數(shù)據(jù)，對駕駛員的身份進(jìn)行識別，得到兩種數(shù)據(jù)類型下的兩個身份識別結(jié)果；

身份判定模塊，用于當(dāng)所述身份識別模塊得到一種數(shù)據(jù)類型下的身份識別結(jié)果時，直接以該結(jié)果作為識別出的駕駛員的身份；當(dāng)所述身份識別模塊得到兩種數(shù)據(jù)類型下的兩個身份識別結(jié)果時，基于得到的兩個身份識別結(jié)果，按照設(shè)定的身份判定策略，判定出駕駛員的身份。

可選地，本發(fā)明所述裝置中，所述身份識別結(jié)果包括：識別出的用戶及識別出該用戶的置信度；

所述身份判定模塊，具體用于當(dāng)兩個身份識別結(jié)果中識別出的用戶相同且置信度分別大于等于設(shè)定的對應(yīng)數(shù)據(jù)類型的第一身份置信度閾值時，以共同識別出的用戶作為最終的用戶身份識別結(jié)果；當(dāng)兩個身份識別結(jié)果中有一個身份識別結(jié)果中識別出的用戶的置信度大于等于設(shè)定的對應(yīng)數(shù)據(jù)類型的第二身份置信度閾值時，以用戶的置信度大于等于第二置信度身份閾值對應(yīng)的用戶，作為最終的用戶身份識別結(jié)果，其中，同一數(shù)據(jù)類型下的第一身份置信度閾值小于第二身份置信度閾值。

可選地，本發(fā)明所述裝置還包括：

服務(wù)推薦模塊，用于利用得到的駕駛員的身份，在預(yù)先建立的各用戶行為習(xí)慣模型中匹配出與該駕駛員對應(yīng)的用戶行為習(xí)慣模型，并將駕駛員的情緒信息輸入到匹配的用戶行為習(xí)慣模型中，以對駕駛員的狀態(tài)和/或行為進(jìn)行預(yù)判，并根據(jù)預(yù)判結(jié)果，主動提供與預(yù)判結(jié)果相匹配的服務(wù)。

可選地，本發(fā)明所述裝置中，所述服務(wù)推薦模塊，具體用于確定與所述預(yù)判結(jié)果相匹配的服務(wù)，向用戶發(fā)出是否需要所述服務(wù)的詢問，并在確定出用戶需要時，向用戶提供所述服務(wù)。

可選地，本發(fā)明所述裝置中，向用戶提供的與預(yù)判結(jié)果相匹配的服務(wù)，包括：內(nèi)容服務(wù)和/或設(shè)備狀態(tài)控制服務(wù)；所述設(shè)備狀態(tài)控制服務(wù)包括：控制所述智能語音設(shè)備和/或與所述智能語音設(shè)備連接的設(shè)備到目標(biāo)狀態(tài)。

本發(fā)明有益效果如下：

首先，本發(fā)明可分別根據(jù)圖像數(shù)據(jù)、語音數(shù)據(jù)和車輛行駛數(shù)據(jù)中的至少兩種進(jìn)行情緒識別，并根據(jù)得到的多個情緒識別結(jié)果綜合判斷駕駛員的情緒狀態(tài)，這種情緒狀態(tài)識別方式不會受單一的道路狀況、車輛狀況、面部特征和語音特征等影響，識別出的駕駛員的情緒更加符合實際的駕駛員情緒狀態(tài)，提高了情緒識別的準(zhǔn)確性及環(huán)境適應(yīng)性。

其次，本發(fā)明還可以分別根據(jù)圖像數(shù)據(jù)和語音數(shù)據(jù)進(jìn)行駕駛員的身份識別，并根據(jù)得到的兩個身份識別結(jié)果綜合判斷駕駛員的身份，提高了身份識別的準(zhǔn)確性和環(huán)境適應(yīng)性；

第三，本發(fā)明還可以根據(jù)識別的駕駛員的情緒和身份，進(jìn)行主動的服務(wù)推薦，提高了用戶的使用體驗。

上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說明書的內(nèi)容予以實施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點(diǎn)能夠更明顯易懂，以下特舉本發(fā)明的具體實施方式。

附圖說明

通過閱讀下文優(yōu)選實施方式的詳細(xì)描述，各種其他的優(yōu)點(diǎn)和益處對于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實施方式的目的，而并不認(rèn)為是對本發(fā)明的限制。而且在整個附圖中，用相同的參考符號表示相同的部件。在附圖中：

圖1為本發(fā)明第一實施例提供的一種駕駛員情緒識別方法的流程圖；

圖2為本發(fā)明第三實施例提供的一種駕駛員情緒識別裝置的結(jié)構(gòu)框圖。

具體實施方式

下面將參照附圖更詳細(xì)地描述本公開的示例性實施例。雖然附圖中顯示了本公開的示例性實施例，然而應(yīng)當(dāng)理解，可以以各種形式實現(xiàn)本公開而不應(yīng)被這里闡述的實施例所限制。相反，提供這些實施例是為了能夠更透徹地理解本公開，并且能夠?qū)⒈竟_的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。

本發(fā)明實施例提供一種駕駛員情緒識別方法和裝置，本發(fā)明通過語音數(shù)據(jù)、圖像數(shù)據(jù)和駕駛車輛的行駛數(shù)據(jù)中的至少兩種，對駕駛員的情緒進(jìn)行識別，并根據(jù)識別的多個結(jié)果進(jìn)行綜合性的判斷，使得識別的駕駛員的情緒更加符合實際的駕駛員的情緒狀態(tài)，而不會受單一的道路狀況、車輛狀況、面部特征和語音特征等影響，能更加準(zhǔn)確的識別出車內(nèi)人員的情緒。所以，本發(fā)明提出的情緒識別方案環(huán)境適應(yīng)性更強(qiáng)，可以適合更多環(huán)境中的駕駛員的情緒識別。下面就通過幾個具體實施例對本發(fā)明的具體實施過程進(jìn)行詳細(xì)闡述。

在本發(fā)明的第一實施例中，提供一種駕駛員情緒識別方法，如圖1所示，包括如下步驟：

步驟S101，采集駕駛員的圖像數(shù)據(jù)、駕駛員的語音數(shù)據(jù)以及駕駛車輛的行駛數(shù)據(jù)中的至少兩種數(shù)據(jù)；

步驟S102，分別根據(jù)采集的多種數(shù)據(jù)，對駕駛員的情緒進(jìn)行識別，得到每種數(shù)據(jù)類型下的情緒識別結(jié)果；

步驟S103，基于得到的每種數(shù)據(jù)類型下的情緒識別結(jié)果，按照設(shè)定的情緒判定策略，判定出駕駛員的情緒。

基于上述原理闡述，下面給出幾個具體及優(yōu)選實施方式，用以細(xì)化和優(yōu)化本發(fā)明所述方法的功能，以使本發(fā)明方案的實施更方便，準(zhǔn)確。需要說明的是，在不沖突的情況下，如下特征可以互相任意組合。

本發(fā)明實施例中，所述的情緒識別結(jié)果包括：識別出的情緒類型及識別出該情緒類型的置信度。其中，情緒類型包括但不限于為：高興、傷心、憤怒、厭煩、疲勞、激動和正常。

進(jìn)一步地，本發(fā)明實施例中，通過布設(shè)在車內(nèi)外的設(shè)備傳感器采集駕駛車輛的行駛數(shù)據(jù)，所述設(shè)備傳感器可以包括至少以下一種或幾種傳感器的組合：加速度傳感器、速度傳感器、紅外傳感器、角速度傳感器、激光測距傳感器、超聲波傳感器等。根據(jù)車輛上布設(shè)的這些傳感器獲取的信息，就可以得到當(dāng)前車輛的姿態(tài)信息、當(dāng)前車況信息、當(dāng)前路況信息、駕駛時長、車輛駕駛軌跡信息等，從而根據(jù)以上車輛的行駛數(shù)據(jù)進(jìn)行駕駛員的情緒狀態(tài)判斷。

在本發(fā)明的一個具體實施例中，根據(jù)駕駛車輛的行駛數(shù)據(jù)對駕駛員的情緒進(jìn)行識別，包括：從所述相關(guān)行駛數(shù)據(jù)中提取相關(guān)行駛特征，根據(jù)相關(guān)行駛特征在預(yù)設(shè)的分類器中進(jìn)行分類，根據(jù)所述分類器中的分類結(jié)果識別與所述相關(guān)行駛特征相對應(yīng)的駕駛員情緒，最后給出對應(yīng)的識別置信度。具體的，本發(fā)明實施例中，采集預(yù)設(shè)時間內(nèi)汽車行駛中的訓(xùn)練行駛信息，并從所述訓(xùn)練行駛信息中提取訓(xùn)練行駛特征；獲取針對不同訓(xùn)練行駛特征標(biāo)注的不同駕駛員情緒，并基于預(yù)設(shè)的分類算法對不同訓(xùn)練行駛特征標(biāo)注的不同駕駛員情緒進(jìn)行學(xué)習(xí)、訓(xùn)練，形成預(yù)設(shè)的分類器。

進(jìn)一步的，本發(fā)明實施例中，通過圖像采集裝置，如攝像頭，采集駕駛員的圖像數(shù)據(jù)。在本發(fā)明的一個具體實施例中，根據(jù)采集的圖像數(shù)據(jù)，對駕駛員的情緒進(jìn)行識別，包括：在先需要進(jìn)行人臉的離線訓(xùn)練，所述離線訓(xùn)練使用人臉的數(shù)據(jù)庫訓(xùn)練人臉的檢測器、同時在人臉上標(biāo)定標(biāo)記點(diǎn)，根據(jù)所述人臉標(biāo)記點(diǎn)訓(xùn)練標(biāo)記點(diǎn)擬合器，并且，通過人臉標(biāo)記點(diǎn)和情緒的關(guān)系訓(xùn)練情緒分類器。當(dāng)進(jìn)行人臉的在線運(yùn)行時(即需要根據(jù)圖像數(shù)據(jù)進(jìn)行情緒識別時)，通過人臉檢測器在圖像數(shù)據(jù)中檢測人臉，然后通過標(biāo)記點(diǎn)擬合器擬合人臉上的標(biāo)記點(diǎn)，情緒分類器根據(jù)人臉標(biāo)記點(diǎn)判斷當(dāng)前駕駛員的情緒，最后給出對應(yīng)的分類置信度。本發(fā)明實施例中個，基于圖像的情緒識別的置信度為情緒分類器根據(jù)獲取的面部圖像中的人臉標(biāo)記點(diǎn)而得到的用戶面部表情與在先情緒訓(xùn)練得到的用戶在不同情緒類型下的面部表情模型進(jìn)行匹配的匹配度，當(dāng)匹配度(即置信度)達(dá)到一定的閾值，判定為識別出用戶的情緒類型，例如，若匹配的結(jié)果為90％(置信度)以上的檢測結(jié)果為“愉悅”，則認(rèn)為“此用戶為愉悅”。

進(jìn)一步的，本發(fā)明實施例中，通過音頻采集裝置，如麥克風(fēng)，采集駕駛員的聲音數(shù)據(jù)。在本發(fā)明的一個具體實施例中，根據(jù)采集的語音數(shù)據(jù)，對駕駛員的情緒進(jìn)行識別，包括：在先需要進(jìn)行人聲的離線訓(xùn)練，所述人聲的離線訓(xùn)練，使用語音數(shù)據(jù)庫訓(xùn)練人聲檢測器，同時訓(xùn)練語音特征向量提取模型用于從人聲中提取特征向量的聲音，采用已標(biāo)定好的語音特征向量以及情緒的訓(xùn)練集訓(xùn)練情緒分類器。當(dāng)進(jìn)行人聲的在線運(yùn)行時(即需要根據(jù)語音數(shù)據(jù)進(jìn)行情緒識別時)，通過人聲檢測器在輸入的聲音流中檢測人聲數(shù)據(jù)，并從人聲數(shù)據(jù)中提取語音特征向量，最后使用情緒分類器從語音特征向量分辨當(dāng)前用戶的情緒，并給出識別的置信度?？蛇x地，本發(fā)明實施例中，還對所述語音數(shù)據(jù)中的語義進(jìn)行識別。當(dāng)根據(jù)語音特征向量進(jìn)行情緒識別時，可以結(jié)合語義識別結(jié)果，進(jìn)行綜合識別判斷，得到基于語音數(shù)據(jù)的最終識別結(jié)果。本實施例中，基于語音的情緒識別的置信度為情緒分類器將獲取的語音數(shù)據(jù)中的語音特征向量與在先已訓(xùn)練好的用戶在不同情緒類型下的語音向量模型進(jìn)行匹配的匹配度，當(dāng)匹配度大于設(shè)定的閾值時，判定出用戶的情緒，例如，若匹配的結(jié)果為80％(置信度)以上的檢測結(jié)果為“愉悅”，則認(rèn)為“此用戶為愉悅”。

進(jìn)一步的，本發(fā)明實施例中，為了根據(jù)不同數(shù)據(jù)類型得到的識別結(jié)果進(jìn)行駕駛員的情緒判定，要預(yù)先按照數(shù)據(jù)類型，進(jìn)行情緒置信度閾值的設(shè)定。具體的，設(shè)定與圖像數(shù)據(jù)類型相對應(yīng)的第一情緒置信度閾值、設(shè)定與語音數(shù)據(jù)類型相對應(yīng)的第一情緒置信度閾值、以及設(shè)定與行駛數(shù)據(jù)類型相對應(yīng)的第一情緒置信度閾值。其中，不同數(shù)據(jù)類型下的第一情緒置信度閾值可以相同，也可以不同，具體值可根據(jù)需求靈活設(shè)定。

對此，本發(fā)明實施例中，基于得到的每種數(shù)據(jù)類型下的情緒識別結(jié)果，按照設(shè)定的情緒判定策略，判定出駕駛員的情緒，具體包括：

檢測是否至少兩個情緒識別結(jié)果中的情緒類型相同且置信度分別大于等于設(shè)定的對應(yīng)數(shù)據(jù)類型的第一情緒置信度閾值，并在是的情況下，將所述至少兩個情緒識別結(jié)果中的情緒類型作為最終識別出的駕駛員的情緒；

可選地，本發(fā)明實施例中，可以設(shè)定每個數(shù)據(jù)類型下的第一情緒置信度閾值為兩個等級，即第一等級下的情緒置信度閾值P1和第二等級下的情緒置信度閾值P2，其中，同一數(shù)據(jù)類型下的P2大于P1。第一等級的閾值P1用于三種類型數(shù)據(jù)下識別結(jié)果的判斷，第二等級的閾值P2用于兩種數(shù)據(jù)類型下識別結(jié)果的判斷。具體的，當(dāng)?shù)玫饺N數(shù)據(jù)類型下的三個情緒識別結(jié)果時，如果三個情緒識別結(jié)果的情緒類型相同，且對應(yīng)的置信度均大于對應(yīng)的第一等級下的閾值P1，則以三個情緒識別結(jié)果識別出的情緒類型作為最終識別出的駕駛員的情緒。當(dāng)?shù)玫街辽賰煞N數(shù)據(jù)類型下的至少兩個情緒識別結(jié)果時，如果有兩個情緒識別結(jié)果的情緒類型相同，且對應(yīng)的置信度均大于對應(yīng)的第二等級下的閾值P2，則直接以這兩個情緒識別結(jié)果識別出的情緒類型作為最終識別出的駕駛員的情緒。

進(jìn)一步地，考慮到有些情況下，基于某種數(shù)據(jù)類型的識別置信度很高，具有很高的可信性，此時，可以直接利用置信度很高的數(shù)據(jù)類型對應(yīng)的識別結(jié)果作為最終的識別結(jié)果，具體實現(xiàn)時，可檢測各情緒識別結(jié)果中是否存在一個情緒識別結(jié)果的情緒類型的置信度大于等于設(shè)定的對應(yīng)數(shù)據(jù)類型的第二情緒置信度閾值，并在是的情況下，將該情緒識別結(jié)果中的情緒類型作為最終識別出的駕駛員的情緒。其中，同一數(shù)據(jù)類型下的第一情緒置信度閾值小于第二情緒置信度閾值。

下面通過具體示例，對上述提出的情緒判定過程進(jìn)行解釋說明：

本示例中，設(shè)定基于語音數(shù)據(jù)的情緒識別置信度閾值為70％、基于圖像數(shù)據(jù)的情緒識別置信度閾值為80％、基于行駛數(shù)據(jù)的情緒識別置信度為60％，則：

當(dāng)基于語音數(shù)據(jù)識別出的情緒類型為激動，且情緒識別置信度為“70％”以上、基于圖像數(shù)據(jù)識別出的情緒類型為激動，且情緒識別置信度為“80％”以上、且基于行駛數(shù)據(jù)識別出的情緒類型為激動，且情緒識別置信度為：“60％”以上，則判斷出此用戶“情緒為激動”。

本示例中，還可以進(jìn)一步進(jìn)行閾值設(shè)定，例如設(shè)定基于語音數(shù)據(jù)的情緒識別置信度閾值為80％、基于圖像數(shù)據(jù)的情緒識別置信度為85％、基于行駛數(shù)據(jù)的情緒識別置信度為75％；則：

當(dāng)基于語音數(shù)據(jù)識別出的情緒類型為激動，且情緒識別置信度為“80％”以上、基于圖像數(shù)據(jù)識別出的情緒類型為激動，且情緒識別置信度為“85％”以上，則直接判斷出此用戶“情緒為激動”。或者，當(dāng)基于語音數(shù)據(jù)識別出的情緒類型為激動，且情緒識別置信度為“80％”以上、基于行駛數(shù)據(jù)的情緒識別結(jié)果為激動，且情緒識別置信度為“75％”以上，則直接判斷出此用戶“情緒為激動”。或者，當(dāng)基于圖像數(shù)據(jù)識別出的情緒類型為激動，且情緒識別置信度為“85％”以上、基于行駛數(shù)據(jù)的情緒識別結(jié)果為激動，且情緒識別置信度為“75％”以上，則直接判斷出此用戶“情緒為激動”。

本示例中，還可以進(jìn)一步進(jìn)行閾值設(shè)定，例如設(shè)定基于語音數(shù)據(jù)的情緒識別置信度閾值為95％、基于圖像數(shù)據(jù)的情緒識別置信度為98％、基于行駛數(shù)據(jù)的情緒識別置信度為90％，則：

當(dāng)基于語音數(shù)據(jù)識別出的情緒類型為激動，且情緒識別置信度為“95％”以上、則直接判斷出此用戶“情緒為激動”?；蛘?，基于行駛數(shù)據(jù)的情緒識別結(jié)果為激動，且情緒識別置信度為“90％”以上，則直接判斷出此用戶“情緒為激動”?；蛘撸趫D像數(shù)據(jù)識別出的情緒類型為激動，且情緒識別置信度為“98％”以上，則直接判斷出此用戶“情緒為激動”。

需要指出的是，在根據(jù)置信度閾值進(jìn)行判斷時，如果出現(xiàn)判斷結(jié)果沖突的情況，則丟棄當(dāng)前識別結(jié)果，繼續(xù)根據(jù)實時采集的數(shù)據(jù)進(jìn)行判斷。例如，當(dāng)基于語音數(shù)據(jù)的情緒識別結(jié)果為激動且置信度為95％、而基于圖像數(shù)據(jù)的情緒識別結(jié)果為高興且置信度為98％，此時，需要丟棄當(dāng)前識別結(jié)果，繼續(xù)進(jìn)行判斷。

進(jìn)一步地，本發(fā)明實施例中，在判定出駕駛員的情緒之后，還包括：根據(jù)預(yù)設(shè)的情緒類型的置信度與情緒類型級別的對應(yīng)關(guān)系，得到最終識別出的駕駛員的情緒的情緒級別。具體的，本實施例中，可以預(yù)先建立識別出的情緒類型的置信度與該情緒類型級別的對應(yīng)關(guān)系，并在得到多個情緒識別結(jié)果時，根據(jù)識別結(jié)果中的識別置信度，匹配當(dāng)前情緒類型的情緒級別(例如：激動、非常激動等)。

綜上可知，本發(fā)明實施例通過至少兩種類型的數(shù)據(jù)對駕駛員的情緒進(jìn)行綜合識別判斷，提高了情緒識別的穩(wěn)定性和準(zhǔn)確度，提升了用戶的使用體驗。

在本發(fā)明的第二實施例中，提供一種駕駛員情緒識別方法，繼續(xù)如圖1所示，包括如下步驟：

步驟S101，采集駕駛員的圖像數(shù)據(jù)、駕駛員的語音數(shù)據(jù)以及駕駛車輛的行駛數(shù)據(jù)中的至少兩種數(shù)據(jù)；

步驟S102，分別根據(jù)采集的多種數(shù)據(jù)，對駕駛員的情緒進(jìn)行識別，得到每種數(shù)據(jù)類型下的情緒識別結(jié)果；

步驟S103，基于得到的每種數(shù)據(jù)類型下的情緒識別結(jié)果，按照設(shè)定的情緒判定策略，判定出駕駛員的情緒。

本發(fā)明實施例中，情緒識別及判定過程與第一實施例相同，在此不再贅述。

本發(fā)明實施例中，在進(jìn)行情緒識別的同時還進(jìn)行駕駛員的身份識別，具體如下：

當(dāng)采集到圖像數(shù)據(jù)或者語音數(shù)據(jù)時，根據(jù)所述圖像數(shù)據(jù)或者語音數(shù)據(jù)，識別出駕駛員的身份；

當(dāng)采集到圖像數(shù)據(jù)和語音數(shù)據(jù)時，分別根據(jù)所述圖像數(shù)據(jù)和語音數(shù)據(jù)，對駕駛員的身份進(jìn)行識別，得到兩種數(shù)據(jù)類型下的兩個身份識別結(jié)果，并基于得到的兩個身份識別結(jié)果，按照設(shè)定的身份判定策略，判定出駕駛員的身份。

本發(fā)明實施例中，所述的身份識別結(jié)果包括：識別出的用戶及識別出該用戶的置信度。

進(jìn)一步地，本發(fā)明實施例中，通過圖像采集裝置，如攝像頭，采集駕駛員的圖像數(shù)據(jù)。在本發(fā)明的一個具體實施例中，根據(jù)采集的圖像數(shù)據(jù)，對駕駛員的身份進(jìn)行識別，包括：在先需要進(jìn)行人臉的離線訓(xùn)練，所述離線訓(xùn)練使用人臉的數(shù)據(jù)庫訓(xùn)練人臉的檢測器、同時在人臉上標(biāo)定標(biāo)記點(diǎn)，根據(jù)所述人臉標(biāo)記點(diǎn)訓(xùn)練標(biāo)記點(diǎn)擬合器，并且，通過人臉標(biāo)記點(diǎn)和身份的關(guān)系訓(xùn)練身份分類器；當(dāng)進(jìn)行人臉的在線運(yùn)行時，通過人臉檢測器在圖像數(shù)據(jù)中檢測人臉，然后通過標(biāo)記點(diǎn)擬合器擬合人臉上的標(biāo)記點(diǎn)，身份分類器根據(jù)人臉標(biāo)記點(diǎn)判斷當(dāng)前駕駛員的身份，最后給出對應(yīng)的分類置信度。本實施例中，基于圖像的身份識別的置信度為身份分類器將獲取的面部圖像中的人臉標(biāo)記點(diǎn)與在先訓(xùn)練的已知身份的人臉標(biāo)記點(diǎn)進(jìn)行匹配的匹配度，當(dāng)匹配度(即置信度)達(dá)到一定的閾值，判定為識別出用戶身份，例如，若匹配度為85％(置信度)以上的檢測結(jié)果為用戶A，則認(rèn)為“此用戶為用戶A”。

進(jìn)一步的，本發(fā)明實施例中，通過音頻采集裝置，如麥克風(fēng)，采集駕駛員的聲音數(shù)據(jù)。在本發(fā)明的一個具體實施例中，根據(jù)采集的語音數(shù)據(jù)，對駕駛員的身份進(jìn)行識別，包括：在先需要進(jìn)行人聲的離線訓(xùn)練，所述人聲的離線訓(xùn)練，使用語音數(shù)據(jù)庫訓(xùn)練人聲檢測器，同時訓(xùn)練語音特征向量提取模型用于從人聲中提取特征向量的聲音，采用已標(biāo)定好的語音特征向量以及身份的訓(xùn)練集訓(xùn)練身份分類器。當(dāng)進(jìn)行人聲的在線運(yùn)行時，通過人聲檢測器在輸入的聲音流中檢測人聲數(shù)據(jù)，并從人聲數(shù)據(jù)中提取語音特征向量，最后使用身份分類器從語音特征向量分辨當(dāng)前用戶的身份，并給出識別的置信度。本實施例中，基于語音的身份識別的置信度為身份分類器將獲取的語音數(shù)據(jù)中的語音特征向量與在先已訓(xùn)練好的已知用戶的語音向量模型進(jìn)行匹配的匹配度，當(dāng)匹配度大于設(shè)定的閾值時，判定出用戶的身份，例如，若匹配的結(jié)果為85％(置信度)以上的檢測結(jié)果為用戶A，則認(rèn)為“此用戶為用戶A”。

進(jìn)一步地，本發(fā)明實施例中，當(dāng)采集到圖像數(shù)據(jù)和語音數(shù)據(jù)時，為了根據(jù)兩種數(shù)據(jù)類型得到的識別結(jié)果進(jìn)行駕駛員的身份判定，要預(yù)先按照數(shù)據(jù)類型，進(jìn)行身份置信度閾值的設(shè)定。具體的，設(shè)定與圖像數(shù)據(jù)類型相對應(yīng)的第一身份置信度閾值以及設(shè)定與語音數(shù)據(jù)類型相對應(yīng)的第一身份置信度閾值。其中，不同數(shù)據(jù)類型下的第一情緒置信度閾值可以相同，也可以不同，具體值可根據(jù)需求靈活設(shè)定。

對此，本發(fā)明實施例中，基于得到的兩個身份識別結(jié)果，按照設(shè)定的身份判定策略，判定出駕駛員的身份，包括：

當(dāng)兩個身份識別結(jié)果中識別出的用戶相同且置信度分別大于等于設(shè)定的對應(yīng)數(shù)據(jù)類型的第一身份置信度閾值時，以共同識別出的用戶作為最終的用戶身份識別結(jié)果；

當(dāng)兩個身份識別結(jié)果中有一個身份識別結(jié)果中識別出的用戶的置信度大于等于設(shè)定的對應(yīng)數(shù)據(jù)類型的第二身份置信度閾值時，以用戶的置信度大于等于第二置信度身份閾值對應(yīng)的用戶，作為最終的用戶身份識別結(jié)果；

其中，同一數(shù)據(jù)類型下的第一身份置信度閾值小于第二身份置信度閾值。

下面通過一個具體示例，對上述提出的身份判定過程進(jìn)行解釋說明：

本示例中，設(shè)定基于語音數(shù)據(jù)的身份識別置信度閾值為85％，基于圖像數(shù)據(jù)的身份識別置信度閾值為90％，則：當(dāng)基于語音數(shù)據(jù)識別出的身份為用戶A，且身份識別置信度為85％以上，基于圖像數(shù)據(jù)識別出的身份為用戶A，且身份識別置信度為90％以上，則判斷出此用戶為用戶A。

本示例中，還可以進(jìn)一步進(jìn)行閾值設(shè)定，例如設(shè)定基于語音數(shù)據(jù)的身份識別置信度閾值為95％，基于圖像數(shù)據(jù)的身份識別置信度閾值為98％，則：當(dāng)基于語音數(shù)據(jù)識別出的身份為用戶A，且身份識別置信度為95％以上，則直接判斷出駕駛員身份為用戶A；或者，當(dāng)基于圖像數(shù)據(jù)識別出的身份為用戶A，且身份識別置信度為98％，則直接判斷出駕駛員身份為用戶A。

綜上可知，語音、圖像的置信度需要同時大于第一閾值，認(rèn)為是用戶A；或者，語音和圖像的置信度需要至少有一個大于第二閾值，則認(rèn)為是用戶A，其中第二閾值大于第一閾值。

在本發(fā)明的一個較佳實施例中，在確定出駕駛員的身份后，還包括：將識別的身份和情緒信息發(fā)送到大數(shù)據(jù)推薦引擎，由大數(shù)據(jù)推薦引擎利用得到的駕駛員的身份，在預(yù)先建立的各用戶行為習(xí)慣模型中匹配出與該駕駛員對應(yīng)的用戶行為習(xí)慣模型，并將駕駛員的情緒信息輸入到匹配的用戶行為習(xí)慣模型中，以對駕駛員的狀態(tài)和/或行為進(jìn)行預(yù)判，并根據(jù)預(yù)判結(jié)果，主動提供與預(yù)判結(jié)果相匹配的服務(wù)。

其中，根據(jù)預(yù)判結(jié)果，主動提供與預(yù)判結(jié)果相匹配的服務(wù)，具體包括：

確定與所述預(yù)判結(jié)果相匹配的服務(wù)，向用戶發(fā)出是否需要所述服務(wù)的詢問，并在確定出用戶需要時，向用戶提供所述服務(wù)。

本實施例中，向用戶提供的與預(yù)判結(jié)果相匹配的服務(wù)，包括：內(nèi)容服務(wù)和/或設(shè)備狀態(tài)控制服務(wù)；所述設(shè)備狀態(tài)控制服務(wù)包括：控制所述智能語音設(shè)備和/或與所述智能語音設(shè)備連接的設(shè)備到目標(biāo)狀態(tài)。

下面通過幾個具體應(yīng)用案例對主動提供服務(wù)的過程進(jìn)行說明。

案例一：若基于語音數(shù)據(jù)的情緒識別結(jié)果為“激動77％”、基于圖像的情緒識別結(jié)果為“激動90％”、以及基于車輛相關(guān)行駛數(shù)據(jù)的情緒識別結(jié)果為“激動65％”，則可判斷出此用戶“情緒為激動”；同時若基于語音數(shù)據(jù)的身份識別結(jié)果為“李女士88％”、基于圖像數(shù)據(jù)的身份識別結(jié)果為“李女士95％”，則可判斷出此用戶為李女士。那么總的情緒、身份識別結(jié)果為“李女士情緒為激動”。

將李女士情緒為激動的識別結(jié)果發(fā)送到大數(shù)據(jù)推薦引擎，大數(shù)據(jù)推薦引擎觸發(fā)語音交互，并發(fā)送語音播報文件到智能車載中控自動發(fā)起語音交互：

智能車載中控：“剛剛學(xué)會了一個新笑話，李女士想不想聽啊”

李女士：“好的，說吧”

智能車載中控：“課堂上奧特曼舉手了，然后老師就死了”。

案例二：若基于語音數(shù)據(jù)的情緒識別結(jié)果為“疲勞84％”、基于圖像數(shù)據(jù)的情緒識別結(jié)果為“疲勞93％”，則可判斷出此用戶“情緒為疲勞”，同時若基于語音數(shù)據(jù)的身份識別結(jié)果為“張先生88％”、基于圖像數(shù)據(jù)的身份識別結(jié)果為“張先生95％”，則可判斷出此用戶為“張先生”。那么總的情緒、身份識別結(jié)果為“張先生情緒為疲勞”。

將張先生情緒為疲勞的識別結(jié)果發(fā)送到大數(shù)據(jù)推薦引擎，大數(shù)據(jù)推薦引擎觸發(fā)語音交互，并發(fā)送語音播報文件到智能車載中控自動播放音樂：

智能車載中控：“張先生，要不要給您放點(diǎn)動感的歌啊，看你開車都累了”。

張三：“好的啊”

智能車載中控打開音樂播放器，并播放輕松歡快歌曲，并結(jié)合用戶的音樂歷史數(shù)據(jù)推薦張三可能喜歡的歌手與音樂類型。

案例三：若基于圖像數(shù)據(jù)的情緒識別結(jié)果為“憤怒80％”、基于車輛行駛數(shù)據(jù)的情緒識別結(jié)果為“憤怒99％”，則可判斷出此用戶“情緒為憤怒”，同時若基于語音數(shù)據(jù)的身份識別結(jié)果為“周先生88％”、基于圖像數(shù)據(jù)的身份識別結(jié)果為“周先生95％”，則可判斷出此用戶為“周先生”。那么總的情緒、身份識別結(jié)果為“周先生情緒為憤怒”。

將周先生情緒為憤怒的識別結(jié)果發(fā)送到大數(shù)據(jù)推薦引擎，大數(shù)據(jù)推薦引擎觸發(fā)語音交互，并發(fā)送語音播報文件到智能車載中控自動發(fā)起語音交互，爭取用戶的功能操作的認(rèn)同：

智能車載中控：“周先生，看您今天怎么有點(diǎn)惱火啊，要不要幫您降降溫，打開空調(diào)呢”。

周先生：“好的，開吧”

智能車載中控接收到語音信息后，打開空調(diào)。

綜上可知，本發(fā)明實施例提出了一種全新的駕駛員情緒識別與身份識別的方法，并將身份、情緒識別結(jié)果發(fā)送到大數(shù)據(jù)推薦引擎，由大數(shù)據(jù)推薦引擎根據(jù)身份及情緒的識別結(jié)果，推薦匹配的服務(wù)，包括但不限于為UI展示，語音播報，內(nèi)容服務(wù)提供，車內(nèi)設(shè)備控制等，從而實現(xiàn)了主動為用戶提供更人性化的服務(wù)，提高了用戶的使用體驗。

在本發(fā)明的第三實施例中，提供一種駕駛員情緒識別裝置，如圖2所示，具體包括：

信息采集模塊210，用于采集駕駛員的圖像數(shù)據(jù)、駕駛員的語音數(shù)據(jù)以及駕駛車輛的行駛數(shù)據(jù)中的至少兩種數(shù)據(jù)；

情緒識別模塊220，用于分別根據(jù)采集的多種數(shù)據(jù)，對駕駛員的情緒進(jìn)行識別，得到每種數(shù)據(jù)類型下的情緒識別結(jié)果；

情緒判定模塊230，用于基于得到的每種數(shù)據(jù)類型下的情緒識別結(jié)果，按照設(shè)定的情緒判定策略，判定出駕駛員的情緒。

基于上述結(jié)構(gòu)框架及實施原理，下面給出在上述結(jié)構(gòu)下的幾個具體及優(yōu)選實施方式，用以細(xì)化和優(yōu)化本發(fā)明所述裝置的功能，以使本發(fā)明方案的實施更方便，準(zhǔn)確。具體涉及如下內(nèi)容：

本發(fā)明實施例中，所述情緒識別結(jié)果包括：識別出的情緒類型及識別出該情緒類型的置信度。其中，情緒類型包括但不限于為：高興、傷心、憤怒、厭煩、疲勞、激動和正常。

進(jìn)一步地，本發(fā)明實施例中，信息采集模塊210包括布設(shè)在車內(nèi)外的設(shè)備傳感器、布設(shè)在車內(nèi)的圖像采集裝置和音頻采集裝置。

具體的，本實施例中，通過布設(shè)在車內(nèi)外的設(shè)備傳感器采集駕駛車輛的行駛數(shù)據(jù)，所述設(shè)備傳感器可以包括至少以下一種或幾種傳感器的組合：加速度傳感器、速度傳感器、紅外傳感器、角速度傳感器、激光測距傳感器、超聲波傳感器等。根據(jù)車輛上布設(shè)的這些傳感器獲取的信息，就可以得到當(dāng)前車輛的姿態(tài)信息、當(dāng)前車況信息、當(dāng)前路況信息、駕駛時長、車輛駕駛軌跡信息等。進(jìn)一步的，本發(fā)明實施例中，通過圖像采集裝置，如攝像頭，采集駕駛員的圖像數(shù)據(jù)；以及通過音頻采集裝置，如麥克風(fēng)，采集駕駛員的聲音數(shù)據(jù)。

在本發(fā)明的一個具體實施例中，情緒識別模塊220根據(jù)駕駛車輛的行駛數(shù)據(jù)對駕駛員的情緒進(jìn)行識別，包括：從所述相關(guān)行駛數(shù)據(jù)中提取相關(guān)行駛特征，根據(jù)相關(guān)行駛特征在預(yù)設(shè)的分類器中進(jìn)行分類，根據(jù)所述分類器中的分類結(jié)果識別與所述相關(guān)行駛特征相對應(yīng)的駕駛員情緒，最后給出對應(yīng)的識別置信度。具體的，本發(fā)明實施例中，采集預(yù)設(shè)時間內(nèi)汽車行駛中的訓(xùn)練行駛信息，并從所述訓(xùn)練行駛信息中提取訓(xùn)練行駛特征；獲取針對不同訓(xùn)練行駛特征標(biāo)注的不同駕駛員情緒，并基于預(yù)設(shè)的分類算法對不同訓(xùn)練行駛特征標(biāo)注的不同駕駛員情緒進(jìn)行學(xué)習(xí)、訓(xùn)練，形成預(yù)設(shè)的分類器。

在本發(fā)明的一個具體實施例中，情緒識別模塊220根據(jù)采集的圖像數(shù)據(jù)，對駕駛員的情緒進(jìn)行識別，包括：在先需要進(jìn)行人臉的離線訓(xùn)練，所述離線訓(xùn)練使用人臉的數(shù)據(jù)庫訓(xùn)練人臉的檢測器、同時在人臉上標(biāo)定標(biāo)記點(diǎn)，根據(jù)所述人臉標(biāo)記點(diǎn)訓(xùn)練標(biāo)記點(diǎn)擬合器，并且，通過人臉標(biāo)記點(diǎn)和情緒的關(guān)系訓(xùn)練情緒分類器。當(dāng)進(jìn)行人臉的在線運(yùn)行時(即需要根據(jù)圖像數(shù)據(jù)進(jìn)行情緒識別時)，通過人臉檢測器在圖像數(shù)據(jù)中檢測人臉，然后通過標(biāo)記點(diǎn)擬合器擬合人臉上的標(biāo)記點(diǎn)，情緒分類器根據(jù)人臉標(biāo)記點(diǎn)判斷當(dāng)前駕駛員的情緒，最后給出對應(yīng)的分類置信度。

在本發(fā)明的一個具體實施例中，情緒識別模塊220根據(jù)采集的語音數(shù)據(jù)，對駕駛員的情緒進(jìn)行識別，包括：在先需要進(jìn)行人聲的離線訓(xùn)練，所述人聲的離線訓(xùn)練，使用語音數(shù)據(jù)庫訓(xùn)練人聲檢測器，同時訓(xùn)練語音特征向量提取模型用于從人聲中提取特征向量的聲音，采用已標(biāo)定好的語音特征向量以及情緒的訓(xùn)練集訓(xùn)練情緒分類器。當(dāng)進(jìn)行人聲的在線運(yùn)行時(即需要根據(jù)語音數(shù)據(jù)進(jìn)行情緒識別時)，通過人聲檢測器在輸入的聲音流中檢測人聲數(shù)據(jù)，并從人聲數(shù)據(jù)中提取語音特征向量，最后使用情緒分類器從語音特征向量分辨當(dāng)前用戶的情緒，并給出識別的置信度?？蛇x地，本發(fā)明實施例中，還對所述語音數(shù)據(jù)中的語義進(jìn)行識別。當(dāng)根據(jù)語音特征向量進(jìn)行情緒識別時，可以結(jié)合語義識別結(jié)果，進(jìn)行綜合識別判斷，得到基于語音數(shù)據(jù)的最終識別結(jié)果。

進(jìn)一步的，本發(fā)明實施例中，為了根據(jù)不同數(shù)據(jù)類型得到的識別結(jié)果進(jìn)行駕駛員的情緒判定，要預(yù)先按照數(shù)據(jù)類型，進(jìn)行情緒置信度閾值的設(shè)定。具體的，設(shè)定與圖像數(shù)據(jù)類型相對應(yīng)的第一情緒置信度閾值、設(shè)定與語音數(shù)據(jù)類型相對應(yīng)的第一情緒置信度閾值、以及設(shè)定與行駛數(shù)據(jù)類型相對應(yīng)的第一情緒置信度閾值。其中，不同數(shù)據(jù)類型下的第一情緒置信度閾值可以相同，也可以不同，具體值可根據(jù)需求靈活設(shè)定。

對此，本發(fā)明實施例中，情緒判定模塊230基于得到的每種數(shù)據(jù)類型下的情緒識別結(jié)果，按照設(shè)定的情緒判定策略，判定出駕駛員的情緒，具體包括：

當(dāng)至少兩個情緒識別結(jié)果中的情緒類型相同且置信度分別大于等于設(shè)定的對應(yīng)數(shù)據(jù)類型的第一情緒置信度閾值時，將所述至少兩個情緒識別結(jié)果中的情緒類型作為最終識別出的駕駛員的情緒；

進(jìn)一步地，考慮到有些情況下，基于某種數(shù)據(jù)類型的識別置信度很高，具有很高的可信性，此時，可以直接利用置信度很高的數(shù)據(jù)類型對應(yīng)的識別結(jié)果作為最終的識別結(jié)果，具體實現(xiàn)時，可檢測各情緒識別結(jié)果中是否存在一個情緒識別結(jié)果的情緒類型的置信度大于等于設(shè)定的對應(yīng)數(shù)據(jù)類型的第二情緒置信度閾值，并在是的情況下，將該情緒識別結(jié)果中的情緒類型作為最終識別出的駕駛員的情緒；其中，同一數(shù)據(jù)類型下的第一情緒置信度閾值小于第二情緒置信度閾值。

進(jìn)一步地，本發(fā)明實施例中，情緒判定模塊230，還用于在判定出駕駛員的情緒之后，根據(jù)預(yù)設(shè)的情緒類型的置信度與情緒類型級別的對應(yīng)關(guān)系，得到最終識別出的駕駛員的情緒的情緒級別。

在本發(fā)明的一具體實施例中，所述裝置還包括：

身份識別模塊240，用于當(dāng)所述信息采集模塊210采集到圖像數(shù)據(jù)或者語音數(shù)據(jù)時，根據(jù)所述圖像數(shù)據(jù)或者語音數(shù)據(jù)，識別出駕駛員的身份；當(dāng)所述信息采集模塊采集到圖像數(shù)據(jù)和語音數(shù)據(jù)時，分別根據(jù)所述圖像數(shù)據(jù)和語音數(shù)據(jù)，對駕駛員的身份進(jìn)行識別，得到兩種數(shù)據(jù)類型下的兩個身份識別結(jié)果；

身份判定模塊250，用于當(dāng)所述身份識別模塊240得到一種數(shù)據(jù)類型下的身份識別結(jié)果時，直接以該結(jié)果作為識別出的駕駛員的身份；當(dāng)所述身份識別模塊240得到兩種數(shù)據(jù)類型下的兩個身份識別結(jié)果時，基于得到的兩個身份識別結(jié)果，按照設(shè)定的身份判定策略，判定出駕駛員的身份。

本發(fā)明實施例中，所述身份識別結(jié)果包括：識別出的用戶及識別出該用戶的置信度。

在本發(fā)明的一個具體實施例中，身份識別模塊240根據(jù)采集的圖像數(shù)據(jù)，對駕駛員的身份進(jìn)行識別，包括：在先需要進(jìn)行人臉的離線訓(xùn)練，所述離線訓(xùn)練使用人臉的數(shù)據(jù)庫訓(xùn)練人臉的檢測器、同時在人臉上標(biāo)定標(biāo)記點(diǎn)，根據(jù)所述人臉標(biāo)記點(diǎn)訓(xùn)練標(biāo)記點(diǎn)擬合器，并且，通過人臉標(biāo)記點(diǎn)和身份的關(guān)系訓(xùn)練身份分類器；當(dāng)進(jìn)行人臉的在線運(yùn)行時，通過人臉檢測器在圖像數(shù)據(jù)中檢測人臉，然后通過標(biāo)記點(diǎn)擬合器擬合人臉上的標(biāo)記點(diǎn)，身份分類器根據(jù)人臉標(biāo)記點(diǎn)判斷當(dāng)前駕駛員的身份，最后給出對應(yīng)的分類置信度。

在本發(fā)明的一個具體實施例中，身份識別模塊240根據(jù)采集的語音數(shù)據(jù)，對駕駛員的身份進(jìn)行識別，包括：在先需要進(jìn)行人聲的離線訓(xùn)練，所述人聲的離線訓(xùn)練，使用語音數(shù)據(jù)庫訓(xùn)練人聲檢測器，同時訓(xùn)練語音特征向量提取模型用于從人聲中提取特征向量的聲音，采用已標(biāo)定好的語音特征向量以及身份的訓(xùn)練集訓(xùn)練身份分類器。當(dāng)進(jìn)行人聲的在線運(yùn)行時，通過人聲檢測器在輸入的聲音流中檢測人聲數(shù)據(jù)，并從人聲數(shù)據(jù)中提取語音特征向量，最后使用身份分類器從語音特征向量分辨當(dāng)前用戶的身份，并給出識別的置信度。

進(jìn)一步地，本發(fā)明實施例中，當(dāng)采集到圖像數(shù)據(jù)和語音數(shù)據(jù)時，為了根據(jù)兩種數(shù)據(jù)類型得到的識別結(jié)果進(jìn)行駕駛員的身份判定，要預(yù)先按照數(shù)據(jù)類型，進(jìn)行身份置信度閾值的設(shè)定。具體的，設(shè)定與圖像數(shù)據(jù)類型相對應(yīng)的第一身份置信度閾值以及設(shè)定與語音數(shù)據(jù)類型相對應(yīng)的第一身份置信度閾值。其中，不同數(shù)據(jù)類型下的第一情緒置信度閾值可以相同，也可以不同，具體值可根據(jù)需求靈活設(shè)定。

對此，本發(fā)明實施例中，身份判定模塊250基于得到的兩個身份識別結(jié)果，按照設(shè)定的身份判定策略，判定出駕駛員的身份，具體包括：

當(dāng)兩個身份識別結(jié)果中識別出的用戶相同且置信度分別大于等于設(shè)定的對應(yīng)數(shù)據(jù)類型的第一身份置信度閾值時，以共同識別出的用戶作為最終的用戶身份識別結(jié)果；

當(dāng)兩個身份識別結(jié)果中有一個身份識別結(jié)果中識別出的用戶的置信度大于等于設(shè)定的對應(yīng)數(shù)據(jù)類型的第二身份置信度閾值時，以用戶的置信度大于等于第二置信度身份閾值對應(yīng)的用戶，作為最終的用戶身份識別結(jié)果，其中，同一數(shù)據(jù)類型下的第一身份置信度閾值小于第二身份置信度閾值。

在本發(fā)明的又一具體實施例中，所述裝置還包括：

大數(shù)據(jù)推薦引擎模塊260，用于利用得到的駕駛員的身份，在預(yù)先建立的各用戶行為習(xí)慣模型中匹配出與該駕駛員對應(yīng)的用戶行為習(xí)慣模型，并將駕駛員的情緒信息輸入到匹配的用戶行為習(xí)慣模型中，以對駕駛員的狀態(tài)和/或行為進(jìn)行預(yù)判，并根據(jù)預(yù)判結(jié)果，主動提供與預(yù)判結(jié)果相匹配的服務(wù)。

其中，大數(shù)據(jù)推薦引擎模塊260，具體用于確定與所述預(yù)判結(jié)果相匹配的服務(wù)，向用戶發(fā)出是否需要所述服務(wù)的詢問，并在確定出用戶需要時，向用戶提供所述服務(wù)。其中，確定用戶是否需要，可通過對用戶輸入語音進(jìn)行語音識別，得到文本信息，再通過文本信息進(jìn)行語義識別來確定。

本實施例中，向用戶提供的與預(yù)判結(jié)果相匹配的服務(wù)，包括：內(nèi)容服務(wù)和/或設(shè)備狀態(tài)控制服務(wù)；所述設(shè)備狀態(tài)控制服務(wù)包括：控制所述智能語音設(shè)備和/或與所述智能語音設(shè)備連接的設(shè)備到目標(biāo)狀態(tài)。

綜上可知，本發(fā)明實施例所述裝置可分別根據(jù)圖像數(shù)據(jù)、語音數(shù)據(jù)和車輛行駛數(shù)據(jù)中的至少兩種進(jìn)行情緒識別，并根據(jù)得到的多個情緒識別結(jié)果綜合判斷駕駛員的情緒狀態(tài)，這種情緒狀態(tài)識別方式不會受單一的道路狀況、車輛狀況、面部特征和語音特征等影響，識別出的駕駛員的情緒更加符合實際的駕駛員情緒狀態(tài)，提高了情緒識別的準(zhǔn)確性及環(huán)境適應(yīng)性。

另外，本發(fā)明實施例所述裝置還可以分別根據(jù)圖像數(shù)據(jù)和語音數(shù)據(jù)進(jìn)行駕駛員的身份識別，并根據(jù)得到的兩個身份識別結(jié)果綜合判斷駕駛員的身份，提高了身份識別的準(zhǔn)確性和環(huán)境適應(yīng)性；

再者，本發(fā)明還可以根據(jù)識別的駕駛員的情緒和身份，進(jìn)行主動的服務(wù)推薦，提高了用戶的使用體驗。

本說明書中的各個實施例均采用遞進(jìn)的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點(diǎn)說明的都是其與其他實施例的不同之處。尤其對于裝置實施例而言，由于其基本相似與方法實施例，所以，描述的比較簡單，相關(guān)之處參見方法實施例的部分說明即可。

本領(lǐng)域普通技術(shù)人員可以理解上述實施例的各種方法中的全部或部分步驟是可以通過程序來指令相關(guān)的硬件來完成，該程序可以存儲于一計算機(jī)可讀存儲介質(zhì)中，存儲介質(zhì)可以包括：ROM、RAM、磁盤或光盤等。

總之，以上所述僅為本發(fā)明的較佳實施例而已，并非用于限定本發(fā)明的保護(hù)范圍。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。