一種表情識別應用于顯示器的方法及系統的制作方法
【技術領域】
[0001]本發明屬于生物識別技術領域，特別設計一種表情識別在顯示器的應用。
【背景技術】
[0002]隨著人工智能技術、生物識別技術和計算機技術及其相關領域的迅速發展，自動化技術在社會發展中擔負著越來越重要的角色，人們對于擬人化交流的人機交互的需求日益增長。機器如果能夠像人類一樣，具有像人類一樣的理解情感的能力，將從根本上改變人與機器之間的關系，讓機器更好的為人類服務。表情識別是情感理解的基礎，是機器理解人類情感的前提，也是人類探索機器智能化的有效途徑。如果實現機器理解人類情感，這將對未來人機交互領域產生重大的意義。
[0003]現在的智能電視/顯示器，大多是增加聯網功能、手勢控制等，這些都需要人類去操作，只有人類發出了指令，機器才會做出相應，并不是真正的智能化。
【發明內容】
[0004]有鑒于此，本發明提出一種表情識別應用于顯示器的系統和方法，顯示器能根據觀眾的表情變化做出關機、靜音、調節音量判斷。
[0005]本發明采用以下技術方案實現:一種表情識別應用于顯示器的方法，其特征在于:包括以下步驟:步驟SOl:通過一圖像采集裝置采集觀眾的人臉圖像；步驟S02:對采集的人臉圖像的人臉數進行分析并編號定位；步驟S03:通過選取每個人臉的表情特征點計算每個人臉的特征，所述人臉表情特征點包括人臉圖像中左側眼眶上下左右四個頂點，右眼眼眶上下左右四個頂點，以及嘴唇輪廓上下左右四個頂點，左右耳耳垂兩個點；步驟S04:分析每個人臉表情的可能類型；步驟S05:記錄每個人臉表情的可能類型并保存一段時間，通過記錄的人臉表情的可能類型分析出人臉表情類型；步驟S06:根據這段時間每個人臉的表情類型的動態情況，顯示器做出響應。
[0006]在本發明一實施例中，步驟S04包括以下具體步驟:若人臉圖像上雙眼眼眶的上下特征點重合判斷為似睡眠狀態；若表情特征點正對顯示器則判斷為似觀看狀態；若表情特征點不正對顯示器則判斷似交談狀態；若左耳或右耳耳垂點被覆蓋則判斷為似通話狀
??τ O
[0007]在本發明一實施例中，步驟S05包括以下具體步驟:檢測到似睡眠狀態持續5秒以上，則判斷為睡眠狀態；檢測到在似觀看狀態期間沒有進入睡眠狀態則判斷為觀看狀態；檢測到似交談狀態持續10秒以上，則判斷為交談狀態；檢測到有人臉從左右耳耳垂點均未被覆蓋變為似通話狀態并持續5秒以上，則判斷為通話狀態。
[0008]在本發明一實施例中，步驟S06包括以下具體步驟:在300秒內檢測不到人臉或檢測到每張人臉都處于睡眠狀態60秒以上，顯示器關機；在30秒內檢測到有一張人臉處于睡眠狀態，顯示器靜音；在20秒內檢測到一半及一半以上的人臉處于交談狀態或有一張人臉處于通話狀態，顯示器將音量調小為原來音量的百分30 ;檢測到由交談狀態或通話狀態更改為觀看狀態，顯示器調大音量至觀眾設定值。
[0009]本發明還提供一種表情識別應用于顯示器的系統，其特征在于:包括圖像采集裝置、表情識別模塊及表情信號處理響應模塊；由所述圖像采集裝置獲取觀眾臉部表情，并將采集到的臉部表情傳送至表情識別模塊；所述表情識別模塊經對采集到的臉部表情進行分析，并將分析結果傳送至表情信號處理響應模塊；所述表情信號處理模塊記錄保存人臉表情信息一段時間，并分析該段時間的表情，顯示器根據分析結果做出關機、靜音、調節音量的判斷。
[0010]在本發明一實施例中，所述圖像采集裝置為顯示器前置或外置攝像頭。
[0011]與現有技術相比，本發明提供的技術方案將表情識別應用于顯示器中，顯示器根據觀眾的表情變化來做出反應，真正實現顯示器的智能化。本發明選取14個表情特征點能夠高度還原觀眾表情變化。
【附圖說明】
[0012]圖1是本發明的原理框圖。
[0013]圖2是本發明的特征點選取圖。
【具體實施方式】
[0014]下面結合附圖和具體實施例對本發明做進一步說明。
[0015]本發明一種表情識別應用于顯示器的方法，其特征在于:包括以下步驟:步驟SOl:通過一圖像采集裝置采集觀眾的人臉圖像；步驟S02:對采集的人臉圖像的人臉數進行分析并編號定位；步驟S03:通過選取每個人臉的表情特征點計算每個人臉的特征，所述人臉表情特征點包括人臉圖像中左側眼眶上下左右四個頂點，右眼眼眶上下左右四個頂點，以及嘴唇輪廓上下左右四個頂點，左右耳耳垂兩個點；步驟S04:分析每個人臉表情的可能類型；步驟S05:記錄每個人臉表情的可能類型并保存一段時間，通過記錄的人臉表情的可能類型分析出人臉表情類型；步驟S06:根據這段時間每個人臉的表情類型的動態情況，顯示器做出響應。其原理框圖參見圖1。本發明的表情特征點的選取點參見圖2。本發明一共選取了 14個表情特征點，能夠根據這14個表情特征點的分析即可準確地得到觀眾的表情變化。
[0016]在本發明一實施例中，步驟S04包括以下具體步驟:若人臉圖像上雙眼眼眶的上下特征點重合判斷為似睡眠狀態；若表情特征點正對顯示器則判斷為似觀看狀態；若表情特征點不正對顯示器則判斷似交談狀態；若左耳或右耳耳垂點被覆蓋則判斷為似通話狀
??τ O
[0017]其中，不正對顯示器的判斷標準為圖像采集裝置采集到的h點的位置偏離頭部右側邊緣達50%頭部寬度以上或a點的位置偏離頭部左邊邊緣達50%頭部寬度以上；正對顯示器的判斷標準為非不正對即判斷為正對。
[0018]在本發明一實施例中，步驟S05包括以下具體步驟:檢測到似睡眠狀態持續5秒以上，則判斷為睡眠狀態；檢測到在似觀看狀態期間沒有進入睡眠狀態則判斷為觀看狀態；檢測到似交談狀態持續10秒以上，則判斷為交談狀態；檢測到有人臉從左右耳耳垂點均未被覆蓋變為似通話狀態并持續5秒以上，則判斷為通話狀態。
[0019]在本發明一實施例中，步驟S06包括以下具體步驟:在300秒內檢測不到人臉或檢測到每張人臉都處于睡眠狀態60秒以上，顯示器關機；在30秒內檢測到有一張人臉處于睡眠狀態，顯示器靜音；在20秒內檢測到一半及一半以上的人臉處于交談狀態或有一張人臉處于通話狀態，顯示器將音量調小為原來音量的百分30 ;檢測到由交談狀態或通話狀態更改為觀看狀態，顯示器調大音量至觀眾設定值。
[0020]本發明還提供一種表情識別應用于顯示器的系統，其特征在于:包括圖像采集裝置、表情識別模塊及表情信號處理響應模塊；由所述圖像采集裝置獲取觀眾臉部表情，并將采集到的臉部表情傳送至表情識別模塊；所述表情識別模塊經對采集到的臉部表情進行分析，并將分析結果傳送至表情信號處理響應模塊；所述表情信號處理模塊記錄保存人臉表情信息一段時間，并分析該段時間的表情，顯示器根據分析結果做出關機、靜音、調節音量的判斷。
[0021 ] 較佳的，所述圖像采集裝置為顯示器前置或外置攝像頭。
[0022]本領域技術人員可以在不違背本發明的原理和實質的前提下對本具體實施例做出各種修改或補充或者采用類似的方式替代，但是這些改動均落入本發明的保護范圍。因此本發明技術范圍不局限于上述實施例。
【主權項】
1.一種表情識別應用于顯示器的方法，其特征在于:包括以下步驟: 步驟SOl:通過一圖像采集裝置采集觀眾的人臉圖像； 步驟S02:對采集的人臉圖像的人臉數進行分析并編號定位； 步驟S03:通過選取每個人臉的表情特征點計算每個人臉的特征，所述人臉表情特征點包括人臉圖像中左側眼眶上下左右四個頂點，右眼眼眶上下左右四個頂點，以及嘴唇輪廓上下左右四個頂點，左右耳耳垂兩個點； 步驟S04:分析每個人臉表情的可能類型； 步驟S05:記錄每個人臉表情的可能類型并保存一段時間，通過記錄的人臉表情的可能類型分析出人臉表情類型； 步驟S06:根據這段時間每個人臉的表情類型的動態情況，顯示器做出響應。
2.根據權利要求1所述的表情識別應用于顯示器的方法，其特征在于:步驟S04包括以下具體步驟:若人臉圖像上雙眼眼眶的上下特征點重合判斷為似睡眠狀態；若表情特征點正對顯示器則判斷為似觀看狀態；若表情特征點不正對顯示器則判斷似交談狀態；若左耳或右耳耳垂點被覆蓋則判斷為似通話狀態。
3.根據權利要求1所述的表情識別應用于顯示器的方法，其特征在于:步驟S05包括以下具體步驟:檢測到似睡眠狀態持續5秒以上，則判斷為睡眠狀態；檢測到在似觀看狀態期間沒有進入睡眠狀態則判斷為觀看狀態；檢測到似交談狀態持續10秒以上，則判斷為交談狀態；檢測到有人臉從左右耳耳垂點均未被覆蓋變為似通話狀態并持續5秒以上，則判斷為通話狀態。
4.根據權利要求1所述的表情識別應用于顯示器的方法，其特征在于:步驟S06包括以下具體步驟:在300秒內檢測不到人臉或檢測到每張人臉都處于睡眠狀態60秒以上，顯示器關機；在30秒內檢測到有一張人臉處于睡眠狀態，顯示器靜音；在20秒內檢測到一半及一半以上的人臉處于交談狀態或有一張人臉處于通話狀態，顯示器將音量調小為原來音量的百分30 ;檢測到由交談狀態或通話狀態更改為觀看狀態，顯示器調大音量至觀眾設定值。
5.一種表情識別應用于顯示器的系統，其特征在于:包括圖像采集裝置、表情識別模塊及表情信號處理響應模塊；由所述圖像采集裝置獲取觀眾臉部表情，并將采集到的臉部表情傳送至表情識別模塊；所述表情識別模塊經對采集到的臉部表情進行分析，并將分析結果傳送至表情信號處理響應模塊；所述表情信號處理模塊記錄保存人臉表情信息一段時間，并分析該段時間的表情，顯示器根據分析結果做出關機、靜音、調節音量的判斷。
6.根據權利要求5所述的表情識別應用于顯示器的系統，其特征在于:所述圖像采集裝置為顯示器前置或外置攝像頭。
【專利摘要】本發明提供一種表情識別應用于顯示器的方法及系統，該系統包括圖像采集裝置、表情識別模塊及表情信號處理響應模塊；由所述圖像采集裝置獲取觀眾臉部表情，并將采集到的臉部表情傳送至表情識別模塊；所述表情識別模塊經對采集到的臉部表情進行分析，并將分析結果傳送至表情信號處理響應模塊；所述表情信號處理模塊記錄保存人臉表情信息一段時間，并分析該段時間的表情，做出關機、靜音、調節音量的判斷。該系統及方法有利于提高人機交互體驗，使顯示器更加智能化。
【IPC分類】G06K9-00, G06F3-01
【公開號】CN104777910
【申請號】CN201510193899
【發明人】姚劍敏, 郭太良, 林志賢, 林金堂, 郭明勇
【申請人】福州大學
【公開日】2015年7月15日
【申請日】2015年4月23日