一種基于人臉識別與手勢交互的電視娛樂系統的制作方法

本發明屬于計算機視覺與人機交互技術領域，具體涉及一種基于人臉識別與手勢交互的電視娛樂系統。

背景技術：

家庭娛樂關注的主要是客廳終端所承載的一系列信息交互和視聽服務智能系統。重新定位客廳，讓客廳數字化是促進家庭娛樂、家庭溝通的重點。

家庭用戶與數字化產品具有一切操作流程不順、信息內容繁雜等問題。為了使人與家庭娛樂產品的交流更加輕松，應該充分調用人本身的各個感覺信息通道，如語音、手勢、肢體動作等。

如今很多家庭消費愿意投入在諸如運動休閑、兒童教育、購物美容、陶冶情操等方面。家庭普遍認為這些消費有必要和有價值，愿意投入。這促進了對家庭娛樂產品的需求，也大大促進了相關產業的發展。

但當前的家庭娛樂產品存在一些問題。第一，娛樂產品沒有良好的標識現代家庭用戶群；第二，家庭娛樂產品互動性差；第三，家庭娛樂產品信息過載，感興趣的信息難以提取；第四，隨著用戶需求的不斷提升，傳統的遙控方案存在按鍵多操作復雜等影響用戶交互的弊端，用戶也越來越不滿足于這一傳統的交互方式。

技術實現要素：

為了克服現有技術存在的上述不足，本發提出一種基于人臉識別與手勢交互的電視娛樂系統與方法，以增加用戶體驗。

本發明至少通過如下技術方案之一實現。

一種基于人臉識別與手勢交互的電視娛樂系統，包括圖像采集模塊、手勢交互模塊、指令控制模塊、人臉識別模塊、個性化推薦模塊、界面系統，其中，

圖像采集模塊，捕獲用戶在操作時做出的肢體動作信息，并將所述肢體動作信息轉化成動態圖像序列；

手勢交互模塊，首先對圖像采集模塊獲得的圖像進行預處理，分屏搜索和識別用戶手勢，一旦識別到控制手勢便進入手勢控制模式，結合背景建模排除相關類膚色影響，對手勢進行膚色自適應跟蹤；

人臉識別模塊，在用戶初始使用時，通過網絡通信將人臉數據傳送至后臺服務器，調用人臉識別算法，判定用戶身份，判定結果用于個性化推薦模塊中確定相應的用戶身份；

指令控制模塊，將手勢交互結果轉化為控制指令，結合界面系統，為用戶提供趨勢控制、手勢鼠標的自然手勢交互服務；

個性化推薦模塊，利用臉識別模塊中的人臉識別結果，確定用戶身份，調用推薦算法，推薦用戶可能感興趣內容，做到一對一的個性化推薦；

界面系統，主要提供內容展示、消息提示及用戶交互可視化過程，作為用戶操作的直接入口；

指令控制模塊還進一步從界面系統中采集用戶行為數據，為個性化推薦模塊提供依據。

進一步地，所述系統采用 CS架構，包括客戶端與服務端，客戶端與服務端通過網絡進行數據的交換；

圖像采集模塊、手勢交互模塊、指令控制模塊、界面系統在物理上集成為客戶端；人臉識別模塊、個性化推薦模塊在物理上集成為服務端，通過網絡向客戶端提供內容信息、人臉識別結果、個性化推薦結果。

進一步地，所述系統客戶端平臺為嵌入式移動平臺或者計算機平臺，服務端平臺為計算機平臺。

進一步地，所述圖像采集模塊為可拆卸安裝模塊，由用戶個人安裝在適當位置。

進一步地，所述手勢交互模塊搜索用戶手勢信息為分屏方式，對于每個圖像幀，只對圖像的一部分進行搜索，在下一圖像幀中則搜索另一部分，如此反復。

進一步地，所述人臉識別模塊的功能包括：依托于手勢交互模塊提供手勢位置，進而確定用戶人臉位置；截取用戶人臉圖像，通過網絡與服務端數據庫存在人臉信息做配對，獲取用戶身份；

截取用戶人臉圖像，通過網絡傳至服務端，對陌生人臉進行注冊，將陌生人臉信息存進數據庫，用于確定陌生人身份；所述個性化推薦模塊根據獲取的用戶身份，讀取該用戶在數據庫中的個性化推薦內容，通過網絡傳至界面系統，呈現給用戶。

進一步地，所述人臉位置的確定包括：在圖像中確定的所有人臉位置中，選取距離手勢位置最近的人臉位置；所述對陌生人臉進行注冊時，截取用戶頭像，作為用戶身份的憑證；在確定用戶身份后的所有操作，指令控制模塊會將用戶的行為記錄下來并傳至服務端數據庫。

進一步地，個性化模塊每天定時為所有注冊用戶生成推薦內容，存儲在數據庫中。

進一步地，手勢交互模塊的工作包括：

手勢交互模塊識別五指張開手勢，系統進入控制模式；

手勢交互模塊識別手勢運動軌跡，并跟蹤其軌跡，實時反應在對應的指針元素圖像信號；

手勢交互模塊識別握拳手勢，指令控制模塊轉換控制指令，做出點擊操作；

手勢交互模塊識別揮手手勢，指令控制模塊轉換控制指令，向左邊揮手做出頁面下翻操作，向右邊揮手做出頁面上翻操作；

手勢交互模塊識別搖手手勢，指令控制模塊轉換控制指令，做出返回操作；

手勢交互模塊識別雙掌運動手勢，識別到用戶兩個手掌，并反向移動，指令控制模塊轉換控制指令，做出放大操作，相向移動，指令控制模塊轉換控制指令，做出縮小操作。

與現有技術相比，本發明具有如下優點和技術效果：

從上述技術方案可以看出，在通過對家庭娛樂的現狀進行分析之后，根據家庭娛樂存在的問題，提出兩個重要特點——人機交互與內容推薦。

系統引入手勢操控，代替現有的遙控器與鼠標，提出一種在家庭娛樂中，自然的人機交 互方式。

系統創新性的在家庭娛樂中加入人臉識別功能， 通過識別家庭中使用者人臉，確定單一個體身份，可以實現一對一的個性化推薦，解決家庭娛樂產品中定位用戶群混亂，目標人物模糊不清的情況。

最后，系統在提高家庭娛樂中操作舒適度與娛樂獨特性的同時，相比國內外家庭娛樂產品，降低了使用成本；只需一個普通 2D 攝像頭，接上互聯網，即可享受優質交互娛樂服務。

本發明一種基于人臉識別與手勢交互的電視娛樂系統不限制表現形式，可以是作為計算機應用軟件、電視機頂盒系統、電視內部系統等。

附圖說明

圖1為一種基于人臉識別與手勢交互的電視娛樂系統結構示意圖；

圖2為一種基于人臉識別與手勢交互的電視娛樂系統手勢交互算法流程圖；

圖3為一種基于人臉識別與手勢交互的電視娛樂系統人臉識別算法流程圖；

圖4為一種基于人臉識別與手勢交互的電視娛樂系統推薦算法框架圖。

圖5為一種基于人臉識別與手勢交互的電視娛樂系統推薦算法流程圖。

具體實施方式

為使本領域技術人員更好地理解本發明的技術方案，下面結合附圖和具體實施方式對本發明的具體實施作進一步詳細描述，需指出的是，以下若有未特別詳細說明之處，均是本領域技術人員可參照現有技術實現的。

如圖1所示，該系統包括圖像采集模塊101、手勢交互模塊102、人臉識別模塊103和個性化推薦模塊104，其中：

圖像采集模塊101，捕獲用戶在操作本系統時做出的肢體動作信息，并將所述肢體動作信息轉化成動態圖像序列；

手勢交互模塊102，首先對圖像采用平滑濾波、直方圖均衡等圖像預處理方法對上述圖像序列進行預處理，主要通過已有的先驗條件結合采集完整部分圖像來填補或濾除失真的噪聲部分，分屏搜索和識別用戶手勢，一旦識別控制手勢便進入手勢控制模式，結合背景建模排除相關類膚色影響，對手勢進行膚色自適應跟蹤；

上述手勢交互模塊102采用AdaBoost學習算法，具體為根據事先計算出的手勢樣本特征，再進行分類器訓練，從而得出識別結果。

具體手勢檢測和跟蹤算法流程圖如圖2所示。

（1）對固定手型位置的檢測，實現對手勢初步定位、獲取手勢的信息和相關初始化，為后面的跟蹤與其他手勢提供足夠的信息。

（2）由檢測時提供的初始信息，結合運動信息和膚色信息并排除類膚色背景對手勢跟蹤的影響對視頻序列中的人手逐幀進行跟蹤，獲得人手所在的位置信息。

（3）對步驟（2）中獲得的人手位置信息，獲取感興趣區域，使用固定手型檢測同樣的方 法進行握拳檢測，判斷用戶是否有點擊行為，并實現點擊功能。

（4）結合運動信息和膚色信息評價跟蹤所得的人手位置信息，判斷目標是否跟蹤錯誤。人臉識別模塊，在用戶初始使用時，通過網絡通信將人臉數據傳送至后臺服務器，調用人臉識別算法，判定用戶身份，為推薦模塊奠定基礎；

（5）在界面系統中，在步驟（1）的基礎上，通過判斷人手運動的軌跡方向，來判斷是否為搖手手勢及揮手手勢，從而觸發返回及頁面上翻下翻功能；

（6）在特定的界面系統中，在步驟（1）的基礎上，檢測左手手勢，并判斷雙手的運動軌跡方向，來判斷是否觸發放大縮小功能。

人臉識別模塊103，在用戶初始使用時，通過網絡通信將人臉數據傳送至后臺服務器，調用人臉識別算法，判定用戶身份，為推薦模塊奠定基礎；

上述人臉識別模塊103采用深度神經網絡CNN改進算法——CNN-SVM混合模型； CNN 作為自學習的特征提取器，從未經處理的原始圖像中提取特征，SVM分類器識別然后輸出預測結果；

具體人臉識別算法流程圖如圖3所示。

（1）首先，輸入層是歸一化和人臉對齊后的輸入圖像。原始CNN的輸出層在多次交叉驗證后直到訓練過程收斂；

（2）然后，使用RBF核的SVM代替了原來的最后全連接層。將倒數第二層的CNN特征表達隱層的輸出作為SVM分類器的輸入；

（3）訓練好SVM分類器后，則在SVM實現識別任務，對CNN自動抽取的特征做出分類決策。

個性化推薦模塊104，以人臉識別模塊中人臉識別為基石，確定用戶身份，調用推薦算法，推薦用戶可能感興趣內容，做到一對一的個性化推薦；

具體推薦算法框架圖如圖4所示。

（1）判斷當前數據庫用戶數目，若小于10，則啟動冷啟動處理方法，通過推薦一些熱門相關內容給用戶；若大于10，則做下一步判別；

（2）當用戶過往的行為數據不超過10條時，認為該用戶為新用戶，則根據該用戶過 往的行為數據，推薦與其相關的熱門內容，這一步融合了非個性化推與個性化推薦，可以達到較佳的效果；

（3）對步驟（2）中用戶的行為數據如果超過設定條數如10條，認為該用戶具備有個性化推薦的條件，此時啟動個性化推薦，這里使用多個推薦算法相融合的方法， 推薦過程如圖5所示。這里分別使用三種推薦算法做用戶-對象（User-Item）的推薦評分，并將評分歸一化到0~1之間，最后做加權融合，得到最后的推薦評分；三種推薦算法可以采用基于用戶的協同過濾算法（user-based collaboratIve filtering）、基于Item的協同過濾算法（item-based collaborative filtering）、PersonalRank算法。

最后根據得到的用戶-對象的推薦評分，選取評分TopN的對象，推薦給相應的用戶，寫入相應的推薦數據庫表。