一種自動跟蹤頭部姿態的智能顯示器系統的制作方法
【專利摘要】本發明涉及一種自動跟蹤頭部姿態的智能顯示器系統,該系統能夠實時捕獲人體頭部姿態,并使顯示器跟隨頭部隨動,使得顯示器始終與頭部保持最佳位置,可以緩解眼部疲勞與預防近視。該系統包括圖像采集模塊、視覺算法處理模塊及顯示器控制模塊。圖像采集模塊用于對人體頭部圖像進行實時采集;視覺算法模塊首先對圖像進行預處理,使頭部在圖像中始終保持豎直位置,然后利用ASM主動形狀模型算法提取圖像中人臉部的特征點,最后根據三角測量原理獲得頭部的空間姿態,即俯仰角度與側傾角度。頭部姿態信息傳至舵機控制模塊后,經過單片機解算后形成PWM信號控制舵機使顯示器在俯仰與側傾兩個自由度上跟隨頭部姿態。
【專利說明】一種自動跟蹤頭部姿態的智能顯示器系統【技術領域】[0001]本發明涉及一種智能顯示器系統,具體涉及一種自動跟蹤頭部姿態的智能顯示器 系統,屬于智能識別【技術領域】。【背景技術】[0002]顯示器作為計算機不可或缺的人機交互終端,在我們工作生活中隨處可見。現在 的顯示器姿態(即可視角度)僅能手動調節,不能根據使用者的頭部姿態變化而自動調整。 人眼橫向清晰的視線區域為35°,縱向清晰視線區域為20°。頭部姿態的改變,使清晰視 線區域改變;此時若顯示器姿態不變,則很難有清晰視覺且容易造成眼部疲勞。但頻繁進行 手動調節不僅麻煩,還不能保證顯示器能夠正好位于清晰視線區域內。[0003]要想實現顯示器自動跟隨頭部姿態調整,必須保證頭部姿態構建的精確度。在頭 部姿態構建過程中,人臉特征點定位是一個極其關鍵的步驟。人臉特征點定位為人臉圖像 的處理與分析提供了重要的幾何信息,計算機在一幅人臉圖像中自動地定位出人臉各個器 官的準確位置以及人臉外輪廓等。特征點定位是人臉識別技術中的不可缺少的預處理環 節,定位的準確與否直接關系到后續工作的可靠性。基于人臉圖像特征的識別通常抽取人 臉器官如眼睛、眉毛、鼻子和嘴巴等器官的位置、尺度以及彼此間的比率作為特征,進一步 地可以用幾何形狀擬合人臉器官,從而以幾何參數作為描述人臉的特征。[0004]目前依據檢測的信息類型,人臉特征點定位方法大致可分為以下6類:(1)基于 灰度信息的方法;(2)基于先驗規則的方法;(3)基于統制的方法;(4)基于小波的方法;[5]3D方法;(6)基于幾何形狀的方法。[0005]總體來說,基于先驗規則的方法準確率較低,對圖像質量要求高,受表情姿態光照 影響大,但有時也有運算量小的優勢,適合與其他方法結合進行特征點定位。基于統計模型 和小波的方法的共同優點是對圖像質量要求低,受表情姿態光照影響小,而且準確率高,對 樣本的訓練等方面也使得運算量大大提高,但該類方法是特征點定位方法的發展趨勢和方 向。3D方法是在處理視頻序列中的人臉特征點定位方法,還不太成熟,有待進一步研究。基 于幾何形狀的方法雖然也對圖像質量要求高,受表情姿態光照影響大,但準確率較高,是目 前為止該領域的主流算法。
【發明內容】
[0006]有鑒于此,本發明提供一種自動跟蹤頭部姿態的智能顯示器系統,通過該系統能 夠依據頭部姿態的變化自動改變顯示器姿態,讓其始終與頭部保持最佳位置,可以有效緩 解眼部疲勞與預防近視。[0007]所述自動跟蹤頭部姿態的智能顯示器系統包括圖像采集模塊、視覺算法處理模塊 和顯示器控制模塊;所述圖像采集模塊包括單目攝像機,顯示器控制模塊包括顯示器、舵機 控制模塊和側傾舵機。[0008]所述單目攝像機位于顯示器后上方的中間位置,單目攝像按照設定頻率采集顯示器前方使用者的頭部圖像,并將采集到的圖像實時發送給視覺算法處理模塊。所述視覺算法處理模塊對接收到的頭部圖像數進行畸變校正,得到校正后的單目圖像。所述視覺算法處理模塊對校正后的單目圖像進行人臉識別并提取臉部特征點,所述單目圖像中的臉部特征點為左眼特征點和右眼特征點。[0009]所述視覺算法處理模塊中建立有圖像坐標系o' -X' ;所述圖像坐標系以單目攝像機成像平面左上角的像素為原點,水平方向為X軸,豎直方向為y軸;由此所述左眼特征點在圖像坐標系V -X, r下的坐標為(X' a,y' a),右眼特征點在圖像坐標系
O' -X' y'下的坐標為(X' b,y' b);則當前頭部側傾角Θ為:
【權利要求】
1.一種自動跟蹤頭部姿態的智能顯示器系統,其特征在于,包括圖像采集模塊、視覺算法處理模塊和顯示器控制模塊;所述圖像采集模塊包括單目攝像機,顯示器控制模塊包括顯示器、舵機控制模塊和側傾舵機;所述單目攝像機位于顯示器后上方的中間位置,單目攝像按照設定頻率采集顯示器前方使用者的頭部圖像,并將采集到的圖像實時發送給視覺算法處理模塊;所述視覺算法處理模塊對接收到的頭部圖像數進行畸變校正,得到校正后的單目圖像;所述視覺算法處理模塊對校正后的單目圖像進行人臉識別并提取臉部特征點,所述單目圖像中的臉部特征點為左眼特征點和右眼特征點;所述視覺算法處理模塊中建立有圖像坐標系O' -X' Y';所述圖像坐標系以單目攝像機成像平面左上角的像素為原點,水平方向為X軸,豎直方向為y軸;由此所述左眼特征點在圖像坐標系V -X , y'下的坐標為(X' a,y' a),右眼特征點在圖像坐標系P tO' -X' I'下的坐標為(X' b,y' b);則當前頭部側傾角
2.如權利要求1所述的自動跟蹤頭部姿態的智能顯示器系統,其特征在于,所述圖像采集模塊中還包括由相同型號的左目攝像機和右目攝像形成的雙目攝像機對,所述顯示器控制模塊中還包括俯仰舵機;所述左目攝像機和右目攝像機位于單目攝像機下方的左右兩邊,三個攝像機呈“品”字形擺放;所述左目攝像機和右目攝像機的光軸平行,左目攝像機和右目攝像機同時按照設定的頻率采集顯示器前方使用者的頭部圖像,并將同一時刻采集的兩幅圖像實時發送給視覺算法處理模塊;所述視覺算法處理模塊對同時接收到的兩幅圖像進行畸變校正,得到校正后的雙目圖像對,分別為校正后的左目圖像和校正后的右目圖像;所述視覺算法處理模塊對校正后的雙目圖像對分別進行人臉識別并分別提取臉部特征點,所述雙目圖像對中的臉部特征點為左眼特征點、右眼特征點和嘴部中點;所述視覺算法處理模塊中建立有左目攝像機的圖像坐標系O1-Xiy1、右目攝像機的圖像坐標系Or-X1Jr及三維空間立體坐標系Ο-XyZ ;其中所述圖像坐標系OfXA、圖像坐標系的建立方法與圖像坐標系V -Xi I'的建立方法相同;所述三維空間立體坐標系0-xyz以左目攝像機的投影中心為原點,xyz三坐標軸成右手坐標系,且z軸為雙目攝像機對的主光軸方向;選取校正后的左目圖像或右目圖像中的一幅,以其三個特征點為基準進行俯仰角的計算:以選取校正后的左目圖像為例,在三維空間立體坐標系o-xyz下,所述校正后的左目圖像中左眼特征點的坐標為
3.如權利要求1所述的自動跟蹤頭部姿態的智能顯示器系統,其特征在于,當第i次檢測后經視覺算法處理模塊處理得到的實際側傾角91在[-5°,+5° ]之間時,將實際側傾角發送給舵機控制模塊,并將當前狀態作為初始狀態,令Θ ^0,然后進入以下工作循環,直至再次出現實際側傾角在[-5°,+5° ]之間的情況;(a)若視覺算法處理模塊計算得到的側傾角0」在[-15°,-5°) U (+5°,+15° ]范圍內時,令當前實際側傾角,并將實際側傾角0s發送給舵機控制模塊,然后進入步驟(b);若視覺算法處理模塊無法完成人臉識別,則向舵機控制模塊發送等待指令,側傾舵機不動作,顯示器保持當前姿態不變,然后進入步驟(C);若視覺算法處理模塊計算得到的側傾角9」在[-5°,+5° ]之間,則令當前實際側傾角Qs=Qfetl,并將實際側傾角0s發送給舵機控制模塊,然后進入步驟(c);(b)令初始側傾角Θ0= Θ J+ Θ ^,視覺算法處理模塊將下次接收到的頭部圖像側傾-Θ j, 然后進行人臉識別、特征點的提取及側傾角的計算;(C)視覺算法處理模塊對接收到的頭部圖像直接進行人臉識別、特征點的提取及側傾角的計算。
4.根據權利要求1或2所述的自動跟蹤頭部姿態的智能顯示器系統,其特征在于,所述單目攝像機和雙目攝像機對的俯仰角和高度均可調節。
【文檔編號】G05D3/00GK103558910SQ201310487330
【公開日】2014年2月5日 申請日期:2013年10月17日 優先權日:2013年10月17日
【發明者】付夢印, 陳堯, 宋文杰, 陳芃潤, 唐弘毅 申請人:北京理工大學