專利名稱：一種嬰幼兒主動(dòng)跟蹤監(jiān)護(hù)的方法及其實(shí)現(xiàn)系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像信息處理領(lǐng)域，特別涉及一種家用嬰幼兒主動(dòng)跟蹤監(jiān)護(hù)的方法及
其嵌入式硬件實(shí)現(xiàn)系統(tǒng)。
背景技術(shù)：
智能視頻處理技術(shù)目前在監(jiān)控領(lǐng)域的應(yīng)用正在不斷擴(kuò)展，現(xiàn)有的針對(duì)家居環(huán)境中 嬰幼兒的視頻監(jiān)護(hù)系統(tǒng)，一般都是使用攝像頭通過PC機(jī)連接到網(wǎng)絡(luò)，或者以獨(dú)立的網(wǎng)絡(luò)攝 像機(jī)的方式直接連接到網(wǎng)絡(luò)。這些設(shè)備一般都具有動(dòng)靜檢測(cè)等檢測(cè)功能。雖然有的帶有云 臺(tái)，能夠通過預(yù)先預(yù)置點(diǎn)或者用戶在客戶端(如瀏覽器)手工控制云臺(tái)向移動(dòng)中的嬰幼兒 轉(zhuǎn)動(dòng)。但是現(xiàn)有的此類家用監(jiān)護(hù)系統(tǒng)在實(shí)際運(yùn)用中有以下的缺點(diǎn)用戶不可能長(zhǎng)時(shí)間在客 戶端對(duì)嬰幼兒進(jìn)行監(jiān)看，而且攝像頭只能在固定視角的場(chǎng)所對(duì)嬰幼兒進(jìn)行監(jiān)護(hù)，因此不能 夠自動(dòng)對(duì)家庭中的移動(dòng)中的嬰幼兒進(jìn)行實(shí)時(shí)跟蹤拍攝，無法達(dá)到智能看護(hù)和報(bào)警目的。
現(xiàn)有工業(yè)級(jí)別的監(jiān)控系統(tǒng)，例如公開文獻(xiàn)號(hào)為CN1658570A的中國(guó)發(fā)明專利(主題 為《具有多攝像機(jī)的智能跟蹤監(jiān)控系統(tǒng)》)主要利用一個(gè)主攝像機(jī)獲取全局場(chǎng)景信息，進(jìn)行 目標(biāo)檢測(cè)和跟蹤算法，然后利用得到目標(biāo)的信息驅(qū)動(dòng)從攝像機(jī)進(jìn)行轉(zhuǎn)動(dòng)實(shí)現(xiàn)對(duì)目標(biāo)的跟蹤 和細(xì)節(jié)顯示。但在面向家庭應(yīng)用背景下，如果使用主從攝像機(jī)來對(duì)嬰幼兒監(jiān)控，需要在家中 安裝兩臺(tái)攝像機(jī)和一個(gè)云臺(tái)，這會(huì)造成監(jiān)控布防的難度加大，且且也大大增加了成本，不經(jīng) 濟(jì)也不適用。 而現(xiàn)有的面向家庭應(yīng)用的監(jiān)控系統(tǒng)，如公開文獻(xiàn)號(hào)為CN201262766Y的實(shí)用新型 專利(主題為《多功能智能家用監(jiān)控系統(tǒng)》)利用人體紅外傳感器感知是否有人進(jìn)入，當(dāng)有 人進(jìn)入時(shí)，智能預(yù)警終端驅(qū)動(dòng)攝像頭進(jìn)行錄像。但其攝像頭并沒有加載云臺(tái)導(dǎo)致其不能多 角度轉(zhuǎn)動(dòng)，而且也不具備自動(dòng)在場(chǎng)景中識(shí)別和選取嬰幼兒并對(duì)其進(jìn)行跟蹤的功能。
發(fā)明內(nèi)容
鑒于上述技術(shù)問題，為使得用戶通過監(jiān)控系統(tǒng)實(shí)時(shí)跟蹤家庭中不具備自我保護(hù)意 識(shí)的嬰幼兒的安全狀況，做到對(duì)其的及時(shí)防范和監(jiān)護(hù)，本發(fā)明首要目的是提供一種利用監(jiān) 控系統(tǒng)實(shí)現(xiàn)主動(dòng)跟蹤嬰幼兒的監(jiān)護(hù)方法。該發(fā)明方法可應(yīng)用于家庭環(huán)境中對(duì)不具備自我 保護(hù)意識(shí)嬰幼兒目標(biāo)的主動(dòng)跟蹤和監(jiān)控，提高現(xiàn)有家庭視頻監(jiān)護(hù)系統(tǒng)的針對(duì)性和自動(dòng)化能 力，幫助父母做到對(duì)嬰幼兒意外情況的及時(shí)防范和安全狀況監(jiān)護(hù)。 上述發(fā)明方法的技術(shù)方案為在模擬視頻信號(hào)采集并A/D轉(zhuǎn)換后，對(duì)該視頻信號(hào) 進(jìn)行算法處理通過連續(xù)三幀幀差法提取出運(yùn)動(dòng)區(qū)域，再采用膚色檢測(cè)模型過濾掉運(yùn)動(dòng)區(qū) 域中的非人臉區(qū)域，并在縮小的候選區(qū)域中使用AdaBoost算法進(jìn)行人臉檢測(cè)；對(duì)檢測(cè)到的 人臉使用主動(dòng)形狀模型進(jìn)行匹配，提取出待檢測(cè)人臉的輪廓，并求出該輪廓里面眼睛中心 連線中間點(diǎn)到下巴輪廓幾何中心的距離d和鼻子輪廓包圍區(qū)域的面積s，并利用線性分辨 分析方法找出能區(qū)分嬰幼兒臉和非嬰幼兒臉的最佳投影方向w。將d和s在w方向上進(jìn)行 投影，并根據(jù)投影后的點(diǎn)到兩個(gè)類中心連線的距離來判斷待檢測(cè)目標(biāo)是否嬰幼兒，如果目標(biāo)為嬰幼兒，則將其作為跟蹤對(duì)象；上述算法處理結(jié)束后，再利用PID算法和派爾高D協(xié)議， 控制云臺(tái)上下左右轉(zhuǎn)動(dòng)，從而自動(dòng)實(shí)現(xiàn)對(duì)嬰幼兒的主動(dòng)實(shí)時(shí)跟蹤監(jiān)護(hù)，大大增強(qiáng)現(xiàn)有家居 視頻監(jiān)護(hù)系統(tǒng)的主動(dòng)性和實(shí)用性。 此外，根據(jù)上述方法，本發(fā)明還提出了一種運(yùn)用以上方法的嵌入式主動(dòng)跟蹤嬰幼
兒的硬件實(shí)現(xiàn)系統(tǒng)。該系統(tǒng)通過視頻采集、AD轉(zhuǎn)換、FVID接口和云臺(tái)控制等模塊實(shí)現(xiàn)了對(duì)
家庭環(huán)境中嬰幼兒的自動(dòng)檢測(cè)、定位和跟蹤。該系統(tǒng)的具體結(jié)構(gòu)如下，包括 —用來對(duì)視頻輸入信號(hào)進(jìn)行包括三幀差法、膚色分割、人臉檢測(cè)、統(tǒng)計(jì)形狀模型匹
配、嬰幼兒目標(biāo)識(shí)別以及PID控制這些算法處理的主控處理單元，該處理單元根據(jù)算法處
理后的結(jié)果對(duì)云臺(tái)發(fā)送動(dòng)作指令從而調(diào)整監(jiān)控視角，同時(shí)將處理后的帶有標(biāo)有被監(jiān)控物體
標(biāo)注的視頻信號(hào)通過顯示裝置實(shí)時(shí)顯示或通過輸出接口輸出； —與AD轉(zhuǎn)換模塊相連接用來拍攝并生成家庭場(chǎng)景的模擬視頻信號(hào)的CMOS攝像模 塊； —將CMOS攝像模塊的模擬視頻信號(hào)轉(zhuǎn)化為數(shù)字信號(hào)同時(shí)傳送給主控處理單元的 AD轉(zhuǎn)換模塊； —通過連接主控處理單元存放系統(tǒng)運(yùn)行時(shí)的代碼和臨時(shí)視頻數(shù)據(jù)的隨機(jī)存取存 儲(chǔ)模塊； —通過連接主控處理單元保存系統(tǒng)啟動(dòng)代碼和系統(tǒng)程序代碼的只讀存儲(chǔ)模塊；
—安置有CMOS攝像模塊，根據(jù)主控處理單元發(fā)送的動(dòng)作指令調(diào)節(jié)攝像視圖和視 角對(duì)目標(biāo)物體進(jìn)行實(shí)時(shí)跟蹤的云臺(tái)。 上述方案中，所述主控處理單元(DM6437)包括視頻接口模塊(CCDC控制器)、EMIF 接口模塊、算法處理模塊、在線視頻顯示模塊(0SD)、視頻編碼模塊(VENC)和至少一個(gè)以 上DAC接口 ；所述視頻接口模塊與AD轉(zhuǎn)換模塊連接，接收由AD轉(zhuǎn)換模塊處理后的數(shù)字視 頻信號(hào)；所述算法處理模塊根據(jù)接收到的數(shù)字視頻信號(hào)，通過連續(xù)三幀幀差法提取出運(yùn)動(dòng) 區(qū)域，再采用膚色檢測(cè)模型過濾掉運(yùn)動(dòng)區(qū)域中的非人臉區(qū)域，并在縮小的候選區(qū)域中使用 AdaBoost算法進(jìn)行人臉檢測(cè)；對(duì)檢測(cè)到的人臉使用主動(dòng)形狀模型進(jìn)行匹配，提取出待檢測(cè) 人臉的輪廓，并求出該輪廓里面眼睛中心連線中間點(diǎn)到下巴輪廓幾何中心的距離d和鼻子 輪廓包圍區(qū)域的面積s，并利用線性分辨分析方法找出能區(qū)分嬰幼兒臉和非嬰幼兒臉的最 佳投影方向w。將d和s在w方向上進(jìn)行投影，并根據(jù)投影后的點(diǎn)到兩個(gè)類中心連線的距離 來判斷待檢測(cè)目標(biāo)是否嬰幼兒，如果目標(biāo)為嬰幼兒，則將其作為跟蹤對(duì)象；然后算法處理模 塊根據(jù)判斷結(jié)構(gòu)通過UART接口模塊對(duì)云臺(tái)發(fā)送動(dòng)作指令調(diào)節(jié)攝像視角，從而實(shí)現(xiàn)家庭監(jiān) 控場(chǎng)景下對(duì)嬰幼兒目標(biāo)的自動(dòng)檢測(cè)與定位；并同時(shí)將處理過的數(shù)字視頻信號(hào)傳送給在線視 頻顯示模塊進(jìn)行視頻圖像的實(shí)時(shí)顯示，或經(jīng)由視頻編碼模塊的視頻壓縮編碼后將該數(shù)字視 頻信號(hào)輸出。 上述方案中，所述系統(tǒng)還設(shè)有一用來實(shí)現(xiàn)音視頻編碼的多媒體編碼模塊，該多媒 體編碼模塊通過連接I2C總線和以太網(wǎng)收發(fā)器，將由AD轉(zhuǎn)換模塊傳送的數(shù)字視頻信號(hào)通過 互聯(lián)網(wǎng)傳送到異地；或者將算法處理模塊處理過的數(shù)字視頻信號(hào)通過互聯(lián)網(wǎng)傳送到異地； 所述多媒體編碼模塊可采用多媒體協(xié)處理C627芯片。 上述方案中，所述CMOS攝像模塊具體采用CM0S130攝像頭。所述隨機(jī)存取存儲(chǔ)模 塊與主控處理單元的EMIF接口連接，采用的128M SDRAM。所述只讀存儲(chǔ)模塊與主控處理單
6元的EMIF接口連接，采用N0R型的64M Flash芯片。 上述方案中，所述系統(tǒng)還設(shè)有一 LED顯示器，該顯示器與主控處理單元的DAC接口 連接，采用JV-M50D型號(hào)顯示器。所述系統(tǒng)采用一個(gè)5V的直流變壓器供電，這個(gè)5V的電壓 器產(chǎn)生三種電壓給不同的設(shè)備供電，其中1. 2V給DSP內(nèi)核，3. 3V給DSP的I/O端口 ， 1. 8V
給內(nèi)存。 上述方案中，所述云臺(tái)采用ST-SP8206PS型號(hào)云臺(tái)，通過RS485接口與算法處理模 塊的UART接口模塊連接。所述云臺(tái)控制指令根據(jù)派爾高D協(xié)議發(fā)送到云臺(tái)，通過控制云臺(tái) 的轉(zhuǎn)動(dòng)來主動(dòng)調(diào)整攝像頭的方向和位置。 上述方案中，所述UART接口模塊采用SC16C550芯片，其內(nèi)部的接收器和發(fā)送器各 有16B的FIFO，能處理高達(dá)3Mbps速率的串行信號(hào)。 上述方案中，所述系統(tǒng)通過預(yù)覽引擎從CMOS攝像模塊獲取視頻數(shù)據(jù)，并將其轉(zhuǎn)化 為YUV422格式；通過VENC編碼器提供4個(gè)54M的DAC接口 ，提供NTSC、 PAL、 S-Video和 YPbPr視頻輸出，同時(shí)還提供24位的數(shù)字視頻輸出到RGB接口 。 上述發(fā)明系統(tǒng)的主要運(yùn)行過程為首先獲取模擬視頻信息，再利用AD轉(zhuǎn)換芯片將 其轉(zhuǎn)化為YUV信號(hào)，將視頻信號(hào)輸入到6437芯片進(jìn)行智能算法處理，以自動(dòng)選取跟蹤的嬰 幼兒目標(biāo)，再利用PID算法和派爾高D協(xié)議，控制云臺(tái)轉(zhuǎn)動(dòng)使得攝像頭始終對(duì)準(zhǔn)移動(dòng)中的嬰 幼兒目標(biāo)，從而實(shí)現(xiàn)對(duì)嬰幼兒的主動(dòng)實(shí)時(shí)跟蹤監(jiān)護(hù)，大大增強(qiáng)現(xiàn)有家居視頻監(jiān)護(hù)系統(tǒng)的主 動(dòng)性和實(shí)用性。 綜合而言，上述提出的發(fā)明方法和實(shí)現(xiàn)系統(tǒng)與現(xiàn)有相關(guān)技術(shù)相比，具有如下顯而 易見的突出性質(zhì)特點(diǎn)和顯著優(yōu)點(diǎn) 1、克服了現(xiàn)有面向家庭的監(jiān)護(hù)系統(tǒng)不能自動(dòng)區(qū)分嬰幼兒目標(biāo)的缺點(diǎn)。 2、現(xiàn)有針對(duì)家用的監(jiān)控系統(tǒng)還都是簡(jiǎn)單的網(wǎng)絡(luò)攝像機(jī)，即使加載了云臺(tái)的網(wǎng)絡(luò)攝
像機(jī)還存在以下缺點(diǎn)用戶必須要遠(yuǎn)程通過web方式手動(dòng)控制云臺(tái)轉(zhuǎn)動(dòng)，沒有智能目標(biāo)檢
測(cè)和跟蹤功能。 3、CM0S傳感器單獨(dú)置于云臺(tái)上，視頻處理芯片及外設(shè)獨(dú)立于云臺(tái)及CMOS傳感器， 以降低云臺(tái)負(fù)荷，提高云臺(tái)反應(yīng)速度和使用壽命。 4、云臺(tái)設(shè)備通過RS485接口與視頻處理芯片的UART接口連接，通過PELC0-D協(xié)議 可實(shí)現(xiàn)CM0S傳感器8個(gè)方向的移動(dòng)(上，右上，右，右下，下，左下，左，左上)，實(shí)現(xiàn)對(duì)嬰幼兒 的跟蹤拍攝。 5、為方便控制云臺(tái)轉(zhuǎn)動(dòng)方向，云臺(tái)位置被設(shè)為位于均勻大小的9個(gè)區(qū)域，算法僅 僅需要判斷當(dāng)前目標(biāo)落在那個(gè)區(qū)域，然后根據(jù)序號(hào)進(jìn)行相應(yīng)的8個(gè)方向的移動(dòng)(中間區(qū)域 不移動(dòng))。 本發(fā)明克服了傳統(tǒng)的家庭監(jiān)護(hù)系統(tǒng)需要兩個(gè)攝像頭才能對(duì)目標(biāo)進(jìn)行主動(dòng)跟蹤的 缺點(diǎn)，使用一個(gè)攝像頭結(jié)合云臺(tái)及三幀差法等實(shí)現(xiàn)了對(duì)嬰幼兒目標(biāo)的檢測(cè)和主動(dòng)跟蹤方法 和系統(tǒng)。
以下結(jié)合附圖和具體實(shí)施方式
來進(jìn)一步說明本發(fā)明。
圖1為本發(fā)明方法所述的嬰幼兒主動(dòng)跟蹤監(jiān)護(hù)方法示意圖。
圖2為人臉輪廓標(biāo)志點(diǎn)及特征s和d示意圖。 圖3(a)-圖3(d)為用于訓(xùn)練統(tǒng)計(jì)形狀模型的人臉輪廓樣本示意圖。 圖4(a)為對(duì)8個(gè)未對(duì)齊的人臉形狀的示意圖。 圖4(b)為對(duì)齊以后的人臉形狀的示意圖。 圖5為本發(fā)明系統(tǒng)結(jié)構(gòu)示意圖。 圖6為三幀差法流程圖。 圖7為視頻分區(qū)示意圖。 圖8為云臺(tái)PID控制流程圖。
具體實(shí)施例方式
為了使本發(fā)明實(shí)現(xiàn)的技術(shù)手段、創(chuàng)作特征、達(dá)成目的與功效易于明白了解，下面結(jié)
合具體圖示，進(jìn)一步闡述本發(fā)明。( — )家用嬰幼兒主動(dòng)跟蹤監(jiān)護(hù)的方法； 參見圖1，以下為具體步驟 (1)視頻采集過程系統(tǒng)從攝像頭采集PAL或者NTSC制式的模擬視頻信號(hào)。
(2) A/D轉(zhuǎn)換過程通過TVP5146芯片轉(zhuǎn)換為YUV422格式的數(shù)字視頻信，視頻信號(hào) 存儲(chǔ)在SDRAM中，通過FVID接口對(duì)采集到的數(shù)據(jù)進(jìn)行訪問，并將其送入匿6437芯片中進(jìn)行 具體的算法處理。系統(tǒng)采集的原始信號(hào)分辨率為640X480，為提高算法效率，將其轉(zhuǎn)化為 320X240分辨率。 (3)移動(dòng)目標(biāo)檢測(cè)為適應(yīng)主動(dòng)跟蹤云臺(tái)轉(zhuǎn)動(dòng)的影響，使用三幀幀差法檢測(cè)出運(yùn) 動(dòng)區(qū)域。分別對(duì)相鄰三幀圖像進(jìn)行高斯平滑去噪，再做連續(xù)幀差法，對(duì)獲取的2個(gè)幀差圖像 結(jié)果進(jìn)行閾值處理，得到二值圖像。分別對(duì)兩個(gè)幀差二值圖像進(jìn)行先腐蝕和膨脹處理，再對(duì) 由上面形態(tài)學(xué)算法得到的兩幀二值圖像進(jìn)行與運(yùn)算。對(duì)與運(yùn)算得到的圖像進(jìn)行輪廓提取， 輪廓所包圍的區(qū)域即為移動(dòng)目標(biāo)檢測(cè)的結(jié)果。 (4)為縮小處理區(qū)域，在三幀幀差法處理結(jié)果的基礎(chǔ)上，根據(jù)膚色模型提取出包括 人臉和手等部位的更小目標(biāo)候選區(qū)域。在對(duì)原有的圖像進(jìn)行YUV — RGB — YCrCb膚色模型 轉(zhuǎn)變以后，可以得到一個(gè)基于YCrCb顏色模型的圖像，選取合適的Cr和Cb閾值，把圖像上 劃分為膚色區(qū)域和非膚色區(qū)域。 (5)采用AdaBoost人臉檢測(cè)算法在膚色區(qū)域中進(jìn)行人臉檢測(cè)，從而降低人臉檢測(cè) 算法的搜索區(qū)域，提高算法的速度和精確性，更有利于嵌入式硬件的實(shí)時(shí)處理。Adaboost用 于人臉檢測(cè)時(shí)，從人臉中抽取大量的一維簡(jiǎn)單特征.這些簡(jiǎn)單特征都有一定的人臉和非人 臉區(qū)分性.最終系統(tǒng)使用數(shù)千個(gè)一維簡(jiǎn)單分類器，組合起來達(dá)到很好的分類效果，且速度 也能滿足實(shí)時(shí)性的要求。 (6)根據(jù)人臉檢測(cè)結(jié)果，通過主動(dòng)形狀模型對(duì)人臉進(jìn)行匹配，提取出對(duì)應(yīng)的輪廓信 息，每個(gè)輪廓對(duì)應(yīng)58個(gè)標(biāo)志點(diǎn)，組成一個(gè)116維的向量。 為建立主動(dòng)形狀模型，需要對(duì)訓(xùn)練樣本中的人臉圖像進(jìn)行標(biāo)志點(diǎn)標(biāo)定，如圖2所 示，標(biāo)志點(diǎn)為58個(gè)。通過標(biāo)志點(diǎn)確定的輪廓共7段，包括人臉輪廓(13個(gè)標(biāo)志點(diǎn))、左眼 輪廓(8個(gè)標(biāo)志點(diǎn))、右眼輪廓(8個(gè)標(biāo)志點(diǎn))、左眉輪廓(5個(gè)標(biāo)志點(diǎn))、右眉輪廓(5個(gè)標(biāo)志 點(diǎn))、嘴巴外輪廓(8個(gè)標(biāo)志點(diǎn))和鼻子輪廓(11個(gè)標(biāo)志點(diǎn))。標(biāo)志點(diǎn)選取方法為首先，要考慮用肉眼能直接分辯出來的關(guān)鍵點(diǎn)，如眼角和嘴角；其次，在這些關(guān)鍵點(diǎn)之間要盡量均勻 分布其他的標(biāo)志點(diǎn)；最后，標(biāo)志點(diǎn)的分布密度要考慮后續(xù)的嵌入式硬件實(shí)施需求，密度過大 會(huì)增加標(biāo)志點(diǎn)標(biāo)定的工作量和降低運(yùn)算速度，而密度過小會(huì)無法達(dá)到理想的效果。
對(duì)于一幅標(biāo)定好的人臉圖像Xi，可以用58個(gè)標(biāo)志點(diǎn)的x和y坐標(biāo)位置來對(duì)其進(jìn)行 形狀的表示 Xi = [Xn， yu， xi2， yi2，…，xi58， yi58]T
其中，人臉輪廓部分為[
Xil ， ，…，Xil3， Yin ]t;左眼輪廓為[ Xil4，yil4， "*，Xi21，yi21」 t ;右眼輪廓為[ ]t;左眉輪廓為[ Xi30， yi30， ， Xi34， Yi34 ]t;右眉輪廓為1 ;嘴巴輪廓為[xi40，yi40，…，Xi47，yi47]1 ;鼻子輪廓為[xi48， yi48，， xi58，yi58]T。這樣N幅用于訓(xùn)練的已標(biāo)定圖像的形狀就可以用訓(xùn)練集{Xi :i = 1，…W來表 示。圖3(a)-圖3(d)為部分的人臉形狀訓(xùn)練樣本。 對(duì)于標(biāo)定好的人臉形狀，由于存在3個(gè)差異1)其所處人臉圖像的絕對(duì)位置差 異；2)人臉圖像尺寸的差異；3)方向的差異。因此，直接對(duì)訓(xùn)練形狀建立統(tǒng)計(jì)形狀模型不 能真實(shí)反映人臉形狀變換的規(guī)律，需要將訓(xùn)練形狀在近似的意義上進(jìn)行形狀對(duì)齊(shape alignment)。對(duì)每個(gè)人臉形狀選擇合適的平移、縮放和旋轉(zhuǎn)，讓訓(xùn)練形狀位于同一可比的笛 卡爾坐標(biāo)系中，使得對(duì)齊后的形狀與平均形狀之間的差別最小(在最小二乘意義下)，其中 平均形狀可以從整個(gè)訓(xùn)練樣本集中計(jì)算得到。 形狀對(duì)齊的過程為首先，選取一個(gè)較為理想的形狀作為初始樣本，使其他所有的 形狀都與之對(duì)齊；然后，對(duì)計(jì)算得到的對(duì)齊后的平均形狀進(jìn)行規(guī)一化處理，并將規(guī)一化后的 平均形狀作為初始樣本；最后，將其他在此之前對(duì)齊好的形狀與新的初始樣本對(duì)齊。重復(fù)這 一對(duì)齊過程，直到相鄰兩次的平均形狀差別小于一閾值。 在人臉形狀的對(duì)齊過程中，為了防止每一循環(huán)的平均形狀在迭代過程中出現(xiàn)形狀 逐漸增大或者減小的情況，在每一次迭代的過程中都需要對(duì)平均形狀做規(guī)一化處理。具體 方法是保持標(biāo)定圖像中的某兩點(diǎn)之間的距離為某一常數(shù)，每次都使平均形狀位于某一固 定的角度，平移平均形狀到某一固定的位置。 圖4(a)為對(duì)8個(gè)未對(duì)齊的人臉形狀圖4(b)進(jìn)行對(duì)齊的結(jié)果。由圖可知，經(jīng)過形 狀匹配，各個(gè)對(duì)應(yīng)的標(biāo)志點(diǎn)的分布更加集中和合理。在訓(xùn)練集中的形狀樣本都進(jìn)行對(duì)齊后， 就可在此基礎(chǔ)上建立人臉的統(tǒng)計(jì)形狀模型。 在訓(xùn)練樣本集中的人臉形狀對(duì)齊后，可以得到N個(gè)對(duì)齊的形狀5L，5L，…Xw，每個(gè) 人臉形狀由58個(gè)標(biāo)志點(diǎn)的x和y坐標(biāo)給出，這些訓(xùn)練樣本的平均形狀為X : 5=;|;51 其協(xié)方差矩陣C為<formula>formula see original document page 9</formula>
對(duì)齊的人臉形狀是116維(2X58)。如果把這些形狀繪制在116維的空間中，它們 在某些方向上的變化將會(huì)大于其他方向，當(dāng)然這些方向不一定與原始的坐標(biāo)軸一致。這些 方向到底是哪些以及它們之間相對(duì)的重要程度可以通過對(duì)協(xié)方差矩陣的正交分解得到，即求解方程 CPi =入& 通過求解可以得到特征值(An A2，， A116)以及其對(duì)應(yīng)的特征向量(Pp&，… P116)。由于同較大特征值相關(guān)的特征向量對(duì)應(yīng)于訓(xùn)練數(shù)據(jù)的較大方差的方向，包含了較多 的形狀變化信息。因此可以用對(duì)應(yīng)于較大的特征值的特征向量來近似表示任意的人臉形狀 向量。選取前k個(gè)最大的特征值滿足 < 98%
'=1 因此可以得到前k個(gè)最大的特征值對(duì)應(yīng)的特征向量P =P2，…，Pk)，任意一 個(gè)人臉形狀X即可被近似的表示為
X-叉+ Pb 其中，b為人臉形狀向量的形狀參數(shù)。它可以由上面的公式得到
b = Pr(X-5) b的不同，代表了人臉形狀的不同變化。因此一個(gè)二維的人臉形狀數(shù)據(jù)集就可以用 僅僅只有一個(gè)參數(shù)b的統(tǒng)計(jì)形狀模型來近似，而且在一定范圍內(nèi)改變b的值能生成合理的 新人臉形狀樣本。 在主動(dòng)形狀模型中，局部灰度模型表示每個(gè)標(biāo)志點(diǎn)附近的圖像局部特征。 一般采 用垂直形狀線的圖像灰度值的微分來表示，并且根據(jù)整體值進(jìn)行規(guī)一化，這樣可以在一定 程度上去除光照變化的影響。 在AdaBoost算法檢測(cè)到的各個(gè)人臉區(qū)域中，將訓(xùn)練好的初始形狀模型放在該區(qū) 域中心，初始形狀的尺度、方向和位移參數(shù)可根據(jù)AdaBoost人臉檢測(cè)的結(jié)果進(jìn)行估計(jì)。當(dāng) 給定了人臉形狀模型的初值后，人臉主動(dòng)形狀模型可以利用輪廓的灰度特征進(jìn)行迭代。在 每一步迭代中，通過調(diào)整相關(guān)參數(shù)來改變當(dāng)前模型的位置和形狀，進(jìn)而產(chǎn)生新的模型實(shí)例， 最終完成模型與測(cè)試圖像輪廓的匹配。迭代算法為首先，搜索人臉圖像中每個(gè)標(biāo)志點(diǎn)的區(qū) 域，在區(qū)域中找到與該點(diǎn)灰度統(tǒng)計(jì)模型最匹配的點(diǎn)，得到新的人臉形狀。其次，根據(jù)標(biāo)志點(diǎn) 的位移，計(jì)算人臉統(tǒng)計(jì)形狀模型中的姿態(tài)參數(shù)和形狀參數(shù)的變化。最后，更新姿態(tài)參數(shù)和形 狀參數(shù)，回到算法開始處，直到收斂或者達(dá)到迭代次數(shù)的上限閾值。 (7)利用所求出輪廓的眼睛中心連線中點(diǎn)到人臉輪廓幾何中心的距離d和鼻子輪 廓包圍區(qū)域的面積s，將這兩個(gè)特征作為線性分辨分析的輸入，找出能區(qū)分出嬰幼兒臉和非 嬰幼兒臉的最佳投影方向w。將表示待檢測(cè)目標(biāo)的兩個(gè)特征d和s的點(diǎn)在w方向上進(jìn)行投 影，并根據(jù)此點(diǎn)距離類中心連線的距離來判斷待檢測(cè)目標(biāo)是否嬰幼兒。 通常情況下，嬰幼兒臉部的器官，主要是眼睛和眉毛位置相對(duì)較低，眉線靠近臉部 中部區(qū)域，而鼻子通常較成人小且短，根據(jù)以上分析，本方面利用統(tǒng)計(jì)形狀模型求出兩個(gè)眼 睛連線到下巴輪廓的幾何中心點(diǎn)的距離d和鼻子輪廓所包圍區(qū)域的面積s，并對(duì)這兩個(gè)特 征進(jìn)行分析。如圖2所示。 對(duì)于特征d， d越小，表示眼睛連線距離下巴的距離越短，也就是眉線越低，人臉越 接近于嬰幼兒臉。對(duì)應(yīng)特征s，鼻子越短越小，將導(dǎo)致鼻子輪廓包圍的面積s越小，人臉越接
10近嬰幼兒臉。因此可以利用人臉的這兩個(gè)特征結(jié)合線性分辨分析來實(shí)現(xiàn)對(duì)嬰幼兒目標(biāo)的檢 線性分辨分析的主要思想是經(jīng)過一個(gè)線性映射將樣本數(shù)據(jù)映射到特征空間，使 得同類模式樣本之間相距較近，不同模式樣本之間相距較遠(yuǎn)。在特征空間中，同類的樣本盡 可能地密集，不同類的樣本盡可能地分開，即希望總的類內(nèi)離散度越小，類間離散度越大 越好。
(8)目標(biāo)跟蹤過程主要包括根據(jù)派爾高D協(xié)議及PID控制方法對(duì)云臺(tái)進(jìn)行不同
方向的轉(zhuǎn)動(dòng)以使得嬰幼兒目標(biāo)始終都位于視頻畫面的中央?yún)^(qū)域。
( 二 )家用嬰幼兒主動(dòng)跟蹤監(jiān)護(hù)的嵌入式硬件實(shí)現(xiàn)系統(tǒng)； 如圖5所示，主要包括TI的DM6437芯片、模擬CM0S攝像頭、AD轉(zhuǎn)換芯片、128M大 小的SDRAM、64M大小的的Flash ROM、UART芯片、多媒體編碼芯片C627、LED顯示器和云臺(tái)。
匿6437芯片，在系統(tǒng)中的功能作用是實(shí)現(xiàn)對(duì)視頻輸入信號(hào)的主要算法處理，包括 三幀差法、膚色分割、人臉檢測(cè)、統(tǒng)計(jì)形狀模型匹配、嬰幼兒目標(biāo)識(shí)別、PID控制等功能，為本 系統(tǒng)的核心部分。 CMOS攝像頭，在系統(tǒng)中的功能作用是生成家庭場(chǎng)景的模擬視頻信號(hào)，其與AD轉(zhuǎn)換 芯片相連接。具體可以采用CM0S130攝像頭(ov9650芯片)。 AD轉(zhuǎn)換芯片，在系統(tǒng)中的功能作用是把模擬視頻信號(hào)轉(zhuǎn)化為數(shù)字信號(hào)，其與 DM6437開發(fā)板的CCDC控制器的Video IN接口連接。具體可以采用TI公司的TVP5146M2 芯片，它支持Composite或者S Video,采樣精度可以達(dá)到10比特，輸出格式支持CCIR-656 和BT656，可將模擬信號(hào)轉(zhuǎn)化為8/16位帶行、場(chǎng)同步信號(hào)的YCbCr 4:2:2數(shù)字視頻流，再輸 入到DSP中進(jìn)行處理。 隨機(jī)存取存儲(chǔ)器(RAM)，在系統(tǒng)中的功能作用是存放系統(tǒng)運(yùn)行時(shí)的代碼和臨時(shí)視 頻數(shù)據(jù)，與匿6437開發(fā)板的EMIF接口連接。具體可采用MICRON (美光)的128M SDRAM。
只讀存儲(chǔ)器(ROM)，在系統(tǒng)中的功能作用是保存系統(tǒng)啟動(dòng)代碼和系統(tǒng)程序代碼，與 DM6437開發(fā)板的EMIF接口連接。具體可采用Spansion公司的N0R型的64M Flash芯片。
多媒體編碼芯片，在系統(tǒng)中的功能作用是實(shí)現(xiàn)音視頻編碼功能，與I2C總線連接。 具體可采用智多微電子公司的多媒體協(xié)處理C627芯片。 LED顯示器，在系統(tǒng)中的功能作用是現(xiàn)場(chǎng)顯示對(duì)嬰幼兒跟蹤的結(jié)果，其與匿6437 開發(fā)板的DAC D接口連接。具體可采用金積嘉公司的JV-M50D型號(hào)顯示器。
云臺(tái)，在系統(tǒng)中的功能作用是根據(jù)嬰幼兒目標(biāo)檢測(cè)的結(jié)果，轉(zhuǎn)動(dòng)CMOS攝像頭對(duì)目 標(biāo)進(jìn)行實(shí)時(shí)跟蹤，其通過RS485接口與視頻處理芯片的UART接口連接。具體可采用瑞安捷 公司的的ST-SP8206PS型號(hào)云臺(tái)。 除了以上部件，本發(fā)明還包括一些通用外設(shè)本系統(tǒng)采用一個(gè)5V的直流變壓器供 電。由這個(gè)5V的電壓器產(chǎn)生三種電壓給不同的設(shè)備供電，其中1.2V給DSP內(nèi)核，3.3V給 DSP的1/0端口， 1. 8V給內(nèi)存。UART芯片選用SC16C550，其內(nèi)部的接收器和發(fā)送器各有16B 的FIF0，能處理高達(dá)3Mbps速率的串行信號(hào)。云臺(tái)控制指令根據(jù)派爾高D協(xié)議發(fā)送到云臺(tái)， 通過控制云臺(tái)的轉(zhuǎn)動(dòng)來主動(dòng)調(diào)整攝像頭的方向和位置。為了防軟件抄襲，可采用SAM芯片 作為加密單元。此外還可加入網(wǎng)絡(luò)模塊，主要完成網(wǎng)絡(luò)傳輸任務(wù)、視頻壓縮，協(xié)議棧的初始 化，設(shè)置DHCP，加載網(wǎng)頁等功能。
系統(tǒng)的視頻前端VPFE通過預(yù)覽引擎從CMOS傳感器獲取視頻數(shù)據(jù)，并將其轉(zhuǎn)化為 YUV422格式。通過視頻后端VPBE的VENC編碼器提供4個(gè)54M的DACs，提供NTSC、 PAL、 S-Video和YPbPr視頻輸出，同時(shí)還提供24位的數(shù)字視頻輸出到RGB接口 。
系統(tǒng)的視頻輸出有4個(gè)輸出DACs與不同的輸出標(biāo)準(zhǔn)配合，支持多種輸出標(biāo)準(zhǔn)。 DACs可通過編程來支持復(fù)合視頻，分量(色差)視頻或RGB。通過連接器Pl可獲得S-video 輸出，這個(gè)連接器由DACs B and C驅(qū)動(dòng)。 系統(tǒng)啟動(dòng)后，加載弓I導(dǎo)程序，弓I導(dǎo)程序從FLASH將智能視頻處理程序拷貝到SDRAM 中執(zhí)行，基于FVID接口開發(fā)的程序?qū)崿F(xiàn)匿6437對(duì)家居環(huán)境下的嬰幼兒目標(biāo)的檢測(cè)和跟蹤 等相關(guān)智能處理算法，并根據(jù)其位置信息驅(qū)動(dòng)云臺(tái)實(shí)時(shí)地對(duì)目標(biāo)進(jìn)行跟蹤和拍攝。智能算 法模塊的主要技術(shù)特征是
1、移動(dòng)目標(biāo)檢測(cè) 分別對(duì)相鄰三幀的圖像(frame0， framel， frame2)進(jìn)行高斯平滑去噪，再對(duì)連續(xù) 相鄰3幀的圖像做連續(xù)幀差法(framl-frameO ;frame2-framel)，對(duì)獲取的2個(gè)幀差圖像結(jié) 果進(jìn)行閾值處理，得到二值圖像。分別對(duì)兩個(gè)幀差二值圖像先腐蝕1到2次，再膨脹2到10 次，以消除噪聲和填充區(qū)域內(nèi)部的孔洞。對(duì)由上面形態(tài)學(xué)得到的兩幀二值圖像進(jìn)行與運(yùn)算。 在與運(yùn)算的基礎(chǔ)上進(jìn)行輪廓提取，輪廓所包圍的區(qū)域即為移動(dòng)目標(biāo)檢測(cè)的結(jié)果。具體流程 如圖6所示。 2、膚色模型縮小處理區(qū)域 在三幀幀差法處理結(jié)果的基礎(chǔ)上，根據(jù)膚色模型提取出包括人臉和手等部位的更 小目標(biāo)候選區(qū)域。 3、根據(jù)人臉檢測(cè)結(jié)果，通過主動(dòng)形狀模型對(duì)人臉進(jìn)行匹配，提取出對(duì)應(yīng)的輪廓信息。 首先要建立人臉統(tǒng)計(jì)形狀模型，因?yàn)橐@取特征s和d，只需要求出人眼、鼻子和 人臉輪廓的信息，因此，本實(shí)現(xiàn)系統(tǒng)選取四段輪廓來建立統(tǒng)計(jì)形狀模型，它們是1)人臉輪 廓部分([xn， yu，…，xil3， yil3]T) ;2)左眼輪廓([xil4， yil4，， xi21， yi21]T) ;3)右眼輪廓 ([xi22，yi22， ...，xi29，yi29]T) ;4)鼻子輪廓([xi48，yi48， ...， xi58， yi58]T)。在統(tǒng)計(jì)形狀訓(xùn)練中， 每張臉用40個(gè)標(biāo)志點(diǎn)進(jìn)行標(biāo)定(包括人臉輪廓13個(gè)點(diǎn)、左眼輪廓8個(gè)點(diǎn)、右眼輪廓8個(gè)點(diǎn) 和鼻子輪廓11個(gè)點(diǎn))，局部灰度模型的長(zhǎng)度設(shè)為7 (每側(cè)3個(gè))，搜索寬度設(shè)為2個(gè)像素。在 匹配過程中采用多分辨率的特征搜索，分4層實(shí)現(xiàn)。在搜索過程中首先在較低分辨率下進(jìn) 行搜索，然后逐級(jí)上升到高一級(jí)的分辨率下進(jìn)行搜索。在較低分辨率下，主要考慮圖像的整 體信息，搜索的范圍較大，得到較為理想的匹配結(jié)果后再轉(zhuǎn)入較高的層次，減小搜索的范圍 進(jìn)行匹配。 通過主動(dòng)形狀模型，得到人臉左眼輪廓中心點(diǎn)L的坐標(biāo)(xlefteye， ylefteye)、右 眼輪廓中心點(diǎn)R的坐標(biāo)(xrighteye，yrighteye)和鼻子輪廓中心點(diǎn)的坐標(biāo)C(xnose，ynose) 分別為
x —丄f^ j 58 Xlefteye ^;X, Xnghteye - ,n咖=弁Za
1=14 ; ，u ,=48
_1尋1 58乂e勿e =孓2^'凡沐<^=百丄乂 7騰=一2^, ' =14 ; '=22 ; 1 1 ,.=48
12
利用得到的眼睛和鼻子輪廓中心的坐標(biāo)，即可進(jìn)行人臉規(guī)一化的工作定義標(biāo)準(zhǔn) 人臉大小為64X64，人臉圖像以鼻子輪廓中點(diǎn)為中心。兩眼輪廓中心和的距離LR規(guī)一化為 28，鼻子輪廓中心C到兩眼輪廓中心連線LR的距離為8。通過L、R和C點(diǎn)可以實(shí)現(xiàn)人臉的 規(guī)一化。得到規(guī)一化的人臉后，再根據(jù)得到人臉輪廓[Xil，yil，…，x^，y^]t進(jìn)行人臉背景 的去除。 4、嬰幼兒目標(biāo)識(shí)別 嬰幼兒目標(biāo)的檢查可看成為一個(gè)二分類問題一個(gè)是成人的臉，一個(gè)是嬰幼兒的 臉。待識(shí)別的臉可以看成是二維空間中的一點(diǎn)x，兩個(gè)方向分別代表d和s的值(x= [d s] t)，因此，Sb和Sw可表示為:
Sb = (mbaby-mnobaby) (mbaby-mnobaby) t Sw =0.5(2 (X一附6。^)(X一附^^f + 2 (X一附"o^^)(X一附"o6。^,) 可得到最大J(w)的方向的w :
w = Sw—1 (mbaby-mnobaby) 通過w，由d禾P s方向張成的二維空間可以被轉(zhuǎn)化為一維的特征空間
babyvalue = wTx babyvalue值是表示待識(shí)別人臉接近于嬰幼兒特征的程度，把50個(gè)嬰幼兒嬰幼 兒臉作為Self-class, 50個(gè)非嬰幼兒臉作為Imposter Group。通過LDA方法得到投影方 向w，區(qū)分非嬰幼兒臉和嬰幼兒臉的閾值取為兩類個(gè)體中心連線的中點(diǎn)，得到閾值k，如果 babyvalue大于k，可以判斷目標(biāo)為嬰幼兒，而且確定程度和babyvalue的大小值成正比。本 實(shí)施實(shí)例中，由于得到的babyvalue值大于閾值k，可以判斷待識(shí)別人臉為非嬰幼兒目標(biāo)。
如果場(chǎng)景中檢測(cè)到的嬰幼兒目標(biāo)，系統(tǒng)即以此區(qū)域?yàn)楦櫮繕?biāo)驅(qū)動(dòng)云臺(tái)進(jìn)行跟 蹤，在跟蹤的過程中不再調(diào)用上述的嬰幼兒識(shí)別算法，而保持對(duì)此運(yùn)動(dòng)區(qū)域的跟蹤。當(dāng)場(chǎng)景 中沒有檢測(cè)到嬰幼兒目標(biāo)，系統(tǒng)可選取三幀差法提取的區(qū)域中面積最大的區(qū)域進(jìn)行跟蹤， 此時(shí)可達(dá)到對(duì)家庭其他目標(biāo)的實(shí)時(shí)監(jiān)控，也可用于通用的家庭場(chǎng)景視頻監(jiān)控應(yīng)用。
5、視頻分區(qū)及云臺(tái)PID控制 參見圖7，為了簡(jiǎn)化跟蹤計(jì)算復(fù)雜度，將視頻分為9個(gè)區(qū)，如果目標(biāo)位于9區(qū)，則云 臺(tái)右下移動(dòng)，8區(qū)向下移動(dòng)；7區(qū)左下移動(dòng)；6區(qū)右移動(dòng)；5區(qū)保持不變；4區(qū)向左移 動(dòng)；3區(qū)右上移動(dòng)；2區(qū)向上移動(dòng)；1區(qū)左上移動(dòng)。 同時(shí)為了保證云臺(tái)能快速準(zhǔn)確的移動(dòng)，從而使得目標(biāo)落在編號(hào)為5的區(qū)域。 這需要消除云臺(tái)的抖動(dòng)和過沖現(xiàn)象。系統(tǒng)使用PID算法對(duì)云臺(tái)進(jìn)行精確控制。其中 P (Proportional :比例)控制能迅速反應(yīng)誤差，從而減小穩(wěn)態(tài)誤差，但是它不能消除穩(wěn)態(tài)誤 差，當(dāng)P選取過大會(huì)導(dǎo)致系統(tǒng)穩(wěn)定。I控制(Intergration :積分)控制的作用在于當(dāng)系統(tǒng) 的誤差存在，積分控制器會(huì)不斷累積，輸出控制量來消除這個(gè)誤差，使得系統(tǒng)誤差為0，但是 積分作用太強(qiáng)會(huì)導(dǎo)致系統(tǒng)出現(xiàn)震蕩。因此使用D(Differentiation :微分)控制可以減小 超調(diào)量，克服震蕩現(xiàn)象。 積分分離PID控制算法需設(shè)定積分分離閾值e ，在利用云臺(tái)轉(zhuǎn)動(dòng)跟蹤嬰幼兒目標(biāo) 過程中，當(dāng)|e(k)| > e時(shí)，即云臺(tái)當(dāng)前位置與嬰幼兒目標(biāo)的位置間的差值e(k)較大時(shí)，采 用PD控制，以減少超調(diào)量，使系統(tǒng)有較快響應(yīng)；當(dāng)|e(k)|《e時(shí)，即差值較小時(shí)，則采用
13PID控制，以保證云臺(tái)能夠精確到位。(e為云臺(tái)當(dāng)前位置與目標(biāo)位置的差異)。系統(tǒng)的控 制量為e (k)，輸出量為U (k)，控制流程如圖8所示。 以上顯示和描述了本發(fā)明的基本原理和主要特征和本發(fā)明的優(yōu)點(diǎn)。本行業(yè)的技術(shù) 人員應(yīng)該了解，本發(fā)明不受上述實(shí)施例的限制，上述實(shí)施例和說明書中描述的只是說明本 發(fā)明的原理，在不脫離本發(fā)明精神和范圍的前提下，本發(fā)明還會(huì)有各種變化和改進(jìn)，這些變 化和改進(jìn)都落入要求保護(hù)的本發(fā)明范圍內(nèi)。本發(fā)明要求保護(hù)范圍由所附的權(quán)利要求書及其 等效物界定。
權(quán)利要求
一種嬰幼兒主動(dòng)跟蹤監(jiān)護(hù)的方法，其特征在于，在模擬視頻信號(hào)采集并A/D轉(zhuǎn)換后，對(duì)該視頻信號(hào)進(jìn)行算法處理通過連續(xù)三幀幀差法提取出運(yùn)動(dòng)區(qū)域，再采用膚色檢測(cè)模型過濾掉運(yùn)動(dòng)區(qū)域中的非人臉區(qū)域，并在縮小的候選區(qū)域中使用AdaBoost算法進(jìn)行人臉檢測(cè)；對(duì)檢測(cè)到的人臉使用主動(dòng)形狀模型進(jìn)行匹配，提取出待檢測(cè)人臉的輪廓，并求出該輪廓里面眼睛中心連線中間點(diǎn)到下巴輪廓幾何中心的距離d和鼻子輪廓包圍區(qū)域的面積s，并利用線性分辨分析方法找出能區(qū)分嬰幼兒臉和非嬰幼兒臉的最佳投影方向w；將d和s在w方向上進(jìn)行投影，并根據(jù)投影后的點(diǎn)到兩個(gè)類中心連線的距離來判斷待檢測(cè)目標(biāo)是否嬰幼兒，如果目標(biāo)為嬰幼兒，則將其作為跟蹤對(duì)象；上述算法處理結(jié)束后，再利用PID算法和派爾高D協(xié)議，控制云臺(tái)上下左右轉(zhuǎn)動(dòng)，從而自動(dòng)實(shí)現(xiàn)對(duì)嬰幼兒的主動(dòng)實(shí)時(shí)跟蹤監(jiān)護(hù)。
2. 根據(jù)權(quán)利要求l的嬰幼兒主動(dòng)跟蹤監(jiān)護(hù)的方法，其特征在于，所述方法具體還包括 以下步驟(1) 視頻采集過程系統(tǒng)從攝像頭采集PAL或者NTSC制式的模擬視頻信號(hào)；(2) A/D轉(zhuǎn)換過程通過TVP5146芯片轉(zhuǎn)換為YUV422格式的數(shù)字視頻信，視頻信號(hào)存 儲(chǔ)在SDRAM中，通過FVID接口對(duì)采集到的數(shù)據(jù)進(jìn)行訪問，并將其送入匿6437芯片中進(jìn)行 具體的算法處理；系統(tǒng)采集的原始信號(hào)分辨率為640X480，為提高算法效率，將其轉(zhuǎn)化為 320 X 240分辨率；(3) 移動(dòng)目標(biāo)檢測(cè)為適應(yīng)主動(dòng)跟蹤云臺(tái)轉(zhuǎn)動(dòng)的影響，使用三幀幀差法檢測(cè)出運(yùn)動(dòng)區(qū) 域；分別對(duì)相鄰三幀圖像進(jìn)行高斯平滑去噪，再做連續(xù)幀差法，對(duì)獲取的2個(gè)幀差圖像結(jié)果 進(jìn)行閾值處理，得到二值圖像；分別對(duì)兩個(gè)幀差二值圖像進(jìn)行先腐蝕和膨脹處理，再對(duì)由上 面形態(tài)學(xué)算法得到的兩幀二值圖像進(jìn)行與運(yùn)算；對(duì)與運(yùn)算得到的圖像進(jìn)行輪廓提取，輪廓 所包圍的區(qū)域即為移動(dòng)目標(biāo)檢測(cè)的結(jié)果；(4) 為縮小處理區(qū)域，在三幀幀差法處理結(jié)果的基礎(chǔ)上，根據(jù)膚色模型提取出包括人臉 和手等部位的更小目標(biāo)候選區(qū)域；在對(duì)原有的圖像進(jìn)行YUV — RGB — YCrCb膚色模型轉(zhuǎn)變 以后，可以得到一個(gè)基于YCrCb顏色模型的圖像，選取合適的Cr和Cb閾值，把圖像上劃分 為膚色區(qū)域和非膚色區(qū)域；(5) 采用AdaBoost人臉檢測(cè)算法在膚色區(qū)域中進(jìn)行人臉檢測(cè)，從而降低人臉檢測(cè)算法 的搜索區(qū)域，提高算法的速度和精確性，更有利于嵌入式硬件的實(shí)時(shí)處理；Adaboost用于 人臉檢測(cè)時(shí)，從人臉中抽取大量的一維簡(jiǎn)單特征；這些簡(jiǎn)單特征都有一定的人臉和非人臉 區(qū)分性，最終系統(tǒng)使用數(shù)千個(gè)一維簡(jiǎn)單分類器，組合起來達(dá)到很好的分類效果，且速度也能 滿足實(shí)時(shí)性的要求；(6) 根據(jù)人臉檢測(cè)結(jié)果，通過主動(dòng)形狀模型對(duì)人臉進(jìn)行匹配，提取出對(duì)應(yīng)的輪廓信息， 每個(gè)輪廓對(duì)應(yīng)58個(gè)標(biāo)志點(diǎn)，組成一個(gè)116維的向量；(7) 利用所求出輪廓的眼睛中心連線中點(diǎn)到人臉輪廓幾何中心的距離d和鼻子輪廓包 圍區(qū)域的面積s，將這兩個(gè)特征作為線性分辨分析的輸入，找出能區(qū)分出嬰幼兒臉和非嬰幼 兒臉的最佳投影方向w ;將表示待檢測(cè)目標(biāo)的兩個(gè)特征d和s的點(diǎn)在w方向上進(jìn)行投影，并 根據(jù)此點(diǎn)距離類中心連線的距離來判斷待檢測(cè)目標(biāo)是否嬰幼兒；(8) 目標(biāo)跟蹤過程主要包括根據(jù)派爾高D協(xié)議及PID控制方法對(duì)云臺(tái)進(jìn)行不同方向 的轉(zhuǎn)動(dòng)以使得嬰幼兒目標(biāo)始終都位于視頻畫面的中央?yún)^(qū)域。
3. 根據(jù)權(quán)利要求l的一種嬰幼兒主動(dòng)跟蹤監(jiān)護(hù)的實(shí)現(xiàn)系統(tǒng)，其特征在于，所述系統(tǒng)包括一用來對(duì)視頻輸入信號(hào)進(jìn)行包括三幀差法、膚色分割、人臉檢測(cè)、統(tǒng)計(jì)形狀模型匹配、 嬰幼兒目標(biāo)識(shí)別以及PID控制這些算法處理的主控處理單元，該處理單元根據(jù)算法處理后 的結(jié)果對(duì)云臺(tái)發(fā)送動(dòng)作指令從而調(diào)整監(jiān)控視角，同時(shí)將處理后的帶有標(biāo)有被監(jiān)控物體標(biāo)注 的視頻信號(hào)通過顯示裝置實(shí)時(shí)顯示或通過輸出接口輸出；一與AD轉(zhuǎn)換模塊相連接用來拍攝并生成家庭場(chǎng)景的模擬視頻信號(hào)的CMOS攝像模塊； 一將CMOS攝像模塊的模擬視頻信號(hào)轉(zhuǎn)化為數(shù)字信號(hào)同時(shí)傳送給主控處理單元的AD轉(zhuǎn) 換模塊；一通過連接主控處理單元存放系統(tǒng)運(yùn)行時(shí)的代碼和臨時(shí)視頻數(shù)據(jù)的隨機(jī)存取存儲(chǔ)模塊；一通過連接主控處理單元保存系統(tǒng)啟動(dòng)代碼和系統(tǒng)程序代碼的只讀存儲(chǔ)模塊； 一安置有CMOS攝像模塊，根據(jù)主控處理單元發(fā)送的動(dòng)作指令調(diào)節(jié)攝像視圖和視角對(duì) 目標(biāo)物體進(jìn)行實(shí)時(shí)跟蹤的云臺(tái)。
4. 根據(jù)權(quán)利要求3的嬰幼兒主動(dòng)跟蹤監(jiān)護(hù)的實(shí)現(xiàn)系統(tǒng)，其特征在于，所述主控處理單 元包括視頻接口模塊、EMIF接口模塊、算法處理模塊、在線視頻顯示模塊、視頻編碼模塊和 至少一個(gè)以上DAC接口 ；所述視頻接口模塊與AD轉(zhuǎn)換模塊連接，接收由AD轉(zhuǎn)換模塊處理 后的數(shù)字視頻信號(hào)；所述算法處理模塊根據(jù)接收到的數(shù)字視頻信號(hào)，通過連續(xù)三幀幀差法 提取出運(yùn)動(dòng)區(qū)域，再采用膚色檢測(cè)模型過濾掉運(yùn)動(dòng)區(qū)域中的非人臉區(qū)域，并在縮小的候選 區(qū)域中使用AdaBoost算法進(jìn)行人臉檢測(cè)；對(duì)檢測(cè)到的人臉使用主動(dòng)形狀模型進(jìn)行匹配，提 取出待檢測(cè)人臉的輪廓，并求出該輪廓里面眼睛中心連線中間點(diǎn)到下巴輪廓幾何中心的距 離d和鼻子輪廓包圍區(qū)域的面積s，并利用線性分辨分析方法找出能區(qū)分嬰幼兒臉和非嬰 幼兒臉的最佳投影方向w ;將d和s在w方向上進(jìn)行投影，并根據(jù)投影后的點(diǎn)到兩個(gè)類中心 連線的距離來判斷待檢測(cè)目標(biāo)是否嬰幼兒，如果目標(biāo)為嬰幼兒，則將其作為跟蹤對(duì)象；然后 算法處理模塊根據(jù)判斷結(jié)構(gòu)通過UART接口模塊對(duì)云臺(tái)發(fā)送動(dòng)作指令調(diào)節(jié)攝像視角，從而 實(shí)現(xiàn)家庭監(jiān)控場(chǎng)景下對(duì)嬰幼兒目標(biāo)的自動(dòng)檢測(cè)與定位；并同時(shí)將處理過的數(shù)字視頻信號(hào)傳 送給在線視頻顯示模塊進(jìn)行視頻圖像的實(shí)時(shí)顯示，或經(jīng)由視頻編碼模塊的視頻壓縮編碼后 將該數(shù)字視頻信號(hào)輸出。
5. 根據(jù)權(quán)利要求3的嬰幼兒主動(dòng)跟蹤監(jiān)護(hù)的實(shí)現(xiàn)系統(tǒng)，其特征在于，所述系統(tǒng)還設(shè)有 一用來實(shí)現(xiàn)音視頻編碼的多媒體編碼模塊，該多媒體編碼模塊通過連接I2C總線和以太網(wǎng) 收發(fā)器，將由AD轉(zhuǎn)換模塊傳送的數(shù)字視頻信號(hào)通過互聯(lián)網(wǎng)傳送到異地；或者將算法處理模 塊處理過的數(shù)字視頻信號(hào)通過互聯(lián)網(wǎng)傳送到異地；所述多媒體編碼模塊可采用多媒體協(xié)處 理C627芯片。
6. 根據(jù)權(quán)利要求3的嬰幼兒主動(dòng)跟蹤監(jiān)護(hù)的實(shí)現(xiàn)系統(tǒng)，其特征在于，所述CMOS攝像模 塊具體采用CM0S130攝像頭；所述隨機(jī)存取存儲(chǔ)模塊與主控處理單元的EMIF接口連接，采 用的128M SDRAM ;所述只讀存儲(chǔ)模塊與主控處理單元的EMIF接口連接，采用NOR型的64M Flash芯片。
7. 根據(jù)權(quán)利要求3的嬰幼兒主動(dòng)跟蹤監(jiān)護(hù)的實(shí)現(xiàn)系統(tǒng)，其特征在于，所述系統(tǒng)還設(shè)有 一 LED顯示器，該顯示器與主控處理單元的DAC接口連接，采用JV-M50D型號(hào)顯示器；所述 系統(tǒng)采用一個(gè)5V的直流變壓器供電，這個(gè)5V的電壓器產(chǎn)生三種電壓給不同的設(shè)備供電，其中，1.2V給DSP內(nèi)核，3. 3V給DSP的I/O端口 ， 1. 8V給內(nèi)存。
8. 根據(jù)權(quán)利要求3的嬰幼兒主動(dòng)跟蹤監(jiān)護(hù)的實(shí)現(xiàn)系統(tǒng)，其特征在于，所述云臺(tái)采用 ST-SP8206PS型號(hào)云臺(tái)，通過RS485接口與算法處理模塊的UART接口模塊連接；所述云臺(tái) 的控制指令根據(jù)派爾高D協(xié)議發(fā)送到云臺(tái)，通過控制云臺(tái)的轉(zhuǎn)動(dòng)來主動(dòng)調(diào)整攝像頭的方向 和位置。
9. 根據(jù)權(quán)利要求4的嬰幼兒主動(dòng)跟蹤監(jiān)護(hù)的實(shí)現(xiàn)系統(tǒng)，其特征在于，所述UART接口模 塊采用SC16C550芯片，其內(nèi)部的接收器和發(fā)送器各有16B的FIF0，能處理高達(dá)3Mbps速率 的串行信號(hào)。
10. 根據(jù)權(quán)利要求3的嬰幼兒主動(dòng)跟蹤監(jiān)護(hù)的實(shí)現(xiàn)系統(tǒng)，其特征在于，所述系統(tǒng)通過預(yù) 覽引擎從CMOS攝像模塊獲取視頻數(shù)據(jù)，并將其轉(zhuǎn)化為YUV422格式；通過VENC編碼器提供 4個(gè)54M的DAC接口 ，提供NTSC、PAL、S-Video和YPbPr視頻輸出，同時(shí)還提供24位的數(shù)字 視頻輸出到RGB接口。
全文摘要
本發(fā)明公開了一種嬰幼兒主動(dòng)跟蹤監(jiān)護(hù)的方法。所述方法首先利用三幀差法檢測(cè)出運(yùn)動(dòng)區(qū)域，再利用膚色檢測(cè)方法提取出包括人臉和手等部位的較小候選區(qū)域，在此基礎(chǔ)上采用AdaBoost人臉檢測(cè)算法進(jìn)行人臉檢測(cè)。對(duì)檢測(cè)到的人臉使用主動(dòng)形狀模型進(jìn)行匹配，提取出待檢測(cè)人臉的輪廓，并求出輪廓的眼睛中心連線中間點(diǎn)到下巴輪廓幾何中心的距離d和鼻子輪廓包圍區(qū)域的面積s，并利用線性分辨分析方法找出能區(qū)分嬰幼兒臉和非嬰幼兒臉的最佳投影方向w。將d和s在w方向上進(jìn)行投影，并根據(jù)投影后的點(diǎn)到兩個(gè)類中心連線的距離來判斷待檢測(cè)目標(biāo)是否嬰幼兒，如果目標(biāo)為嬰幼兒，則將其作為為跟蹤對(duì)象。此外本發(fā)明還根據(jù)上述方法提出了嵌入式主動(dòng)跟蹤嬰幼兒的實(shí)現(xiàn)系統(tǒng)。
文檔編號(hào)H04N7/18GK101795400SQ20101012553
公開日2010年8月4日 申請(qǐng)日期2010年3月16日 優(yōu)先權(quán)日2010年3月16日
發(fā)明者廖小勇, 張茵, 楊松紹, 王紹宇, 盛秀梅, 羅友軍 申請(qǐng)人:上海復(fù)控華龍微系統(tǒng)技術(shù)有限公司