專利名稱：圖像中提取目標(biāo)的方法、設(shè)備及人機(jī)交互系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種計算機(jī)視覺與識別系統(tǒng)，尤其涉及的是， 一種圖像中提取目標(biāo)的方法、設(shè)備及基于該設(shè)備的人機(jī)交互系統(tǒng)。
背景技術(shù)：
現(xiàn)有技術(shù)中，圖像中提取目標(biāo)的方法，都使用某一個波段的成像來檢測目標(biāo)，通常有釆用紅外光波段的、可見光波段的、超聲波段的等等，但
是，僅使用紅外光波段，則檢測到的信息較少；單純使用可見光波段，檢測信息比較困難，處理速度較慢。同時，單純使用單個波段的圖像，容易外界受光照強(qiáng)度影響，當(dāng)陽光斜射時，使用紅外光波段圖像則容易形成大片的明亮區(qū)域，對檢測不利；而光線較暗時，使用可見光波段進(jìn)行圖像處理提取特征也較為困難。
在人機(jī)交互系統(tǒng)中，為了提高用戶體驗(yàn)時的沉浸感，將立體視覺技術(shù)應(yīng)用于人機(jī)交互，基于圖像提取的控制器的空間數(shù)據(jù)進(jìn)行一 系列的算法轉(zhuǎn)換為相應(yīng)的控制指令，例如，申請?zhí)柺荂N200610083199.4公開了一種基于立體視覺的游戲控制系統(tǒng)及方法，其采用的是，通過可見光波段的圖像確定玩家空間位置及姿態(tài)，將結(jié)果轉(zhuǎn)化為游戲控制指令。在從圖像提取目標(biāo)時也存在上述的問題。
因此，現(xiàn)有技術(shù)還有待于改進(jìn)和發(fā)展。
發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種圖像中提取目標(biāo)的方法、設(shè)備及人機(jī)交互
5系統(tǒng)，采用本發(fā)明能夠提高圖像中提取目標(biāo)的速度、精度和穩(wěn)定性。
本發(fā)明的技術(shù)方案如下 一種圖像中提取目標(biāo)的方法，包括
51、 獲取紅外光圖像和可見光圖像，并根據(jù)光照情況在所述紅外光圖 像和可見光圖像中選擇其一為主圖像，另一為輔圖像；
52、 對所述主圖像進(jìn)行分割和識別，查找到所述目標(biāo)的成像作為候選 目標(biāo)；
53、 根據(jù)預(yù)設(shè)的約束在所述輔圖像中確定所述目標(biāo)的成像區(qū)域；
54、 將每個所述成像區(qū)域與所述候選目標(biāo)配對，并至少選擇其中的一 個的配對輸出。
所述的方法，其中，所述步驟S1包括計算所述可見光圖像中亮度高 于預(yù)設(shè)亮度的像素所占的比率，如果所述比率大于預(yù)設(shè)的閾值，則選擇所 述可見光圖像為主圖像，所述紅外光圖像為輔圖像。
所述的方法，其中，所述步驟S2中的識別是將分割后的圖像與預(yù)先輸 入的所述目標(biāo)樣本進(jìn)行對比。
本發(fā)明還提供一種圖像中提取目標(biāo)的設(shè)備，包括以下依次連接的圖 像獲取模塊，用于同時獲取包含所述目標(biāo)的紅外光圖像和可見光圖像；圖 像選擇模塊，用于根據(jù)光照情況在所述紅外光圖像和可見光圖像中選擇其 一為主圖像，另一為輔圖像；候選目標(biāo)模塊，用于對所述主圖像進(jìn)行分割 和識別，查找到所述目標(biāo)的成像作為候選目標(biāo)；約束模塊，用于根據(jù)預(yù)設(shè) 的約束在所述輔圖像中確定目標(biāo)的成像區(qū)域；配對模塊，將每個所述成像 區(qū)域與所述候選目標(biāo)配對，并至少選擇其中的 一個的配對輸出。
所述的設(shè)備，其中，所述圖像獲取模塊包括與所述圖像選擇模塊連接 的熱紅外攝像機(jī)。
所述的設(shè)備，其中，所述圖像獲取模塊包括帶有紅外濾光片的普通攝 像機(jī)，所述紅外濾光片用于濾除所述普通攝像機(jī)采集到全部波長光波中可見光光波。
所述的設(shè)備，其中，所述圖像選擇模塊包括亮度計算單元，用于計 算所述可見光圖像中亮度高于預(yù)設(shè)亮度的像素所占的比率；標(biāo)識單元，用 于在所述比率大于預(yù)設(shè)的閾值時，將所述可見光圖像標(biāo)識為主圖像，所述 紅外光圖像標(biāo)識為輔圖像。
所述的設(shè)備，其中，所述候選目標(biāo)模塊包括分割單元，用于對所述 主圖像進(jìn)行分割；識別單元，用于對分割后主圖像與預(yù)先輸入的所述目標(biāo) 樣本進(jìn)行對比，查找到所述目標(biāo)的成像作為候選目標(biāo)。
所述的設(shè)備，其中，所述配對模塊包括面積計算單元，用于計算每 對配對中所述成像區(qū)域與所述候選目標(biāo)面積之和；輸出單元，用于將所述 面積計算單元計算的最大值的配對輸出。
本發(fā)明還提供 一種利用所述的圖像中提取目標(biāo)的設(shè)備的人機(jī)交互系 統(tǒng)，其中，所述提取的目標(biāo)是控制器，還包括三維數(shù)據(jù)模塊，用于利用 由所述配對模塊確定的所述控制器的二維信息，獲得三維坐標(biāo)；運(yùn)動序列 模塊，用于利用當(dāng)前三維坐標(biāo)和之前的三維坐標(biāo)生成運(yùn)動序列；指令映射 模塊，用于將運(yùn)動序列映射到相應(yīng)的控制指令。
本發(fā)明所提供的圖像中提取目標(biāo)的方法，與現(xiàn)有技術(shù)相比，同時利用 紅外光圖像和可見光圖像進(jìn)行目標(biāo)的提取，由于先在兩種不同波段的圖像 進(jìn)行目標(biāo)識別分別得到成像，再根據(jù)之前標(biāo)識的主圖像和輔圖像進(jìn)行配對 完成互補(bǔ)，最終確認(rèn)目標(biāo)的二維信息；這綜合了兩個不同波段的圖像根據(jù) 完成的目標(biāo)提取方法和設(shè)備，提高了目標(biāo)提取的穩(wěn)定性、精度以及速度； 也提高了基于該設(shè)備的人機(jī)交互系統(tǒng)的穩(wěn)定性、精度以及速度。
圖l是本發(fā)明的圖像中提取目標(biāo)的方法的流程圖； 圖2是本發(fā)明的圖像中提取目標(biāo)的設(shè)備的原理框圖；圖3是本發(fā)明設(shè)備的圖像選擇模塊的結(jié)構(gòu)框圖4是本發(fā)明設(shè)備的一種具體實(shí)施方式
的結(jié)構(gòu)框圖5是本發(fā)明設(shè)備的一種具體實(shí)施方式
的工作流程圖6是本發(fā)明的人機(jī)交互系統(tǒng)的原理框圖'7是本發(fā)明的人機(jī)交互系統(tǒng)中的命令解析裝置的結(jié)構(gòu)框圖8是本發(fā)明的人機(jī)交互系統(tǒng)的工作流程圖。
具體實(shí)施例方式
以下結(jié)合附圖對本發(fā)明做具體說明。
本發(fā)明的圖像中提取目標(biāo)的方法，主要是選取一 幅較為可靠的圖像提 取目標(biāo)成像，然后到另外一幅圖像中去找該目標(biāo)的成像。包括以下步驟， 見圖1:
100、獲取紅外光圖像和可見光圖像；
200、根據(jù)光照情況在所述紅外光圖像和可見光圖像中選擇其一為主圖 像，另一為輔圖4象；本步驟可以在第一次運(yùn)行時保存結(jié)果、也可以每幀都 可以運(yùn)行。本步驟具體采用以下流程
210、統(tǒng)計所述可見光圖像的亮度分量直方圖的分布；
220、計算可見光圖像中亮度高于預(yù)設(shè)亮度Y一threshold的像素與總像 素的比率n/N, n是圖像中亮度大于預(yù)設(shè)亮度Y一threshold的像素數(shù)量，N 是圖像像素的總數(shù)量；如果該比率n/N大于預(yù)設(shè)的閾值ratio—threshold,則 執(zhí)行步驟230;否則執(zhí)行步驟240;可將預(yù)設(shè)亮度Y_threshold的取值設(shè)為 192,預(yù)設(shè)的閾值ratio—threshold的取0.4;
230、選擇可見光圖像為主圖像，所述紅外光圖像為輔圖像；可通過將 可見光圖像的主圖^f象標(biāo)識取真、將可見光圖像的主圖像標(biāo)識取假實(shí)現(xiàn)。
240、選擇紅外光圖像為主圖像，所述可見光圖像為輔圖像；可通過將 紅外光圖像的主圖#_標(biāo)識取真、將可見光圖像的主圖像標(biāo)識耳又 暇實(shí)現(xiàn)。300、對所述主圖像進(jìn)行分割和識別，查找到所述目標(biāo)的成像作為候選 目標(biāo)；所述識別是將分割后的圖像與預(yù)先輸入的所述目標(biāo)樣本進(jìn)行對比。
本步驟是在選擇了優(yōu)先選用的主圖像后，對主圖像進(jìn)行分割得到分割 對象；再對分割得到的對象進(jìn)行識別，判斷是否為目標(biāo)成像，判斷方法可 采用模式識別的方法進(jìn)行在系統(tǒng)運(yùn)行前，采集目標(biāo)的紅外光(可見光) 樣本給識別器學(xué)習(xí)；系統(tǒng)運(yùn)行時，使用識別器進(jìn)行識別。
400、根據(jù)預(yù)設(shè)的約束在所述輔圖像中確定所述目標(biāo)的成像區(qū)域；
本步驟是在優(yōu)先選擇的圖像中找到目標(biāo)成像后，可根據(jù)一些約束，如 成像外極線約束、運(yùn)動速度有限性約束、目標(biāo)跟蹤約束等確定目標(biāo)在另外 一幅圖像中的成像區(qū)域，并對計算出的成像區(qū)域?qū)?yīng)圖像進(jìn)行分割，；險測 識別目標(biāo)，識別方法也可以采用模式識別的方法進(jìn)行。
500、將每個所述成像區(qū)域與所述候選目標(biāo)配對，至少選擇其中的一個 的配對l命出。
由于計算出的每個成像區(qū)域都可能找到候選的目標(biāo)，這樣也就產(chǎn)生了 多個候選目標(biāo)配對，此時需要判定哪一個或者哪幾個才是目標(biāo)的成像配對， 可以選擇相似性較高的配對，或者稱之為可能性最大或者大于某閾值。"可 能性"的確定方法為綜合候選目標(biāo)的空間相似性、時間相似性。空間相似 性指當(dāng)前時刻兩幅圖像(紅外圖像、可見光圖像)間，候選目標(biāo)的最小面 積包圍矩形的面積、候選目標(biāo)的最小面積包圍矩形的長寬比、候選目標(biāo)的 目標(biāo)面積與其最小面積外接矩形面積比、以及候選目標(biāo)的致密性等特征的 相似性。時間相似性指兩個連續(xù)的釆樣時刻，同種類型圖像中候選目標(biāo)的 最小面積包圍矩形的面積、候選目標(biāo)最小面積包圍矩形長寬比以及致密性 等特征的相似性。
空間相似性計算指標(biāo)<formula>formula see original document page 10</formula>
其中，k代表當(dāng)前圖像釆集時刻，k-4代表上一個圖像采集時刻；i代表 圖像類型的編號，例如紅外光圖像為1，可見光圖像為2; wWA代表最小面 積外接矩形的長度，^'g^代表最小面積外接矩形的高度，"""代表候選目 才示的面積、。
當(dāng)不存在時間相似性時(例如第一幀圖像或者目標(biāo)丟失后重現(xiàn)時)，相
似性的衡量指標(biāo)/^^ = !>^&。需要指出的是，此時也可以用其它方法，如 由用戶指定、或者選取成像質(zhì)量最好的幾個配對，即成像區(qū)域與所述候選 目標(biāo)面積之和最大的幾個配對。
當(dāng)存在時間相似性時(連續(xù)多個采樣時刻都找到目標(biāo))，相似性的衡量
指標(biāo)/wde;c 二 + /"&;c1 + /w^fex:2 。
本方法的核心在于將多光補(bǔ)償技術(shù)用于三維目標(biāo)的識別及匹配，即， 同時利用紅外光圖像和可見光圖像進(jìn)行目標(biāo)的提取。因?yàn)樵趶?fù)雜背景環(huán)境
下，紅外光攝像機(jī)對較強(qiáng)光的魯棒性不夠，但能實(shí)時準(zhǔn)確提取目標(biāo)；而可 見光攝像機(jī)雖然無法同時滿足實(shí)時性、穩(wěn)定性和精確性的要求，但卻能容 忍多變背景光帶來的干擾；基于可見光和紅外光的光補(bǔ)償技術(shù)提供的冗余 信息能夠彌補(bǔ)單獨(dú)使用前兩種系統(tǒng)的自身缺陷。
本發(fā)明還提供一種圖像中提取目標(biāo)的設(shè)備，見圖2,包括依次連接的: 圖像獲取模塊，圖像選擇模塊，候選目標(biāo)模塊，約束模塊和配對模塊。
10圖像獲取模塊，用于同時獲取包含目標(biāo)的紅外光圖像和可見光圖像； 圖像獲取模塊至少包括兩臺攝像機(jī)，其中一臺用于獲取可見光圖像，另一 臺用于獲取紅外光圖像；用于獲取紅外光圖像的攝像機(jī)可以是熱紅外攝像 機(jī)，也可以使用帶有紅外濾光片的普通攝像機(jī)，使用紅外濾光片的功能是 濾除普通攝像機(jī)采集到全部波長光波中的可見光光波。
圖像選擇模塊，用于根據(jù)光照情況在所述紅外光圖像和可見光圖像中 選擇其一為主圖像，另一為輔圖像。所述圖像選擇模塊包括亮度計算單
元，閾值存儲單元，與亮度計算單元和闊值存儲單元連接的標(biāo)識單元。亮 度計算單元，用于計算可見光圖像中亮度高于預(yù)設(shè)亮度的像素與總像素的 比率；閾值存儲單元，用于存儲預(yù)設(shè)的闊值；標(biāo)識單元，用于在所述比率 大于預(yù)設(shè)的閾值時，將所述可見光圖像標(biāo)識為主圖像，所述紅外光圖像標(biāo) 識為輔圖像；其結(jié)構(gòu)如圖3所示。
候選目標(biāo)模塊，用于對所述主圖像進(jìn)行分割和識別，查找到所述目標(biāo) 的成像作為候選目標(biāo)；所述候選目標(biāo)模塊包括分割單元，用于對所述主 圖像進(jìn)4亍分割；識別單元，用于對分割后主圖像與預(yù)先輸入的所述目標(biāo)樣 本進(jìn)行對比，查找到所述目標(biāo)的成4象作為候選目標(biāo)。
約束模塊用于根據(jù)預(yù)設(shè)的約束在所述輔圖像中確定目標(biāo)的成像區(qū)域； 配對才莫塊，將每個所述成像區(qū)域與所述候選目標(biāo)配對，并至少選擇其 中的一個配對輸出。所述配對模塊包括面積計算單元，用于計算每對配 對中所述成像區(qū)域與所述候選目標(biāo)面積之和；輸出單元，用于將所述面積 計算單元計算的最大值的配對輸出。當(dāng)然，根據(jù)不同的選擇配對的方式， 面積計算單元還可以由相似性計算單元替換，或者通過交互系統(tǒng)直接交由 用戶進(jìn)行指定。
相似性計算單元用于計算每對配對中所述成像區(qū)域與所述候選目標(biāo)相 似性指標(biāo)值，輸出單元用于將所述相似性計算單元計算的最大值的配對輸 出。
i作為一種具體的實(shí)施方式，可以根據(jù)不同的主圖像選擇建立兩個并列 的設(shè)備，將上述的候選目標(biāo)模塊分別集成在紅外光圖像目標(biāo)提取設(shè)備和可 見光圖像目標(biāo)提取設(shè)備中，將約束模塊集成在候選區(qū)域計算設(shè)備中，配對
模塊設(shè)置在目標(biāo)決策單元中，這樣提高了系統(tǒng)的集成化，結(jié)構(gòu)如圖4所示。
工作過程如下，流程圖見圖5:紅外光圖像目標(biāo)提取設(shè)備根據(jù)相應(yīng)的優(yōu) 先標(biāo)記進(jìn)行操作，當(dāng)優(yōu)先標(biāo)記為真時，在紅外光圖像中提取候選紅外光目 標(biāo)，將候選紅外光目標(biāo)交予候選區(qū)域計算設(shè)備計算候選可見光目標(biāo)在可見 光圖像中所在區(qū)域。同時，紅外光圖像目標(biāo)提取設(shè)備還根據(jù)候選區(qū)域計算 設(shè)備提供的紅外光候選目標(biāo)的區(qū)域，在區(qū)域內(nèi)提取紅外光目標(biāo)。
候選區(qū)域計算設(shè)備用于根據(jù)紅外光圖像目標(biāo)提取設(shè)備提取的候選紅外 光目標(biāo)的信息，計算各個候選目標(biāo)在可見光圖像中的可能成像區(qū)域，并交 予可見光圖像目標(biāo)提取設(shè)備處理。
可見光圖像目標(biāo)提取設(shè)備根據(jù)相應(yīng)的優(yōu)先標(biāo)記進(jìn)行操作，當(dāng)優(yōu)先標(biāo)記 為真時，在可見光圖像中提取候選可見光目標(biāo)，將候選可見光目標(biāo)交予候 選區(qū)域計算設(shè)備計算候選紅外光目標(biāo)在紅外光圖像中所在區(qū)域。同時，可 見光圖像目標(biāo)提取設(shè)備還根據(jù)候選區(qū)域計算設(shè)備提供的候選可見光目標(biāo)的 區(qū)域，在區(qū)域內(nèi)提取可見光目標(biāo)。
候選區(qū)域計算設(shè)備用于根據(jù)可見光圖像目標(biāo)提取設(shè)備提取的候選可見 光的信息，計算各個候選目標(biāo)在紅外光圖像中的可能成像區(qū)域，并交予紅 外光圖像目標(biāo)提取設(shè)備處理。
紅外光圖像目標(biāo)提取設(shè)備和可見光圖像目標(biāo)提取設(shè)備分別將各自圖像 中提取的候選目標(biāo)交予目標(biāo)決策單元進(jìn)行決策。正常情況下，紅外光圖像 目標(biāo)提取設(shè)備和可見光圖像目標(biāo)提取設(shè)備提供給目標(biāo)決策單元的候選目標(biāo) 數(shù)量至少有一個為1，此時將數(shù)量為1的目標(biāo)及其在另一幅圖像中的目標(biāo)進(jìn) 行配對，作為目標(biāo)在兩幅圖像的成像即目標(biāo)的二維位置信息。在某些情況下，比如系統(tǒng)初始化時，可能會出現(xiàn)同時紅外光圖像目標(biāo)提取設(shè)備和可見 光圖像目標(biāo)提取設(shè)備提供給目標(biāo)決策單元的候選目標(biāo)數(shù)量都大于1的情況， 此時可以由用戶確定一個或者多個，也可以自動選取成像質(zhì)量比較好的， 例如，可選取候選目標(biāo)以及紅外光候選巧標(biāo)的成像最大的一個或幾個組合。
本發(fā)明還提供一種利用上述的圖像中提取目標(biāo)的設(shè)備的人機(jī)交互系 統(tǒng)，本系統(tǒng)同時采用紅外光波段圖像和可見光波段圖像，進(jìn)行信息檢測與 處理，完成基于可見光和紅外光的多光補(bǔ)償?shù)慕换ハ到y(tǒng)。該系統(tǒng)中，用戶 使用控制器操作被控對象，控制器是紅外光發(fā)光物體，可以是人的身體部
位，例如手，此時的攝像機(jī)可以使用熱紅外攝像機(jī)；也可以是涂有紅外光 反光材料的物體，此時的攝像機(jī)可使用帶有紅外濾光片的普通攝像機(jī)，所 述紅外濾光片的功能是濾除所述普通攝像機(jī)釆集到全部波長光波中可見光 光波；控制器就是要圖像提取目標(biāo)設(shè)備所提取的目標(biāo)，本系統(tǒng)可以集成在 被控對象上，也可單獨(dú)設(shè)置。所述被控對象可以是電視機(jī)等電子電器，也 可以是娛樂軟件設(shè)備。
本系統(tǒng)包括，目標(biāo)提取裝置、命令解析裝置和命令執(zhí)行裝置，原理框 圖見圖6。
目標(biāo)提取裝置即上述的圖像中提取目標(biāo)的設(shè)備，包括依次連接的圖像 獲取模塊、圖像選擇模塊、候選目標(biāo)模塊、約束模塊和配對模塊。
如圖7,命令解析裝置包括與所述配對模塊連接的三維數(shù)據(jù)模塊、指 令映射模塊、設(shè)置在三維數(shù)據(jù)模塊和指令映射模塊之間的運(yùn)動序列模塊。
三維數(shù)據(jù)模塊用于利用由所述配對模塊輸出的所述控制器的二維信 息，通過計算獲得三維坐標(biāo)，計算的方法可以采用例如立體視覺等算法。
運(yùn)動序列才莫塊用于利用當(dāng)前三維坐標(biāo)和之前的三維坐標(biāo)形成運(yùn)動序 列；運(yùn)動序列模塊包括與三維數(shù)據(jù)模塊連接的歷史數(shù)據(jù)存儲單元、與歷史 數(shù)據(jù)存儲單元連接的動作形成單元。歷史數(shù)據(jù)存儲單元用于存儲控制器的歷史數(shù)據(jù)；為了防止歷史數(shù)據(jù)存儲單元存儲的數(shù)據(jù)量持續(xù)增大，可僅存儲 部分歷史數(shù)據(jù)。當(dāng)達(dá)到最大存儲量時，將最早的數(shù)據(jù)刪除，將保存最新數(shù) 據(jù)。動作形成單元用于根據(jù)當(dāng)前三維坐標(biāo)及歷史數(shù)據(jù)存儲單元里的歷史三 維坐標(biāo)提取出動作的運(yùn)動軌跡；可以使用最新的若干個點(diǎn)作為動作的運(yùn)動 軌跡。
指令映射模塊用于將運(yùn)動序列映射到相應(yīng)的控制指令；指令映射包括 與動作形成單元連接的動作識別單元、與動作識別單元連接的指令生成單
動作。指令生成單元用于將動作識別單元識別出的動作應(yīng)設(shè)為控制指令。 在系統(tǒng)運(yùn)行前，首先采集相應(yīng)的動作，給動作識別單元學(xué)習(xí)，并且設(shè)定每 個動作為相應(yīng)的控制指令。以網(wǎng)球游戲?yàn)槔?，可將控制器快速抬起的動?設(shè)定為拋球動作，將控制器快速向下扣的動作設(shè)定為扣球動作，將兩個動 作連起來，設(shè)定為發(fā)球動作。釆集每個映射為指令的動作的樣本，交給識 別器學(xué)習(xí)。在程序運(yùn)行中，實(shí)時進(jìn)行動作識別， 一旦識別出映射為指令的 動作，則將給命令執(zhí)行裝置。
系統(tǒng)總的工作流程見圖8所示，系統(tǒng)中裝有至少一臺可見光攝像機(jī)和 至少一臺紅外光攝像機(jī)，使用攝像機(jī)采集圖像后，提取控制器在各自圖像 中的二維信息，再計算控制器的三維數(shù)據(jù)，并將新的三維數(shù)據(jù)與以前時刻 的數(shù)據(jù)形成運(yùn)動軌跡，將運(yùn)動軌跡映射為控制指令，并由被控對象執(zhí)行控 制指令，完成人機(jī)交互。本系統(tǒng)利用紅外光圖像和可見光圖像進(jìn)行控制器 三維數(shù)據(jù)的提取，因?yàn)樵趶?fù)雜背景環(huán)境下，紅外光攝像機(jī)對較強(qiáng)光的魯棒 性不夠，但能實(shí)時準(zhǔn)確提取目標(biāo)；而可見光攝像機(jī)雖然無法同時滿足實(shí)時 性、穩(wěn)定性和精確性的要求，但卻能容忍多變背景光帶來的干擾；基于可 見光和紅外光的光補(bǔ)償技術(shù)提供的冗余信息能夠彌補(bǔ)單獨(dú)使用前兩種系統(tǒng) 的自身缺陷，提高系統(tǒng)的穩(wěn)定性。
應(yīng)當(dāng)理解的是，本發(fā)明的應(yīng)用不限于上述的舉例，對本領(lǐng)域普通技術(shù)人員來說，可以根據(jù)上述說明加以改進(jìn)或變換，所有這些改進(jìn)和變換都應(yīng) 屬于本發(fā)明所附權(quán)利要求的保護(hù)范圍。
權(quán)利要求
1、一種圖像中提取目標(biāo)的方法，包括S1、獲取紅外光圖像和可見光圖像，并根據(jù)光照情況在所述紅外光圖像和可見光圖像中選擇其一為主圖像，另一為輔圖像；S2、對所述主圖像進(jìn)行分割和識別，查找到所述目標(biāo)的成像作為候選目標(biāo)；S3、根據(jù)預(yù)設(shè)的約束在所述輔圖像中確定所述目標(biāo)的成像區(qū)域；S4、將每個所述成像區(qū)域與所述候選目標(biāo)配對，并至少選擇其中的一個配對輸出。
2、 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S1包括 計算所述可見光圖像中亮度高于預(yù)設(shè)亮度的像素所占的比率，如果所述比率大于預(yù)設(shè)的閾值，則選擇所述可見光圖像為主圖像，所述紅外光圖 像為輔圖像。
3、 根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述步驟S2中的 識別是將分割后的圖像與預(yù)先輸入的所述目標(biāo)樣本進(jìn)行對比。
4、 一種圖像中提取目標(biāo)的設(shè)備，其特征在于，包括以下依次連接的 圖像獲取模塊，用于同時獲取包含所述目標(biāo)的紅外光圖像和可見光圖像；圖像選擇模塊，用于根據(jù)光照情況在所述紅外光圖像和可見光圖像中 選擇其一為主圖像，另一為輔圖像；候選目標(biāo)模塊，用于對所述主圖像進(jìn)行分割和識別，查找到所述目標(biāo) 的成像作為候選目標(biāo)；約束模塊，用于根據(jù)預(yù)設(shè)的約束在所述輔圖像中確定目標(biāo)的成像區(qū)域；配對模塊，將每個所述成像區(qū)域與所述候選目標(biāo)配對，并至少選擇其 中的一個的配對輸出。
5、 根據(jù)權(quán)利要求4所述的設(shè)備，其特征在于，所述圖像獲取模塊包括 與所述圖像選擇模塊連接的熱紅外攝像機(jī)。
6、 根據(jù)權(quán)利要求4所述的設(shè)備，其特征在于，所述圖像獲取模塊包括 帶有紅外濾光片的普通攝像機(jī)，所述紅外濾光片用于濾除所述普通攝像機(jī) 采集到全部波長光波中可見光光波。
7、 根據(jù)權(quán)利要求4所述的設(shè)備，其特征在于，所述圖像選擇模塊包括 亮度計算單元，用于計算所述可見光圖像中亮度高于預(yù)設(shè)亮度的像素所占的比率；標(biāo)識單元，用于在所述比率大于預(yù)設(shè)的閾值時，將所述可見光圖像標(biāo) 識為主圖像，所述紅外光圖像標(biāo)識為輔圖像。
8、 根據(jù)權(quán)利要求4所述的設(shè)備，其特征在于，所述候選目標(biāo)模塊包括 分割單元，用于對所述主圖像進(jìn)行分割；識別單元，用于對分割后主圖像與預(yù)先輸入的所述目標(biāo)樣本進(jìn)4亍對比， 查找到所述目標(biāo)的成像作為候選目標(biāo)。
9、 根據(jù)權(quán)利要求4所述的設(shè)備，其特征在于，所述配對模塊包括 面積計算單元，用于計算每對配對中所述成像區(qū)域與所述候選目標(biāo)面積之和；輸出單元，用于將所述面積計算單元計算的最大值的配對輸出。
10、 一種利用權(quán)利要求4所述的圖像中提取目標(biāo)的設(shè)備的人機(jī)交互系 統(tǒng)，其中所述目標(biāo)是控制器，其特征在于，還包括三維數(shù)據(jù)模塊，用于利用由所述配對模塊確定的所述控制器的二維信息，獲得三維坐標(biāo)；運(yùn)動序列模塊，用于利用當(dāng)前三維坐標(biāo)和之前的三維坐標(biāo)生成運(yùn)動序列；指令映射模塊'用于將運(yùn)動序列映射到相應(yīng)的控制指令。
全文摘要
本發(fā)明公開了一種圖像中提取目標(biāo)的方法、設(shè)備及人機(jī)交互系統(tǒng)，其方法包括S1.獲取紅外光圖像和可見光圖像，并根據(jù)光照情況在所述紅外光圖像和可見光圖像中選擇其一為主圖像，另一為輔圖像；S2.對所述主圖像進(jìn)行分割和識別，查找到所述目標(biāo)的成像作為候選目標(biāo)；S3.根據(jù)預(yù)設(shè)的約束在所述輔圖像中確定所述目標(biāo)的成像區(qū)域；S4.將每個所述成像區(qū)域與所述候選目標(biāo)配對，并至少選擇其中的一個的配對輸出。采用本發(fā)明提高了目標(biāo)提取的穩(wěn)定性以及速度；也提高了基于該設(shè)備的人機(jī)交互系統(tǒng)的穩(wěn)定性以及速度。
文檔編號G06K9/62GK101477631SQ20091010517
公開日2009年7月8日 申請日期2009年1月20日 優(yōu)先權(quán)日2009年1月20日
發(fā)明者呂順志, 李鵬程, 俊 程, 趙文闖 申請人:深圳先進(jìn)技術(shù)研究院