專利名稱:用于跟蹤目標(biāo)的裝置、跟蹤目標(biāo)的方法和跟蹤目標(biāo)的程序的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及用于基于圖像信息跟蹤一個(gè)目標(biāo)的一種目標(biāo)跟蹤裝置、目標(biāo)跟蹤方法和目標(biāo)跟蹤程序,尤其涉及即使當(dāng)多個(gè)目標(biāo)以重疊關(guān)系定位在一個(gè)顯示屏上時(shí)也能夠繼續(xù)跟從一個(gè)標(biāo)的目標(biāo)的一種目標(biāo)跟蹤裝置、目標(biāo)跟蹤方法和目標(biāo)跟蹤程序。
背景技術(shù):
用于根據(jù)從攝像機(jī)持續(xù)提供的圖像信息跟蹤一個(gè)目標(biāo),例如跟蹤一個(gè)人體的一個(gè)目標(biāo)的跟蹤裝置,即使當(dāng)多個(gè)目標(biāo)以交叉或重疊關(guān)系定位時(shí),也被要求連續(xù)地跟隨被跟蹤目標(biāo)的移動(dòng)。日本專利公開(kāi)H06-169458 A1描述了一個(gè)即使在跟蹤實(shí)施的同時(shí)目標(biāo)相交時(shí)也能夠繼續(xù)跟隨該目標(biāo)的移動(dòng)的的目標(biāo)跟蹤裝置。
圖1是說(shuō)明日本專利公開(kāi)H06-169458 A1中描述的現(xiàn)有技術(shù)的一個(gè)目標(biāo)跟蹤裝置的結(jié)構(gòu)框圖。如圖1所示,該目標(biāo)跟蹤裝置包括目標(biāo)區(qū)域提取裝置41,用于從由攝像機(jī)等周期地提供到輸入終端40的圖像信息中提取一個(gè)目標(biāo)區(qū)域;跟隨狀態(tài)檢測(cè)裝置42,用于把提取的目標(biāo)區(qū)域與將被跟蹤的目標(biāo)區(qū)域比較,以便檢測(cè)將被跟蹤的目標(biāo)的狀態(tài),其中該將被跟蹤的目標(biāo)區(qū)域是從將被隨后描述的區(qū)域選擇裝置45提供的;特征量產(chǎn)生裝置43,用于根據(jù)該圖像信息和該將被跟蹤的目標(biāo)區(qū)域產(chǎn)生目標(biāo)的特征量;目標(biāo)識(shí)別裝置44,用于根據(jù)該圖像信息和由目標(biāo)區(qū)域提取裝置41提取的該目標(biāo)區(qū)域產(chǎn)生該整個(gè)目標(biāo)區(qū)域的特征量以及用于選擇具有最接近從特征量產(chǎn)生意味著43接收的該目標(biāo)的特征量的特征量的目標(biāo)區(qū)域;和區(qū)域選擇裝置45,提供作為一個(gè)輸出的將被跟蹤的該目標(biāo)區(qū)域。
在上述描述中,術(shù)語(yǔ)″一個(gè)目標(biāo)區(qū)域″是指包括在該圖像中的一個(gè)目標(biāo)的區(qū)域。將被跟蹤的由跟隨狀態(tài)檢測(cè)裝置42提供的一個(gè)目標(biāo)的狀態(tài)包括一個(gè)重疊或交叉狀態(tài),其中將被跟蹤的一個(gè)目標(biāo)的圖像與另一對(duì)象相交;以及一個(gè)跟蹤狀態(tài),其中將被跟蹤的一個(gè)目標(biāo)被以一個(gè)單獨(dú)狀態(tài)跟蹤。特征量產(chǎn)生裝置43具有用于存儲(chǔ)產(chǎn)生的特征量的一個(gè)存儲(chǔ)器裝置,并且進(jìn)一步包括用于更新存儲(chǔ)在該存儲(chǔ)器裝置中的該特征量更新裝置。當(dāng)該目標(biāo)的狀態(tài)是該跟蹤狀態(tài)時(shí),特征量產(chǎn)生裝置更新存儲(chǔ)在該存儲(chǔ)器裝置中的特征量,同時(shí)如果該目標(biāo)的狀態(tài)是處在一個(gè)重疊狀態(tài)的話,將保持存儲(chǔ)在該存儲(chǔ)器裝置中的該特征量不變。
只要該感興趣的目標(biāo)是在一個(gè)重疊狀態(tài)中,目標(biāo)識(shí)別裝置44則將選擇具有最相似該存儲(chǔ)在特征量產(chǎn)生裝置43中的該目標(biāo)區(qū)域的特征量的目標(biāo)區(qū)域。當(dāng)該目標(biāo)的狀態(tài)實(shí)現(xiàn)從重疊狀態(tài)到該跟蹤狀態(tài)的轉(zhuǎn)換時(shí),區(qū)域選擇裝置45將選擇由目標(biāo)識(shí)別裝置44選擇的該目標(biāo)區(qū)域作為將被跟蹤的一個(gè)目標(biāo)區(qū)域。除了在使得該目標(biāo)的狀態(tài)從重疊狀態(tài)轉(zhuǎn)換到跟蹤狀態(tài)的情況之外,區(qū)域選擇裝置45從由目標(biāo)區(qū)域提取裝置41提取的全部目標(biāo)區(qū)域中選擇存在于最接近該已被預(yù)先跟蹤的該目標(biāo)區(qū)域的位置的目標(biāo)區(qū)域,并且提供該選擇的目標(biāo)區(qū)域作為一個(gè)輸出。以此方式,區(qū)域選擇裝置45提供該選擇的目標(biāo)區(qū)域作為將被跟蹤的一個(gè)新目標(biāo)區(qū)域。在上述描述中,″已被預(yù)先跟蹤的目標(biāo)區(qū)域″是指根據(jù)來(lái)自一個(gè)幀的圖像信息確定的將被跟蹤的目標(biāo)區(qū)域,該幀是在從一個(gè)攝像機(jī)等接收的圖像信息的最近圖像信息前面的一個(gè)幀。
以此方式,在目標(biāo)是在該跟蹤狀態(tài)中時(shí),該目標(biāo)跟蹤裝置通過(guò)使用該最近接收的圖像信息而連續(xù)執(zhí)行一個(gè)目標(biāo)區(qū)域的跟蹤。當(dāng)目標(biāo)的狀態(tài)實(shí)現(xiàn)從跟蹤狀態(tài)到疊加的狀態(tài)轉(zhuǎn)換時(shí),保存緊鄰在該轉(zhuǎn)換之前的該目標(biāo)的特征量。當(dāng)該目標(biāo)的狀態(tài)從重疊狀態(tài)到跟蹤狀態(tài)轉(zhuǎn)換時(shí),連續(xù)利用由目標(biāo)識(shí)別裝置44選擇的被使用作將被跟蹤的目標(biāo)區(qū)域該目標(biāo)區(qū)域執(zhí)行該目標(biāo)區(qū)域的跟蹤。因此,即使當(dāng)從跟蹤狀態(tài)向重疊狀態(tài)過(guò)渡時(shí)也能繼續(xù)該目標(biāo)區(qū)域的跟蹤,并且隨后恢復(fù)出現(xiàn)在該目標(biāo)狀態(tài)中的跟蹤狀態(tài)。
如上所述,在目標(biāo)離開(kāi)該重疊狀態(tài)時(shí),即使在有多個(gè)目標(biāo)與一個(gè)目標(biāo)區(qū)域的相關(guān)一個(gè)目標(biāo)相交的情況中,已有技術(shù)的目標(biāo)跟蹤裝置已經(jīng)能夠根據(jù)緊接在該重疊狀態(tài)的出現(xiàn)之前的該目標(biāo)的特征量而連續(xù)跟蹤一個(gè)目標(biāo)區(qū)域。
此外,由S.J.McKenna、S.Jabri、Z.Duric和H.Wechsler發(fā)表的文章TrackingInteracting People(2000年3月28-30日Proceedings of the Fourth IEEEInternational Conference on Automatic Face and Gesture Recognition,348-353頁(yè))描述了用于在目標(biāo)部分彼此相交向離開(kāi)該重疊狀態(tài)時(shí)繼續(xù)跟蹤一個(gè)目標(biāo)的方法,其中計(jì)算感興趣的目標(biāo)屬于每一個(gè)目標(biāo)區(qū)域的可能性,并且該目標(biāo)是與計(jì)算的最大可能性的該目標(biāo)區(qū)域相關(guān)。
然而,由于恰在該重疊狀態(tài)中的改變之前的該目標(biāo)的特征量不與在該重疊狀態(tài)中的改變之后的相關(guān)目標(biāo)區(qū)域中包括的任何目標(biāo)的特征量一致,所以在通過(guò)多個(gè)目標(biāo)的交叉產(chǎn)生一個(gè)重疊狀態(tài)并且隨后該重疊狀態(tài)被離開(kāi)時(shí)的其中多個(gè)目標(biāo)被包括在單一目標(biāo)區(qū)域中的情況下、或在該感興趣的重疊狀態(tài)的創(chuàng)建之前和之后存在于一個(gè)確定的目標(biāo)區(qū)域中的目標(biāo)被替換為其它目標(biāo)時(shí)的情況下,該已有技術(shù)的目標(biāo)跟蹤裝置容易導(dǎo)致在一個(gè)目標(biāo)和一個(gè)目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的錯(cuò)誤。例如,在四個(gè)人(A,B,C和D)相交叉并且隨后每組兩人地分成兩組(一組是A和B而一組是C和D)的情況中,或在兩人(A和B)和一人(C)相交叉然后人的分組改變?yōu)閯?chuàng)建一人組(A)和兩人組(B和C)的情況中,該目標(biāo)跟蹤裝置常常誤認(rèn)在一個(gè)目標(biāo)和一個(gè)目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系。而且,雖然傳統(tǒng)的目標(biāo)跟蹤裝置利用每個(gè)目標(biāo)選擇具有與感興趣的目標(biāo)最高相似性的目標(biāo)區(qū)域,但是用這種方法的在目標(biāo)和目標(biāo)區(qū)域之間的關(guān)聯(lián)并不總是保證在全部目標(biāo)和目標(biāo)區(qū)域之間的一致的對(duì)應(yīng)關(guān)系。
發(fā)明內(nèi)容
本發(fā)明的一個(gè)目的是提供用于跟蹤一個(gè)目標(biāo)的一種裝置和一種方法并且還提供用于跟蹤一個(gè)目標(biāo)的一個(gè)程序,即使在當(dāng)一個(gè)圖像中的重疊狀態(tài)的多個(gè)目標(biāo)已經(jīng)彼此分離之后的多個(gè)目標(biāo)仍然存在于一個(gè)圖像區(qū)域中時(shí)的情況中,或在當(dāng)由該圖像中的重疊目標(biāo)組成的每一個(gè)組的目標(biāo)分組改變成交換在該組的交叉之前和之后的該組中包括的目標(biāo)時(shí),本發(fā)明的裝置、方法、程序用于跟蹤實(shí)現(xiàn)在一個(gè)目標(biāo)和一個(gè)目標(biāo)區(qū)域之間的正確關(guān)聯(lián)的一個(gè)目標(biāo)。本發(fā)明的另一個(gè)目的是,當(dāng)把目標(biāo)和目標(biāo)區(qū)域相關(guān)到對(duì)應(yīng)的關(guān)系時(shí),實(shí)現(xiàn)在全部的目標(biāo)和目標(biāo)區(qū)域之間的最佳對(duì)應(yīng)關(guān)系的選擇。
根據(jù)本發(fā)明的目標(biāo)跟蹤裝置是一種用于根據(jù)圖像信息跟蹤一個(gè)目標(biāo)的目標(biāo)跟蹤裝置,包括特征量合成裝置,用于合成表示包括在該圖像信息中的不同目標(biāo)的特征量的目標(biāo)特征量,以便產(chǎn)生合成的特征量;和對(duì)應(yīng)性建立裝置,用于根據(jù)在該目標(biāo)區(qū)域的特征量和該合成的特征量之間的相似程度來(lái)建立在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)性,其中該目標(biāo)區(qū)域是指從該圖像信息提取的并且還包括該感興趣的目標(biāo)的區(qū)域。
最好是,該特征量合成裝置針對(duì)多個(gè)目標(biāo)的全部要求的組合的每一個(gè)合成特征量,以便產(chǎn)生一個(gè)合成的特征量,并且該對(duì)應(yīng)關(guān)系建立裝置通過(guò)比較由該特征量合成裝置產(chǎn)生的每一個(gè)合成特征量和表示該目標(biāo)區(qū)域的特征量的區(qū)域特征量而建立在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系。通過(guò)這種設(shè)計(jì),當(dāng)建立在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系時(shí),能夠選擇在該目標(biāo)和目標(biāo)區(qū)域之間的最佳對(duì)應(yīng)關(guān)系。
該目標(biāo)跟蹤裝置最好具有一個(gè)目標(biāo)區(qū)域提取裝置,用于從該圖像信息提取該目標(biāo)區(qū)域并且提供包括關(guān)于該目標(biāo)區(qū)域的圖像信息的目標(biāo)區(qū)域信息;一個(gè)用于判定分別的目標(biāo)或目標(biāo)區(qū)域的跟蹤狀態(tài)的跟蹤狀態(tài)判定裝置,其中該跟蹤狀態(tài)是指每一個(gè)目標(biāo)相對(duì)于其它目標(biāo)的相對(duì)位置;以及一個(gè)特征量產(chǎn)生裝置,用于通過(guò)使用該圖像信息、該目標(biāo)區(qū)域信息和由該跟蹤狀態(tài)判定裝置所實(shí)現(xiàn)的該判定結(jié)果而產(chǎn)生該區(qū)域特征量和目標(biāo)特征量,其中該特征量合成裝置通過(guò)使用所說(shuō)的目標(biāo)特征量和由該跟蹤狀態(tài)判定裝置實(shí)現(xiàn)的判定結(jié)果來(lái)產(chǎn)生合成特征量。通過(guò)這種設(shè)計(jì),能夠根據(jù)相對(duì)于其它目標(biāo)的相對(duì)位置而產(chǎn)生該合成的特征量。
最好是,該跟蹤狀態(tài)判定裝置根據(jù)該目標(biāo)區(qū)域信息和已經(jīng)確定的指示該目標(biāo)區(qū)域和在當(dāng)前之前的目標(biāo)的對(duì)應(yīng)關(guān)系的對(duì)應(yīng)關(guān)系信息來(lái)判定分別目標(biāo)或目標(biāo)區(qū)域的跟蹤狀態(tài),以便提供指示該目標(biāo)區(qū)域和目標(biāo)的對(duì)應(yīng)關(guān)系以及跟蹤的狀態(tài)的第一區(qū)域?qū)?yīng)關(guān)系信息,該特征量產(chǎn)生裝置根據(jù)該當(dāng)前圖像信息、該目標(biāo)區(qū)域信息、該第一區(qū)域?qū)?yīng)關(guān)系信息和已被確定的對(duì)應(yīng)關(guān)系信息來(lái)產(chǎn)生區(qū)域特征量和目標(biāo)特征量,該特征量合成裝置根據(jù)該目標(biāo)特征量和該第一區(qū)域?qū)?yīng)關(guān)系信息產(chǎn)生用作將被放置于用于不同目標(biāo)區(qū)域的對(duì)應(yīng)關(guān)系中的候選項(xiàng)的合成的特征量,以便提供合成的特征量信息,其中該合成的特征量信息是包括合成的特征量以及在該合成的特征量和用于該合成的特征量的產(chǎn)生的目標(biāo)之間的對(duì)應(yīng)關(guān)系的信息,以及該對(duì)應(yīng)關(guān)系建立裝置包括一個(gè)對(duì)應(yīng)關(guān)系確定裝置,根據(jù)該第一區(qū)域?qū)?yīng)關(guān)系信息、屬于是指示該區(qū)域特征量的信息的區(qū)域特征量信息和該合成特征量信息而將目標(biāo)和目標(biāo)區(qū)域相關(guān)以放置于該對(duì)應(yīng)關(guān)系中,以便提供已被在目前時(shí)間確定的該對(duì)應(yīng)關(guān)系信息。即使在感興趣部分的一個(gè)目標(biāo)之后仍然有多個(gè)目標(biāo)存在于一個(gè)目標(biāo)區(qū)域中或當(dāng)兩個(gè)組相交時(shí)如果在一個(gè)重疊或交叉狀態(tài)中的目標(biāo)組的每一個(gè)被位置互換,這種設(shè)計(jì)也能實(shí)現(xiàn)防止建立目標(biāo)和目標(biāo)區(qū)域之間的錯(cuò)誤的對(duì)應(yīng)關(guān)系。
在該目標(biāo)跟蹤裝置中,跟蹤的狀態(tài)最好包括下列的情況之一或組合一個(gè)單獨(dú)狀態(tài),其中在一個(gè)目標(biāo)區(qū)域中僅駐留單一目標(biāo);一個(gè)交叉狀態(tài),其中多個(gè)目標(biāo)對(duì)應(yīng)于單個(gè)目標(biāo)區(qū)域;以及一個(gè)分離狀態(tài),即其中單一目標(biāo)區(qū)域被分離成多個(gè)目標(biāo)區(qū)域的一種過(guò)渡狀態(tài)。這將實(shí)現(xiàn)一個(gè)目標(biāo)相對(duì)于另一目標(biāo)的位置關(guān)系的判定。
最好是,該特征量產(chǎn)生裝置產(chǎn)生區(qū)域特征量,每個(gè)區(qū)域特征量包括彩色直方圖、區(qū)域、圖像模板和相對(duì)于該區(qū)域標(biāo)準(zhǔn)化的彩色直方圖的之一或一個(gè)組合,并且從該第一區(qū)域?qū)?yīng)關(guān)系信息中尋找對(duì)應(yīng)于該感興趣目標(biāo)的一個(gè)目標(biāo)區(qū)域,并且產(chǎn)生彩色直方圖、區(qū)域、圖像模板和相對(duì)于該目標(biāo)區(qū)域的區(qū)域標(biāo)準(zhǔn)化的色彩直方圖的至少一個(gè)或一個(gè)組合作為一個(gè)目標(biāo)特征量。
最好是,該跟蹤狀態(tài)判定裝置包括一個(gè)目標(biāo)區(qū)域儲(chǔ)存裝置,用于儲(chǔ)存該目標(biāo)區(qū)域信息,一個(gè)目標(biāo)跟蹤裝置,用于根據(jù)該目標(biāo)區(qū)域信息、已被確定的對(duì)應(yīng)關(guān)系信息和在當(dāng)前從該目標(biāo)區(qū)域儲(chǔ)存裝置提供的目標(biāo)區(qū)域信息之前的目標(biāo)區(qū)域信息而跟蹤一個(gè)目標(biāo),并且進(jìn)一步用于提供指示在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的一個(gè)第二區(qū)域?qū)?yīng)關(guān)系信息,以及一個(gè)狀態(tài)判定裝置,用于根據(jù)該第二區(qū)域?qū)?yīng)關(guān)系信息、該目標(biāo)區(qū)域信息和在當(dāng)前的之前的目標(biāo)區(qū)域信息而判定目標(biāo)跟蹤的狀態(tài),并且提供該第一區(qū)域?qū)?yīng)關(guān)系信息。
最好是,該狀態(tài)判定裝置根據(jù)在目標(biāo)和目標(biāo)區(qū)域之間的該對(duì)應(yīng)關(guān)系、從該第二區(qū)域?qū)?yīng)關(guān)系信息獲得的在目標(biāo)區(qū)域和目標(biāo)區(qū)域的分離的連續(xù)周期之間的距離、以及目標(biāo)區(qū)域信息的至少之一或一個(gè)組合而分組在其對(duì)應(yīng)的目標(biāo)區(qū)域中具有一個(gè)共同區(qū)域的目標(biāo)以便把該目標(biāo)和對(duì)應(yīng)的目標(biāo)區(qū)域分類成一個(gè)類別,并且把其對(duì)應(yīng)的目標(biāo)區(qū)域不同于任何其它目標(biāo)的目標(biāo)以及與之對(duì)應(yīng)的目標(biāo)區(qū)域分類成一個(gè)類別,以便該目標(biāo)和目標(biāo)區(qū)域分類成多個(gè)類別,并且根據(jù)該分類的類別來(lái)判定該跟蹤的狀態(tài)。
最好是,該跟蹤狀態(tài)包括屬于是一種過(guò)渡狀態(tài)的進(jìn)行分離(parting)狀態(tài),通過(guò)這種狀態(tài)把一個(gè)目標(biāo)區(qū)域分離成多個(gè)目標(biāo)區(qū)域。
如果兩個(gè)或多個(gè)目標(biāo)區(qū)域被包括在一個(gè)分類的類別中,則該狀態(tài)判定裝置判定該類別符合在一個(gè)進(jìn)行分離狀態(tài)中的條件,并且如果一個(gè)類別符合在進(jìn)行分離狀態(tài)的條件的話,則該狀態(tài)判定裝置判定包括在該類別中的該目標(biāo)和目標(biāo)區(qū)域的跟蹤的狀態(tài)是進(jìn)行分離的狀態(tài)。
最好是,如果該分類的類別滿足在進(jìn)行分離狀態(tài)中的條件并且如果該分類的類別滿足條件即,兩個(gè)或多個(gè)目標(biāo)被包括在該類別中、在該類別中包括的目標(biāo)區(qū)域之間的每一個(gè)距離都超過(guò)一個(gè)預(yù)定門限值、以及該類別中包括的該目標(biāo)區(qū)域的分離的連續(xù)周期超過(guò)一個(gè)預(yù)定門限值的至少之一或一個(gè)組合,則該狀態(tài)判定裝置判定包括在該類別中的目標(biāo)和目標(biāo)區(qū)域的跟蹤狀態(tài)是進(jìn)行分離狀態(tài)。這一設(shè)計(jì)將使得能夠防止導(dǎo)致一個(gè)感興趣的目標(biāo)相對(duì)于另一目標(biāo)是在一個(gè)進(jìn)行分離的狀態(tài)的位置關(guān)系的錯(cuò)誤判定。
最好是,該跟蹤的狀態(tài)包括一個(gè)進(jìn)行分離的狀態(tài)和其中單一目標(biāo)駐存在一個(gè)目標(biāo)區(qū)域中的一個(gè)單獨(dú)狀態(tài),并且,如果該分類的類別僅包括一個(gè)目標(biāo)并且如果包括在該類別中的目標(biāo)和目標(biāo)區(qū)域的跟蹤的狀態(tài)不是進(jìn)行分離的狀態(tài),則該狀態(tài)判定裝置判定包括在該類別中的目標(biāo)和該目標(biāo)區(qū)域的跟蹤的狀態(tài)是該單獨(dú)的狀態(tài)。
最好是,該跟蹤的狀態(tài)包括一個(gè)進(jìn)行分開(kāi)的狀態(tài)以及其中多個(gè)目標(biāo)是處在與一個(gè)目標(biāo)區(qū)域的對(duì)應(yīng)關(guān)系的一個(gè)交叉狀態(tài),并且,如果一個(gè)分類的類別包括兩個(gè)或多個(gè)目標(biāo)并且如果包括在該類別中的目標(biāo)和目標(biāo)區(qū)域的跟蹤的狀態(tài)不是進(jìn)行分離的狀態(tài),則該狀態(tài)判定裝置判定包括在該類別中的目標(biāo)和該目標(biāo)區(qū)域的跟蹤的狀態(tài)是交叉狀態(tài)。
最好是,該特征量產(chǎn)生裝置包括特征量提取裝置,用于從圖像信息、目標(biāo)區(qū)域信息和第一區(qū)域?qū)?yīng)關(guān)系信息提取區(qū)域特征量,并且用于提供屬于是指示該區(qū)域特征量的信息的該區(qū)域特征量信息;特征量存儲(chǔ)裝置,用于存儲(chǔ)目標(biāo)特征量并且選擇該存儲(chǔ)的目標(biāo)特征量,以便按照要求提供該選擇的目標(biāo)特征量;以及特征量更新裝置,用于根據(jù)該區(qū)域特征量信息、該第一區(qū)域?qū)?yīng)關(guān)系信息或已被確定的對(duì)應(yīng)關(guān)系信息以及在當(dāng)前之前產(chǎn)生的目標(biāo)特征量而更新存儲(chǔ)在該特征量存儲(chǔ)裝置中的該目標(biāo)特征量。
最好是,該跟蹤狀態(tài)包括屬于是一種過(guò)渡狀態(tài)的進(jìn)行分離的狀態(tài),通過(guò)這種狀態(tài)把一個(gè)目標(biāo)區(qū)域分離成多個(gè)目標(biāo)區(qū)域,以及該特征量提取裝置提取包括在區(qū)域特征量信息中,指示不需要建立對(duì)應(yīng)針對(duì)目標(biāo)區(qū)域的目標(biāo)的對(duì)應(yīng)關(guān)系的信息,表示在其跟蹤狀態(tài)中的除了進(jìn)行分離的狀態(tài)之外的狀態(tài),和該對(duì)應(yīng)關(guān)系確定裝置從該對(duì)應(yīng)關(guān)系的建立中排除在該區(qū)域特征量信息中被指示為不需要建立對(duì)于目標(biāo)的對(duì)應(yīng)關(guān)系的目標(biāo)區(qū)域。這種設(shè)計(jì)將實(shí)現(xiàn)降低用于該相似程度的計(jì)算的計(jì)算量。
最好是,該跟蹤的狀態(tài)包括其中單一目標(biāo)駐存在一個(gè)目標(biāo)區(qū)域中的一種單獨(dú)狀態(tài),并且該特征量更新裝置根據(jù)該第一區(qū)域?qū)?yīng)關(guān)系信息或已經(jīng)確定的對(duì)應(yīng)關(guān)系信息判定一個(gè)目標(biāo)的跟蹤的狀態(tài)是否為該單獨(dú)的狀態(tài),并且如果該目標(biāo)的跟蹤的狀態(tài)是除了該單獨(dú)狀態(tài)之外的狀態(tài),則不更新存儲(chǔ)在該特征量存儲(chǔ)裝置中的該目標(biāo)特征量。
最好是,該特征量合成裝置根據(jù)由該特征量產(chǎn)生裝置產(chǎn)生的該目標(biāo)特征量和該第一區(qū)域?qū)?yīng)關(guān)系信息確定全部可能的目標(biāo)和目標(biāo)區(qū)域的組合,并且僅合成針對(duì)該確定的目標(biāo)和目標(biāo)區(qū)域的組合的目標(biāo)特征量,以便產(chǎn)生合成的特征量。這種設(shè)計(jì)實(shí)現(xiàn)除去用于產(chǎn)生不必要的合成的特征量的過(guò)程。
最好是,特征量合成裝置計(jì)算合成比例,該合成比例是用于調(diào)整該目標(biāo)特征量被合成的比例的系數(shù),并且根據(jù)該合成比例和目標(biāo)特征量產(chǎn)生合成的特征量。通過(guò)上述設(shè)計(jì),實(shí)現(xiàn)在該圖像空間中的該目標(biāo)的幅度不同于該目標(biāo)的實(shí)際幅度時(shí)對(duì)于由一個(gè)目標(biāo)的幅值產(chǎn)生的誤差的校正。
最好是,該特征量合成裝置從該特征量產(chǎn)生裝置接收區(qū)域特征量以及目標(biāo)特征量,在該接收的區(qū)域特征量信息和目標(biāo)特征量的基礎(chǔ)上計(jì)算根據(jù)期望的合成比例的合成的特征量,并且提供針對(duì)產(chǎn)生在該計(jì)算的合成的特征量和該區(qū)域特征量之間的全部相似性程度的最高值的合成比例的合成的特征量。僅根據(jù)一個(gè)合成的特征量計(jì)算的相似程度就足以用于目標(biāo)和目標(biāo)區(qū)域的全部組合,從而能夠省略冗長(zhǎng)的計(jì)算過(guò)程。
最好是,該跟蹤狀態(tài)包括屬于是一種過(guò)渡狀態(tài)的進(jìn)行分離的狀態(tài),通過(guò)這種狀態(tài)把一個(gè)目標(biāo)區(qū)域分離成多個(gè)目標(biāo)區(qū)域,并且該特征量合成裝置僅針對(duì)被指示為具有進(jìn)行分離的狀態(tài)作為其跟蹤狀態(tài)的目標(biāo)區(qū)域而產(chǎn)生合成的特征量。這種設(shè)計(jì)實(shí)現(xiàn)除去用于產(chǎn)生不必要的合成的特征量的過(guò)程。
最好是,該目標(biāo)特征量包括一個(gè)目標(biāo)的一個(gè)區(qū)域,并且特征量合成裝置根據(jù)包括在該目標(biāo)特征量中的目標(biāo)的區(qū)域計(jì)算屬于是用于調(diào)整該目標(biāo)特征量被合成的比例的合成比例,并且從該合成比例和該目標(biāo)特征量產(chǎn)生合成的特征量。這種設(shè)計(jì)實(shí)現(xiàn)了降低用于計(jì)算該合成比例的計(jì)算量。
最好是,該特征量合成裝置根據(jù)該目標(biāo)的區(qū)域中的變化把該合成比例限制在一個(gè)預(yù)定范圍之內(nèi)。這種設(shè)計(jì)使得即使當(dāng)在一個(gè)圖像中的一個(gè)目標(biāo)區(qū)域改變時(shí)也實(shí)現(xiàn)一個(gè)正確的合成比例。
最好是,該特征量合成裝置從該特征量產(chǎn)生裝置接收與目標(biāo)特征量一起的區(qū)域特征量,根據(jù)該接收的區(qū)域特征量和目標(biāo)特征量計(jì)算在該目標(biāo)區(qū)域中的變化范圍之內(nèi)的合成的特征量,并且提供具有與該感興趣的目標(biāo)區(qū)域的區(qū)域特征量最高相似程度的合成的特征量。通過(guò)這種設(shè)計(jì),針對(duì)每一個(gè)目標(biāo)組合僅提供一個(gè)合成的特征量就足夠,從而能夠除去冗長(zhǎng)的過(guò)程。
最好是,該目標(biāo)特征量包括表示一個(gè)目標(biāo)的形狀和顏色的一個(gè)圖像模板,并且該特征量合成裝置從該圖像模板和區(qū)域特征量判定每一個(gè)目標(biāo)的前后(back-to-belly)關(guān)系,并且通過(guò)根據(jù)分別判定的該目標(biāo)的前后關(guān)系而合成該圖像模板來(lái)獲得該合成的特征量。這種設(shè)計(jì)將使得即使當(dāng)任意對(duì)象局部地重疊在另一目標(biāo)之后時(shí),也能夠?qū)崿F(xiàn)在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的計(jì)算。
最好是,該對(duì)應(yīng)關(guān)系確定裝置提供有對(duì)應(yīng)關(guān)系計(jì)算裝置,用于根據(jù)該合成特征量信息、該區(qū)域特征量信息和該第一區(qū)域?qū)?yīng)關(guān)系信息從可能以對(duì)應(yīng)關(guān)系相關(guān)的該目標(biāo)和目標(biāo)區(qū)域的全部可能的組合中計(jì)算該最高相似性的目標(biāo)和目標(biāo)區(qū)域的組合,選擇該計(jì)算的目標(biāo)和目標(biāo)區(qū)域的組合作為一個(gè)最佳組合,并且產(chǎn)生指示在目標(biāo)和目標(biāo)區(qū)域之間的該最佳對(duì)應(yīng)關(guān)系的最佳對(duì)應(yīng)關(guān)系信息,以及對(duì)應(yīng)關(guān)系判定裝置,用于根據(jù)該第一區(qū)域?qū)?yīng)關(guān)系信息和該最佳對(duì)應(yīng)關(guān)系信息確定在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系,并且提供已經(jīng)確定的屬于是包括該判定的目標(biāo)和目標(biāo)區(qū)域之間對(duì)應(yīng)關(guān)系的信息的該對(duì)應(yīng)關(guān)系信息。這種設(shè)計(jì)實(shí)現(xiàn)在目標(biāo)和目標(biāo)區(qū)域以對(duì)應(yīng)關(guān)系相關(guān)時(shí)最佳對(duì)應(yīng)關(guān)系的選擇。
最好是,該對(duì)應(yīng)關(guān)系計(jì)算裝置計(jì)算針對(duì)目標(biāo)和目標(biāo)區(qū)域的全部可能組合的每一個(gè)的總計(jì)相似程度,該總計(jì)相似程度是在該目標(biāo)區(qū)域的特征量和在每一個(gè)組合中的合成的特征量之間該相似程度的一個(gè)取和,并且判定為是關(guān)于全部可能組合的最高總計(jì)相似程度的組合的最高相似性的組合。
最好是,該第一區(qū)域?qū)?yīng)關(guān)系信息包括關(guān)于一個(gè)休止/移動(dòng)狀態(tài)的信息,該休止/移動(dòng)狀態(tài)的信息指示一個(gè)目標(biāo)區(qū)域是否在休止或移動(dòng)中,并且該對(duì)應(yīng)關(guān)系計(jì)算裝置從全部可能的組合中排除在該關(guān)于休止/移動(dòng)狀態(tài)的信息中被指示為休止的目標(biāo)和目標(biāo)區(qū)域的組合。這設(shè)計(jì)通過(guò)專門計(jì)算其中在其休止/移動(dòng)狀態(tài)中的展現(xiàn)休止?fàn)顟B(tài)不能以對(duì)應(yīng)關(guān)系與任何目標(biāo)相關(guān)的組合而降低該對(duì)應(yīng)關(guān)系計(jì)算裝置的計(jì)算量。
最好是,如果能夠從該目標(biāo)和目標(biāo)區(qū)域的集的相似程度中獲得的組合相似程度等于或低于一個(gè)預(yù)定門限值,而所說(shuō)的目標(biāo)和目標(biāo)區(qū)域的集構(gòu)成被判定是排列為最高相似性的組合,則所說(shuō)的對(duì)應(yīng)關(guān)系計(jì)算裝置從排列為目標(biāo)和目標(biāo)區(qū)域的全部可能組合的最高的相似性的組合相似程度的組合中選擇在該預(yù)定門限值之內(nèi)的該組合相似程度的組合,把對(duì)于該選擇的組合所共有的目標(biāo)和目標(biāo)區(qū)域的對(duì)應(yīng)關(guān)系包括到該最佳對(duì)應(yīng)關(guān)系信息中作為最佳對(duì)應(yīng)關(guān)系,而且針對(duì)具有未被包括在對(duì)于該選擇的組合所共有的目標(biāo)和目標(biāo)區(qū)域的對(duì)應(yīng)關(guān)系中的對(duì)應(yīng)關(guān)系的目標(biāo)和目標(biāo)區(qū)域,把指示不存在該目標(biāo)和目標(biāo)區(qū)域之間的最佳對(duì)應(yīng)關(guān)系的信息包括到該最佳對(duì)應(yīng)關(guān)系信息中;針對(duì)未被指示為在該最佳對(duì)應(yīng)關(guān)系信息中不對(duì)任何目標(biāo)區(qū)域有最佳的對(duì)應(yīng)關(guān)系的目標(biāo),該對(duì)應(yīng)關(guān)系判定裝置提供信息,該信息把在該最佳對(duì)應(yīng)關(guān)系信息中包括的目標(biāo)和目標(biāo)區(qū)域的對(duì)應(yīng)關(guān)系的信息指示作為已被確定的對(duì)應(yīng)關(guān)系信息;以及針對(duì)被指示為在該最佳對(duì)應(yīng)關(guān)系信息中不對(duì)任何目標(biāo)區(qū)域有最佳的對(duì)應(yīng)關(guān)系的目標(biāo),該對(duì)應(yīng)關(guān)系判定裝置提供信息,該信息把在該第一區(qū)域?qū)?yīng)關(guān)系信息中包括的目標(biāo)和目標(biāo)區(qū)域的對(duì)應(yīng)關(guān)系的信息指示作為已被確定的對(duì)應(yīng)關(guān)系信息。這種設(shè)計(jì)使得避免錯(cuò)誤地選擇在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系。
最好是,該跟蹤狀態(tài)包括屬于是一種過(guò)渡狀態(tài)的進(jìn)行分離的狀態(tài),通過(guò)這種狀態(tài)把一個(gè)目標(biāo)區(qū)域分離成多個(gè)目標(biāo)區(qū)域,并且該對(duì)應(yīng)關(guān)系判定裝置確定在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系,該對(duì)應(yīng)關(guān)系將被在僅針對(duì)展示一種進(jìn)行分離的狀態(tài)作為其跟蹤狀態(tài)的目標(biāo)區(qū)域的最佳對(duì)應(yīng)關(guān)系信息中指示。這設(shè)計(jì)實(shí)現(xiàn)用于判定在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的過(guò)程縮減。
最好是,該跟蹤狀態(tài)包括屬于是一種過(guò)渡狀態(tài)的進(jìn)行分離的狀態(tài),通過(guò)這種狀態(tài)把一個(gè)目標(biāo)區(qū)域分離成多個(gè)目標(biāo)區(qū)域,并且該對(duì)應(yīng)關(guān)系判定裝置提供包括在該第一區(qū)域?qū)?yīng)關(guān)系信息中的在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系作為僅針對(duì)在其跟蹤狀態(tài)中展現(xiàn)除進(jìn)行分離的狀態(tài)之外的狀態(tài)的目標(biāo)區(qū)域的已被確定的對(duì)應(yīng)關(guān)系信息。該設(shè)計(jì)實(shí)現(xiàn)了用于判定在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的過(guò)程簡(jiǎn)化。
根據(jù)本發(fā)明的目標(biāo)跟蹤方法是一種用于根據(jù)圖像信息跟蹤一個(gè)目標(biāo)的目標(biāo)跟蹤方法。該方法包括步驟合成表示包括在該圖像信息中的分別目標(biāo)的特征量的目標(biāo)特征量,以便產(chǎn)生一個(gè)合成的特征量,并且根據(jù)該合成的特征量和該目標(biāo)區(qū)域的特征量的相似程度建立在一個(gè)或幾個(gè)目標(biāo)和目標(biāo)區(qū)域之間的一個(gè)對(duì)應(yīng)關(guān)系,其中該目標(biāo)區(qū)域是從該圖像信息中提取的一個(gè)區(qū)域并且包括一個(gè)或幾個(gè)目標(biāo)。
本目標(biāo)跟蹤方法最好包括步驟針對(duì)多個(gè)目標(biāo)的全部需要的組合的每一個(gè)合成特征量,以便產(chǎn)生一個(gè)合成的特征量,并且通過(guò)比較產(chǎn)生的合成的特征量和表示該目標(biāo)區(qū)域的特征量的區(qū)域特征量而建立在一個(gè)或幾個(gè)目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系。上述方法使得在目標(biāo)和目標(biāo)區(qū)域被以對(duì)應(yīng)關(guān)系相關(guān)時(shí)而能夠選擇在目標(biāo)和目標(biāo)區(qū)域之間的最佳對(duì)應(yīng)關(guān)系。
本目標(biāo)跟蹤方法最好包括步驟從該圖像信息中提取一個(gè)目標(biāo)區(qū)域,以便提供包括關(guān)于該目標(biāo)區(qū)域的該圖像信息的目標(biāo)區(qū)域信息,針對(duì)一個(gè)或幾個(gè)目標(biāo)區(qū)域的每一個(gè)判定表示相對(duì)于另一目標(biāo)的一個(gè)相對(duì)位置的一個(gè)跟蹤狀態(tài),通過(guò)使用圖像信息、目標(biāo)區(qū)域信息、和該判定結(jié)果產(chǎn)生區(qū)域特征量、目標(biāo)特征量,并且通過(guò)使用該目標(biāo)特征量和該判定結(jié)果產(chǎn)生合成的特征量。上述方法使得實(shí)現(xiàn)根據(jù)相對(duì)于另一目標(biāo)的位置關(guān)系而產(chǎn)生合成的特征量。
該目標(biāo)跟蹤方法最好包括步驟根據(jù)該目標(biāo)區(qū)域信息和已經(jīng)確定的指示在目標(biāo)區(qū)域和當(dāng)前之前的目標(biāo)之間的對(duì)應(yīng)關(guān)系的對(duì)應(yīng)關(guān)系信息而判定每一目標(biāo)或每一目標(biāo)區(qū)域的跟蹤的狀態(tài),以便提供指示在該目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系以及跟蹤的狀態(tài)的第一區(qū)域?qū)?yīng)關(guān)系信息;根據(jù)該當(dāng)前圖像信息、該目標(biāo)區(qū)域信息、該第一區(qū)域?qū)?yīng)關(guān)系信息和已被確定的對(duì)應(yīng)關(guān)系信息來(lái)產(chǎn)生區(qū)域特征量和目標(biāo)特征量;根據(jù)該目標(biāo)特征量和該第一區(qū)域?qū)?yīng)關(guān)系信息產(chǎn)生起到將被放置于用于每一個(gè)目標(biāo)區(qū)域的對(duì)應(yīng)關(guān)系中的候選項(xiàng)作用的一個(gè)合成的特征量,以便提供該合成特征量信息,該信息是包括合成的特征量和在合成的特征量和用于產(chǎn)生該感興趣的合成的特征量的目標(biāo)之間的對(duì)應(yīng)關(guān)系的信息,以及根據(jù)該第一區(qū)域?qū)?yīng)關(guān)系信息、屬于是指示該區(qū)域特征量的信息的區(qū)域特征量信息、以及合成特征量信息建立在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系,以便提供已被目前確定的該對(duì)應(yīng)關(guān)系信息。上述方法使得能夠防止在當(dāng)目標(biāo)發(fā)生交叉時(shí)在一個(gè)目標(biāo)分離或幾個(gè)目標(biāo)互換之后出現(xiàn)于一個(gè)目標(biāo)區(qū)域中的多個(gè)目標(biāo)情況下的目標(biāo)和目標(biāo)區(qū)域之間的錯(cuò)誤的對(duì)應(yīng)關(guān)系。
在該目標(biāo)跟蹤方法中,該跟蹤的狀態(tài)包括一單獨(dú)狀態(tài),其中在一個(gè)目標(biāo)區(qū)域中僅存在單一目標(biāo);一個(gè)交叉狀態(tài),其中在一個(gè)目標(biāo)區(qū)域中存在多個(gè)目標(biāo);或一個(gè)進(jìn)行分離的狀態(tài),屬于是一個(gè)過(guò)渡狀態(tài),一個(gè)目標(biāo)區(qū)域通過(guò)該狀態(tài)分離成多個(gè)目標(biāo)區(qū)域。
該目標(biāo)跟蹤方法最好被開(kāi)發(fā)而使得該方法包括步驟產(chǎn)生彩色直方圖、區(qū)域、圖像模板以及相對(duì)于分別的區(qū)域標(biāo)準(zhǔn)化的彩色直方圖的至少之一或一個(gè)組合作為目標(biāo)區(qū)域的一個(gè)區(qū)域特征量,以及從該第一區(qū)域?qū)?yīng)關(guān)系信息中尋找對(duì)應(yīng)于該目標(biāo)的目標(biāo)區(qū)域,并且產(chǎn)生彩色直方圖、區(qū)域、圖像模板以及相對(duì)于該目標(biāo)區(qū)域的分別區(qū)域標(biāo)準(zhǔn)化的彩色直方圖的至少之一或一個(gè)組合作為一個(gè)目標(biāo)特征量。
該目標(biāo)跟蹤方法最好被開(kāi)發(fā)而使得該方法包括步驟儲(chǔ)存該目標(biāo)區(qū)域信息,根據(jù)該目標(biāo)區(qū)域信息、已經(jīng)確定的對(duì)應(yīng)關(guān)系信息和在當(dāng)前之前的目標(biāo)區(qū)域信息而跟蹤一個(gè)目標(biāo),以便提供指示在該目標(biāo)和目標(biāo)區(qū)域之間對(duì)應(yīng)關(guān)系的一個(gè)第二區(qū)域?qū)?yīng)關(guān)系信息,以及根據(jù)該第二區(qū)域?qū)?yīng)關(guān)系信息、該目標(biāo)區(qū)域信息和在當(dāng)前之前的目標(biāo)區(qū)域信息而判定目標(biāo)跟蹤的狀態(tài),以便提供該第一區(qū)域?qū)?yīng)關(guān)系信息。
該目標(biāo)跟蹤方法最好被開(kāi)發(fā)而使得該方法包括步驟通過(guò)下列方式把目標(biāo)和目標(biāo)區(qū)域分類成多個(gè)類別分組該目標(biāo),該組的目標(biāo)區(qū)域具有一共同的對(duì)應(yīng)區(qū)域,以便把該目標(biāo)和該對(duì)應(yīng)的目標(biāo)區(qū)域列入在一個(gè)類別中;并且針對(duì)與對(duì)應(yīng)于任何其它目標(biāo)的目標(biāo)區(qū)域不同的目標(biāo)區(qū)域?qū)?yīng)的目標(biāo),根據(jù)在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系、在目標(biāo)區(qū)域之間的距離、以及從該第二區(qū)域?qū)?yīng)關(guān)系信息和該目標(biāo)區(qū)域信息計(jì)算的用于目標(biāo)區(qū)域的正在進(jìn)行分離(on-parting)的持續(xù)周期,把該目標(biāo)和該對(duì)應(yīng)的目標(biāo)區(qū)域注冊(cè)在一個(gè)類別中;并且根據(jù)該分類的類別判定該跟蹤的狀態(tài)。
該目標(biāo)跟蹤方法最好被開(kāi)發(fā)而使得該跟蹤的狀態(tài)包括一種屬于是過(guò)渡狀態(tài)的進(jìn)行分離的狀態(tài),通過(guò)該進(jìn)行分離的狀態(tài)將單一目標(biāo)區(qū)域分離成多個(gè)目標(biāo)區(qū)域,并且如果一個(gè)分類的類別包括兩個(gè)或更多的目標(biāo)區(qū)域,則該目標(biāo)跟蹤方法判定該分類的類別符合正在進(jìn)行分離的狀態(tài)的條件,以及如果一個(gè)類別滿足該正在進(jìn)行分離的狀態(tài)的條件,則根據(jù)跟蹤該目標(biāo)的狀態(tài)和包括在感興趣的類別中的目標(biāo)區(qū)域來(lái)判定該進(jìn)行分離的狀態(tài)。
該目標(biāo)跟蹤方法最好被開(kāi)發(fā)而使得如果該分類的類別符合該進(jìn)行分離的狀態(tài)的條件并且還滿足下列條件的至少之一或一個(gè)組合,則該目標(biāo)跟蹤方法判定包括在該類別中的目標(biāo)和目標(biāo)區(qū)域的跟蹤狀態(tài)是一個(gè)進(jìn)行分離的狀態(tài)該類別包括兩個(gè)或更多的目標(biāo)、包括在該分類中的在目標(biāo)區(qū)域之間的距離超過(guò)一個(gè)預(yù)定門限值、以及包括在該類別中的該目標(biāo)區(qū)域的分離的連續(xù)周期超過(guò)一個(gè)預(yù)定門限值。上述方法使得能夠防止相關(guān)于其它目標(biāo)的一個(gè)目標(biāo)的位置被錯(cuò)誤地判定為是在進(jìn)行分離的狀態(tài)。
該目標(biāo)跟蹤方法最好被開(kāi)發(fā)而使得該跟蹤的狀態(tài)包括進(jìn)行分離的狀態(tài)和其中單一目標(biāo)存在于一個(gè)目標(biāo)區(qū)域中的單獨(dú)狀態(tài),并且本目標(biāo)跟蹤方法包括步驟如果該分類的類別包括單一目標(biāo)并且包括在該類別中的目標(biāo)和目標(biāo)區(qū)域的跟蹤的狀態(tài)都是進(jìn)行分離的狀態(tài),則判定該目標(biāo)和目標(biāo)區(qū)域的跟蹤的狀態(tài)是單獨(dú)狀態(tài)。
該目標(biāo)跟蹤方法最好被開(kāi)發(fā)而使得該跟蹤的狀態(tài)包括該進(jìn)行分開(kāi)的狀態(tài)以及其中多個(gè)目標(biāo)對(duì)應(yīng)于單一目標(biāo)區(qū)域的該交叉狀態(tài),并且該目標(biāo)跟蹤方法包括步驟如果該類別包括兩個(gè)或更多的目標(biāo)并且包括在該類別中的目標(biāo)和目標(biāo)區(qū)域的跟蹤的狀態(tài)都不是該進(jìn)行分離的狀態(tài),則判定包括在該分類的類別中的目標(biāo)和目標(biāo)區(qū)域的跟蹤狀態(tài)是交叉狀態(tài)。
該目標(biāo)跟蹤方法最好被開(kāi)發(fā)而使得該方法包括步驟從圖像信息、目標(biāo)區(qū)域信息和第一區(qū)域?qū)?yīng)關(guān)系信息提取區(qū)域特征量以便提供指示該區(qū)域特征量信息的該區(qū)域特征量信息,存儲(chǔ)該目標(biāo)特征量,選擇將被按照要求提供的該存儲(chǔ)的目標(biāo)特征量,并且根據(jù)該區(qū)域特征量信息、該第一區(qū)域?qū)?yīng)關(guān)系信息或該已經(jīng)確定的該對(duì)應(yīng)關(guān)系信息以及在當(dāng)前之前產(chǎn)生的該目標(biāo)特征量而更新該存儲(chǔ)的目標(biāo)特征量。
該目標(biāo)跟蹤方法最好被開(kāi)發(fā)而使得該跟蹤狀態(tài)包括屬于是一種過(guò)渡狀態(tài)的進(jìn)行分離的狀態(tài),通過(guò)這種狀態(tài)把一個(gè)目標(biāo)區(qū)域分離成多個(gè)目標(biāo)區(qū)域,并且該目標(biāo)跟蹤方法包括步驟針對(duì)在其跟蹤狀態(tài)中被指示為具有除了該進(jìn)行分離狀態(tài)之外的狀態(tài)的目標(biāo)區(qū)域,把指示不需要建立與任何目標(biāo)的對(duì)應(yīng)關(guān)系的信息包括到該區(qū)域特征量信息中,并且從對(duì)應(yīng)關(guān)系的建立中排除那些在該區(qū)域?qū)?yīng)關(guān)系信息中被指示不需要建立與任何目標(biāo)的對(duì)應(yīng)關(guān)系信息的目標(biāo)區(qū)域。上述方法實(shí)現(xiàn)降低用于計(jì)算相似程度的計(jì)算量。
該目標(biāo)跟蹤方法最好被開(kāi)發(fā)而使得該跟蹤的狀態(tài)包括其中單一目標(biāo)存在于一個(gè)目標(biāo)區(qū)域中的單獨(dú)狀態(tài),并且該目標(biāo)跟蹤方法包括步驟根據(jù)該第一區(qū)域?qū)?yīng)關(guān)系信息或已經(jīng)確定的對(duì)應(yīng)關(guān)系信息判定該跟蹤的狀態(tài)是否為該單獨(dú)的狀態(tài),并且如果一個(gè)目標(biāo)的跟蹤的狀態(tài)是除了該單獨(dú)狀態(tài)之外的任何狀態(tài),則跳過(guò)該更新存儲(chǔ)的目標(biāo)特征量的步驟。上述過(guò)程實(shí)現(xiàn)刪除不必要的目標(biāo)特征量的更新處理。
該目標(biāo)跟蹤方法最好被開(kāi)發(fā)而使得該方法包括步驟根據(jù)目標(biāo)特征量和該第一區(qū)域?qū)?yīng)關(guān)系信息而確定該目標(biāo)和目標(biāo)區(qū)域的全部可能的組合,并且合成目標(biāo)特征量,以便產(chǎn)生僅針對(duì)目標(biāo)和目標(biāo)區(qū)域的確定的組合的合成的特征量。以此方式,能夠刪去產(chǎn)生不必要的合成的特征量的處理。
該目標(biāo)跟蹤方法最好被開(kāi)發(fā)而使得該方法包括步驟尋找合成比例,該合成比例是用于調(diào)整將被合成的該目標(biāo)特征量的比例的系數(shù),并且根據(jù)該合成比例和目標(biāo)特征量產(chǎn)生合成的特征量。通過(guò)上述過(guò)程,實(shí)現(xiàn)在該圖像空間中的該目標(biāo)的幅度不同于該目標(biāo)的實(shí)際幅度時(shí)對(duì)于由一個(gè)目標(biāo)的幅值產(chǎn)生的誤差的校正。
該目標(biāo)跟蹤方法最好被開(kāi)發(fā)而使得該方法包括步驟接收連同目標(biāo)特征量一起的區(qū)域特征量,根據(jù)該接收的區(qū)域特征量信息和該目標(biāo)特征量計(jì)算用于任意合成比例的合成的特征量,并且提供對(duì)應(yīng)于在區(qū)域特征量和該計(jì)算合成的特征量之間的最高相似程度的合成的特征量。通過(guò)實(shí)施上述過(guò)程,僅根據(jù)用于目標(biāo)和目標(biāo)區(qū)域的每一個(gè)組合的一個(gè)合成的特征量就足以計(jì)算一個(gè)相似程度,從而能夠省略冗長(zhǎng)的計(jì)算過(guò)程。
該目標(biāo)跟蹤方法最好被開(kāi)發(fā)而使得該跟蹤狀態(tài)包括是一種過(guò)渡狀態(tài)的進(jìn)行分離的狀態(tài),通過(guò)該進(jìn)行分離的狀態(tài)把一個(gè)目標(biāo)區(qū)域分離成多個(gè)目標(biāo)區(qū)域,并且該目標(biāo)跟蹤方法包括步驟僅針對(duì)被指示為在其跟蹤狀態(tài)中的進(jìn)行分離的狀態(tài)才產(chǎn)生合成的特征量。上述過(guò)程使得降低用于產(chǎn)生冗長(zhǎng)合成的特征量的過(guò)程。
該目標(biāo)跟蹤方法最好被開(kāi)發(fā)而使得該目標(biāo)特征量包括一個(gè)目標(biāo)的區(qū)域,并且該目標(biāo)跟蹤方法包括步驟根據(jù)該目標(biāo)的區(qū)域計(jì)算用于調(diào)整將被合成的該目標(biāo)特征量的比例的一個(gè)系數(shù)的一個(gè)合成比例,并且從該計(jì)算的合成比例以及目標(biāo)特征量產(chǎn)生一個(gè)合成的特征量。這種過(guò)程實(shí)現(xiàn)了降低用于計(jì)算一個(gè)合成比例的計(jì)算量。
該目標(biāo)跟蹤方法最好被開(kāi)發(fā)而使得該合成比例被限制在根據(jù)該目標(biāo)的區(qū)域的變化而預(yù)定的一個(gè)范圍之內(nèi)。上述過(guò)程實(shí)現(xiàn)即使在一個(gè)目標(biāo)的區(qū)域中該圖像中改變時(shí)使能夠獲得一個(gè)正確的合成比例。
該目標(biāo)跟蹤方法最好被開(kāi)發(fā)而使得該方法包括步驟接收連同該目標(biāo)特征量一起的區(qū)域特征量,根據(jù)該接收的區(qū)域特征量和目標(biāo)特征量產(chǎn)生在該目標(biāo)區(qū)域中的變化的范圍之內(nèi)的合成的特征量,并且提供對(duì)于該感興趣的目標(biāo)區(qū)域的區(qū)域特征量最高相似程度的合成的特征量。上述過(guò)程僅要求提供針對(duì)每一目標(biāo)的組合的一個(gè)合成的特征量,從而使得能夠刪除多余的處理過(guò)程。
該目標(biāo)跟蹤方法最好被開(kāi)發(fā)而使得該目標(biāo)特征量包括一個(gè)圖像模板,該圖像模板描述一個(gè)目標(biāo)的形狀和/或彩色,并且該目標(biāo)跟蹤方法包括步驟根據(jù)該圖像模板和區(qū)域特征量判定該目標(biāo)的前后(back-to-belly)關(guān)系,并且通過(guò)根據(jù)該判定的該目標(biāo)的前后關(guān)系而合成該圖像模板,以便獲得一個(gè)合成的特征量。上述過(guò)程使得即使當(dāng)該目標(biāo)被局部地隱藏在另一目標(biāo)之后時(shí)也能夠?qū)崿F(xiàn)在一個(gè)目標(biāo)和一個(gè)目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的正確的計(jì)算。
該目標(biāo)跟蹤方法最好被開(kāi)發(fā)而使得該方法包括步驟根據(jù)該合成特征量信息、區(qū)域特征量信息和第一區(qū)域?qū)?yīng)關(guān)系信息從能夠以對(duì)應(yīng)關(guān)系相關(guān)的目標(biāo)和目標(biāo)區(qū)域的全部可能組合中計(jì)算最高相似程度的目標(biāo)和目標(biāo)區(qū)域的組合,選擇該計(jì)算的目標(biāo)和目標(biāo)區(qū)域的組合作為一個(gè)最佳對(duì)應(yīng)關(guān)系的目標(biāo)和目標(biāo)區(qū)域,并且產(chǎn)生指示該目標(biāo)和目標(biāo)區(qū)域的最佳對(duì)應(yīng)關(guān)系的該最佳對(duì)應(yīng)關(guān)系信息;并且根據(jù)該第一區(qū)域?qū)?yīng)關(guān)系信息和該最佳對(duì)應(yīng)關(guān)系信息確定目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系,并且提供已經(jīng)確定的屬于是包括該目標(biāo)和目標(biāo)區(qū)域之間確定的對(duì)應(yīng)關(guān)系的信息的該對(duì)應(yīng)關(guān)系信息。
該目標(biāo)跟蹤方法最好被開(kāi)發(fā)而使得該方法包括步驟計(jì)算針對(duì)目標(biāo)和目標(biāo)區(qū)域的全部可能組合的總計(jì)相似程度,其中該總計(jì)相似程度是在該目標(biāo)區(qū)域的特征量和在每一個(gè)組合中的合成的特征量之間該相似程度的一個(gè)取和,并且判定全部可能組合的該最高的總計(jì)相似程度的組合是最高相似性的組合。
該目標(biāo)跟蹤方法最好被開(kāi)發(fā)而使得該第一區(qū)域?qū)?yīng)關(guān)系信息包括關(guān)于一個(gè)指示一個(gè)目標(biāo)區(qū)域是否休止或運(yùn)動(dòng)的休止/運(yùn)動(dòng)狀態(tài)的信息,并且該目標(biāo)跟蹤方法包括步驟從該目標(biāo)和目標(biāo)區(qū)域的全部可能組合中排除由該關(guān)于休止/運(yùn)動(dòng)狀態(tài)狀態(tài)信息指示為是中休止?fàn)顟B(tài)中的目標(biāo)和目標(biāo)區(qū)域的組合。根據(jù)上述方法,僅計(jì)算其中該目標(biāo)區(qū)域在其休止/運(yùn)動(dòng)狀態(tài)狀態(tài)中展現(xiàn)不對(duì)應(yīng)任何目標(biāo)的目標(biāo)區(qū)域的組合就足夠了,因此降低該計(jì)算量。
該目標(biāo)跟蹤方法最好被開(kāi)發(fā)而使得該方法包括步驟如果從組成被判定為最高相似性的一個(gè)組合的該目標(biāo)和一個(gè)目標(biāo)區(qū)域的集的相似程度獲得的該組合的相似程度等于或低于一預(yù)定門限值,則該目標(biāo)跟蹤方法從目標(biāo)和目標(biāo)區(qū)域的全部可能組合的排列為最高相似性的組合相似性程度的組合中選擇在一個(gè)預(yù)定門限值中的組合相似性程度的組合,把在該選擇組合的共同的目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系包括到該最佳對(duì)應(yīng)關(guān)系信息中作為最佳對(duì)應(yīng)關(guān)系,并且針對(duì)未被包括在該選擇的組合所共有的該目標(biāo)和目標(biāo)區(qū)域的對(duì)應(yīng)關(guān)系中的對(duì)應(yīng)關(guān)系中的目標(biāo)和目標(biāo)區(qū)域,進(jìn)一步把指示在任何目標(biāo)和目標(biāo)區(qū)域之間不存在一個(gè)最佳對(duì)應(yīng)關(guān)系的信息包括到該最佳對(duì)應(yīng)關(guān)系信息中;針對(duì)未被在該最佳對(duì)應(yīng)關(guān)系信息中指示的不存在與目標(biāo)區(qū)域的最佳對(duì)應(yīng)關(guān)系的目標(biāo),提供指示在感興趣的目標(biāo)和包括在最佳對(duì)應(yīng)關(guān)系信息中的目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的信息,作為已經(jīng)確定的對(duì)應(yīng)關(guān)系信息;以及針對(duì)被在該最佳對(duì)應(yīng)關(guān)系信息中指示的不存在與目標(biāo)區(qū)域的最佳對(duì)應(yīng)關(guān)系的目標(biāo),提供指示在感興趣的目標(biāo)和包括在第一區(qū)域?qū)?yīng)關(guān)系信息中的目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的信息,作為已經(jīng)確定的對(duì)應(yīng)關(guān)系信息。根據(jù)上述處理,使得能夠避免在目標(biāo)和目標(biāo)區(qū)域之間的錯(cuò)誤的對(duì)應(yīng)關(guān)系的選擇。
該目標(biāo)跟蹤方法最好被開(kāi)發(fā)而使得該目標(biāo)跟蹤方法僅針對(duì)被指示為在其跟蹤狀態(tài)中具有進(jìn)行分離的狀態(tài)的目標(biāo)區(qū)域把在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系確定為與在該最佳對(duì)應(yīng)關(guān)系信息中指示的對(duì)應(yīng)關(guān)系完全相同。上述過(guò)程刪除了確定在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的處理過(guò)程。
該目標(biāo)跟蹤方法最好被開(kāi)發(fā)而使得該目標(biāo)跟蹤方法僅針對(duì)以其跟蹤狀態(tài)被指示為具有除進(jìn)行分離的狀態(tài)以外的狀態(tài)的目標(biāo)區(qū)域才提供包括在該第一區(qū)域?qū)?yīng)關(guān)系信息中的目標(biāo)和目標(biāo)區(qū)域之間對(duì)應(yīng)關(guān)系作為已被確定的對(duì)應(yīng)關(guān)系信息。上述過(guò)程刪除了確定在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的處理過(guò)程。
根據(jù)本發(fā)明的目標(biāo)跟蹤程序是一個(gè)目標(biāo)跟蹤程序,用于根據(jù)圖像信息跟蹤一個(gè)目標(biāo),該程序操作一臺(tái)計(jì)算機(jī)執(zhí)行以下列步驟為特征的處理接收?qǐng)D像信息,合成表示包括在該接收的圖像信息中的分別目標(biāo)的特征量的目標(biāo)特征量,并且產(chǎn)生一個(gè)合成的特征量;以及根據(jù)在該目標(biāo)區(qū)域的特征量和該合成的特征量之間的相似程度建立在該目標(biāo)和一個(gè)目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系,該目標(biāo)區(qū)域是從該圖像信息中提取的并且還包括該目標(biāo)的一個(gè)區(qū)域。
根據(jù)本發(fā)明的另一方面,該目標(biāo)跟蹤程序是建立包括在接收的圖像信息中的目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的一個(gè)目標(biāo)跟蹤程序,并且該程序被開(kāi)發(fā)來(lái)操作一個(gè)計(jì)算機(jī)以執(zhí)行下列的處理接收?qǐng)D像信息;從該接收的圖像信息中提取一個(gè)目標(biāo)區(qū)域,并且提供包括關(guān)于該目標(biāo)區(qū)域的該圖像信息的目標(biāo)區(qū)域信息;根據(jù)該目標(biāo)區(qū)域信息和已經(jīng)確定的指示當(dāng)前之前的該目標(biāo)和目標(biāo)區(qū)域的對(duì)應(yīng)關(guān)系的對(duì)應(yīng)關(guān)系信息而判定一個(gè)或幾個(gè)目標(biāo)區(qū)域的跟蹤的狀態(tài),并且提供指示該目標(biāo)區(qū)域和目標(biāo)的對(duì)應(yīng)關(guān)系以及跟蹤的狀態(tài)的第一區(qū)域?qū)?yīng)關(guān)系信息;通過(guò)使用該圖像信息、該目標(biāo)區(qū)域信息和該第一區(qū)域?qū)?yīng)關(guān)系信息產(chǎn)生表示該目標(biāo)區(qū)域的特征量的區(qū)域特征量,以及表示該目標(biāo)的特征量的目標(biāo)特征量;根據(jù)該目標(biāo)特征量和該第一區(qū)域?qū)?yīng)關(guān)系信息合成針對(duì)多個(gè)目標(biāo)的全部所需組合的特征量,以便產(chǎn)生每一個(gè)合成的特征量,并且提供合成特征量信息,該合成特征量信息包括該合成特征量和用于產(chǎn)生合成特征量的目標(biāo)與該合成的特征量之間的對(duì)應(yīng)關(guān)系;并且根據(jù)該第一區(qū)域?qū)?yīng)關(guān)系信息、該區(qū)域特征量信息和該合成特征量信息以對(duì)應(yīng)關(guān)系關(guān)聯(lián)該目標(biāo)和目標(biāo)區(qū)域,并且提供當(dāng)前已經(jīng)確定的該對(duì)應(yīng)關(guān)系信息。
根據(jù)本發(fā)明的另一方面,該目標(biāo)跟蹤程序是建立包括在接收的圖像信息中的目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的一個(gè)目標(biāo)跟蹤程序,并且該程序被開(kāi)發(fā)來(lái)操作一臺(tái)計(jì)算機(jī)執(zhí)行處理接收?qǐng)D像信息;根據(jù)該目標(biāo)區(qū)域信息和已經(jīng)確定的指示當(dāng)前之前的該目標(biāo)和目標(biāo)區(qū)域的對(duì)應(yīng)關(guān)系的對(duì)應(yīng)關(guān)系信息而判定一個(gè)或幾個(gè)目標(biāo)區(qū)域的跟蹤的狀態(tài),并且提供指示該目標(biāo)區(qū)域和目標(biāo)的對(duì)應(yīng)關(guān)系以及跟蹤的狀態(tài)的第一區(qū)域?qū)?yīng)關(guān)系信息;通過(guò)使用該圖像信息、該目標(biāo)區(qū)域信息和該第一區(qū)域?qū)?yīng)關(guān)系信息產(chǎn)生表示該目標(biāo)區(qū)域的特征量的區(qū)域特征量,以及表示該目標(biāo)的特征量的目標(biāo)特征量;針對(duì)在其跟蹤狀態(tài)中被判定是在除進(jìn)行分離的狀態(tài)之外的狀態(tài)的目標(biāo),在提取作為一個(gè)標(biāo)的每個(gè)目標(biāo)的同時(shí),通過(guò)指定包括在該第一區(qū)域?qū)?yīng)關(guān)系信息中的目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系作為在該目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系來(lái)判定在該目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系,該進(jìn)行分離的狀態(tài)是一個(gè)過(guò)渡狀態(tài),通過(guò)該過(guò)渡狀態(tài)一個(gè)目標(biāo)區(qū)域分離成多個(gè)目標(biāo)區(qū)域;針對(duì)在其跟蹤狀態(tài)時(shí)被判定為處在進(jìn)行分離的狀態(tài)的目標(biāo),根據(jù)該目標(biāo)特征量和該第一區(qū)域?qū)?yīng)關(guān)系信息合成用于多個(gè)目標(biāo)的全部需要的組合的特征量,以便產(chǎn)生分別的合成特征量;并且把合成的特征量的每一個(gè)與一區(qū)域特征量相比較,以便把對(duì)應(yīng)于該合成的特征量的、具有與一個(gè)目標(biāo)區(qū)域最高相似程度的目標(biāo)與感興趣的目標(biāo)區(qū)域相關(guān),以便放置于對(duì)應(yīng)關(guān)系中。
本發(fā)明提供下列效果根據(jù)本發(fā)明,多個(gè)目標(biāo)的合成特征量的過(guò)程和使用合成的合成的特征量對(duì)于目標(biāo)和一個(gè)目標(biāo)區(qū)域之間的相似程度的計(jì)算使得即使在發(fā)生一個(gè)目標(biāo)進(jìn)行分離之后一個(gè)目標(biāo)區(qū)域出現(xiàn)多個(gè)目標(biāo)時(shí)、或在分組相交時(shí)目標(biāo)的分組被位置互換的情況下,也能夠防止建立在目標(biāo)和目標(biāo)區(qū)域之間的錯(cuò)誤的對(duì)應(yīng)關(guān)系。尤其在當(dāng)一個(gè)交叉狀態(tài)淡出時(shí)的目標(biāo)和目標(biāo)區(qū)域的對(duì)應(yīng)關(guān)系的建立過(guò)程中,本發(fā)明能夠?qū)崿F(xiàn)防止在目標(biāo)和目標(biāo)區(qū)域之間建立錯(cuò)誤的的對(duì)應(yīng)關(guān)系;并且,目標(biāo)和目標(biāo)區(qū)域的組合的實(shí)現(xiàn)以及針對(duì)每一個(gè)組合的一個(gè)組合相似程度的計(jì)算,使得在目標(biāo)和目標(biāo)區(qū)域以對(duì)應(yīng)關(guān)系相關(guān)時(shí)選擇全部的最佳對(duì)應(yīng)關(guān)系。
圖1是說(shuō)明一個(gè)傳統(tǒng)目標(biāo)跟蹤裝置的設(shè)計(jì)框圖;圖2是說(shuō)明本發(fā)明的目標(biāo)跟蹤裝置一個(gè)結(jié)構(gòu)實(shí)例的框圖;圖3是說(shuō)明對(duì)應(yīng)關(guān)系建立部分的一個(gè)結(jié)構(gòu)實(shí)例的框圖;圖4是表示根據(jù)本發(fā)明的目標(biāo)跟蹤裝置的處理實(shí)例的流程圖;圖5是表示第一區(qū)域?qū)?yīng)關(guān)系信息的一個(gè)實(shí)例的示意圖;圖6是表示狀態(tài)跟蹤判定部分的結(jié)構(gòu)實(shí)例的框圖;圖7是表示第二區(qū)域?qū)?yīng)關(guān)系信息的一個(gè)示例的示意圖;圖8是表示該特征量產(chǎn)生部分的結(jié)構(gòu)實(shí)例的框圖;圖9是表示該對(duì)應(yīng)關(guān)系判定部分的結(jié)構(gòu)實(shí)例的框圖;圖10是表示通過(guò)使用模板的合成的特征量的方法的一個(gè)示例的示意圖;圖11是表示根據(jù)本發(fā)明該目標(biāo)跟蹤裝置的另一結(jié)構(gòu)實(shí)例的框圖;圖12是表示根據(jù)本發(fā)明的目標(biāo)跟蹤裝置的另一實(shí)例的結(jié)構(gòu)框圖;圖13是表示第一控制部分的結(jié)構(gòu)實(shí)例的框圖;以及圖14是表示根據(jù)本發(fā)明的目標(biāo)跟蹤裝置的另一處理實(shí)例的流程圖。
具體實(shí)施例方式
(本發(fā)明的第一工作實(shí)例)隨后參照
本發(fā)明的第一實(shí)施例。圖2是說(shuō)明本發(fā)明的目標(biāo)跟蹤裝置一個(gè)結(jié)構(gòu)實(shí)例的框圖。如圖2所示,該目標(biāo)跟蹤裝置包括圖像輸入終端11,從一個(gè)攝像機(jī)等接收曾經(jīng)輸入的圖像信息;目標(biāo)區(qū)域提取部分12,從提供到圖像輸入終端11的圖像信息中提取一個(gè)目標(biāo)區(qū)域;特征量產(chǎn)生部分14,根據(jù)提供到圖像輸入終端11的圖像信息產(chǎn)生一個(gè)目標(biāo)的特征量和一個(gè)目標(biāo)區(qū)域的特征量;特征量合成部分15,合成多個(gè)目標(biāo)的特征量以便產(chǎn)生一個(gè)新的特征量;和對(duì)應(yīng)關(guān)系建立部分17,建立在一個(gè)目標(biāo)和一個(gè)目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系。
此外,雖然目標(biāo)區(qū)域提取部分12、特征量產(chǎn)生部分14、特征量合成部分15和對(duì)應(yīng)關(guān)系建立部分17能夠通過(guò)硬件實(shí)現(xiàn),但是它們也能夠通過(guò)軟件實(shí)現(xiàn)。換句話說(shuō),目標(biāo)區(qū)域提取部分12、特征量產(chǎn)生部分14、特征量合成部分15和對(duì)應(yīng)關(guān)系建立部分17能夠依靠存儲(chǔ)在存儲(chǔ)器中的執(zhí)行其下面所述的功能的程序?qū)崿F(xiàn),并且一個(gè)CPU將根據(jù)該程序執(zhí)行該程序步驟。
該目標(biāo)跟蹤裝置通過(guò)使用一個(gè)攝像機(jī)之類的裝置在一個(gè)規(guī)定的范圍(下文稱作跟蹤范圍)之內(nèi)連續(xù)拍照來(lái)跟蹤一實(shí)物體,并且識(shí)別拍照出現(xiàn)的實(shí)物體的圖像。
例如,攝像機(jī)固定不動(dòng)并連續(xù)在一個(gè)預(yù)定范圍中拍照。此外,該攝像機(jī)能夠以快門范圍垂直或左-右方向改變。
而且,能夠采用能夠以確定時(shí)間期提取圖像的成像可選裝置來(lái)取代通過(guò)使用攝像機(jī)的連續(xù)圖像掃描。采用例如數(shù)字照相機(jī)的獲得靜止圖像形式的圖像信息的裝置也是可行的。
一個(gè)目標(biāo)區(qū)域表示包括一個(gè)目標(biāo)的圖像中的區(qū)域,其中的一個(gè)目標(biāo)是指一個(gè)實(shí)物體的圖像。通過(guò)例如下列的步驟提取該目標(biāo)區(qū)域利用攝像機(jī)之類裝置實(shí)現(xiàn)獲得沒(méi)有目標(biāo)的該跟蹤范圍的圖像;目標(biāo)區(qū)域提取部分12把該獲得的圖像信息存儲(chǔ)在一個(gè)背景圖像存儲(chǔ)裝置中作為背景圖像信息;目標(biāo)區(qū)域提取部分12比較由圖像輸入終端11接收的圖像信息內(nèi)容和以像素為單位存儲(chǔ)在該背景圖像存儲(chǔ)器中的背景圖像信息,以便計(jì)算該象素值的差值,并且提取具有超過(guò)一個(gè)預(yù)定門限值的像素(在下文中將該像素稱為目標(biāo)像素);目標(biāo)區(qū)域提取部分12從該提取的像素中選擇全部連續(xù)地目標(biāo)像素;目標(biāo)區(qū)域提取部分12把該選擇的目標(biāo)像素與提取范圍互連;并且目標(biāo)區(qū)域提取部分12把區(qū)域號(hào)碼標(biāo)號(hào)到提取的區(qū)域并且提供作為目標(biāo)區(qū)域。
此外,背景圖像存儲(chǔ)裝置不僅能夠儲(chǔ)存單一背景圖象信息內(nèi)容而且能夠儲(chǔ)存多個(gè)背景圖像信息內(nèi)容。例如,如果該跟蹤范圍是戶外,則背景圖像存儲(chǔ)裝置既可以存儲(chǔ)在白天獲得的背景圖像信息(下文稱作白天圖像)又可以存儲(chǔ)夜間獲得的背景圖像信息(下文稱作夜間圖像)以便實(shí)現(xiàn)在白天采用白天圖像以及在晚上采用夜間圖像。
如果象標(biāo)的目標(biāo)的形狀的特征量已知,則該目標(biāo)跟蹤裝置可以具有一個(gè)目標(biāo)模式存儲(chǔ)裝置代替該背景圖像存儲(chǔ)裝置,用于預(yù)先存儲(chǔ)有關(guān)目標(biāo)的形狀、彩色操作之類的信息作為目標(biāo)模式信息。在此情況中,目標(biāo)區(qū)域提取部分12能夠把接收的圖像信息與已經(jīng)存儲(chǔ)在該目標(biāo)模式存儲(chǔ)裝置中的該目標(biāo)模式核對(duì),并且提取與該目標(biāo)匹配的區(qū)域作為一個(gè)目標(biāo)區(qū)域。
一個(gè)特征量是用于在一個(gè)目標(biāo)和一個(gè)目標(biāo)區(qū)域之間建立一個(gè)對(duì)應(yīng)關(guān)系的量。該特征量包括兩類量,例如一個(gè)目標(biāo)區(qū)域的特征量(稱為一個(gè)目標(biāo)區(qū)域特征量或一個(gè)區(qū)域特征量)和一個(gè)目標(biāo)的特征量(稱作一個(gè)目標(biāo)特征量)該區(qū)域特征量表示從每一個(gè)目標(biāo)區(qū)域獲取的特征量而該目標(biāo)特征量表示從構(gòu)成一個(gè)目標(biāo)的目標(biāo)區(qū)域的一個(gè)組合獲取的特征量。
例如,特征量產(chǎn)生部分14計(jì)算一個(gè)目標(biāo)區(qū)域的彩色直方圖,并且把該計(jì)算的該目標(biāo)區(qū)域的彩色直方圖提供作為一種區(qū)域特征量。另外,該特征量可以是該目標(biāo)區(qū)域的一個(gè)區(qū)域,一個(gè)圖像模板等或其可以是相對(duì)于一個(gè)區(qū)域標(biāo)準(zhǔn)化的一個(gè)彩色直方圖。而且,它可以是從彩色直方圖、區(qū)域、圖像模板以及相對(duì)于一個(gè)區(qū)域標(biāo)準(zhǔn)化的彩色直方圖的一組特征量中選擇的兩個(gè)或更多的特征量的組合。
一個(gè)目標(biāo)的特征量也能夠由該彩色直方圖、區(qū)域、圖像模板和相對(duì)于一個(gè)區(qū)域標(biāo)準(zhǔn)化的彩色直方圖的任何一個(gè)或由它們的一種組合表示,因?yàn)橐粋€(gè)目標(biāo)的特征量是一種包括構(gòu)成該目標(biāo)的該目標(biāo)區(qū)域的特征量的一個(gè)組合。
特征量產(chǎn)生部分14根據(jù)該目標(biāo)區(qū)域的特征量計(jì)算一個(gè)目標(biāo)的特征量。一個(gè)目標(biāo)區(qū)域的特征量是從每一個(gè)目標(biāo)區(qū)域計(jì)算的一種特征量,并且一個(gè)目標(biāo)的特征量是從構(gòu)成該目標(biāo)的該目標(biāo)區(qū)域的一個(gè)組合計(jì)算的一個(gè)特征量。因此,如果一個(gè)目標(biāo)對(duì)應(yīng)于單個(gè)目標(biāo)區(qū)域,則該目標(biāo)的特征量是根據(jù)該單個(gè)目標(biāo)區(qū)域的特征量決定的,并且如果一個(gè)目標(biāo)由多個(gè)目標(biāo)區(qū)域構(gòu)成,則該目標(biāo)的特征量是從該目標(biāo)區(qū)域的特征量的合成決定的。
注意,目標(biāo)區(qū)域提取部分12是用于從圖像信息提取一個(gè)目標(biāo)區(qū)域的一個(gè)目標(biāo)區(qū)域提取裝置的具體實(shí)例(一個(gè)實(shí)施例),并且提供包括關(guān)于該提取的目標(biāo)區(qū)域的圖像信息的目標(biāo)區(qū)域信息。而且,特征量產(chǎn)生部分14是特征量產(chǎn)生裝置的一個(gè)具體實(shí)例,用于產(chǎn)生該目標(biāo)區(qū)域的特征量和目標(biāo)的特征量,而特征量合成部分15是特征量合成裝置的具體實(shí)例,用于通過(guò)合成針對(duì)全部需要的多個(gè)目標(biāo)的組合的特征量而產(chǎn)生合成的特征量。
圖3是說(shuō)明對(duì)應(yīng)關(guān)系建立部分17的一個(gè)結(jié)構(gòu)實(shí)例的框圖。對(duì)應(yīng)關(guān)系建立部分17具有狀態(tài)跟蹤判定部分13和對(duì)應(yīng)關(guān)系判定部分16,如圖3所示。狀態(tài)跟蹤判定部分13建立一個(gè)目標(biāo)和一個(gè)目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系并且判定跟蹤的狀態(tài)。對(duì)應(yīng)關(guān)系判定部分16根據(jù)該目標(biāo)的跟蹤的狀態(tài)而確認(rèn)該目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系。
在上述描述中,跟蹤的狀態(tài)是指表示一個(gè)目標(biāo)相對(duì)于另一目標(biāo)的相對(duì)位置的狀態(tài),例如與另一物體交叉和從另一物體進(jìn)行分離。物跟蹤的狀態(tài)包括例如一種單獨(dú)狀態(tài),其中單個(gè)目標(biāo)存在于一個(gè)目標(biāo)區(qū)域中,一種交叉狀態(tài),其中多個(gè)目標(biāo)對(duì)應(yīng)于單個(gè)目標(biāo)區(qū)域,以及一種進(jìn)行分離的狀態(tài)或一種在進(jìn)行分離狀態(tài),即一種過(guò)渡狀態(tài),其中一個(gè)目標(biāo)區(qū)域正被進(jìn)行分離成多個(gè)目標(biāo)區(qū)域。換言之,本實(shí)施例的跟蹤的狀態(tài)包括一個(gè)單獨(dú)狀態(tài)、一種交叉狀態(tài)和一種進(jìn)行分離的狀態(tài)。本交叉狀態(tài)一般通過(guò)該進(jìn)行分離的狀態(tài)而實(shí)現(xiàn)到該單獨(dú)狀態(tài)的過(guò)渡。
此外,狀態(tài)跟蹤判定部分13是一種跟蹤狀態(tài)判定裝置的指定實(shí)例,用于以每一個(gè)目標(biāo)或目標(biāo)區(qū)域判定跟蹤的狀態(tài),其中的跟蹤狀態(tài)表示相對(duì)于另一目標(biāo)的一種位置關(guān)系。對(duì)應(yīng)關(guān)系判定部分16是對(duì)應(yīng)關(guān)系建立裝置的一種具體實(shí)例,用于根據(jù)在合成的特征量和該目標(biāo)區(qū)域的特征量之間的相似程度建立在一個(gè)目標(biāo)和一個(gè)目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系,該目標(biāo)區(qū)域是包括該目標(biāo)的區(qū)域,還包括對(duì)應(yīng)關(guān)系判定裝置,用于提供已經(jīng)確定的當(dāng)前的對(duì)應(yīng)關(guān)系信息。
在本實(shí)施例中,如下面所述的那樣,通過(guò)由合成與來(lái)自目標(biāo)特征量的目標(biāo)區(qū)域關(guān)聯(lián)的特征量而建立在一個(gè)目標(biāo)和一個(gè)目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系,在該目標(biāo)區(qū)域中的一個(gè)目標(biāo)的判定能夠以較之不執(zhí)行合成的情況更高的可靠性而實(shí)現(xiàn)。具體地說(shuō),在當(dāng)交叉的狀態(tài)中止之時(shí)建立一個(gè)目標(biāo)和一個(gè)目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系時(shí),合成多個(gè)目標(biāo)的特征量,并且可能仍然包括在該交叉目標(biāo)的分區(qū)之后的一個(gè)目標(biāo)區(qū)域中的在該目標(biāo)區(qū)域和多個(gè)目標(biāo)的特征量之間的相似程度都通過(guò)使用該合成的特征量來(lái)計(jì)算,因此即使在多個(gè)目標(biāo)仍然包括在該交叉目標(biāo)的分區(qū)之后的一個(gè)目標(biāo)區(qū)域中時(shí)、或即使在該相交(交叉)之時(shí)兩個(gè)目標(biāo)分組互換時(shí),也能防止引起一個(gè)在目標(biāo)和一個(gè)目標(biāo)區(qū)域之間的一個(gè)錯(cuò)誤的對(duì)應(yīng)關(guān)系。
隨后參考圖4示出的流程圖來(lái)說(shuō)明本實(shí)施例的操作。圖4是表示由本發(fā)明的目標(biāo)跟蹤裝置實(shí)施的處理實(shí)例的流程圖。
目標(biāo)區(qū)域提取部分12通過(guò)圖像輸入終端11接收?qǐng)D像信息(步驟S301)。目標(biāo)區(qū)域提取部分12從該接收的圖像信息提取一個(gè)目標(biāo)區(qū)域(步驟S302)。目標(biāo)區(qū)域提取部分12隨后提供包括關(guān)于該目標(biāo)區(qū)域圖像信息的目標(biāo)區(qū)域信息(目標(biāo)區(qū)域圖像信息)。
狀態(tài)跟蹤判定部分13存儲(chǔ)由目標(biāo)區(qū)域提取部分12提供的該目標(biāo)區(qū)域信息。根據(jù)從目標(biāo)區(qū)域提取部分12提供的當(dāng)前目標(biāo)區(qū)域信息、存儲(chǔ)在狀態(tài)跟蹤判定部分13本身中的過(guò)去的目標(biāo)區(qū)域信息和已被確定從對(duì)應(yīng)關(guān)系判定部分16提供的過(guò)去的對(duì)應(yīng)關(guān)系信息,狀態(tài)跟蹤判定部分13通過(guò)跟蹤該目標(biāo)而建立一個(gè)目標(biāo)和一個(gè)目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系;并且利用每一個(gè)目標(biāo)或利用每一個(gè)目標(biāo)區(qū)域來(lái)判定該目標(biāo)和該目標(biāo)區(qū)域的跟蹤的狀態(tài)。順帶地提請(qǐng)注意,在注意力集中在一個(gè)目標(biāo)時(shí),該跟蹤的狀態(tài)表示為一個(gè)目標(biāo)的跟蹤的狀態(tài),而在注意力集中在一個(gè)目標(biāo)區(qū)域,該跟蹤的狀態(tài)表示為一個(gè)目標(biāo)區(qū)域的跟蹤的狀態(tài)。然而,當(dāng)該目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系已經(jīng)建立時(shí),這兩種表示形式是等效的。
以此方式,狀態(tài)跟蹤判定部分13提供第一區(qū)域?qū)?yīng)關(guān)系信息作為一個(gè)輸出(步驟S303)。該第一區(qū)域?qū)?yīng)關(guān)系信息是表示目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系和跟蹤的狀態(tài)的信息(該信息表示對(duì)于該跟蹤的狀態(tài)的一個(gè)目標(biāo)區(qū)域和一個(gè)目標(biāo)的對(duì)應(yīng)關(guān)系)。已經(jīng)確定的對(duì)應(yīng)關(guān)系信息是表示由對(duì)應(yīng)關(guān)系判定部分16判定的一個(gè)目標(biāo)和一個(gè)目標(biāo)區(qū)域之間的判定的對(duì)應(yīng)關(guān)系的信息。該過(guò)程將隨后描述,對(duì)應(yīng)關(guān)系判定部分16通過(guò)該過(guò)程判定在該目標(biāo)和一個(gè)目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系。
圖5是表示第一區(qū)域?qū)?yīng)關(guān)系信息的一個(gè)實(shí)例的示意圖。該第一區(qū)域?qū)?yīng)關(guān)系信息是表示目標(biāo)和其對(duì)于目標(biāo)區(qū)域的跟蹤狀態(tài)的對(duì)應(yīng)關(guān)系的信息,如圖5A示出的那樣,用于描述在目標(biāo)區(qū)域α、β和γ與目標(biāo)A、B、C和D之間的一種對(duì)應(yīng)關(guān)系,如圖5C所示,其中假設(shè)該目標(biāo)區(qū)域信息包括關(guān)于三個(gè)目標(biāo)區(qū)域α、β和γ以及四個(gè)目標(biāo)A、B、C和D。該第一區(qū)域?qū)?yīng)關(guān)系信息可以是表示目標(biāo)區(qū)域和其對(duì)于分別目標(biāo)的跟蹤狀態(tài)的對(duì)應(yīng)關(guān)系的信息,如圖5B所示。
一個(gè)目標(biāo)的跟蹤就是建立一個(gè)將被跟蹤的目標(biāo)對(duì)于一個(gè)目標(biāo)區(qū)域的對(duì)應(yīng)關(guān)系。這種對(duì)應(yīng)關(guān)系的建立能夠通過(guò)例如從對(duì)應(yīng)于一個(gè)過(guò)去目標(biāo)的目標(biāo)區(qū)域中建立一個(gè)目標(biāo)的位置、尋找最接近該目標(biāo)的建立位置的目標(biāo)區(qū)域以及把該尋找的目標(biāo)區(qū)域與被跟蹤的目標(biāo)關(guān)聯(lián)來(lái)實(shí)現(xiàn)。在此情況中,一個(gè)目標(biāo)的位置能夠被認(rèn)為是例如一個(gè)目標(biāo)區(qū)域的重心。稍后將描述建立該對(duì)應(yīng)關(guān)系的方法。
特征量產(chǎn)生部分14根據(jù)通過(guò)圖像輸入終端11接收的圖像信息和從目標(biāo)區(qū)域提取部分12接收的目標(biāo)區(qū)域信息產(chǎn)生一個(gè)目標(biāo)區(qū)域的特征量(步驟5304),以便把區(qū)域特征量信息提供到特征量合成部分15和對(duì)應(yīng)關(guān)系建立部分17。區(qū)域特征量信息是表示由目標(biāo)區(qū)域提取部分12提取的每個(gè)目標(biāo)區(qū)域的特征量(一個(gè)區(qū)域特征量)。特征量產(chǎn)生部分14隨后根據(jù)從狀態(tài)跟蹤判定部分13提供的第一區(qū)域?qū)?yīng)關(guān)系信息和在步驟S304中產(chǎn)生的該目標(biāo)區(qū)域的特征量來(lái)判定該目標(biāo)的特征量,以便更新該存儲(chǔ)的目標(biāo)的特征量(步驟S305)。特征量產(chǎn)生部分14隨后響應(yīng)特征量合成部分15的請(qǐng)求而提供一個(gè)目標(biāo)的特征量。
當(dāng)從狀態(tài)跟蹤判定部分13提供的第一區(qū)域?qū)?yīng)關(guān)系信息指示該目標(biāo)的跟蹤狀態(tài)是一種單獨(dú)狀態(tài)時(shí),特征量產(chǎn)生部分14將進(jìn)一步更新一個(gè)目標(biāo)的特征量。當(dāng)跟蹤狀態(tài)不是單獨(dú)狀態(tài)(除該單獨(dú)狀態(tài)之外的狀態(tài))時(shí),由于在圖像中的一個(gè)目標(biāo)與另一目標(biāo)相交時(shí)不能確切計(jì)算一個(gè)目標(biāo)的特征量,所以特征量產(chǎn)生部分14不實(shí)行存儲(chǔ)的特征量的更新。例如根據(jù)公式(1)更新該特征量。
Ht=(1-η)Ht-1+ηHin…(0≤η≤1)(1)其中Hin表示當(dāng)前觀察的一個(gè)目標(biāo)的特征量(從當(dāng)前構(gòu)成一個(gè)目標(biāo)的一組目標(biāo)區(qū)域獲得的特征量)。Ht和Ht-1表示存儲(chǔ)在特征量產(chǎn)生部分14中的分別在時(shí)間t和t-1的一個(gè)目標(biāo)的特征量,Ht表示在更新之后的一個(gè)目標(biāo)的特征量。符號(hào)η表示針對(duì)一個(gè)目標(biāo)的特征量更新的系數(shù)。
根據(jù)存儲(chǔ)在特征量產(chǎn)生部分14中的目標(biāo)特征量和從狀態(tài)跟蹤判定部分13提供的第一區(qū)域?qū)?yīng)關(guān)系信息,特征量合成部分15通過(guò)計(jì)算針對(duì)多個(gè)目標(biāo)的全部需要的組合的每一個(gè)從目標(biāo)的特征量合成一個(gè)特征量(在下文稱為合成的特征量)(步驟S306)。換句話說(shuō),特征量合成部分15根據(jù)由特征量產(chǎn)生部分14提供的目標(biāo)特征量和該第一區(qū)域?qū)?yīng)關(guān)系信息判定目標(biāo)和目標(biāo)區(qū)域的全部可能的組合,并且僅針對(duì)該目標(biāo)和目標(biāo)區(qū)域的判定的組合產(chǎn)生合成的特征量(假定該合成的特征量是包括單個(gè)目標(biāo)的一個(gè)目標(biāo)特征量的概念)。特征量合成部分15提供包含該計(jì)算的合成的特征量的合成特征量信息。該合成特征量信息涉及包括該計(jì)算的合成的特征量和該目標(biāo)和采用來(lái)計(jì)算該合成的特征量的合成的特征量之間的對(duì)應(yīng)關(guān)系的信息。而且,特征量產(chǎn)生部分14響應(yīng)特征量合成部分15的請(qǐng)求選擇存儲(chǔ)的該目標(biāo)的特征量,以便把該選擇的目標(biāo)特征量提供到特征量合成部分15。根據(jù)該第一區(qū)域?qū)?yīng)關(guān)系信息,特征量合成部分15確定特征量產(chǎn)生部分14請(qǐng)求得目標(biāo)特征量。
多個(gè)目標(biāo)的全部需要的組合被確定如下例如假設(shè)其中目標(biāo)A、B和C產(chǎn)生相交的情況(即交叉狀態(tài))并且隨后分離成兩個(gè)目標(biāo)區(qū)域α和β(即進(jìn)行分離的狀態(tài));隨后,想象八個(gè)可能的目標(biāo)和目標(biāo)區(qū)域的組合,即(α,β)=(ABC,Φ),(Φ,ABC),(A,BC),(B,CA),(C,AB),(BC,A),(CA,B)和(AB,C)。特征量合成部分15產(chǎn)生針對(duì)A、B、C、AB、BC、CA、和ABC的合成的特征量。在上述描述中,(α,β)=(AB,C)例如表示目標(biāo)A和B駐存在目標(biāo)區(qū)域α中而目標(biāo)C駐存在目標(biāo)區(qū)域β中。符號(hào)Φ表示在該對(duì)應(yīng)目標(biāo)區(qū)域中沒(méi)有目標(biāo)。合成特征量信息例如包括AB的合成的特征量和表示這樣事實(shí)的信息,即對(duì)應(yīng)于AB的計(jì)算的合成特征量的目標(biāo)是目標(biāo)和目標(biāo)B。
對(duì)應(yīng)關(guān)系判定部分16根據(jù)由特征量產(chǎn)生部分14提供的區(qū)域特征量信息、由特征量合成部分15提供的合成特征量信息和由狀態(tài)跟蹤判定部分13提供的第一區(qū)域?qū)?yīng)關(guān)系信息判定在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系(步驟S307)。對(duì)應(yīng)關(guān)系判定部分16隨后提供已經(jīng)確定的對(duì)應(yīng)關(guān)系信息。
當(dāng)該目標(biāo)的跟蹤狀態(tài)在從狀態(tài)跟蹤判定部分13提供的第一區(qū)域?qū)?yīng)關(guān)系信息中展現(xiàn)一種進(jìn)行分離的狀態(tài)時(shí),對(duì)應(yīng)關(guān)系判定部分16將根據(jù)該區(qū)域特征量信息和該合成特征量信息針對(duì)該目標(biāo)判定在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系。另外,針對(duì)在該第一區(qū)域?qū)?yīng)關(guān)系信息中被指示為一個(gè)非進(jìn)行分離的狀態(tài)(除了進(jìn)行分離狀態(tài)之外的狀態(tài))的目標(biāo),對(duì)應(yīng)關(guān)系判定部分16將判定目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系與表示包括在從狀態(tài)跟蹤判定部分13提供的第一區(qū)域?qū)?yīng)關(guān)系信息中的目標(biāo)區(qū)域的對(duì)應(yīng)關(guān)系一致。對(duì)應(yīng)關(guān)系判定部分16采用關(guān)于該判定的目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的信息作為已經(jīng)確定的對(duì)應(yīng)關(guān)系信息。
狀態(tài)跟蹤判定部分13利用下述的方法判定目標(biāo)的跟蹤狀態(tài)是單獨(dú)狀態(tài)、交叉狀態(tài)和進(jìn)行分離狀態(tài)的哪個(gè)狀態(tài)。狀態(tài)跟蹤判定部分13根據(jù)從目標(biāo)區(qū)域提取部分12提供的當(dāng)前目標(biāo)區(qū)域信息、存儲(chǔ)在狀態(tài)跟蹤判定部分13本身中的過(guò)去的目標(biāo)區(qū)域信息和由對(duì)應(yīng)關(guān)系判定部分16提供的過(guò)去判定的對(duì)應(yīng)關(guān)系信息來(lái)分類全部的目標(biāo)和目標(biāo)區(qū)域。
如果已經(jīng)確定得對(duì)應(yīng)關(guān)系信息指示在目標(biāo)A和目標(biāo)區(qū)域α之間建立的對(duì)應(yīng)關(guān)系,則狀態(tài)跟蹤判定部分13把目標(biāo)A和目標(biāo)區(qū)域α注冊(cè)在類別X中。如果目標(biāo)B和目標(biāo)區(qū)域β被相關(guān)到一個(gè)建立的對(duì)應(yīng)關(guān)系中,則狀態(tài)跟蹤判定部分13把目標(biāo)B和目標(biāo)區(qū)域β注冊(cè)在除類別X以外的類別Y中。另外,如果目標(biāo)A和目標(biāo)B對(duì)于γ也已經(jīng)建立了對(duì)應(yīng)關(guān)系,則從存在的在屬于類別X的目標(biāo)A和屬于類別Y的目標(biāo)B之間的一個(gè)建立的對(duì)應(yīng)關(guān)系的示意圖中,狀態(tài)跟蹤判定部分13注冊(cè)目標(biāo)區(qū)域γ,屬于類別X的全部成分和屬于類別Y的全部成分注冊(cè)在相同的類別中。例如,能夠作出分類來(lái)實(shí)現(xiàn)把目標(biāo)區(qū)域γ和屬于是類別Y的成分的目標(biāo)B和目標(biāo)區(qū)域β注冊(cè)到類別X中。結(jié)果是,類別Y被刪除,并且目標(biāo)A和B、目標(biāo)區(qū)域α、β和γ屬于類別X。能夠因此實(shí)施分類,使得在一個(gè)類別中每個(gè)目標(biāo)和每個(gè)目標(biāo)區(qū)域都至少與一個(gè)其它目標(biāo)或其它目標(biāo)區(qū)域以對(duì)應(yīng)關(guān)系相關(guān)。
接著該目標(biāo)和目標(biāo)區(qū)域的分類,狀態(tài)跟蹤判定部分13判定此時(shí)采用的跟蹤狀態(tài)是單獨(dú)狀態(tài)、交叉狀態(tài)和進(jìn)行分離的狀態(tài)的哪個(gè)狀態(tài)。狀態(tài)跟蹤判定部分13判定如果單個(gè)目標(biāo)成分是在一類別的成分中,則該目標(biāo)的跟蹤狀態(tài)是單獨(dú)狀態(tài);如果兩個(gè)或多個(gè)目標(biāo)成分是在一個(gè)類別的成分中,并且如果僅一個(gè)目標(biāo)區(qū)域成分存在于該類別的成分中,則該兩個(gè)或多個(gè)目標(biāo)成分的整體跟蹤狀態(tài)是交叉狀態(tài);并且如果兩個(gè)或多個(gè)目標(biāo)成分存在于一個(gè)類別的成分中而且進(jìn)一步有兩個(gè)或多個(gè)目標(biāo)區(qū)域成分存在于該類別的成分中,則該整體的跟蹤狀態(tài)是進(jìn)行分離的狀態(tài)。
隨后的說(shuō)明涉及從特征量的合成到目標(biāo)區(qū)域和目標(biāo)的選擇的過(guò)程順序。對(duì)應(yīng)關(guān)系判定部分16計(jì)算針對(duì)全部目標(biāo)和目標(biāo)區(qū)域的組合的每一個(gè)的組合相似性程度并且選擇具有最高組合相似性程度的目標(biāo)和目標(biāo)區(qū)域的組合。該組合的選擇實(shí)現(xiàn)建立在一個(gè)目標(biāo)和一個(gè)目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系。在上述描述中,組合相似的程度是從構(gòu)成該組合的目標(biāo)和目標(biāo)區(qū)域之間的相似程度獲得的該組合的有效性的一個(gè)指數(shù)。一個(gè)高組合相似性程度表示一個(gè)有效組合以及構(gòu)成該組合的目標(biāo)和目標(biāo)區(qū)域的特征相似。應(yīng)該注意的是,雖然總體的相似性程度,即針對(duì)各個(gè)組合的目標(biāo)區(qū)域和合成的特征量的特征量之間的相似程度的取和被用作組合的相似性程度,但是該組合的相似性程度并不局限于該相似程度的取和。
例如,在當(dāng)目標(biāo)A、B和C產(chǎn)生相交(即交叉狀態(tài))然后變成分離的情況時(shí),能夠從針對(duì)下列八種目標(biāo)和目標(biāo)區(qū)域的組合的目標(biāo)區(qū)域和合成的特征量的特征量中計(jì)算該組合的相似性程度(α,β)=(ABC,Φ),(Φ,ABC),(A,BC),(B,CA),(C,AB),(BC,A),(CA,B)和(AB,C)。對(duì)應(yīng)關(guān)系判定部分16判定具有最高計(jì)算的組合相似性程度的該目標(biāo)和目標(biāo)區(qū)域的組合是最佳對(duì)應(yīng)關(guān)系的目標(biāo)和目標(biāo)區(qū)域。
例如,假設(shè)這樣的一種情況,其中確定不可能以對(duì)應(yīng)關(guān)系相關(guān)該目標(biāo)C和目標(biāo)區(qū)域α,而其中可能對(duì)應(yīng)于目標(biāo)區(qū)域α的目標(biāo)是A和B,而可能對(duì)應(yīng)于目標(biāo)區(qū)域β的目標(biāo)是A、B和C。在此情況中,對(duì)應(yīng)關(guān)系判定部分可以僅針對(duì)四種組合計(jì)算組合的相似程度,即(α,β)=(AB,C),(Φ,ABC),(A,BC),(B,CA),從而對(duì)應(yīng)關(guān)系判定部分16能夠降低用于相似計(jì)算的計(jì)算量。
為了計(jì)算組合相似程度,對(duì)應(yīng)關(guān)系判定部分16計(jì)算目標(biāo)的合成的特征量和目標(biāo)區(qū)域的特征量之間的距離(下文稱作特征量之間的距離或特征量間的距離)并且隨后計(jì)算在特征量之間的組合距離。如果該計(jì)算的組合距離小則該組合相似程度高,并且如果該計(jì)算的組合距離大則該組合相似程度低。例如,組合距離被計(jì)算為在特征量之間的距離的取和,如表達(dá)式(2)所示。
Dk=Σi|Hri-Hgki|2---(2)]]>其中i表示目標(biāo)區(qū)域的數(shù)量,k表示目標(biāo)和目標(biāo)區(qū)域的組合的數(shù)量,Hri表示第i個(gè)目標(biāo)區(qū)域的特征量,而Hgki表示在第k個(gè)組合中對(duì)應(yīng)于第i個(gè)目標(biāo)區(qū)域的目標(biāo)的合成的特征量。Dk代表針對(duì)該第k個(gè)組合的組合距離。
在上述的目標(biāo)而目標(biāo)區(qū)域的八個(gè)組合中,(α,β)=(ABC,Φ),(Φ,ABC),(A,BC),(B,CA),(C,AB),(BC,A),(CA,B)和(AB,C),i=1和2,而k=1至8。對(duì)應(yīng)關(guān)系判定部分16從在每一個(gè)集中的特征量之間的距離計(jì)算針對(duì)全部可能組合(在本實(shí)例中是八個(gè)組合)的每一個(gè)計(jì)算該組合距離(Dk),每一個(gè)組合都由幾個(gè)目標(biāo)(或一個(gè)目標(biāo))和一個(gè)目標(biāo)區(qū)域組成,(例如在組合(α,β)=(A,BC)中,一個(gè)集由α和A組成,另一集由β和BC組成,并且組合距離(Dk)是在α和A之間的距離以及在β和BC之間的距離的取和);并且確定來(lái)自可能組合的該最小組合距離值的組合作為最高相似性的組合。
特征量合成部分15最好根據(jù)一個(gè)期望的合成比例ε計(jì)算該合成的特征量。對(duì)應(yīng)關(guān)系判定部分16在根據(jù)該合成比例ε計(jì)算的合成的特征量的基礎(chǔ)上計(jì)算組合相似程度,以便選擇幾個(gè)目標(biāo)(或一個(gè)目標(biāo))和一個(gè)目標(biāo)區(qū)域的最佳組合。該合成比例ε是指用于調(diào)整包含在一個(gè)目標(biāo)區(qū)域中的每一目標(biāo)的特征量的比例的系數(shù)。例如,由于攝像機(jī)拍攝目標(biāo)的距離的原因,圖像中顯示的目標(biāo)的顯見(jiàn)幅度在某些情形中不同。在此情況中,通過(guò)簡(jiǎn)單地取和目標(biāo)的特征量的合成的特征量的計(jì)算將致使對(duì)應(yīng)關(guān)系判定部分16判定在幾個(gè)或一個(gè)目標(biāo)和一個(gè)目標(biāo)區(qū)域之間的不正確的對(duì)應(yīng)關(guān)系的判定,因?yàn)樵撚?jì)算的合成的特征量不同于該目標(biāo)區(qū)域的實(shí)際特征量。對(duì)應(yīng)關(guān)系判定部分16能夠通過(guò)使得特征量合成部分15根據(jù)一個(gè)預(yù)定合成系數(shù)ε來(lái)計(jì)算一個(gè)合成的特征量而防止在幾個(gè)或一個(gè)目標(biāo)和一個(gè)目標(biāo)區(qū)域之間的不正確的對(duì)應(yīng)關(guān)系。
當(dāng)合成例如兩個(gè)目標(biāo)A和B的合成的特征量時(shí),特征量合成部分15根據(jù)公式(3)產(chǎn)生一個(gè)合成的特征量,并且對(duì)應(yīng)關(guān)系判定部分16根據(jù)公式(4)計(jì)算該組合距離。
Hg(ε)=(1-ε)HA+εHB(0≤ε≤1)(3)Dk=Σiminϵ|Hri-Hgki(ϵ)|2---(4)]]>特征量合成部分15從0至1地改變合成系數(shù)(例如每間隔0.1從0至1)并且根據(jù)改變的合成系數(shù)ε的全部值計(jì)算合成的特征量。對(duì)應(yīng)關(guān)系判定部分16相對(duì)于ε的變化選擇最小化在一個(gè)目標(biāo)區(qū)域的特征量和目標(biāo)的合成的特征量之間的特征量間距離的合成的特征量。在選擇的合成的特征量的基礎(chǔ)上,對(duì)應(yīng)關(guān)系判定部分16進(jìn)一步根據(jù)公式(4)計(jì)算用于每一個(gè)組合(K)的組合距離,并且把實(shí)現(xiàn)該組合距離最小的該目標(biāo)和該目標(biāo)區(qū)域的組合定義為一個(gè)最佳對(duì)應(yīng)關(guān)系。
雖然對(duì)應(yīng)關(guān)系判定部分16依據(jù)一個(gè)L2基準(zhǔn)計(jì)算該特征量間的距離,但是只要支撐相似性程度的計(jì)算,則任何其他的計(jì)算技術(shù)的距離測(cè)量都可被用于該特征量間的距離計(jì)算。如公式(2)和(4)所示,L2基準(zhǔn)涉及差值的平方取和的形式計(jì)算的距離的測(cè)量。
如上所述,即使在多個(gè)目標(biāo)相交并且隨后分離之后仍然存在一組多個(gè)目標(biāo)時(shí),或在該相交目標(biāo)的組合在目標(biāo)的相交出現(xiàn)之前與之后立即互換時(shí),本發(fā)明的一個(gè)目標(biāo)的跟蹤裝置也能夠通過(guò)計(jì)算在交叉狀態(tài)中的目標(biāo)的合成的特征量、計(jì)算在該目標(biāo)區(qū)域的特征量和該合成的特征量之間的相似程度、以及根據(jù)該計(jì)算的程度相似而判定在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系而繼續(xù)跟蹤一個(gè)標(biāo)的目標(biāo)。
此外,本發(fā)明的用于跟蹤一個(gè)目標(biāo)的裝置針對(duì)全部的目標(biāo)和目標(biāo)區(qū)域的組合計(jì)算在目標(biāo)區(qū)域的特征量并且該合成的特征量之間的相似程度,并且根據(jù)該計(jì)算的相似程度而選擇該目標(biāo)和目標(biāo)區(qū)域的一個(gè)最佳組合,從而在建立一個(gè)標(biāo)的目標(biāo)和該標(biāo)的目標(biāo)存在的區(qū)域之間的對(duì)應(yīng)關(guān)系時(shí)實(shí)現(xiàn)選擇全部目標(biāo)的一個(gè)最佳對(duì)應(yīng)關(guān)系。
隨后提供的詳細(xì)說(shuō)明涉及狀態(tài)跟蹤判定部分13、特征量產(chǎn)生部分14和對(duì)應(yīng)關(guān)系判定部分16的結(jié)構(gòu)。該說(shuō)明首先涉及狀態(tài)跟蹤判定部分13的結(jié)構(gòu)。圖6是說(shuō)明狀態(tài)跟蹤判定部分13的一個(gè)結(jié)構(gòu)實(shí)例的框圖。在圖6示出的實(shí)例中,狀態(tài)跟蹤判定部分13包括目標(biāo)跟蹤部分131、狀態(tài)判定部分132和目標(biāo)區(qū)域信息存儲(chǔ)部分133。
目標(biāo)跟蹤部分131是通過(guò)使用該目標(biāo)區(qū)域信息、已經(jīng)確定的并且是從一個(gè)目標(biāo)區(qū)域信息存儲(chǔ)裝置提供的過(guò)去的目標(biāo)區(qū)域信息的對(duì)應(yīng)關(guān)系信息而跟蹤一個(gè)或幾個(gè)目標(biāo)的一個(gè)目標(biāo)跟蹤裝置的實(shí)施例,以便提供指示在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的一個(gè)第二區(qū)域?qū)?yīng)關(guān)系信息。目標(biāo)區(qū)域信息存儲(chǔ)部分133是用于存儲(chǔ)目標(biāo)區(qū)域信息和該第一區(qū)域?qū)?yīng)關(guān)系信息的一個(gè)目標(biāo)區(qū)域信息儲(chǔ)存裝置的實(shí)施例。狀態(tài)判定部分132是用于從第二區(qū)域?qū)?yīng)關(guān)系信息、目標(biāo)區(qū)域信息和過(guò)去的目標(biāo)區(qū)域信息判定一個(gè)目標(biāo)的跟蹤狀態(tài)的一個(gè)狀態(tài)判定裝置的實(shí)施例,以便提供該第一區(qū)域?qū)?yīng)關(guān)系信息。
目標(biāo)跟蹤部分131根據(jù)由目標(biāo)區(qū)域提取部分12提供的當(dāng)前目標(biāo)區(qū)域信息、存儲(chǔ)在目標(biāo)區(qū)域信息存儲(chǔ)部分中的目標(biāo)區(qū)域信息和由對(duì)應(yīng)關(guān)系判定部分16提供的已經(jīng)確定的過(guò)去的對(duì)應(yīng)關(guān)系信息而跟蹤目標(biāo)并且判定在該目標(biāo)和該目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系。目標(biāo)跟蹤部分131還產(chǎn)生該第二區(qū)域?qū)?yīng)關(guān)系信息,并且把該產(chǎn)生的第二區(qū)域?qū)?yīng)關(guān)系信息提供到狀態(tài)判定部分132。
該第二區(qū)域?qū)?yīng)關(guān)系信息涉及指示在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的信息。不同于該第一區(qū)域?qū)?yīng)關(guān)系信息,該第二區(qū)域?qū)?yīng)關(guān)系信息不包括關(guān)于跟蹤狀態(tài)的信息。圖7是說(shuō)明第二區(qū)域?qū)?yīng)關(guān)系信息的一個(gè)實(shí)例的示意圖。例如,當(dāng)認(rèn)識(shí)到該目標(biāo)區(qū)域信息具有關(guān)于三個(gè)目標(biāo)區(qū)域α、β和γ以及已被確定具有四個(gè)目標(biāo)A、B、C和D的過(guò)去的對(duì)應(yīng)關(guān)系信息時(shí),該第二區(qū)域?qū)?yīng)關(guān)系信息是如圖7A示出的目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的信息,以便指示如圖7C所示的在目標(biāo)區(qū)域α、β和γ和目標(biāo)A、B、C和D之間的對(duì)應(yīng)關(guān)系。另外,該第二區(qū)域?qū)?yīng)關(guān)系信息可以是指示例如如圖7B所示的目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的信息。
狀態(tài)判定部分132根據(jù)由目標(biāo)區(qū)域提取部分12提供的目標(biāo)區(qū)域信息和由目標(biāo)跟蹤部分131提供的第二區(qū)域?qū)?yīng)關(guān)系信息執(zhí)行該跟蹤目標(biāo)狀態(tài)的判定,并且提供根據(jù)第二區(qū)域?qū)?yīng)關(guān)系信息的第一區(qū)域?qū)?yīng)關(guān)系信息和該判定結(jié)果。
目標(biāo)區(qū)域信息存儲(chǔ)部分133存儲(chǔ)由目標(biāo)區(qū)域提取部分12提供的目標(biāo)區(qū)域信息。存儲(chǔ)在目標(biāo)區(qū)域信息存儲(chǔ)部分133中的該目標(biāo)區(qū)域信息用作過(guò)去的目標(biāo)區(qū)域信息,用于在下一代循環(huán)中的該第二區(qū)域?qū)?yīng)關(guān)系信息的產(chǎn)生。
圖8是說(shuō)明特征量產(chǎn)生部分14的一個(gè)結(jié)構(gòu)實(shí)例的框圖。在圖8示出的實(shí)例中,特征量產(chǎn)生部分14包括特征量提取部分141、特征量更新部分142和特征量存儲(chǔ)部分143。
特征量提取部分141是特征量提取裝置的一個(gè)實(shí)施例,用于從圖像信息、目標(biāo)區(qū)域信息和第一區(qū)域?qū)?yīng)關(guān)系信息提取一個(gè)區(qū)域特征量,以便提供包括該區(qū)域特征量的信息的該區(qū)域特征量信息。特征量存儲(chǔ)部分143是一個(gè)特征量存儲(chǔ)裝置的實(shí)施例,用于按照要求選擇該存儲(chǔ)的目標(biāo)特征量并且提供該選擇的目標(biāo)特征量。特征量更新部分142是一個(gè)特征量更新裝置的實(shí)施例,用于根據(jù)該區(qū)域特征量、該第一區(qū)域?qū)?yīng)關(guān)系信息和在當(dāng)前之前產(chǎn)生的一個(gè)目標(biāo)特征量而更新存儲(chǔ)在該特征量存儲(chǔ)裝置中的目標(biāo)特征量。
特征量提取部分141根據(jù)通過(guò)圖像輸入終端11接收的圖像信息和由目標(biāo)區(qū)域提取部分12提供的該目標(biāo)區(qū)域信息而計(jì)算每一個(gè)目標(biāo)區(qū)域的特征量,并且提供包括該計(jì)算的目標(biāo)區(qū)域的特征量的區(qū)域特征量信息作為一個(gè)輸出。提供作為一個(gè)輸出的區(qū)域特征量信息由特征量更新部分142和對(duì)應(yīng)關(guān)系判定部分16接收。
針對(duì)在該第一區(qū)域?qū)?yīng)關(guān)系信息中指示其跟蹤狀態(tài)是單獨(dú)狀態(tài)的一個(gè)目標(biāo),特征量更新部分142根據(jù)從特征量提取部分141提供的區(qū)域特征量信息更新存儲(chǔ)在特征量存儲(chǔ)部分143中的該目標(biāo)的特征量。針對(duì)在該第一區(qū)域?qū)?yīng)關(guān)系信息中指示為其跟蹤狀態(tài)處于除了該單獨(dú)狀態(tài)之外的狀態(tài)中的目標(biāo),特征量更新部分142不實(shí)施存儲(chǔ)在特征量存儲(chǔ)部分143中特征量的更新。由特征量存儲(chǔ)部分143存儲(chǔ)的該目標(biāo)的特征量由特征量合成部分15使用來(lái)產(chǎn)生該合成的特征量響應(yīng)特征量合成部分15的請(qǐng)求選擇一個(gè)目標(biāo)的存儲(chǔ)的特征量,并且把該目標(biāo)的選擇的特征量提供到特征量合成部分15。
圖9是說(shuō)明對(duì)應(yīng)關(guān)系判定部分16的一個(gè)結(jié)構(gòu)實(shí)例的框圖。在圖9所示的實(shí)例中,對(duì)應(yīng)關(guān)系判定部分16包括對(duì)應(yīng)關(guān)系計(jì)算部分161和對(duì)應(yīng)關(guān)系建立部分162。
對(duì)應(yīng)關(guān)系計(jì)算部分161是一個(gè)對(duì)應(yīng)關(guān)系計(jì)算裝置的實(shí)施例,用于產(chǎn)生表示在一個(gè)目標(biāo)和一個(gè)目標(biāo)區(qū)域之間的最佳對(duì)應(yīng)關(guān)系的最佳對(duì)應(yīng)關(guān)系信息。對(duì)應(yīng)關(guān)系建立部分162是一個(gè)對(duì)應(yīng)關(guān)系判定裝置的實(shí)施例,提供已經(jīng)確定的對(duì)應(yīng)關(guān)系信息,其中該已經(jīng)確定的對(duì)應(yīng)關(guān)系信息是包括判定的在一個(gè)目標(biāo)和一個(gè)目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的信息。
根據(jù)由特征量產(chǎn)生部分14提供的區(qū)域特征量信息、由特征量合成部分15提供的合成特征量信息以及由狀態(tài)跟蹤判定部分提供的第一區(qū)域?qū)?yīng)關(guān)系信息,對(duì)應(yīng)關(guān)系計(jì)算部分161計(jì)算在該目標(biāo)區(qū)域的特征量和合成的特征量之間的相似程度,并且進(jìn)一步計(jì)算針對(duì)將被放置于對(duì)應(yīng)關(guān)系中的目標(biāo)和目標(biāo)區(qū)域的組合的全部可能組合的組合的相似程度。對(duì)應(yīng)關(guān)系計(jì)算部分161進(jìn)一步實(shí)施一種選擇,以便選擇具有最高組合相似程度的目標(biāo)和目標(biāo)區(qū)域的組合的最佳對(duì)應(yīng)關(guān)系,以便產(chǎn)生該最佳對(duì)應(yīng)關(guān)系信息并且提供該最佳對(duì)應(yīng)關(guān)系信息作為一個(gè)輸出。在上述的描述中,該最佳對(duì)應(yīng)關(guān)系信息是指指示目標(biāo)和目標(biāo)區(qū)域之間的最佳對(duì)應(yīng)關(guān)系的信息(目標(biāo)和目標(biāo)區(qū)域的組合具有最高的組合相似程度)。
如果由狀態(tài)跟蹤判定部分13提供的該第一區(qū)域?qū)?yīng)關(guān)系信息指示該目標(biāo)的跟蹤狀態(tài)是進(jìn)行分離的狀態(tài),則對(duì)應(yīng)關(guān)系建立部分162決定將有關(guān)包括在由對(duì)應(yīng)關(guān)系計(jì)算部分161提供的該最佳對(duì)應(yīng)關(guān)系信息中的目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的信息指定作為關(guān)于該目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的信息。針對(duì)被指示為除進(jìn)行分離狀態(tài)以外的狀態(tài)的目標(biāo)的那些目標(biāo),對(duì)應(yīng)關(guān)系建立部分162建立關(guān)于包括在由狀態(tài)跟蹤判定部分13提供的該第一區(qū)域?qū)?yīng)關(guān)系信息中的感興趣的目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的信息作為關(guān)于在感興趣的的目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的信息。
對(duì)應(yīng)關(guān)系建立部分162進(jìn)一步比較關(guān)于包括在該第一區(qū)域?qū)?yīng)關(guān)系信息中的目標(biāo)的信息和關(guān)于建立的在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的信息,并且當(dāng)出現(xiàn)不對(duì)應(yīng)任何包括在該第一區(qū)域?qū)?yīng)關(guān)系信息中目標(biāo)的一個(gè)目標(biāo)區(qū)域時(shí)(將稱為一個(gè)不在對(duì)應(yīng)目標(biāo)區(qū)域(not-in-correspondence)),則產(chǎn)生一個(gè)新的目標(biāo),建立該新的目標(biāo)與該不在對(duì)應(yīng)目標(biāo)區(qū)域的對(duì)應(yīng)關(guān)系,并且把關(guān)于該建立的在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的信息提供作為已被確定的該對(duì)應(yīng)關(guān)系信息。
假設(shè)例如其中兩個(gè)目標(biāo)A和B存在于單一目標(biāo)區(qū)域α中的一個(gè)完全重疊的結(jié)構(gòu)的情況,使得一個(gè)目標(biāo)跟蹤裝置僅識(shí)別在目標(biāo)區(qū)域α中的一個(gè)目標(biāo)A。在此情形中,當(dāng)目標(biāo)A和B的狀態(tài)產(chǎn)生到進(jìn)行分離的狀態(tài)的轉(zhuǎn)換時(shí),一個(gè)新的目標(biāo)區(qū)域β將從作為不在對(duì)應(yīng)目標(biāo)區(qū)域的α分離。然而,目標(biāo)跟蹤裝置尚未識(shí)別目標(biāo)B的存在,并且結(jié)果是,出現(xiàn)了不對(duì)任何目標(biāo)有對(duì)應(yīng)關(guān)系的一個(gè)目標(biāo)區(qū)域β。為此原因,對(duì)應(yīng)關(guān)系建立部分162建立新目標(biāo)B,并且以對(duì)應(yīng)關(guān)系把目標(biāo)B與目標(biāo)區(qū)域β相關(guān)。
應(yīng)該指出,圖2、3、6、8和9中示出設(shè)計(jì)可利用軟件實(shí)行。具體地說(shuō),本實(shí)施例的目標(biāo)跟蹤裝置能夠利用使得計(jì)算機(jī)實(shí)施下列處理過(guò)程的一個(gè)目標(biāo)跟蹤程序?qū)崿F(xiàn)接收?qǐng)D像信息的圖像輸入處理;目標(biāo)區(qū)域提取處理,從該輸入的圖像信息中提取目標(biāo)區(qū)域,以便提供包含關(guān)于該目標(biāo)區(qū)域的圖像信息的目標(biāo)區(qū)域信息;狀態(tài)跟蹤判定處理,用于從該目標(biāo)區(qū)域信息和已經(jīng)確定的指示在該目標(biāo)區(qū)域和當(dāng)前之前的目標(biāo)之間的對(duì)應(yīng)關(guān)系的對(duì)應(yīng)關(guān)系信息而判定針對(duì)每一個(gè)目標(biāo)或針對(duì)每一個(gè)目標(biāo)區(qū)域的跟蹤的狀態(tài),并且提供指示在該目標(biāo)區(qū)域和目標(biāo)之間的對(duì)應(yīng)關(guān)系以及跟蹤的狀態(tài)的第一區(qū)域?qū)?yīng)關(guān)系信息;特征量產(chǎn)生處理,用于根據(jù)該圖像信息、該目標(biāo)區(qū)域信息和由該跟蹤狀態(tài)判定裝置提供的該判定的結(jié)果而產(chǎn)生表示目標(biāo)區(qū)域的特征量的區(qū)域特征量和表示目標(biāo)的特征量的目標(biāo)特征量;特征量合成處理,用于通過(guò)根據(jù)該目標(biāo)特征量和該第一區(qū)域?qū)?yīng)關(guān)系信息而合成針對(duì)多個(gè)目標(biāo)的全部需要的組合的特征量來(lái)產(chǎn)生每一個(gè)合成的特征量,并且提供該合成特征量信息,該合成特征量信息是包括該合成的特征量和在目標(biāo)和被采用來(lái)產(chǎn)生該合成的特征量的合成的特征量之間的對(duì)應(yīng)關(guān)系的信息;以及對(duì)應(yīng)關(guān)系建立處理,用于根據(jù)該目標(biāo)區(qū)域信息、第一區(qū)域?qū)?yīng)關(guān)系信息、區(qū)域特征量信息和該合成特征量信息而建立在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系,并且提供已經(jīng)確定的當(dāng)前的對(duì)應(yīng)關(guān)系信息。
(改進(jìn)的實(shí)施例1)狀態(tài)跟蹤判定部分13可以根據(jù)下面描述的判定方法來(lái)判定一個(gè)目標(biāo)的跟蹤狀態(tài)。例如,在由于目標(biāo)的疊加(交叉狀態(tài))而僅有一個(gè)目標(biāo)被首先進(jìn)入與一個(gè)目標(biāo)區(qū)域?qū)?yīng)的情況中,判定該跟蹤狀態(tài)是一個(gè)單獨(dú)狀態(tài)。當(dāng)該目標(biāo)區(qū)域從上述狀態(tài)分離成多個(gè)目標(biāo)區(qū)域時(shí),僅存在一個(gè)目標(biāo)。結(jié)果是,不可能判定已經(jīng)實(shí)現(xiàn)從交叉狀態(tài)到進(jìn)行分離的狀態(tài)的轉(zhuǎn)換的跟蹤狀態(tài),但有可能判定保持一個(gè)單獨(dú)狀態(tài)的跟蹤狀態(tài)。為了應(yīng)對(duì)在單獨(dú)狀態(tài)中的一個(gè)目標(biāo)進(jìn)行分離成多個(gè)目標(biāo)的情形,即使在該類別中僅存在單一的目標(biāo)成分,該狀態(tài)跟蹤判定部分13可以在一個(gè)類別中包括有兩個(gè)或更多的目標(biāo)區(qū)域成分的情況下,決定跟蹤狀態(tài)應(yīng)該是分離狀態(tài)。
上述實(shí)施例示出提取目標(biāo)區(qū)域的一個(gè)方法實(shí)例,其中目標(biāo)區(qū)域提取部分12計(jì)算在通過(guò)圖像輸入終端11提供的圖像信息和已被事先獲得的背景圖象信息之間的象素值中的差值。某些情況下,在計(jì)算像素值的差值在,由于該目標(biāo)具有類似于背景圖像的目標(biāo)的原因(例如目標(biāo)和背景圖像的彩色相似),目標(biāo)區(qū)域提取部分12不能正確地提取該目標(biāo)區(qū)域。如果該目標(biāo)區(qū)域未被正確地提取,則狀態(tài)跟蹤判定部分13的狀態(tài)判定部分132可能錯(cuò)誤地判定該跟蹤狀態(tài)已經(jīng)實(shí)現(xiàn)到進(jìn)行分離狀態(tài)的過(guò)渡。為了在此情況中實(shí)現(xiàn)該目標(biāo)區(qū)域的正確的提取,狀態(tài)判定部分132最好通過(guò)使用在目標(biāo)區(qū)域之間的一個(gè)空間距離來(lái)應(yīng)對(duì)該問(wèn)題。
具體地說(shuō),針對(duì)位于靠近到一個(gè)物體間區(qū)間距離的預(yù)定門限值之內(nèi)的目標(biāo)區(qū)域,在分類目標(biāo)和目標(biāo)區(qū)域時(shí),狀態(tài)判定部分132按照對(duì)應(yīng)關(guān)系把與每一個(gè)目標(biāo)區(qū)域相關(guān)的目標(biāo)區(qū)域和目標(biāo)分類成同一個(gè)類別。例如假設(shè)存在目標(biāo)A和B和目標(biāo)區(qū)域α和β的情況,目標(biāo)區(qū)域α對(duì)應(yīng)于目標(biāo)A而目標(biāo)區(qū)域β對(duì)應(yīng)于目標(biāo)B。根據(jù)上述實(shí)施例說(shuō)明的方法,狀態(tài)判定部分132定義兩個(gè)類別目標(biāo)區(qū)域α和目標(biāo)A所屬的類別和目標(biāo)區(qū)域β和目標(biāo)B所屬的類別。與上述實(shí)施例相比,如果在目標(biāo)區(qū)域α和目標(biāo)區(qū)域β之間的距離不大于一個(gè)預(yù)定門限值,則狀態(tài)判定部分132能夠把目標(biāo)區(qū)域α、β和目標(biāo)A、B一起分組在單個(gè)類別中。倘若該目標(biāo)間的區(qū)間距離不大于一個(gè)預(yù)定門限值,則分組成單一類別將使得即使在一個(gè)目標(biāo)區(qū)域分離成在包括兩個(gè)或更多個(gè)目標(biāo)的類別中的兩個(gè)或更多的目標(biāo)區(qū)域時(shí),該狀態(tài)判定部分132也判定在該交叉狀態(tài)中的跟蹤狀態(tài)保持不變。在目標(biāo)間的區(qū)間距離超越該預(yù)定門限值之時(shí),狀態(tài)判定部分132判定該跟蹤的狀態(tài)已經(jīng)輸入進(jìn)行分離的狀態(tài)。
(改進(jìn)的實(shí)施例2)
而且,需要狀態(tài)判定部分132能夠根據(jù)目標(biāo)區(qū)域的在進(jìn)行分離的持續(xù)時(shí)間的一個(gè)周期應(yīng)對(duì)其中一個(gè)目標(biāo)區(qū)域的一部分隨機(jī)分離的情況。在進(jìn)行分離的持續(xù)時(shí)間周期是指這樣的一個(gè)持續(xù)時(shí)間周期,在其期間目標(biāo)區(qū)域是在啟動(dòng)一個(gè)進(jìn)行分離的狀態(tài),其中該啟動(dòng)目標(biāo)區(qū)域的一個(gè)進(jìn)行分離的狀態(tài)被定義為這樣一個(gè)狀態(tài),即在先前屬于是單一目標(biāo)區(qū)域的一個(gè)目標(biāo)區(qū)域分離成幾個(gè)目標(biāo)區(qū)域,該被分離的目標(biāo)區(qū)域保持著目標(biāo)間的區(qū)間距離或超過(guò)一個(gè)規(guī)定閾值(可以是0)的距離。在此情況中,狀態(tài)判定部分132以短于一個(gè)預(yù)定門限值的間隔的連續(xù)周期的處理來(lái)分組該目標(biāo)區(qū)域,并且把對(duì)應(yīng)于該目標(biāo)區(qū)域的目標(biāo)也分組為同一個(gè)類別,以便保留從前的跟蹤狀態(tài)。當(dāng)用于在進(jìn)行分離的持續(xù)時(shí)間周期超出該門限時(shí),狀態(tài)判定部分132判定該跟蹤狀態(tài)是進(jìn)行分離的狀態(tài)。
用于在進(jìn)行分離的持續(xù)時(shí)間周期被更新和存儲(chǔ)如下用于在進(jìn)行分離的持續(xù)時(shí)間周期被存儲(chǔ)在目標(biāo)區(qū)域信息存儲(chǔ)部分133中;目標(biāo)跟蹤部分131獲取存儲(chǔ)在目標(biāo)區(qū)域信息存儲(chǔ)部分133中的分離的連續(xù)周期,把用于在進(jìn)行分離的持續(xù)時(shí)間周期與每個(gè)目標(biāo)區(qū)域相關(guān)并且計(jì)算用于在進(jìn)行分離of一個(gè)新的持續(xù)時(shí)間周期;而且目標(biāo)跟蹤部分131更新存儲(chǔ)在目標(biāo)區(qū)域信息存儲(chǔ)部分133中的分離的連續(xù)周期。
目標(biāo)跟蹤部分131實(shí)現(xiàn)用于在進(jìn)行分離的該持續(xù)時(shí)間周期和一個(gè)目標(biāo)區(qū)域的相關(guān)如下根據(jù)包括在從目標(biāo)區(qū)域提取部分12提供的目標(biāo)區(qū)域信息中的當(dāng)前目標(biāo)區(qū)域、從對(duì)應(yīng)關(guān)系判定部分16提供的已被確定的過(guò)去的對(duì)應(yīng)關(guān)系信息,目標(biāo)跟蹤部分131進(jìn)行當(dāng)前目標(biāo)區(qū)域和過(guò)去得目標(biāo)區(qū)域之間的相關(guān);并且,目標(biāo)跟蹤部分131把與存儲(chǔ)在目標(biāo)區(qū)域信息存儲(chǔ)部分133中的過(guò)去的目標(biāo)區(qū)域相關(guān)的用于在進(jìn)行分離的持續(xù)時(shí)間周期與對(duì)應(yīng)于該過(guò)去的感興趣的的目標(biāo)區(qū)域的該當(dāng)前目標(biāo)區(qū)域相關(guān)。如果相關(guān)了多個(gè)分離的連續(xù)周期,則目標(biāo)跟蹤部分131把多個(gè)分離的連續(xù)周期的最長(zhǎng)的一個(gè)與該目標(biāo)區(qū)域相關(guān)。此外,目標(biāo)跟蹤部分131能夠把多個(gè)分離的連續(xù)周期的最短的一個(gè)與當(dāng)前目標(biāo)區(qū)域相關(guān)。另外,目標(biāo)跟蹤部分131計(jì)算多個(gè)分離的連續(xù)周期的一個(gè)平均值,并且把該計(jì)算的平均周期與該當(dāng)前的目標(biāo)區(qū)域相關(guān)。
狀態(tài)判定部分132從目標(biāo)區(qū)域信息存儲(chǔ)部分133獲取分離的連續(xù)周期。而且,狀態(tài)判定部分132判定一個(gè)目標(biāo)區(qū)域的跟蹤狀態(tài)。而且,根據(jù)判定結(jié)果,狀態(tài)判定部分132更新存儲(chǔ)在目標(biāo)區(qū)域信息存儲(chǔ)部分133中的分離的連續(xù)周期。更具體地說(shuō),當(dāng)已經(jīng)判定該跟蹤的狀態(tài)是一個(gè)啟動(dòng)的進(jìn)行分離狀態(tài)時(shí),狀態(tài)判定部分132則根據(jù)針對(duì)感興趣的在進(jìn)行分離和當(dāng)前時(shí)間來(lái)更新存儲(chǔ)在目標(biāo)區(qū)域信息存儲(chǔ)部分133中的分離的連續(xù)周期。如果目標(biāo)區(qū)域的跟蹤的狀態(tài)不是該啟動(dòng)的進(jìn)行分離的狀態(tài),則狀態(tài)判定部分132復(fù)位用于在進(jìn)行分離的持續(xù)時(shí)間周期。另外,表示進(jìn)行分離的啟動(dòng)時(shí)間的進(jìn)行分離啟動(dòng)時(shí)間也可被存儲(chǔ)來(lái)代替用于在進(jìn)行分離的持續(xù)時(shí)間周期的存儲(chǔ)。在此情況中,能夠通過(guò)尋找該當(dāng)前時(shí)間和分離啟動(dòng)時(shí)間之間的差值來(lái)獲得用于在進(jìn)行分離的持續(xù)時(shí)間周期。
目標(biāo)跟蹤部分131能夠產(chǎn)生該第二區(qū)域?qū)?yīng)關(guān)系信息,包括用于在進(jìn)行分離的該持續(xù)時(shí)間周期而不是在目標(biāo)區(qū)域信息存儲(chǔ)部分133中存儲(chǔ)用于在進(jìn)行分離的持續(xù)期周期。在此情況中,狀態(tài)判定部分132從該第二區(qū)域?qū)?yīng)關(guān)系信息中獲取用于在進(jìn)行分離的持續(xù)時(shí)間周期。用于在進(jìn)行分離的持續(xù)期周期無(wú)需插入目標(biāo)區(qū)域信息存儲(chǔ)部分133地從目標(biāo)跟蹤部分131到狀態(tài)判定部分132的直接傳遞提供一個(gè)優(yōu)點(diǎn),即實(shí)現(xiàn)目標(biāo)區(qū)域信息存儲(chǔ)部分133的處理量的降低。
此外,該第一實(shí)施例和該改進(jìn)的實(shí)施例1和2可被組合使用。具體地說(shuō),根據(jù)目標(biāo)和目標(biāo)區(qū)域之間的該對(duì)應(yīng)關(guān)系、目標(biāo)區(qū)域和目標(biāo)區(qū)域的進(jìn)行分離的持續(xù)期時(shí)段之間的距離的組合,把具有一共同區(qū)域?qū)?yīng)的目標(biāo)區(qū)域的目標(biāo)集合在一起,而且把該目標(biāo)和對(duì)應(yīng)的目標(biāo)區(qū)域分組到一個(gè)類別中也是可實(shí)行的。而且,如果滿足下列條件或下列條件的組合任意之一,把包括在一個(gè)類別中的目標(biāo)和目標(biāo)區(qū)域的跟蹤狀態(tài)判定為進(jìn)行分離的狀態(tài)也是實(shí)用的該分類的類別符合針對(duì)進(jìn)行分離的狀態(tài)的條件而且在每一個(gè)類別中包括兩個(gè)或多個(gè)目標(biāo);包括在每個(gè)類別中的目標(biāo)區(qū)域之間的距離超過(guò)一個(gè)預(yù)定門限值;該目標(biāo)區(qū)域在進(jìn)行分離的狀態(tài)過(guò)程中的持續(xù)時(shí)間超過(guò)一個(gè)預(yù)定門限值。
(改進(jìn)的實(shí)施例3)該目標(biāo)跟蹤裝置能夠通過(guò)下列過(guò)程來(lái)合成目標(biāo)的特征量以便建立在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系特征量合成部分15不僅獲得目標(biāo)的特征量而且從特征量產(chǎn)生部分14獲得區(qū)域特征量信息。特征量合成部分15根據(jù)一個(gè)期望的合成比例ε而在該區(qū)域特征量信息和由特征量產(chǎn)生部分14提供的該目標(biāo)的特征量的的基礎(chǔ)上計(jì)算合成的特征量。特征量合成部分15進(jìn)一步提供對(duì)應(yīng)于該合成比例ε的合成的特征量,該合成比例ε得出包括在該區(qū)域特征量信息中的在計(jì)算的合成的特征量和該目標(biāo)區(qū)域的特征量之間的最高相似程度。根據(jù)由特征量合成部分15提供的該合成的特征量,對(duì)應(yīng)關(guān)系判定部分16計(jì)算在目標(biāo)區(qū)域的特征量和針對(duì)目標(biāo)和目標(biāo)區(qū)域的每一個(gè)組合的該合成的特征量之間的相似程度,而且計(jì)算組合的相似程度。
由于特征量合成部分15提供對(duì)應(yīng)于產(chǎn)生在目標(biāo)和一個(gè)目標(biāo)區(qū)域之間的最高相似程度的合成比例ε的該合成的特征量,所以對(duì)應(yīng)關(guān)系判定部分16只根據(jù)一個(gè)合成的特征量就足以計(jì)算針對(duì)該目標(biāo)和目標(biāo)區(qū)域之間的每一個(gè)組合的合成的特征量。結(jié)果是能夠刪去對(duì)應(yīng)關(guān)系判定部分16多余的計(jì)算處理。
(改進(jìn)的實(shí)施例4)該目標(biāo)跟蹤裝置能夠通過(guò)下列方法由合成的特征量建立目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系特征量合成部分15不僅獲得目標(biāo)的特征量而且獲得該區(qū)域特征量信息,而且計(jì)算根據(jù)公式(5)至(7)最小化該距離的合成比例ε的值,其中公式(5)是用于根據(jù)該區(qū)域?qū)?yīng)關(guān)系信息和由特征量產(chǎn)生部分14提供的目標(biāo)特征量計(jì)算在一個(gè)目標(biāo)區(qū)域的特征量和對(duì)應(yīng)的目標(biāo)的合成的特征量之間的距離f(ε)的一個(gè)公式;特征量合成部分15計(jì)算合成比例ε的值,該合成比例ε清零(nulls)由部分差分距離f(ε)相對(duì)于在數(shù)學(xué)表達(dá)式(6)和(7)中所示的合成比例ε產(chǎn)生的作用,即特征量合成部分15計(jì)算最小化距離f(ε)的合成比例ε的值;特征量合成部分15通過(guò)使用該計(jì)算的合成比例ε而根據(jù)公式(3)產(chǎn)生一個(gè)合成的特征量,并且對(duì)應(yīng)關(guān)系判定部分16根據(jù)該產(chǎn)生的合成的特征量計(jì)算該相似程度。注意,公式(5)至(7)是使用針對(duì)目標(biāo)A和B的該合成的特征量的一個(gè)實(shí)例表示的。
f(ϵ)=|Hri-Hgki(ϵ)|2=|(HA-HB)ϵ+Hri-HA|2=Σn{(an-bn)ϵ+xn-an}2---(5)]]>∂f∂ϵ=2Σn{(an-bn)ϵ+xn-an}(an-bn)---(6)]]>
ϵ=Σn(an-xn)Σn(an-bn)---(7)]]>其中Hgki表示目標(biāo)A的特征量HA和目標(biāo)B的特征量HB的合成的特征量,Hri表示目標(biāo)區(qū)域的特征量。如果該特征量例如是一個(gè)彩色直方圖并且如果該彩色直方圖的等級(jí)(BIN)的數(shù)量是n,則特征量HA、HB、Hri和Hgki分別是n維矢量,并且被表示為HA=(a1,a2,…,an),HB=(b1,b2,…,bn),Hri=(x1,x2,…,xn),以及Hgki=(xk1,xk2,…,xkn)。
如果根據(jù)公式(7)計(jì)算的合成比例ε小于0或大于1,則根據(jù)公式(7)計(jì)算的更靠近合成比例ε的值的0或1被選擇作為合成比例ε的值。特征量合成部分15通過(guò)使用計(jì)算的合成比例ε來(lái)計(jì)算該合成的特征量。根據(jù)該計(jì)算的合成比例ε,對(duì)應(yīng)關(guān)系判定部分16計(jì)算由公式(2)表示的每個(gè)組合的距離,并且確定最小化組合距離的目標(biāo)和目標(biāo)區(qū)域的組合作為一個(gè)最佳對(duì)應(yīng)關(guān)系。
根據(jù)公式(5)、(6)和(7),特征量合成部分15能夠唯一地使用一個(gè)具體的合成系數(shù)ε而產(chǎn)生一個(gè)合成的特征量。因此,與其中針對(duì)合成系數(shù)ε的各種值而產(chǎn)生合成的特征量的情況相比,有可能降低用于計(jì)算相似程度的計(jì)算量。應(yīng)該指出的是,該特征量合成部分15能夠通過(guò)類似于上述的方法在三個(gè)或更多目標(biāo)重疊的情況中來(lái)產(chǎn)生一個(gè)合成的特征量。另外,雖然在上述實(shí)施例中特征量合成部分15使用L2標(biāo)準(zhǔn)作為特征量之間的一個(gè)距離的度量,但是也能夠使用其它的距離度量。
而且,該目標(biāo)跟蹤裝置可以是能夠通過(guò)下列方法合成特征量和選擇目標(biāo)區(qū)域和目標(biāo)的裝置特征量合成部分15使用目標(biāo)區(qū)域的比例作為合成比例ε而產(chǎn)生合成的特征量;并且對(duì)應(yīng)關(guān)系判定部分16根據(jù)該產(chǎn)生的合成的特征量計(jì)算該相似程度。此方法是根據(jù)這樣的事實(shí),即在目標(biāo)交叉時(shí)的合成比例接近等于該目標(biāo)的區(qū)域的比例。使用目標(biāo)的區(qū)域比例作為一個(gè)合成比例,使特征量合成部分15能夠削減用于計(jì)算該合成比例的操作。該合成的特征量是根據(jù)公式(8)計(jì)算的。
Hg=SASA+SBHA+SBSA+SBHB---(8)]]>
其中HA和HB分別表示目標(biāo)A和B的特征量;SA和SB分別表示關(guān)于目標(biāo)A和B的圖像信息上的區(qū)域;Hg代表該合成的特征量。通過(guò)使用產(chǎn)生的合成的特征量Hg,對(duì)應(yīng)關(guān)系判定部分16計(jì)算公式(2)中表示的距離的取和,并且把最小化該距離的取和的該目標(biāo)和目標(biāo)區(qū)域的組合確定作為一個(gè)最佳對(duì)應(yīng)關(guān)系。
例如,特征量產(chǎn)生部分14采用包括在一個(gè)目標(biāo)區(qū)域的一個(gè)圖像中的像素的數(shù)量作為該目標(biāo)的一個(gè)區(qū)域來(lái)產(chǎn)生包括一個(gè)目標(biāo)區(qū)域的一個(gè)特征量以及包括其它目標(biāo)區(qū)域的特征量。在特征量產(chǎn)生部分14中的特征量存儲(chǔ)部分143存儲(chǔ)該該區(qū)域包括的特征量,并且當(dāng)該第一區(qū)域?qū)?yīng)關(guān)系信息中包括的一個(gè)目標(biāo)的跟蹤狀態(tài)指示非交叉狀態(tài)時(shí)(除該交叉狀態(tài)之外的狀態(tài)),更新該區(qū)域包括的特征量。
而且,該目標(biāo)跟蹤裝置能夠根據(jù)下面描述的方法合成特征量并且建立目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系假設(shè)每一個(gè)重疊目標(biāo)的區(qū)域潛在地在從S1到S2的范圍中變化,并且特征量合成部分15根據(jù)公式(9)產(chǎn)生在該變化范圍中的合成的特征量。公式(9)被用于計(jì)算目標(biāo)A的特征量和目標(biāo)B的特征量的合成的特征量。根據(jù)在該產(chǎn)生的合成的特征量中包括的并具有相對(duì)于該目標(biāo)區(qū)域的特征量的最高相似程度的該合成的特征量,對(duì)應(yīng)關(guān)系判定部分16計(jì)算在該目標(biāo)和該目標(biāo)區(qū)域之間的相似程度,并且根據(jù)公式(10)計(jì)算該組合相似程度。
Hg(Δs)=SA+ΔsSA+SBHA+SB-ΔsSA+SBHB(-s1≤Δs≤s2)---(9)]]>D=ΣiminΔs(Hri-Hgi(Δs))2---(10)]]>其中ΔS表示來(lái)自恰在彼此重疊的目標(biāo)A和B之前的區(qū)域的目標(biāo)A的區(qū)域的一個(gè)差值。允許目標(biāo)區(qū)域的變化的合成的特征量的計(jì)算使特征量合成部分15即使在感興趣的目標(biāo)區(qū)域或多或少改變的條件下也能夠避免選擇與實(shí)際完全不同的合成比例,從而使得能夠根據(jù)正確的合成比例來(lái)產(chǎn)生該合成的特征量。結(jié)果是,對(duì)應(yīng)關(guān)系判定部分16能夠判定在目標(biāo)和目標(biāo)區(qū)域之間的最佳對(duì)應(yīng)關(guān)系。
(改進(jìn)的實(shí)施例5)同樣可行的是,特征量合成部分15不僅獲取目標(biāo)的特征量而且從特征量產(chǎn)生部分14獲取區(qū)域特征量信息,并且根據(jù)該區(qū)域特征量信息和由特征量產(chǎn)生部分14提供的目標(biāo)的特征量而產(chǎn)生在一個(gè)區(qū)域變化范圍中的合成的特征量;提供作為對(duì)于一個(gè)目標(biāo)區(qū)域的特征量的最高相似程度的合成的特征量的一個(gè)輸出;并且,根據(jù)該合成的特征量,對(duì)應(yīng)關(guān)系判定部分16尋找針對(duì)目標(biāo)和一個(gè)目標(biāo)區(qū)域的每一個(gè)組合的組合相似程度。換句話說(shuō),能夠把合成比例ε限制在根據(jù)該目標(biāo)的區(qū)域變化的范圍預(yù)定的一個(gè)范圍之內(nèi)。以此方式,特征量合成部分15僅需要提供針對(duì)該目標(biāo)每一組合的單個(gè)合成的特征量,從而與針對(duì)合成比例ε的各種值產(chǎn)生合成的特征量的情況比較,能夠刪去冗余處理。
(改進(jìn)的實(shí)施例6)另外,特征量合成部分15能夠通過(guò)使用目標(biāo)的模板作為特征量來(lái)獲得該合成的特征量。該模板涉及通過(guò)從一個(gè)畫面提取對(duì)應(yīng)于感興趣的實(shí)物體的圖像的一部分所產(chǎn)生的一個(gè)局部圖像,并且對(duì)應(yīng)于表示形狀和色彩的圖像。一個(gè)模板是通過(guò)根據(jù)該目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系而提取在對(duì)應(yīng)于一個(gè)實(shí)物體的畫面中的區(qū)域產(chǎn)生的。另外,已經(jīng)事先模式化的例如一個(gè)基準(zhǔn)面部圖像的一個(gè)圖像能夠被采用作為一個(gè)模板。
例如,假設(shè)其中在單個(gè)目標(biāo)區(qū)域中駐留兩個(gè)目標(biāo)的情況。則特征量合成部分15跨越該目標(biāo)區(qū)域運(yùn)行模板,并且計(jì)算在該目標(biāo)區(qū)域中的每一個(gè)位置的模板和該目標(biāo)區(qū)域之間的相似程度。特征量合成部分15尋找該相似程度達(dá)到最大值的位置。特征量合成部分15根據(jù)公式(11)和(12)計(jì)算該相似程度。
di(a,b)=Σ(x+a,y+b)∈mi|Mi(x+a,y+b)-R(x,y)|2---(11)]]>di=mina,bdi(a,b)---(12)]]>其中Mi(x,y)表示在坐標(biāo)(x,y)的該第i模板的一個(gè)像素的值,而R(x,y)表示在坐標(biāo)(x,y)的該目標(biāo)區(qū)域的一個(gè)像素的值。符號(hào)mi表示該第i模板的整個(gè)坐標(biāo)域。特征量合成部分15按照示出的公式(11)計(jì)算在該模板和該目標(biāo)區(qū)域之間的該象素值的差值的平方和,作為在其特征量之間的距離。當(dāng)在其特征量之間的距離是最小值時(shí),按照公式(12)表示的那樣,判定該模板和該目標(biāo)區(qū)域之間的相似程度是最高值。特征量合成部分15采用其中該模板和目標(biāo)區(qū)域之間的相似程度是最高值的位置(a,b)作為該目標(biāo)的位置。
特征量合成部分15隨后根據(jù)在模板和目標(biāo)區(qū)域之間的相似程度判定該重疊目標(biāo)(交叉狀態(tài)中的目標(biāo))的前-后方向中的關(guān)系(前/后關(guān)系)。特征量合成部分15判定對(duì)于該目標(biāo)區(qū)域的較高相似程度的模板覆蓋對(duì)于該目標(biāo)區(qū)域的較低相似程度的模板。特征量合成部分15隨后通過(guò)合成該模板而產(chǎn)生對(duì)應(yīng)于一個(gè)合成的特征量的合成模板。如上所述,特征量合成部分15能夠根據(jù)該圖像模板的特征量和目標(biāo)區(qū)域判定分別目標(biāo)的前/后關(guān)系,并且通過(guò)根據(jù)該目標(biāo)的判定的前/后關(guān)系合成該圖像模板而計(jì)算一個(gè)合成的特征量。
另外,特征量合成部分15能夠選擇具有對(duì)于感興趣的目標(biāo)區(qū)域的各個(gè)最高相似程度的最高值的模板,并且判定該選擇的模板覆蓋該未選擇的模板??梢云谕诖饲闆r中從感興趣的目標(biāo)區(qū)域中排除其中該目標(biāo)區(qū)域和該選定的模板(在該情況的模板相似程度達(dá)到最高值)重疊的區(qū)域,在保持目標(biāo)區(qū)域和未選擇的模板的基礎(chǔ)上,針對(duì)在模板和目標(biāo)區(qū)域之間的相似程度的計(jì)算、模板的最高相似程度的選擇、屬于是最高相似程度的模板的位置的計(jì)算以及覆蓋模板的判定而重復(fù)地執(zhí)行操作。
圖10是說(shuō)明使用模板產(chǎn)生合成的特征量的構(gòu)思的示意圖。如圖10A所示,特征量合成部分15操作模板A和B來(lái)掃描目標(biāo)區(qū)域α。特征量合成部分15能夠判定該模板B以一個(gè)覆蓋結(jié)構(gòu)覆蓋模板A,因?yàn)槟0錌和目標(biāo)區(qū)域α之間的最高相似程度高于模板A和目標(biāo)區(qū)域目標(biāo)區(qū)域α之間的最高相似程度。如圖10B所示,特征量合成部分15在分別位置合成模板A和模板B,其中每一個(gè)模板都構(gòu)成對(duì)于目標(biāo)區(qū)域α的最高相似程度,從而產(chǎn)生合成模板X。當(dāng)產(chǎn)生合成模板X時(shí),特征量合成部分15使用模板B的特征量的值針對(duì)模板B覆蓋模板A的部分執(zhí)行該合成操作。用于補(bǔ)充說(shuō)明,坐標(biāo)(a1.b1)代表模板A和目標(biāo)區(qū)域之間的相似程度最高的位置,坐標(biāo)(a2.b2)代表模板B和目標(biāo)區(qū)域之間的相似程度最高的位置。
根據(jù)公式(2),對(duì)應(yīng)關(guān)系判定部分16計(jì)算基于合成模板的彩色直方圖的該目標(biāo)區(qū)域和該合成的特征量的特征量之間的相似程度,并且能夠計(jì)算該組合的相似程度。另外,與公式(12)相似,對(duì)應(yīng)關(guān)系判定部分16能夠通過(guò)調(diào)整(collating)該目標(biāo)區(qū)域和該合成模板來(lái)計(jì)算在該目標(biāo)區(qū)域的特征量和該合成的特征量之間的相似程度,從而計(jì)算該組合相似程度。使用模板使得即使一個(gè)目標(biāo)被局部地隱藏在另一目標(biāo)之后時(shí)也能夠正確計(jì)算一個(gè)目標(biāo)和一個(gè)目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系。
(改進(jìn)的實(shí)施例7)在每一個(gè)上述方法中,當(dāng)建立目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系時(shí),時(shí)常出現(xiàn)的情況是,即使在低的組合相似程度時(shí)也必由對(duì)應(yīng)關(guān)系判定部分16進(jìn)行目標(biāo)和目標(biāo)區(qū)域之間的該對(duì)應(yīng)關(guān)系的建立,導(dǎo)致在該目標(biāo)和該目標(biāo)區(qū)域之間的一個(gè)不正確的對(duì)應(yīng)關(guān)系??紤]到這一問(wèn)題,如果針對(duì)一個(gè)最佳組合的該組合相似程度(即針對(duì)該最高組合相似程度的組合的組合相似程度)是低值,則對(duì)應(yīng)關(guān)系判定部分16可以計(jì)劃不建立目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系。在此情況中,如果針對(duì)目標(biāo)和目標(biāo)區(qū)域的該最佳組合的該組合相似程度等于或小于一個(gè)預(yù)定門限值,則對(duì)應(yīng)關(guān)系計(jì)算部分161判定不存在對(duì)應(yīng)于構(gòu)成該組合的目標(biāo)的最佳目標(biāo)區(qū)域。對(duì)應(yīng)關(guān)系計(jì)算部分161隨后提供該最佳對(duì)應(yīng)關(guān)系信息,包括有指示在該目標(biāo)和該目標(biāo)區(qū)域之間不存在最佳對(duì)應(yīng)關(guān)系的信息。當(dāng)最佳對(duì)應(yīng)關(guān)系信息包括有指示不存在對(duì)應(yīng)于該目標(biāo)的最佳目標(biāo)區(qū)域的信息時(shí),對(duì)應(yīng)關(guān)系建立部分162將針對(duì)感興趣的目標(biāo)判定把指示包括以第一區(qū)域?qū)?yīng)關(guān)系信息中的目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的信息原樣地指定為該目標(biāo)和該目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系,并且提供該信息作為已經(jīng)確定的對(duì)應(yīng)關(guān)系信息。如果情況不是這樣,則指示包括在該最佳對(duì)應(yīng)關(guān)系信息中的目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的信息被提供作為已被確定的對(duì)應(yīng)關(guān)系信息。例如假設(shè)其中對(duì)應(yīng)關(guān)系計(jì)算部分161采用(α,β)=(A,BC)作為一個(gè)最佳組合的情況。隨后,對(duì)應(yīng)關(guān)系計(jì)算部分161從由α和A組成的集的相似程度以及由β和BC組成的集的相似程度中計(jì)算該組合相似程度,并且判定該組合相似程度是否不大于一個(gè)預(yù)定門限值。如果該組合相似程度等于或小于該門限值,則對(duì)應(yīng)關(guān)系建立部分162判定把指定包括在該第一區(qū)域?qū)?yīng)關(guān)系信息中的關(guān)于在目標(biāo)A、目標(biāo)B和目標(biāo)C以及目標(biāo)區(qū)域α和β之間的對(duì)應(yīng)關(guān)系的信息原樣地作為在目標(biāo)A、目標(biāo)B和目標(biāo)C以及目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系。
(改進(jìn)的實(shí)施例8)
在每一個(gè)上述方法中,當(dāng)建立目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系時(shí),時(shí)常出現(xiàn)的情況是,即使在低的組合相似程度時(shí)也必由對(duì)應(yīng)關(guān)系判定部分16進(jìn)行目標(biāo)和目標(biāo)區(qū)域之間的該對(duì)應(yīng)關(guān)系的建立,導(dǎo)致在該目標(biāo)和該目標(biāo)區(qū)域之間的一個(gè)不正確的對(duì)應(yīng)關(guān)系的建立。考慮到這一問(wèn)題,如果針對(duì)一個(gè)最佳組合的該組合相似程度(即針對(duì)該最高組合相似程度的組合的組合相似程度)是低值,則對(duì)應(yīng)關(guān)系判定部分16可以計(jì)劃不建立目標(biāo)和目標(biāo)區(qū)域之間的任何對(duì)應(yīng)關(guān)系。在此情況中,如果針對(duì)目標(biāo)和目標(biāo)區(qū)域的最佳組合的該集的相似程度(由幾個(gè)目標(biāo)或一個(gè)目標(biāo)以及一個(gè)目標(biāo)區(qū)域組成的一個(gè)集的相似程度)等于或小于一個(gè)預(yù)定門限值,則對(duì)應(yīng)關(guān)系計(jì)算部分161判定不存在對(duì)應(yīng)于該目標(biāo)的最佳目標(biāo)區(qū)域。對(duì)應(yīng)關(guān)系計(jì)算部分161隨后提供該最佳對(duì)應(yīng)關(guān)系信息,包括有指示在該目標(biāo)和該目標(biāo)區(qū)域之間不存在最佳對(duì)應(yīng)關(guān)系的信息。當(dāng)最佳對(duì)應(yīng)關(guān)系信息包括有指示不存在對(duì)應(yīng)于該目標(biāo)的最佳目標(biāo)區(qū)域的信息時(shí),對(duì)應(yīng)關(guān)系建立部分162將針對(duì)感興趣的目標(biāo)判定把指示包括以第一區(qū)域?qū)?yīng)關(guān)系信息中的目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的信息原樣地指定為該目標(biāo)和該目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系,并且提供該信息作為已經(jīng)確定的對(duì)應(yīng)關(guān)系信息。如果情況不是這樣,則對(duì)應(yīng)關(guān)系建立部分把指示包括在該最佳對(duì)應(yīng)關(guān)系信息中的目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的信息提供作為已被確定的對(duì)應(yīng)關(guān)系信息。例如假設(shè)其中對(duì)應(yīng)關(guān)系計(jì)算部分161采用(α,β)=(A,BC)作為一個(gè)最佳組合的情況。然后,對(duì)應(yīng)關(guān)系計(jì)算部分161判定由α和A組成的集的相似程度以及由β和BC組成的集的相似程度是否分別不高于一個(gè)預(yù)定門限值。如果在α和A之間的相似程度等于或低于該預(yù)定門限值,則對(duì)應(yīng)關(guān)系建立部分162判定把指示包括在該第一區(qū)域?qū)?yīng)關(guān)系信息中的目標(biāo)A和感興趣的的目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的信息原樣地指定為目標(biāo)A和該目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系。
(改進(jìn)的實(shí)施例9)能夠嘗試讓對(duì)應(yīng)關(guān)系計(jì)算部分161僅針對(duì)可明確鑒別的目標(biāo)建立與一個(gè)目標(biāo)區(qū)域的對(duì)應(yīng)關(guān)系。在此情況中,對(duì)應(yīng)關(guān)系計(jì)算部分161以組合相似程度的高度次序排列目標(biāo)和目標(biāo)區(qū)域的全部組合。如果排列在上部排序中的組合的組合相似程度之間差值小(例如等于或小于一個(gè)預(yù)定門限值)并且此外如果共同目標(biāo)和目標(biāo)區(qū)域(或一個(gè)目標(biāo)和一個(gè)目標(biāo)區(qū)域)存在于上部排序組合中,則對(duì)應(yīng)關(guān)系計(jì)算部分161只把該共同目標(biāo)和目標(biāo)區(qū)域的組合認(rèn)為是一個(gè)最佳對(duì)應(yīng)關(guān)系。對(duì)應(yīng)關(guān)系計(jì)算部分161提供包括只關(guān)于該共同目標(biāo)和目標(biāo)區(qū)域的組合的信息的最佳對(duì)應(yīng)關(guān)系信息。這意味著,該最佳對(duì)應(yīng)關(guān)系信息包括指示沒(méi)有在其它目標(biāo)和目標(biāo)區(qū)域中的一個(gè)最佳對(duì)應(yīng)關(guān)系的任何組合的信息。
例如假設(shè)在目標(biāo)A、B和C以及目標(biāo)區(qū)域α、β、γ之間的對(duì)應(yīng)關(guān)系中,排列在該組合相似程度的排序中的上面三個(gè)是(α,β,γ)=(A,B,C),(AB,Φ,C)和(B,A,C)。在本實(shí)例中,對(duì)應(yīng)關(guān)系計(jì)算部分161專門把目標(biāo)C和目標(biāo)區(qū)域γ的組合假設(shè)為一個(gè)最佳組合,并且提供包括只指示目標(biāo)C和目標(biāo)區(qū)域γ的組合作為一個(gè)最佳組合的信息的最佳對(duì)應(yīng)關(guān)系信息。另外,此方法能夠與改進(jìn)的實(shí)施例7結(jié)合在其中對(duì)于該目標(biāo)和目標(biāo)區(qū)域的最佳組合來(lái)說(shuō)該目標(biāo)和一個(gè)目標(biāo)區(qū)域的集的相似程度的每一個(gè)都相等或低于一個(gè)預(yù)定門限值的情況中,如果該較高排序的組合的組合相似程度之間的差異是小值(例如等于或小于一個(gè)預(yù)定門限值)并且此外不存在對(duì)于該較高排序組合而言是共同的目標(biāo)和目標(biāo)區(qū)域,則對(duì)應(yīng)關(guān)系計(jì)算部分161能夠把指示缺乏在其它目標(biāo)和目標(biāo)區(qū)域中的一個(gè)最佳對(duì)應(yīng)關(guān)系的任何組合的信息包括到該最佳對(duì)應(yīng)關(guān)系信息中。
對(duì)于該最佳對(duì)應(yīng)關(guān)系信息指示為沒(méi)有最佳的那些目標(biāo)來(lái)說(shuō),對(duì)應(yīng)關(guān)系建立部分162則判定把包括在該第一區(qū)域?qū)?yīng)關(guān)系信息中的該目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系指定作為在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系。
如上所述,針對(duì)全部可能組合的具有范圍從最高組合相似程度到在一個(gè)預(yù)定門限值之內(nèi)的組合相似程度的那些組合,對(duì)應(yīng)關(guān)系計(jì)算部分161從排列在較高組合相似程度中的那些組合中選擇具有在一個(gè)規(guī)定閾值之內(nèi)的組合相似程度的那些組合,把共同存在于該選擇組合中的目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系包括到該最佳對(duì)應(yīng)關(guān)系信息中作為最佳的對(duì)應(yīng)關(guān)系,并且針對(duì)未被包括在所說(shuō)的共同存在的目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系中的目標(biāo)和目標(biāo)區(qū)域,對(duì)應(yīng)關(guān)系計(jì)算部分161把指示缺少在目標(biāo)和一個(gè)目標(biāo)區(qū)域之間的一個(gè)最佳對(duì)應(yīng)關(guān)系的信息包括到該最佳對(duì)應(yīng)關(guān)系信息中。針對(duì)在該最佳對(duì)應(yīng)關(guān)系信息中未被指示為沒(méi)有對(duì)于目標(biāo)區(qū)域的最佳對(duì)應(yīng)關(guān)系的那些目標(biāo),對(duì)應(yīng)關(guān)系建立部分162能夠計(jì)劃提供包括在該最佳對(duì)應(yīng)關(guān)系信息中的指示目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的信息作為已經(jīng)確定的對(duì)應(yīng)關(guān)系信息;并且針對(duì)在該最佳對(duì)應(yīng)關(guān)系信息中被指示為沒(méi)有對(duì)于目標(biāo)區(qū)域的最佳對(duì)應(yīng)關(guān)系的那些目標(biāo),對(duì)應(yīng)關(guān)系建立部分162提供包括在該第一區(qū)域?qū)?yīng)關(guān)系信息中的指示該目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的信息作為該已被確定的對(duì)應(yīng)關(guān)系信息。
(改進(jìn)的實(shí)施例10)而且,在上述分別的方法中,特征量產(chǎn)生部分14能夠根據(jù)該跟蹤狀態(tài)修改包括在將被提供到對(duì)應(yīng)關(guān)系判定部分16的區(qū)域特征量信息中的信息。例如在此情況中,對(duì)于在其跟蹤狀態(tài)中由從狀態(tài)跟蹤判定部分13提供的該第一區(qū)域?qū)?yīng)關(guān)系信息指示為進(jìn)行分離的狀態(tài)的目標(biāo)區(qū)域,該感興趣的目標(biāo)區(qū)域的特征量被包括在該區(qū)域特征量信息中。另外,對(duì)于在跟蹤狀態(tài)中被指示為不是該進(jìn)行分離的狀態(tài)中的目標(biāo)區(qū)域,該區(qū)域特征量信息雖然能夠包括但無(wú)需包括該感興趣的目標(biāo)區(qū)域的特征量,因?yàn)閷?duì)應(yīng)關(guān)系判定部分16不需要該目標(biāo)區(qū)域的特征量。再一選擇是,這區(qū)域特征量信息能夠包括指示不需要建立對(duì)應(yīng)關(guān)系的信息來(lái)代替不包括特征量。對(duì)應(yīng)關(guān)系判定部分16從該對(duì)應(yīng)的建立中排除在該區(qū)域特征量信息中被指示為不需要建立對(duì)于目標(biāo)的對(duì)應(yīng)關(guān)系的目標(biāo)區(qū)域,從而降低對(duì)應(yīng)關(guān)系判定部分16的計(jì)算量。
(改進(jìn)的實(shí)施例11)只要在由狀態(tài)跟蹤判定部分13提供的第一區(qū)域?qū)?yīng)關(guān)系信息中該目標(biāo)的跟蹤狀態(tài)被指示為進(jìn)行分離的狀態(tài),則特征量合成部分15不用于獲得存儲(chǔ)在特征量存儲(chǔ)部分143中的全部目標(biāo)的特征量而是用于獲取存儲(chǔ)在特征量存儲(chǔ)部分143中的一些目標(biāo)的特征量,因此將使能夠省略為產(chǎn)生該合成的特征量所不需要的目標(biāo)特征量的獲取的多余的處理,并且加速該特征量合成部分產(chǎn)生該合成的特征量的處理。
(改進(jìn)的實(shí)施例12)在上述方法中,該第一區(qū)域?qū)?yīng)關(guān)系信息與已經(jīng)針對(duì)除了進(jìn)行分離的狀態(tài)之外的跟蹤狀態(tài)中的目標(biāo)所確定的對(duì)應(yīng)關(guān)系信息完全相同。
因此,從對(duì)應(yīng)關(guān)系判定部分16反饋到狀態(tài)跟蹤判定部分13的包括在已經(jīng)確定的對(duì)應(yīng)關(guān)系信息對(duì)應(yīng)關(guān)系信息中的信息內(nèi)容能被限制到在進(jìn)行分離的狀態(tài)中的目標(biāo)的對(duì)應(yīng)關(guān)系。在此情況中,對(duì)于其它目標(biāo)來(lái)說(shuō),狀態(tài)跟蹤判定部分取代該已經(jīng)確定的對(duì)應(yīng)關(guān)系信息而使用由狀態(tài)跟蹤判定部分13本身過(guò)去獲得的對(duì)應(yīng)關(guān)系(包括在第一區(qū)域?qū)?yīng)關(guān)系信息中)。此方案同樣實(shí)現(xiàn)等效于使用上述方法的目標(biāo)跟蹤裝置的裝置。
(改進(jìn)的實(shí)施例13)在每一個(gè)上述方法,雖然特征量更新部分142根據(jù)該第一區(qū)域?qū)?yīng)關(guān)系信息更新目標(biāo)的特征量,但是特征量更新部分142能夠根據(jù)取代該第一區(qū)域?qū)?yīng)關(guān)系信息的已被確定的對(duì)應(yīng)關(guān)系信息更新目標(biāo)的特征量。在此情況中,特征量提取部分141把在該第一區(qū)域?qū)?yīng)關(guān)系信息中指示為單獨(dú)狀態(tài)或進(jìn)行分離狀態(tài)的跟蹤狀態(tài)中的目標(biāo)區(qū)域的特征量包括到將被提供到特征量更新部分142的區(qū)域特征量信息中。特征量更新部分142在對(duì)應(yīng)關(guān)系判定部分16確定在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系之后而根據(jù)由對(duì)應(yīng)關(guān)系判定部分16提供的已經(jīng)確定的對(duì)應(yīng)關(guān)系信息來(lái)判定目標(biāo)的跟蹤狀態(tài)。隨后,特征量更新部分142根據(jù)由特征量提取部分141提供的關(guān)于目標(biāo)區(qū)域的特征量信息而專門針對(duì)在該跟蹤狀態(tài)中是單獨(dú)狀態(tài)的目標(biāo)更新存儲(chǔ)在特征量存儲(chǔ)部分143中的該目標(biāo)的特征量。此方案同樣實(shí)現(xiàn)等效于使用任何上述方法的目標(biāo)跟蹤裝置的裝置。
(改進(jìn)的實(shí)施例14)對(duì)應(yīng)關(guān)系判定部分16能夠判定目標(biāo)的跟蹤狀態(tài)而不是特征量更新部分142根據(jù)已經(jīng)確定的對(duì)應(yīng)關(guān)系信息判定目標(biāo)的跟蹤狀態(tài),其中對(duì)應(yīng)關(guān)系判定部分16提供已經(jīng)確定的包括關(guān)于該判定的目標(biāo)跟蹤狀態(tài)的對(duì)應(yīng)關(guān)系信息,從而使得特征量更新部分142省略判定該目標(biāo)的跟蹤狀態(tài)的處理。此方案同樣能夠?qū)崿F(xiàn)等效于使用上述方法的任何目標(biāo)跟蹤裝置的裝置。
(改進(jìn)的實(shí)施例15)特征量更新部分142能夠不只根據(jù)第一區(qū)域?qū)?yīng)關(guān)系信息而是根據(jù)第一區(qū)域?qū)?yīng)關(guān)系信息和已被確定的對(duì)應(yīng)關(guān)系信息來(lái)更新存儲(chǔ)在特征量存儲(chǔ)部分143中的目標(biāo)的特征量。在此情況中,特征量提取部分141把在該第一區(qū)域?qū)?yīng)關(guān)系信息中被指示為具有單獨(dú)狀態(tài)或進(jìn)行分離狀態(tài)的跟蹤狀態(tài)的目標(biāo)區(qū)域的特征量包括到將被提供到特征量更新部分142的區(qū)域特征量信息中。特征量更新部分142只就在其跟蹤狀態(tài)中被指示為具有單獨(dú)狀態(tài)的目標(biāo)而根據(jù)從特征量提取部分141提供的區(qū)域特征量信息和從狀態(tài)跟蹤判定部分13提供的第一區(qū)域?qū)?yīng)關(guān)系信息來(lái)更新存儲(chǔ)在特征量存儲(chǔ)部分143中的目標(biāo)的特征量。在對(duì)應(yīng)關(guān)系判定部分16判定在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系之后,特征量更新部分142根據(jù)從對(duì)應(yīng)關(guān)系判定部分16提供的已被確定的對(duì)應(yīng)關(guān)系信息判定該目標(biāo)的跟蹤狀態(tài),并且只就已經(jīng)實(shí)現(xiàn)從進(jìn)行分離的狀態(tài)到單獨(dú)狀態(tài)的過(guò)渡的跟蹤狀態(tài)的目標(biāo)而根據(jù)從特征量提取部分141提供的該區(qū)域特征量信息來(lái)更新存儲(chǔ)在特征量存儲(chǔ)部分143中的該目標(biāo)的特征量。
在此情況中,對(duì)應(yīng)關(guān)系判定部分16同樣能夠判定目標(biāo)的跟蹤狀態(tài),而不是特征量更新部分142根據(jù)已被確定的對(duì)應(yīng)關(guān)系信息判定目標(biāo)的跟蹤狀態(tài)。對(duì)應(yīng)關(guān)系判定部分16進(jìn)一步提供已被確定的包括關(guān)于該目標(biāo)的判定的跟蹤狀態(tài)的信息的對(duì)應(yīng)關(guān)系信息。此方案使得特征量更新部分142省略了判定該目標(biāo)的跟蹤狀態(tài)的處理。
(本發(fā)明的第二工作實(shí)例)隨后參考
涉及本發(fā)明的第二工作實(shí)例。在本工作實(shí)例中的第一區(qū)域?qū)?yīng)關(guān)系信息包括指示一個(gè)目標(biāo)區(qū)域是否在休止或運(yùn)動(dòng)中的休止/運(yùn)動(dòng)狀態(tài)信息。一個(gè)休止/運(yùn)動(dòng)狀態(tài)狀態(tài)包含一個(gè)休止?fàn)顟B(tài)和一個(gè)運(yùn)動(dòng)狀態(tài),其中該休止?fàn)顟B(tài)表示目標(biāo)區(qū)域是在休止中的狀態(tài),而該運(yùn)動(dòng)狀態(tài)表示目標(biāo)區(qū)域是在運(yùn)動(dòng)中的狀態(tài)。目標(biāo)跟蹤裝置把在其休止/運(yùn)動(dòng)狀態(tài)中的休止?fàn)顟B(tài)中的目標(biāo)區(qū)域作為一個(gè)背景處理。
該第一區(qū)域?qū)?yīng)關(guān)系信息包括指示一個(gè)目標(biāo)區(qū)域是否是作為一個(gè)背景處理的背景更新信息。該背景更新信息被利用例如二進(jìn)制表示的″0″和″1″表示如果有關(guān)一個(gè)目標(biāo)區(qū)域的該背景更新信息是″1″,則該目標(biāo)區(qū)域被作為一個(gè)背景處置;并且如果有關(guān)一個(gè)目標(biāo)區(qū)域的該背景更新信息是″0″,則該目標(biāo)區(qū)域不被作為一個(gè)背景處置。
例如,如果該目標(biāo)跟蹤裝置準(zhǔn)備用于跟蹤一個(gè)人體,則該目標(biāo)跟蹤裝置能夠假設(shè)與該人體分離的靜態(tài)目標(biāo)作為一個(gè)背景而只取一個(gè)人體作為一個(gè)跟蹤標(biāo)的。例如作為一種可被使用的區(qū)別休止?fàn)顟B(tài)和運(yùn)動(dòng)狀態(tài)的方法,如果該目標(biāo)區(qū)域保持該靜態(tài)狀態(tài)了長(zhǎng)于一個(gè)規(guī)定門限值的持續(xù)時(shí)間(下文稱作靜態(tài)持續(xù)時(shí)間周期),則其中提取的目標(biāo)區(qū)域的一個(gè)目標(biāo)區(qū)域被判定作為處在靜態(tài)狀態(tài)(一個(gè)休止?fàn)顟B(tài)),并且如果該靜態(tài)持續(xù)時(shí)間周期短于該規(guī)定的閾值,則該目標(biāo)區(qū)域的休止/運(yùn)動(dòng)狀態(tài)狀態(tài)被判定為運(yùn)動(dòng)狀態(tài)。
通過(guò)引進(jìn)背景更新信息,該目標(biāo)跟蹤裝置能夠把已經(jīng)認(rèn)為是背景的該目標(biāo)區(qū)域視為無(wú)需跟蹤的目標(biāo)區(qū)域并且從該跟蹤標(biāo)的中排除。以此方式,該目標(biāo)跟蹤裝置能夠只跟蹤屬于是要求作為跟蹤標(biāo)的而跟蹤的目標(biāo)。具體地說(shuō),本方法可以被用于從全部可能的組合中排除由該休止/運(yùn)動(dòng)狀態(tài)信息指示為正在休止?fàn)顟B(tài)的目標(biāo)和目標(biāo)區(qū)域的組合。例如,在進(jìn)行目標(biāo)區(qū)域處理中,只有當(dāng)該目標(biāo)區(qū)域超過(guò)在其靜態(tài)持續(xù)時(shí)間周期中的一個(gè)規(guī)定閾值、維持在其休止/運(yùn)動(dòng)狀態(tài)狀態(tài)中的休止?fàn)顟B(tài)并且進(jìn)一步被根據(jù)已經(jīng)確定的對(duì)應(yīng)關(guān)系信息判定為沒(méi)有對(duì)應(yīng)目標(biāo)時(shí),該目標(biāo)跟蹤裝置才將該目標(biāo)區(qū)域認(rèn)作該背景的一部分。另外,用于識(shí)別該背景的一個(gè)閾值的建立使得即使在該目標(biāo)跟蹤裝置在目標(biāo)的跟蹤中失敗時(shí)也能夠防止該目標(biāo)跟蹤裝置在其中存在一個(gè)標(biāo)的目標(biāo)的情況中錯(cuò)誤地將該目標(biāo)區(qū)域認(rèn)作一個(gè)背景。
圖11是說(shuō)明本發(fā)明的目標(biāo)跟蹤裝置的第二工作實(shí)例的框圖。雖然該目標(biāo)跟蹤裝置的結(jié)構(gòu)單元與圖2示出的第一工作實(shí)例的情況相同,但目標(biāo)區(qū)域提取部分12不僅根據(jù)通過(guò)圖像輸入終端11提供的圖像信息而且根據(jù)由對(duì)應(yīng)關(guān)系建立部分17提供的已經(jīng)確定的對(duì)應(yīng)關(guān)系信息提取目標(biāo)區(qū)域。在上述裝置中,對(duì)應(yīng)關(guān)系建立部分17的結(jié)構(gòu)與圖3示出的對(duì)應(yīng)關(guān)系建立部分相同,狀態(tài)跟蹤判定部分13的結(jié)構(gòu)與圖6示出的狀態(tài)跟蹤判定部分相同,特征量產(chǎn)生部分14的結(jié)構(gòu)與圖8示出的特征量產(chǎn)生部分相同,并且對(duì)應(yīng)關(guān)系判定部分16的結(jié)構(gòu)與圖9示出的對(duì)應(yīng)關(guān)系判定部分相同。
目標(biāo)區(qū)域信息存儲(chǔ)部分133存儲(chǔ)目標(biāo)區(qū)域的靜態(tài)持續(xù)時(shí)間周期。目標(biāo)跟蹤部分131把存儲(chǔ)在目標(biāo)區(qū)域信息存儲(chǔ)部分133中的目標(biāo)區(qū)域的過(guò)去的靜態(tài)持續(xù)時(shí)間周期與當(dāng)前目標(biāo)區(qū)域相關(guān),并且計(jì)算目前的靜態(tài)持續(xù)時(shí)間周期。目標(biāo)區(qū)域信息存儲(chǔ)部分133存儲(chǔ)該計(jì)算的該目標(biāo)區(qū)域的當(dāng)前靜態(tài)持續(xù)時(shí)間周期。
在計(jì)算最新的靜態(tài)持續(xù)時(shí)間周期的過(guò)程中,可以想象其中有多個(gè)過(guò)去的靜態(tài)持續(xù)時(shí)間周期能夠與一個(gè)目標(biāo)區(qū)域相關(guān)的情況。當(dāng)存在多個(gè)過(guò)去的靜態(tài)持續(xù)時(shí)間周期時(shí),目標(biāo)跟蹤部分131選擇目前存在的該過(guò)去的靜態(tài)持續(xù)時(shí)間周期的最長(zhǎng)的靜態(tài)持續(xù)時(shí)間周期,并且把該選擇的靜態(tài)持續(xù)時(shí)間周期與當(dāng)前的靜態(tài)持續(xù)時(shí)間周期相關(guān)。另外,允許選擇最短的靜態(tài)持續(xù)時(shí)間周期,以便將其與當(dāng)前靜態(tài)持續(xù)時(shí)間周期相關(guān),或計(jì)算該靜態(tài)持續(xù)時(shí)間周期的一個(gè)平均時(shí)間,以便將該計(jì)算的平均時(shí)間與該當(dāng)前靜態(tài)持續(xù)時(shí)間周期相關(guān)。
目標(biāo)跟蹤部分131通過(guò)執(zhí)行根據(jù)下列過(guò)程的該靜態(tài)持續(xù)時(shí)間周期的更新來(lái)計(jì)算該當(dāng)前靜態(tài)持續(xù)時(shí)間周期目標(biāo)跟蹤部分131針對(duì)每一個(gè)目標(biāo)區(qū)域而尋找在過(guò)去的目標(biāo)區(qū)域的重心和最新的目標(biāo)區(qū)域的重心之間的差值矢量;如果該差異矢量的幅值等于或低于一個(gè)預(yù)定門限值,則目標(biāo)跟蹤部分131判定該目標(biāo)是在休止中并且更新這靜態(tài)持續(xù)時(shí)間周期;并且如果該差異矢量的幅值超過(guò)該預(yù)定門限值,則目標(biāo)跟蹤部分131判定該目標(biāo)區(qū)域是在運(yùn)動(dòng)中并且復(fù)位該靜態(tài)持續(xù)時(shí)間周期。
狀態(tài)判定部分132根據(jù)存儲(chǔ)在目標(biāo)區(qū)域信息存儲(chǔ)部分133中的目標(biāo)區(qū)域的靜態(tài)持續(xù)時(shí)間周期判定該目標(biāo)區(qū)域的休止/運(yùn)動(dòng)狀態(tài)狀態(tài)。狀態(tài)判定部分132提供該第一區(qū)域?qū)?yīng)關(guān)系信息,包括目標(biāo)區(qū)域的靜態(tài)持續(xù)時(shí)間周期和有關(guān)該休止/運(yùn)動(dòng)狀態(tài)狀態(tài)的信息。另外,目標(biāo)區(qū)域信息存儲(chǔ)部分133根據(jù)狀態(tài)判定部分132的判定更新目標(biāo)區(qū)域的休止/運(yùn)動(dòng)狀態(tài)狀態(tài)。
在第一實(shí)施例中,對(duì)應(yīng)關(guān)系計(jì)算部分161針對(duì)潛在以對(duì)應(yīng)關(guān)系相關(guān)的目標(biāo)和目標(biāo)區(qū)域的全部組合(全部可能的組合)而計(jì)算包含在該目標(biāo)和目標(biāo)區(qū)域的組合中的目標(biāo)區(qū)域的特征量和合成的特征量之間的相似程度。然而在本實(shí)施例中,該計(jì)算僅就其中在其休止/運(yùn)動(dòng)狀態(tài)的休止?fàn)顟B(tài)的目標(biāo)區(qū)域不以對(duì)應(yīng)關(guān)系與任何目標(biāo)相關(guān)的那些目標(biāo)和目標(biāo)區(qū)域的組合作出。換句話說(shuō),在其休止/運(yùn)動(dòng)狀態(tài)為休止?fàn)顟B(tài)的目標(biāo)區(qū)域和該對(duì)應(yīng)目標(biāo)之間的組合被從全部可能的組合中排除,因此對(duì)應(yīng)關(guān)系計(jì)算部分161能夠降低用于計(jì)算在目標(biāo)和目標(biāo)區(qū)域之間的相似程度的計(jì)算量。
對(duì)應(yīng)關(guān)系建立部分162提供已經(jīng)確定的對(duì)應(yīng)關(guān)系信息,該已經(jīng)確定的對(duì)應(yīng)關(guān)系信息包括關(guān)于由目標(biāo)跟蹤部分131計(jì)算的該目標(biāo)區(qū)域的靜態(tài)持續(xù)時(shí)間周期的信息。根據(jù)關(guān)于靜態(tài)持續(xù)時(shí)間周期的信息和關(guān)于休止/運(yùn)動(dòng)狀態(tài)的信息,對(duì)應(yīng)關(guān)系建立部分162判定感興趣的目標(biāo)區(qū)域是否被認(rèn)為是背景。具體地說(shuō),如果靜態(tài)持續(xù)時(shí)間周期超過(guò)一個(gè)預(yù)定門限值,則該目標(biāo)區(qū)域被判定認(rèn)為是背景;該休止/運(yùn)動(dòng)狀態(tài)是在休止?fàn)顟B(tài);并且不存在根據(jù)該已經(jīng)確定的對(duì)應(yīng)關(guān)系信息以對(duì)應(yīng)關(guān)系相關(guān)的目標(biāo)。如果一個(gè)目標(biāo)區(qū)域被認(rèn)為是一個(gè)背景,則對(duì)應(yīng)關(guān)系建立部分162把指示在該目標(biāo)區(qū)域的一個(gè)區(qū)域之內(nèi)的背景的更新的背景更新信息結(jié)合到已被確定的對(duì)應(yīng)關(guān)系信息中。
如果該已被確定的對(duì)應(yīng)關(guān)系信息包括指示更新在該目標(biāo)區(qū)域的一個(gè)區(qū)域之內(nèi)的背景的該背景更新信息,則目標(biāo)區(qū)域提取部分12將根據(jù)該目標(biāo)區(qū)域信息、通過(guò)圖像輸入終端11提供的圖像信息和由對(duì)應(yīng)關(guān)系建立部分17提供的已經(jīng)確定的對(duì)應(yīng)關(guān)系信息來(lái)更新在該感興趣的目標(biāo)區(qū)域的該區(qū)域之內(nèi)的該背景的圖像。目標(biāo)區(qū)域提取部分12根據(jù)公式(13)更新該背景圖像。
Bi(x,y)-(1-μ)Bt-1(x,y)+μIin0≤μ≤1(13)其中(x,y)表示像素的坐標(biāo),It0(x,y)表示在坐標(biāo)(x,y)的該圖像信息的象素值。Bt(x,y)和Bt-1(x,y)分別表示在坐標(biāo)(x,y)的時(shí)間t和t-1的該背景圖象的象素值。而且,μ表示一個(gè)更新系數(shù)。
如上所述,能夠通過(guò)從狀態(tài)判定部分132提供包括靜態(tài)持續(xù)時(shí)間周期和一個(gè)目標(biāo)區(qū)域的休止/運(yùn)動(dòng)狀態(tài)的第一區(qū)域?qū)?yīng)關(guān)系信息、并且通過(guò)從對(duì)應(yīng)關(guān)系建立部分17提供包括該背景更新信息的已經(jīng)確定的對(duì)應(yīng)關(guān)系信息來(lái)實(shí)現(xiàn)一個(gè)目標(biāo)和該背景之間的識(shí)別。而且,在第一區(qū)域?qū)?yīng)關(guān)系信息中包含該休止/運(yùn)動(dòng)狀態(tài)狀態(tài)信息使得該目標(biāo)跟蹤裝置把處于休止的目標(biāo)從將被產(chǎn)生在感興趣的目標(biāo)區(qū)域的對(duì)應(yīng)關(guān)系的候選目標(biāo)中排除,從而使得對(duì)應(yīng)關(guān)系計(jì)算部分161執(zhí)行的用于計(jì)算該相似程度的計(jì)算量能夠被降低,并且僅跟蹤運(yùn)動(dòng)中的目標(biāo)。
另外,目標(biāo)跟蹤部分131能夠把包括關(guān)于靜態(tài)持續(xù)時(shí)間周期的信息的第二區(qū)域?qū)?yīng)關(guān)系信息提供到狀態(tài)判定部分132,而不是目標(biāo)區(qū)域信息存儲(chǔ)部分133存儲(chǔ)靜態(tài)持續(xù)時(shí)間周期以及狀態(tài)判定部分132獲取存儲(chǔ)在目標(biāo)區(qū)域信息存儲(chǔ)部分133中的靜態(tài)持續(xù)時(shí)間周期。這種策略使得狀態(tài)判定部分132能夠獲得關(guān)于靜態(tài)持續(xù)時(shí)間周期的信息而沒(méi)有任何目標(biāo)區(qū)域信息存儲(chǔ)部分133的干預(yù)。
用于補(bǔ)充說(shuō)明,對(duì)于在其跟蹤狀態(tài)中被指示為進(jìn)行分離的狀態(tài)以及在其休止/運(yùn)動(dòng)狀態(tài)中被指示為休止?fàn)顟B(tài)的目標(biāo)區(qū)域來(lái)說(shuō),特征量提取部分141可以但無(wú)需在該區(qū)域特征量信息中包括任何目標(biāo)區(qū)域的特征量,因?yàn)閷?duì)應(yīng)關(guān)系計(jì)算部分161不需要該目標(biāo)區(qū)域的特征量。另外,這區(qū)域特征量信息能夠包括指示不需要任何對(duì)應(yīng)關(guān)系建立的信息,代替不包括該目標(biāo)區(qū)域的特征量。以此方式,能夠省去提供不必要的特征量的冗余處理。
(本發(fā)明的第三實(shí)施例)隨后參照
本發(fā)明的第三實(shí)施例。圖12是說(shuō)明本發(fā)明的目標(biāo)跟蹤裝置的第三工作實(shí)例的框圖。如圖12所示,該目標(biāo)跟蹤裝置包括圖像輸入終端21、第一控制部分22、目標(biāo)區(qū)域提取部分23、特征量產(chǎn)生部分24和特征量合成部分25。第一控制部分22被連接到圖像輸入終端21、目標(biāo)區(qū)域提取部分23、特征量產(chǎn)生部分24和特征量合成部分25,以便控制這些部分。此外,第一控制部分22執(zhí)行在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的建立(以對(duì)應(yīng)關(guān)系相關(guān)目標(biāo)和目標(biāo)區(qū)域),并且提供已經(jīng)確定的對(duì)應(yīng)關(guān)系信息。
目標(biāo)區(qū)域提取部分23根據(jù)從第一控制部分22提供的圖像信息提取目標(biāo)區(qū)域,并且把包括關(guān)于以區(qū)域號(hào)碼編號(hào)的目標(biāo)區(qū)域的圖像信息的目標(biāo)區(qū)域信息提供到第一控制部分22。
特征量產(chǎn)生部分24根據(jù)從第一控制部分22提供的圖像信息和目標(biāo)區(qū)域信息提取目標(biāo)區(qū)域的特征量。而且,特征量產(chǎn)生部分24把包括提取的該目標(biāo)區(qū)域的特征量的區(qū)域特征量信息提供到第一控制部分22。
特征量合成部分25根據(jù)區(qū)域特征量信息15和從第一控制部分22提供的第一區(qū)域?qū)?yīng)關(guān)系信息來(lái)計(jì)算通過(guò)合成針對(duì)多個(gè)目標(biāo)的全部所需組合的多個(gè)目標(biāo)的特征量而產(chǎn)生的目標(biāo)的合成特征量,并且隨后該特征量合成部分25把包括該合成的特征量的合成特征量信息提供到第一控制部分22。
象該第一工作實(shí)例一樣,該第一第一區(qū)域?qū)?yīng)關(guān)系信息包括關(guān)于目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的信息以及關(guān)于該目標(biāo)的跟蹤狀態(tài)的信息。此外,在本實(shí)施例中以第一控制部分22產(chǎn)生該第一區(qū)域?qū)?yīng)關(guān)系信息。
第一控制部分22通過(guò)用于從攝像機(jī)等接收提供的圖像信號(hào)的圖像輸入終端21接收?qǐng)D像信息。第一控制部分22把該圖像信息提供到目標(biāo)區(qū)域提取部分23并且從目標(biāo)區(qū)域提取部分23接收該目標(biāo)區(qū)域信息。第一控制部分22進(jìn)一步根據(jù)該目標(biāo)區(qū)域信息和已經(jīng)確定的該過(guò)去的對(duì)應(yīng)關(guān)系信息來(lái)產(chǎn)生該第一區(qū)域?qū)?yīng)關(guān)系信息,并且把產(chǎn)生的第一區(qū)域?qū)?yīng)關(guān)系信息、圖像信息和目標(biāo)區(qū)域信息提供到特征量產(chǎn)生部分24。第一控制部分22更進(jìn)一步接收從特征量產(chǎn)生部分24提供的該區(qū)域特征量信息,并且把該區(qū)域特征量信息和該第一區(qū)域?qū)?yīng)關(guān)系信息提供到特征量合成部分25。而且,第一控制部分22接收從特征量合成部分25提供的該合成特征量信息。
第一控制部分22計(jì)算在包括在該區(qū)域特征量信息中的該目標(biāo)區(qū)域的特征量和包括在該合成特征量信息中的合成的特征量之間的相似程度,計(jì)算該組合相似程度并且判定在該目標(biāo)和目標(biāo)區(qū)域之間的最佳對(duì)應(yīng)關(guān)系。隨后,第一控制部分22提供關(guān)于該判定的目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的信息作為已經(jīng)確定的對(duì)應(yīng)關(guān)系信息。
圖13是說(shuō)明第一控制部分22的一個(gè)結(jié)構(gòu)實(shí)例的框圖。如圖13所示,第一控制部分22包括第二控制部分221、目標(biāo)跟蹤部分222、狀態(tài)判定部分223和對(duì)應(yīng)關(guān)系計(jì)算部分224。
應(yīng)該指出,雖然第一控制部分22(第二控制部分221、目標(biāo)跟蹤部分222、狀態(tài)判定部分223和對(duì)應(yīng)關(guān)系計(jì)算部分224)、目標(biāo)區(qū)域提取部分23、特征量產(chǎn)生部分24和特征量合成部分25能夠通過(guò)硬件實(shí)現(xiàn),但是它們也能夠通過(guò)軟件實(shí)現(xiàn)。如下面具體說(shuō)明的那樣,這些部分能夠通過(guò)使用能夠執(zhí)行處理過(guò)程的一個(gè)CPU實(shí)現(xiàn),這些處理過(guò)程由第一控制部分22、目標(biāo)區(qū)域提取部分23、特征量產(chǎn)生部分24和特征量合成部分25根據(jù)程序來(lái)執(zhí)行,并且該程序也存儲(chǔ)在用于實(shí)施第一控制部分22、目標(biāo)區(qū)域提取部分23、特征量產(chǎn)生部分24和特征量合成部分25的作用的存儲(chǔ)裝置中。
在通過(guò)圖像輸入終端21接收?qǐng)D像信息時(shí),第二控制部分221把該圖像信息提供到目標(biāo)區(qū)域提取部分23。第二控制部分221還把由目標(biāo)區(qū)域提取部分23提供的當(dāng)前目標(biāo)區(qū)域信息、由第二控制部分221本身存儲(chǔ)的過(guò)去的目標(biāo)區(qū)域信息和存儲(chǔ)在第二控制部分221中的已被確定的過(guò)去的對(duì)應(yīng)關(guān)系信息提供到目標(biāo)跟蹤部分222。第二控制部分221還把通過(guò)圖像輸入終端21收到的圖像信息和由目標(biāo)區(qū)域提取部分23提供的目標(biāo)區(qū)域信息提供到特征量產(chǎn)生部分24。已經(jīng)確定的該對(duì)應(yīng)關(guān)系信息的內(nèi)容與該第一工作實(shí)例的內(nèi)容相同。
在從目標(biāo)跟蹤部分222接收該第二區(qū)域?qū)?yīng)關(guān)系信息時(shí),第二控制部分221把該第二區(qū)域?qū)?yīng)關(guān)系信息和該目標(biāo)區(qū)域信息提供到狀態(tài)判定部分223。該第二區(qū)域?qū)?yīng)關(guān)系信息的內(nèi)容與該第一工作實(shí)例的內(nèi)容相同。
更進(jìn)一步,在從狀態(tài)判定部分223接收該第一區(qū)域?qū)?yīng)關(guān)系信息時(shí),第二控制部分221把僅關(guān)于在該第一區(qū)域?qū)?yīng)關(guān)系信息中被指示為在其跟蹤狀態(tài)中是進(jìn)行分離的狀態(tài)的目標(biāo)區(qū)域的目標(biāo)的特征量和第一區(qū)域?qū)?yīng)關(guān)系信息提供到特征量合成部分25。該第一區(qū)域?qū)?yīng)關(guān)系信息的內(nèi)容與該第一工作實(shí)例的內(nèi)容相同。
在從特征量合成部分25接收合成特征量信息時(shí),第二控制部分221把該區(qū)域特征量信息。合成特征量信息和第一區(qū)域?qū)?yīng)關(guān)系信息提供到對(duì)應(yīng)關(guān)系計(jì)算部分224。而且,針對(duì)那些在從狀態(tài)判定部分223提供的第一區(qū)域?qū)?yīng)關(guān)系信息中被指示為在其跟蹤狀態(tài)中是非進(jìn)行分離狀態(tài)(處在除進(jìn)行分離的狀態(tài)之外的狀態(tài)中)的目標(biāo),第二控制部分221判定把對(duì)于包括在該第一區(qū)域?qū)?yīng)關(guān)系信息中的該目標(biāo)區(qū)域的該對(duì)應(yīng)關(guān)系指定作為感興趣的的目標(biāo)和該目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系。針對(duì)那些在第一區(qū)域?qū)?yīng)關(guān)系信息中被指示為在其跟蹤狀態(tài)中是進(jìn)行分離狀態(tài)的目標(biāo),第二控制部分221判定把包括在由對(duì)應(yīng)關(guān)系計(jì)算部分224提供的該最佳對(duì)應(yīng)關(guān)系信息中的對(duì)于該目標(biāo)區(qū)域的該對(duì)應(yīng)關(guān)系指定作為感興趣的的目標(biāo)和該目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系。由對(duì)應(yīng)關(guān)系計(jì)算部分224提供的該最佳對(duì)應(yīng)關(guān)系信息的內(nèi)容與在該第一工作實(shí)例中描述的內(nèi)容相同。
目標(biāo)跟蹤部分222根據(jù)從第二控制部分221接收的當(dāng)前目標(biāo)區(qū)域信息、存儲(chǔ)在第二控制部分221中的過(guò)去的目標(biāo)區(qū)域信息和已被確定的過(guò)去的對(duì)應(yīng)關(guān)系信息來(lái)跟蹤目標(biāo),并且把該第二區(qū)域?qū)?yīng)關(guān)系信息提供到第二控制部分221。目標(biāo)跟蹤部分222跟蹤一個(gè)目標(biāo)的方法與在第一工作實(shí)例中跟蹤一個(gè)目標(biāo)的方法相同。
狀態(tài)判定部分223根據(jù)從第二控制部分221接收的該第二區(qū)域?qū)?yīng)關(guān)系信息和該目標(biāo)區(qū)域信息判定目標(biāo)的跟蹤狀態(tài),并且把該第一區(qū)域?qū)?yīng)關(guān)系信息提供到第二控制部分221。
根據(jù)從第二控制部分221提供的區(qū)域特征量信息、合成特征量信息和第一區(qū)域?qū)?yīng)關(guān)系信息,對(duì)應(yīng)關(guān)系計(jì)算部分224針對(duì)目標(biāo)和目標(biāo)區(qū)域的全部可能的組合而計(jì)算在目標(biāo)的合成的特征量和目標(biāo)區(qū)域的特征量之間的相似程度,并且計(jì)算該組合相似程度;判定來(lái)指定具有最高組合相似性程度的該目標(biāo)和目標(biāo)區(qū)域的組合作為該目標(biāo)和目標(biāo)區(qū)域之間的最佳對(duì)應(yīng)關(guān)系,并且提供該最佳對(duì)應(yīng)關(guān)系信息;并且把該最佳對(duì)應(yīng)關(guān)系信息提供到第二控制部分221。
隨后說(shuō)明根據(jù)第三實(shí)施例的目標(biāo)跟蹤裝置的操作。圖14是表示該目標(biāo)跟蹤裝置的處理實(shí)例的流程圖。當(dāng)通過(guò)圖像輸入終端21接收?qǐng)D像信息時(shí)(步驟S1401),目標(biāo)區(qū)域提取部分23從圖像信息提取目標(biāo)區(qū)域(步驟S1402),并且提供包括關(guān)于該目標(biāo)區(qū)域的圖像信息的目標(biāo)區(qū)域信息。
目標(biāo)跟蹤部分222跟蹤一個(gè)目標(biāo),并且以對(duì)應(yīng)關(guān)系相關(guān)該目標(biāo)和目標(biāo)區(qū)域,以便提供該第二區(qū)域?qū)?yīng)關(guān)系信息。狀態(tài)判定部分223根據(jù)第二區(qū)域?qū)?yīng)關(guān)系信息和該目標(biāo)區(qū)域信息判定該目標(biāo)的跟蹤狀態(tài)(步驟S1403)。特征量產(chǎn)生部分24計(jì)算目標(biāo)區(qū)域的特征量(步驟S1404)。
第二控制部分221帶有計(jì)數(shù)器i。第二控制部分221在計(jì)數(shù)i上集目標(biāo)的數(shù)量(步驟S1405)。第二控制部分221判定計(jì)數(shù)值i是否為″0″(步驟S1406),并且如果計(jì)數(shù)i的值是″0″,則結(jié)束處理。如果計(jì)數(shù)值i不是″0″,則第二控制部分221指令狀態(tài)判定部分223執(zhí)行隨后步驟S1407。
狀態(tài)判定部分223判定一個(gè)目標(biāo)的跟蹤狀態(tài)是否為進(jìn)行分離的狀態(tài)(步驟S1407)。如果狀態(tài)判定部分223判定該目標(biāo)的跟蹤狀態(tài)是進(jìn)行分離的狀態(tài),則特征量合成部分25針對(duì)多個(gè)目標(biāo)的全部需要的組合而合成目標(biāo)的特征量,以便產(chǎn)生合成的特征量(步驟S1408)。
對(duì)應(yīng)關(guān)系計(jì)算部分224計(jì)算在目標(biāo)的合成的特征量和目標(biāo)區(qū)域的特征量之間的相似程度,并且針對(duì)目標(biāo)和目標(biāo)區(qū)域的全部可能的組合而計(jì)算組合相似程度。第二控制部分221判定以便把具有由對(duì)應(yīng)關(guān)系計(jì)算部分224計(jì)算的最高相似程度的目標(biāo)和目標(biāo)區(qū)域的組合指定作為在目標(biāo)和目標(biāo)區(qū)域之間的一個(gè)最佳對(duì)應(yīng)關(guān)系(步驟S1409)。
如果狀態(tài)判定部分223在步驟S1407中判定跟蹤的狀態(tài)是除了進(jìn)行分離的狀態(tài)之外的狀態(tài),則第二控制部分221判定以便把包括在該第一區(qū)域?qū)?yīng)關(guān)系信息中的目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系指定為在目標(biāo)和目標(biāo)區(qū)域之間的最佳對(duì)應(yīng)關(guān)系(步驟S1409)。
特征量產(chǎn)生部分24更新根據(jù)該對(duì)應(yīng)關(guān)系判定該目標(biāo)的特征量(步驟S1410),其中特征量產(chǎn)生部分24只更新被指示為在其跟蹤狀態(tài)中是單獨(dú)狀態(tài)的目標(biāo)的特征量。
第二控制部分221隨后將該計(jì)數(shù)值減1(步驟S1411),并且重復(fù)地執(zhí)行步驟S1407到步驟S1410的處理,直至在步驟S1406該計(jì)數(shù)值被判定為是″0″。換句話說(shuō),從步驟S1407到步驟S1410的處理將被執(zhí)行到針對(duì)全部目標(biāo)判定了對(duì)目標(biāo)區(qū)域的最佳對(duì)應(yīng)關(guān)系為止。在針對(duì)全部目標(biāo)完成確定對(duì)于目標(biāo)區(qū)域的對(duì)應(yīng)關(guān)系的該過(guò)程(從步驟S1407到步驟S1410)時(shí),再一次從步驟S1401開(kāi)始執(zhí)行該過(guò)程。
如上所述的目標(biāo)跟蹤裝置的結(jié)構(gòu)使得能夠?qū)崿F(xiàn)具有與該第一工作實(shí)例相同作用的目標(biāo)跟蹤裝置。
應(yīng)該指出,圖12和13中示出的結(jié)構(gòu)能夠通過(guò)使用軟件來(lái)實(shí)現(xiàn)。具體地,在本實(shí)施例中的目標(biāo)跟蹤裝置能夠利用執(zhí)行下列處理的目標(biāo)跟蹤程序來(lái)實(shí)現(xiàn)用于接收?qǐng)D像信息的圖像輸入處理;狀態(tài)跟蹤判定處理,根據(jù)該目標(biāo)區(qū)域信息和已經(jīng)確定的指示當(dāng)前之前的該目標(biāo)和目標(biāo)區(qū)域的對(duì)應(yīng)關(guān)系的對(duì)應(yīng)關(guān)系信息而判定一個(gè)或幾個(gè)目標(biāo)區(qū)域的跟蹤的狀態(tài),并且提供指示該目標(biāo)區(qū)域和目標(biāo)的對(duì)應(yīng)關(guān)系以及跟蹤的狀態(tài)的第一區(qū)域?qū)?yīng)關(guān)系信息;特征量產(chǎn)生處理,通過(guò)使用該圖像信息、該目標(biāo)區(qū)域信息和由該跟蹤狀態(tài)判定裝置提供的該判定的結(jié)果而產(chǎn)生表示目標(biāo)區(qū)域的特征量的區(qū)域特征量和表示目標(biāo)的特征量的目標(biāo)特征量;以及對(duì)應(yīng)關(guān)系建立處理,確定目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系,通過(guò)如果目標(biāo)在其跟蹤狀態(tài)中被判定是在除了進(jìn)行分離狀態(tài)之外的狀態(tài),則判定把包括在該第一區(qū)域?qū)?yīng)關(guān)系信息中的目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系指定作為在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系,該進(jìn)行分離的狀態(tài)是其中把一個(gè)目標(biāo)區(qū)域進(jìn)行分離成多個(gè)目標(biāo)區(qū)域的過(guò)渡狀態(tài);并且如果該目標(biāo)在其跟蹤狀態(tài)中被判定為是進(jìn)行分離的狀態(tài),則根據(jù)目標(biāo)的特征量和該第一區(qū)域?qū)?yīng)關(guān)系信息合成用于多個(gè)目標(biāo)的全部所需組合的特征量,并且產(chǎn)生每一個(gè)合成的特征量,把每一個(gè)合成的特征量與每一個(gè)區(qū)域特征量相比較,并且在該目標(biāo)的合成的特征量與該目標(biāo)區(qū)域的區(qū)域特征量是最高的組合相似程度的條件下,以對(duì)應(yīng)關(guān)系把該目標(biāo)和目標(biāo)區(qū)域相關(guān)。
權(quán)利要求
1.一個(gè)用于根據(jù)圖像信息跟蹤一個(gè)目標(biāo)的目標(biāo)跟蹤裝置,包括特征量合成裝置,用于合成表示包括在所說(shuō)的圖像信息中的分別目標(biāo)的特征量的目標(biāo)特征量,以便產(chǎn)生合成的特征量;以及對(duì)應(yīng)性建立裝置,用于根據(jù)在所說(shuō)的目標(biāo)區(qū)域的特征量和所說(shuō)的合成的特征量之間的相似程度來(lái)建立在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)性,其中所說(shuō)的目標(biāo)區(qū)域是指從所說(shuō)的圖像信息提取的并且還包括該感興趣的目標(biāo)的區(qū)域。
2.根據(jù)權(quán)利要求1的目標(biāo)跟蹤裝置,其中所說(shuō)的特征量合成裝置被用于合成針對(duì)多個(gè)目標(biāo)的全部需要的組合的每一個(gè)的特征量,以便產(chǎn)生所說(shuō)的合成的特征量,以及所說(shuō)的對(duì)應(yīng)關(guān)系建立裝置通過(guò)比較由所說(shuō)的特征量合成裝置產(chǎn)生的每一個(gè)合成特征量和表示目標(biāo)區(qū)域的特征量的區(qū)域特征量而建立在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系。
3.根據(jù)權(quán)利要求2的目標(biāo)跟蹤裝置,具有目標(biāo)區(qū)域提取裝置,用于從所說(shuō)的圖像信息提取所說(shuō)的目標(biāo)區(qū)域并且提供包括關(guān)于所說(shuō)的目標(biāo)區(qū)域的圖像信息,跟蹤狀態(tài)判定裝置,用于判定分別的目標(biāo)或目標(biāo)區(qū)域的跟蹤狀態(tài),其中所說(shuō)的跟蹤狀態(tài)是指每一個(gè)目標(biāo)相對(duì)于其它目標(biāo)的相對(duì)位置;以及特征量產(chǎn)生裝置,通過(guò)使用所說(shuō)的圖像信息、所說(shuō)的目標(biāo)區(qū)域信息和由所說(shuō)的跟蹤狀態(tài)判定裝置所實(shí)現(xiàn)的該判定結(jié)果而產(chǎn)生所說(shuō)的區(qū)域特征量和目標(biāo)特征量,其中所說(shuō)的特征量合成裝置通過(guò)使用所說(shuō)的目標(biāo)特征量和由該跟蹤狀態(tài)判定裝置實(shí)現(xiàn)的判定結(jié)果來(lái)產(chǎn)生合成特征量。
4.根據(jù)權(quán)利要求3的目標(biāo)跟蹤裝置,其中所說(shuō)的跟蹤狀態(tài)判定裝置根據(jù)該目標(biāo)區(qū)域信息和已經(jīng)確定的指示該目標(biāo)區(qū)域和在當(dāng)前之前的目標(biāo)的對(duì)應(yīng)關(guān)系的對(duì)應(yīng)關(guān)系信息來(lái)判定分別目標(biāo)或目標(biāo)區(qū)域的跟蹤狀態(tài),以便提供指示該目標(biāo)區(qū)域和目標(biāo)的對(duì)應(yīng)關(guān)系的第一區(qū)域?qū)?yīng)關(guān)系以及所說(shuō)的跟蹤的狀態(tài)的信息,所說(shuō)的特征量產(chǎn)生裝置根據(jù)該當(dāng)前圖像信息、所說(shuō)的目標(biāo)區(qū)域信息、所說(shuō)的第一區(qū)域?qū)?yīng)關(guān)系信息和已被確定的對(duì)應(yīng)關(guān)系信息來(lái)產(chǎn)生區(qū)域特征量和目標(biāo)特征量,所說(shuō)的特征量合成裝置根據(jù)所說(shuō)的目標(biāo)特征量和所說(shuō)的第一區(qū)域?qū)?yīng)關(guān)系信息產(chǎn)生用作將被放置于用于不同目標(biāo)區(qū)域的對(duì)應(yīng)關(guān)系中的候選項(xiàng)的合成的特征量,以便提供合成的特征量信息,其中所說(shuō)的合成的特征量信息是包括合成的特征量以及在該合成的特征量和用于該合成的特征量的產(chǎn)生的目標(biāo)之間的對(duì)應(yīng)關(guān)系的信息,以及所說(shuō)的對(duì)應(yīng)關(guān)系建立裝置包括一個(gè)對(duì)應(yīng)關(guān)系確定裝置,根據(jù)所說(shuō)的第一區(qū)域?qū)?yīng)關(guān)系信息、屬于是指示該區(qū)域特征量的信息的區(qū)域特征量信息和該合成特征量信息而將目標(biāo)和目標(biāo)區(qū)域相關(guān)以放置于該對(duì)應(yīng)關(guān)系中,以便提供已被在目前時(shí)間確定的所說(shuō)的對(duì)應(yīng)關(guān)系信息。
5.根據(jù)權(quán)利要求3的目標(biāo)跟蹤裝置,其中所說(shuō)的跟蹤的狀態(tài)包括下列的情況之一或組合一個(gè)單獨(dú)狀態(tài),其中在一個(gè)目標(biāo)區(qū)域中僅駐留單一目標(biāo);一個(gè)交叉狀態(tài),其中多個(gè)目標(biāo)對(duì)應(yīng)于單個(gè)目標(biāo)區(qū)域;以及一個(gè)分離狀態(tài),即其中單一目標(biāo)區(qū)域被分離成多個(gè)目標(biāo)區(qū)域的一種過(guò)渡狀態(tài)。
6.根據(jù)權(quán)利要求4的目標(biāo)跟蹤裝置,其中所說(shuō)的跟蹤的狀態(tài)包括下列的情況之一或組合一個(gè)單獨(dú)狀態(tài),其中在一個(gè)目標(biāo)區(qū)域中僅駐留單一目標(biāo);一個(gè)交叉狀態(tài),其中多個(gè)目標(biāo)對(duì)應(yīng)于單個(gè)目標(biāo)區(qū)域;以及一個(gè)分離狀態(tài),即其中單一目標(biāo)區(qū)域被分離成多個(gè)目標(biāo)區(qū)域的一種過(guò)渡狀態(tài)。
7.根據(jù)權(quán)利要求4的目標(biāo)跟蹤裝置,其中所說(shuō)的該特征量產(chǎn)生裝置產(chǎn)生區(qū)域特征量,每個(gè)區(qū)域特征量包括彩色直方圖、區(qū)域、圖像模板和相對(duì)于所說(shuō)的區(qū)域標(biāo)準(zhǔn)化的彩色直方圖的之一或一個(gè)組合,并且從該第一區(qū)域?qū)?yīng)關(guān)系信息中尋找對(duì)應(yīng)于該感興趣目標(biāo)的一個(gè)目標(biāo)區(qū)域,并且提供彩色直方圖、區(qū)域、圖像模板和相對(duì)于所說(shuō)的目標(biāo)區(qū)域的區(qū)域標(biāo)準(zhǔn)化的色彩直方圖的至少一個(gè)或一個(gè)組合作為一個(gè)目標(biāo)特征量。
8.根據(jù)權(quán)利要求4的目標(biāo)跟蹤裝置,其中所說(shuō)的跟蹤狀態(tài)判定裝置包括一個(gè)目標(biāo)區(qū)域儲(chǔ)存裝置,用于儲(chǔ)存該目標(biāo)區(qū)域信息,一個(gè)目標(biāo)跟蹤裝置,用于根據(jù)所說(shuō)的目標(biāo)區(qū)域信息、已被確定的對(duì)應(yīng)關(guān)系信息和在當(dāng)前從所說(shuō)的目標(biāo)區(qū)域儲(chǔ)存裝置提供的目標(biāo)區(qū)域信息之前的目標(biāo)區(qū)域信息而跟蹤一個(gè)目標(biāo),并且進(jìn)一步用于提供指示在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的一個(gè)第二區(qū)域?qū)?yīng)關(guān)系信息,以及一個(gè)狀態(tài)判定裝置,用于根據(jù)所說(shuō)的第二區(qū)域?qū)?yīng)關(guān)系信息、所說(shuō)的目標(biāo)區(qū)域信息和在當(dāng)前的之前的所說(shuō)的目標(biāo)區(qū)域信息而判定目標(biāo)跟蹤的狀態(tài),并且提供所說(shuō)的第一區(qū)域?qū)?yīng)關(guān)系信息。
9.根據(jù)權(quán)利要求8的目標(biāo)跟蹤裝置,其中所說(shuō)的狀態(tài)判定裝置根據(jù)在目標(biāo)和目標(biāo)區(qū)域之間的該對(duì)應(yīng)關(guān)系、從所說(shuō)的第二區(qū)域?qū)?yīng)關(guān)系信息獲得的在目標(biāo)區(qū)域和所說(shuō)的目標(biāo)區(qū)域的分離的連續(xù)周期之間的距離、以及目標(biāo)區(qū)域信息的至少之一或一個(gè)組合而分組在其對(duì)應(yīng)的目標(biāo)區(qū)域中具有一個(gè)共同區(qū)域的目標(biāo)以便把該目標(biāo)和對(duì)應(yīng)的目標(biāo)區(qū)域分類成一個(gè)類別,并且把其對(duì)應(yīng)的目標(biāo)區(qū)域不同于任何其它目標(biāo)的目標(biāo)以及與之對(duì)應(yīng)的目標(biāo)區(qū)域分類成一個(gè)類別,以便便該目標(biāo)和目標(biāo)區(qū)域分類成多個(gè)類別,并且根據(jù)該分類的類別來(lái)判定該跟蹤的狀態(tài)。
10.根據(jù)權(quán)利要求9的目標(biāo)跟蹤裝置,其中所說(shuō)的跟蹤狀態(tài)包括屬于是一種過(guò)渡狀態(tài)的進(jìn)行分離的狀態(tài),通過(guò)這種狀態(tài)把一個(gè)目標(biāo)區(qū)域分離成多個(gè)目標(biāo)區(qū)域,如果兩個(gè)或多個(gè)目標(biāo)區(qū)域被包括在一個(gè)分類的類別中,則所說(shuō)的狀態(tài)判定裝置判定該類別符合在一個(gè)進(jìn)行分離的狀態(tài)中的條件,并且如果一個(gè)類別符合進(jìn)行分離狀態(tài)的條件的話,則該狀態(tài)判定裝置判定包括在該類別中的該目標(biāo)和目標(biāo)區(qū)域的跟蹤的狀態(tài)是進(jìn)行分離的狀態(tài)。
11.根據(jù)權(quán)利要求10的目標(biāo)跟蹤裝置,其中如果該分類的類別滿足進(jìn)行分離的狀態(tài)中的條件并且如果該分類的類別滿足條件即,兩個(gè)或多個(gè)目標(biāo)被包括在所說(shuō)的類別中、在所說(shuō)的類別中包括的目標(biāo)區(qū)域之間的每一個(gè)距離都超過(guò)一個(gè)預(yù)定門限值、以及該類別中包括的該目標(biāo)區(qū)域的分離的連續(xù)周期超過(guò)一個(gè)預(yù)定門限值的至少之一或一個(gè)組合,則所說(shuō)的狀態(tài)判定裝置判定包括在該類別中的目標(biāo)和目標(biāo)區(qū)域的跟蹤狀態(tài)是所說(shuō)的進(jìn)行分離的狀態(tài)。
12.根據(jù)權(quán)利要求10的目標(biāo)跟蹤裝置,其中所說(shuō)的跟蹤的狀態(tài)包括一個(gè)進(jìn)行分離的狀態(tài)和其中單一目標(biāo)駐存在一個(gè)目標(biāo)區(qū)域中的一個(gè)單獨(dú)狀態(tài),并且,如果所說(shuō)的分類的類別僅包括一個(gè)目標(biāo)并且如果包括在所說(shuō)的類別中的目標(biāo)和目標(biāo)區(qū)域的跟蹤的狀態(tài)不是進(jìn)行分離的狀態(tài),則所說(shuō)的狀態(tài)判定裝置判定包括在所說(shuō)的類別中的目標(biāo)和目標(biāo)區(qū)域的跟蹤的狀態(tài)是單獨(dú)狀態(tài)。
13.根據(jù)權(quán)利要求11的目標(biāo)跟蹤裝置,其中所說(shuō)的跟蹤的狀態(tài)包括一個(gè)進(jìn)行分離的狀態(tài)和其中單一目標(biāo)駐存在一個(gè)目標(biāo)區(qū)域中的一個(gè)單獨(dú)狀態(tài),并且,如果所說(shuō)的分類的類別僅包括一個(gè)目標(biāo)并且如果包括在所說(shuō)的類別中的目標(biāo)和目標(biāo)區(qū)域的跟蹤的狀態(tài)不是進(jìn)行分離的狀態(tài),則所說(shuō)的狀態(tài)判定裝置判定包括在所說(shuō)的類別中的目標(biāo)和目標(biāo)區(qū)域的跟蹤的狀態(tài)是單獨(dú)狀態(tài)。
14.根據(jù)權(quán)利要求10的目標(biāo)跟蹤裝置,其中所說(shuō)的跟蹤的狀態(tài)包括一個(gè)進(jìn)行分離的狀態(tài)以及其中多個(gè)目標(biāo)是處在與一個(gè)目標(biāo)區(qū)域的對(duì)應(yīng)關(guān)系的一個(gè)交叉狀態(tài),并且,如果一個(gè)分類的類別包括兩個(gè)或多個(gè)目標(biāo)并且如果包括在所說(shuō)的類別中的目標(biāo)和目標(biāo)區(qū)域的跟蹤的狀態(tài)不是進(jìn)行分離的狀態(tài),則所說(shuō)的狀態(tài)判定裝置判定包括在所說(shuō)的類別中的目標(biāo)和所說(shuō)的目標(biāo)區(qū)域的跟蹤的狀態(tài)是交叉狀態(tài)。
15.根據(jù)權(quán)利要求11的目標(biāo)跟蹤裝置,其中所說(shuō)的跟蹤的狀態(tài)包括一個(gè)進(jìn)行分離的狀態(tài)并且其中多個(gè)目標(biāo)是處在與一個(gè)目標(biāo)區(qū)域的對(duì)應(yīng)關(guān)系的一個(gè)交叉狀態(tài),并且如果一個(gè)分類的類別包括兩個(gè)或多個(gè)目標(biāo)并且如果包括在所說(shuō)的類別中的目標(biāo)和目標(biāo)區(qū)域的跟蹤的狀態(tài)不是進(jìn)行分離的狀態(tài),則所說(shuō)的狀態(tài)判定裝置判定包括在所說(shuō)的類別中的目標(biāo)和所說(shuō)的目標(biāo)區(qū)域的跟蹤的狀態(tài)是交叉狀態(tài)。
16.根據(jù)權(quán)利要求4的目標(biāo)跟蹤裝置,其中所說(shuō)的特征量產(chǎn)生裝置包括特征量提取裝置,用于從圖像信息、目標(biāo)區(qū)域信息和第一區(qū)域?qū)?yīng)關(guān)系信息提取區(qū)域特征量,并且用于提供屬于是指示所說(shuō)的區(qū)域特征量的信息的所說(shuō)的區(qū)域特征量信息;特征量存儲(chǔ)裝置,用于存儲(chǔ)目標(biāo)特征量并且選擇該存儲(chǔ)的目標(biāo)特征量,以便按照要求提供該選擇的目標(biāo)特征量;以及特征量更新裝置,用于根據(jù)所說(shuō)的區(qū)域特征量信息、所說(shuō)的第一區(qū)域?qū)?yīng)關(guān)系信息或已被確定的對(duì)應(yīng)關(guān)系信息以及在當(dāng)前之前產(chǎn)生的目標(biāo)特征量而更新存儲(chǔ)在所說(shuō)的特征量存儲(chǔ)裝置中的所說(shuō)的目標(biāo)特征量。
17.根據(jù)權(quán)利要求16的目標(biāo)跟蹤裝置,其中所說(shuō)的跟蹤狀態(tài)包括屬于是一種過(guò)渡狀態(tài)的進(jìn)行分離的狀態(tài),通過(guò)這種狀態(tài)把一個(gè)目標(biāo)區(qū)域分離成多個(gè)目標(biāo)區(qū)域,以及所說(shuō)的特征量提取裝置把指示不需要針對(duì)目標(biāo)區(qū)域建立對(duì)于目標(biāo)的對(duì)應(yīng)關(guān)系的信息包括在區(qū)域特征量信息中,表示在其跟蹤狀態(tài)中的除進(jìn)行分離的狀態(tài)之外的狀態(tài),以及所說(shuō)的對(duì)應(yīng)關(guān)系確定裝置從該對(duì)應(yīng)關(guān)系的建立中排除在所說(shuō)的區(qū)域特征量信息中被指示為不需要建立對(duì)于目標(biāo)的對(duì)應(yīng)關(guān)系的目標(biāo)區(qū)域。
18.根據(jù)權(quán)利要求16的目標(biāo)跟蹤裝置,其中所說(shuō)的跟蹤的狀態(tài)包括其中單一目標(biāo)駐存在一個(gè)目標(biāo)區(qū)域中的一種單獨(dú)狀態(tài),以及所說(shuō)的特征量更新裝置根據(jù)所說(shuō)的第一區(qū)域?qū)?yīng)關(guān)系信息或已經(jīng)確定的對(duì)應(yīng)關(guān)系信息判定一個(gè)目標(biāo)的跟蹤的狀態(tài)是否為單獨(dú)的狀態(tài),以及如果該目標(biāo)的跟蹤的狀態(tài)是除了該單獨(dú)狀態(tài)之外的狀態(tài),則不更新存儲(chǔ)在所說(shuō)的特征量存儲(chǔ)裝置中的該目標(biāo)特征量。
19.根據(jù)權(quán)利要求4的目標(biāo)跟蹤裝置,其中所說(shuō)的特征量合成裝置根據(jù)由所說(shuō)的特征量產(chǎn)生裝置產(chǎn)生的該目標(biāo)特征量和該第一區(qū)域?qū)?yīng)關(guān)系信息確定全部可能的目標(biāo)和目標(biāo)區(qū)域的組合,并且僅合成針對(duì)該確定的目標(biāo)和目標(biāo)區(qū)域的組合的目標(biāo)特征量,以便產(chǎn)生合成的特征量。
20.根據(jù)權(quán)利要求4的目標(biāo)跟蹤裝置,其中特征量合成裝置計(jì)算合成比例,該合成比例是用于調(diào)整該目標(biāo)特征量被合成的比例的系數(shù),并且根據(jù)所說(shuō)的合成比例和目標(biāo)特征量產(chǎn)生合成的特征量。
21.根據(jù)權(quán)利要求4的目標(biāo)跟蹤裝置,其中所說(shuō)的特征量合成裝置從該特征量產(chǎn)生裝置接收區(qū)域特征量以及目標(biāo)特征量,在該接收的區(qū)域特征量信息和目標(biāo)特征量的基礎(chǔ)上計(jì)算根據(jù)期望的合成比例的合成的特征量,并且提供針對(duì)產(chǎn)生在該計(jì)算的合成的特征量和該區(qū)域特征量之間的全部相似性程度的最高值的合成比例的合成的特征量。
22.根據(jù)權(quán)利要求4的目標(biāo)跟蹤裝置,其中所說(shuō)的跟蹤的狀態(tài)包括一種屬于是過(guò)渡狀態(tài)的進(jìn)行分離的狀態(tài),通過(guò)所說(shuō)的進(jìn)行分離的狀態(tài)將一個(gè)目標(biāo)區(qū)域分離成多個(gè)目標(biāo)區(qū)域,以及所說(shuō)的特征量合成裝置僅針對(duì)被指示為具有進(jìn)行分離的狀態(tài)作為其跟蹤狀態(tài)的目標(biāo)區(qū)域而產(chǎn)生合成的特征量。
23.根據(jù)權(quán)利要求4的目標(biāo)跟蹤裝置,其中所說(shuō)的目標(biāo)特征量包括一個(gè)目標(biāo)的一個(gè)區(qū)域,以及所說(shuō)的特征量合成裝置根據(jù)包括在所說(shuō)的目標(biāo)特征量中的目標(biāo)的區(qū)域計(jì)算屬于是用于調(diào)整該目標(biāo)特征量被合成的比例的合成比例,并且從所說(shuō)的合成比例和所說(shuō)的目標(biāo)特征量產(chǎn)生合成的特征量。
24.根據(jù)權(quán)利要求23的目標(biāo)跟蹤裝置,其中所說(shuō)的特征量合成裝置根據(jù)該目標(biāo)的區(qū)域中的變化把該合成比例限制在一個(gè)預(yù)定范圍之內(nèi)。
25.根據(jù)權(quán)利要求4的目標(biāo)跟蹤裝置,其中所說(shuō)的特征量合成裝置從該特征量產(chǎn)生裝置接收與目標(biāo)特征量一起的區(qū)域特征量,根據(jù)該接收的區(qū)域特征量和目標(biāo)特征量計(jì)算在該目標(biāo)區(qū)域中的變化范圍之內(nèi)的合成的特征量,并且提供具有與該感興趣的目標(biāo)區(qū)域的區(qū)域特征量最高相似程度的合成的特征量。
26.根據(jù)權(quán)利要求4的目標(biāo)跟蹤裝置,其中所說(shuō)的目標(biāo)特征量包括表示一個(gè)目標(biāo)的形狀和顏色的一個(gè)圖像模板,并且所說(shuō)的特征量合成裝置從該圖像模板和區(qū)域特征量判定每一個(gè)目標(biāo)的前后(back-to-belly)關(guān)系,并且通過(guò)根據(jù)分別判定的所說(shuō)的目標(biāo)的前后關(guān)系而合成該圖像模板來(lái)獲得該合成的特征量。
27.根據(jù)權(quán)利要求4的目標(biāo)跟蹤裝置,其中所說(shuō)的對(duì)應(yīng)關(guān)系確定裝置提供有對(duì)應(yīng)關(guān)系計(jì)算裝置,用于根據(jù)所說(shuō)的合成特征量信息、所說(shuō)的區(qū)域特征量信息和所說(shuō)的第一區(qū)域?qū)?yīng)關(guān)系信息從可能以對(duì)應(yīng)關(guān)系相關(guān)的該目標(biāo)和目標(biāo)區(qū)域的全部可能的組合中計(jì)算該最高相似性的目標(biāo)和目標(biāo)區(qū)域的組合,選擇該計(jì)算的目標(biāo)和目標(biāo)區(qū)域的組合作為一個(gè)最佳組合,并且產(chǎn)生指示在目標(biāo)和目標(biāo)區(qū)域之間的該最佳對(duì)應(yīng)關(guān)系的最佳對(duì)應(yīng)關(guān)系信息,并且對(duì)應(yīng)關(guān)系判定裝置,用于根據(jù)所說(shuō)的第一區(qū)域?qū)?yīng)關(guān)系信息和所說(shuō)的最佳對(duì)應(yīng)關(guān)系信息確定在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系,并且提供已經(jīng)確定的屬于是包括已被判定的目標(biāo)和目標(biāo)區(qū)域之間對(duì)應(yīng)關(guān)系的信息的該對(duì)應(yīng)關(guān)系信息。
28.根據(jù)權(quán)利要求27的目標(biāo)跟蹤裝置,其中所說(shuō)的對(duì)應(yīng)關(guān)系計(jì)算裝置針對(duì)目標(biāo)和目標(biāo)區(qū)域的全部可能組合的每一個(gè)計(jì)算一個(gè)總體相似程度,所說(shuō)的總體相似程度是在該目標(biāo)區(qū)域的特征量和在每一個(gè)組合中的合成的特征量之間該相似的一個(gè)取和,并且判定為是基于具有所說(shuō)的全部可能組合的最高的、總體相似程度的組合的最高相似性的組合。
29.根據(jù)權(quán)利要求27的目標(biāo)跟蹤裝置,其中所說(shuō)的第一區(qū)域?qū)?yīng)關(guān)系信息包括關(guān)于指示一個(gè)目標(biāo)區(qū)域是否是在休止或運(yùn)動(dòng)的休止/運(yùn)動(dòng)狀態(tài)的信息,和所說(shuō)的對(duì)應(yīng)關(guān)系計(jì)算裝置從所說(shuō)的全部可能的組合中排除在關(guān)于一個(gè)休止/運(yùn)動(dòng)狀態(tài)的信息中被指示為在休止?fàn)顟B(tài)的該目標(biāo)和目標(biāo)區(qū)域的組合。
30.根據(jù)權(quán)利要求27的目標(biāo)跟蹤裝置,其中如果能夠從該目標(biāo)和目標(biāo)區(qū)域的集的相似程度中獲得的組合相似程度等于或低于一個(gè)預(yù)定門限值,而所說(shuō)的目標(biāo)和目標(biāo)區(qū)域的集構(gòu)成被判定是排列為最高相似性的組合,則所說(shuō)的對(duì)應(yīng)關(guān)系計(jì)算裝置從排列為目標(biāo)和目標(biāo)區(qū)域的全部可能組合的最高的相似性的組合相似程度的組合中選擇在該預(yù)定門限值之內(nèi)的該組合相似程度的組合,把對(duì)于該選擇的組合所共有的目標(biāo)和目標(biāo)區(qū)域的對(duì)應(yīng)關(guān)系包括到該最佳對(duì)應(yīng)關(guān)系信息中作為最佳對(duì)應(yīng)關(guān)系,而且針對(duì)具有未被包括在對(duì)于該選擇的組合所共有的目標(biāo)和目標(biāo)區(qū)域的對(duì)應(yīng)關(guān)系中的對(duì)應(yīng)關(guān)系的目標(biāo)和目標(biāo)區(qū)域,把指示不存在該目標(biāo)和目標(biāo)區(qū)域之間的最佳對(duì)應(yīng)關(guān)系的信息包括到該最佳對(duì)應(yīng)關(guān)系信息中,針對(duì)未被指示為在所說(shuō)的最佳對(duì)應(yīng)關(guān)系信息中不對(duì)任何目標(biāo)區(qū)域有最佳的對(duì)應(yīng)關(guān)系的目標(biāo),所說(shuō)的對(duì)應(yīng)關(guān)系判定裝置提供把在所說(shuō)的最佳對(duì)應(yīng)關(guān)系信息中包括的目標(biāo)和目標(biāo)區(qū)域的對(duì)應(yīng)關(guān)系的信息指示作為已被確定的對(duì)應(yīng)關(guān)系信息;并且針對(duì)被指示為在所說(shuō)的最佳對(duì)應(yīng)關(guān)系信息中不對(duì)任何目標(biāo)區(qū)域有最佳的對(duì)應(yīng)關(guān)系的目標(biāo),所說(shuō)的對(duì)應(yīng)關(guān)系判定裝置提供信息,該信息把在所說(shuō)的第一區(qū)域?qū)?yīng)關(guān)系信息中包括的目標(biāo)和目標(biāo)區(qū)域的對(duì)應(yīng)關(guān)系的信息指示作為已被確定的對(duì)應(yīng)關(guān)系信息。
31.根據(jù)權(quán)利要求28的目標(biāo)跟蹤裝置,其中如果能夠從該目標(biāo)和目標(biāo)區(qū)域的集的相似程度中獲得的組合相似程度等于或低于一個(gè)預(yù)定門限值,而所說(shuō)的目標(biāo)和目標(biāo)區(qū)域的集構(gòu)成被判定是排列為最高相似性的組合,則所說(shuō)的對(duì)應(yīng)關(guān)系計(jì)算裝置從排列為目標(biāo)和目標(biāo)區(qū)域的全部可能組合的最高的相似性的組合相似程度的組合中選擇在該預(yù)定門限值之內(nèi)的該組合相似程度的組合,把對(duì)于該選擇的組合所共有的目標(biāo)和目標(biāo)區(qū)域的對(duì)應(yīng)關(guān)系包括到該最佳對(duì)應(yīng)關(guān)系信息中作為最佳對(duì)應(yīng)關(guān)系,而且針對(duì)具有未被包括在對(duì)于該選擇的組合所共有的目標(biāo)和目標(biāo)區(qū)域的對(duì)應(yīng)關(guān)系中的對(duì)應(yīng)關(guān)系的目標(biāo)和目標(biāo)區(qū)域,把指示不存在該目標(biāo)和目標(biāo)區(qū)域之間的最佳對(duì)應(yīng)關(guān)系的信息包括到該最佳對(duì)應(yīng)關(guān)系信息中,針對(duì)未被指示為在所說(shuō)的最佳對(duì)應(yīng)關(guān)系信息中不對(duì)任何目標(biāo)區(qū)域有最佳的對(duì)應(yīng)關(guān)系的目標(biāo),所說(shuō)的對(duì)應(yīng)關(guān)系判定裝置提信息,該信息供把在所說(shuō)的最佳對(duì)應(yīng)關(guān)系信息中包括的目標(biāo)和目標(biāo)區(qū)域的對(duì)應(yīng)關(guān)系的信息指示作為已被確定的對(duì)應(yīng)關(guān)系信息;并且針對(duì)被指示為在所說(shuō)的最佳對(duì)應(yīng)關(guān)系信息中不對(duì)任何目標(biāo)區(qū)域有最佳的對(duì)應(yīng)關(guān)系的目標(biāo),所說(shuō)的對(duì)應(yīng)關(guān)系判定裝置提供信息,該信息把在所說(shuō)的第一區(qū)域?qū)?yīng)關(guān)系信息中包括的目標(biāo)和目標(biāo)區(qū)域的對(duì)應(yīng)關(guān)系的信息指示作為已被確定的對(duì)應(yīng)關(guān)系信息。
32.根據(jù)權(quán)利要求27的目標(biāo)跟蹤裝置,其中所說(shuō)的跟蹤的狀態(tài)包括一種屬于是過(guò)渡狀態(tài)的進(jìn)行分離的狀態(tài),通過(guò)所說(shuō)的進(jìn)行分離的狀態(tài)將一個(gè)目標(biāo)區(qū)域分離成多個(gè)目標(biāo)區(qū)域,并且所說(shuō)的對(duì)應(yīng)關(guān)系判定裝置確定在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系,該對(duì)應(yīng)關(guān)系將被在僅針對(duì)展示一種進(jìn)行分離的狀態(tài)作為其跟蹤狀態(tài)的目標(biāo)區(qū)域的最佳對(duì)應(yīng)關(guān)系信息中指示。
33.根據(jù)權(quán)利要求27的目標(biāo)跟蹤裝置,其中所說(shuō)的跟蹤的狀態(tài)包括一種屬于是過(guò)渡狀態(tài)的進(jìn)行分離的狀態(tài),通過(guò)所說(shuō)的進(jìn)行分離的狀態(tài)將一個(gè)目標(biāo)區(qū)域分離成多個(gè)目標(biāo)區(qū)域,并且所說(shuō)的對(duì)應(yīng)關(guān)系判定裝置提供包括在該第一區(qū)域?qū)?yīng)關(guān)系信息中的在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系作為僅針對(duì)在其跟蹤狀態(tài)中展現(xiàn)除進(jìn)行分離的狀態(tài)之外的狀態(tài)的目標(biāo)區(qū)域的已被確定的對(duì)應(yīng)關(guān)系信息。
34.用于根據(jù)圖像信息跟蹤一個(gè)目標(biāo)的目標(biāo)跟蹤方法,包括步驟合成表示包括在所說(shuō)的圖像信息中的分別目標(biāo)的特征量的目標(biāo)特征量,以便產(chǎn)生一個(gè)合成的特征量,以及根據(jù)所說(shuō)的合成的特征量和所說(shuō)的目標(biāo)區(qū)域的特征量之間的相似程度建立在一個(gè)或幾個(gè)目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系,其中所說(shuō)的目標(biāo)區(qū)域是從所說(shuō)的圖像信息中提取的并且包括所說(shuō)的一個(gè)或幾個(gè)目標(biāo)的一個(gè)區(qū)域。
35.根據(jù)權(quán)利要求34的目標(biāo)跟蹤方法,包括步驟針對(duì)多個(gè)目標(biāo)的全部需要的組合的每一個(gè)合成特征量,以便產(chǎn)生一個(gè)合成的特征量,以及通過(guò)比較產(chǎn)生的合成的特征量和表示所說(shuō)的目標(biāo)區(qū)域的特征量的區(qū)域特征量而建立在一個(gè)或幾個(gè)目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系。
36.根據(jù)權(quán)利要求35的目標(biāo)跟蹤方法,包括步驟從所說(shuō)的圖像信息提取所說(shuō)的目標(biāo)區(qū)域,并且提供包括關(guān)于所說(shuō)的目標(biāo)區(qū)域的圖像信息的目標(biāo)區(qū)域信息,針對(duì)一個(gè)或幾個(gè)目標(biāo)區(qū)域的每一個(gè)判定表示相對(duì)于另一目標(biāo)的一個(gè)相對(duì)位置的一個(gè)跟蹤狀態(tài),通過(guò)使用所說(shuō)的圖像信息、目標(biāo)區(qū)域信息、和所說(shuō)的判定結(jié)果而產(chǎn)生區(qū)域特征量、目標(biāo)特征量,以及通過(guò)使用所說(shuō)的目標(biāo)特征量和所說(shuō)的判定結(jié)果而產(chǎn)生合成的特征量。
37.根據(jù)權(quán)利要求36的目標(biāo)跟蹤方法,包括步驟根據(jù)所說(shuō)的目標(biāo)區(qū)域信息和已經(jīng)確定的指示在目標(biāo)區(qū)域和當(dāng)前之前的目標(biāo)之間的對(duì)應(yīng)關(guān)系的對(duì)應(yīng)關(guān)系信息而判定每一目標(biāo)或每一目標(biāo)區(qū)域的跟蹤的狀態(tài),并且提供指示在該目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系以及跟蹤的狀態(tài)的第一區(qū)域?qū)?yīng)關(guān)系信息,根據(jù)該當(dāng)前圖像信息、所說(shuō)的目標(biāo)區(qū)域信息、所說(shuō)的第一區(qū)域?qū)?yīng)關(guān)系信息和已被確定的對(duì)應(yīng)關(guān)系信息來(lái)產(chǎn)生區(qū)域特征量和目標(biāo)特征量,根據(jù)所說(shuō)的目標(biāo)特征量和所說(shuō)的第一區(qū)域?qū)?yīng)關(guān)系信息產(chǎn)生一個(gè)合成的特征量,該合成的特征量用作放置在針對(duì)每一個(gè)目標(biāo)區(qū)域的對(duì)應(yīng)關(guān)系中的一個(gè)候選項(xiàng),并且提供該合成特征量信息,該合成特征量信息是包括所說(shuō)的合成的特征量以及合成的特征量與用于產(chǎn)生感興趣的合成的特征量的目標(biāo)之間的對(duì)應(yīng)關(guān)系的信息,以及根據(jù)所說(shuō)的第一區(qū)域以及應(yīng)關(guān)系信息、屬于是指示所說(shuō)的區(qū)域特征量的信息的區(qū)域特征量信息、以及所說(shuō)的合成特征量信息而建立在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系,并且提供已被目前確定的所說(shuō)的對(duì)應(yīng)關(guān)系信息。
38.根據(jù)權(quán)利要求36的目標(biāo)跟蹤方法,其中所說(shuō)的跟蹤狀態(tài)包括下列狀態(tài)之一或一種組合其中僅單一目標(biāo)存在于一個(gè)目標(biāo)區(qū)域中的單獨(dú)狀態(tài)、其中多個(gè)目標(biāo)存在于單一目標(biāo)區(qū)域中的交叉狀態(tài)、以及屬于是一種過(guò)渡狀態(tài)的進(jìn)行分離的狀態(tài),通過(guò)該進(jìn)行分離的狀態(tài),一個(gè)目標(biāo)區(qū)域分離成多個(gè)目標(biāo)區(qū)域。
39.根據(jù)權(quán)利要求37的目標(biāo)跟蹤方法,其中所說(shuō)的跟蹤狀態(tài)包括下列狀態(tài)之一或一種組合其中僅單一目標(biāo)存在于一個(gè)目標(biāo)區(qū)域中的單獨(dú)狀態(tài)、其中多個(gè)目標(biāo)存在于單一目標(biāo)區(qū)域中的交叉狀態(tài)、以及屬于是一種過(guò)渡狀態(tài)的進(jìn)行分離的狀態(tài),通過(guò)該進(jìn)行分離的狀態(tài),一個(gè)目標(biāo)區(qū)域分離成多個(gè)目標(biāo)區(qū)域。
40.根據(jù)權(quán)利要求37的目標(biāo)跟蹤方法,包括步驟產(chǎn)生彩色直方圖、區(qū)域、圖像模板以及相對(duì)于分別的區(qū)域標(biāo)準(zhǔn)化的彩色直方圖的至少之一或一個(gè)組合作為目標(biāo)區(qū)域的一個(gè)區(qū)域特征量,以及從所說(shuō)的第一區(qū)域?qū)?yīng)關(guān)系信息中尋找對(duì)應(yīng)于所說(shuō)的目標(biāo)的目標(biāo)區(qū)域,并且產(chǎn)生彩色直方圖、區(qū)域、圖像模板以及相對(duì)于所說(shuō)的目標(biāo)區(qū)域的分別區(qū)域標(biāo)準(zhǔn)化的彩色直方圖的至少之一或一個(gè)組合作為一個(gè)目標(biāo)特征量。
41.根據(jù)權(quán)利要求37的目標(biāo)跟蹤方法,包括步驟存儲(chǔ)所說(shuō)的目標(biāo)區(qū)域信息,根據(jù)所說(shuō)的目標(biāo)區(qū)域信息、已經(jīng)確定的對(duì)應(yīng)關(guān)系信息和在當(dāng)前之前的目標(biāo)區(qū)域信息而跟蹤一個(gè)目標(biāo),以便提供指示在所說(shuō)的目標(biāo)和目標(biāo)區(qū)域之間對(duì)應(yīng)關(guān)系的一個(gè)第二區(qū)域?qū)?yīng)關(guān)系信息,以及根據(jù)所說(shuō)的第二區(qū)域?qū)?yīng)關(guān)系信息、所說(shuō)的目標(biāo)區(qū)域信息和在當(dāng)前之前的所說(shuō)的目標(biāo)區(qū)域信息而判定一個(gè)目標(biāo)跟蹤的狀態(tài),并且提供所說(shuō)的第一區(qū)域?qū)?yīng)關(guān)系信息。
42.根據(jù)權(quán)利要求41的目標(biāo)跟蹤方法,包括步驟通過(guò)下列方式把目標(biāo)和目標(biāo)區(qū)域分類成多個(gè)類別根據(jù)在對(duì)應(yīng)的目標(biāo)區(qū)域中具有共同區(qū)域的那些目標(biāo)分組該目標(biāo),以便將所說(shuō)的目標(biāo)和對(duì)應(yīng)目標(biāo)區(qū)域注冊(cè)在一個(gè)類別中;并且針對(duì)與對(duì)應(yīng)于任何其它目標(biāo)的目標(biāo)區(qū)域不同的目標(biāo)區(qū)域?qū)?yīng)的目標(biāo),根據(jù)在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系、在目標(biāo)區(qū)域之間的距離、以及從該第二區(qū)域?qū)?yīng)關(guān)系信息和該目標(biāo)區(qū)域信息計(jì)算的用于目標(biāo)區(qū)域的正在進(jìn)行分離的持續(xù)周期,把該目標(biāo)和該對(duì)應(yīng)的目標(biāo)區(qū)域注冊(cè)在一個(gè)類別中; 并且根據(jù)該分類的類別判定該跟蹤的狀態(tài)。
43.根據(jù)權(quán)利要求42的目標(biāo)跟蹤方法,其中所說(shuō)的跟蹤的狀態(tài)包括一種屬于是過(guò)渡狀態(tài)的進(jìn)行分離的狀態(tài),通過(guò)該進(jìn)行分離的狀態(tài)將單一目標(biāo)區(qū)域分離成多個(gè)目標(biāo)區(qū)域,并且所說(shuō)的目標(biāo)跟蹤方法包括步驟如果一個(gè)分類的類別包括兩個(gè)或更多的目標(biāo)區(qū)域,則判定該分類的類別符合正在進(jìn)行分離的狀態(tài)的條件,并且如果一個(gè)類別滿足該正在進(jìn)行分離的狀態(tài)的條件,則根據(jù)跟蹤該目標(biāo)的狀態(tài)和包括在感興趣的類別中的目標(biāo)區(qū)域來(lái)判定該進(jìn)行分離的狀態(tài)。
44.根據(jù)權(quán)利要求43的目標(biāo)跟蹤方法,包括步驟如果該分類的類別符合該進(jìn)行分離的狀態(tài)的條件并且還滿足下列條件的至少之一或一個(gè)組合,則該目標(biāo)跟蹤方法判定包括在該類別中的目標(biāo)和目標(biāo)區(qū)域的跟蹤狀態(tài)是一個(gè)進(jìn)行分離的狀態(tài)所說(shuō)的類別包括兩個(gè)或更多的目標(biāo)、包括在所說(shuō)的分類中的在目標(biāo)區(qū)域之間的距離超過(guò)一個(gè)預(yù)定門限值、以及包括在所說(shuō)的類別中的該目標(biāo)區(qū)域的分離的連續(xù)周期超過(guò)一個(gè)預(yù)定門限值。
45.根據(jù)權(quán)利要求43的目標(biāo)跟蹤方法,其中所說(shuō)的跟蹤的狀態(tài)包括進(jìn)行分離的狀態(tài)和其中單一目標(biāo)存在于一個(gè)目標(biāo)區(qū)域中的單獨(dú)狀態(tài),并且所說(shuō)的目標(biāo)跟蹤方法包括步驟如果該分類的類別包括單一目標(biāo)并且包括在該類別中的目標(biāo)和目標(biāo)區(qū)域的跟蹤的狀態(tài)都不是進(jìn)行分離的狀態(tài),則判定該目標(biāo)和目標(biāo)區(qū)域的跟蹤的狀態(tài)是單獨(dú)狀態(tài)。
46.根據(jù)權(quán)利要求44的目標(biāo)跟蹤方法,其中所說(shuō)的跟蹤的狀態(tài)包括進(jìn)行分離的狀態(tài)和其中單一目標(biāo)存在于一個(gè)目標(biāo)區(qū)域中的單獨(dú)狀態(tài),并且所說(shuō)的目標(biāo)跟蹤方法包括步驟如果該分類的類別包括單一目標(biāo)并且包括在該類別中的目標(biāo)和目標(biāo)區(qū)域的跟蹤的狀態(tài)都不是進(jìn)行分離的狀態(tài),則判定該目標(biāo)和目標(biāo)區(qū)域的跟蹤的狀態(tài)是單獨(dú)狀態(tài)。
47.根據(jù)權(quán)利要求43的目標(biāo)跟蹤方法,其中所說(shuō)的跟蹤的狀態(tài)包括進(jìn)行分離的狀態(tài)和其中多個(gè)目標(biāo)對(duì)應(yīng)于一個(gè)目標(biāo)區(qū)域的交叉狀態(tài),并且所說(shuō)的目標(biāo)跟蹤方法包括步驟如果該類別包括兩個(gè)或更多的目標(biāo)并且包括在該類別中的目標(biāo)和目標(biāo)區(qū)域的跟蹤的狀態(tài)都不是該進(jìn)行分離的狀態(tài),則判定包括在該分類的類別中的目標(biāo)和目標(biāo)區(qū)域的跟蹤狀態(tài)是交叉狀態(tài)。
48.根據(jù)權(quán)利要求44的目標(biāo)跟蹤方法,其中所說(shuō)的跟蹤的狀態(tài)包括進(jìn)行分離的狀態(tài)和其中多個(gè)目標(biāo)對(duì)應(yīng)于一個(gè)目標(biāo)區(qū)域的交叉狀態(tài),并且所說(shuō)的目標(biāo)跟蹤方法包括步驟如果該類別包括兩個(gè)或更多的目標(biāo)并且包括在該類別中的目標(biāo)和目標(biāo)區(qū)域的跟蹤的狀態(tài)都不是該進(jìn)行分離的狀態(tài),則判定包括在該分類的類別中的目標(biāo)和目標(biāo)區(qū)域的跟蹤狀態(tài)是交叉狀態(tài)。
49.根據(jù)權(quán)利要求37的目標(biāo)跟蹤方法,包括步驟從所說(shuō)的圖像信息、所說(shuō)的目標(biāo)區(qū)域信息和所說(shuō)的第一區(qū)域和應(yīng)關(guān)系信息提取區(qū)域特征量,并且提供指示所說(shuō)的區(qū)域特征量的信息的區(qū)域特征量信息,存儲(chǔ)所說(shuō)的目標(biāo)特征量,并且選擇將被按照要求提供的該存儲(chǔ)的目標(biāo)特征量,并且根據(jù)所說(shuō)的區(qū)域特征量信息、所說(shuō)的第一區(qū)域?qū)?yīng)關(guān)系信息或該已經(jīng)確定的對(duì)應(yīng)關(guān)系信息以及在當(dāng)前之前產(chǎn)生的該目標(biāo)特征量而更新所說(shuō)的存儲(chǔ)的目標(biāo)特征量。
50.根據(jù)權(quán)利要求49的目標(biāo)跟蹤方法,其中所說(shuō)的跟蹤的狀態(tài)包括進(jìn)行分離的狀態(tài),該狀態(tài)是一個(gè)目標(biāo)區(qū)域分離成多個(gè)目標(biāo)區(qū)域的一個(gè)過(guò)渡狀態(tài),并且所說(shuō)的目標(biāo)跟蹤方法包括步驟針對(duì)在其跟蹤狀態(tài)中被指示為具有除了該進(jìn)行分離狀態(tài)之外的狀態(tài)的目標(biāo)區(qū)域,把指示不需要與任何目標(biāo)建立對(duì)應(yīng)關(guān)系的信息包括到該區(qū)域特征量信息中,并且從對(duì)應(yīng)關(guān)系的建立中排除那些其中該區(qū)域?qū)?yīng)關(guān)系信息指示不需要與任何目標(biāo)建立對(duì)應(yīng)關(guān)系信息的目標(biāo)區(qū)域。
51.根據(jù)權(quán)利要求49的目標(biāo)跟蹤方法,其中所說(shuō)的跟蹤的狀態(tài)包括其中單一目標(biāo)存在于一個(gè)目標(biāo)區(qū)域中的單獨(dú)狀態(tài),并且所說(shuō)的目標(biāo)跟蹤方法包括步驟根據(jù)所說(shuō)的第一區(qū)域?qū)?yīng)關(guān)系信息或已被確定的對(duì)應(yīng)關(guān)系信息來(lái)判定該跟蹤的狀態(tài)是否為該單獨(dú)的狀態(tài),并且如果一個(gè)目標(biāo)的跟蹤的狀態(tài)是除了該單獨(dú)狀態(tài)之外的任何狀態(tài),則跳過(guò)該更新存儲(chǔ)的目標(biāo)特征量的步驟。
52.根據(jù)權(quán)利要求37的目標(biāo)跟蹤方法,包括步驟根據(jù)所說(shuō)的目標(biāo)特征量和所說(shuō)的第一區(qū)域?qū)?yīng)關(guān)系信息,確定目標(biāo)和目標(biāo)區(qū)域的全部可能的組合,并且合成目標(biāo)特征量,以便產(chǎn)生僅針對(duì)目標(biāo)和目標(biāo)區(qū)域的確定的組合的合成的特征量。
53.根據(jù)權(quán)利要求37的目標(biāo)跟蹤方法,包括步驟尋找合成比例,所說(shuō)的合成比例是用于調(diào)整將被合成的所說(shuō)的目標(biāo)特征量的比例的系數(shù),并且根據(jù)所說(shuō)的合成比例和目標(biāo)特征量產(chǎn)生合成的特征量。
54.根據(jù)權(quán)利要求37的目標(biāo)跟蹤方法,包括步驟接收連同目標(biāo)特征量一起的區(qū)域特征量,根據(jù)該接收的區(qū)域特征量信息和該目標(biāo)特征量計(jì)算用于任意合成比例的合成的特征量,并且提供對(duì)應(yīng)于在區(qū)域特征量和該計(jì)算合成的特征量之間的最高相似程度的合成的特征量。
55.根據(jù)權(quán)利要求37的目標(biāo)跟蹤方法,其中所說(shuō)的跟蹤的狀態(tài)包括屬于是一種過(guò)渡狀態(tài)的進(jìn)行分離的狀態(tài),通過(guò)該進(jìn)行分離的狀態(tài),一個(gè)目標(biāo)區(qū)域分離成多個(gè)目標(biāo)區(qū)域,并且所說(shuō)的目標(biāo)跟蹤方法包括步驟僅針對(duì)在其跟蹤狀態(tài)中指示為在進(jìn)行分離的狀態(tài)中的目標(biāo)區(qū)域產(chǎn)生合成的特征量。
56.根據(jù)權(quán)利要求37的目標(biāo)跟蹤方法,其中所說(shuō)的目標(biāo)特征量包括一個(gè)目標(biāo)的一個(gè)區(qū)域,并且所說(shuō)的目標(biāo)跟蹤方法包括步驟根據(jù)該目標(biāo)的區(qū)域計(jì)算用于調(diào)整將被合成的該目標(biāo)特征量的比例的一個(gè)系數(shù)的一個(gè)合成比例,并且從該計(jì)算的合成比例以及目標(biāo)特征量產(chǎn)生一個(gè)合成的特征量。
57.根據(jù)權(quán)利要求56的目標(biāo)跟蹤方法,其中所說(shuō)的合成比例被限制在根據(jù)該目標(biāo)的區(qū)域的變化而預(yù)定的一個(gè)范圍之內(nèi)。
58.根據(jù)權(quán)利要求37的目標(biāo)跟蹤方法,包括步驟連同所說(shuō)的目標(biāo)特征量一起接收所說(shuō)的區(qū)域特征量,根據(jù)該接收的區(qū)域特征量和目標(biāo)特征量產(chǎn)生在該目標(biāo)區(qū)域中的變化的范圍之內(nèi)的合成的特征量,并且提供具有對(duì)于該感興趣的目標(biāo)區(qū)域的區(qū)域特征量最高相似程度的合成的特征量。
59.根據(jù)權(quán)利要求37的目標(biāo)跟蹤方法,其中所說(shuō)的目標(biāo)特征量包括一個(gè)圖像模板,該圖像模板描述一個(gè)目標(biāo)的形狀和/或彩色,并且所說(shuō)的目標(biāo)跟蹤方法包括步驟根據(jù)該圖像模板和區(qū)域特征量判定該目標(biāo)的前后(back-to-belly)關(guān)系,并且根據(jù)所說(shuō)的判定的該目標(biāo)的前后關(guān)系而合成該圖像模板以便獲得一個(gè)合成的特征量。
60.根據(jù)權(quán)利要求37的目標(biāo)跟蹤方法,包括步驟根據(jù)所說(shuō)的合成特征量信息、所說(shuō)的區(qū)域特征量信息和所說(shuō)的第一區(qū)域?qū)?yīng)關(guān)系信息,從能夠以對(duì)應(yīng)關(guān)系相關(guān)的目標(biāo)和目標(biāo)區(qū)域的全部可能組合中計(jì)算具有最高相似程度的目標(biāo)和目標(biāo)區(qū)域的組合,選擇該計(jì)算的目標(biāo)和目標(biāo)區(qū)域的組合作為一個(gè)最佳對(duì)應(yīng)關(guān)系的目標(biāo)和目標(biāo)區(qū)域,并且產(chǎn)生指示該目標(biāo)和目標(biāo)區(qū)域的最佳對(duì)應(yīng)關(guān)系的該最佳對(duì)應(yīng)關(guān)系信息;并且根據(jù)所說(shuō)的第一區(qū)域?qū)?yīng)關(guān)系信息和所說(shuō)的最佳對(duì)應(yīng)關(guān)系信息確定目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系,并且提供已經(jīng)確定的屬于是包括該目標(biāo)和目標(biāo)區(qū)域之間確定的對(duì)應(yīng)關(guān)系的信息的該對(duì)應(yīng)關(guān)系信息。
61.根據(jù)權(quán)利要求60的目標(biāo)跟蹤方法,包括步驟計(jì)算針對(duì)目標(biāo)和目標(biāo)區(qū)域的全部可能組合的總計(jì)相似程度,其中所說(shuō)的總計(jì)相似程度是在該目標(biāo)區(qū)域的特征量和在每一個(gè)組合中的合成的特征量之間該相似程度的一個(gè)取和,并且判定全部所說(shuō)的可能組合的該最高的總計(jì)相似程度的組合是最高相似性的組合。
62.根據(jù)權(quán)利要求60的目標(biāo)跟蹤方法,其中所說(shuō)的第一區(qū)域?qū)?yīng)關(guān)系信息包括關(guān)于指示一個(gè)目標(biāo)區(qū)域是否是在休止或運(yùn)動(dòng)的休止/運(yùn)動(dòng)狀態(tài)的信息,并且所說(shuō)的目標(biāo)跟蹤方法包括步驟從目標(biāo)和目標(biāo)區(qū)域的全部可能的組合中排除由關(guān)于休止/運(yùn)動(dòng)狀態(tài)的信息指示為在休止?fàn)顟B(tài)中的目標(biāo)和目標(biāo)區(qū)域的組合。
63.根據(jù)權(quán)利要求60的目標(biāo)跟蹤方法,包括步驟如果從組成被判定為最高相似性的一個(gè)組合的該目標(biāo)和目標(biāo)區(qū)域的集合的相似程度獲得的該組合的相似程度等于或低于一預(yù)定門限值,則從目標(biāo)和目標(biāo)區(qū)域的全部可能組合的排列為最高相似性的組合相似性程度的組合中選擇在一個(gè)預(yù)定門限值之內(nèi)的組合相似性程度的組合,把在該選擇組合的共同的目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系包括到該最佳對(duì)應(yīng)關(guān)系信息中作為最佳對(duì)應(yīng)關(guān)系,并且針對(duì)未被包括在該選擇的組合所共有的該目標(biāo)和目標(biāo)區(qū)域的對(duì)應(yīng)關(guān)系中的對(duì)應(yīng)關(guān)系中的目標(biāo)和目標(biāo)區(qū)域,進(jìn)一步把指示在任何目標(biāo)和目標(biāo)區(qū)域之間不存在一個(gè)最佳對(duì)應(yīng)關(guān)系的信息包括到該最佳對(duì)應(yīng)關(guān)系信息中;針對(duì)未被在所說(shuō)的最佳對(duì)應(yīng)關(guān)系信息中指示的不存在與目標(biāo)區(qū)域的最佳對(duì)應(yīng)關(guān)系的目標(biāo),提供指示在感興趣的目標(biāo)和包括在所說(shuō)的最佳對(duì)應(yīng)關(guān)系信息中的目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的信息,作為已經(jīng)確定的對(duì)應(yīng)關(guān)系信息;并且針對(duì)被在該最佳對(duì)應(yīng)關(guān)系信息中指示的不存在與目標(biāo)區(qū)域的最佳對(duì)應(yīng)關(guān)系的目標(biāo),提供指示在感興趣的目標(biāo)和包括在第一區(qū)域?qū)?yīng)關(guān)系信息中的目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的信息,作為已經(jīng)確定的對(duì)應(yīng)關(guān)系信息;
64.根據(jù)權(quán)利要求61的目標(biāo)跟蹤方法,包括步驟如果從組成被判定為最高相似性的一個(gè)組合的該目標(biāo)和目標(biāo)區(qū)域的集合的相似程度中獲得的該組合的相似程度等于或低于一預(yù)定門限值,則從目標(biāo)和目標(biāo)區(qū)域的全部可能組合的排列為最高相似性的組合相似性程度的組合中選擇在一個(gè)預(yù)定門限值之內(nèi)的組合相似性程度的組合,把在該選擇組合的共同的目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系包括到該最佳對(duì)應(yīng)關(guān)系信息中作為最佳對(duì)應(yīng)關(guān)系,并且針對(duì)未被包括在該選擇的組合所共有的該目標(biāo)和目標(biāo)區(qū)域的對(duì)應(yīng)關(guān)系中的對(duì)應(yīng)關(guān)系中的目標(biāo)和目標(biāo)區(qū)域,進(jìn)一步把指示在任何目標(biāo)和目標(biāo)區(qū)域之間不存在一個(gè)最佳對(duì)應(yīng)關(guān)系的信息包括到該最佳對(duì)應(yīng)關(guān)系信息中;針對(duì)未被在所說(shuō)的最佳對(duì)應(yīng)關(guān)系信息中指示的不存在與目標(biāo)區(qū)域的最佳對(duì)應(yīng)關(guān)系的目標(biāo),提供指示在感興趣的目標(biāo)和包括在所說(shuō)的最佳對(duì)應(yīng)關(guān)系信息中的目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的信息,作為已經(jīng)確定的對(duì)應(yīng)關(guān)系信息;并且針對(duì)被在該最佳對(duì)應(yīng)關(guān)系信息中指示的不存在與目標(biāo)區(qū)域的最佳對(duì)應(yīng)關(guān)系的目標(biāo),提供指示在感興趣的目標(biāo)和包括在第一區(qū)域?qū)?yīng)關(guān)系信息中的目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的信息,作為已經(jīng)確定的對(duì)應(yīng)關(guān)系信息;
65.根據(jù)權(quán)利要求60的目標(biāo)跟蹤方法,其中所說(shuō)的跟蹤的狀態(tài)包括屬于是一種過(guò)渡狀態(tài)的進(jìn)行分離的狀態(tài),通過(guò)該進(jìn)行分離的狀態(tài),一個(gè)目標(biāo)區(qū)域分離成多個(gè)目標(biāo)區(qū)域,并且所說(shuō)的目標(biāo)跟蹤方法包括步驟僅針對(duì)被指示為在其跟蹤狀態(tài)中具有進(jìn)行分離的狀態(tài)的目標(biāo)區(qū)域,把在目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系確定為與在該最佳對(duì)應(yīng)關(guān)系信息中指示的對(duì)應(yīng)關(guān)系完全相同。
66.根據(jù)權(quán)利要求60的目標(biāo)跟蹤方法,其中所說(shuō)的跟蹤的狀態(tài)包括屬于是一種過(guò)渡狀態(tài)的進(jìn)行分離的狀態(tài),通過(guò)該進(jìn)行分離的狀態(tài),一個(gè)目標(biāo)區(qū)域分離成多個(gè)目標(biāo)區(qū)域,并且所說(shuō)的目標(biāo)跟蹤方法包括步驟僅針對(duì)以其跟蹤狀態(tài)被指示為具有除進(jìn)行分離的狀態(tài)以外的狀態(tài)的目標(biāo)區(qū)域,提供包括在該第一區(qū)域?qū)?yīng)關(guān)系信息中的目標(biāo)和目標(biāo)區(qū)域之間對(duì)應(yīng)關(guān)系作為已被確定的對(duì)應(yīng)關(guān)系信息。
67.用于根據(jù)圖像信息跟蹤一個(gè)目標(biāo)的目標(biāo)跟蹤程序,所說(shuō)的程序操作一臺(tái)計(jì)算機(jī)執(zhí)行下列處理過(guò)程接收?qǐng)D像信息,合成表示包括在所說(shuō)的接收的圖像信息中的分別目標(biāo)的特征量的目標(biāo)特征量,并且產(chǎn)生一個(gè)合成的特征量,并且根據(jù)在所說(shuō)的目標(biāo)區(qū)域的特征量和所說(shuō)的合成的特征量之間的相似程度建立在所說(shuō)的目標(biāo)和一個(gè)目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系,所說(shuō)的目標(biāo)區(qū)域是從所說(shuō)的圖像信息中提取并且還包括所說(shuō)的目標(biāo)的一個(gè)區(qū)域。
68.用于建立接收的圖像信息中包括的目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的目標(biāo)跟蹤程序,所說(shuō)的程序操作一臺(tái)計(jì)算機(jī)執(zhí)行下列處理過(guò)程接收?qǐng)D像信息,從接收的圖像信息中提取目標(biāo)區(qū)域,并且提供包括關(guān)于所說(shuō)的目標(biāo)區(qū)域的圖像信息的目標(biāo)區(qū)域信息,根據(jù)所說(shuō)的目標(biāo)區(qū)域信息和已經(jīng)確定的指示當(dāng)前之前的該目標(biāo)和目標(biāo)區(qū)域的對(duì)應(yīng)關(guān)系的對(duì)應(yīng)關(guān)系信息而判定每一個(gè)目標(biāo)或目標(biāo)區(qū)域的跟蹤的狀態(tài),并且提供指示所說(shuō)的目標(biāo)區(qū)域和目標(biāo)的對(duì)應(yīng)關(guān)系以及跟蹤的狀態(tài)的第一區(qū)域?qū)?yīng)關(guān)系信息;通過(guò)使用所說(shuō)的圖像信息、所說(shuō)的目標(biāo)區(qū)域信息和所說(shuō)的第一區(qū)域?qū)?yīng)關(guān)系信息產(chǎn)生表示該目標(biāo)區(qū)域的特征量的區(qū)域特征量,以及表示該目標(biāo)的特征量的目標(biāo)特征量;根據(jù)所說(shuō)的目標(biāo)特征量和所說(shuō)的第一區(qū)域?qū)?yīng)關(guān)系信息合成針對(duì)多個(gè)目標(biāo)的全部所需組合的特征量,以便產(chǎn)生每一個(gè)合成的特征量,并且提供合成特征量信息,該合成特征量信息包括所說(shuō)的合成特征量和用于產(chǎn)生合成特征量的目標(biāo)與該合成的特征量之間的對(duì)應(yīng)關(guān)系;和根據(jù)所說(shuō)的第一區(qū)域?qū)?yīng)關(guān)系信息、所說(shuō)的區(qū)域特征量信息和所說(shuō)的合成特征量信息,以對(duì)應(yīng)關(guān)系關(guān)聯(lián)該目標(biāo)和目標(biāo)區(qū)域,并且提供當(dāng)前已經(jīng)確定的所說(shuō)的對(duì)應(yīng)關(guān)系信息。
69.用于建立接收的圖像信息中包括的目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系的目標(biāo)跟蹤程序,所說(shuō)的程序操作一臺(tái)計(jì)算機(jī)執(zhí)行下列處理過(guò)程接收?qǐng)D像信息,根據(jù)所說(shuō)的目標(biāo)區(qū)域信息和已經(jīng)確定的指示當(dāng)前之前的該目標(biāo)和目標(biāo)區(qū)域的對(duì)應(yīng)關(guān)系的對(duì)應(yīng)關(guān)系信息而判定每一個(gè)目標(biāo)或每一個(gè)目標(biāo)區(qū)域的跟蹤的狀態(tài),并且提供指示所說(shuō)的目標(biāo)區(qū)域和目標(biāo)的對(duì)應(yīng)關(guān)系以及跟蹤的狀態(tài)的第一區(qū)域?qū)?yīng)關(guān)系信息;通過(guò)使用所說(shuō)的圖像信息、所說(shuō)的目標(biāo)區(qū)域信息和所說(shuō)的第一區(qū)域?qū)?yīng)關(guān)系信息產(chǎn)生表示該目標(biāo)區(qū)域的特征量的區(qū)域特征量,以及表示該目標(biāo)的特征量的目標(biāo)特征量;和針對(duì)在其跟蹤狀態(tài)中被判定是在除進(jìn)行分離的狀態(tài)之外的狀態(tài)的目標(biāo),在提取作為一個(gè)標(biāo)的每個(gè)目標(biāo)的同時(shí),通過(guò)指定包括在所說(shuō)的第一區(qū)域?qū)?yīng)關(guān)系信息中的目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系作為在所說(shuō)的目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系來(lái)判定在該目標(biāo)和目標(biāo)區(qū)域之間的對(duì)應(yīng)關(guān)系,該進(jìn)行分離的狀態(tài)是一個(gè)過(guò)渡狀態(tài),通過(guò)該過(guò)渡狀態(tài)一個(gè)目標(biāo)區(qū)域分離成多個(gè)目標(biāo)區(qū)域;針對(duì)在其跟蹤狀態(tài)被判定為處在進(jìn)行分離的狀態(tài)的目標(biāo),根據(jù)所說(shuō)的目標(biāo)特征量和所說(shuō)的第一區(qū)域?qū)?yīng)關(guān)系信息合成用于多個(gè)目標(biāo)的全部需要的組合的特征量,以便產(chǎn)生分別的合成特征量;并且把合成的特征量的每一個(gè)與一區(qū)域特征量相比較,以便把對(duì)應(yīng)于該合成的特征量的、具有與一個(gè)目標(biāo)區(qū)域最高相似程度的目標(biāo)與感興趣的目標(biāo)區(qū)域相關(guān),以便放置于對(duì)應(yīng)關(guān)系中。
全文摘要
目標(biāo)區(qū)域提取部分12通過(guò)圖像輸入終端11接收?qǐng)D像信息并且從該接收的圖像信息中提取目標(biāo)區(qū)域。特征量產(chǎn)生部分14產(chǎn)生該目標(biāo)的特征量和目標(biāo)區(qū)域的特征量。特征量合成部分15合成多個(gè)目標(biāo)的特征量以便產(chǎn)生一個(gè)合成的特征量。對(duì)應(yīng)關(guān)系建立部分17計(jì)算該目標(biāo)區(qū)域的特征量和合成的特征量之間的相似程度,并且根據(jù)計(jì)算的相似程度尋找該目標(biāo)和目標(biāo)區(qū)域之間的一個(gè)最佳對(duì)應(yīng)關(guān)系。
文檔編號(hào)G06K9/64GK1695167SQ0382475
公開(kāi)日2005年11月9日 申請(qǐng)日期2003年8月27日 優(yōu)先權(quán)日2002年8月30日
發(fā)明者小泉博一 申請(qǐng)人:日本電氣株式會(huì)社