專利名稱：用于改進的背景－前景分割的使用目標分類的增強背景模型的制作方法
技術領域：
本發(fā)明涉及計算機系統(tǒng)執(zhí)行的背景-前景分割，特別是涉及在背景-前景分割中使用的改進的背景模型的產(chǎn)生和維持。
背景-前景分割是用于在靜止照相機的取景范圍內(nèi)檢測目標的公知的基于計算機視覺的技術。開始，系統(tǒng)在沒有目標出現(xiàn)的情況下，在訓練階段學習場景。在訓練階段利用從該場景捕獲的一系列圖像建立該場景的背景模型。此后，在正常的操作期間，將新的圖像與該背景模型進行比較。將與背景模型具有顯著區(qū)別的像素位置歸類為前景像素，而將剩余的像素標記為背景像素。該算法的輸出通常為二進制圖像，該圖像描述在場景中出現(xiàn)的前景目標的輪廓。
對于開闊戶外區(qū)域例如停車場、或封閉的大型場所例如倉庫、辦公空間、或地鐵站臺中的人和其它目標，傳統(tǒng)的背景-前景分割技術可以很好地將它們分割和跟蹤。但是這些場景與通常的家庭中的場景有很大不同。例如，居住環(huán)境通常在很小的區(qū)域內(nèi)包含很多目標。另外，居住環(huán)境中的很多目標都是軟性的，例如衣服和窗簾，或者是容易變形的，例如家具和百葉窗(或這兩者都是)，而且人們在居住環(huán)境中會經(jīng)常改變他們的姿勢，例如，在站立、坐下和躺下位置之間改變。
大多數(shù)已知的背景-前景分割技術都不能在混亂環(huán)境中聚集很多下肢部分，非垂直身體姿勢和大型背景目標例如門、椅子和桌子自然運動的情況下有效工作。因此需要一種方法和裝置來產(chǎn)生和維持用于背景-前景分割的改進的背景模型。
通常，公開了一種用于產(chǎn)生和維持在背景-前景分割中使用的改進背景模型的方法和裝置。根據(jù)本發(fā)明的一個方面，使用該增強的背景模型來改進背景和前景的分割。根據(jù)本發(fā)明來修改該背景模型，從而包含通常靜止的目標的標識。此后，如果一個目標移動且已經(jīng)被識別為通常為靜止的目標，則在背景-前景分割期間不會不必要地將該目標識別為前景的一部分。
在示例性實施方案中，將運動目標分為兩個集合。第一集合包括通常獨立運動的目標，例如人和動物，第二集合包括通常靜止的目標，例如家具。通常，一旦將一目標分到第二(靜止目標)集合，則即使該目標被移動(通常該目標的運動會導致該目標變?yōu)榍熬暗囊徊糠?，仍將該目標保留在背景中。
可以使用本發(fā)明的增強背景模型來改進背景-前景分割。在訓練過程中，估計該背景模型的參數(shù)。當檢測到目標的運動時，將該目標歸類為這兩集合中的一集合。在正常操作期間，利用該背景模型對所捕獲圖像的相似概率進行估計。將具有低相似概率且屬于沒有預先被標識為靜止目標的背景場景的像素歸類為前景，而將剩余的像素標記為背景。
通過參照下面的詳細說明和附圖，可以對本發(fā)明以及本發(fā)明的進一步特征和優(yōu)點有更完整的理解。
圖1示出根據(jù)本發(fā)明優(yōu)選實施例用于執(zhí)行背景-前景分割的示例性系統(tǒng)的方塊圖。
圖2示出根據(jù)本發(fā)明優(yōu)選實施例用于對執(zhí)行背景-前景分割的系統(tǒng)的輸入圖像進行分類的方法流程圖。
圖3示出根據(jù)本發(fā)明優(yōu)選實施例用于訓練執(zhí)行背景-前景分割的系統(tǒng)的方法流程圖。
圖4示出用于描述圖1中的背景模型目標分類處理的示例性實施例的流程圖。
現(xiàn)在參照圖1，根據(jù)本發(fā)明優(yōu)選實施例，所示的視頻處理系統(tǒng)120產(chǎn)生并維持用于背景-前景分割的背景模型。視頻處理系統(tǒng)120通過視頻輸入107、數(shù)字通用光盤(DVD)110和網(wǎng)絡115與一個或更多照相機進行互操作。視頻處理系統(tǒng)120包括處理器130、介質(zhì)接口135、網(wǎng)絡接口140和存儲器145。存儲器145包括圖像抓取器150、輸入圖像155、背景模型產(chǎn)生/維持處理200/300、背景模型目標分類處理400、概率表165、全局閾值180、像素閾值195和所分割的圖像190。
在示例性實施例中，如下所述，背景模型為概率表165集合，該集合包括多個概率表170-11到170-HW。圖1中所示的一個概率表170-11包含項目175-11到175-NM。通常背景模型是為每個照相機建立的，從而易于快速分割前景和背景。為了防止需要背景模型來檢測每個目標(處理為前景目標)，根據(jù)本發(fā)明修改背景模型從而使其包含通常為靜止的目標標識。此后，如果目標運動且已經(jīng)被標識為通常為靜止的目標，則在背景-前景分割期間不會不必要地將該目標變?yōu)榍熬暗囊徊糠帧?br>
在一個實施方式中，將運動目標歸類到兩集合中的一集合中。第一集合包括通常獨立運動的目標，例如人和動物。當?shù)谝患现械哪繕嗽趫D像中運動時，該目標將變?yōu)榍熬暗囊徊糠?。該第二集合包括通常為靜止的目標，例如家具。通常一旦將目標歸類為第二集合，則即使該目標被移動(通常該目標的運動會導致該目標變?yōu)榍熬暗囊徊糠?，也仍將該目標保留在背景中。通過這種方式，當背景目標被移動時，不會不必要地將該背景目標變?yōu)榍熬暗囊徊糠帧?br>
如圖1所示，視頻處理系統(tǒng)120從照相機105將視頻輸入107耦合到圖像抓取器150中。圖像抓取器150從該視頻輸入107中“抓取”一個單獨圖像，并生成輸入圖像155，該輸入圖像通常為多個像素。很明顯，輸入圖像155包括高度方向的H個像素和寬度方向的W個像素，每個像素具有分別對應紅、綠和藍(RGB)信息的8位，總共為24位的RGB像素數(shù)據(jù)。也可以使用其它系統(tǒng)表現(xiàn)圖像，但通常使用RGB。
該背景-前景分割處理200，300產(chǎn)生背景模型，并執(zhí)行背景-前景分割。背景-前景分割處理200是在視頻處理系統(tǒng)120的正常操作期間使用的，而背景-前景分割處理300是在訓練中使用以便產(chǎn)生背景模型。一個單獨的處理應當執(zhí)行處理200和300，該單獨處理可以簡單被配置到正常操作模式或訓練模式。但是，如果需要也可以使用分離處理。
在視頻處理系統(tǒng)120的正常操作期間，背景-前景分割處理200使用概率表165來確定輸入圖像155中的HxW個像素中每個像素的似然概率。將每個似然概率與像素閾值195比較。如果該似然概率低于像素閾值195，則假設該像素屬于背景。通過背景-前景分割處理200還可能修改概率模型，從而允許視頻處理系統(tǒng)120假設，如果像素的似然概率大于像素閾值195，則該像素屬于背景。對于視頻處理系統(tǒng)120來說，如果該像素的似然概率在像素閾值范圍內(nèi)，甚至可能將該像素分配給背景。但是，為了簡便起見，在此假設，如果像素的似然概率低于像素閾值195，則可以假設該像素屬于背景。
在正常操作期間，背景-前景分割處理200通過使用概率表165和像素閾值195從輸入圖像中確定所分割的圖像190。另外，背景-前景分割處理200可以使用概率模型(未示出)來確定每個像素的似然概率。下面將詳細討論優(yōu)選概率模型。這些概率模型在背景-前景分割處理200根據(jù)該模型執(zhí)行一系列步驟的意義上被“置入”背景-前景分割處理200(和300)中。換句話說，背景-前景分割處理200利用一個或多個概率模型至少部分限定了它的步驟。為了簡便起見，用于執(zhí)行背景-前景分割的概率模型和背景-前景分割處理將被認為可以互換。但是，應當注意在執(zhí)行根據(jù)模型確定概率的必須的步驟的同時，背景-前景分割處理還有與根據(jù)模型確定概率不相關的其它步驟。例如，從輸入圖像155中檢索數(shù)據(jù)并將這些數(shù)據(jù)存儲在數(shù)據(jù)結(jié)構(gòu)中都是不根據(jù)概率模型執(zhí)行的可能步驟。
在訓練期間，背景-前景分割處理300定義和改進了概率表170-11到170-HW(在此總的來說“概率表170”)。優(yōu)選地，對輸入圖像155的每個像素都有一個概率表。每個概率表具有一個MxN矩陣，如對于概率表170-11所示具有項目175-11到175-NM(在此總的來說“項目175”)。每個像素應當有M個全局狀態(tài)和N個高斯模式。通常，每個概率表170將以一個全局狀態(tài)和一個高斯模式開始，在訓練后包含MxN個項目175。
在訓練期間，背景-前景分割處理300使用全局閾值180來確定是否應當加入一個狀態(tài)或者修改所選擇狀態(tài)的參數(shù)。在訓練期間使用像素閾值195來確定是否應當加入另一個高斯模式或是否應當調(diào)節(jié)所選擇高斯模式的參數(shù)。
應當注意該示例性背景-前景分割處理300允許訓練遞增。該示例性背景-前景分割處理300可以在每次將圖像輸入到模型中或已經(jīng)將預定數(shù)目圖像輸入到模型之后調(diào)節(jié)該模型的參數(shù)。即使后者是可能的，也優(yōu)選前者。
如本領域公知，本文中所述的方法和裝置可作為一種制造商品銷售，該商品本身包括計算機可讀介質(zhì)，該介質(zhì)具有配備在其上的計算機可讀代碼裝置。計算機可讀程序代碼裝置是可操作的，與例如視頻處理系統(tǒng)120的計算機系統(tǒng)結(jié)合實施全部步驟或其中一部分步驟，從而執(zhí)行在此討論的方法和產(chǎn)生在此討論的裝置。該計算機可讀介質(zhì)可以是可記錄介質(zhì)(例如軟盤、硬盤驅(qū)動器、壓縮盤例如通過介質(zhì)接口135可訪問的DVD110、或存儲卡)或者可以是傳輸介質(zhì)(例如包括光纖的網(wǎng)絡115，全球互聯(lián)網(wǎng)，電纜或使用時分多址、碼分多址的無線信道或其他射頻信道)。任何公知或已有的可以存儲適用于計算機系統(tǒng)的信息的介質(zhì)，都可以被使用。該計算機可讀代碼裝置是用于使計算機讀取指令和數(shù)據(jù)的任何機構(gòu)，這些指令和數(shù)據(jù)例如是磁介質(zhì)上的磁性變化或例如DVD110的壓縮盤的表面上的高度變化。
存儲器145將配置處理器130來執(zhí)行本文中所述的方法、步驟和功能。該存儲器145可以是分布式或本地存儲器，該處理器130可以為分布式的或單一的。該存儲器145可以為電、磁或光學存儲器，或這些或其它類型存儲設備的任何集合。該術語“存儲器”可以被廣義解釋為包含能夠?qū)μ幚砥?30可訪問的可尋址空間中的地址進行任何信息讀寫。利用這個限定，例如通過網(wǎng)絡接口140訪問的網(wǎng)絡115的網(wǎng)絡上的信息也在視頻處理系統(tǒng)120的存儲器145內(nèi)，因為該處理器130可以從網(wǎng)絡中得到該信息。還應當注意，視頻處理系統(tǒng)120的全部或部分都可被實現(xiàn)為集成電路或例如可編程邏輯電路的其他相似設備。
上面已經(jīng)說明了系統(tǒng)，下面將說明概率模型，該概率模型可以提供全局和局部像素相關性和逐步增加的訓練。
概率模型在優(yōu)選概率框架中，將圖像(即像素外觀的二維陣列)解釋為從高維隨機處理中得到的多個采樣。在該處理中，圖像的像素數(shù)目規(guī)定了維的數(shù)目。正式情況下，假設I={Tx,y∈ΘWH}]]>表示W(wǎng)xH個像素的圖像，這些像素在觀察空間Θ中具有值(即，每個像素24位的RGB值)。
與該隨機處理P(I|Ω)相聯(lián)系的概率分布可以捕捉與場景和成像系統(tǒng)均有聯(lián)系的基本圖像產(chǎn)生處理。這包括場景中存在的顏色和文理以及圖像變化的多種原因，例如場景中的運動、光變化、照相機的自動增益控制和其它圖像變化。
大多數(shù)傳統(tǒng)算法都是在假設每個像素彼此獨立的前提下對場景圖像模型化。實際上，圖像成型處理和典型場景的物理特性導致很多限制，這些限制使得像素在全局意義(即整個圖像或一系列圖像)和局部意義上(即，圖像中的區(qū)域)具有相當大的相關性。
所提出的示例性模型通過引入隱藏處理ξ來使用場景圖像內(nèi)的多個像素之間的相關性，該隱藏處理ξ捕捉該場景觀察的全局狀態(tài)。例如，在場景具有幾個可能發(fā)光設置的情況下，離散變量ξ可以將指針表現(xiàn)為幾個可能的發(fā)光狀態(tài)。
所提出的模型背后的基本思想是對捕捉圖像中多個像素之間相關性的模型階段與捕捉每個像素外觀的模型階段區(qū)分開來，從而使得問題更易處理。即，根據(jù)下面公式便于計算圖像的似然概率
P(I|Ω)=Σ∀ξP(I|ξ,Ω)P(ξ|Ω),---{1}]]>其中P(ξ|Ω)表示場景的全局狀態(tài)的概率，P(I|ξ，Ω)表示在場景全局狀態(tài)ξ的情況下像素外觀的似然概率。注意由于像素之間的相關性是由第一階段捕捉到的，因此可以合理假設，在場景全局狀態(tài)ξ的情況下，圖像I的像素彼此獨立。因此，可以將等式{1}寫為P(I|Ω)=Σ∀ξP(ξ|Ω)Π∀(x,y)P(Ix,y|ξ,Ω),---{2}]]>其中P(Ix，y|ξ，Ω)表示用于模擬圖像I的像素(x，y)的概率。
根據(jù)用于捕捉場景觀察全局狀態(tài)的模型的復雜性，即P(ξ|Ω)，所執(zhí)行的處理能夠處理多種應用情況中出現(xiàn)的不同類型的成像變化。例如，如果在ξ的表達式中使用了增益函數(shù)的參數(shù)化表達式，則由于照相機的自動增益控制易于執(zhí)行對變化的背景-前景分割處理加強。
出于簡化，利用在三維RGB顏色空間中具有全協(xié)方差矩陣的高斯混合分布，可以模擬全局狀態(tài)ξ下的每個像素值P(Ix，y|ξ，Ω)。較正式的，可以使用下面的等式P(Ix,y|ξ,Ω)=Σ∀αP(αx,y)N(I;I‾α,x,y,Σα,x,y),]]>其中Ia，x，y和∑a，x，y為(x，y)像素的第a個高斯混合模式的平均值和協(xié)方差距陣。這些參數(shù)是用于表示整個圖像模型的符號參數(shù)變量Ω的子集。
注意，前面的研究已經(jīng)表明其它顏色空間優(yōu)選地用于處理例如陰影等問題，如果需要在此可以使用該研究。但是，本說明書的重點在于模擬該場景的全局狀態(tài)。
優(yōu)選地利用離散變量ξ＝{1，2，...，M}來模擬場景觀察的全局狀態(tài)，該變量捕捉該場景中的全局和局部變化，以致等式{2}變?yōu)橄旅婀絇(I|Ω)=Σ∀ξP(αx,y)Π∀(x,y)Σ∀αP(αx,y)N(I;I‾α,x,y,Σα,x,y).---{3}]]>注意上述模型和傳統(tǒng)的高斯混合之間的差別。與獨立模擬每個像素的高斯混合分布相反，本發(fā)明的模型使用了高斯分布集合來模擬與全局狀態(tài)相聯(lián)系的每個像素。
等式3可以如下重寫為
P(I|Ω)=Σ∀ξΠ∀(x,y)Σ∀αG(ξ,αx,y)N(I;I‾α,x,y,Σα,x,y),---{4}]]>其中項G(ξ，ax，y)＝P(ξ|Ω)1/WHP(ax，y)可以簡單地被作為與圖像模型的每個像素位置相聯(lián)系的MxN矩陣。在該例子中，M為全局狀態(tài)的數(shù)目，N為高斯模式的數(shù)目。在圖1的例子中，MxN矩陣存儲在概率表165中，在該概率表中針對每個像素有一個MxN矩陣170。
分割過程假設從來自一個場景的一個圖像觀察集合已經(jīng)成功地訓練了上述提出的多個模型中的一個，則新觀察到的圖像的分割過程簡單地基于最大似然分類。訓練在下一部分討論。
圖2的方法200示出了一個示例性分割過程。系統(tǒng)在正常操作期間使用方法200來執(zhí)行背景-前景分割。如上所述，此時已經(jīng)執(zhí)行了訓練。
方法200在步驟210開始，此時檢索一幅圖像。通常，對于該圖像的每個像素以24位來存儲每個圖像，該24位對應RGB值。如上所述，也可以使用其它系統(tǒng)，但是示例性方法200假設正在使用RGB值。
假設測試圖像為It，分割算法確定(步驟220)全局狀態(tài)ξ*，該全局狀態(tài)最大化由以下模型給出的圖像的似然概率ξ*=argmaxP(ξ|Ω)Π∀(x,y)P(Ix,yt|ξ,Ω).---{5}]]>然后，利用各似然概率但僅考慮最大相似的全局狀態(tài)ξ*，對每個像素獨立地執(zhí)行背景-前景分割。為了執(zhí)行步驟，在步驟230中選擇一個像素。針對最相似的全局狀態(tài)確定每個像素的各自的似然概率(步驟240)，并在下面等式中使用該似然概率來確定是否應當將每個像素指定給背景或前景(步驟250) 其中s＝{sx，y(x，y)}表示背景-前景分割的二進制圖像，其中非零像素表示前景目標?；旧?，等式{6}說明如果像素的似然概率小于像素閾值(步驟250＝是)，那么在步驟255執(zhí)行進一步檢測來確定是否通過根據(jù)本發(fā)明的背景模型目標分類處理400已經(jīng)將該像素預先標識為背景的一部分，相反(步驟250＝否)將該像素分配給背景(步驟270)。
如果在步驟255確定像素已經(jīng)通過背景模型目標分類處理400被預先標識為背景的一部分，則在步驟270期間將該像素分配給背景。但是如果在步驟255確定沒有通過背景模型目標分類處理400將該像素預先標識為背景的一部分，則將該像素分配給前景(步驟260)。
對每個關心的像素(通常圖像中的所有像素)執(zhí)行等式{6}。因此，在步驟280中，如果圖像中的所有像素都被分配給背景或前景(步驟280＝否)，則方法200結(jié)束，否則(步驟280＝是)該方法繼續(xù)到步驟230，并對新選擇的像素執(zhí)行等式6。
注意即使在不同全局狀態(tài)下像素的顏色值也被模擬為背景的一部分的情況下，處理200怎樣成功地將像素歸類為前景。例如，如果在訓練過程中一個穿著紅色襯衣的人在一個場景背景中行走，則多個高斯混合模式中的一個將在這個人的襯衣所經(jīng)過的所有像素中捕捉該紅色。稍后在測試中，如果這個人再次在該場景背景中行走(當然，大概沿著同樣的線路)，則他或她就不會被檢測為前景。但是，如果那個人靠近照相機，有效地改變了場景的全局狀態(tài)，則即使在已經(jīng)將紅色與背景聯(lián)系起來的圖像區(qū)域內(nèi)，也可以將他或她的紅色襯衣正確地分割出來。
作為另一個例子，考慮其中部分背景看起來(i)在場景中的暗照明中很黑，和(ii)當場景正確照明時為暗綠的情況。本發(fā)明的模型利用像素之間的整體相關性，可以在場景被照明時檢測背景中的黑色目標，并在場景黑暗時檢測綠色前景目標。在傳統(tǒng)模型中，黑色和綠色都被認為是背景顏色，以致這些目標將被完全忽略。
訓練過程利用預期-最大化(EM)算法可以進行具有給定圖像采樣集合(例如視頻片斷)的所提出的模型的離線訓練。例如，可以將各個像素模型P(Itx，y|ξx，Ω)的參數(shù)隨機初始化約等于所觀察到的訓練數(shù)據(jù)的平均值，同時可以將各狀態(tài)的概率均勻初始化。然后，利用EM循環(huán)，可以將該模型的所有參數(shù)更新為局部最大方法，該方法通常為很好的方法。該EM算法是公知算法，例如在J.Roy.Statist.Soc.B 391-38(1977)的A.Dempster，N.Laird和D.Rubin所著的“Maximum Likelihood FromIncomplete Data via the EM Algorithm(通過EM算法根據(jù)不完整的數(shù)據(jù)得到最大似然)”中有所描述，該文獻公開的內(nèi)容在此引作參考。
圖3中描述的示例的訓練過程逐步增加地訓練這些模式，并自動確定全局狀態(tài)的適當數(shù)目。對這些模式的逐步增加的訓練可以使處理在很長的時間段內(nèi)連續(xù)地運行，以便捕捉一個完整的訓練樣本集合，該訓練樣本包含模型化場景的各種圖像變化。對全局狀態(tài)的數(shù)目的自動確定可以使模型尺寸最小化，這依次減少處理對存儲器的要求，并加速背景-前景的分割過程。
圖3示出了一個示例性的訓練處理。該示例性訓練處理包括一個漸增的程序，該程序中可以將數(shù)目不限的訓練樣本傳送到該模型。每次向模型傳送一個新的樣本圖像(即，將新圖像It傳送到步驟305中的模型)，則處理300首先執(zhí)行一個預期步驟(EM算法中的E-步驟)用于確定最可能的全局狀態(tài)ξ*(步驟310)和對圖像的每個像素最可能的高斯混合模式，αx，y(步驟315)。應注意這些步驟類似于分割過程處理200中的步驟。
在步驟320中，確定所選擇的狀態(tài)的相同圖像的似然概率。然后，根據(jù)所選擇的全局狀態(tài)的樣本圖像的似然概率值(步驟325)，處理300在調(diào)整所選擇狀態(tài)的參數(shù)(步驟335)或增加一個新的狀態(tài)(步驟330)之間進行選擇。若所選擇狀態(tài)的樣本圖像的似然概率大于一個全局閾值(步驟325＝是)，則調(diào)整所選擇狀態(tài)的參數(shù)(步驟335)。若所選擇狀態(tài)的樣本圖像的似然概率小于或等于全局閾值(步驟325＝否)，則增加一個新的狀態(tài)(步驟330)在步驟340，確定每個像素位置的所選擇高斯混合模式的各個似然概率。然后，根據(jù)每個像素位置的所選擇的高斯混合模式的各個似然概率，該算法在調(diào)整所選模式或增加新模式之間進行選擇。為此，在步驟345，選擇一個像素。若該像素位置的所選高斯混合模式的各個似然概率大于像素閾值(步驟350＝是)，則調(diào)整所選擇的模式(步驟360)，否則(步驟350＝否)增加一個新的模式(步驟355)。若還有更多像素(步驟365＝是)，則方法300繼續(xù)到步驟345，否則(步驟365＝否)，該方法繼續(xù)到步驟370。若還有更多的樣本圖像需要處理(步驟370＝是)，則方法300繼續(xù)到步驟305，否則(步驟370＝否)方法結(jié)束。
應注意在示例性訓練方法300中使用兩個閾值一個用于確定每個像素位置，另一個用于確定圖像的全局狀態(tài)。
每個像素位置的每個高斯混合模式優(yōu)選地保持跟蹤計算其參數(shù)所用的樣本總數(shù)，以致當增加一個新的樣本時，可以漸增地進行該參數(shù)的再次估計。例如，可以利用下述公式簡單地更新高斯混合模式的平均值和協(xié)方差I‾α,x,y=(11+Kα,x,y){Ix,yt+Kα,x,yI‾α,x,y},]]>Σα,x,y=1Kα,x,y[(Ix,yt-I‾α,x,y)′(Ix,yt-I‾α,x,y)+(1-Kα,x,y)Σα,x,y]]]>其中Ka，x，y是用于訓練該高斯混合模式已經(jīng)使用的樣本數(shù)目。
類似地，每個全局狀態(tài)都保持跟蹤用于訓練的樣本總數(shù)，從而當增加一個樣本時，考慮到新樣本的增加，可以利用各個狀態(tài)和高斯混合模式的使用率統(tǒng)計來更新概率表G(ξ，αx，y)。
有利地，總體模型只通過每個像素位置的一個狀態(tài)和一個高斯混合模式被初始化。同樣，在預期步驟(步驟315和步驟320)中使用全局狀態(tài)和/或高斯混合模式之前應當需要最少10個樣本。
背景模型的增強如前所述，背景-前景分割處理300定義和改進了訓練階段中的概率表170-11到170HW(這里總稱為“概率表170”)。初始時，概率表170包括一個用于輸入圖像155的每個像素的概率表。以下將結(jié)合圖4說明，背景模型目標分類處理400改變了背景模型的概率表170，以容納通常為靜止的目標的指示。通過這種方式，若一個目標運動了，且該目標預先被識別為通常靜止的目標，則該目標在背景-前景分割期間將不會不必要地成為前景部分。
在背景模型目標分類處理400的示例性實施中，移動目標被歸類為兩種集合之一。第一集合包括通常獨立運動的目標，例如人和動物，第二集合包括通常靜止的目標，例如家具。通常，一旦一個目標被分配到第二集合，則即使該目標運動了，該目標也將保留在背景中(通常，該目標的移動會使該目標成為前景部分)。通過這種方式，當背景目標移動時，背景目標不會不必要地成為前景部分。
圖4是表示結(jié)合本發(fā)明特征的示例性背景模型目標分類處理400的流程圖。如圖4所示，一開始背景模型目標分類處理400在步驟405期間，利用已知的連接成份分析技術將每個圖像的前景中的像素進行分組，從而形成嚴格目標，稱為團點(blob)。
然后在步驟410中執(zhí)行測試，直到確定背景目標已被移動了超過一特定閾值T?？梢詸z測背景目標的移動，例如，利用公知的光流方法。通常，背景被抑制為兩個連續(xù)的圖像，前景被減去，從而檢測運動，給定目標運動了多遠，和運動速度。這里可以使用寬高比信息和多幀處理技術，例如2001年2月27日提交的序列號為09/794443，標題為“Classification of Objects Through Model Ensembles”的美國專利申請，該專利申請在這里引作參考。
一旦在步驟410中檢測到背景目標的運動，則在步驟420中執(zhí)行進一步測試，以確定該運動的背景目標是否通常為靜止的。例如，上述2001年2月27日提交的序列號為09/794443，標題為“Classification ofObjects Through Model Ensembles”的美國專利申請中所述的技術就可以用來將目標分類為無生命目標，例如一件家具，并可以建立一套規(guī)則來指示某些所分類的目標是否通常為靜止。
若在步驟420中確定，運動的背景目標通常為靜止，則在步驟430對與該目標相關的像素設置一個標識，指示該運動目標通常為靜止。
然而，若在步驟420中確定，運動的背景目標通常不是靜態(tài)的，則在步驟440對與該目標相關的像素設置一個標識，指示該運動目標通常獨立運動。然后在步驟460程序控制終止，直到在步驟410中再次檢測到背景目標的運動。
附加實施例一般慣例是，利用消除總和需要的最高概率來近似高斯模式的高斯混合概率，這樣可避免方程的進一步簡化。
利用兩個級別的近似，(a)每個像素的混合之和變成下式Σ∀αG(ξ,αx,y)N(I;I‾α,x,y,Σα,x,y)∞maxx,yG(ξ,αx,y)N(I;I‾α,x,y,Σα,x,y)]]>和(b)各種全局狀態(tài)之和變成下式Σ∀αP(I|ξ,Ω)P(ξ|Ω)≈maxξP(I|ξ,Ω)P(ξ,Ω).]]>公式{4}可以簡化為下式P(I|Ω)≈maxξΠ∀(x,y)maxαx,yG(ξ,αx,y)N(I;I‾α,x,y,Σα,x,y).---{7}]]>應注意雙重最大化。第一個最大化在像素級別，被用來考慮現(xiàn)有的每個全局狀態(tài)來確定優(yōu)選匹配高斯模式。第二個最大化在圖像級別被用來確定具有觀察的最大似然概率的狀態(tài)。
另一個加速該系列算法的實施的慣例是，計算概率的對數(shù)，而不是實際的概率。該情況下，不需要評價高斯分布的指數(shù)函數(shù)，由于對數(shù)的減小范圍，公式{7}的乘積變成為利用定點運算可以實現(xiàn)的總和。
應當注意這里描述的模型可以被修改，以致當前寫入的若概率大于閾值時執(zhí)行一個功能的測試步驟，可以按照修改后的規(guī)則被重寫，從而若概率低于閾值或在該值的一定范圍內(nèi)，則相同的測試步驟將執(zhí)行相同的功能。測試步驟僅僅是對正在討論的特定模型例子的舉例說明。不同的模型可能需要不同的測試步驟。
應當理解，這里所描述的實施例和變化都僅僅是對本發(fā)明原理的舉例說明，在不脫離本發(fā)明范圍和精神的前提下，本領的技術人員可以進行各種修改。
權利要求
1.一種方法，包括檢索場景的一個圖像，該圖像包括多個像素；得到所述場景的背景模型；和在所述背景模型中提供一個指示，指示所述背景模型中的目標通常都是靜止的。
2.如權利要求1所述的方法，還包括將與運動目標相關的像素信息轉(zhuǎn)移到所述目標的新位置的步驟。
3.如權利要求1所述的方法，還包括將所述目標保持在所述背景中的步驟。
4.如權利要求1所述的方法，還包括即使所述目標運動時，也將所述目標保持在所述背景中的步驟。
5.如權利要求4所述的方法，其中利用光流方法來檢測所述背景模型中的目標的所述運動。
6.如權利要求5所述的方法，其中所述光流方法指示所述運動的目標在所述圖像中的新位置。
7.如權利要求1所述的方法，其中當所述目標運動超過了特定閾值時，提供所述背景模型中的目標通常靜止的所述指示。
8.如權利要求1所述的方法，其中所述獲取所述場景的背景模型的步驟還包括確定對應圖像中像素的至少一個概率分布的步驟，利用模型執(zhí)行的確定步驟，其中將圖像中的至少一些像素模擬為與其它像素相關。
9.如權利要求1所述的方法，其中所述背景模型包括表示表示場景的全局狀態(tài)的概率的項目和表示在該場景全局狀態(tài)條件下的像素外觀概率的項目。
10.如權利要求1所述的方法，其中該方法還包括以下步驟為模型提供訓練圖像；確定模型參數(shù)；和執(zhí)行提供訓練圖像和對預定數(shù)目的訓練圖像確定參數(shù)的步驟。
11.一種系統(tǒng)，包括存儲計算機可讀代碼的存儲器；和與所述存儲器操作耦合的處理器，所述處理器被配置來執(zhí)行所述計算機可讀代碼，所述計算機可讀代碼被配置來檢索場景的一個圖像，該圖像包括多個像素；得到所述場景的背景模型；和在所述背景模型中提供一個指示，指示所述背景模型中的目標通常都是靜止的。
12.如權利要求11所述的系統(tǒng)，其中所述處理器還被配置來將與運動目標相關的像素信息轉(zhuǎn)移到所述目標的新位置。
13.如權利要求11所述的系統(tǒng)，其中所述處理器還被配置來將所述目標保持在所述背景中。
14.如權利要求11所述的系統(tǒng)，其中所述處理器還被配置來，即使所述目標運動，仍將所述目標保持在所述背景中。
15.如權利要求14所述的系統(tǒng)，其中利用光流系統(tǒng)來檢測所述背景模型中的目標的所述運動。
16.如權利要求15所述的系統(tǒng)，其中所述光流系統(tǒng)指示在所述運動的目標的所述圖像中的新位置。
17.如權利要求11所述的系統(tǒng)，其中當所述目標運動超過了特定閾值時，提供所述背景模型中的目標通常是靜止的所述指示。
18.一種制造商品，包括其上配備有計算機可讀代碼裝置的計算機可讀介質(zhì)，所述計算機可讀程序代碼裝置包括檢索場景的一個圖像的步驟，該圖像包括多個像素；得到所述場景的背景模型的步驟；和在所述背景模型中提供一個指示的步驟，指示所述背景模型中的目標通常都是靜止的。
19.一種方法，包括檢索場景的一個圖像，該圖像包括多個像素；得到所述場景的背景模型；和在所述背景模型中提供一個指示，指示所述背景模型中的目標是無生命的目標。
20.如權利要求19所述的方法，還包括將所述無生命目標保持在所述背景中的步驟。如權利要求19所述的方法，還包括即使所述無生命目標運動，也將所述無生命目標保持在所述背景中的步驟。
全文摘要
本發(fā)明公開一種用于產(chǎn)生和保持在背景－前景分割中所使用的增強背景模型的方法和裝置。將背景模型修改以包含一個用于指示目標通常為靜止的指示。此后，如果目標運動且已經(jīng)被預先標識為通常為靜止的目標，則在背景－前景分割期間，不再不必要地將該目標識別為前景的一部分。在示例性實施例中，將運動目標分為兩個集合。第一集合包括通常獨立運動的目標，第二集合包括通常靜止的目標。通常，一旦將目標分配到第二(靜止目標)集合中，則即使該目標運動(正常情況下，該目標運動會使目標變?yōu)榍熬暗囊徊糠?，該目標也仍然被保留在背景中。
文檔編號G06K9/38GK1777912SQ03815130
公開日2006年5月24日 申請日期2003年6月18日 優(yōu)先權日2002年6月28日
發(fā)明者S·古特塔, A·J·科梅納雷滋, M·特拉科維 申請人:皇家飛利浦電子股份有限公司