專利名稱：視頻監控中遺留物品檢測的方法和系統的制作方法
技術領域：
本發明涉及視頻圖像處理領域，特別涉及應用于視頻監控系統的遺留物品檢測方法和系統。
背景技術：
遺留物品是運行于火車、地鐵、機場等公共場合的視頻監控系統所重點關注的一類非正常事件，對于這些場合的監控系統，自動地檢測遺留物品(如背包、手提箱、行李箱等)是一個有關公共安全的非常重要而且迫切需要的功能。PETS 2006從三個方面給出了判定遺留物品的規則，(I)語境規則一件行李由行人攜帶進入場景，到某個時間點，該行李不再與其所有者物理接觸；(2)空間規則行李與其所有者之間的距離超過3米，處于無人照看的狀態；(3)時間規則行李連續處于無人照看的狀態超過30秒。 遺留物體在視頻序列中的表現有其特殊性，進入場景的時候，它表現為運動目標；被遺留之后，它將融合在背景圖像中，成為背景的一部分。文獻“AbandonedObject Detection in Crowded Places，，(Guler S.等，Proc.9thIEEE International Workshop on PETS, 2006)提出一種基于運動目標跟蹤的遺留物品檢測方法，認為遺留物品的過程是行人將物品放置在地面的過程。所以，跟蹤模塊重點關注被跟蹤對象的分裂事件，當觀察到潛在的放置動作，一個基于計數的靜止物體檢測模塊隨之啟動。若目標跟蹤、對象分裂和放置、及靜止物體檢測這三個模塊輸出的結果一致，則判定發生遺留事件。需要指出的是，當場景中存在較多的運動對象，遮擋、運動不連續等情況時有發生。更有甚者，行人將物品遺留在場景中的過程往往是不連貫的，如將物品放置在地面后，可能會在其周圍來回地運動較長的時間，然后離開。在此過程中，遺留的物品可能被遮擋。這一切，對目標跟蹤，以及檢測對象分裂是非常嚴峻的挑戰。文獻“RobustAbandoned Object Detection Using Dual Foregrounds”(PorikliF.等，EURASIP Journal on Advances in Signal Processing, 2008 (I) :1_11)提出使用兩個背景圖像短時背景和長時背景。在每一幀估計與上述兩個背景圖像對應的前景區域，其結果是對應時間域變化部分的二值化掩模。對每一個像素，分析其在長時前景和短時前景中的表現，將其歸類為以下四種中的一種運動像素、由運動轉為靜止的像素、由被遮擋轉為可見的背景像素、背景像素。以上述判定結果更新一個被稱作為“證據”的圖像，若證據值大于一個預先設定的閾值，則該像素被判定為屬于遺留物品。基于多個背景的方法，很大程度上依賴于背景模型的可靠性。在視頻監控系統中，行人等運動目標可能會短時間地由運動轉為靜止狀態，背景更新模塊難于避免將這種短時靜止像素作為背景來對待。而不可靠的背景信息，不僅無助于遺留物品檢測，而且會引入誤判別。
發明內容
本發明所要解決的技術問題是提供一種應用于視頻監控系統，檢測是否出現無人照看的遺留物品的方法和系統，具體地說，在基于本發明的一個實施例中，使用固定安裝的攝像機觀察場景，以采集所得的彩色圖像序列作為輸入，若系統檢測到發生遺留事件，則向監控中心給出告警信息。在視頻監控應用中，通常攝像機和場景之間沒有相對運動。在一個時間段內，視頻圖像中的像素可歸類為以下四類(1)屬于背景區域，在該段時間內，不被前景對象遮擋，但存在由于緩慢的光照變化和噪聲而產生的像素值變化；(2)屬于運動目標，在該段時間內始終表現為具有較明顯的時間域變化；(3)由運動轉為靜止，即前面的若干幀表現為運動像素，由于運動目標離開該區域等原因轉為靜止狀態；(4)由靜止轉為運動，如背景像素被新近進入該區域的運動目標遮擋，或原先靜止對象重新進入運動狀態。在一個相對較長的時間范圍內，發生遺留物品事件的圖像區域，較多的像素將表現為由狀態(4)向(3)轉化的過程，即靜止一運動一靜止。在視頻監控系統中，行人等運動目標可能會短時間地由運動轉為靜止狀態，背景更新模塊難于避免將這種短時靜止像素作為背景來對待，而且不可靠的靜止像素信息不僅 無助于遺留物品檢測，而且可能會引入誤判別。本發明尋求獲取可靠的靜止像素信息，在以卡爾曼濾波方法更新背景圖像的同時，使用一個計時器Cs記錄像素由活動轉為靜止后，保持靜止狀態的幀數。具體地，當像素(X，y)被標記為運動目標，則置Cs(x，y) = 0 ;否則
Cs (X, y) — Cs (X, y)+l。圖像序列中，如果某個像素在時間方向表現為靜止一運動一靜止，并且，前后兩次處于靜止狀態時，像素值發生了明顯的變化，則可將它歸類為對應遺留物品的候選像素。本發明以隊列形式的數據結構記錄像素處于靜止狀態時的像素值，通過檢測隊列中的數據是否表現為從大到小或從小到大的跳變，能判定對應的像素是否為候選像素。考慮到遺留物品在圖像中表現為一定尺寸的區域，本發明以鄰接點標記算法將那些相互鄰接的候選像素標記為連通區域，濾除太小和不規則的區域，從而在區域的層面提高檢測的可靠性。本發明的有益技術效果在于所公開的以計時器計數像素保持靜止狀態的幀數，使得進入和保存在隊列的背景信息更為可靠；由隊列中保存的灰度值能很好地檢測運動目標進入之前和離開之后，像素值是否發生了明顯變化；最后，將發生明顯變化的像素標記成區域，在區域的層面上作進一步的過濾，從而有效且可靠地實現遺留物檢測。
具體實施例方式在發生遺留物品事件的圖像區域，將伴隨像素由靜止狀態轉為運動狀態，在保持一段時間的運動狀態后，由運動狀態轉變為靜止狀態。而且前后兩次處于靜止狀態時，其像素值發生明顯變化。為了捕捉這種動態變化的過程，本發明的一個實施例采用隊列記錄像素處于靜止狀態時的灰度值。當像素由運動狀態轉為靜止狀態，則當前背景灰度值作為新的元素進入隊列；若像素保持靜止狀態，則以背景值更新隊尾元素。在單個像素的層面上，若對應隊列中的數據存在明顯從小到大或從大到小的跳變，則判定該像素為一個候選像素。考慮到遺留物品在圖像中表現為一個區域，而不會是單個或很少的幾個像素，本發明標記那些連通的候選像素，在區域的層面上作進一步的檢測。圖I示出了本發明具體實施方式
的框圖，包括以下幾個步驟。(I)步驟101運動目標檢測，以規范化幀差之和作為依據，將像素歸為背景或運動，且將那些連通的運動像素標記為對象。(2)步驟102根據運動目標檢測的結果更新靜止狀態計數器，根據計數器值更新背景隊列，更新背景圖像。(3)步驟103，以背景隊列為依據，在場景中檢測遺留物品。圖2示出了依照本發明的一個較佳實施例的運動檢測實施流程，具體技術方案如下。(I)步驟202由輸入當前幀It (200)和前一幀It^1 (201)計算幀差圖像d(x，y)=It (x, y)-It_! (x, y)。 (2)由攝像機等成像設備所獲取的視頻信號可以建模成理想信號疊加了噪聲信號，噪聲項通常可假設為獨立于信號、均值為零、方差為<的高斯白噪聲。由于存在噪聲，簡單地以|d(x，y) I是否大于某個閾值來判定該像素是運動像素還是背景像素往往是不可靠的。在假設像素屬于背景區域，即零假設的前提下，幀差d(x，y)服從均值為零，方差為2<7 2的高斯分布。為了使檢測更為可靠，步驟203計算如下的規范化幀差之和作為判斷的依據
A = y (P)
ax,y2^1 _2
pGW(x,y) ^
其中W(x，y)是以(x，y)為中心的一個觀察窗口，《72=2a_ 2。零假設使得d(*)/o服從標準正態分布N(0，I)，作為這些隨機變量的平方之和，Ax,y服從度為!^的X 2分布，其中nw等于W(x，y)內的像素數目。檢測過程中，將所有A的可能值區分成兩個部分可接受零假設的部分和拒絕零假設的部分。由于X2分布的分布密度(即p(A |H0))已知，所以可以在以下顯著性測試的框架下得到用于判定某個像素是否是運動像素的閾值a =Pr(Ax,y>ts|H0)
其中a是一個預先設定的顯著性等級。(3)在上述檢測步驟中，噪聲方差W、顯著性等級a、窗口 W(x，y)的大小等都將影響檢測的結果。視頻圖像的噪聲強度很難被準確地估計，非此即彼的運動像素判定往往存在一些誤差。所以，步驟204按下式計算與運動有關的強度等級圖
' 0
如)=[(H)/] A >t /s >r-
其中「《"]代表不小于a的整數，S為一個預先設定的步長，將決定等級數。(4)步驟205對圖像L作灰階數學形態學處理，先作膨脹，后作腐蝕，即閉運算。膨脹和腐蝕運算分別采用行列分離的I-D最大值和最小值濾波。(5)步驟205的結果可看作一個灰階圖像，某個像素，其L值越大，則該像素屬于運動目標的可能性越大；反之，越小則屬于運動目標的可能性越小。步驟206作對應目標的區域生長。根據用戶設定的靈敏度參數確定兩個閾值,L1和L2，且L1 <L2。若L(x，y) > =L2，則將(x,y)作為種子像素。以種子像素為起點，將種子像素鄰域內，滿足L(x,y) >= L1的像素合并到種子像素所在的區域中。新近合并的像素作為新的種子像素，重復上述合并過程，直到所有滿足L(x，y) >= L1的像素被合并進該區域。前述步驟205的膨脹和腐蝕運算分別采用行列分離的I-D最大值和最小值濾波。為了便于對本發明實施例的理解，圖3以算法流程的形式對行方向I-D最小值濾波作詳細的描述(1-D最大值濾波與此類似)。(1)設輸入數據為{f(i) Ii = 1，2，…，N}，輸出為濾波結果{g(i) |i = 1，2，…，N}，濾波核的長度為k，是個奇數。(2)步驟301對行形式的輸入數據(300)分段，每段的長度為k。(3)步驟 302,對每一段的邊界點,即 i = I, k+1, ，置 tji) = tr(i) = f ⑴,其中h和k是兩個用來緩存數據的行緩沖。(4)步驟303，對每一段中除了邊界點之外的位置，即下標為i = 2，-,k；k+2,…，2k;…的點，從左到右計算h (i) = IninIt1Q-I), f(i)}。
(5)步驟304，對每一段中除了邊界點之外的位置，即下標為i = N-I,…，N_k+1 ；N-k-1, N-2k+l ；…的點，從右到左計算 tr(i) = min{tr(i+l), f(i)}。(6)步驟305，在行的范圍內，置濾波結果為gO) = m _ + gK-^1)1。通過運動目標檢測，將輸入圖像分割為運動對象和背景區域。對于位于背景區域的像素，本發明的一個實施例采用卡爾曼濾波的方法更新其背景圖像Ib。用一個有限維的動態系統表示像素隨時間變化的特性，估計的背景像素值對應系統狀態，輸入灰度圖像I對應觀察值，以如下的系統方程建模背景像素的動態變化
Ib (k+1，x) = Ib (k, x) +V1 (k, x)
I(k, x) = Ib (k, x) +v2 (k, x)
其中V1 (k，x)是對應模型誤差的噪聲項，V2 (k, x)是對應測量誤差的噪聲項，它們分別服從正態分布N (0，Qk)和N(0，Rk)，Qk和Rk為噪聲方差。設/6 0-1,X)是k_l時刻系統狀態的估計值，k時刻的系統預測值按下式計算 Ib-(k,x) = Ib(k-\,x)
代表預測誤差的噪聲項，其方差的預測值為=pk-'+Qk濾波器增益按下式計算-.K =設k時刻的觀察值為I (k，X)，按下式計算k時刻的最優濾波結果，且以此值作為背景圖像Ib的估計值
K (k,x) = I； (k,x) +K(J(k,x)-1； (k, x))
修正方差Pi-為-.Pk=(I-K)Pi;用一個字節的無符號數計數像素保持靜止狀態的幀數，按下式逐幀更新其值
, . jmin^ (x,j) + l, 255] if (x, j) is backgroundCs \X, = -j
(I)置與靜止幀數有關的閾值T。，本發明的一個較佳實施例取T。= 50 ;(2)若Cs (x，y)彡Tc，轉(3)，否則作下一像素的判斷；(3)設像素(X, y)對應的背景隊列為qx,y(head. . tail),若Cs (x, y) > T。,則按下式更新隊尾元素。
qx,y(tail) = nqx,y(tail) + (l- n) Ib(x, y)
其中n G (0,1) 是一個控制更新速度的權值。(4) iCs(x,y) = Tc,且隊列未滿,則執行入隊操作。具體地,tail — tail+1, Ib(x,y)送tail所指的數組元素；當Cs (x，y) = T。，且隊列滿，則head所指的隊首元素出隊，以環形隊列的形式執行進隊操作。在出現遺留物品的區域，單個像素對應的背景隊列中的數據，將表現出明顯的從小到大或從大到小的突變。圖4示出了依據本發明的一個較佳實施例的候選像素檢測實施流程，具體實施步驟如下輸入背景隊列qx,y(400)，輸出標記圖像A(405)，候選像素A(x，y) = 1，其余A(x, y) = O。(I)步驟401判斷隊列長度是否小于2，是則A(x，y) = 0，輸出；否則，轉(2)。(2)步驟402, i = head. . . tail_l迭代，以i為分界點，將隊列分成前后兩部分，分別計算隊列元素qx,y(head. . . i)和qx,y(i+l. . . tail)的均值，記作U1IP U1+,且取/'* = arg max ^ ul~ - u,+ )。(3)步驟403計算均值差的絕對值的最大值，即\ =I^*- -Z+I。(4)步驟404,若Au大于一個預先設定的閾值，貝Ij置A(X, y) = I,否則A(x,y)=O0在二值圖像A中，候選像素被標記為1，其余像素被標記為O。本發明的一個實施例以A為輸入圖像，采用區域生長算法將連通的候選像素分別合并成區域，在區域的層面作進一步的過濾。具體地，若某個區域滿足以下條件之一，則忽略該區域。(I)區域在水平或垂直方向的尺寸過小；(2)設a。為以像素數目計的區域面積，ar為區域最小外接矩形的面積，比值，小
Ur
于某個閾值。以上所述僅為本發明的較佳實施例，但本發明的保護范圍并不局限于此，凡在本發明的精神和原則之內，所做的任何修改或替換等，都應涵蓋在本發明的保護范圍內。
權利要求
1.一種應用于視頻監控的遺留物品檢測方法和系統，其特征在于對每個像素，以隊列數據結構記錄其處于靜止狀態時的像素值，若像素表現為靜止一運動一靜止，且隊列中的灰度值在像素處于運動狀態之前和之后表現出明顯的變化，則判定該像素為候選像素；以鄰接元素標記的方式將候選像素合并成區域，在區域的層面按一定的準則作進一步的判定，以濾除那些由誤判像素組成的區域。
2.如權利要求I所述的以隊列記錄像素處于靜止狀態時的圖像灰度，其特征在于計數像素由運動轉為靜止后，保持靜止狀態的幀數，當計數值達到某個預設值，則背景圖像值作為新的元素進入背景隊列；計數值大于該預設值，則以隊尾元素和背景值的加權平均的形式更新隊尾元素。
3.如權利要求I所述的遺留物品檢測方法，其特征在于，單個像素的層面上，若對應的背景隊列中的數據存在明顯從小到大或從大到小的跳變，則判定該元素為一個候選像素， 處理步驟包括 (1)將輸入的背景隊列劃分成前后兩部分，分別計算它們的均值，以最大化兩部分的均值之差為目標，尋求一個最佳的劃分； (2)若上述最佳劃分所產生的均值差超過閾值，則判定該像素為候選像素。
4.如權利要求I所述的遺留物品檢測方法，其特征在于，將連通的候選像素合并成區域，在區域的層面上按以下準則作進一步過濾 (1)遺留物品對應的區域在水平和垂直方向應該占有一定大小的范圍，若以像素計的尺寸太小，則忽略該區域； (2)遺留物品應該具有較為規則的形狀，設a。為以像素數目計的區域面積，\為區域最小外接矩形的面積，若比值+小于某個閾值，則忽略該區域。
Ur
全文摘要
本發明公開了一種應用于視頻監控的遺留物品檢測方法和系統，包括(1)對每個像素，以隊列數據結構記錄其處于靜止狀態時的像素值，若像素表現為靜止→運動→靜止，且隊列中的灰度值在像素處于運動狀態之前和之后表現出明顯的變化，則判定該像素為候選像素；(2)以鄰接元素標記的方式將候選像素合并成連通區域，根據遺留物品應該在圖像中占據一定的長度和寬度，以及區域的形狀應該比較規則這兩條準則，在區域的層面上作進一步的過濾處理；(3)為每個像素設置一個計數器，若像素屬于運動目標，則重置對應的計數器，否則逐幀作累加，由該計數器觸發背景隊列的進隊操作和候選像素檢測模塊，以及對隊尾元素的更新操作。本發明所公開的通過分析隊列數據檢測候選像素的方法，能很好地捕捉像素由靜止轉為運動，再由運動轉為靜止的過程中，由于遺留物品融入到背景圖像所產生的像素灰度值變化；另外，引入計數器計數像素處于靜止狀態的幀數，不僅能有效地避免由于不可靠的背景信息而產生的誤判別，而且為候選像素判別模塊提供了觸發器。
文檔編號H04N7/18GK102722700SQ20121016247
公開日2012年10月10日 申請日期2012年5月17日 優先權日2012年5月17日
發明者陳衛剛 申請人:浙江工商大學