背景模型更新方法和設備的制造方法
【技術領域】
[0001]本發明總體涉及圖像處理，具體涉及目標檢測領域的背景模型更新方法和設備。
【背景技術】
[0002]前景檢測是機器視覺及圖像處理的基礎預處理。在基于圖像的目標檢測領域，通過將待檢測的圖像與背景模型進行比較來檢測前景是一種普遍使用并且有效的方法。在這一檢測方法中，背景模型的準確程度將會直接影響到前景的檢測結果。對于絕大多數基于圖像的目標檢測和跟蹤技術，能長時間工作(甚至全天工作)是一個基本的要求。然而檢測場景內緩慢的環境干擾，特別是光照變化，會導致圖像信息(灰度或者深度)的變化，進而影響背景模型的準確性。如果不及時對背景模型進行更新，這種緩慢的環境干擾將最終導致嚴重的誤檢。圖1(a)-圖1(e)中示出了一種示例性的情形。
[0003]圖1(a)和圖1(b)顯示了同一檢測場景下不同時間獲取到的深度圖像。其中圖1(a)是08:55拍攝的，圖1(b)是09:45拍攝的。這2張深度圖像清楚的展示了由于光照的變化帶來的圖像的變化(參見例如圖1(b)中用橢圓形標出的部分)。圖1(c)和圖1(d)分別顯示了對于圖1(a)和圖1(b)應用同一背景模型而獲得的前景掩膜。可以看到，隨著光照的變化，沒有更新的背景模型將會產生誤檢，例如將如圖1(d)中用橢圓形標出的背景對象誤檢為前景。圖1(e)是與圖1(b)對應的灰度圖像，圖1(e)中用矩形標出了圖1(d)中所標記的被誤檢對象對應的具體背景。
[0004]由此可見，為了保證檢測的準確性，需要更新背景模型來應對環境干擾在圖像中隨著時間而產生和累積的擾動。針對這一問題，本領域研究人員已經提出了采用動態背景模型。動態背景模型是一種隨著時間(圖像序列)不斷更新的背景模型，其典型的更新機制包括:一直更新，間隔更新和隨機更新。然而，現有的動態背景模型在應對環境干擾在圖像中隨著時間而產生和累積的擾動時需要耗費大量的時間。例如，美國專利US8208733B2提出了一種用來估計背景的變化的方法。該方法的基本思想是利用預先得到的背景圖像產生邊緣圖像，通過計算邊緣圖像和前景圖像的相似性來檢測背景變化，進而控制整幅背景圖像的更新速率。由于該方法在檢測到背景變化時對背景圖像的全幅進行更新率，因而其需要耗費大量的處理時間和內存。另一方面，現有的動態背景模型的絕大多數典型更新機制都會帶來“鬼影”問題。所謂“鬼影”是指當暫時靜止的物體(在背景模型更新過程中，該物體已被更新為背景)開始移動時，會在背景圖像上留下一個“孔”，從而導致在利用背景模型進行前景檢測時將該“孔”誤檢為前景。
【發明內容】
[0005]根據本發明的一個實施例，提供了一種背景模型更新方法，包括:利用所述背景模型獲取當前幀灰度圖像的前景圖像；在所述前景圖像中檢測擾動像素；基于所述擾動像素對所述背景模型進行更新。
[0006]根據本發明的另一實施例，提供了一種背景模型更新設備，包括:前景圖像生成單元，配置為利用所述背景模型獲取當前幀灰度圖像的前景圖像；擾動檢測單元，配置為在所述前景圖像中檢測擾動像素；更新單元，配置為基于所述擾動像素對所述背景模型進行更新。
[0007]根據本發明實施例的背景模型更新技術基于擾動像素對背景模型進行像素級別的更新，從而大大減少了處理時間和內存。另外，該技術不針對暫時靜止的目標對象對背景模型進行更新，從而避免了 “鬼影”問題。
【附圖說明】
[0008]圖1(a)和圖1(b)例示了同一檢測場景下不同時間獲取到的深度圖像的示意圖；圖1 (C)和圖1 (d)分別例示了對于圖1 (a)和圖1 (b)應用同一背景模型而獲得的前景掩膜；圖1(e)示出了與圖1(b)中例示的深度圖像對應的灰度圖像。
[0009]圖2示出了根據本發明實施例的背景模型更新方法的流程圖。
[0010]圖3例示了一個前景掩膜的示意圖。
[0011]圖4示出了根據本發明實施例的背景模型更新方法中根據擾動像素的擾動程度自適應地對背景模型進行更新處理的流程圖。
[0012]圖5示意性地示出了根據本發明實施例的計算擾動增長率的示例情形。
[0013]圖6示出了根據本發明實施例的背景模型更新設備的功能配置框圖。
[0014]圖7示出了根據本發明實施例的背景模型更新系統的總體硬件框圖。
【具體實施方式】
[0015]為了使本領域技術人員更好地理解本發明，下面結合附圖和【具體實施方式】對本發明作進一步詳細說明。
[0016]如前所述，緩慢的環境干擾會隨著時間而在圖像中產生和累積擾動。光照變化是最主要、最具代表性的環境干擾，下文中將以由于光照變化導致的擾動為例，對根據本發明實施例的背景模型更新技術進行描述。
[0017]首先對本發明的基本思想進行簡要的介紹。本領域中公知，擾動像素是指圖像(或者拍攝場景)中容易受到諸如光照、氣流等環境變化引發像素值(灰度、顏色或者深度信息等)發生改變后，對圖像處理過程帶來負面影響的像素。比如，在以目標檢測和跟蹤為目的的圖像處理中，圖像(場景)中作為背景的物體在光照變化的影響下灰度值發生變化，變成前景，最終導致虛警的產生。更具體的，在環境干擾為光照變化的情況下，擾動像素為光照變化引發的圖像像素值改變后由背景變為前景的圖像像素。通過實驗和分析可知，圖像中諸如墻或者玻璃窗等具有低紋理的區域容易受到光照影響而成為擾動(即，該區域出現在前景圖像中，但卻不是感興趣的目標)。另一方面，在考慮由于光照變化導致擾動的情況下，圖像中的擾動像素通常是靜止的，即不具有運動信息。因此，根據本發明的一個方面，利用圖像中的運動矢量和/或紋理信息來檢測圖像中的擾動像素，進而對現有背景模型中與所述擾動像素對應的像素進行更新。
[0018]圖2示出了根據本發明實施例的背景模型更新方法的流程圖。
[0019]如圖2所示，在步驟S201，利用背景模型獲取當前幀灰度圖像的前景圖像。
[0020]在該步驟中，通過將當前幀灰度圖像與所述背景模型相減得到前景掩膜，隨后通過將該前景掩膜與當前幀灰度圖像進行與操作獲得當前幀灰度圖像的前景圖像。圖3例示了前景掩膜的示意圖，其中，黑色部分代表前景像素。該獲取前景圖像的處理過程是本領域中公知的，此處省略其詳細描述。所述背景模型是采用例如高斯建模等任何現有的背景建模方法基于連續多幀灰度圖像或連續多幀深度圖像預先建立的。
[0021]可選的，在該步驟中，可以對于獲取的前景圖像進行例如形態學操作等預處理。
[0022]在步驟S202中，在所述前景圖像中檢測擾動像素。
[0023]在該步驟中，可以對于前景圖像中的每個像素計算擾動置信度，并根據擾動置信度的高低來確定該像素是否是擾動像素。
[0024]擾動置信度Pd(X)是用來衡量像素X成為擾動的可能性的參數。如前所述，圖像中低紋理區域容易受到光照影響而成為擾動，另外，圖像中的擾動像素通常是靜止的，即不具有運動信息。在本實施例中，利用運動矢量和紋理信息來檢測擾動像素。具體的，擾動置信度Pd(X)反比于像素的運動矢量V和紋理豐富度g，即Pd(X) 00 l/(gXv)。例如，作為一個示例，擾動置信度Pd(X)可以如表達式(I)所示通過運動矢量V和紋理豐富度g來表示:
[0025]pd (x) = exp(-g-v)......(I)
[0026]所述運動矢量V和紋理豐富度g可以通過本領域中任何適當的方式來計算。例如，可以通過連續多幀灰度圖像之間的幀差來計算像素的運動矢量V;可以通過計算像素在任意一個或多個方向的梯度或計算熵值等來確定像素的紋理豐富度g，此處不進行詳細描述，以免不必要地混淆本發明的發明點。
[0027]需要說明的是，表達式(I)所示的僅僅是一種示例，擾動置信度Pd(X)可以采用其他適當的表達式通過運動矢量V和紋理豐富度g來表示，只要擾動置信度Pd (X)與運動矢量V和紋理豐富度g成反比即可。另一方面，擾動置信度并非必須通過像素的運動矢量和像素的紋理兩者來表示，可選的，其可以僅通過像素的運動矢量和紋理兩者中的任一種來表示(即，擾動置信度Pd(X)反比于運動矢量V，或者擾動置信度Pd(X)反比于紋理豐富度g)或通過其他適當的物理量來表示。
[0028]在如上所述計算出一像素的擾動置信度后，可以將該擾動置信度與第一預定閾值進行比較，如果擾動置信度大于第一預定閾值，則確定該像素為擾動像素。第一預定閾值可以由本領域技術人員根據具體的應用情形來設定。
[0029]在上面的描述中，對于前景圖像中的每個像素均計算其擾動置信度，進而確定該像素是否是擾動像素。可選的，可以僅對前景圖像中的部分像素進行該處理。例如，在對于處理速度有較高要求的應用中，在得到當前幀圖像的前景圖像后，可以采用任何已知的目標對象檢測技術從該前景圖像中檢測感興趣對象并移除與該對象對應的像素，并且針對前景圖像中剩余的每個像素確定其是否是擾動像素。能夠理解，前景圖像中的感興趣對象是期望檢測出的目標對象，其通常不是圖像中的擾動，因此可以不考慮該感興趣對象而僅對前景圖像中除了該感興趣對象之外的其他像素進行擾動檢測，由此可以提高處理速度。
[0030]回到圖2，在步驟S203中，基于所述擾動像素對所述背景模型進行更新。
[0031]在該步驟中，可以從例如當前幀開始對于背景模型中與擾動像素對應的各個像素進行更新。可以采用例如高斯重建等本領域中任何適當的方式對背景模型中的對應像素進行更新，此處不對更新過程進行詳細的描述。
[0032]值得一提的是，自然光照隨著時間的變化通常是一個緩慢累積的過程，而且絕大多數的目標檢測對一定數量的噪聲像素是有魯棒性的，因此出于對處理速度的考慮，實際上沒有必要一檢測到擾動像素就對背景模型進行更新，或者說不必對于背景模型中與擾動像素對應的每個像素都進行更新。因此，可選的，在該步驟S203中，可以根據擾動像素的擾動程度，自適應地對背景模型進行更新。下面將參考圖4對這一自適應更新過程進行描述。
[0033]如圖4所示，在步驟S2031，對于前景圖像中的各個擾動像素，確定其擾動程度。
[0034]擾動像素的擾動程度可以通過任何適當的物理量來表示，例如可以通過擾動像素在前后兩幀中像素值的改變、在前后兩幀中該擾動像素所屬連通域中擾動像素數量的增加等來表示。作為示例，在本實施例中，通過擾動像素的擾動增長率和擾動嚴重率來表示擾動程度。
[0035]擾動增長率是連續幀的灰度圖