專利名稱：視頻中貨運列車車廂自動檢測方法
技術領域：
本發明屬于視頻監控技術領域，尤其是一種視頻中貨運列車車廂自動檢測方法，本發明利用計算機視覺技術，結合視頻圖像的頻域信息和空間域信息，對貨運列車車廂進行自動地前景分割、速度檢測和前景拼接。
背景技術：
隨著視頻監控技術的發展，視頻攝像機已經被廣泛用來對各種環境、區域和目標進行實時監控和檢測。在智能鐵路運輸系統中，視頻傳感器已經用于對列車車廂、輪軸和鐵軌的監控和檢測。貨運列車是由一節一節的集裝箱車廂組成的，每節集裝箱車箱長約35-40米，一輛列車一般由幾十節車廂組成，這樣一輛列車的長度往往超過I公里。這種火車的速度可以達到100-120千米/小時。由于具有如此長的長度和如此高的行駛速度，每兩節車廂之間的空隙會帶來很強的空氣阻力，從而造成巨大的燃料消耗。但是，由于火車的長度太長、車廂太多，人工地檢查裝載的情況是非常費時費力的。因此，研發一種自動、可靠和有效的集裝箱裝載模式檢測方法是非常有意義和應用價值的工作。經對現有技術文獻的檢索發現，目前在視頻中檢測運動目標的方法主要分為三類一類是基于高斯混合模型(Gaussian Mixture Model)的方法，如C. Stauffer和W.E. L. Grimsonl999年發表在〈〈Proceedings of IEEE Conference on Computer Vision andPattern Recognition (IEEE計算機視覺和模式識別會議論文集)》中的論文“Adaptivebackground mixture models for real-time tracking(用于實時跟蹤的自適應背景混合模型)”。對于這種方法來說，由于火車車廂經常包含與背景相似的顏色像素，因此車廂的部分區域經常會被分類成背景區域，從而產生誤檢。一類是能量最小化方法，如Y.Boykov 等人 2001 年發表在〈〈IEEE Transactions on Pattern Analysis and MachineIntelligence (IEEE模式分析與機器智能會刊)》中的論文“Fast approximate energyminimization via graph cuts (通過圖切割的快速近似能量最小化)”。這種方法雖然能獲得比較高的檢測準確率，但是其優化過程需要耗費大量的計算時間，因此不能滿足快速檢測系統的應用需求。最后一類是基于邊緣檢測的方法，如A. Kumar等人2007年發表在((Proceedings of IEEE Workshop on Applications of Computer Vision (IEEE 計算機視覺應用研討會論文集)》中的論文“A vision system for monitoring intermodal freighttrains (用于監控聯邦貨運列車的視覺系統)”。這種方法所檢測出來的邊緣特征不總是所需的車廂與背景之間的邊緣，還經常包含車廂表面圖案和紋理的邊緣特征，準確地區分開它們是非常困難的，因此也達不到所要求的檢測準確率和魯棒性。
發明內容
本發明的目的在于克服現有技術中的不足，提供一種貨運列車車廂的自動視頻檢測方法，能在背景轉換、光照變化、檢測噪聲等實際工程應用的復雜環境下，實時準確地檢測出貨運列車車廂，得以實現對車廂裝載情況的自動監控和識別。
為實現上述目的，本發明提出一種視頻中貨運列車車廂自動檢測方法，該方法包括以下步驟步驟1，分割得到視頻每一幀圖像中列車車廂的運動前景；步驟2，根據不同幀圖像中車廂邊界的變化，估計列車的行駛速度；步驟3，根據所述列車的行駛速度對所述步驟I得到的列車車廂前景圖像進行拼接，得到所述列車車廂的全景圖像，完成視頻中對于列車車輛的自動檢測。本發明與現有技術相比的顯著效果在于不需要對攝像機鏡頭進行事先標定，對實際監控視頻中所出現的背景改變、光照變化、攝像機抖動、檢測噪聲等干擾同時具有較高的魯棒性。由于克服了這些現有技術在實際工程應用方面難以解決的困難，因此真正實現了對視頻中貨運列車車廂的自動檢測。本發明針對智能火車視頻監控系統中自動檢測貨運列車車廂的需要，利用計算機視覺技術，實現了對貨運列車車廂的自動檢測，具有不需要人工參與、精確度高、魯棒性強等優點。特別是不需要事先對攝像機鏡頭進行標定，自動實現車廂檢測，克服了以往技術方法都難以克服的難點，也消除了實現真正工程應用的主要障礙。本發明使用計算機視覺理論中的運動目標前景分割技術，實現了貨運列車車廂的自動檢測，最終為智能火車視頻監控系統中貨運列車車廂裝載情況的檢測和識別提供了可靠的關鍵技術。
圖1是本發明檢測方法的流程圖。圖2是根據本發明一實施例的區域B中某位置像素的時間序列值及其功率譜。圖3是根據本發明一實施例的車廂區域檢測流程及結果。圖4是根據本發明一實施例的背景窗選擇及其灰度特征提取示意圖。圖5是根據本發明一實施例的背景檢測與去除示意圖。圖6是根據本發明一實施例的單層集裝箱檢測示意圖。圖7是根據本發明一實施例檢測得到的三種車廂的全景圖像。
具體實施例方式為使本發明的目的、技術方案和優點更加清楚明白，以下結合具體實施例，并參照附圖，對本發明進一步詳細說明。為了更好地理解本發明所提出的方法，接下來選取一段監控攝像機拍攝的視頻片段為例對本發明的檢測方法進行說明，所述視頻片段中有一列貨運列車從視域中經過，這段視頻中記錄了這輛列車從車頭進入該監控場景開始，到車尾離開該場景為止的全過程，所述視頻圖像的大小為640 X 480，幀率為15幀/秒。圖1是本發明檢測方法的流程圖，如圖1所示，所述檢測方法包括以下步驟步驟1，分割得到視頻每一幀圖像中列車車廂的運動前景；所述步驟I進一步包括以下步驟步驟11，利用列車車廂所經過區域的像素值變化的周期性特征來檢測每一幀圖像中列車的運動區域；由于視頻的每一幀圖像中列車車廂所經過的區域的像素與背景區域的像素呈現出不同的周期變化規律，因此該步驟可利用列車車廂所經過區域的像素值變化的周期性特征來檢測得到列車的運動區域。如圖2(a)所示，圖中，區域B為列車車廂在視頻圖像中的運動區域，該區域的視頻圖像像素值呈周期性變化；區域A為像素值不呈周期性變化的其它像素區域。具體地，所述步驟11進一步包括以下步驟:步驟111，隨著視頻的播放，記錄每一幀視頻圖像中每一個像素位置上的像素的灰度值，得到與每一幀視頻圖像對應的一個時間序列信號，如圖2(b)所示。令I (i，j) (t)表示第t幀視頻圖像第i行、第j列位置上像素的灰度值，由于視頻圖像的尺寸為MXN(比如640X480)，且每一個像素位置上都可以獲得一個時間序列信號，這樣就得到MXN個時間序列信號。步驟112，利用下式對所述時間序列信號進行濾波，以去除其中的噪聲:
權利要求
1.一種視頻中貨運列車車廂自動檢測方法，其特征在于，該方法包括以下步驟: 步驟1，分割得到視頻每一幀圖像中列車車廂的運動前景； 步驟2，根據不同幀圖像中車廂邊界的變化，估計列車的行駛速度； 步驟3，根據所述列車的行駛速度對所述步驟I得到的列車車廂前景圖像進行拼接，得到所述列車車廂的全景圖像，完成視頻中對于列車車輛的自動檢測。
2.根據權利要求1所述的方法，其特征在于，所述步驟I進一步包括以下步驟: 步驟11，利用列車車廂所經過區域的像素值變化的周期性特征來檢測每一幀圖像中列車的運動區域； 步驟12，去除每一幀圖像中列車車廂間的背景區域； 步驟13，對于視頻中出現單層列車車廂的幀圖像進行檢測。
3.根據權利要求2所述的方法，其特征在于，所述步驟11進一步包括以下步驟: 步驟111，記錄每一幀視頻圖像中每一個像素位置上的像素的灰度值，得到與每一幀視頻圖像對應的一個時間序列信號； 步驟112，對所述時間序列信號進行濾波，以去除其中的噪聲； 步驟113，對每一個經過濾波的時間序列信號進行快速傅立葉變換，得到每個時間序列信號的周期和功率譜； 步驟114，對于每一個時間序列信號只選擇功率最大的頻率作為其固有頻率，得到與每一幀視頻圖像對應的頻率圖像； 步驟115，計算所述頻率圖像像素值的直方圖； 步驟116，基于所述像素值的直方圖中的頻率值，利用閾值法得到每一幀圖像中列車所在的運動區域； 步驟117，對所述步驟116得到的列車所在的運動區域進行腐蝕和膨脹處理，將處理后的圖像的像素值累加映射到I軸上，得到準確的列車車廂區域。
4.根據權利要求2所述的方法，其特征在于，所述步驟12進一步包括以下步驟: 步驟121，在所述視頻中截取一幀列車到來前的背景圖像，作為背景建模的參考圖像； 步驟122，根據所述步驟11得到的列車運動區域，在所述背景圖像中對應于所述列車運動區域的天空背景的位置處選擇一個矩形背景區域作為檢測窗； 步驟123，計算所述背景區域中背景的灰度直方圖； 步驟124，利用閾值法獲得所述背景區域的主要灰度范圍，作為背景模型，以實現對車廂間背景區域的檢測； 步驟125，將當前幀圖像中與所述背景區域位置相應區域中的像素的灰度值與所述主要灰度范圍進行比較，得到當前幀中屬于背景的區域； 步驟126，從當前幀圖像中去除檢測到的屬于背景的區域，得到當前幀圖像中的列車車廂區域； 步驟127，利用每一幀圖像中檢測到的車廂間的背景區域對所述步驟121中的背景圖像進行更新，重復所述步驟122-126，得到更為精準的當前幀圖像中的列車車廂區域。
5.根據權利要求4所述的方法，其特征在于，所述步驟125中，在對灰度值進行比較之前，先用中值濾波器對當前幀進行濾波，來去除圖像中由攝像機產生的噪聲；且所述步驟125進一步包括對于當前幀圖像中屬于背景的像素區域進行腐蝕膨脹處理的步驟。
6.根據權利要求4所述的方法，其特征在于，所述步驟127中，利用每一幀圖像中檢測到的車廂間的背景區域對所述步驟121中的背景圖像進行更新具體為:把在每一幀圖像中檢測到的車廂間的背景區域拼接起來，形成一副新的背景圖像。
7.根據權利要求1所述的方法，其特征在于，所述步驟13進一步包括以下步驟: 步驟131，在視頻圖像中出現單層列車車廂的位置處設置一檢測窗，所述檢測窗的寬度與圖像的寬度一致，高度不超過單層列車車廂中最低車廂的高度； 步驟132，在所述檢測窗內對當前幀圖像進行減背景計算，即在檢測窗區域的原始圖像中將背景圖像減掉，只保留每一幀中的前景圖像，得到單層列車車廂的檢測結果。
8.根據權利要求4或7所述的方法，其特征在于，利用檢測窗進行檢測時，還結合每一像素的顏色信息進行檢測: 對于所述檢測窗中的每一個像素，如果其被分類為背景，就令它的值為I ;反之，令它的值為O ; 然后利用下式來綜合三個顏色通道的類別結果，從而得到一個綜合的分類結果: c(i，j) = cE(i, j) n cG(i, j) η cB(i, j) 其中:CK/G/B(i，j)分別表示RGB三個通道中像素(i，j)的類別標簽:0或I ; η表示“與”運算。
9.根據權利要求1所述的方法，其特征在于，列車行駛的速度利用下式來計算:V (It, Ih) = It (j+v)-1t-Jj) 其中:It(j+v)表示當前幀中，車廂的左邊界或右邊界在圖像平面X軸上的像素坐標位置表示前一幀中，該邊界在圖像平面X軸上的像素坐標位置。
10.根據權利要求1所述的方法，其特征在于，所述步驟3中，根據所述列車的行駛速度對所述步驟I得到的列車車廂前景圖像進行拼接具體為:根據所述列車的行駛速度，在視頻圖像的中間部分選擇一定寬度的區域作為 子圖像采集區域，該區域的高度與圖像幀一致，然后在所述步驟I得到的車廂前景分割的結果中，逐幀采集區域內的圖像，并把采集得到的圖像拼接得到車廂的全景圖像。
全文摘要
本發明公開了一種視頻中貨運列車車廂前景的自動檢測方法，該方法基于計算機視覺技術，對貨運列車車廂進行自動視頻檢測，其包括以下步驟分割得到視頻每一幀圖像中列車車廂的運動前景；根據不同幀圖像中車廂邊界的變化，估計列車的行駛速度；根據所述列車的行駛速度對所述步驟1得到的列車車廂前景圖像進行拼接，得到所述列車車廂的全景圖像，完成視頻中對于列車車輛的自動檢測。本發明具有易于實現、魯棒性強、精確度高、實時性強等優點，可以為智能火車視頻監控系統中貨運列車車廂裝載情況的檢測和識別提供可靠的關鍵技術。
文檔編號G06T7/20GK103077387SQ20131004986
公開日2013年5月1日 申請日期2013年2月7日 優先權日2013年2月7日
發明者王飛躍, 孔慶杰, 熊剛, 朱鳳華, 周昰昱, 李元濤 申請人:東莞中國科學院云計算產業技術創新與育成中心, 中國科學院自動化研究所