專利名稱：針對(duì)攝像機(jī)抖動(dòng)下運(yùn)動(dòng)目標(biāo)檢測(cè)的電子穩(wěn)像方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及動(dòng)態(tài)場(chǎng)景圖像序列下的運(yùn)動(dòng)目標(biāo)檢測(cè)，尤其涉及一種針對(duì)攝像機(jī)抖動(dòng) 下運(yùn)動(dòng)目標(biāo)檢測(cè)的電子穩(wěn)像方法及系統(tǒng)。
背景技術(shù)：
隨著人類社會(huì)的進(jìn)步和科技的發(fā)展，利用計(jì)算機(jī)來實(shí)現(xiàn)人類的視覺功能成為目前 計(jì)算機(jī)領(lǐng)域中最熱門的課題之一。運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)的研究是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要 研究課題。運(yùn)動(dòng)目標(biāo)檢測(cè)就是對(duì)包含運(yùn)動(dòng)信息的圖像序列運(yùn)用數(shù)字信號(hào)處理等技術(shù)進(jìn)行適 當(dāng)處理，檢測(cè)并提取圖像序列中與背景存在相對(duì)運(yùn)動(dòng)的前景，確定運(yùn)動(dòng)目標(biāo)的位置，其在視 頻監(jiān)控、虛擬現(xiàn)實(shí)、機(jī)器人導(dǎo)航、軍事瞄準(zhǔn)、電視編輯、醫(yī)學(xué)圖像分析等許多領(lǐng)域都有了廣泛 的應(yīng)用，因此具有重要的使用價(jià)值和廣闊的發(fā)展前景。但是，由于各種視頻應(yīng)用的場(chǎng)合不盡相同，運(yùn)動(dòng)目標(biāo)所處的環(huán)境和背景千變?nèi)f化， 這對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)算法的適應(yīng)性和穩(wěn)健性提出了更高的要求。其中，攝像機(jī)抖動(dòng)下的運(yùn)動(dòng) 目標(biāo)檢測(cè)是視頻圖像處理領(lǐng)域研究的難點(diǎn)和熱點(diǎn)，也日益成為視頻圖像處理系統(tǒng)實(shí)用性和 可靠性的一大障礙。攝像機(jī)抖動(dòng)是指由于風(fēng)、外部震動(dòng)等因素引起的攝像機(jī)鏡頭發(fā)生的偏 移或旋轉(zhuǎn)。攝像機(jī)抖動(dòng)會(huì)引起相鄰圖像間發(fā)生偏移或旋轉(zhuǎn)，造成圖像像素坐標(biāo)無法一一對(duì) 應(yīng)。
發(fā)明內(nèi)容
本發(fā)明的目的在于針對(duì)攝像頭抖動(dòng)下運(yùn)動(dòng)目標(biāo)檢測(cè)的需求問題，充分考慮場(chǎng)景中 的運(yùn)動(dòng)目標(biāo)對(duì)攝像機(jī)去抖動(dòng)算法的影響，提供一種針對(duì)攝像機(jī)抖動(dòng)下運(yùn)動(dòng)目標(biāo)檢測(cè)的電子 穩(wěn)像方法及系統(tǒng)，基于本發(fā)明，可以對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)過程的視頻中出現(xiàn)的動(dòng)態(tài)背景、噪聲、 大尺度圖像運(yùn)動(dòng)、旋轉(zhuǎn)及背景的一致性有很好的魯棒特性。本發(fā)明一種針對(duì)攝像機(jī)抖動(dòng)下運(yùn)動(dòng)目標(biāo)檢測(cè)的電子穩(wěn)像方法，包括如下步驟分 層步驟，對(duì)參考幀圖像和當(dāng)前幀圖像的原圖像分別進(jìn)行高斯模糊并降低分辨率，分別為所 述參考幀圖像和當(dāng)前幀圖像確定三層圖像，包括位于最低層且分辨率最高的原圖像、中間 層圖像和位于最高層且分辨率最低的圖像；第一運(yùn)動(dòng)估計(jì)步驟，基于分塊灰度投影法，確定 所述位于最高層且分辨率最低的當(dāng)前幀圖像的每一塊區(qū)域相對(duì)于位于最高層且分辨率最 低的參考幀圖像中的每一塊區(qū)域所對(duì)應(yīng)的運(yùn)動(dòng)矢量，進(jìn)而得到多個(gè)運(yùn)動(dòng)矢量；在所述多個(gè) 運(yùn)動(dòng)矢量中，去除可能出現(xiàn)運(yùn)動(dòng)目標(biāo)的區(qū)域所對(duì)應(yīng)的運(yùn)動(dòng)矢量，依據(jù)剩下的運(yùn)動(dòng)矢量計(jì)算 第一平移運(yùn)動(dòng)矢量；第二運(yùn)動(dòng)估計(jì)和補(bǔ)償步驟，基于獲得的所述第一平移運(yùn)動(dòng)矢量，補(bǔ)償當(dāng) 前幀圖像的中間層圖像；在補(bǔ)償后的所述當(dāng)前幀圖像的中間層圖像中，去除所述可能出現(xiàn) 運(yùn)動(dòng)目標(biāo)的區(qū)域，獲得補(bǔ)償后的當(dāng)前幀中間層圖像；利用塊匹配法，得到所述補(bǔ)償后的當(dāng)前 幀中間層圖像相對(duì)于參考幀中間層圖像的第二運(yùn)動(dòng)平移矢量；第三運(yùn)動(dòng)估計(jì)和補(bǔ)償步驟， 基于第一平移運(yùn)動(dòng)矢量和第二運(yùn)動(dòng)平移矢量，補(bǔ)償所述位于最低層且分辨率最高的當(dāng)前幀 圖像的原圖像，獲取補(bǔ)償后的當(dāng)前幀原圖像；利用特征匹配法對(duì)參考幀圖像的原圖像和所述補(bǔ)償后的當(dāng)前幀原圖像進(jìn)行運(yùn)動(dòng)平滑和補(bǔ)償。上述電子穩(wěn)像方法，優(yōu)選所述第三運(yùn)動(dòng)估計(jì)和補(bǔ)償步驟后還設(shè)置有運(yùn)動(dòng)目標(biāo)提 取步驟，基于所述當(dāng)前幀圖像的原圖像運(yùn)動(dòng)平滑和補(bǔ)償后的結(jié)果，相對(duì)于參考幀圖像的原 圖像檢測(cè)運(yùn)動(dòng)目標(biāo)。上述電子穩(wěn)像方法，優(yōu)選所述分層步驟中，所述中間層圖像和位于最高層且分辨 率最低的圖像基于均值濾波的方式獲得。上述電子穩(wěn)像方法，優(yōu)選所述第二運(yùn)動(dòng)估計(jì)和補(bǔ)償步驟中，利用所述第一平移運(yùn) 動(dòng)矢量的2倍對(duì)所述中間層圖像進(jìn)行補(bǔ)償。上述電子穩(wěn)像方法，優(yōu)選所述第三運(yùn)動(dòng)估計(jì)和補(bǔ)償步驟中，基于仿射模型，進(jìn)行運(yùn) 動(dòng)平滑和補(bǔ)償，其中，仿射模型的參數(shù)通過如下方式確定對(duì)參考幀圖像的原圖像和所述補(bǔ) 償后的當(dāng)前幀原圖像進(jìn)行尺度不變特征轉(zhuǎn)換特征匹配，找出對(duì)應(yīng)點(diǎn)，代入仿射模型中求出 運(yùn)動(dòng)參數(shù)，實(shí)現(xiàn)對(duì)當(dāng)前幀圖像的原圖像平移和旋轉(zhuǎn)運(yùn)動(dòng)的估計(jì)；基于運(yùn)動(dòng)估計(jì)得出的參數(shù)， 對(duì)所述補(bǔ)償后的當(dāng)前幀原圖像序列進(jìn)行平滑和補(bǔ)償；其中，仿射模型由下述公式確定
權(quán)利要求
1.一種針對(duì)攝像機(jī)抖動(dòng)下運(yùn)動(dòng)目標(biāo)檢測(cè)的電子穩(wěn)像方法，其特征在于，包括如下步驟分層步驟，對(duì)參考幀圖像和當(dāng)前幀圖像的原圖像分別進(jìn)行高斯模糊并降低分辨率，分 別為所述參考幀圖像和當(dāng)前幀圖像確定三層圖像，包括位于最低層且分辨率最高的原圖 像、中間層圖像和位于最高層且分辨率最低的圖像；第一運(yùn)動(dòng)估計(jì)步驟，基于分塊灰度投影法，確定所述位于最高層且分辨率最低的當(dāng)前 幀圖像的每一塊區(qū)域相對(duì)于位于最高層且分辨率最低的參考幀圖像中的每一塊區(qū)域所對(duì) 應(yīng)的運(yùn)動(dòng)矢量，進(jìn)而得到多個(gè)運(yùn)動(dòng)矢量；在所述多個(gè)運(yùn)動(dòng)矢量中，去除可能出現(xiàn)運(yùn)動(dòng)目標(biāo)的 區(qū)域所對(duì)應(yīng)的運(yùn)動(dòng)矢量，依據(jù)剩下的運(yùn)動(dòng)矢量計(jì)算第一平移運(yùn)動(dòng)矢量；第二運(yùn)動(dòng)估計(jì)和補(bǔ)償步驟，基于獲得的所述第一平移運(yùn)動(dòng)矢量，補(bǔ)償當(dāng)前幀圖像的中 間層圖像；在補(bǔ)償后的所述當(dāng)前幀圖像的中間層圖像中，去除所述可能出現(xiàn)運(yùn)動(dòng)目標(biāo)的區(qū) 域，獲得補(bǔ)償后的當(dāng)前幀中間層圖像；利用塊匹配法，得到所述補(bǔ)償后的當(dāng)前幀中間層圖像 相對(duì)于參考幀中間層圖像的第二運(yùn)動(dòng)平移矢量；第三運(yùn)動(dòng)估計(jì)和補(bǔ)償步驟，基于第一平移運(yùn)動(dòng)矢量和第二運(yùn)動(dòng)平移矢量，補(bǔ)償所述位 于最低層且分辨率最高的當(dāng)前幀圖像的原圖像，獲取補(bǔ)償后的當(dāng)前幀原圖像；利用特征匹 配法對(duì)參考幀圖像的原圖像和所述補(bǔ)償后的當(dāng)前幀原圖像進(jìn)行運(yùn)動(dòng)平滑和補(bǔ)償。
2.根據(jù)權(quán)利要求1所述的電子穩(wěn)像方法，其特征在于，所述第三運(yùn)動(dòng)估計(jì)和補(bǔ)償步驟 后還設(shè)置有運(yùn)動(dòng)目標(biāo)提取步驟，基于所述當(dāng)前幀圖像的原圖像運(yùn)動(dòng)平滑和補(bǔ)償后的結(jié)果，相對(duì)于 參考幀圖像的原圖像檢測(cè)運(yùn)動(dòng)目標(biāo)。
3.根據(jù)權(quán)利要求2所述的電子穩(wěn)像方法，其特征在于，所述分層步驟中，所述中間層圖 像和位于最高層且分辨率最低的圖像基于均值濾波的方式獲得。
4.根據(jù)權(quán)利要求3所述的電子穩(wěn)像方法，其特征在于，所述第二運(yùn)動(dòng)估計(jì)和補(bǔ)償步驟 中，利用所述第一平移運(yùn)動(dòng)矢量的2倍對(duì)所述中間層圖像進(jìn)行補(bǔ)償。
5.根據(jù)權(quán)利要求4所述的電子穩(wěn)像方法，其特征在于，所述第三運(yùn)動(dòng)估計(jì)和補(bǔ)償步驟 中，基于仿射模型，進(jìn)行運(yùn)動(dòng)平滑和補(bǔ)償，其中，仿射模型的參數(shù)通過如下方式確定對(duì)參考幀圖像的原圖像和所述補(bǔ)償后的當(dāng)前幀原圖像進(jìn)行尺度不變特征轉(zhuǎn)換特征匹 配，找出對(duì)應(yīng)點(diǎn)，代入仿射模型中求出運(yùn)動(dòng)參數(shù)，實(shí)現(xiàn)對(duì)當(dāng)前幀圖像的原圖像平移和旋轉(zhuǎn)運(yùn) 動(dòng)的估計(jì)；基于運(yùn)動(dòng)估計(jì)得出的參數(shù)，對(duì)所述補(bǔ)償后的當(dāng)前幀原圖像序列進(jìn)行平滑和補(bǔ)償；其中， 仿射模型由下述公式確定
6.一種針對(duì)攝像機(jī)抖動(dòng)下運(yùn)動(dòng)目標(biāo)檢測(cè)的電子穩(wěn)像系統(tǒng)，其特征在于，包括分層模塊，對(duì)參考幀圖像和當(dāng)前幀圖像的原圖像分別進(jìn)行高斯模糊并降低分辨率，分 別為所述參考幀圖像和當(dāng)前幀圖像確定三層圖像，包括位于最低層且分辨率最高的原圖 像、中間層圖像和位于最高層且分辨率最低的圖像；第一運(yùn)動(dòng)估計(jì)模塊，用于基于分塊灰度投影法，確定所述位于最高層且分辨率最低的 當(dāng)前幀圖像相對(duì)于位于最高層且分辨率最低的參考幀圖像中每一塊區(qū)域所對(duì)應(yīng)的運(yùn)動(dòng)矢 量，進(jìn)而得到多個(gè)運(yùn)動(dòng)矢量；在所述多個(gè)運(yùn)動(dòng)矢量中，去除可能出現(xiàn)運(yùn)動(dòng)目標(biāo)的區(qū)域所對(duì)應(yīng) 的運(yùn)動(dòng)矢量，依據(jù)剩下的運(yùn)動(dòng)矢量計(jì)算第一平移運(yùn)動(dòng)矢量；第二運(yùn)動(dòng)估計(jì)和補(bǔ)償模塊，用于基于獲得的所述第一平移運(yùn)動(dòng)矢量，補(bǔ)償當(dāng)前幀圖像 的中間層圖像；在補(bǔ)償后的所述當(dāng)前幀圖像的中間層圖像中，去除所述可能出現(xiàn)運(yùn)動(dòng)目標(biāo) 的區(qū)域，獲得補(bǔ)償后的當(dāng)前幀中間層圖像；利用塊匹配法，得到所述補(bǔ)償后的當(dāng)前幀中間層 圖像相對(duì)于參考幀中間層圖像的第二運(yùn)動(dòng)平移矢量；第三運(yùn)動(dòng)估計(jì)和補(bǔ)償模塊，基于第一平移運(yùn)動(dòng)矢量和第二運(yùn)動(dòng)平移矢量，補(bǔ)償所述位 于最低層且分辨率最高的當(dāng)前幀圖像的原圖像，獲取補(bǔ)償后的當(dāng)前幀原圖像；利用特征匹 配法對(duì)參考幀圖像的原圖像和所述補(bǔ)償后的當(dāng)前幀原圖像進(jìn)行運(yùn)動(dòng)平滑和補(bǔ)償。
7.根據(jù)權(quán)利要求6所述的電子穩(wěn)像系統(tǒng)，其特征在于，所述第三運(yùn)動(dòng)估計(jì)和補(bǔ)償模塊 后還連接有運(yùn)動(dòng)目標(biāo)提取模塊，用于基于所述當(dāng)前幀圖像的原圖像運(yùn)動(dòng)平滑和補(bǔ)償后的結(jié)果，相 對(duì)于參考幀圖像的原圖像檢測(cè)運(yùn)動(dòng)目標(biāo)。
8.根據(jù)權(quán)利要求7所述的電子穩(wěn)像系統(tǒng)，其特征在于，所述分層模塊中，所述中間層圖 像和位于最高層且分辨率最低的圖像基于均值濾波的方式獲得。
9.根據(jù)權(quán)利要求8所述的電子穩(wěn)像系統(tǒng)，其特征在于，所述第二運(yùn)動(dòng)估計(jì)和補(bǔ)償模塊 中，利用所述第一平移運(yùn)動(dòng)矢量的2倍對(duì)所述中間層圖像進(jìn)行補(bǔ)償。
10.根據(jù)權(quán)利要求9所述的電子穩(wěn)像系統(tǒng)，其特征在于，所述第三運(yùn)動(dòng)估計(jì)和補(bǔ)償模塊 中，基于仿射模型，進(jìn)行運(yùn)動(dòng)平滑和補(bǔ)償，其中，仿射模型的參數(shù)通過如下方式確定對(duì)參考幀圖像的原圖像和所述補(bǔ)償后的當(dāng)前幀原圖像進(jìn)行尺度不變特征轉(zhuǎn)換特征匹 配，找出對(duì)應(yīng)點(diǎn)，代入仿射模型中求出運(yùn)動(dòng)參數(shù)，實(shí)現(xiàn)對(duì)當(dāng)前幀圖像的原圖像平移和旋轉(zhuǎn)運(yùn) 動(dòng)的估計(jì)；基于運(yùn)動(dòng)估計(jì)得出的參數(shù)，對(duì)所述補(bǔ)償后的當(dāng)前幀原圖像序列進(jìn)行平滑和補(bǔ)償；其中， 仿射模型由下述公式確定
全文摘要
本發(fā)明公開了一種針對(duì)攝像機(jī)抖動(dòng)下運(yùn)動(dòng)目標(biāo)檢測(cè)的電子穩(wěn)像方法及系統(tǒng)。該方法包括對(duì)原圖像進(jìn)行高斯模糊并降低分辨率，確定三層圖像；基于分塊灰度投影法，確定位于最高層且分辨率最低的圖像所對(duì)應(yīng)的第一平移運(yùn)動(dòng)矢量；基于獲得的所述第一平移運(yùn)動(dòng)矢量補(bǔ)償所述中間層圖像；基于塊匹配法，確定位于中間層的圖像所對(duì)應(yīng)的第二平移運(yùn)動(dòng)矢量；基于第一平移運(yùn)動(dòng)矢量和第二運(yùn)動(dòng)平移矢量，補(bǔ)償位于最低層且分辨率最高的原圖像；利用特征匹配法進(jìn)行運(yùn)動(dòng)平滑和補(bǔ)償。本發(fā)明對(duì)于動(dòng)態(tài)背景、噪聲、大尺度圖像運(yùn)動(dòng)、旋轉(zhuǎn)及背景的一致性有很好的魯棒性。在圖像質(zhì)量、視覺效果、計(jì)算速度上有優(yōu)越性，穩(wěn)像后滿足攝像頭抖動(dòng)下運(yùn)動(dòng)目標(biāo)檢測(cè)的需求。
文檔編號(hào)H04N5/14GK102098440SQ20101059151
公開日2011年6月15日 申請(qǐng)日期2010年12月16日 優(yōu)先權(quán)日2010年12月16日
發(fā)明者劉渭濱, 崇信毅, 戶磊, 李波, 邢薇薇, 邱亞欽 申請(qǐng)人:北京交通大學(xué)