一種基于主運(yùn)動(dòng)方向識(shí)別的運(yùn)動(dòng)補(bǔ)償方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于主運(yùn)動(dòng)方向識(shí)別的運(yùn)動(dòng)補(bǔ)償方法。
【背景技術(shù)】
[0002]無(wú)人機(jī)和直升機(jī)在拍攝過(guò)程中受到發(fā)動(dòng)機(jī)、氣流和人工控制因素影響而造成視頻的抖動(dòng)與模糊，對(duì)后續(xù)的檢測(cè)和跟蹤等處理造成嚴(yán)重不良的影響，有必要對(duì)航拍視頻進(jìn)行穩(wěn)像處理，基于圖像處理的電子穩(wěn)像具有精確、輕便、成本低、能耗小等優(yōu)點(diǎn)，因而被廣泛而有效地應(yīng)用于無(wú)人機(jī)和直升機(jī)的視頻處理分析中。
[0003]運(yùn)動(dòng)補(bǔ)償技術(shù)是實(shí)現(xiàn)電子穩(wěn)像的關(guān)鍵技術(shù)。根據(jù)攝像機(jī)拍攝視頻時(shí)的運(yùn)動(dòng)狀態(tài)，可分為靜態(tài)攝像和運(yùn)動(dòng)攝像。在實(shí)現(xiàn)電子穩(wěn)像時(shí)，需對(duì)攝像機(jī)的運(yùn)動(dòng)狀態(tài)進(jìn)行識(shí)別以針對(duì)不同的運(yùn)動(dòng)狀態(tài)進(jìn)行相應(yīng)的運(yùn)動(dòng)補(bǔ)償?，F(xiàn)有的成果要么忽略了拍攝視頻的時(shí)間連續(xù)性而只針對(duì)兩幀進(jìn)行穩(wěn)像，要么對(duì)于攝像機(jī)的運(yùn)動(dòng)狀態(tài)分析不足，造成運(yùn)動(dòng)狀態(tài)識(shí)別不力，不能夠進(jìn)行準(zhǔn)確的穩(wěn)像。針對(duì)以上問(wèn)題，本發(fā)明提出了一種基于主運(yùn)動(dòng)方向識(shí)別的運(yùn)動(dòng)補(bǔ)償方法，可以對(duì)靜態(tài)拍攝和運(yùn)動(dòng)拍攝及兩種拍攝狀態(tài)的相互切換進(jìn)行識(shí)別，適應(yīng)于復(fù)雜的拍攝狀態(tài)和拍攝環(huán)境。
[0004]中國(guó)專利申請(qǐng)200910081057.8公開(kāi)了一種實(shí)時(shí)電子穩(wěn)像中基于運(yùn)動(dòng)狀態(tài)識(shí)別的運(yùn)動(dòng)補(bǔ)償方法，其方法步驟為:①訓(xùn)練運(yùn)動(dòng)類型的似然函數(shù)；②建立運(yùn)動(dòng)補(bǔ)償模型；③計(jì)算當(dāng)前幀圖像相對(duì)于窗口中心點(diǎn)的偏移量；④對(duì)運(yùn)動(dòng)分量濾波，計(jì)算理想運(yùn)動(dòng)參數(shù)和線性擬和參數(shù)；⑤識(shí)別當(dāng)前幀圖像運(yùn)動(dòng)狀態(tài)，設(shè)置運(yùn)動(dòng)補(bǔ)償參數(shù)；⑥根據(jù)三階段運(yùn)動(dòng)補(bǔ)償量，計(jì)算當(dāng)前幀圖像的輸出位置。該申請(qǐng)的方案對(duì)視頻的運(yùn)動(dòng)狀態(tài)進(jìn)行識(shí)別，但該方法需要對(duì)抖動(dòng)進(jìn)行訓(xùn)練，并且只針對(duì)高斯模型的抖動(dòng)進(jìn)行補(bǔ)償。
[0005]另外，中國(guó)專利申請(qǐng)201110336063.0公開(kāi)了一種攝像頭移動(dòng)檢測(cè)方法及裝置，其中方法包括向遠(yuǎn)程攝像頭發(fā)出移動(dòng)操作指令，獲取攝像頭的視頻流中連續(xù)的兩幀圖像；標(biāo)記所述圖像中的紋理塊；計(jì)算所有紋理塊移動(dòng)方向的角度直方圖；通過(guò)上述角度直方圖進(jìn)行所述攝像頭運(yùn)動(dòng)判斷，如果所述攝像頭為運(yùn)動(dòng)狀態(tài)，則根據(jù)所述直方圖獲取所述攝像頭的移動(dòng)方向和移動(dòng)量；否則輸出故障報(bào)警信息。中國(guó)專利申請(qǐng)201310484497.4公開(kāi)了一種基于船舶運(yùn)動(dòng)姿態(tài)預(yù)報(bào)的船載視頻穩(wěn)像方法，其提出基于粒子群-最小二乘支持向量機(jī)的船舶運(yùn)動(dòng)姿態(tài)預(yù)報(bào)方法，對(duì)船舶運(yùn)動(dòng)姿態(tài)進(jìn)行預(yù)報(bào)，獲得船舶運(yùn)動(dòng)矢量預(yù)報(bào)數(shù)據(jù)；根據(jù)船舶運(yùn)動(dòng)矢量預(yù)報(bào)數(shù)據(jù)，計(jì)算得到圖像的運(yùn)動(dòng)矢量數(shù)據(jù)；提前計(jì)算出圖像補(bǔ)償矢量，對(duì)圖像逐幀進(jìn)行運(yùn)動(dòng)補(bǔ)償。上述方案都是對(duì)攝像機(jī)的運(yùn)動(dòng)狀態(tài)進(jìn)行了識(shí)別，但側(cè)重于如何估計(jì)出用于運(yùn)動(dòng)狀態(tài)識(shí)別的運(yùn)動(dòng)參數(shù)，而非側(cè)重于對(duì)主運(yùn)動(dòng)方向進(jìn)行識(shí)別的方法。
[0006]上述技術(shù)方案只針對(duì)參數(shù)的大小等處理，沒(méi)有充分利用視頻中的運(yùn)動(dòng)參數(shù)的方向識(shí)別主運(yùn)動(dòng)方向并進(jìn)一步識(shí)別運(yùn)動(dòng)狀態(tài)；基于兩幀或鄰近的幾幀圖像之間運(yùn)動(dòng)參數(shù)的大小并根據(jù)特定的抖動(dòng)模型進(jìn)行抖動(dòng)判斷，而沒(méi)有利用運(yùn)動(dòng)狀態(tài)進(jìn)行抖動(dòng)判斷；沒(méi)有考慮到運(yùn)動(dòng)狀態(tài)對(duì)運(yùn)動(dòng)補(bǔ)償參數(shù)的影響，沒(méi)有基于動(dòng)狀態(tài)識(shí)別結(jié)果確定運(yùn)動(dòng)補(bǔ)償參數(shù)。
【發(fā)明內(nèi)容】
[0007]針對(duì)實(shí)時(shí)視頻的運(yùn)動(dòng)狀態(tài)復(fù)雜、易變的特點(diǎn)，本發(fā)明的目的是提供一種基于主運(yùn)動(dòng)方向識(shí)別的運(yùn)動(dòng)補(bǔ)償方法。
[0008]為了實(shí)現(xiàn)上述目的，本發(fā)明提供了一種基于主運(yùn)動(dòng)方向識(shí)別的運(yùn)動(dòng)補(bǔ)償方法，其包括如下步驟:
[0009]A、確定當(dāng)前運(yùn)動(dòng)狀態(tài)及主運(yùn)動(dòng)方向；
[0010]B、在電子穩(wěn)像過(guò)程中連續(xù)輸入視頻的運(yùn)動(dòng)估計(jì)參數(shù)；
[0011]C、抖動(dòng)判斷；
[0012]D、運(yùn)動(dòng)補(bǔ)償參數(shù)確定；
[0013]E、運(yùn)動(dòng)補(bǔ)償，利用步驟D獲得的運(yùn)動(dòng)補(bǔ)償參數(shù)進(jìn)行運(yùn)動(dòng)補(bǔ)償。
[0014]本發(fā)明針對(duì)實(shí)時(shí)視頻的運(yùn)動(dòng)狀態(tài)復(fù)雜、易變的特點(diǎn)，提出了一種基于主運(yùn)動(dòng)方向識(shí)別的運(yùn)動(dòng)補(bǔ)償技術(shù)。首先，通過(guò)對(duì)視頻的運(yùn)動(dòng)估計(jì)參數(shù)對(duì)運(yùn)動(dòng)狀態(tài)進(jìn)行識(shí)別；其次，通過(guò)識(shí)別出的運(yùn)動(dòng)狀態(tài)對(duì)當(dāng)前抖動(dòng)進(jìn)行判斷，判斷是否進(jìn)行運(yùn)動(dòng)補(bǔ)償最后，通過(guò)當(dāng)前的抖動(dòng)狀態(tài)確定運(yùn)動(dòng)補(bǔ)償參數(shù)，進(jìn)行運(yùn)動(dòng)補(bǔ)償，實(shí)現(xiàn)實(shí)時(shí)電子穩(wěn)像。
[0015]本發(fā)明針對(duì)當(dāng)前方法對(duì)于運(yùn)動(dòng)參數(shù)的方向的忽略問(wèn)題，提出通過(guò)對(duì)瞬時(shí)運(yùn)動(dòng)方向的判定進(jìn)行主運(yùn)動(dòng)方向的識(shí)別，進(jìn)而識(shí)別出當(dāng)前拍攝狀態(tài)以及拍攝狀態(tài)之間的相互切換；針對(duì)現(xiàn)有方法需要事先確定抖動(dòng)模型的缺陷，本發(fā)明無(wú)需事先確定抖動(dòng)模型，只需利用已估計(jì)出的運(yùn)動(dòng)參數(shù)和當(dāng)前運(yùn)動(dòng)狀態(tài)進(jìn)行抖動(dòng)判斷；針對(duì)現(xiàn)有方法對(duì)運(yùn)動(dòng)狀態(tài)對(duì)運(yùn)動(dòng)補(bǔ)償參數(shù)影響的忽略，本發(fā)明通過(guò)主運(yùn)動(dòng)方向確定運(yùn)動(dòng)狀態(tài)，進(jìn)而確定運(yùn)動(dòng)補(bǔ)償參數(shù)。
[0016]本發(fā)明對(duì)于運(yùn)動(dòng)和抖動(dòng)的模型無(wú)限制，無(wú)需進(jìn)行事先的訓(xùn)練，并且提出了主運(yùn)動(dòng)方向的概念，通過(guò)運(yùn)動(dòng)狀態(tài)識(shí)別進(jìn)行抖動(dòng)判斷并輔助確定運(yùn)動(dòng)補(bǔ)償參數(shù)，提高了電子穩(wěn)像的實(shí)時(shí)性和智能性。
[0017]本發(fā)明側(cè)重于利用已估計(jì)出的運(yùn)動(dòng)參數(shù)進(jìn)行主運(yùn)動(dòng)方向的判斷，并且通過(guò)識(shí)別出的主運(yùn)動(dòng)方向提高運(yùn)動(dòng)補(bǔ)償?shù)臏?zhǔn)確性，進(jìn)而提高電子穩(wěn)像的準(zhǔn)確性。
[0018]根據(jù)本發(fā)明另一【具體實(shí)施方式】，步驟A包括如下步驟:
[0019]Al、幀間運(yùn)動(dòng)方向識(shí)別，分別對(duì)正負(fù)幀間運(yùn)動(dòng)方向的數(shù)值進(jìn)行統(tǒng)計(jì)；
[0020]A2、瞬時(shí)主運(yùn)動(dòng)方向識(shí)別；
[0021]A3、主運(yùn)動(dòng)方向識(shí)別；
[0022]A4、運(yùn)動(dòng)狀態(tài)識(shí)別，若能夠識(shí)別出主運(yùn)動(dòng)方向，則判定當(dāng)前運(yùn)動(dòng)狀態(tài)為運(yùn)動(dòng)拍攝，若不能夠識(shí)別出主運(yùn)動(dòng)方向，則判定當(dāng)前運(yùn)動(dòng)狀態(tài)為靜態(tài)拍攝。
[0023]根據(jù)本發(fā)明另一【具體實(shí)施方式】，步驟A2具體包括如下步驟:
[0024]A2a、幀間運(yùn)動(dòng)方向識(shí)別結(jié)果輸入；
[0025]A2b、幀間運(yùn)動(dòng)方向一致性識(shí)別，分別對(duì)正負(fù)幀間運(yùn)動(dòng)方向一致性的數(shù)值進(jìn)行統(tǒng)計(jì);
[0026]A2c、累計(jì)幀數(shù)判斷，若進(jìn)行瞬時(shí)主運(yùn)動(dòng)方向判斷的幀數(shù)達(dá)到預(yù)先設(shè)定的幀數(shù)，則進(jìn)行A2d，反之，則退出識(shí)別流程；
[0027]A2d、瞬時(shí)主運(yùn)動(dòng)方向輸出。
[0028]根據(jù)本發(fā)明另一【具體實(shí)施方式】，步驟A3具體包括如下步驟:
[0029]A3a、瞬時(shí)主運(yùn)動(dòng)運(yùn)動(dòng)方向結(jié)果輸入；
[0030]A3b、瞬時(shí)主運(yùn)動(dòng)運(yùn)動(dòng)方向一致性識(shí)別，分別對(duì)正負(fù)幀間運(yùn)動(dòng)方向一致性的數(shù)值進(jìn)行統(tǒng)計(jì)；
[0031]A3c、累計(jì)幀數(shù)判斷，若進(jìn)行主運(yùn)動(dòng)方向判斷的幀數(shù)達(dá)到預(yù)先設(shè)定的幀數(shù)，則進(jìn)行A3d，反之，則退出識(shí)別流程；
[0032]A3d、主運(yùn)動(dòng)方向輸出。
[0033]根據(jù)本發(fā)明另一【具體實(shí)施方式】，步驟C具體包括如下兩種情況:
[0034]Cl、當(dāng)前運(yùn)動(dòng)狀態(tài)為靜態(tài)拍攝；若當(dāng)前運(yùn)動(dòng)大于一定閾值則判定為靜態(tài)抖動(dòng)；否則判定為非抖動(dòng)；
[0035]C2、當(dāng)前運(yùn)動(dòng)狀態(tài)為運(yùn)動(dòng)拍攝；若當(dāng)前運(yùn)動(dòng)量與主運(yùn)動(dòng)方向不一致，則判定為動(dòng)態(tài)抖動(dòng)；若當(dāng)前運(yùn)動(dòng)量與主運(yùn)動(dòng)方向一致，則判定為非抖動(dòng)。
[0036]根據(jù)本發(fā)明另一【具體實(shí)施方式】，步驟D具體包括如下兩種情況:
[0037]D1、步驟C判定為靜態(tài)抖動(dòng)，以當(dāng)前運(yùn)動(dòng)量為補(bǔ)償參數(shù)；
[0038]D2、步驟C判定為動(dòng)態(tài)抖動(dòng)，以當(dāng)前幀之前的若干幀間運(yùn)動(dòng)量的線性擬合值與當(dāng)前運(yùn)動(dòng)量之差為運(yùn)動(dòng)補(bǔ)償參數(shù)。
[0039]與現(xiàn)有技術(shù)相比，本發(fā)明具備如下有益效果:
[0040]本發(fā)明采用主運(yùn)動(dòng)方向識(shí)別的方法進(jìn)行連續(xù)視頻幀的抖動(dòng)判斷，提高了抖動(dòng)判斷的準(zhǔn)確性；采用初始的運(yùn)動(dòng)估計(jì)參數(shù)進(jìn)行初始運(yùn)動(dòng)狀態(tài)的判斷，避免了采用默認(rèn)初始值的單一性，提高了運(yùn)動(dòng)補(bǔ)償?shù)闹悄苄?；針?duì)連續(xù)視頻幀，采用主運(yùn)動(dòng)方向識(shí)別的方法輔助確定