本發明涉及圖像處理領域,尤其是一種基于特征匹配與運動補償的視頻穩像方法及系統。
背景技術:
視頻作為一種重要的載體,里面包含有豐富的信息,在很多場合被加以廣泛運用,發揮著越來越重要的作用。為了能夠提取有效的區域信息,獲取的視頻需要具有一定的穩定性和清晰度。
伴隨著攝像設備的廣泛應用,攝像平臺也越來越多樣化,其可主要劃分為固定平臺和移動平臺這兩種。攝像平臺中各種手持攝像設備、航拍器、車載攝像系統等由于受姿態變化和攝像機抖動等因素的影響,使得視頻信息發生旋轉或平移等隨機運動,造成同一背景下存在有多種運動矢量和相鄰幀間圖像的坐標系不一致,使得輸出的圖像沒有很好的穩定性,容易導致攝像平臺因輸出圖像不穩定所帶來的誤差而無法提取有效正確的信息。因此,如何將這些抖動模糊的視頻信號轉化為穩定清晰的視頻信號,就顯得尤為重要。
目前國內外防抖方法主要包括機械穩像法、光學穩像法以及電子防抖法等。光學穩像法存在成本高、結構較為精密復雜等缺點。而機械穩像法的精度較低,同時其對一些較為明顯的噪聲處理效果不佳。電子穩像法能直接從視頻序列中消除設想載體帶來的抖動,不依賴與任何支撐體系。相比前兩種方法而言,電子防抖技術具有成本低、靈活精確、能耗小等優點,具有廣闊的應用前景,逐漸取代機械穩像法和光學穩像法成為防抖技術的主流。
近年來,針對電子防抖算法的研究有很多,其中既有基于Harris角點、SUSAN角點進行運動估計的方法,也有基于尺度不變性(如SIFT算法、SURF算法)的征匹配方法。Harris角點和SUSAN角點對較為穩定視頻圖像進行匹配的效果好,但該算法的特征檢測和匹配速度較慢。SIFT算法具有尺度不變性,能夠適應圖像的多種變化情況,因此得到了廣泛的使用,但該算法的計算量大,處理速度慢,不適用于實時處理。SURF算法,是一種對SIFT改進的算法,其性能超過了SIFT且在處理速度上有了提高,但它同樣存在計算量大,不適用于實時處理的缺點,而且其進行特征匹配的正確率不高,需要進行進一步改進。
技術實現要素:
為解決上述技術問題,本發明的目的在于:提供一種處理速度快和正確率高的,基于特征匹配與運動補償的視頻穩像方法。
本發明的另一目的在于:提供一種處理速度快和正確率高的,基于特征匹配與運動補償的視頻穩像系統。
本發明所采取的技術方案是:
一種基于特征匹配與運動補償的視頻穩像方法,包括以下步驟:
選取視頻幀圖像的局部特征匹配區域,所述視頻幀圖像的局部特征匹配區域包括四個矩形框區域,所述四個矩形框區域由視頻幀圖像的四個邊角區域分別向內縮進設定的距離得到;
在視頻幀圖像的局部特征匹配區域中采用SURF算法提取視頻幀圖像特征點,并計算相應的SURF特征點描述符;
采用改進的快速近似最鄰近匹配算法對視頻幀圖像進行局部特征點匹配,所述改進的快速近似最鄰近匹配算法先訓練好匹配器,再選取最優索引類型來為SURF特征點描述符構建索引樹,最后根據匹配器和索引樹采用權值篩選法、雙向匹配法以及K-近鄰算法篩選出最終的匹配點;
根據匹配的結果采用最小二乘法來求解視頻幀圖像的仿射變換參數,然后根據求解出的仿射變換參數采用雙線性插值法對視頻幀圖像進行全局運動補償。
進一步,所述在視頻幀圖像的局部特征匹配區域中采用SURF算法提取視頻幀圖像特征點,并計算相應的SURF特征描述符這一步驟,其包括:
為視頻幀圖像的局部特征匹配區域中的圖像點構建海森矩陣;
構造高斯金字塔尺度空間;
在高斯金字塔尺度空間中根據設定的海森矩陣判別式采用非極大值抑制的方式初步確定視頻幀圖像特征點;
構造視頻幀圖像的SURF特征描述符;
選取視頻幀圖像特征點的主方向;
根據SURF特征描述符和選取的主方向從初步確定的視頻幀圖像特征點中精確定位出極值點,并以定位出的極值點作為提取出的視頻幀圖像特征點。
進一步,所述采用改進的快速近似最鄰近匹配算法對視頻幀圖像進行局部特征點匹配這一步驟,其包括:
根據視頻幀圖像特征點訓練好相應的匹配器;
根據視頻幀圖像特征點數據選取最優的索引類型隨機KD-tree樹和層次K-means tree為SURF特征描述子建立索引樹;
根據匹配器和索引樹采用權值篩選法、雙向匹配法以及K-近鄰算法篩選出最終的匹配點。
進一步,所述根據匹配器和索引樹采用權值篩選法、雙向匹配法以及K-近鄰算法篩選出最終的匹配點這一步驟,其包括:
S1、從視頻幀圖像中選取基準幀圖像和當前幀圖像,并得到基準幀圖像與當前幀圖像的對應特征點,其中,當前幀圖像為視頻幀圖像中除了基準幀圖像外的任一幀圖像;
S2、計算基準幀圖像與當前幀圖像的對應特征點的歐氏距離和最小歐氏距離,然后根據計算的最小歐氏距離設定距離閾值,并將基準幀圖像與當前幀圖像的對應特征點中歐氏距離小于設定距離閾值的對應特征點作為匹配點對保留而將其余對應特征點剔除,其中,設定距離閾值為最小歐氏距離閾值的若干倍;
S3、將基準幀圖像與當前幀圖像進行雙向匹配,從而將基準幀圖像與當前幀圖像的對應特征點中不符合雙向匹配原則的對應特征點從步驟S2保留的匹配點對中剔除;
S4、采用K-近鄰算法從步驟S3得到的匹配點對中篩選出最終的匹配點。
進一步,所述步驟S4,其包括:
S41、根據對應特征點的歐氏距離為當前幀圖像的每個SURF特征描述子尋找最優匹配點和次最優匹配點,其中,最優匹配點是對應特征點的最小歐氏距離對應的點,次最優匹配點是對應特征點的次最小歐氏距離對應的點;
S42、判斷最優匹配點的歐氏距離與次最優匹配點的歐氏距離的比值是否趨于0,若是,則將對應特征點保留在步驟S3得到的匹配點對中,反之,則將對應特征點從步驟S3得到的匹配點對中剔除,從而得到最終的匹配點。
進一步,所述基準幀圖像的選取間隔為10幀。
進一步,所述根據匹配的結果采用最小二乘法來求解視頻幀圖像的仿射變換參數,然后根據求解出的仿射變換參數采用雙線性插值法對視頻幀圖像進行全局運動補償這一步驟,其包括:
根據仿射變換模型和視頻幀圖像中相鄰兩幀圖像匹配的結果采用最小二乘法來求解視頻幀圖像的仿射變換參數;
根據求解出的仿射變換參數采用雙線性插值法對視頻幀圖像進行全局運動補償。
本發明解決其技術問題所采取的另一技術方案是:
一種基于特征匹配與運動補償的視頻穩像系統,包括:
局部特征匹配區域選取模塊,用于選取視頻幀圖像的局部特征匹配區域,所述視頻幀圖像的局部特征匹配區域包括四個矩形框區域,所述四個矩形框區域由視頻幀圖像的四個邊角區域分別向內縮進設定的距離得到;
特征點提取模塊,用于在視頻幀圖像的局部特征匹配區域中采用SURF算法提取視頻幀圖像特征點,并計算相應的SURF特征點描述符;
局部特征點匹配模塊,用于采用改進的快速近似最鄰近匹配算法對視頻幀圖像進行局部特征點匹配,所述改進的快速近似最鄰近匹配算法先訓練好匹配器,再選取最優索引類型來為SURF特征點描述符構建索引樹,最后根據匹配器和索引樹采用權值篩選法、雙向匹配法以及K-近鄰算法篩選出最終的匹配點;
仿射變換與全局運動補償模塊,用于根據匹配的結果采用最小二乘法來求解視頻幀圖像的仿射變換參數,然后根據求解出的仿射變換參數采用雙線性插值法對視頻幀圖像進行全局運動補償。
進一步,所述局部特征點匹配模塊包括:
訓練單元,用于根據視頻幀圖像特征點訓練好相應的匹配器;
索引樹建立單元,用于根據視頻幀圖像特征點數據選取最優的索引類型隨機KD-tree樹和層次K-means tree為SURF特征描述子建立索引樹;
匹配點篩選單元,用于根據匹配器和索引樹采用權值篩選法、雙向匹配法以及K-近鄰算法篩選出最終的匹配點。
進一步,所述匹配點篩選單元包括:
初始化子單元,用于從視頻幀圖像中選取基準幀圖像和當前幀圖像,并得到基準幀圖像與當前幀圖像的對應特征點,其中,當前幀圖像為視頻幀圖像中除了基準幀圖像外的任一幀圖像;
權值法篩選子單元,用于計算基準幀圖像與當前幀圖像的對應特征點的歐氏距離和最小歐氏距離,然后根據計算的最小歐氏距離設定距離閾值,并將基準幀圖像與當前幀圖像的對應特征點中歐氏距離小于設定距離閾值的對應特征點作為匹配點對保留而將其余對應特征點剔除,其中,設定距離閾值為最小歐氏距離閾值的若干倍;
雙向匹配子單元,用于將基準幀圖像與當前幀圖像進行雙向匹配,從而將基準幀圖像與當前幀圖像的對應特征點中不符合雙向匹配原則的對應特征點從權值法篩選子單元保留的匹配點對中剔除;
K-近鄰算法篩選子單元,用于采用K-近鄰算法從雙向匹配子單元得到的匹配點對中篩選出最終的匹配點。
本發明的方法的有益效果是:包括選取視頻幀圖像的局部特征匹配區域,采用SURF算法提取視頻幀圖像特征點,采用改進的快速近似最鄰近匹配算法對視頻幀圖像進行局部特征點匹配以及對視頻幀圖像進行全局運動補償的步驟,將局部特征匹配與運動補償相結合,有效加快了算法的處理速度,并對現有特征點匹配步驟所采用的快速近似最鄰近匹配算法進行了改進,增設了采用權值篩選法、雙向匹配法以及K-近鄰算法篩選出最終的匹配點過程,大大提高了特征匹配的正確率。
本發明的系統的有益效果是:包括用于選取視頻幀圖像的局部特征匹配區域的局部特征匹配區域選取模塊,用于采用SURF算法提取視頻幀圖像特征點的特征點提取模塊,用于采用改進的快速近似最鄰近匹配算法對視頻幀圖像進行局部特征點匹配的局部特征點匹配模塊以及用于對視頻幀圖像進行全局運動補償的仿射變換與全局運動補償模塊,將局部特征匹配與運動補償相結合,有效加快了算法的處理速度,并對現有特征點匹配過程所采用的快速近似最鄰近匹配算法進行了改進,在局部特征點匹配模塊中增設了采用權值篩選法、雙向匹配法以及K-近鄰算法篩選出最終的匹配點過程,大大提高了特征匹配的正確率。
附圖說明
圖1為本發明一種基于特征匹配與運動補償的視頻穩像方法的整體流程圖;
圖2為本發明所選取的局部特征匹配區域示意圖;
圖3為本發明SURF算法的流程圖;
圖4為本發明實施例一的一個優選實施流程圖。
具體實施方式
參照圖1和2,一種基于特征匹配與運動補償的視頻穩像方法,包括以下步驟:
選取視頻幀圖像的局部特征匹配區域,所述視頻幀圖像的局部特征匹配區域包括四個矩形框區域,所述四個矩形框區域由視頻幀圖像的四個邊角區域分別向內縮進設定的距離得到;
在視頻幀圖像的局部特征匹配區域中采用SURF算法提取視頻幀圖像特征點,并計算相應的SURF特征點描述符;
采用改進的快速近似最鄰近匹配算法對視頻幀圖像進行局部特征點匹配,所述改進的快速近似最鄰近匹配算法先訓練好匹配器,再選取最優索引類型來為SURF特征點描述符構建索引樹,最后根據匹配器和索引樹采用權值篩選法、雙向匹配法以及K-近鄰算法篩選出最終的匹配點;
根據匹配的結果采用最小二乘法來求解視頻幀圖像的仿射變換參數,然后根據求解出的仿射變換參數采用雙線性插值法對視頻幀圖像進行全局運動補償。
參照圖3,進一步作為優選的實施方式,所述在視頻幀圖像的局部特征匹配區域中采用SURF算法提取視頻幀圖像特征點,并計算相應的SURF特征描述符這一步驟,其包括:
為視頻幀圖像的局部特征匹配區域中的圖像點構建海森矩陣;
構造高斯金字塔尺度空間;
在高斯金字塔尺度空間中根據設定的海森矩陣判別式采用非極大值抑制的方式初步確定視頻幀圖像特征點;
構造視頻幀圖像的SURF特征描述符;
選取視頻幀圖像特征點的主方向;
根據SURF特征描述符和選取的主方向從初步確定的視頻幀圖像特征點中精確定位出極值點,并以定位出的極值點作為提取出的視頻幀圖像特征點。
進一步作為優選的實施方式,所述采用改進的快速近似最鄰近匹配算法對視頻幀圖像進行局部特征點匹配這一步驟,其包括:
根據視頻幀圖像特征點訓練好相應的匹配器;
根據視頻幀圖像特征點數據選取最優的索引類型隨機KD-tree樹和層次K-means tree為SURF特征描述子建立索引樹;
根據匹配器和索引樹采用權值篩選法、雙向匹配法以及K-近鄰算法篩選出最終的匹配點。
進一步作為優選的實施方式,所述根據匹配器和索引樹采用權值篩選法、雙向匹配法以及K-近鄰算法篩選出最終的匹配點這一步驟,其包括:
S1、從視頻幀圖像中選取基準幀圖像和當前幀圖像,并得到基準幀圖像與當前幀圖像的對應特征點,其中,當前幀圖像為視頻幀圖像中除了基準幀圖像外的任一幀圖像;
S2、計算基準幀圖像與當前幀圖像的對應特征點的歐氏距離和最小歐氏距離,然后根據計算的最小歐氏距離設定距離閾值,并將基準幀圖像與當前幀圖像的對應特征點中歐氏距離小于設定距離閾值的對應特征點作為匹配點對保留而將其余對應特征點剔除,其中,設定距離閾值為最小歐氏距離閾值的若干倍;
S3、將基準幀圖像與當前幀圖像進行雙向匹配,從而將基準幀圖像與當前幀圖像的對應特征點中不符合雙向匹配原則的對應特征點從步驟S2保留的匹配點對中剔除;
S4、采用K-近鄰算法從步驟S3得到的匹配點對中篩選出最終的匹配點。
進一步作為優選的實施方式,所述步驟S4,其包括:
S41、根據對應特征點的歐氏距離為當前幀圖像的每個SURF特征描述子尋找最優匹配點和次最優匹配點,其中,最優匹配點是對應特征點的最小歐氏距離對應的點,次最優匹配點是對應特征點的次最小歐氏距離對應的點;
S42、判斷最優匹配點的歐氏距離與次最優匹配點的歐氏距離的比值是否趨于0,若是,則將對應特征點保留在步驟S3得到的匹配點對中,反之,則將對應特征點從步驟S3得到的匹配點對中剔除,從而得到最終的匹配點。
進一步作為優選的實施方式,所述基準幀圖像的選取間隔為10幀。
進一步作為優選的實施方式,所述根據匹配的結果采用最小二乘法來求解視頻幀圖像的仿射變換參數,然后根據求解出的仿射變換參數采用雙線性插值法對視頻幀圖像進行全局運動補償這一步驟,其包括:
根據仿射變換模型和視頻幀圖像中相鄰兩幀圖像匹配的結果采用最小二乘法來求解視頻幀圖像的仿射變換參數;
根據求解出的仿射變換參數采用雙線性插值法對視頻幀圖像進行全局運動補償。
參照圖1和2,一種基于特征匹配與運動補償的視頻穩像系統,包括:
局部特征匹配區域選取模塊,用于選取視頻幀圖像的局部特征匹配區域,所述視頻幀圖像的局部特征匹配區域包括四個矩形框區域,所述四個矩形框區域由視頻幀圖像的四個邊角區域分別向內縮進設定的距離得到;
特征點提取模塊,用于在視頻幀圖像的局部特征匹配區域中采用SURF算法提取視頻幀圖像特征點,并計算相應的SURF特征點描述符;
局部特征點匹配模塊,用于采用改進的快速近似最鄰近匹配算法對視頻幀圖像進行局部特征點匹配,所述改進的快速近似最鄰近匹配算法先訓練好匹配器,再選取最優索引類型來為SURF特征點描述符構建索引樹,最后根據匹配器和索引樹采用權值篩選法、雙向匹配法以及K-近鄰算法篩選出最終的匹配點;
仿射變換與全局運動補償模塊,用于根據匹配的結果采用最小二乘法來求解視頻幀圖像的仿射變換參數,然后根據求解出的仿射變換參數采用雙線性插值法對視頻幀圖像進行全局運動補償。
進一步作為優選的實施方式,所述局部特征點匹配模塊包括:
訓練單元,用于根據視頻幀圖像特征點訓練好相應的匹配器;
索引樹建立單元,用于根據視頻幀圖像特征點數據選取最優的索引類型隨機KD-tree樹和層次K-means tree為SURF特征描述子建立索引樹;
匹配點篩選單元,用于根據匹配器和索引樹采用權值篩選法、雙向匹配法以及K-近鄰算法篩選出最終的匹配點。
進一步作為優選的實施方式,所述匹配點篩選單元包括:
初始化子單元,用于從視頻幀圖像中選取基準幀圖像和當前幀圖像,并得到基準幀圖像與當前幀圖像的對應特征點,其中,當前幀圖像為視頻幀圖像中除了基準幀圖像外的任一幀圖像;
權值法篩選子單元,用于計算基準幀圖像與當前幀圖像的對應特征點的歐氏距離和最小歐氏距離,然后根據計算的最小歐氏距離設定距離閾值,并將基準幀圖像與當前幀圖像的對應特征點中歐氏距離小于設定距離閾值的對應特征點作為匹配點對保留而將其余對應特征點剔除,其中,設定距離閾值為最小歐氏距離閾值的若干倍;
雙向匹配子單元,用于將基準幀圖像與當前幀圖像進行雙向匹配,從而將基準幀圖像與當前幀圖像的對應特征點中不符合雙向匹配原則的對應特征點從權值法篩選子單元保留的匹配點對中剔除;
K-近鄰算法篩選子單元,用于采用K-近鄰算法從雙向匹配子單元得到的匹配點對中篩選出最終的匹配點。
下面結合說明書附圖和具體實施例對本發明作進一步解釋和說明。
實施例一
針對于現有的電子穩像方法處理速度慢和特征匹配的正確率低的問題,本發明提出了一種改進的基于局部特征匹配與運動補償相結合的視頻穩像方法,有效地提高了算法的處理速度以及匹配的正確度。本發明所提出的方法能對視頻幀圖像進行正確的運動補償,最終能獲得良好的穩像效果。如圖1所示,該方法主要包括:首先選取局部特征匹配區域來提高算法處理速度,并減少場景內運動目標對穩像效果的影響;接著,通過SURF算法提取圖像特征點并計算描述符;結合改進的快速近似最鄰近匹配算法對特征點進行匹配,其中,為盡可能消除下一步對穩像效果的影響,改進的快速近似最鄰近匹配算法通過權值篩選、雙向匹配以及K-近鄰算法來篩選最終的匹配點(即優秀匹配點);最后,建立仿射變換模型,通過最小二乘法求解視頻幀圖像的仿射變換參數,進而對視頻幀圖像進行全局運動補償。下面對本發明主要的穩像過程進行具體說明。
(一)選取局部特征匹配區域
對全局的特征點進行提取,存在著計算量大的缺點,而且由于拍攝的場景內有大量的運動物體,如果進行全局特征點匹配將會導致對攝像機移動參數的錯誤估計,無法求取正確的變換參數,使得無法進行后續的運動補償。針對這一問題,本發明提出了基于局部區域特征的匹配方法。大部分情況下,運動物體出現在中間區域,為避免選取到運動物體,需將特征匹配區域定在視頻幀圖像的四個角落區域;而攝像機的抖動,會導致在視頻幀圖像的四個邊角地方信息發生變化。為此,本發明選取了視頻幀圖像內的四個邊角區域向內縮進一定距離的四個矩形框區域作為局部特征匹配區域,如圖2中的斜線部分所示。
(二)通過SURF算法提取視頻幀圖像的特征點并計算相應的特征描述符
(1)SURF算法理論
海森矩陣(即Hessian矩陣)是SURF算法的核心,設某圖像點為I(x,y),則其在尺度σ的海森矩陣H(x,y,σ)為:
式中,Lxx(x,y,σ)、Lxy(x,y,σ)和Lyy(x,y,σ)為圖像在點(x,y)處分別與高斯函數二階偏導和的卷積,G(x,y,σ)為圖像在點(x,y)處的高斯濾波函數。
在構建出海森矩陣前,考慮到特征點應該具備尺度不變性,因此,本發明先采用高斯函數G(t)對圖像點I(x,t)進行高斯濾波則有:
L(x,t)=G(t)·I(x,t)
L(x,t)是在不同解析度下圖像的表示。
Bay等人提出了用方框濾波的近似值代替L(x,t),并引入了權值系數來減小近似值與實際值的誤差。設圖像I(x,y)和方框濾波卷積后的結果分別為Dxx、Dyy、Dxy(這3個參數的定義可類比Lxx(x,y,σ)、Lxy(x,y,σ)和Lyy(x,y,σ)的定義),則根據相關理論,可以將海森的判別式表示為:
det(H)=DxxDyy-(0.9Dxy)2
det(H)為海森矩陣H的特征值的乘積。
通過上述判別式可以確定極值點,然后利用非極大值抑制的方式確定特征點,接著選取特征點的方向,最后根據特征點的方向構造SURF特征點描述符。
此外,為使提取的SURF特征具有尺度不變性,本發明在構造SURF特征點描述符的同時還需要構造尺度空間,并在各個尺度下通過海森矩陣的判別式得到最終的極值點。本發明的尺度空間可選擇高斯金字塔尺度空間。
(2)SURF算法流程
如圖3所示,本發明SURF算法的包含的步驟有:構建海森矩陣,構造高斯金字塔尺度空間,非極大值抑制初步確定特征點,構造SURF特征描述符,選取特征點的主方向,精確定位極值點(即提取出的視頻幀圖像特征點)。
(三)結合改進的快速近似最鄰近匹配算法對特征點進行匹配。
當前提出了許多近似最近鄰搜索算法,它們都是以犧牲一定精度為代價,來提高速度。而在FLANN算法中分析了大量的近似最近鄰搜索算法,并提出了對于高維空間中的最鄰近搜索問題,選出了性能最好的K-means tree分層和隨機KD-tree來進行近似搜索。FLANN算法能根據使用者輸入的數據情況自動確定最佳算法和最優參數值。本發明引入了FLANN算法結合SURF算法來進行特征點的快速高效匹配。出于匹配正確度的考慮,本發明還對快速近似最鄰近匹配算法進行了改進。
本發明的特征點匹配流程為:
(1)訓練一個匹配器,并根據視頻幀圖像特征點數據選取最優的索引類型隨機KD-tree樹和層次K-means tree為特征描述子建立特征點的索引樹,以提高匹配的速度。
(2)計算相鄰兩幀圖像對應特征點的歐氏距離,然后選取最小的歐氏距離d,設定一個閾值D=u*d,這里可取u=2。當對應特征點的歐氏距離小于D時,保留該對應特征點為匹配點,否則將該對應特征點剔除。
(3)將相鄰兩幀圖像進行雙向匹配,通過重復(2)的步驟進行匹配,當匹配得到的特征點對與步驟(2)得到的結果一樣時,才是匹配點。
(4)通過K-鄰近算法篩選優秀匹配點。
K-近鄰算法即對每個SURF特征描述子尋找K個最鄰近的匹配點,當查詢的特征描述子的總數量少于K個的時候,則取總數量。這里可取K=2,此時,根據歐氏距離確定的兩個最鄰近的點中一個是最優匹配點,另一個則是次最優匹配點。只有當最優匹配點的歐氏距離非常小,遠遠小于次最優匹配點的歐氏距離時(即最優匹配點的歐氏距離與次最優匹配點的歐氏距離的比值趨于0,也就是說該比值無限接近0),保留最優匹配點;當這兩個匹配點的歐氏距離較為相近時,則該最優匹配點有可能出錯,因此需要將其剔除。
本發明的特征匹配流程通過權值篩選步驟(2)、雙向匹配步驟(3)和K-近鄰算法篩選步驟來對匹配點進行多次篩選,保證了匹配的精度。
(四)仿射變換模型及全局運動補償
根據仿射變換模型,假設前一幀圖像和后一幀圖像對應的像素點位置分別為和若用2*3的矩陣來表示仿射變換,設定和則Xn和Xn+1可以表示為:
Xn+1=A·Xn+B
其中,A表示水平和垂直尺度,B為平移參數,則Xn+1可表示為:
根據上述方法,本發明可以通過相鄰幀圖像來求解變換參數。由于存在多個特征匹配點,本發明采用最小二乘法來求解仿射變換的最優解,再采用雙線性插值法對當前幀圖像進行全局運動補償。
如圖4所示,本發明的視頻穩像方法的一個優選實施流程為:在輸入視頻中每10幀提取一幀圖像作為基準幀,其余幀向基準幀進行配準:首先選取基準幀局部匹配區域,然后提取特征點,并計算相應的描述符;接著讀入下一幀圖像作為當前幀,采用同樣的方法選取局部匹配區域,提取特征點,并計算描述符;再接著采用快速近似最鄰近匹配算法對基準幀和當前幀這兩幀圖像進行匹配,并通過權值篩選、雙向匹配以及K-近鄰算法這三個步驟來篩選出優秀匹配點;然后通過最小二乘法來求解仿射變換的變換參數;最后使用雙線性插值法對當前幀圖像進行全局運動補償。基于相鄰幀之間的變化較小這一特性,該優選實施流程每隔10幀選取一幀圖像作為基準幀,其余幀向該基準幀配準,測試結果表明這種方法不但沒有影響圖像配準的精度,而且使得匹配的速度大大加快。
與現有技術相比,本發明具有以下優點:
(1)在局部特征匹配區域內進行特征匹配,采用了局部區域特征匹配法來取代全局區域特征匹配法,使得計算量大大減少,加快了處理速度,實時性好,并降低了運動物體位置的變化對后續運動參數估計的影響,魯棒性更好。
(2)在采用快速近似最鄰近搜索算法進行特征點匹配時,先訓練一個匹配器,再根據視頻幀圖像特征點數據選取最優的索引類型隨機KD-tree樹和層次K-means tree為特征描述子建立索引樹,加快了匹配的速度。
(3)在進行特征點匹配時通過權值篩選、雙向匹配以及K-近鄰算法這三個步驟來確保匹配正確率:第一步先求取特征匹配點最小歐氏距離,再通過設定最小歐氏距離的若干倍,來篩選匹配點;第二步通過雙向匹配來確保匹配點的一一對應;第三步存儲兩個最優匹配點,只有當最優匹配點的歐氏距離遠遠小于次最優匹配點的歐氏距離時,才保留匹配點。
(4)基于相鄰幀之間的變化較小這一特性,每隔10幀選取一幀圖像作為基準幀,其余幀向該基準幀配準,在不影響圖像配準精度的同時大大加快了匹配的速度。
以上是對本發明的較佳實施進行了具體說明,但本發明并不限于所述實施例,熟悉本領域的技術人員在不違背本發明精神的前提下還可做作出種種的等同變形或替換,這些等同的變形或替換均包含在本申請權利要求所限定的范圍內。