視頻序列圖像的實時配準方法、系統(tǒng)及拍攝終端的制作方法
【技術領域】
[0001] 本發(fā)明涉及圖像處理技術領域，特別是一種視頻序列圖像的實時配準方法及其應 用該方法的系統(tǒng)、拍攝終端。
【背景技術】
[0002] 人們在手持攝像設備過程中，不可避免會遇到因運動抖動而引起的視頻畫面抖動 問題，因此視頻防抖技術使用得越來越廣泛。對于各種防抖處理技術，其中需要解決的首要 問題是視頻序列圖像的配準問題。
[0003] 現(xiàn)有的視頻序列圖像的配準算法一般分為兩大類，一類是基于稠密點集的配準方 法，如光流法及其衍生的方法。另一類是基于稀疏特征點集的配準方法，如SIFT，SURF和 0RB等各類利用特征點配準的方法。其中基于稠密點集的屁配準方法，其對齊效果較好，然 而計算量大，實時性較差，一般很難應用一般手持設備處理中?；谙∈杼卣鼽c集的配準方 法具有實用性高的特點成為了今年來國內(nèi)外的研究熱點，其中快速特征點搜索更是一個重 點研究方向。當中0RB特征檢測在特征點魯棒性和計算量上有一個很好的折衷，但對于手 持設備的實時檢測匹配處理仍沒有一個比較好的解決方法。
【發(fā)明內(nèi)容】
[0004] 本發(fā)明為解決上述問題，提供了一種視頻序列圖像的實時配準方法、系統(tǒng)及拍攝 終端，其通過使用簡化去噪和小根堆響應排序方法對傳統(tǒng)的0RB特征點搜索方法進行改 進，大大提高了特征點檢測的實時性和魯棒性，適用范圍更廣。
[0005] 為實現(xiàn)上述目的，本發(fā)明采用的技術方案為：
[0006] 首先，本發(fā)明提供一種視頻序列圖像的實時配準方法，其特征在于，包括以下步 驟：
[0007] 10.對待處理的序列圖像進行特征點檢測，得到特征點屬性；
[0008] 20.根據(jù)所述的特征點屬性進行計算各個特征點的harris響應值，并根據(jù)該 harris響應值對所述的特征點進行堆排序；
[0009] 30.根據(jù)所述的堆排序結(jié)果進行特征點篩選，得到關鍵特征點；
[0010] 40.根據(jù)所述的特征點屬性得到所述的關鍵特征點的位置信息，并根據(jù)該位置信 息構(gòu)建所述的關鍵特征點鄰域位置的蒙版圖；
[0011] 50.根據(jù)所述的蒙版圖在所述序列圖像中提取所述關鍵特征點的特征點描述子；
[0012] 60.根據(jù)所述的特征點描述子的相似性對所述的序列圖像的進行配準。
[0013] 優(yōu)選的，所述的步驟10中，進一步包括：
[0014] 11.對所述的序列圖像進行灰度化處理，生成灰度圖；
[0015] 12.對灰度圖像進行降采樣，得到一組不同尺度下的灰度圖，組成一個灰度圖金字 塔；
[0016] 13.對不同尺度的灰度圖進行FAST特征點檢測，得到特征點的位置屬性和尺度屬 性。
[0017] 優(yōu)選的，所述的步驟20中，根據(jù)harris響應值對所述的特征點進行堆排序，是通 過構(gòu)建小根堆，并計算不同尺度灰度圖中的對應特征點的harris響應值，在計算harris響 應值的過程的同時對小根堆進行更新。
[0018] 優(yōu)選的，所述的步驟30中根據(jù)所述的堆排序結(jié)果進行特征點篩選，是根據(jù)預設的 期望特征點的數(shù)量K，提取堆排序后的前K個harris響應值較大的特征點，得到關鍵特征 點。
[0019] 優(yōu)選的，所述的步驟40中，構(gòu)建所述的關鍵特征點鄰域位置的蒙版圖，進一步包 括：
[0020] 41 :設置特征點描述子的鄰域檢測尺寸的寬度W和高度Η;
[0021] 42 :根據(jù)所述的關鍵特征點所在尺度空間下的尺度灰度圖中的位置信息，換算出 對應在該尺度空間下的關鍵特征點的蒙版位置信息；
[0022] 43:遍歷所有的關鍵特征點，重復步驟42,形成最終一組不同尺度空間下的檢測 蒙版圖，組成相應的蒙版圖金字塔。
[0023] 優(yōu)選的，所述的步驟50中，根據(jù)所述的蒙版圖在所述序列圖像中提取所述關鍵特 征點的特征點描述子，進一步包括：
[0024] 51.根據(jù)所述的關鍵特征點的蒙版圖對所述的序列圖像進行局部的快速高斯模糊 處理，得到局部模糊圖像；
[0025] 52.根據(jù)灰度質(zhì)心法計算出所述的關鍵特征點的響應主方向；
[0026] 53.根據(jù)所述的關鍵特征點的響應主方向在所述的局部模糊圖像中提取該關鍵特 征點所對應的特征點描述子。
[0027] 優(yōu)選的，所述的步驟60中，根據(jù)所述的特征點描述子的相似性對所述的序列圖像 的進行配準，是通過計算所述的序列圖像中對應的關鍵特征點的特征點描述子之間的漢明 距離或者歐式距離，并對該距離與預設閾值進行比較計算來判斷所述的特征點描述子的相 似程度。
[0028] 并且，本發(fā)明還根據(jù)以上方法相應的提供了一種視頻序列圖像的實時配準系統(tǒng)， 其包括：
[0029] 特征點檢測模塊，用于對待處理的序列圖像進行特征點檢測，得到特征點屬性；
[0030] 特征點排序模塊，其根據(jù)所述的特征點屬性進行計算各個特征點的harris響應 值，并根據(jù)該harris響應值對所述的特征點進行堆排序；
[0031] 特征點篩選模塊，其根據(jù)所述的堆排序結(jié)果進行特征點篩選，得到關鍵特征點；
[0032] 蒙版圖構(gòu)建模塊，根據(jù)所述的特征點屬性得到所述的關鍵特征點的位置信息，并 根據(jù)該位置信息構(gòu)建所述的關鍵特征點鄰域位置的蒙版圖；
[0033] 描述子提取模塊，其根據(jù)所述的蒙版圖在所述序列圖像中提取所述關鍵特征點的 特征點描述子；
[0034]圖像配準模塊，其根據(jù)所述的特征點描述子的相似性對所述的序列圖像的進行配 準。
[0035] 優(yōu)選的，所述的描述子提取模塊進一步包括：
[0036] 模糊處理單元，其根據(jù)所述的關鍵特征點的蒙版圖對所述的序列圖像進行局部的 快速高斯模糊處理，得到局部模糊圖像；
[0037] 響應方向計算單元，其根據(jù)灰度質(zhì)心法計算出所述的關鍵特征點的響應主方向；
[0038] 描述子提取單元，其根據(jù)所述的關鍵特征點的響應主方向在所述的局部模糊圖像 中提取該關鍵特征點所對應的特征點描述子。
[0039]另外，本發(fā)明還提供了一種拍攝終端，其包括上述任一項所述的視頻序列圖像的 實時配準系統(tǒng)。
[0040] 本發(fā)明的有益效果是：
[0041] 本發(fā)明的一種視頻序列圖像的實時配準方法、系統(tǒng)及拍攝終端，其通過對待處理 的序列圖像進行特征點檢測并計算各個特征點的harris響應值，根據(jù)該harris響應值對 所述的特征點進行堆排序和特征點篩選，得到關鍵特征點，根據(jù)所述的特征點屬性得到所 述的關鍵特征點的位置信息，并根據(jù)該位置信息構(gòu)建所述的關鍵特征點鄰域位置的蒙版 圖，然后根據(jù)所述的蒙版圖在所述序列圖像中提取所述關鍵特征點的特征點描述子，最后 根據(jù)所述的特征點描述子的相似性對所述的序列圖像的進行配準，不僅大大的提高了特征 點檢測的實時性和魯棒性，而且能夠獲得準確且快速的匹配結(jié)果，特別適用于一些對實時 性要求較高的應用場景，例如實時防抖、場景匹配、抽幀算法中。
【附圖說明】
[0042] 此處所說明的附圖用來提供對本發(fā)明的進一步理解，構(gòu)成本發(fā)明的一部分，本發(fā) 明的示意性實施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當限定。在附圖中：
[0043] 圖1為本發(fā)明視頻序列圖像的實時配準方法的流程簡圖；
[0044]圖2為本發(fā)明視頻序列圖像的實時配準系統(tǒng)的結(jié)構(gòu)不意圖；
[0045] 圖3為本發(fā)明拍攝終端的結(jié)構(gòu)示意圖。
【具體實施方式】
[0046] 為使本發(fā)明實施例的目的、技術方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明實施例 中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是 本發(fā)明一部分實施例，而不是全部的實施例。應當理解，此處所描述的具體實施例僅用以解 釋本發(fā)明，并不用于限定本發(fā)明?；诒景l(fā)明中的實施例，本領域普通技術人員在沒有作出 創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0047] 如圖1所示，本發(fā)明的一種視頻序列圖像的實時配準方法，其包括以下步驟：
[0048] 10.對待處理的序列圖像進行特征點檢測，得到特征點屬性；
[00