運動估計方法及裝置的制造方法
【技術領域】
[0001] 本發明涉及數字信號處理技術領域，特別涉及一種運動估計方法及裝置。
【背景技術】
[0002] 光流（英文：0ptical Flow)估計法，即視頻圖像序列中的運動估計，是運動圖像 分析中的一種重要的方法，其在計算機視覺領域中有著廣泛的應用，例如：對象跟蹤、視頻 插值以及三維重建等。其中，光流是指圖像亮度模式的表觀運動，表達了圖像的變化，由于 它包含了目標運動的信息，因此可被觀察者用來確定目標的運動情況。現有的光流估計方 法通常需要對光流場（英文：〇ptical Flow Field)進行分析，所有光流的集合稱為光流 場，具體的，光流場是指圖像中所有像素點構成的一種二維（英文：2-Dimensions ;簡稱： 2D)瞬時速度，其中的二維速度矢量是景物中可見點的三維速度矢量在成像表面的投影。 所以光流不僅僅包含了被觀察物體的運動信息，而且還包含有有關對象三維結構的豐富信 息。近年來，基于光流場進行運動分割來提高運動估計準確性的方法逐漸引起學術界的關 注。如何進一步提高光流估計的準確率，并且在得到物體運動估計的同時獲得準確的運動 分割已逐漸成為運動估計技術發展的主流方向。
[0003] 目前較為常用的一種運動估計方法提出了一種進行顯示遮擋處理的聯合運動估 計和分割的統一變量模型，使用多標記來表7K光流場，每一個標記都代表了 一種參數化的 運動模式，同時也表示一個運動分割。
[0004] 現有的運動估計方法雖然能夠進行多幀的運動分割和光流估計以獲得較為準確 的運動分割，但是由于時空成本的限制，通常只能同時進行少量的幾幀圖像的處理，難以保 證運動分割的時空一致性，其中，運動分割的時空一致性是指視頻圖像的運動估計和分割 在時域上具有一致性，在空間域上具有連貫性。
【發明內容】
[0005] 為了提高運動分割的時空一致性，本發明實施例提供了一種運動估計方法及裝 置。所述技術方案如下：
[0006] 第一方面，提供了一種運動估計方法，所述方法包括：
[0007] 獲取輸入的圖像序列中的每一幀圖像的初始光流；
[0008] 根據顏色信息將所述每一幀圖像劃分為至少一個分割；
[0009] 獲取所述每一幀圖像中所有分割的初始運動模型；
[0010] 將所述每一幀圖像中所有分割的初始運動模型進行運動分割的時序匹配，以使得 所述圖像序列中的同一對象在所述圖像序列中的每一幀中具有相同的標記；
[0011] 根據時序匹配的結果得到運動分割和輸出光流。
[0012] 在第一方面的第一種可能的實施方式中，在所述根據每一幀圖像的所有分割的初 始運動模型進行運動分割的時序匹配之前，所述方法還包括：
[0013] 根據所述每一幀圖像中所有分割的初始運動模型，將具有相同運動形式的初始運 動模型進行聚類優化；和/或
[0014] 合并所述每一幀圖像中運動一致的分割。
[0015] 結合第一方面或第一方面的第一種可能的實施方式，在第二種可能的實施方式 中，所述將所述每一幀圖像中所有分割的初始運動模型進行運動分割的時序匹配包括 ：
[0016] 將輸入的圖像序列中的第一幀圖像作為初始匹配模版，其每個分割作為一個數據 分段，為每一個所述數據分段分配唯一的標記；
[0017] 對于第t幀中的分割#，根據t幀到t_l幀的光流，跟蹤#中的每個像素 xt在第 t-Ι幀中的對應點xt i，其中，xt i在t-Ι幀中所在的分割記為 ，則構成的集合<:>M 表示分割#在t_l幀中對應的所有可能分割；
[0018] 對于i中每個分割，計算同< 的匹配率：
[0020] 其中，| xt |為分割<中與分割相對應的像素的個數，分母表示分割中 點的個數；
[0021] 計算同沒^的匹配率：
[0023] 其中，對中每個分割&^ >根據t-Ι幀到t幀的光流，得至1」$^中每個點xt i在 t中的對應點xt，統計xt屬于< 的點的個數記為c，| < |為分割#中點的個數；
[0024] 計算 < 同^^的最終匹配率：
[0026] 當時，確定< 和匹配，將< 的標記更新為的標記，并且將< 加入 到所在的數據分段中，其中，〇 m為預設的匹配閾值；
[0027] 當< 在t-Ι幀中不存在匹配分割時，將< 同t_2幀中的分割進行匹配；
[0028] 當匹配次數大于預設的匹配步長時結束匹配，為不存在匹配分割的< 分配一個新 的標記，將 < 加入到新的數據分段中。
[0029] 結合第一方面的第二種可能的實施方式，在第三種可能的實施方式中，所述根據 時序匹配的結果得到運動分割和輸出光流包括：根據時序匹配的結果分別進行運動分割的 時空一致性優化和運動估計的時空一致性優化，得到時空一致的運動分割和輸出光流。
[0030] 結合第一方面的第三種可能的實施方式，在第四種可能的實施方式中，所述運動 分割的時空一致性優化包括：
[0031] 固定每一幀圖像的分割標記不變；
[0032] 根據光流，跟蹤第t幀中每個像素 xt的在相鄰的Nt幀中的對應點，得到候選標記 集合P(xt);
[0033] 根據所述候選標記集合P(xt)得到出現次數最多的標記；
[0034] 當Cs < Nt/2或者CPt < 〇 Pt時，其中，CS為每個數據分段中包含的分割的數量，CPt 為所述數據分段中所有分割點的個數，σ pt為預設閾值，對于所述數據分段中的每個分割， 根據所述數據分段中的點在其他幀中對應點的標記情況，選擇一個最佳匹配的數據分段進 行強制合并；
[0035] 更新剩余的數據分段的標記。
[0036] 結合第一方面的第三種可能的實施方式，在第五種可能的實施方式中，所述運動 估計的時空一致性優化包括：
[0037] 根據當前運動，獲取每個標記1表示的數據分段在每一幀中對應的分割的仿射變 換模型
[0038] 對于第t幀，根據仿射變換模型4計算得到光流，以使得第t幀中的每一個像素 xt 在其他幀t'中對應點xt，在顏色空間的歐式距離之和最小；
[0039] 更新所述第t幀的光流；
[0040] 進行遮擋區域的檢測；
[0041] 對遮擋區域的運動進行顯示糾正。
[0042] 結合第一方面或第一方面的第一種可能的實施方式，在第六種可能的實施方式 中，所述初始運動模型包括仿射模型；
[0043] 所述獲取所述每一幀圖像中所有分割的初始運動模型包括：
[0044] 計算仿射變換的參數，得到擬合初始運動的仿射模型；
[0045] 根據所述仿射模型得到每一幀圖像的仿射運動場；
[0046] 將所述仿射運動場與初始光流場進行融合；
[0047] 根據運動的一致性進行遮擋區域的檢測；
[0048] 對遮擋區域根據所在分割的仿射運動進行顯示地運動矯正。
[0049] 結合第一方面的第六種可能的實施方式，在第七種可能的實施方式中，所述根據 所述每一幀圖像中所有分割的初始運動模型，將具有相同運動形式的初始運動模型進行聚 類優化包括：
[0050] 對一幀圖像中的所有分割按照面積大小進行排序，根據面積由大到小依次篩選仿 射模型；
[0051] 當分割Sl的面積大于預設面積Sizes或者仿射模型集{A}中仿射模型的數量小于 預設數量Numjt，將分割^的仿射模型~同{A}進行比較，若{A}中存在一個仿射模型A' 同4的歐式距離小于預設距離Th A，則舍棄當前仿射模型~，否則將~加入到{A}，得到最 小仿射模型集{A}。
[0052] 結合第一方面的第六種可能的實施方式，在第八種可能的實施方式中，所述合并 所述每一幀圖像中運動一致的分割包括：
[0053] 對于每個分割s，計算在當前分割的仿射模型下分割內所有像素的顏色差異總 和；
[0054] 計算分割Si的候選相鄰分割集合{SNm}，其中，對于每個候選相鄰分割s'滿足 2|s，I > |s| ;
[0055] 對于{SNJ中每個相鄰分割s'，分別計算s同s'邊界上運動的一致性，s中 的像素的當前運動同s'的仿射模型的一致性€^ , s中的像素在s'的仿射模型下顏色差 異同自身仿射模型的顏色差異的比值CSiS，；
[0056] 從{SNJ 中選擇出滿足 Ss,s. > 0. 5，FS,S. > 0. 5，CS,S. > 0. 5 的相鄰分割，將 Cs,s.最 大的相鄰分割作為候選分割，記為s*，當Cs, s,> 0w時，其中，0w為預設比值，將s合并到 S*中；
[0057] 對每個分割s進行合并，若最后被合并的分割的總數超過了初始分割數的一半， 則重新進行仿射模型的估計。
[0058] 在第一方面的第九種可能的實施方式中，所述初始光流包括前向光流和/或反向 光流。
[0059] 第二方面，提供了一種運動估計裝置，所述裝置包括：
[0060] 獲取單元，用于獲取輸入的圖像序列中的每一幀圖像的初始光流；
[0061] 分割單元，用于根據顏色信息將所述每一幀圖像劃分為至少一個分割；
[0062] 運動模型估計單元，用于獲取所述每一幀圖像中所有分割的初始運動模型；
[0063] 時序匹配單元，用于將所述每一幀圖像中所有分割的初始運動模型進行運動分割 的時序匹配，以使得所述圖像序列中的同一對象在所述圖像序列中的每一幀中具有相同的 標記；
[0064] 處理單元，用于根據時序匹配的結果得到運動分割和輸出光流。
[0065] 在第二方面的第一種可能的實施方式中，所述裝置還包括：
[0066] 聚類單元，用于根據所述每一幀圖像中所有分割的初始運動模型，將具有相同運 動形式的初始運動模型進行聚類優化；和/或
[0067] 合并單元，用于合并所述每一幀圖像中運動一致的分割。
[0068] 結合第二方面或第二方面的第一種可能的實施方式，在第二種可能的實施方式 中，所述時序匹配單元具體用于：
[0069] 將輸入的圖像序列中的第一幀圖像作為初始匹配模版，其每個分割作為一個數據 分段，為每一個所述數據分段分配唯一的標記；
[0070] 對于第t幀中的分割S'f,根據t幀到t_l幀的光流，跟蹤 < 中的每個像素 xt在第 t-Ι幀中的對應點xt i，其中，xt i在t-Ι幀中所在的分割記為，則構成的集合兒>M 表示分割sf在t_l幀中對應的所有可能分割；
[0071] 對于兒％中每個分割^十算^^同^的匹配率：
[0073] 其中，I xt I為分割中與分割〇目對應的像素的個數，分母表示分割中 點的個數；
[0074] 計算#同的匹配率：
[0076] 其中，對中每個分割，根據t-Ι幀到t幀的光流，得到<:1中每個點xt 1 在t中的對應點xt，統計xt屬于 < 的點的個數記為c，| < |為分割 <中點的個數；
[0077] 計算< 同S匕的最終匹配率：
[0079] 當/^>~時，確定4和匹配，將< 的標記更新為的標記，并且將< 加入 到所在的數據分段中，其中，σ "為預設的匹配閾值；
[0080] 當4在t-ι幀中不存在匹配分割時，將4同t-2幀中的分割進行匹配；
[