一種基于局部策略的真實視頻復原方法
【專利摘要】本發明是一種基于局部策略的真實視頻復原方法，屬于圖像處理、模式識別領域。其核心在于首先提取出真實視頻中相鄰兩幀的運動前景，并匹配其特征點，從而利用特征點的運動向量估計前景中每個像素點的模糊核；其次，為去除視頻中的空間變化的物體運動模糊，提出一種基于局部塊的ADM算法，即復原出每個重疊的局部塊，并把它們融合成清晰的視頻幀。實驗表明本發明方法能克服傳統方法中放大噪聲，引入振鈴效應的缺點，對視頻幀的邊緣和細節有較好的復原效果。
【專利說明】
【技術領域】
[0001] 本發明屬于圖像處理、模式識別領域，具體涉及一種真實視頻復原技術。 一種基于局部策略的真實視頻復原方法
【背景技術】
[0002] 近年來，隨著多媒體技術的發展和視頻采集設備的不斷優化，視頻圖像被廣泛應 用于視頻監控、醫學檢測、放射性測量、天文觀測及遠程傳感等各個領域。然而在視頻的獲 取、傳輸、存儲和顯示過程中，由于氣流擾動、散焦、傳感器噪聲、攝像機與拍攝物體存在相 對運動等因素，會造成視頻的降質和退化，主要表現為視頻模糊、失真、出現附加噪聲等，使 視頻的可辨別能力和可用性降低。為得到高質量的視頻，我們通常需要對模糊視頻進行復 原。
[0003] 在造成視頻退化的眾多原因中，如果是因為在攝像機曝光時間內，攝像機和被 攝物體間存在相對運動而造成的模糊則稱為運動模糊。相對運動可分為兩種：相機抖動 和物體運動。許多現存的優秀去模糊算法都是假設模糊核是空間不變的，如，"M. Tao, J. Yang, B. He, Alternating direction algorithms for total variation deconvolution in image reconstruction,Department of Mathematics, Univ. Nanjing, Nanjing, Rep. TR0918, 2009. "中為有效且穩定地求解全變差模型而提出的交替方向算法（Alternating Direction Method, ADM), ff. H. Li, Q. L. Li, ff. G. Gong, S. Tang, Total variation blind deconvolution employing split Bregman iteration, J. Vis. Commun.Image R.23 (3) (2012)409-417. "中引入分裂布雷格曼迭代而提出的全變差正則化圖像盲復原算法等。然 而，這種假設只適用于解決某些由相機抖動造成的模糊。而對于運動物體造成的模糊而言， 其前景和背景甚至是前景中每個像素點的運動向量都是不同的，因此，基于該假設而提出 的算法并不能有效解決此類模糊。
[0004] 正是由于模糊核空間不變的假設已經不能滿足現實需求，近年來，學者們在空間 不變的運動模糊復原方法的基礎上，提出了一些空間變化的運動模糊視頻復原方法。根據 對象的不同，這些方法可主要分為兩類：一類是針對視頻幀中前景與背景的模糊核不同， 但前景的模糊核是空間不變的情況。如"A. Agrawal, Y. Xu, R. Raskar, Invertible motion blur in video, ACM Trans. Graph. 28 (3) (2009) 95. " 中通過對同一視頻設置不同的曝光 時間以確保PSF參數是可逆的，然后分離出運動模糊前景，并通過在頻域進行零點填充來 實現前景的去模糊。又如，"Υ· N. Zhang, J. He, J. Yuan, A Video Deblurring Optimization Algorithm Based on Motion Detection, International Conference on Multimedia Technology (2013) 1069-1076. "，通過運動檢測分離出視頻巾貞中的運動前景和背景，再用基 于維納濾波的方法復原前景；另一類是針對前景與背景的模糊核不同，且前景中每個像素 點的模糊核都不同的情況。這類方法的基本思想是：首先提取出運動前景，然后根據前后 幀的關聯性估計出前景中空間變化的模糊核，最后采用圖像非盲復原算法對前景進行去模 糊，再將去模糊后的前景與背景組成清晰視頻幀。其中，如何精確估計空間變化的模糊核及 如何有效復原這種空間變化的模糊是關鍵。如，"X. C. He，T. Luo, S. C. Yuk，Κ· P. Chow，Κ· -Y. K. Wong, R. Η. Y. Chung, Motion estimation method for blurred videos and application of deblurring with spatially varying blur kernels, Proc. IEEE Conf. Computer Sciences and Convergence Information Technology(2010)355_359·"中米用了基于角點 檢測和分層塊匹配的方法求得空間變化的模糊核，并用空間變化的RL (Richardson-Lucy) 算法復原前景；"Χ·Υ· Deng, Y.Shen,M.L. Song, D.C.Tao,J.J. Bu,C. Chen, Video-based non-uniform object motion blur estimation and deblurring, Neurocomputing 86(1) (2012) 170-178. "中采用了 KLT(Kanade-LuCaS-T〇masi)算法估計模糊核，也采用了空間變 化的RL算法復原前景。
[0005] 在日常生活中，第二類情況是更為常見的。但空間變化的RL算法存在放大噪聲， 引入振鈴效應的缺陷，對前景邊緣的復原效果并不理想。
【發明內容】
[0006] 本發明的目的在于提出一種基于局部策略的真實視頻復原方法，力求從真實的退 化視頻中恢復出原本面貌，使模糊的視頻變得清晰，旨在改善視頻的質量。該方法能克服傳 統方法中放大噪聲，引入振鈴效應的缺點，對視頻幀的邊緣和細節有較好的復原效果。
[0007] 為實現這一目的，本發明首先提取出相鄰兩幀圖像的運動前景，并匹配其特征點， 從而利用特征點的運動向量估計前景中每個像素點的模糊核；其次，為去除視頻中的空間 變化的物體運動模糊，本發明提出一種基于局部塊的ADM算法，即復原出每個重疊的局部 塊，并把它們融合成清晰的視頻幀。
[0008] 該復原方法的實現步驟如下：
[0009] (1)任取真實視頻中的相鄰兩幀圖像和fk，分別提取出運動前景Fh和F k ;
[0010] (2)分別提取步驟（1)中得到的運動前景的特征點，然后進行特征點匹配并根據 匹配點對的坐標、視頻的幀率和曝光時間計算出每個特征點的運動向量；
[0011] (3)根據特征點的運動向量，在提取出的運動前景Fk_i中采用內插策略，計算前景 中每一個像素點的運動向量，并估計前景中空間變化的模糊核；
[0012] (4)以Fk_i中每個像素點為中心，取大小相同且重疊的局部塊。根據（3)中計算得 到的模糊核，對局部塊進行去模糊處理，再將去模糊后的局部塊拼接成清晰的前景圖像，并 與背景組成完整的視頻幀。
[0013] 與現有技術相比，本發明的優點是：
[0014] (1)充分利用視頻中的幀間信息，提出基于特征的空間變化的模糊核估計算法，估 計出真實視頻幀中每個像素點的模糊核，能精確估計出運動物體的局部運動和模糊核。
[0015] (2)提出基于局部塊的ADM算法復原前景，能有效去除空間變化的運動模糊，復原 出前景的細節和邊緣。
[0016] (3)本發明方法能夠針對包含一個或多個剛性運動物體的真實視頻進行有效復 原。
[0017] 通過與上述W. H. Li和X. Y. Deng等提出的兩種方法的實驗對比，證明本發明能更 好地抑制振鈴效應，更有效地復原出前景中的邊緣。
【專利附圖】
【附圖說明】
[0018] 圖1 :本發明方法的流程圖；
[0019] 圖2-1至圖2-7 :針對七幅真實視頻幀中的運動物體，本發明計算得到的運動向 量；其（a)圖像為前景中每個像素點的運動向量，（b)和（c)圖像為局部放大圖；
[0020] 圖3-1至圖3-7 :針對七幅真實視頻幀，不同方法的復原效果對比圖；其中對于每 一組對比圖，（a)圖像為原始視頻幀，（b)和（c)圖像分別為兩種對比算法的復原結果，（d) 圖像為本發明方法的復原結果。
【具體實施方式】
[0021] 下面結合附圖對本發明作進一步的詳細說明。
[0022] 在圖像復原中，圖像退化模型可以用下式表達：
[0023] f(x, y) = k(x, y) ? g(x. y) + n(x, v)
[0024] 其中，g(x，y)為原始圖像，?是卷積操作，k(x，y)代表使圖像模糊的模糊核，也叫 點擴散函數，η(X，y)為加性噪聲，f(x, y)為已知的退化圖像。
[0025] 視頻序列是由若干幀圖像組成的，每一幀都可以看作是從視頻中抽取出的一幅相 對獨立的圖像。因此，該圖像退化模型同樣可以描述視頻幀的退化過程。而視頻幀復原的 任務就是根據已知的退化視頻幀f (X，y)得到清晰視頻幀g (X，y)。在真實視頻的復原中，模 糊核通常是未知的，且對于運動前景中的每個像素點，其模糊核是有差異的。因此，本發明 首先充分利用幀間信息估計出每個像素點的模糊核，再將模糊前景分割成重疊的局部塊進 行復原，并最終將復原后的局部塊融合成清晰的視頻圖像。
[0026] 按照以上思路，本發明方法的流程圖如圖1所示，該方法主要由以下四個步驟構 成：
[0027] 步驟1 :任取真實視頻中的相鄰兩幀圖像和fk，分別提取出運動前景Fh和Fk
[0028] 本發明針對的對象是靜態場景中物體運動造成的空間變化的運動模糊，即背景不 存在運動模糊。因此，為保證模糊核估計的準確性，首先需要提取出運動前景。
[0029] K最近鄰掩膜算法是一種優秀的摳圖算法，本發明采用該算法進行前景的提取，其 思想是將一幅圖像看成前景層和背景層的加權和：
[0030] f = a F+(l-a )B
[0031] 其中f是一幅圖像的給定像素值，F是未知前景層，B是未知背景層，a是未知掩 膜。K最近鄰掩膜算法利用非局部準則求取a，即可得到相鄰兩幀圖像的前景？ 1;_1和^。
[0032] 步驟2 :分別提取步驟1中得到的運動前景的特征點，然后進行特征點匹配并根據 匹配點對的坐標、視頻的幀率和曝光時間計算出每個特征點的運動向量
[0033] 該步驟包含以下兩部分：
[0034] ①采用ORB (Oriented Fast and Rotated BRIEF)算法提取并匹配特征點
[0035] 首先在Fh和Fk中分別利用FAST算法和Harris測量提取出N個特征點。對于每 個以特征點為中心的aXa的圖像塊（根據實驗，本發明中a = 31)，利用圖像塊的強度質心 計算該塊的方向Θ。然后，在每個圖像塊中用學習的方法找出P個bXb的子窗測試對（根 據實驗，本發明中P = 256，b = 5)，并將這些測試對的坐標旋轉Θ取得新的測試對，以計算 該圖像塊中心的特征點的 BRIEF(Binary Robust Independent Elementary Features)描 述子。接著，采用漢明距離匹配？1;_1和^中的特征點，并采用隨機抽樣一致性算法（Random Sample Consensus, RANSAC)篩選出最優的匹配點對。
[0036] ②計算特征點的運動向量
[0037] 在①之后，可以得到匹配的特征點對及其坐標。為估計模糊核，還需通過匹配特征 點對的坐標、視頻的幀率和曝光時間計算特征點的運動向量，如下式所示：
【權利要求】
1. 一種基于局部策略的真實視頻復原方法，該方法包括以下步驟： (1) 任取真實視頻中的相鄰兩幀圖像fH和fk，分別提取出運動前景Fh和Fk; (2) 分別提取步驟（1)中得到的運動前景的特征點，然后進行特征點匹配并根據匹配 點對的坐標、視頻的幀率和曝光時間計算出每個特征點的運動向量； (3) 根據特征點的運動向量，在提取出的運動前景Fk_i中采用內插策略，計算前景中每 一個像素點的運動向量，并估計前景中空間變化的模糊核； ⑷以Fk_i中每個像素點為中心，取大小相同且重疊的局部塊；根據⑶中計算得到的 模糊核，對局部塊進行去模糊處理，再將去模糊后的局部塊拼接成清晰的前景圖像，并與背 景組成完整的視頻幀。
2. 根據權利要求1所述的基于局部策略的真實視頻復原方法，其特征在于步驟（1)中， 提取出運動前景Fk_i和F k的方法是： 將一幅圖像看成前景層和背景層的加權和： f = a F+(l-a )B 其中f是一幅圖像的給定像素值，F是未知前景層，B是未知背景層，α是未知掩膜，采 用Κ最近鄰掩膜算法求取α，得到相鄰兩幀圖像的前景L和Fk。
3. 根據權利要求1所述的基于局部策略的真實視頻復原方法，其特征在于，所述步驟 (2)的具體方法為：首先在Fk_dPF k中分別利用FAST算法和Harris測量提取出N個特征點； 對于每個以特征點為中心的aXa的圖像塊，利用圖像塊的強度質心計算該塊的方向Θ ;然 后，在每個圖像塊中用學習的方法找出P個bXb的子窗測試對，并將這些測試對的坐標旋 轉Θ取得新的測試對，以計算該圖像塊中心的特征點的BRIEF描述子；接著，采用漢明距離 匹配F k_i和Fk中的特征點，并采用RANSAC算法篩選出最優的匹配點對；最后，通過匹配特 征點對的坐標、視頻的幀率和曝光時間計算特征點的運動向量 ： V = (Δλ_ xFrx Te, Ayx Frx Te) (Ax = x2 -Xj W = _y2-λ 其中，（Xi，yi)和（X2, y2)分別是匹配特征點對在b和Fk中的坐標，Δχ和Ay分別為 特征點在X方向和y方向的坐標偏移量，Fr為視頻的幀率，Te為每幀圖像的曝光時間，?為 該點的運動向量。
4. 根據權利要求1所述的基于局部策略的真實視頻復原方法，其特征在于，所述步驟 ⑶的具體方法為：首先根據L中特征點的坐標對L進行德勞內三角剖分，得到以特征 點為三角形頂點的三角網；然后根據內插策略，按如下公式計算每個三角形內任一點的運 動向量
其中，Vi是三角形頂點的運動向量，是每個v/所占的權重，（Xu ，（χ2, y2)和（? y3) 是該三角形頂點坐標，（X，y)是所求點的坐標。采用MATLAB中的fspecial函數，即可根據 每個像素點的運動向量得到前景中的空間變化的模糊核。
5.根據權利要求1所述的基于局部策略的真實視頻復原方法，其特征在于步驟（4)中， 以Fk_i中每個像素點為中心取一個尺寸為mXm的矩形局部塊匕，并選取該像素點的模糊核 I作為該塊的去卷積核，采用ADM算法對局部塊進行去模糊處理，即求解下式：
其中yj = Djgi，gi表示第i個清晰局部塊，Djgi表示gi的一階全局差分，Fi表示第i個 模糊的局部塊，I是Fi中心像素點的模糊核，μ和β均為正參數，以gi = Fi，λ = λ ?作 為開始，采用迭代最小化方式求解該式，求解框架如下：
其中，LA(gi，y，λ)是擴展的拉格朗日函數，λ為其引入的參數。 用復原過程中相鄰的兩次迭代所估計得的局部塊的相對差異||&i+1-gf||/|gf+1|<s ( ε 為較小的正數）或最大迭代次數作為迭代終止條件，如此，便可得到所有清晰局部塊；接下 來，將所有清晰局部塊相加，并在重疊區域求其均值，得到清晰的前景圖像，如下式所示：
其中，氏表示矩形窗操作，是復原后的前景； 利用步驟（1)中求得的α，可將與其對應的背景組成完整的清晰視頻幀
【文檔編號】G06T3/00GK104103050SQ201410386374
【公開日】2014年10月15日 申請日期:2014年8月7日 優先權日:2014年8月7日
【發明者】龔衛國, 楊文琳, 李偉紅, 陳魏然 申請人:重慶大學