一種基于信號相關性的自適應視頻重建方法

一種基于信號相關性的自適應視頻重建方法
【專利摘要】本發明公開了一種基于信號相關性的自適應視頻重建方法。在基于壓縮感知的高時間分辨率視頻重建過程中，考慮到視頻圖像中各運動物體運動速度不一致的情況，針對匹配追蹤等基于字典(稀疏域)的重建方法，首先在構建字典時將訓練樣本根據運動量的不同分為多個樣本集并分別進行訓練，從而得到對應不同運動量的字典；在視頻重建階段，先將需要重建的觀測圖像進行不疊加的分塊重建，然后計算各幀圖像塊之間的相關系數，通過相關系數大小確定局部圖像運動量，最后根據運動量的大小有針對地選擇字典并重建圖像。本發明方法能在重建視頻信號的同時區分視頻中各物體的運動量，并根據運動信息針對性地重建圖像，在提高重建視頻效果的同時降低了重建時間。
【專利說明】
一種基于信號相關性的自適應視頻重建方法
技術領域
[0001] 本發明屬于圖像處理領域，尤其涉及一種基于信號相關性的自適應高時間分辨率 視頻重建方法。
【背景技術】
[0002] 基于壓縮感知的高時間分辨率視頻重建技術，是通過對像素進行單像素曝光編碼 得到經過編碼的觀測圖像，再利用重建算法對觀測圖像重建獲得一系列視頻序列圖像，即 由二維圖像獲取三維視頻的時間分辨率拓展技術。由于壓縮感知是對低于奈奎斯特采樣率 的采樣信號進行恢復重建，因此重建信號的精確程度以及重建速度是人們關注的重點。重 建算法一般可分為基于h范數最小化法、迭代閾值法、匹配追蹤法、凸規化法、基于貝葉斯 理論的重建方法等，其中匹配追蹤法以及部分迭代閾值法認為待恢復的信號在某字典或稀 疏域下的表示系數是稀疏的，從而通過估計稀疏系數來重建信號，字典通常使用DCT基、小 波基等，為了得到更好的重建效果，也可利用已知的視頻信號對字典進行訓練。
[0003] 實際的視頻中往往有多個不同運動速度的物體，同一區域不同幀間的圖像信號間 有著相似性，如果該區域無運動，那么各幀信號相關性等于1，即完全相同，如果運動越大， 信號相關稀疏就越小。在一些特定的編碼方式下（如各像素曝光時間相同），觀測圖像中靜 止背景部分是清晰的，不需要重建或不需要使用訓練的字典。與此同時，大多數情況人們更 關心的是視頻中的運動區域，因此如果對圖像全部區域按照相同方式進行重建，不僅浪費 時間，而且無法獲得物體的運動信息。傳統的自適應重建方法一般是針對基于貝葉斯理論 的重建方法或是對特定編碼的觀測圖像進行區域搜索。

【發明內容】

[0004] 本發明的目的是在基于壓縮感知的高時間分辨率視頻重建過程中，自適應地估算 視頻中各物體的運動量大小，并根據運動信息針對性地重建圖像，從而在提高重建視頻效 果的同時降低重建時間。
[0005] 本發明的目的是通過以下技術方案來實現的：一種基于信號相關性的自適應視頻 重建方法，該方法包括以下步驟：
[0006] (1)樣本分類，具體是：
[0007] (1.1)利用光流法計算樣本視頻中相鄰幀圖像的運動矢量圖；
[0008] (1.2)對樣本視頻進行隨機采樣，樣本塊大小為8 X 8 X T，T為視頻幀數；
[0009] (1.3)根據（1.1)中的運動矢量圖計算各個樣本塊的平均運動量，并依據運動量將 樣本塊分類，得到不同運動量的樣本集，其中1為樣本集個數，N為樣本個數。 [0010] ⑵字典訓練，具體是：
[0011] (2.1)利用K-SVD算法對不同運動量的樣本集分別進行訓練，得到對應于不同運動 量的完備字典W 1;
[0012] (2.2)將(2.1)中訓練的字典合并為一個字典W2,…]。
[0013] (3)初步分塊重建，具體是；
[0014] (3.1)將觀測圖像分為不疊加的圖像塊，圖像塊大小為8X8;
[0015] (3.2)構建三維完備字典WQ，其中空間維為64X64的二維余弦基，時間維為TXT 的一維小波基；
[0016] (3.3)利用0MP算法以及字典W 〇對各圖像塊重建，得到重建視頻塊。
[0017] (4)運動區域分類，具體是：
[0018] (4.1)計算初步重建的視頻塊中各幀圖像塊間的相關系數；
[0019] (4.2)將相關系數取均值后作為對應圖像塊區域的相關系數，從而得到整幅圖像 的相關系數圖；
[0020] (4.3)按照閾值分割相關系數圖，得到運動分布圖。
[0021] (5)視頻信號重建，具體是：
[0022] (5.1)計算重建時圖像塊在(4.3)所得運動分布圖中對應區域內各元素的個數，并 分別乘上權重系數，根據個數值選擇訓練字典W的不同區域用于重建；
[0023] (5.2)利用0MP算法以及(5.1)中選擇的字典區域對信號塊進行有疊加的塊重建， 每次移動1個像素。
[0024] 進一步地，步驟1.3中，所述樣本個數N=40000。
[0025] 進一步地，步驟1.3中，所述不同運動量為[0,0.1]，[0.1，1.5]，[1.5,3]三個區域。 [0026]進一步地，步驟4.3中，所述經驗閾值為0.85和0.95，并根據閾值將圖像像素值分 割為0、0.5和1。
[0027] 進一步地，步驟5.1中，所述權重系數分別為2、2、1。
[0028] 進一步地，步驟5.1中，所述選擇規則為，區域內元素1個數最多則選擇W1，元素 〇. 5個數最多則選擇W2，元素〇個數最多則選擇W3。
[0029] 本發明的有益效果:在基于壓縮感知的高時間分辨率視頻重建過程中，考慮到視 頻圖像中各運動物體運動速度不一致的情況，首先通過樣本分類訓練的方式，得到對應不 同運動速度的字典，使字典更具針對性;其次，在視頻信號重建時，利用初步重建視頻信號 的相關性判斷所重建區域的運動量，進而獲得運動分布圖，由于初步重建為非疊加的塊重 建，并且使用的是簡單的完備字典，因此初步重建時間僅為使用過完備字典完整重建時的 百分之一;根據判斷結果選擇字典區域更有針對性地重建視頻，能在提高重建質量的同時 降低重建時間。
【附圖說明】
[0030] 圖1為本發明方法示意圖。
[0031] 圖2(a)為示例樣本視頻。
[0032] 圖2(b)為示例樣本視頻由光流法計算得到的幀間運動矢量圖。
[0033]圖3為初步分塊重建示意圖。
[0034]圖4為高時間分辨率視頻重建過程示意圖。
[0035]圖5為相關系數圖。
[0036] 圖6運動分布圖。
[0037] 圖7為根據運動分布圖自適應選擇字典示意圖。
[0038] 圖8(a)為等長曝光模式時的觀測圖像。
[0039] 圖8(b)為圖8(a)所示觀測圖像由0MP算法、使用普通完備字典重建視頻(8幀）中的 第5幀。
[0040] 圖8(c)為圖8(a)所示觀測圖像由本發明方法重建視頻(8幀）中的第5幀。
【具體實施方式】
[0041]以下結合附圖對本發明作進一步說明。
[0042]本發明提供的一種基于信號相關性的自適應重建方法，主要包括樣本分類、字典 訓練、初步分塊重建、運動量估計和視頻重建等幾個步驟，如圖1所示。
[0043]步驟1.樣本分類
[0044] 1-1利用光流法計算樣本視頻中相鄰幀圖像的運動矢量圖，如附圖2所示，對于T幀 的視頻，則有T-1張矢量圖，運動矢量圖中各點的運動量大小為該點矢量的模，這里取T = 8;
[0045] 1-2對樣本視頻進行隨機采樣，樣本塊大小為8 X 8 X T;
[0046] 1-3根據1-1中的運動矢量圖計算各個樣本塊的平均運動量：
[0047] d = < 丨)] CD 片 j /
[0048] 其中mGR1%4為第i張運動矢量圖中對應采樣區域(8X8)內的運動量值按照遞減 順序排列得到的向量，這里取&前32項的均值作為采樣區域在第i張矢量圖上的運動量。依 據運動量將樣本塊分類，得到對應不同運動量的樣本集其中1 = 1，2,3為樣本 集個數，N為樣本個數。在對大量視頻進行分類后發現，絕大多數視頻中，運動物體的幀間運 動量在3個像素以內，因此這里將運動量分為[0，0.1 ]，[0.1，1.5]，[ 1.5，3]三個區域，樣本 個數為40000。
[0049] 步驟2.字典訓練
[0050] 2-1利用K-SVD算法對不同運動量的樣本集分別進行訓練，得到對應于不同運動量 的完備字典W 1;
[00511信號稀疏分解理論的數學模型是：給定一個集合W = {ik，k= 1，2，…，K}，其中W 為字典，W中的每一個元素ik稱為字典原子。對于任意給定的信號X，可以將其分解為字典 下各個原子的線性組合形式： K
[0052] X = YiCf-k￥k (2) ^-1-
[0053] 其中a為稀疏表示系數。
[0054]字典訓練的目的是選擇盡可能逼近樣本數據的基函數作為字典的原子。KSVD字典 學習算法是一種迭代算法，通過簡單而有效地逐列更新的方式，實現字典的整體更新。定義 碼集[=[(：1，02，"_，0(]，當(3給定時，樣本信號￥={71，72，"_，7〃}可用其最近的碼字表示，即 yi = Cai」，其中ai」為一稀疏基中的向量，該向量僅在第j項為1，其余項全為〇。j由式⑶得到：
[0055] yk ^ j I J. -€ aj I < I J. - C ak ||； (3)
[0056] 這可以看作稀疏表示的一種極限情況:稀疏系數僅有一項，且必須為1。整體誤差 可以表示為： K
[0057] Error = ^e. = Y-CA p (4)
[0058]通過求解式(5)在最近鄰域中找到最佳的編碼集來表示訓練樣本：
[0059] mm{||Y-CA|^} (5)
[0060]求解主要包括兩個過程，首先利用K-means聚類將訓練樣本Y以接近的程度 為依據，分為碰(才' 47-1'，…，4J_1)):
[0061 ] R(kJ~l ] = {i\VI ^k, J(. - c[J~l] y；- c\J~{) ^ ] (6)
[0062]然后對C(K中的每一列按照式(7)更新，并令J = J+1。重復上述步驟直到收斂。
(7)
[0064] 最終得到訓練后的字典 [0065]步驟3.初步分塊重建
[0066] 3-1將觀測圖像分為不疊加的圖像塊，圖像塊大小為8 X 8;
[0067] 3-2構建三維完備字典WQGR512X512,其中空間維為64X64的二維余弦基，時間維 為8 X 8的一維小波基：
[_m0fdct(g)￥dct ⑶
[0069] 其中Wdwt，Wdct分別為一維小波基和一維余弦基，珍為克羅內克積。由于為完備 (非冗余)基，且圖像為非疊加重建，因此這一重建過程的時間很短，只有完整重建時間的1/ 100左右。
[0070] 3-3利用0MP算法以及字典對各圖像塊重建，得到重建視頻塊，如附圖3所示。高 時間分辨率視頻重建過程如附圖4所示，設視頻信號為三維數據體￡(1，7,〇,5(1，7,〇為每 個像素在全部曝光時間上的采樣函數(3(1， 7,〇￡{〇，1})，那么獲得的觀測圖像1(1，3〇表 示為：
[0071] I (x,y) = 2]-S(a% v,/) ? E(x,t) (9)
[0072] 其中S(x，y，t)已知。式（12)可寫作矩陣形式I = SE，其中I(觀測信號）和E(視頻信 號)分別為E(x，y，t)和S(x，y，t)的向量形式。由于觀測信號要遠少于視頻信號，因此該方程 為一欠定方程。根據壓縮感知理論，視頻信號的重構問題可表示為：
[0073] ￡, = argrmn||/-5E||； (10)
[0074] 其中E又可以寫成某一字典W的稀疏表示，g卩E = W 0，其中0為稀疏系數，可由重建 算法求解。
[0075]步驟4.運動區域分類，具體是： (11)
[0076] 4-1計算初步重建的視頻塊中各幀圖像塊間的相關系數：
[0078]其中Xn=[xnl，…，xn64]T為第n幀重建圖像塊信號，相關系數絕對值越接近1越相 關，越接近0則不相關。
[0079] 4-2將視頻塊各幀間相關系數的絕對值取均值后作為對應區域的相關系數，從而 得到整幅圖像的相關系數圖，如附圖5所示；
[0080] 4-3按照經驗閾值分割相關系數圖，得到運動分布圖，如附圖6所示，這里對應步驟 1-3中分類區間的經驗閾值為0.85和0.95，令小于0.85的元素為0，[0.85，0.95]間的元素為 0.5,大于0.95的元素為1。
[0081]步驟5.視頻信號重建：
[0082] 5-1根據圖像塊在步驟4-3所得運動區域分布圖，選擇訓練字典W的不同區域用于 重建:計算重建圖像塊在4-3所得運動區域分布圖中對應區域內的0、0.5和1的個數，并分別 乘上權重系數，區域內元素1個數最多則選擇W1，元素〇. 5個數最多則選擇W2，元素〇個數最 多則選擇W3。如附圖7所示，重建塊在運動分布圖上覆蓋區域內0、0.5、1的個數分別為20、 12、32,由于更關心運動區域（即0、1對應區域），可以給0和1的個數更大權重，這里使用權重 為2，因此最終個數分別為40、24和32，該圖像塊重建時選擇字典W 3。
[0083] 5-2利用0MP算法以及訓練字典W對信號塊進行有疊加的塊重建，每次移動1個像 素。
[0084]本發明方法能使重建時間降低一半以上，同時提高重建圖像質量，如附圖8所示， 從圖中可以看出，本發明方法能更好地重建出運動區域。
【主權項】
1. 一種基于信號相關性的自適應視頻重建方法，其特征在于，該方法包括以下步驟： (1) 樣本分類，具體是： (1.1) 利用光流法計算樣本視頻中相鄰幀圖像的運動矢量圖； (1.2) 對樣本視頻進行隨機采樣，樣本塊大小為8 X 8 X T，T為視頻幀數； (1.3) 根據（1.1)中的運動矢量圖計算各個樣本塊的平均運動量，并依據運動量將樣本 塊分類，得到不同運動量的樣本集= ，其中1為樣本集個數，N為樣本個數。 (2) 字典訓練，具體是： (2.1) 利用K-SVD算法對不同運動量的樣本集分別進行訓練，得到對應于不同運動量的 完備字典Ψι; (2.2) 將(2.1)中訓練的字典合并為一個字典Ψ，W = …]。 (3) 初步分塊重建，具體是； (3.1) 將觀測圖像分為不疊加的圖像塊，圖像塊大小為8 X 8; (3.2) 構建三維完備字典Ψ 〇，其中空間維為64 X 64的二維余弦基，時間維為T X T的一維 小波基； (3.3) 利用OMP算法以及字典Ψ 〇對各圖像塊重建，得到重建視頻塊。 (4) 運動區域分類，具體是： (4.1) 計算初步重建的視頻塊中各幀圖像塊間的相關系數； (4.2) 將相關系數取均值后作為對應圖像塊區域的相關系數，從而得到整幅圖像的相 關系數圖； (4.3) 按照閾值分割相關系數圖，得到運動分布圖。 (5) 視頻信號重建，具體是： (5.1) 計算重建時圖像塊在(4.3)所得運動分布圖中對應區域內各元素的個數，并分別 乘上權重系數，根據個數值選擇訓練字典Ψ的不同區域用于重建； (5.2) 利用OMP算法以及(5.1)中選擇的字典區域對信號塊進行有疊加的塊重建，每次 移動1個像素。2. 根據權利要求1所述一種自適應視頻重建方法，其特征在于，步驟1.3中，所述樣本個 數 N=40000。3. 根據權利要求1所述一種自適應視頻重建方法，其特征在于，步驟1.3中，所述不同運 動量為[〇,〇.1]，[〇.1，1.5]，[1.5,3]三個區域。4. 根據權利要求3所述一種自適應視頻重建方法，其特征在于，步驟4.3中，所述閾值為 0.85和0.95，通過閾值將像素值分割為0、0.5和1。5. 根據權利要求4所述一種自適應視頻重建方法，其特征在于，步驟5.1中，所述權重分 別為2、2、1。6. 根據權利要求4所述一種自適應視頻重建方法，其特征在于，步驟5.1中，所述選擇規 則為，區域內元素1個數最多則選擇Ψ1，元素0.5個數最多則選擇Ψ 2,元素0個數最多則選擇 Ψ3〇
【文檔編號】G06T5/50GK105894485SQ201610248728
【公開日】2016年8月24日
【申請日】2016年4月20日
【發明人】陳躍庭, 唐超影, 徐之海, 李奇, 馮華君
【申請人】浙江大學