基于視頻數(shù)據(jù)3d自相關(guān)性的視頻多尺度幾何分析方法
【專利摘要】本發(fā)明公開一種基于視頻數(shù)據(jù)3D自相關(guān)性的視頻多尺度幾何分析方法，根據(jù)視頻數(shù)據(jù)的自相關(guān)性特點(diǎn)，采用維度冗余變換的方法將視頻體映射到一個(gè)較其本身維度更高的空間，從而將那些沿著復(fù)雜方向分布的曲線奇異組織成較為規(guī)則的、簡單的、近似于直線的奇異，再利用非自適應(yīng)的基函數(shù)降低視頻流形潛在的冗余，能夠取得與自適應(yīng)基函數(shù)相近的對(duì)于線、面奇異的稀疏表示性能；由于無需進(jìn)行運(yùn)動(dòng)估計(jì)、自適應(yīng)基函數(shù)選取等操作，本發(fā)明的計(jì)算量低于典型的基于3D基函數(shù)的視頻多尺度幾何分析方法和基于時(shí)空非局部性的視頻多尺度幾何分析方法。
【專利說明】
基于視頻數(shù)據(jù)3D自相關(guān)性的視頻多尺度幾何分析方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及視頻處理領(lǐng)域，尤其是一種計(jì)算復(fù)雜度低、無冗余的基于視頻數(shù)據(jù)3D 自相關(guān)性的視頻多尺度幾何分析方法。
【背景技術(shù)】
[0002] 視頻數(shù)據(jù)的緊致表示(Compact r巧resentation)是視頻去噪、分割、特征提取、融 合、壓縮、復(fù)原和超分辨率等諸多處理的基礎(chǔ)，是指用較少的數(shù)學(xué)描述來捕獲視頻中的重要 信息，基于調(diào)和分析的稀疏表示是圖像和視頻緊致表示的方法之一。典型地，小波變換在表 示1D信號(hào)的點(diǎn)奇異性方面具有最優(yōu)的逼近性能，成為近十年來自然信號(hào)處理和分析的強(qiáng)有 力工具。然而，對(duì)于2D圖像或者更高維的數(shù)據(jù)，小波變換的稀疏表示能力則比較有限。2D可 分離小波基函數(shù)的支撐區(qū)間為一個(gè)正方形，且各向同性，只能表示2D或高維信號(hào)在豎直、水 平和對(duì)角線方向的直線奇異性。自然界中多數(shù)物體所具有的平滑邊緣使得自然圖像的奇異 點(diǎn)往往不是獨(dú)立分布的，而是聚集成具有某些幾何特征的奇異曲線。在運(yùn)種情況下，小波的 各向同性的基函數(shù)不能有效地利用數(shù)據(jù)本身特有的幾何特征來捕獲沿著邊緣方向的曲線 奇異，無法為視頻及高維數(shù)據(jù)提供最優(yōu)的或者最稀疏的表示。運(yùn)樣，處于數(shù)學(xué)分析、計(jì)算機(jī) 視覺、模式識(shí)別、統(tǒng)計(jì)分析等多個(gè)領(lǐng)域的很多專家在小波變換的理論基礎(chǔ)之上分別獨(dú)立地 發(fā)展著一種彼此極其相似的理論，稱之為"多尺度幾何分析(Multiscale Geometrical Analysis，MGA)"，用W檢測、表示、處理某些高維數(shù)據(jù)，并為運(yùn)些數(shù)據(jù)提供多尺度的、多方 向的表示?，F(xiàn)有的多尺度幾何分析工具主要包括:脊波(Ridgelet)變換、曲波Curve let變 換、條帶波（Bandelets )變換、小線（Beamlets)變換、Directionlets變換、輪廓波 (〔〇]11：0111'161：)變換、剪切波（5116日1'161：)變換、5山寸日。61613變換等。運(yùn)些多尺度變換具有很 好的各向異性特征，成為處理2D圖像數(shù)據(jù)的更優(yōu)算法，很好地解決了小波變換不能有效表 示邊緣、輪廓等線奇異的問題。
[0003] 上述的多尺度幾何分析工具皆只適用于2D靜態(tài)圖像。若將其應(yīng)用在視頻數(shù)據(jù)的處 理中，則需對(duì)運(yùn)些變換向3D方向進(jìn)行擴(kuò)展，比較典型的方法包括：由2D變換通過張量積擴(kuò)展 的視頻多尺度幾何分析、基于3D基函數(shù)的視頻多尺度幾何分析和基于時(shí)空非局部性的視頻 多尺度幾何分析等。但是，運(yùn)Ξ類方法中，有的方法只能捕獲少數(shù)特定情況下的線、面奇異， 有的方法需要很高的計(jì)算量，有的方法則在嚴(yán)格意義上尚不能構(gòu)成視頻數(shù)據(jù)的正交表示甚 至完備表示。目前，尚不存在一種計(jì)算量適中、能有效捕獲任意線、面奇異的視頻多尺度幾 何分析方法。
【發(fā)明內(nèi)容】
[0004] 本發(fā)明是為了解決現(xiàn)有技術(shù)所存在的上述技術(shù)問題，提供一種計(jì)算復(fù)雜度低、無 冗余的基于視頻數(shù)據(jù)3D自相關(guān)性的視頻多尺度幾何分析方法。
[0005] 本發(fā)明的技術(shù)解決方案是:一種基于視頻數(shù)據(jù)3D自相關(guān)性的視頻多尺度幾何分析 方法，其特征在于按照如下步驟進(jìn)行： 步驟1.輸入滬帖待處理的視頻數(shù)據(jù)於和分解級(jí)數(shù)￡^設(shè)視頻的空間分辨率為^%巧像 素； 步驟2 .將視頻F分成G組，每組包含&二滬+3帖，最后一組可不滿玄)?帖，約定將其稱為 子視頻體-y k S空引；令各二i，二1，r =王，拉'=技，jv'=扣； 步驟3.對(duì)于子視頻體跨，根據(jù)公式銀沿著空間水平方向計(jì)算像素間的自相關(guān)系數(shù)& :
其中，哀表示該組視頻的平均像素值，柄:，康示第/帖、第捕行、第Μ列的像素值，％ 表示第/帖、第游行、第批+馬列的像素值； 步驟4.對(duì)于子視頻體^，根據(jù)公式敎沿著空間豎直方向計(jì)算像素間的自相關(guān)系數(shù)&:
其中，％表示第/帖、第的W街、第列的像素值； 步驟5.對(duì)于子視頻體，根據(jù)公式?沿著時(shí)間方向計(jì)算像素間的自相關(guān)系數(shù)&:
其中表示第;(/嗎帖、第掛行、第綾列的像素值； 步驟6.對(duì)臨?、：閣和間從大到小排序，并將其下標(biāo)Χ、Υ、Ζ按排序順序存儲(chǔ)起來作為 邊信息;令數(shù)據(jù)自相關(guān)性最強(qiáng)的方向?yàn)?，其次為4，相關(guān)性最弱的方向?yàn)楝敚?步驟7.將沿著禱-謀方向劃分為一系列像素平面，并對(duì)每個(gè)像素平面進(jìn)行1級(jí)傳統(tǒng) 2-D小波變換，從而得到一系列包含化、LH、化和皿等4種子帶的像素平面，然后將每個(gè)像素 平面中的化子帶組成化-子視頻體吃Ζ.，將每個(gè)像素平面中的LH子帶組成LH-子視頻體格5， 將每個(gè)像素平面中的化子帶組成化-子視頻體喝;，將每個(gè)像素平面中的皿子帶組成ΗΗ-子 視頻體輪?； 步驟8.沿著竭-聲方向?qū)⒉襟E7得到的LH-子視頻體檢^、化-子視頻體哈和皿-子視 頻體i'Aw分別劃分為一系列系數(shù)平面，并對(duì)每個(gè)系數(shù)平面進(jìn)行1級(jí)2-D非冗余的尺度和方向 變換(Nonredundant Scale and Orientational Transform, NSOT)； 步驟9.令:? ^粒，凌二績辛1龍二:左'/2，難"二證'巧，課'二,妒巧，若打空0，則轉(zhuǎn) 入步驟3;否則，沿著竭-媒方向?qū)⒆右曨l體松劃分為一系列系數(shù)平面，并對(duì)每個(gè)系數(shù)平面 進(jìn)行1級(jí)2-D小波變換，轉(zhuǎn)入步驟10; 步驟10.令g二妄若篡這巧，則滅=1;必二I，身夢:占,殺，欺'二漱，轉(zhuǎn)入步驟 3;否則，輸出所有變換系數(shù)和邊信息，算法結(jié)束。
[0006] 與現(xiàn)有技術(shù)相比，本發(fā)明的技術(shù)特點(diǎn)在于:第一，采用維度冗余變換的方法將視頻 體映射到一個(gè)較其本身維度更高的空間，從而易于將那些沿著復(fù)雜方向分布的曲線奇異組 織成較為規(guī)則的、簡單的、近似于直線的奇異，再利用非自適應(yīng)的基函數(shù)降低視頻流形潛在 的冗余，能夠取得與自適應(yīng)基函數(shù)相近的對(duì)于線、面奇異的稀疏表示性能；第二，由于無需 進(jìn)行運(yùn)動(dòng)估計(jì)、自適應(yīng)基函數(shù)選取等操作，本發(fā)明的計(jì)算量低于典型的基于3D基函數(shù)的視 頻多尺度幾何分析方法和基于時(shí)空非局部性的視頻多尺度幾何分析方法。
【具體實(shí)施方式】
[0007] 本發(fā)明的一種基于視頻數(shù)據(jù)3D自相關(guān)性的視頻多尺度幾何分析方法，其特征在于 按照如下步驟進(jìn)行； 步驟1.輸入帶帖待處理的視頻數(shù)據(jù)Γ和分解級(jí)數(shù)駭，設(shè)視頻的空間分辨率為藻fx旅 像素； 步驟2.將視頻F分成沒組，每組包含五:二滬3順（最后一組可不滿夢)，約定將其 稱為子視頻體?立'含-<G);令容二i，。'二1，/_；=王，M'二Μ，.V二y ; 步驟3.對(duì)于子視頻體F,，根據(jù)公式社,i沿著空間水平方向計(jì)算像素間的自相關(guān)系數(shù)
其中，f表示該組視頻的平均像素值，％,。表示第/帖、第W行、第《列的像素值Λ.?。-; 表示第/帖、第規(guī)行、第?> -i-!)列的像素值； 步驟4.對(duì)于子視頻體馬，根據(jù)公式巧)沿著空間豎直方向計(jì)算像素間的自相關(guān)系數(shù) 輯：
其中，跨，Μ*;.。表示第:/帖、第批巧)巧、第綻列的像素值； 步驟5.對(duì)于子視頻體^，根據(jù)公式資瓣著時(shí)間方向計(jì)算像素間的自相關(guān)系數(shù)轉(zhuǎn)：
其中，巧4 表示第妖*巧帖、第誠行、第株列的像素值； 步驟6.對(duì)片，i.片.1和陪I從大到小排序，并將其下標(biāo)Χ、Υ、Ζ按排序順序存儲(chǔ)起來作為邊 信息;令數(shù)據(jù)自相關(guān)性最強(qiáng)的方向?yàn)楝敚浯螢榇_，相關(guān)性最弱的方向?yàn)槌牵?步驟7.將沿著鴻-繞方向劃分為一系列像素平面，并對(duì)每個(gè)像素平面進(jìn)行1級(jí)傳統(tǒng) 2-D小波變換，從而得到一系列包含化、LH、化和皿等4種子帶的像素平面，然后將每個(gè)像素 平面中的化子帶組成化-子視頻體，將每個(gè)像素平面中的LH子帶組成LH-子視頻體i'ls， 將每個(gè)像素平面中的化子帶組成化-子視頻體松:，將每個(gè)像素平面中的皿子帶組成HH-子視 頻體;''描-； 步驟8.沿著4 --方向?qū)⒌?步得到的LH-子視頻體枯、化-子視頻體％郝皿-子視頻 體分別劃分為一系列系數(shù)平面，并對(duì)每個(gè)系數(shù)平面進(jìn)行1級(jí)2-D非冗余的尺度和方向變 換（Nonredundant Scale and Orientational Transform, NSOT)； 步驟9.令 i's =杞，遂=t寺+i，王'=r / 2，M' = M· / 2，於=iW2，若'·= D，則轉(zhuǎn)入 步驟3;否則，沿著壤-為方向?qū)⒆右曨l體咕劃分為一系列系數(shù)平面，并對(duì)每個(gè)系數(shù)平面進(jìn) 行1級(jí)2-D小波變換，轉(zhuǎn)入步驟10; 步驟10.令客二巖+ i<，若皮空輕，則妹二It玄，=足*: ;|襲云褲:，妒二旅，轉(zhuǎn)入步驟 3;否則，輸出所有變換系數(shù)和邊信息，算法結(jié)束。
【主權(quán)項(xiàng)】
1. 一種基于視頻數(shù)據(jù)3D自相關(guān)性的視頻多尺度幾何分析方法，其特征在于按照如下步 驟進(jìn)行： 步驟1.輸入F幀待處理的視頻數(shù)據(jù)Γ和分解級(jí)數(shù)?，設(shè)視頻的空間分辨率為滅X #像 素； 步驟2.將視頻g分成6組，每組包含石^幀，最后一組可不滿幀，約定將其稱 為子視頻體&令發(fā)=1，￡# = 1，益= iL，||#:=縱，; 步驟3.對(duì)于子視頻體％，根據(jù)公式銳沿著空間水平方向計(jì)算像素間的自相關(guān)系數(shù)Q:其中，#表示該組視頻的平均像素值表示第/幀、第行、第》冽的像素值， 表示第#幀、第*行、第列的像素值； 步驟4.對(duì)于子視頻體&，根據(jù)公式X沿著空間豎直方向計(jì)算像素間的自相關(guān)系數(shù)Cr :其中，表示第/幀、第+1)行、第故列的像素值； 步驟5.對(duì)于子視頻體&，根據(jù)公式?沿著時(shí)間方向計(jì)算像素間的自相關(guān)系數(shù)ev:其中，表示第.?幀、第行、第《列的像素值； 步驟6.對(duì)和^從大到小排序，并將其下標(biāo)χ、γ、Ζ按排序順序存儲(chǔ)起來作為邊 信息;令數(shù)據(jù)自相關(guān)性最強(qiáng)的方向?yàn)?，其次為4，相關(guān)性最弱的方向?yàn)?; 步驟7.將匕沿著病_為方向劃分為一系列像素平面，并對(duì)每個(gè)像素平面進(jìn)行1級(jí)傳統(tǒng) 2-D小波變換，從而得到一系列包含LL、LH、HL和ΗΗ等4種子帶的像素平面，然后將每個(gè)像素 平面中的LL子帶組成LL-子視頻體，將每個(gè)像素平面中的LH子帶組成LH-子視頻體Kz，將 每個(gè)像素平面中的HL子帶組成HL-子視頻體匕I，將每個(gè)像素平面中的ΗΗ子帶組成ΗΗ-子視 頻體 步驟8.沿著為_4方向?qū)⒉襟E7得到的LH-子視頻體子視頻體心和ΗΗ-子視頻體 分別劃分為一系列系數(shù)平面，并對(duì)每個(gè)系數(shù)平面進(jìn)行1級(jí)2-D非冗余的尺度和方向變 換； 步驟9 ·令:? .=?.，(61:!，於=r交，Μ?::=聯(lián)，來 驟3;否則，沿著碟_為方向?qū)⒆右曨l體匕劃分為一系列系數(shù)平面，并對(duì)每個(gè)系數(shù)平面進(jìn)行1 級(jí)2-D小波變換，轉(zhuǎn)入步驟10; 步驟10.令g = g + U若:|:逢粒，則#二::l.y. =毛況，轉(zhuǎn)入步驟3; 否則，輸出所有變換系數(shù)和邊信息，算法結(jié)束。
【文檔編號(hào)】G06T7/40GK105825526SQ201610164733
【公開日】2016年8月3日
【申請(qǐng)日】2016年3月22日
【發(fā)明人】宋傳鳴, 王相海, 傅博
【申請(qǐng)人】遼寧師范大學(xué)