一種基于三維小波變換的視頻質量評價方法
【專利摘要】本發明公開了一種基于三維小波變換的視頻質量評價方法，其將三維小波變換應用于視頻質量評價之中，對視頻中的各幀組進行二級三維小波變換，通過在時間軸上對視頻序列的分解完成對幀組內時域信息的描述，在一定程度上解決了視頻時域信息描述困難的問題，有效地提高了視頻客觀質量評價的準確性，從而有效地提高了客觀評價結果與人眼主觀感知質量之間的相關性；其對于幀組間存在的時域相關性，通過運動劇烈程度和亮度特征對各幀組的質量進行加權，從而使得本發明方法能較好地符合人眼視覺特性。
【專利說明】一種基于三維小波變換的視頻質量評價方法
【技術領域】
[0001]本發明涉及一種視頻信號的處理技術，尤其是涉及一種基于三維小波變換的視頻質量評價方法。
【背景技術】
[0002]隨著視頻編碼技術和顯示技術的迅速發展，各類視頻系統得到了越來越廣泛的應用和關注，并逐漸成為了信息處理領域的研究重點。視頻信息在視頻采集、編碼壓縮、網絡傳輸以及解碼顯示等階段都會因為一系列不可控制的因素而不可避免地引入失真，從而造成視頻質量的下降。因此，如何準確有效地衡量視頻質量對于視頻系統的發展起到了重要的作用。視頻質量評價主要分為主觀質量評價和客觀質量評價兩大類。由于視覺信息最終由人眼所接受，因此主觀質量評價的準確性最為可靠，然而主觀質量評價需要觀察者打分得到，費時費力且不易集成于視頻系統之中。而客觀質量評價模型卻可以很好地集成于視頻系統實現實時質量評價，有助于及時調整視頻系統參數，從而實現高質量視頻系統應用。因此，準確有效且符合人眼視覺特點的視頻客觀質量評價方法具有很好的實際應用價值。現有的視頻客觀質量評價方法主要從模擬人眼對于視頻中運動以及時域信息處理方式的角度出發，并結合一些圖像客觀質量評價方法，即在現有的圖像客觀質量評價方法的基礎上加入對于視頻中時域失真的評價，從而完成對視頻信息的客觀質量評價。雖然以上方法從不同角度對于視頻序列的時域信息進行了描述，但是目前階段對于人眼觀看視頻信息時的處理方式的了解較為有限，因此以上方法對于時域信息的描述均存在一定的局限性，即對視頻時域質量評價存在困難，最終導致客觀評價結果與人眼主觀感知質量的一致性較差。
【發明內容】
[0003]本發明所要解決的技術問題是提供一種能夠有效提高客觀評價結果與人眼主觀感知質量之間的相關性的基于三維小波變換的視頻質量評價方法。
[0004]本發明解決上述技術問題所采用的技術方案為:一種基于三維小波變換的視頻質量評價方法，其特征在于包括以下步驟:
[0005]①令Vref表示原始的無失真的參考視頻序列，令Vdis表示失真的視頻序列，Vref和Vdis均包含N&幀圖像，其中，N&彡2n，n為正整數，且n e [3，5]；
[0006]②以2n幀圖像為一個幀組，將Vref和Vdis分別分為IW個幀組，將Vref中的第i個
Nf
幀組記為^,，將Vdis中的第i個幀組記為，其中，"=f，符號“丨h為向下取整
ret，i/is 9L 」L」.符號，I ^ i ^ nGoF ；
[0007]③對Vref中的每個幀組進行二級三維小波變換，得到Vref中的每個幀組對應的15組子帶序列，其中，15組子帶序列包括7組一級子帶序列和8組二級子帶序列，每組一級子帶序列包含幀圖像，每組二級子帶序列包含A幀圖像；
22x2
[0008]同樣，對Vdis中的每個幀組進行二級三維小波變換，得到Vdis中的每個幀組對應的15組子帶序列，其中，15組子帶序列包括7組一級子帶序列和8組二級子帶序列，每組一級子帶序列包含幀圖像，每組二級子帶序列包含^幀圖像；
[0009]④計算Vdis中各幀組對應的每組子帶序列的質量，將<^對應的第j組子帶序列的
質量記為化
【權利要求】
1.一種基于三維小波變換的視頻質量評價方法，其特征在于包括以下步驟: ①令表示原始的無失真的參考視頻序列，令Vdis表示失真的視頻序列，VMf和Vdis均包含Nft幀圖像，其中，Nft≥2η，η為正整數，且n e [3，5]； ②以2n幀圖像為一個幀組，將Vref和Vdis分別分為rw個幀組，將Vref中的第i個幀組記為P將Vdis中的第i個幀組記為"其中
符號“丨j，，為向下取整符號， ③對Vref中的每個幀組進行二級三維小波變換，得到VMf中的每個幀組對應的15組子帶序列，其中，15組子帶序列包括7組一級子帶序列和8組二級子帶序列，每組一級子帶序列包含I幀圖像，每組二級子帶序列包含:幀圖像； 同樣，對Vdis中的每個幀組進行二級三維小波變換，得到Vdis中的每個幀組對應的15組子帶序列，其中，15組子帶序列包括7組一級子帶序列和8組二級子帶序列，每組一級子帶序列包含幀圖像，每組二級子帶序列包含幀圖像； ④計算Vdis中各幀組對應的每組子帶序列的質量,將G),對應的第j組子帶序列的質
'ref， dis )其中， ，
K表示對應的 第j組子帶序列和對應的第j組子帶序列中各自包含的圖像的總幀數，如果G ,和(64各自對應的第j組子帶序列為一級子帶序列，則尺=|，如果e ,和&各自對應的第j組子帶序列為二級子帶序列，則表示e對應的第j組子帶序列中的第k幀圖
像，表示對應的第j組子帶序列中的第k幀圖像，SSIMO為結構相似度計算函數，臟啤'嶺◎二’ U表示W的均值，^表示 的均值，σΜ?表示的標準差，Odis表示的標準差，oMf_dis表示與F/,之間的協方差，C1和C2均為常數，C1 ^ O, C2 ^ O ； ⑤在Vdis中的每個幀組對應的7組一級子帶序列中選取兩組一級子帶序列，然后根據Vdis中的每個幀組對應的選取的兩組一級子帶序列各自的質量，計算Vdis中的每個幀組對應的一級子帶序列質量，對于(64對應的7組一級子帶序列，假設選取的兩組一級子帶序列分別為第P1組子帶序列和第Q1組子帶序列，則將(5^對應的一級子帶序列質量記為CI1，QiM =WmX Qup' +(I —H’￡vl)xg'其中，9 ^ P1 ^ 15,9 ^ Q1 ^ 15，Wlv1 為 QM 的權值，Q1.!1'表示^^對應的第Pl組子帶序列的質量，Q ”表示<5〗&對應的第Q1組子帶序列的質量； 并且，在Vdis中的每個幀組對應的8組二級子帶序列中選取兩組二級子帶序列，然后根據Vdis中的每個幀組對應的選取的兩組二級子帶序列各自的質量，計算Vdis中的每個幀組對應的二級子帶序列質量，對于G/對應的8組二級子帶序列，假設選取的兩組二級子帶序列分別為第P2組子帶序列和第q2組子帶序列，則將(64對應的二級子帶序列質量記為Qil.、.2，Qi2= wLnx Qi'172 + (I —Wir2) xg'其中，I ≤ P2 ≤ 8，I ≤ q2≤ 8，wLv2 為 Qi^ 的權值，Q^-表示(64對應的第P2組子帶序列的質量，Q 菱示《對應的第q2組子帶序列的質量； ⑥根據Vdis中的每個幀組對應的一級子帶序列質量和二級子帶序列質量，計算Vdis中的每個幀組的質量，將4的質量記為, QiLr =WlrX Q1lrl +(l-W/v) X^r2，其中，Wlv為Qim的權值；
⑦根據Vdis中的每個幀組的質量，計算Vdis的客觀評價質量，記為
其 中，Wi為(?;,.的權值。
2.根據權利要求1所述的一種基于三維小波變換的視頻質量評價方法，其特征在于所述的步驟⑤中兩組一級子帶序列及兩組二級子帶序列的具體選取過程為: ⑤-1、選取一具有主觀視頻質量的視頻數據庫作為訓練視頻數據庫，按照步驟①至步驟④的操作過程，以相同的方式獲取訓練視頻數據庫中的每個失真的視頻序列中各幀組對應的每組子帶序列的質量，將訓練視頻數據庫中的第nv個失真的視頻序列記為V:;，將V2中的第i’個幀組對應的第j組子帶序列的質量記為β；"，其中，l<nv<U，U表示訓練視頻數據庫中包含的失真的視頻序列的個數，I≤i’ ^ n^p' ,n^p'表示K中包含的幀組的個數，I≤j≤15 ; ⑤_2、計算訓練視頻數據庫中的每個失真的視頻序列中的所有的幀組對應的同一組子帶序列的客觀視頻質量，將6中的所有的幀組對應的第j組子帶序列的客觀視頻質量記
⑤_3、由訓練視頻數據庫中的所有的失真的視頻序列中的所有的幀組對應的第j組子帶序列的客觀視頻質量構成向量4VQiy,VQjj)，由訓練視頻數據庫中的所有的失真的視頻序列的主觀視頻質量構成向量V1, '> =(ΑKSr)，其中，K j < 15，Fg/表示訓練視頻數據庫中的第I個失真的視頻序列中的所有的幀組對應的第j組子帶序列的客觀視頻質量，表示訓練視頻數據庫中的第2個失真的視頻序列中的所有的幀組對應的第j組子帶序列的客觀視頻質量，M2/.表示訓練視頻數據庫中的第U個失真的視頻序列中的所有的幀組對應的第j組子帶序列的客觀視頻質量，VS1表示訓練視頻數據庫中的第I個失真的視頻序列的主觀視頻質量，VS2表示訓練視頻數據庫中的第2個失真的視頻序列的主觀視頻質量，VS?良示訓練視頻數據庫中的第nv個失真的視頻序列的主觀視頻質量，VSu表示訓練視頻數據庫中的第U個失真的視頻序列的主觀視頻質量；然后計算失真的視頻序列中的所有的幀組對應的同一組子帶序列的客觀視頻質量與失真的視頻序列的主觀視頻質量的線性相關系數，將失真的視頻序列中的所有的幀組對應的第j組子帶序列的客觀視頻質量與失真的視頻序列的主觀視頻質量的線性相關系數記
’其中，I≤j≤15， 為中的所有元素的值的均值，K力Vy中的所有元素的值的均值； ⑤-4、從得到的15個線性相關系數中與一級子帶序列相應的7個線性相關系數中選出值最大的線性相關系數和值次大的線性相關系數，將值最大的線性相關系數對應的一級子帶序列和值次大的線性相關系數對應的一級子帶序列作為應選取的兩組一級子帶序列；并且，從得到的15個線性相關系數中與二級子帶序列相應的8個線性相關系數中選出值最大的線性相關系數和值次大的線性相關系數，將值最大的線性相關系數對應的二級子帶序列和值次大的線性相關系數對應的二級子帶序列作為應選取的兩組二級子帶序列。
3.根據權利要求1或2所述的一種基于三維小波變換的視頻質量評價方法，其特征在于所述的步驟⑤中取Wlv1 = 0.71,取Wlv2 = 0.58。
4.根據權利要求3所述的一種基于三維小波變換的視頻質量評價方法，其特征在于所述的步驟⑥中取wLv = 0.93。
5.根據權利要求4所述的一種基于三維小波變換的視頻質量評價方法，其特征在于所述的步驟⑦中V的獲取過程為:⑦-1、計算Vdis中的每個幀組中的所有圖像的亮度均值的平均值，將G,中的所有圖
2n像的亮度均值的平均值記為
,含7其中，表示中的第f幀圖像的亮度均值A的值為σ,中的第f幀圖像中的所有像素點的亮度值取平均得到的亮度平均值，I < i < nGoF ； ⑦-2、計算Vdis中的每個幀組中除第I幀圖像外的所有的圖像的運動劇烈程度的平均值，將Gl中除第I幀圖像外的所有的圖像的運動劇烈程度的平均值記為MAavgi,
其中，2≤f’≤2n，MAf，表示中的第f’幀圖像的運動劇烈程度，
的第 f，幀圖像的寬度，H表示G1中的第f’幀圖像的高度，Iiivx(s，t)表示G,中的第幀圖像中坐標位置為(s，t)的像素點的運動矢量水平方向上的值，mvy(s，t)表示C4中的第f’幀圖像中坐標位置為(s，t)的像素點的運動矢量垂直方向上的值；⑦_3、將Vdis中的所有的幀組中的所有圖像的亮度均值的平均值組成亮度均值向量，記為
其中，Lavg1表示Vdis中的第I個幀組中的所有圖像的亮度均值的平均值，Lavg2表示Vdis中的第2個幀組中的所有圖像的亮度均值的平均值，Luvg"郵表示Vdis中的第個幀組中的所有圖像的亮度均值的平均值；并且，將Vdis中的所有的幀組中除第I幀圖像外的所有的圖像的運動劇烈程度的平均值組成運動劇烈程度均值向量，記為
其中，MAavg1表示Vdis中的第I個幀組中除第I幀圖像外的所有的圖像的運動劇烈程度的平均值，MAavg2表示Vdis中的第2個幀組中除第I幀圖像外的所有的圖像的運動劇烈程度的平均值，表示Vdis中的第個幀組中除第I幀圖像外的所有的圖像的運動劇烈程度的平均值；⑦_4、對'avg中的每個元素的值進行歸一化計算，得到Vtog中的每個元素歸一化后
的值，將Vtog中的第i元素歸一化后的值記為
其中，Lavgi表示Vlots中的第i元素的值，max (VLavg)表示取Vtog中值最大的元素的值，min (VLavg)表示取'avg中值最小的元素的值；并且，對VMavg中的每個元素的值進行歸一化計算，得到VMavg中的每個元素歸一化后
的值，將Vmavg中的第i元素歸一化后的值記為
其中，MAavgi表示VMavg中的第i元素的值，max (Vmavg)表示取VMavg中值最大的元素的值，min(Vmavg)表示取Vmavg中值最小的元素的值； ⑦-5、根據V=和C；,計算Q的權值
【文檔編號】H04N17/00GK104202594SQ201410360953
【公開日】2014年12月10日 申請日期:2014年7月25日 優先權日:2014年7月25日
【發明者】蔣剛毅, 宋洋, 劉姍姍, 鄭凱輝, 靳鑫 申請人:寧波大學