一種視頻質量評價方法和裝置與流程
本發明屬于視頻領域，尤其涉及一種視頻質量評價方法和裝置。
背景技術：
對于IP網絡的視頻流媒體而言，視頻質量在采集、壓縮、傳輸、播出的過程中，會有所降低。通常，在編碼端，由于采用不同的壓縮格式，在刪除視覺冗余信息的同時也刪除了部分有用信息，同時，在壓縮編碼的過程中會出現塊效應和邊界模糊的現象。在傳輸時，由于帶寬受限，網絡的延時、抖動等都會造成視頻流的丟包或誤碼，從而造成失真，影響視頻播出質量。在接收端，同一視頻，由于不同的解碼器和播放視頻的終端，用戶的視覺感受也不相同的。因此，為了解視頻質量的下降程度，并通過改進算法和傳輸機制來提高用戶的視覺感知，需要對視頻播出質量進行準確的評價。
目前，視頻質量評價方法(Video Quality Assessment,VQA)采用客觀質量評價方法。大多數客觀視頻質量評價方法基于單幀圖像質量的計算，然后取所有幀質量的均值或者加權均值作為整個視頻的質量評分。速度快，成本低，易于實現，被廣泛應用于工程實踐中。
然而，現有的視頻質量評價方法僅僅將視頻中單幀圖像的質量評價結果進行加權運算得出的結果作為視頻質量的評價結果，這種評價方法僅以單幀圖像的質量作為評價基礎，忽略了圖像之間的連貫性，從而導致對視頻的質量評價不準確。
技術實現要素：
本發明提供一種視頻質量評價方法和裝置，旨在解決現有的視頻質量評價方法對視頻的質量評價不準確的問題。
本發明提供一種視頻質量評價方法，從待評價視頻中獲取待評價圖像，從原始視頻中獲取與該待評價圖像具有相同幀序號的原始圖像，并對該待評價圖像和該原始圖像進行結構相似性運算，得到該待評價圖像的結構相似性指數，從該原始圖像中提取多個圖像顯著區，并對該圖像顯著區進行運動特性運算，計算出該圖像顯著區的運動特性因子，利用相鄰的兩個圖像顯著區的運動特性因子計算出該相鄰的兩個圖像顯著區的相似度，將該相似度大于預置相似度的兩個相鄰的圖像顯著區進行合并，以及對合并后圖像中的像素點的灰度值進行加權運算，得到該原始圖像的時空顯著度，對該原始圖像的時空顯著度和該待評價圖像的結構相似性指數的積進行加權運算，得到該待評價視頻的質量指數。
本發明提供一種視頻質量評價裝置，運算模塊用于從待評價視頻中獲取待評價圖像，從原始視頻中獲取與該待評價圖像具有相同幀序號的原始圖像，并對該待評價圖像和該原始圖像進行結構相似性運算，得到該待評價圖像的結構相似性指數，提取模塊用于從該原始圖像中提取多個圖像顯著區，運算模塊還用于對該圖像顯著區進行運動特性運算，以算出該圖像顯著區的運動特性因子，以及，利用相鄰的兩個圖像顯著區的運動特性因子計算出該相鄰的兩個圖像顯著區的相似度，合并模塊用于將該相似度大于預置相似度的兩個相鄰的圖像顯著區進行合并，該運算模塊還用于對合并后圖像中的像素點的灰度值進行加權運算，得到該原始圖像的時空顯著度，以及，對該原始圖像的時空顯著度和該待評價圖像的結構相似性指數的積進行加權運算，得到該待評價視頻的質量指數。
本發明提供了一種視頻質量評價方法和裝置，從待評價視頻中獲取待評價圖像，從原始視頻中獲取與該待評價圖像具有相同幀序號的原始圖像，并對該待評價圖像和該原始圖像進行結構相似性運算，得到該待評價圖像的結構相似性指數，從該原始圖像中提取多個圖像顯著區，并對該圖像顯著區進行運動特性運算，計算出該圖像顯著區的運動特性因子，利用相鄰的兩個圖像顯著區的運動特性因子計算出該相鄰的兩個圖像顯著區的相似度，將該相似度大于預置相似度的兩個相鄰的圖像顯著區進行合并，以及對合并后圖像中的像素點的灰度值進行加權運算，得到該原始圖像的時空顯著度，對該原始圖像的時空顯著度和該待評價圖像的結構相似性指數的積進行加權運算，得到該待評價視頻的質量指數。本發明與現有技術相比，有益效果在于：在計算待評價視頻的質量指數時，加入了能反映運動連貫性的運動特性因子，可以得出更加準確的視頻評價指數。同時，只需計算顯著區的運動特性因子，大大減少了計算量，節省了計算時間和運算資源。
附圖說明
為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例。
圖1是本發明第一實施例提供的一種視頻質量評價方法的實現流程示意圖；
圖2是本發明第二實施例提供的一種視頻質量評價方法的實現流程示意圖；
圖3是本發明第二實施例提供的一種原始圖像的空域顯著圖；
圖4是本發明第二實施例提供的空域顯著圖中的圖像顯著區經二值化處理后的圖像；
圖5是本發明第三實施例提供的一種視頻質量評價裝置的結構示意圖；
圖6是本發明第四實施例提供的一種視頻質量評價裝置的結構示意圖。
具體實施方式
為使得本發明的發明目的、特征、優點能夠更加的明顯和易懂，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而非全部實施例。基于本發明中的實施例，本領域技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。
本發明實施例提供的視頻質量評價方法可以應用于各種終端設備，如電腦、手機、平板電腦等終端以及其它終端。
請參閱圖1，圖1為本發明第一實施例提供的一種視頻質量評價方法的實現流程示意圖，圖1所示的視頻質量評價方法主要包括以下步驟：
S101、從待評價視頻中獲取待評價圖像，從原始視頻中獲取與該待評價圖像具有相同幀序號的原始圖像，并對該待評價圖像和該原始圖像進行結構相似性運算，得到該待評價圖像的結構相似性指數。
該待評價視頻為該待評價其質量指數的視頻。該待評價視頻一般為經采集、壓縮、傳輸或播出后的視頻。該待評價圖像為該待評價視頻中的圖像。原始視頻為該待評價視頻的原始視頻。該原始圖像為該原始視頻中的圖像，該待評價圖像在該待評價視頻中的幀順序與該原始圖像在該原始視頻中的幀序號相同。
S102、從該原始圖像中提取多個圖像顯著區，并對該圖像顯著區進行運動特性運算，計算出該圖像顯著區的運動特性因子。
該圖像顯著區為該原始圖像具有顯著性的區域。該運動特性因子用于表示該圖像顯著區的運動連貫性。
S103、利用相鄰兩個圖像顯著區的運動特性因子計算出該相鄰的兩個圖像顯著區的相似度，將該相似度大于預置相似度的兩個相鄰的圖像顯著區進行合并，以及對合并后圖像中的像素點的灰度值進行加權運算，得到該原始圖像的時空顯著度。
該相似度用于表示兩個圖像顯著區的運動特性因子的相似性。
S104、對該原始圖像的時空顯著度和該待評價圖像的結構相似性指數的積進行加權運算，得到該待評價視頻的質量指數。該時空顯著度用于表示該原始圖像在空間和時間上的顯著性。該待評價視頻的質量指數用于評價該待評價視頻的質量。
本發明實施例中，從待評價視頻中獲取待評價圖像，從原始視頻中獲取與該待評價圖像具有相同幀序號的原始圖像，并對該待評價圖像和該原始圖像進行結構相似性運算，得到該待評價圖像的結構相似性指數，從該原始圖像中提取多個圖像顯著區，并對該圖像顯著區進行運動特性運算，計算出該圖像顯著區的運動特性因子，利用相鄰的兩個圖像顯著區的運動特性因子計算出該相鄰的兩個圖像顯著區的相似度，將該相似度大于預置相似度的兩個相鄰的圖像顯著區進行合并，以及對合并后圖像中的像素點的灰度值進行加權運算，得到該原始圖像的時空顯著度，對該原始圖像的時空顯著度和該待評價圖像的結構相似性指數的積進行加權運算，得到該待評價視頻的質量指數。因此，在計算待評價視頻的質量指數時，加入了能反映運動連貫性的運動特性因子，可以得出更加準確的視頻評價指數。同時，只需計算顯著區的運動特性因子，大大減少了計算量，節省了計算時間和運算資源。
請參閱圖2，圖2為本發明第二實施例提供的一種視頻質量評價方法的實現流程示意圖，可應用于所有具有顯示功能的顯示圖像裝置中，圖1所示的視頻質量評價方法主要包括以下步驟：
S201、從待評價視頻中獲取待評價圖像，從原始視頻中獲取與該待評價圖像具有相同幀序號的原始圖像，并對該待評價圖像和該原始圖像進行結構相似性運算，得到該待評價圖像的結構相似性指數。
該待評價視頻為該待評價其質量指數的視頻。該待評價視頻一般為經采集、壓縮、傳輸或播出后的視頻。該待評價圖像為該待評價視頻中的圖像。原始視頻為該待評價視頻的原始視頻。該原始圖像為該原始視頻中的圖像，其中，該待評價圖像在該待評價視頻中的幀順序與該原始圖像在該原始視頻中的幀序號相同，如，該待評價圖像為第i幀，則該原始圖像為第i’幀，i＝i’。
進一步地，對該待評價圖像和該原始圖像進行結構相似性運算，得到該待評價圖像的結構相似性指數，具體包括：
對該待評價圖像的亮度平均值和該原始圖像的亮度平均值進行亮度失真度運算，得出該待評價圖像的亮度失真度。
設該待評價圖像為該待評價視頻中的第i幀，該原始圖像為第i’幀，i＝i’，該待評價圖像的亮度失真度為l(i)，則
其中，μi為該待評價圖像的亮度平均值，μi’為該原始圖像的亮度平均值，C1＝(K1L)2，L為像素的灰度值的變換范圍，L＝100；K1<<1。
對該待評價圖像的亮度標準差、該原始圖像的亮度標準差以及該待評價圖像和該原始圖像的亮度協方差進行對比度失真度運算，得出該待評價圖像的對比度失真度。
設該待評價圖像的對比度失真度為c(i)，則
其中，σi為該待評價圖像的亮度的標準差，σi’為該原始圖像的亮度的標準差，σii’為該待評價圖像和該原始圖像的亮度協方差，C2＝(K2L)2，L＝100；K2<<1。
對該待評價圖像的亮度標準差、該原始圖像的亮度標準差以及該待評價圖像和該原始圖像的亮度協方差進行結構失真度運算，得出該待評價圖像的結構失真度。
設該待評價圖像的結構失真度為s(i)，則
其中，C3＝C2/2。
對該亮度失真度、該對比度失真度及該結構失真度進行乘法運算，得到該待評價圖像的結構相似性指數。
設該待評價圖像的結構相似性指數為SSIM(i)，則
SSIM(i)＝[l(i)]α·[c(i)]β·[s(i)]γ
其中，α＝β＝γ＝1，則，
S202、對該原始圖像進行頻譜冗余運算，得到該原始圖像的頻譜冗余。
設該原始圖像為第i’幀，該原始圖像的頻譜冗余為R(i’)，則，
R(i’)＝A(i’)-I(i’)；
其中，I(i’)＝A(i’)×hn(i’)，A(i’)為對數振幅譜，hn(i′)為n×n的均值濾波器，為頻域對數譜，g(i’)為高斯濾波函數。
S203、對該原始圖像的頻譜冗余和該原始圖像的相位譜進行譜冗余運算，得到該原始圖像的空域顯著圖。
設SS(i’)為該原始圖像的空域顯著圖，則，
其中，為傅立葉反變換，P(i’)為該原始圖像的相位譜。
如圖3所示，圖3示出了本發明實施例中該原始圖像的空域顯著圖，其中，灰度值越大的區域，顯著性越高。
S204、將該空域顯著圖中灰度值大于預置灰度值的像素點組成的區域確定為該圖像顯著區。
設r(f)為空域顯著圖中的圖像顯著區，則，
其中，threshold為預置灰度值，threshold＝E(SS(f))*3，f為空域顯著圖中的灰度值，E(SS(f))為該空域顯著圖SS(i’)的平均灰度密度值，r(f)＝1表示該區域為圖像顯著區，r(f)＝0表示該圖像為非圖像顯著區。
為了便于說明，將圖3所示的空域顯著圖中的圖像顯著區按照預置灰度臨界值進行二值化處理，得到圖4，圖4為對該空域顯著圖中的圖像顯著區經二值化處理后的圖像，其中，圖4所示的白色區域為該圖像顯著區所在的位置。
S205、在該圖像顯著區中提取運動目標，并分別對該運動目標的相對運動矢量和背景運動矢量進行二范數運算，分別得到該圖像顯著區的相對運動矢量強度和背景運動矢量強度。
進一步地，在該圖像顯著區中提取運動目標，具體包括：
將該圖像顯著區中的塊與參考圖像顯著區中的塊進行比對；
選取在該圖像顯著區和該參考圖像顯著區中出現頻率最多的塊；
將該圖像顯著區中的塊減去該出現頻率最多的塊，并將該圖像顯著區中剩下的塊作為運動目標。
該參考圖像顯著區為該原始圖像的前一幀圖像中與該圖像顯著區位置相同的區域。設(x0，y0)為該圖像顯著區中的運動目標的坐標，則，
(xo,yo)＝(x',y')-mode(x',y')
其中，(x′，y′)為該圖像顯著區中塊的坐標。mode(x',y')表示出現頻率最大的塊。
其中，(x，y)為該參考圖像顯著區中的塊。a1為縮小參數，a2為放大參數，a3為逆時針旋轉參數，a4為順時針旋轉參數，a5為水平移動參數，a6為垂直移動參數。根據最小誤差函數以及迭代最小二乘法
和可求出a1、a2、a3、a4、a5和a6的值。
其中，xi和yi為參考圖像顯著區中的運動目標的坐標、xi’和yi’分別表示該圖像顯著區中運動目標的坐標。
分別對該運動目標的相對運動矢量和背景運動矢量進行二范數運算，分別得到該圖像顯著區的相對運動矢量強度和背景運動矢量強度。
設表示該運動目標(x0，y0)的運動矢量，則，
其中，為絕對運動矢量，為背景運動矢量，為相對運動矢量，則，該圖像顯著區的相對運動矢量強度vr和背景運動矢量強度vb分別為：
在實際應用中，該圖像顯著區中的絕對運動矢量背景運動矢量和相對運動矢量的值均可以通過全局運動估計法獲得。
S206、對該相對運動矢量強度和該背景運動矢量強度進行加權運算，得到該圖像顯著區的運動因子。
設Mv為該圖像顯著區的運動因子，則，
Mv＝(1-ωb)vr+ωbvb
其中，ωb為該圖像顯著區中背景運動矢量強度的權重，
ωb＝ω1b×ω2b×ω3b
其中，Nb為該圖像顯著區中背景運動矢量不為0的宏塊個數，N(s)為該圖像顯著區的宏塊總數，vbx和vby分別為背景運動矢量的橫坐標和縱坐標，NkB為背景運動矢量非零的宏塊個數，sib為背景運動矢量方向中各非空的維度，N(si)為各個維度內運動矢量不為零的宏塊個數，i≤36。
S207、將該圖像顯著區的運動因子與該原始視頻中圖像顯著區的運動因子的最大值進行除法運算，并對計算出的參數進行對數運算，得到該圖像顯著區的運動特性因子。
設ωM為該圖像顯著區的運動特性因子，則，
其中，Mmax為該原始視頻中圖像顯著區的運動因子的最大值，α為調節常數且α>1，通過非線性擬合和數值分析，設α＝2。
S208、利用相鄰兩個圖像顯著區的運動特性因子計算出該相鄰兩個圖像顯著區的相似度，將該相似度大于預置相似度的兩個相鄰的圖像顯著區進行合并，以及對合并后圖像中的像素點的灰度值進行加權運算，得到該原始圖像的時空顯著度。
進一步地，利用相鄰的兩個圖像顯著區的運動特性因子計算出該相鄰的兩個圖像顯著區的相似度，具體包括：
在該多個圖像顯著區中，選取相鄰的兩個圖像顯著區。
將該兩個圖像顯著區的運動特性因子的最大值與該兩個圖像顯著區的運動特性因子的差值的絕對值進行減法運算，得到目標值。
將該目標值與該兩個圖像顯著區的運動特性因子的最大值進行除法運算，并將得到的商作為該相鄰兩個圖像顯著區的相似度。
設Smotion(ri，rj)為相鄰的兩個圖像顯著區的相似度，則
其中，ri，rj表示相鄰的兩個圖像顯著區，和表示相鄰的兩個圖像顯著區的運動特性因子，為和的最大值，Smotion(ri，rj)為相鄰的圖像顯著區的相似度。
在實際應用中，圖像顯著區ri會存在多個相近的圖像顯著區，則在該多個相近的圖像顯著區中選取與該圖像顯著區ri相隔的像素點最少的區域作為與該圖像顯著區ri相鄰的圖像顯著區。如，與ri相近的圖像顯著區有r1、r2和r3，其中，ri與r1、r2和r3分別相隔0、1和2個像素點，則ri和r1為相鄰的圖像顯著區。其中，該相隔的像素點為兩個圖像顯著區之間相鄰最近的區域相隔的像素點。
將該相似度大于預置相似度的兩個相鄰圖像顯著區進行合并，并對合并后圖像中像素點的灰度值進行加權運算，得到該原始圖像的時空顯著度。
該預置相似度為預置的相似度，可以按照實際情況進行設置，可以設置相似度的最大值為預置相似度，也可以設置具體的相似度值作為預置相似度。
需要說明的是，將相似度大于預置相似度的兩個相鄰圖像顯著區合并后的圖像為該原始圖像的時空顯著圖，設S(i)為該原始圖像的時空顯著圖，則，
S(i)＝{rx,rx∈ri∪rj}
其中，{rx,rx∈ri∪rj}表示對相似度大于該預置相似度的圖像顯著區進行合并。
設Ds(i)為該原始圖像的時空顯著度，則，
其中，Di(n)為該時空顯著圖S(i)中每一個像素點的灰度值，N為時空顯著圖S(i)中像素點總個數。
這樣，通過在該原始圖像的空域顯著圖中提取圖像顯著區計算出的運動特性因子更加符合人眼視覺特性，進而可以準確的反映待評價視頻的運動特性，得出更加準確的待評價視頻的質量指數。而且，只需要計算顯著區的運動特性因子而不必計算整個原始圖像的運動特性因子，這樣可以大大的減少計算量，節省計算時間和運算資源。
S209、對該原始圖像的時空顯著度和該待評價圖像的結構相似性指數的積進行加權運算，得到該待評價視頻的質量指數。
在計算該待評價視頻的質量指數時，分別將該原始視頻中每一幀原始圖像的時空顯著度與該待評價視頻中每一幀圖像的結構相似性指數進行加權運算，得到該待評價視頻的質量指數。
設SMW-SSIM為該待評價視頻的質量指數，則，
其中，SSIM(i)表示該待評價圖像的結構相似性指數，DS(i)表示該原始圖像的時空顯著度。
本發明實施例中，從待評價視頻中獲取待評價圖像，從原始視頻中獲取與該待評價圖像具有相同幀序號的原始圖像，并對該待評價圖像和該原始圖像進行結構相似性運算，得到該待評價圖像的結構相似性指數。對該原始圖像進行頻譜冗余運算，得到該原始圖像的頻譜冗余，對該原始圖像的頻譜冗余和該原始圖像的相位譜進行譜冗余運算，得到該原始圖像的空域顯著圖，對該空域顯著圖進行二值化處理，得到多個圖像顯著區，在該圖像顯著區中提取運動目標，并分別對該運動目標的相對運動矢量和背景運動矢量進行二范數運算，分別得到該圖像顯著區的相對運動矢量強度和背景運動矢量強度，對該相對運動矢量強度和該背景運動矢量強度進行加權運算，得到該圖像顯著區的運動因子，將該原始視頻中圖像顯著區的運動因子的最大值與該圖像顯著區的運動因子進行除法運算，并對計算出的參數進行對數運算，得到該圖像顯著區的運動特性因子，利用相鄰的兩個圖像顯著區的運動特性因子計算出該相鄰兩個圖像顯著區的相似度，將該相似度大于預置相似度的兩個相鄰圖像顯著區進行合并，以及對合并后圖像中的像素點的灰度值進行加權運算，得到該原始圖像的時空顯著度，對該原始圖像的時空顯著度和該待評價圖像的結構相似性指數的積進行加權運算，得到該待評價視頻的質量指數。因此，在計算待評價視頻的質量指數時，加入了能反映運動連貫性的運動特性因子，可以得出更加準確的視頻評價指數。同時，只需計算顯著區的運動特性因子，大大減少了計算量，節省了計算時間和運算資源。
請參閱圖5，圖5是本發明第三實施例提供的視頻質量評價裝置的結構示意圖，為了便于說明，僅示出了與本發明實施例相關的部分。圖5示例的視頻質量評價裝置可以是前述圖1和圖2所示實施例提供的視頻質量評價方法的執行主體，可以是視頻質量評價裝置中的一個控制模塊。圖5示例的視頻質量評價裝置，主要包括：運算模塊501、提取模塊502和合并模塊503。以上各功能模塊詳細說明如下：
運算模塊501，用于從待評價視頻中獲取待評價圖像，從原始視頻中獲取與該待評價圖像具有相同幀序號的原始圖像，并對該待評價圖像和該原始圖像進行結構相似性運算，得到該待評價圖像的結構相似性指數。
該待評價視頻為該待評價其質量指數的視頻。該待評價視頻一般為經采集、壓縮、傳輸或播出后的視頻。該待評價圖像為該待評價視頻中的圖像。原始視頻為該待評價視頻的原始視頻。該原始圖像為該原始視頻中的圖像，該待評價圖像在該待評價視頻中的幀順序與該原始圖像在該原始視頻中的幀序號相同。
提取模塊502，用于從該原始圖像中提取多個圖像顯著區。
該圖像顯著區為該原始圖像具有顯著性的區域。該運動特性因子用于表示該圖像顯著區的運動連貫性。
進一步地，運算模塊501，還用于對該圖像顯著區進行運動特性運算，以算出該圖像顯著區的運動特性因子；以及，利用相鄰的兩個圖像顯著區的運動特性因子計算出該相鄰的兩個圖像顯著區的相似度。
該相似度用于表示兩個圖像顯著區的運動特性因子的相似性。
合并模塊503，用于將該相似度大于預置相似度的兩個相鄰的圖像顯著區進行合并。
進一步地，運算模塊501，還用于對合并后圖像中的像素點的灰度值進行加權運算，得到該原始圖像的時空顯著度；以及，對該原始圖像的時空顯著度和該待評價圖像的結構相似性指數的積進行加權運算，得到該待評價視頻的質量指數。
本發明實施例的未盡細節請參照圖1和圖2所示的第一和第二實施例，在此不再贅述。
本發明實施例中，運算模塊501用于從待評價視頻中獲取待評價圖像，從原始視頻中獲取與該待評價圖像具有相同幀序號的原始圖像，并對該待評價圖像和該原始圖像進行結構相似性運算，得到該待評價圖像的結構相似性指數，提取模塊502用于從該原始圖像中提取多個圖像顯著區，運算模塊501還用于對該圖像顯著區進行運動特性運算，以算出該圖像顯著區的運動特性因子；以及，利用相鄰的兩個圖像顯著區的運動特性因子計算出該相鄰的兩個圖像顯著區的相似度，合并模塊503用于將該相似度大于預置相似度的兩個相鄰的圖像顯著區進行合并，運算模塊501用于對合并后圖像中的像素點的灰度值進行加權運算，得到該原始圖像的時空顯著度；以及，對該原始圖像的時空顯著度和該待評價圖像的結構相似性指數的積進行加權運算，得到該待評價視頻的質量指數。因此，在計算待評價視頻的質量指數時，加入了能反映運動連貫性的運動特性因子，可以得出更加準確的視頻評價指數。同時，只需計算顯著區的運動特性因子，大大減少了計算量，節省了計算時間和運算資源。
請參閱圖6，圖6是本發明第四實施例提供的視頻質量評價裝置的結構示意圖，為了便于說明，僅示出了與本發明實施例相關的部分。圖6示例的視頻質量評價裝置可以是前述圖1和圖2所示實施例提供的視頻質量評價方法的執行主體，可以是視頻質量評價裝置中的一個控制模塊。圖6示例的視頻質量評價裝置，主要包括：運算模塊601、提取模塊602和合并模塊603；其中，運算模塊601包括：失真運算模塊611、指數運算模塊621、矢量運算模塊631、運動特性運算模塊641、選取模塊651和相似運算模塊661；提取模塊602包括：頻譜運算模塊612、譜冗余運算模塊622和確定模塊632。以上各功能模塊詳細說明如下：
運算模塊601，用于從待評價視頻中獲取待評價圖像，從原始視頻中獲取與該待評價圖像具有相同幀序號的原始圖像，并對該待評價圖像和該原始圖像進行結構相似性運算，得到該待評價圖像的結構相似性指數。
該待評價視頻為該待評價其質量指數的視頻。該待評價視頻一般為經采集、壓縮、傳輸或播出后的視頻。該待評價圖像為該待評價視頻中的圖像。原始視頻為該待評價視頻的原始視頻。該原始圖像為該原始視頻中的圖像，該待評價圖像在該待評價視頻中的幀順序與該原始圖像在該原始視頻中的幀序號相同。
提取模塊602，用于從該原始圖像中提取多個圖像顯著區。
該圖像顯著區為該原始圖像具有顯著性的區域。該運動特性因子用于表示該圖像顯著區的運動連貫性。
進一步地，運算模塊601，還用于對該圖像顯著區進行運動特性運算，以算出該圖像顯著區的運動特性因子；以及，利用相鄰的兩個圖像顯著區的運動特性因子計算出該相鄰的兩個圖像顯著區的相似度。
該相似度用于表示兩個圖像顯著區的運動特性因子的相似性。
合并模塊603，用于將該相似度大于預置相似度的兩個相鄰的圖像顯著區進行合并。
進一步地，運算模塊601，還用于對合并后圖像中的像素點的灰度值進行加權運算，得到該原始圖像的時空顯著度；以及，對該原始圖像的時空顯著度和該待評價圖像的結構相似性指數的積進行加權運算，得到該待評價視頻的質量指數。
進一步地，運算模塊601包括：失真運算模塊611和指數運算模塊621。
失真運算模塊611，用于對該待評價圖像的亮度平均值和該原始圖像的亮度平均值進行亮度失真度運算，得出該待評價圖像的亮度失真度。
進一步地，失真運算模塊611，還用于對該待評價圖像的亮度標準差、該原始圖像的亮度標準差以及該待評價圖像和該原始圖像的亮度協方差進行對比度失真度運算，得出該待評價圖像的對比度失真度。
進一步地，失真運算模塊611，還用于對該待評價圖像的亮度標準差、該原始圖像的亮度標準差以及該待評價圖像和該原始圖像的亮度協方差進行結構失真度運算，得出該待評價圖像的結構失真度。
指數運算模塊621，用于對該亮度失真度、該對比度失真度及該結構失真度進行乘法運算，得到該待評價圖像的結構相似性指數。
進一步地，提取模塊602包括：頻譜運算模塊612、譜冗余運算模塊622和二值運算模塊632。
頻譜運算模塊612，用于對該原始圖像進行頻譜冗余運算，得到該原始圖像的頻譜冗余。
譜冗余運算模塊622，用于對該原始圖像的頻譜冗余和該原始圖像的相位譜進行譜冗余運算，得到該原始圖像的空域顯著圖。
確定模塊632，用于將該空域顯著圖中灰度值大于預置灰度值的像素點組成的區域確定為該圖像顯著區。
進一步地，運算模塊601還包括：矢量運算模塊631和運動特性運算模塊641。
矢量運算模塊631，用于在該圖像顯著區中提取運動目標，并分別對該運動目標的相對運動矢量和背景運動矢量進行二范數運算，得到該圖像顯著區的相對運動矢量強度和背景運動矢量強度。
運動特性運算模塊641，用于對該相對運動矢量強度和該背景運動矢量強度進行加權運算，得到該圖像顯著區的運動因子。
運動特性運算模塊641，還用于將該圖像顯著區的運動因子與該原始視頻中的圖像顯著區的運動因子的最大值進行除法運算，并對算出的參數進行對數運算，以得到該圖像顯著區的運動特性因子。
進一步地，運算模塊601還包括：選取模塊651和相似運算模塊661。
選取模塊651，用于在該多個圖像顯著區中，選取相鄰的兩個圖像顯著區。
相似運算模塊661，用于將該兩個圖像顯著區的運動特性因子的最大值與該兩個圖像顯著區的運動特性因子的差值的絕對值進行減法運算，得到目標值。
相似運算模塊661，還用于將該目標值與該兩個圖像顯著區的運動特性因子的最大值進行除法運算，并將算出的商作為該相鄰兩個圖像顯著區的相似度。
本發明實施例的未盡細節請參照圖1和圖2所示的第一和第二實施例，在此不再贅述。
本發明實施例中，運算模塊601用于從待評價視頻中獲取待評價圖像，從原始視頻中獲取與該待評價圖像具有相同幀序號的原始圖像，并對該待評價圖像和該原始圖像進行結構相似性運算，得到該待評價圖像的結構相似性指數，提取模塊602用于從該原始圖像中提取多個圖像顯著區，運算模塊601還用于對該圖像顯著區進行運動特性運算，以算出該圖像顯著區的運動特性因子；以及，利用相鄰的兩個圖像顯著區的運動特性因子計算出該相鄰的兩個圖像顯著區的相似度，合并模塊603用于將該相似度大于預置相似度的兩個相鄰的圖像顯著區進行合并，運算模塊601用于對合并后圖像中的像素點的灰度值進行加權運算，得到該原始圖像的時空顯著度；以及，對該原始圖像的時空顯著度和該待評價圖像的結構相似性指數的積進行加權運算，得到該待評價視頻的質量指數。失真運算模塊611用于對該待評價圖像的亮度平均值和該原始圖像的亮度平均值進行亮度失真度運算，得出該待評價圖像的亮度失真度，失真運算模塊611還用于對該待評價圖像的亮度標準差、該原始圖像的亮度標準差以及該待評價圖像和該原始圖像的亮度協方差進行對比度失真度運算，得出該待評價圖像的對比度失真度，失真運算模塊611還用于對該待評價圖像的亮度標準差、該原始圖像的亮度標準差以及該待評價圖像和該原始圖像的亮度協方差進行結構失真度運算，得出該待評價圖像的結構失真度，指數運算模塊621用于對該亮度失真度、該對比度失真度及該結構失真度進行乘法運算，得到該待評價圖像的結構相似性指數，頻譜運算模塊612用于對該原始圖像進行頻譜冗余運算，得到該原始圖像的頻譜冗余，譜冗余運算模塊622用于對該原始圖像的頻譜冗余和該原始圖像的相位譜進行譜冗余運算，得到該原始圖像的空域顯著圖，確定模塊632用于將該空域顯著圖中灰度值大于預置灰度值的像素點組成的區域確定為該圖像顯著區矢量運算模塊631用于在該圖像顯著區中提取運動目標，并分別對該運動目標的相對運動矢量和背景運動矢量進行二范數運算，得到該圖像顯著區的相對運動矢量強度和背景運動矢量強度，運動特性運算模塊641用于對該相對運動矢量強度和該背景運動矢量強度進行加權運算，得到該圖像顯著區的運動因子。運動特性運算模塊641還用于將該圖像顯著區的運動因子與該原始視頻中的圖像顯著區的運動因子的最大值進行除法運算，并對算出的參數進行對數運算，以得到該圖像顯著區的運動特性因子。選取模塊651用于在該多個圖像顯著區中，選取相鄰的兩個圖像顯著區。相似運算模塊661用于將該兩個圖像顯著區的運動因子的最大值與該兩個圖像顯著區的運動特性因子的差值的絕對值進行減法運算，得到目標值。相似運算模塊661還用于將該目標值與該兩個圖像顯著區的運動因子的最大值進行除法運算，并將算出的商作為該相鄰兩個圖像顯著區的相似度。因此，在計算待評價視頻的質量指數時，加入了能反映運動連貫性的運動特性因子，可以得出更加準確的視頻評價指數。同時，只需計算顯著區的運動特性因子，大大減少了計算量，節省了計算時間和運算資源。
在本申請所提供的多個實施例中，應該理解到，所揭露的系統、裝置和方法，可以通過其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述模塊的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如多個模塊或組件可以結合或者可以集成到另一個系統，或一些特征可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信鏈接可以是通過一些接口，裝置或模塊的間接耦合或通信鏈接，可以是電性，機械或其它的形式。
所述作為分離部件說明的模塊可以是或者也可以不是物理上分開的，作為模塊顯示的部件可以是或者也可以不是物理模塊，即可以位于一個地方，或者也可以分布到多個網絡模塊上。可以根據實際的需要選擇其中的部分或者全部模塊來實現本實施例方案的目的。
另外，在本發明各個實施例中的各功能模塊可以集成在一個處理模塊中，也可以是各個模塊單獨物理存在，也可以兩個或兩個以上模塊集成在一個模塊中。上述集成的模塊既可以采用硬件的形式實現，也可以采用軟件功能模塊的形式實現。
所述集成的模塊如果以軟件功能模塊的形式實現并作為獨立的產品銷售或使用時，可以存儲在一個計算機可讀取存儲介質中。基于這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟件產品的形式體現出來，該計算機軟件產品存儲在一個存儲介質中，包括若干指令用以使得一臺計算機設備(可以是個人計算機，服務器，或者網絡設備等)執行本發明各個實施例所述方法的全部或部分步驟。而前述的存儲介質包括：U盤、移動硬盤、只讀存儲器(ROM，Read-Only Memory)、隨機存取存儲器(RAM，Random Access Memory)、磁碟或者光盤等各種可以存儲程序代碼的介質。
需要說明的是，對于前述的各方法實施例，為了簡便描述，故將其都表述為一系列的動作組合，但是本領域技術人員應該知悉，本發明并不受所描述的動作順序的限制，因為依據本發明，某些步驟可以采用其它順序或者同時進行。其次，本領域技術人員也應該知悉，說明書中所描述的實施例均屬于優選實施例，所涉及的動作和模塊并不一定都是本發明所必須的。
在上述實施例中，對各個實施例的描述都各有側重，某個實施例中沒有詳述的部分，可以參見其它實施例的相關描述。
以上為對本發明所提供的視頻質量評價方法及裝置的描述，對于本領域的技術人員，依據本發明實施例的思想，在具體實施方式及應用范圍上均會有改變之處，綜上，本說明書內容不應理解為對本發明的限制。
- 還沒有人留言評論。精彩留言會獲得點贊！