一種通用型無參考圖像質量評價方法與流程

本發明屬于圖像處理技術領域，特別涉及一種通用型無參考的圖像質量評價方法，可用于各類自然圖像及醫學圖像處理領域，如：圖像壓縮、去噪、增強、檢測、去霧及醫學圖像質量評價等。

技術背景

隨著移動設備和高速網絡的發展，人們獲取數字圖像和視頻的方式越來越多，作為信息的主要載體，在大量應用場合中，高質量圖像和視頻的需求越來越高。每時每刻，大量的圖像或視頻被獲取、壓縮和傳輸。但是，圖像在這些處理過程中不可避免的會產生失真，如：噪聲、模糊、信號衰落、有損壓縮等，都會讓圖像的質量有明顯的下落。一幅高質量的圖像產生失真后，會降低人眼感知的舒適度，甚至會影響人們對圖像內容的正確理解。因此，為了衡量成像設備的性能、指導圖像壓縮、去噪，以及在某些圖像處理之前對數據源進行篩選等，我們希望計算機能代替人自動評價一幅圖像的質量好壞。因此，設計一種和人眼視覺感知特性一致的圖像質量評價方法顯得至關重要。

在過去的幾十年里，圖像質量評價取得了極大的進展，大量的評價方法被提出。一般來說，根據評價時所需參考圖像的信息量，現有方法可分為三類：全參考圖像質量評價方法、部分參考圖像質量評價方法和無參考圖像質量評價方法。全參考圖像質量評價方法需要參考圖像的全部信息，信息的完備使得其只需較低的計算量即可取得很好的性能，比如全參考方法中經典的峰值信噪比(psnr)方法。部分參考圖像質量評價方法則需要參考圖像的部分信息，所需的這部分信息通常是從參考圖像中提取的特征。然而在實際情況中，大多數時候我們是不知道參考圖像的，換一個角度說，如果已經擁有參考圖像，對失真圖像的質量評價就像在知道答案的情況下做題。因此全參考和部分參考圖像質量評價方法的應用在實際中受到了限制。無參考圖像質量評價方法的應用更加廣泛，不需要參考圖像的任何信息，所以成為質量評價領域的研究熱點。

目前，無參考圖像質量評價方法的一個主流趨勢是基于自然場景統計模型。自然場景統計理論認為自然圖像灰度的統計分布滿足某些統計規律。然而，當自然圖像產生失真后，統計規律會被改變。因此，基于自然場景統計模型的評價方法旨在通過衡量圖像統計規律變化的程度來預測圖像質量。mittal等人在文章“no-referenceimagequalityassessmentinthespatialdomain”,ieeetransactionsonimageprocessing,vol.21,no.12,pp.4695-4708,2012中利用廣義高斯分布和非對稱廣義高斯分布來擬合圖像的空域灰度分布，并將擬合參數作為圖像特征用于圖像質量評價。linzhang等人在文章“afeature-enrichedcompletelyblindimagequalityevaluator”,ieeetransactionsonimageprocessing,vol.24,no.8,pp.2579-2591,2015中基于自然場景統計特性的圖像特征和圖像的結構信息，將多種特征融合，提出一種新穎的質量評價方法(授權公告號cn103996192b)。pengye等人在文章“unsupervisedfeaturelearningframeworkforno-referenceimagequalityassessment”,computervisionandpatternrecognition(cvpr),2012ieeeconferenceon.ieee,2012:1098-1105.中，提出了一種基于無監督特征學習的圖像質量評價框架cornia。minzhang等人在文章“blindimagequalityassessmentusingthejointstatisticsofgeneralizedlocalbinarypattern”,ieeesignalprocessingletters,vol.22,no.2,february2015中，將自然統計特征和圖像的廣義局部二值特征(generalizedlocalbinarypattern,glbp)結合起來，提出了一種簡潔高效的特征提取方法，被稱為glbp算子。利用glbp特征提取方法結合機器學習，提出了一種高性能的無參考圖像質量評價方法nr-glbp。但nr-glbp方法由于采用了機器學習，其結果需要經過訓練才能得到模型。本方法利用glbp算子結合多元統計模型，是一種全新的無參考圖像質量評價方法。

無參考圖像質量評價方法另一個主流趨勢是基于機器學習的模型，這類方法通常使用神經網絡或支持向量機將圖像特征映射到人眼主觀分數上，從而預測圖像質量。chaofengli等人在文章“blindimagequalityassessmentusingageneralregressionneuralnetwork”,ieeetransactionsonneuralnetworks,vol.22,no.5,pp.793-799,2011中提出通過廣義回歸神經網絡將圖像的三種特征：相位一致性、熵和梯度信息映射到主觀分數來評價圖像質量。wufengxue等人在文章“blindimagequalityassessmentusingjointstatisticsofgradientmagnitudeandlaplacianfeatures”,ieeetransactionsonimageprocessing,vol.23,no.11,pp.4850-4862,2014中通過提取圖像的梯度信息和拉普拉斯特征的聯合分布，并利用支持向量機回歸模型(supportvectorregression,svr)來預測圖像質量。這類方法都采用了機器學習來建立模型，通過svr或其他機器學習方法對不同圖像的特征和質量分數進行映射訓練，再用訓練的模型來預測待測圖像的質量分數。然而，以上采用機器學習的方法都具有一些局限性：使用svr，需要預先得知人眼主觀分數，通過特征向量和人眼主觀分數的映射來建立模型，并非是一個完全客觀的結果；svr的模型是一個黑盒，且其結果受訓練集的內容影響極大，訓練集取的好與壞直接影響了結果模型的精確與否；不同應用環境中所需的訓練集內容的不同，也限制了模型的通用性。

技術實現要素：

本發明目的在于提供一種無參考圖像質量評價方法，以解決上述已有技術中存在的不足，達到真正客觀的全盲評價，提高現有圖像質量方法的評價結果與主觀分數的相關性。

一種通用型無參考圖像質量評價方法，包括以下步驟：

步驟1，選取n張圖像，將每張圖像分為k1塊，得到n×k1個圖像塊，在n×k1個圖像塊中選取m個質量達標的圖像塊；

步驟2，選擇n個閾值t＝{t1,t2,...,ti,...,tn}，i＝1,2，…，n；

步驟21，取閾值t＝ti，采用nr-glbp方法，提取質量達標的所有圖像塊中每個圖像塊的glbp特征向量，得到特征矩陣；

步驟22，計算特征矩陣的協方差矩陣和均值向量，得到標準mvg模型m1i；

步驟3，選取一張失真圖像，將所述的失真圖像分為k2i塊；

步驟31，取閾值t＝ti，采用nr-glbp方法，提取k2i塊失真圖像中每個失真圖像塊的glbp特征向量，得到特征矩陣；

步驟32，計算特征矩陣的協方差矩陣和均值向量，得到標準mvg模型m2i；

步驟4，計算模型m1i和m2i之間的距離di；

步驟5，i＝i+1，重復步驟2至步驟4，直至i＝n，得到{di|i＝1,2,...,n}，將{di|i＝1,2,...,n}通過融合得到d。

進一步地，步驟1中所述的在n×k1個圖像塊中選取m個質量達標的圖像塊，包括：

步驟11，任選一張圖像作為當前圖像，設該當前圖像中的k1個圖像塊的清晰度集合為σ＝{σ1,σ2,...,σj,...σk1}，j＝1,2,...,k1，其中σmax＝maxσ；

步驟111，在k1個圖像塊中任選一個圖像塊作為當前圖像塊，設該當前圖像塊的清晰度為σj，若σj＞r×σmax，則該當前圖像塊為質量達標的圖像塊，5％≤r≤95％；

步驟112，重復步驟111，直至k1個圖像塊都被作為當前圖像塊，得到當前圖像的質量達標圖像塊集合；

步驟12，重復步驟11，直至所有圖像都被作為當前圖像，得到m個質量達標的圖像塊。

進一步地，通過公式(1)計算步驟4中模型m1i和m2i之間的距離di：

式(1)中，μ1i和μ2i分別是模型m1i和模型m2i的均值向量，σ1i和σ2i分別是模型m1i和模型m2i的協方差矩陣。

進一步地，步驟5中將{di|i＝1,2,...,n}通過融合得到d中的融合包括：相加，相乘，加權融合等。

本發明相比于現有技術，具有以下優點：

(1)本發明脫離了機器學習的框架，達到了完全客觀的圖像質量全盲評價；

(2)本發明采用了不同閾值下，特征間距離融合的方法，降低了glbp內部特征之間的冗余和相關。明顯的提高了結果的相關性。

附圖說明

圖1是本發明的實現流程示意圖；

圖2是本發明在live數據庫上的圖像質量客觀預測結果與主觀感知分數之間的散點圖。

圖3是實施例1中的一張高質量圖像；

圖4是實施例1中的一張待評價的失真圖像。

具體實施方式

下面通過附圖和實施例對本發明作進一步說明。

實施例1

本實施例提供了一種通用型無參考圖像質量評價方法，如圖1所示，包括以下步驟：

步驟1，選取125張高質量圖像，如圖3為其中一張高質量圖像，將每張圖像分為k1塊，每塊大小為96×96像素,得到125×k1個圖像塊，在圖像塊中選取m個質量達標的圖像塊，m為大于等于1的自然數；

步驟2，選擇n個閾值t＝{t1,t2,...,ti,...,tn}，i＝1,2，…，n；本實施例中，選擇5個閾值t＝{-2.6,-1.2,0,0.2,10}；

步驟21，取閾值t＝ti，采用nr-glbp方法，提取質量達標的m個圖像塊中每個圖像塊的glbp特征向量，得到特征矩陣；

步驟22，計算特征矩陣的協方差矩陣和均值向量，得到多元高斯統計(multivariategaussian,mvg)模型m1i；

mvg的定義如下：

式(8)中，x是d維隨機變量，p是隨機變量x的概率，μ是隨機變量x的均值向量，和x的維度相同，計算方式如下：

μ＝e{x}＝[μ1,μ2,…,μd]^t(3)

σ是d×d維協方差矩陣，σ^-1是協方差矩陣的逆矩陣，|∑|是協方差矩陣的行列式。σ的計算方式如下：

σ＝e{(x-μ)(x-μ)^t}(4)

計算得出的mvg模型m表示為m(μ，σ)。

本實施例中，mvg模型的關鍵參數只有σ和μ，計算得到矩陣x的μ和σ，建立模型m1i(μ1i，σ1i)。

步驟3，將待評價的失真圖像分為k2i塊失真圖像塊，所述待評價的失真圖像不屬于步驟1中選取的n張圖像，每塊大小為96×96像素；

本實施例中，待評價的失真圖像如圖4所示。

步驟31，取閾值t＝ti，采用nr-glbp方法，提取k2i塊失真圖像中每個失真圖像塊的glbp特征向量，得到特征矩陣；

本實施例中所采用的nr-glbp特征提取方法來自于文獻“blindimagequalityassessmentusingthejointstatisticsofgeneralizedlocalbinarypattern”,所使用的各項參數也和該論文中的參數一致。

步驟32，計算特征矩陣的協方差矩陣和均值向量，得到待評價的失真圖像的標準mvg模型m2i；

步驟4，計算模型m1i和m2i之間的距離di；di越大，圖像質量越差，di越小，圖像質量越好；di＞0；

步驟5，i＝i+1，重復步驟2至步驟4，直至i＝n，得到{di|i＝1,2,...,n}，將{di|i＝1,2,...,n}通過融合得到待評價的失真圖像的分數d，作為最終的圖像質量評價結果；本實施例中待評價的失真圖像(圖4)的d為19.095。

本實施例中，融合方式很多，包括但不限于相加，相乘，加權融合等，本實例采用了相乘的方式，通過公式(5)計算d:

本實施例中的待評價的失真圖像來自live圖像數據庫，圖像按照不同失真類型分為5類，共有779張待評價的失真圖像，按照本實施例的方法可以得到779張待評價的失真圖像的分數d，即可得到779個d值，如圖2所示為本實施例預測得到的779張待評價的失真圖像的分數d和主觀感知分數的相關性圖，圖2的橫坐標為本實施例預測的分數，縱坐標為主觀感知的分數，其中包含五種不同類型失真圖像的分數，五種不同類型分別用不同的符號表示，從該圖可以得到本實施例預測的每張圖像的質量評價分數與主觀感知每張圖像質量評價分數的相關性，其相關性如表1所示。

表1在live圖像數據庫下，不同方法的srocc結果

srocc為秩相關系數，將兩要素的樣本值按數據的大小順序排列位次，以各要素樣本值的位次代替實際數據而求得的一種統計量。

表1為本發明提出的方法(ourmethod，以下簡稱本發明)與其他方法的性能比較，通過live圖像數據庫中不同失真圖像計算所得到的客觀評價分數和人眼主觀評價分數之間的秩相關系數結果來體現方法的性能。all為全體圖像的統一計算結果，fastfading、gblur、jp2k、jpeg的wn分別對應五種不同失真類型的圖像。

從表1中可以看出，本發明在live數據庫全體圖像上的性能和niqe相同，高于il-niqe；但是針對5個不同的失真類型，本發明的性能與niqe和il-niqe相比都有明顯提升，個別失真類型提升顯著。

本實施例中所使用的高質量圖像來自為:http://live.ece.utexas.edu/research/quality/pristinedata.zip。

實施例2

本實施例在實施例1的基礎上，步驟1中所述的在n×k1個圖像塊中選取m個質量達標的圖像塊，包括：

步驟11，任選一張圖像作為當前圖像，設該當前圖像中的k1個圖像塊的清晰度集合為j＝1,2,...,k1，其中σmax＝maxσ；

步驟111，在k1個圖像塊中任選一個圖像塊作為當前圖像塊，設該當前圖像塊的清晰度為σj，若σj＞r×σxam，則該當前圖像塊為質量達標的圖像塊；r的取值范圍為5％～95％；本實施例中，r＝50％；

步驟112，重復步驟111，直至k1個圖像塊都被作為當前圖像塊，得到當前圖像的質量達標圖像塊集合；

步驟12，重復步驟11，直至所有圖像都被作為當前圖像，得到m個質量達標的圖像塊。

實施例3

本實施例在實施例1的基礎上，通過公式(1)計算步驟4中模型m1i和m2i之間的距離di：

式(1)中，μ1i和μ2i分別是模型m1i和模型m2i的均值向量，σ1i和σ2i分別是模型m1i和模型m2i的協方差矩陣。