本發明涉及一種圖像質量評價方法,尤其是涉及一種基于梯度自相似度的無參考圖像客觀質量評價方法。
背景技術:
圖像是人類獲取信息的重要途徑,圖像質量表示圖像向人或設備提供信息的能力,直接關系著所獲取信息的充分性與準確性。然而,圖像在獲取、處理、傳輸和存儲的過程中,由于各種因素影響,因此將不可避免的產生降質問題,這給信息的獲取或圖像的后期處理帶來了極大困難。因此,建立有效的圖像質量評價機制非常重要,如在圖像去噪、圖像融合等處理過程中可用于各種算法的性能比較、參數選擇;在圖像編碼與通信領域可用于指導整個圖像的傳輸過程并評估系統性能。
圖像質量評價方法可以分為兩類:主觀評價方法和客觀評價方法。前者是由觀察者對圖像質量進行評分,得到平均評價分用以衡量圖像質量;后者是利用數學模型計算圖像質量。主觀評價方法的實驗結果比較可靠,但費時費力。客觀評價方法又可分為三類:全參考圖像質量評價方法、半參考圖像質量評價方法和無參考圖像質量評價方法,當前研究最多的是全參考圖像質量評價方法,但是多數應用中無法獲得相應的原始圖像,因此,無參考圖像質量評價方法的研究更具實用價值。
無參考圖像質量評價方法可分為特定失真評價方法和通用評價方法兩種,特定失真評價方法只能對某種特定失真類型的圖像進行評價,例如jpeg、jpeg2k及gblur失真等,無法對其它失真類型的圖像及多種處理技術處理后的圖像進行質量評價;通用評價方法可以同時對多種失真類型的圖像進行評價。
然而,現有的通用無參考圖像質量評價方法并沒有充分考慮結構失真對視覺質量的影響,因此,如何在評價過程中有效地提取視覺結構特征信息,在評價過程中與人眼視覺特性結合,通過梯度自相似度特征提取和機器學習等方法,使得客觀評價結果更加符合人類視覺感知系統,是圖像進行客觀質量評價過程中需要研究解決的問題。
技術實現要素:
本發明所要解決的技術問題是提供一種基于梯度自相似度的無參考圖像客觀質量評價方法,其能夠充分考慮到圖像梯度自相似度改變對視覺質量的影響,從而能夠有效地提高客觀評價結果與主觀感知之間的相關性。
本發明解決上述技術問題所采用的技術方案為:一種基于梯度自相似度的無參考圖像客觀質量評價方法,其特征在于包括以下步驟:
①令{id(x,y)}表示待評價的失真圖像,其中,1≤x≤w,1≤y≤h,w表示{id(x,y)}的寬度,h表示{id(x,y)}的高度,id(x,y)表示{id(x,y)}中坐標位置為(x,y)的像素點的像素值;
②對{id(x,y)}實施梯度濾波,得到{id(x,y)}的梯度信息的幅值圖像,記為{md(x,y)},其中,md(x,y)表示{md(x,y)}中坐標位置為(x,y)的像素點的像素值;
③對{md(x,y)}進行四個方向的濾波處理,得到{md(x,y)}的水平方向信息圖像、垂直方向信息圖像、主對角線方向信息圖像和副對角線方向信息圖像,對應記為{hd(x,y)}、{vd(x,y)}、{dd(x,y)}和
④計算{md(x,y)}與{hd(x,y)}之間的自相似度圖像,記為{hd,sim(x,y)};同樣,計算{md(x,y)}與{vd(x,y)}之間的自相似度圖像,記為{vd,sim(x,y)};計算{md(x,y)}與{dd(x,y)}之間的自相似度圖像,記為{dd,sim(x,y)};計算{md(x,y)}與
⑤采用像素間特征提取方法中的局部二值化模式操作對{hd,sim(x,y)}進行處理,得到{hd,sim(x,y)}的像素間特征圖,記為{hd,sim,lbp(x,y)};同樣,采用像素間特征提取方法中的局部二值化模式操作對{vd,sim(x,y)}進行處理,得到{vd,sim(x,y)}的像素間特征圖,記為{vd,sim,lbp(x,y)};采用像素間特征提取方法中的局部二值化模式操作對{dd,sim(x,y)}進行處理,得到{dd,sim(x,y)}的像素間特征圖,記為{dd,sim,lbp(x,y)};采用像素間特征提取方法中的局部二值化模式操作對
并采用像素內特征提取方法中的等步長量化操作對{hd,sim(x,y)}進行處理,得到{hd,sim(x,y)}的像素內特征圖,記為{hd,sim,q(x,y)};同樣,采用像素內特征提取方法中的等步長量化操作對{vd,sim(x,y)}進行處理,得到{vd,sim(x,y)}的像素內特征圖,記為{vd,sim,q(x,y)};采用像素內特征提取方法中的等步長量化操作對{dd,sim(x,y)}進行處理,得到{dd,sim(x,y)}的像素內特征圖,記為{dd,sim,q(x,y)};采用像素內特征提取方法中的等步長量化操作對
⑥采用直方圖統計方法對{hd,sim,lbp(x,y)}進行統計操作,得到{hd,sim,lbp(x,y)}的直方圖統計特征向量,記為hd,sim,lbp,hist;同樣,采用直方圖統計方法對{vd,sim,lbp(x,y)}進行統計操作,得到{vd,sim,lbp(x,y)}的直方圖統計特征向量,記為vd,sim,lbp,hist;采用直方圖統計方法對{dd,sim,lbp(x,y)}進行統計操作,得到{dd,sim,lbp(x,y)}的直方圖統計特征向量,記為dd,sim,lbp,hist;采用直方圖統計方法對
采用直方圖統計方法對{hd,sim,q(x,y)}進行統計操作,得到{hd,sim,q(x,y)}的直方圖統計特征向量,記為hd,sim,q,hist;同樣,采用直方圖統計方法對{vd,sim,q(x,y)}進行統計操作,得到{vd,sim,q(x,y)}的直方圖統計特征向量,記為vd,sim,q,hist;采用直方圖統計方法對{dd,sim,q(x,y)}進行統計操作,得到{dd,sim,q(x,y)}的直方圖統計特征向量,記為dd,sim,q,hist;采用直方圖統計方法對
⑦采用n”幅原始的無失真圖像,建立其在不同失真類型不同失真程度下的失真圖像集合,將該失真圖像集合作為訓練集,訓練集包括多幅失真圖像;然后利用主觀質量評價方法評價出訓練集中的每幅失真圖像的主觀評分值,將訓練集中的第j幅失真圖像的主觀評分值記為dmosj;再按照步驟①至步驟⑥的操作,以相同的方式獲取訓練集中的每幅失真圖像對應的8個直方圖統計特征向量,將訓練集中的第j幅失真圖像對應的8個直方圖統計特征向量依次記為
⑧利用支持向量回歸對訓練集中的所有失真圖像各自的主觀評分值及對應的8個直方圖統計特征向量進行訓練,使得經過訓練得到的回歸函數值與主觀評分值之間的誤差最小,擬合得到最優的權值矢量wopt和最優的偏置項bopt;接著利用wopt和bopt構造得到支持向量回歸訓練模型;再根據支持向量回歸訓練模型,對hd,sim,lbp,hist、vd,sim,lbp,hist、dd,sim,lbp,hist、
所述的步驟②中采用以sobel算子作為梯度算子的梯度濾波器對{id(x,y)}實施梯度濾波。
所述的步驟③中hd(x,y)=md(x,y+1),vd(x,y)=md(x+1,y),dd(x,y)=md(x+1,y+1),
所述的步驟④中
所述的步驟⑤中的像素間特征提取方法中的局部二值化模式操作中的鄰域參數p取值為8,且局部半徑參數r取值為1;所述的步驟⑤中的像素內特征提取方法中的等步長量化操作的步長δ取值為0.1。
與現有技術相比,本發明的優點在于:
1)本發明方法在充分利用了視覺感知特性的基礎上,采用計算梯度自相似度的方法獲取視覺感知特征,因此能有效地提高客觀評價結果與主觀感知之間的相關性。
2)本發明方法在提取特征時,采用了像素間特征提取方法和像素內特征提取方法相結合,使得圖像特征更能反映圖像失真程度。
3)本發明方法采用機器學習的方法即支持向量回歸模擬視覺記憶檢索功能,能夠獲得更加準確的失真圖像的客觀質量評價預測值。
附圖說明
圖1為本發明方法的總體實現框圖。
具體實施方式
以下結合附圖實施例對本發明作進一步詳細描述。
本發明提出的一種基于梯度自相似度的無參考圖像客觀質量評價方法,其總體實現框圖如圖1所示,其包括以下步驟:
①令{id(x,y)}表示待評價的失真圖像,其中,1≤x≤w,1≤y≤h,w表示{id(x,y)}的寬度,h表示{id(x,y)}的高度,id(x,y)表示{id(x,y)}中坐標位置為(x,y)的像素點的像素值。
②對{id(x,y)}實施梯度濾波,得到{id(x,y)}的梯度信息的幅值圖像,記為{md(x,y)},其中,md(x,y)表示{md(x,y)}中坐標位置為(x,y)的像素點的像素值。
在本實施例中,步驟②中采用以sobel算子作為梯度算子的梯度濾波器對{id(x,y)}實施梯度濾波。
③對{md(x,y)}進行四個方向的濾波處理,得到{md(x,y)}的水平方向信息圖像、垂直方向信息圖像、主對角線方向信息圖像和副對角線方向信息圖像,對應記為{hd(x,y)}、{vd(x,y)}、{dd(x,y)}和
在本實施例中,步驟③中hd(x,y)=md(x,y+1),vd(x,y)=md(x+1,y),dd(x,y)=md(x+1,y+1),
④計算{md(x,y)}與{hd(x,y)}之間的自相似度圖像,記為{hd,sim(x,y)};同樣,計算{md(x,y)}與{vd(x,y)}之間的自相似度圖像,記為{vd,sim(x,y)};計算{md(x,y)}與{dd(x,y)}之間的自相似度圖像,記為{dd,sim(x,y)};計算{md(x,y)}與
在本實施例中,步驟④中
⑤采用現有的像素間特征提取方法中的局部二值化模式操作對{hd,sim(x,y)}進行處理,得到{hd,sim(x,y)}的像素間特征圖,記為{hd,sim,lbp(x,y)};同樣,采用現有的像素間特征提取方法中的局部二值化模式操作對{vd,sim(x,y)}進行處理,得到{vd,sim(x,y)}的像素間特征圖,記為{vd,sim,lbp(x,y)};采用現有的像素間特征提取方法中的局部二值化模式操作對{dd,sim(x,y)}進行處理,得到{dd,sim(x,y)}的像素間特征圖,記為{dd,sim,lbp(x,y)};采用現有的像素間特征提取方法中的局部二值化模式操作對
并采用現有的像素內特征提取方法中的等步長量化操作對{hd,sim(x,y)}進行處理,得到{hd,sim(x,y)}的像素內特征圖,記為{hd,sim,q(x,y)};同樣,采用現有的像素內特征提取方法中的等步長量化操作對{vd,sim(x,y)}進行處理,得到{vd,sim(x,y)}的像素內特征圖,記為{vd,sim,q(x,y)};采用現有的像素內特征提取方法中的等步長量化操作對{dd,sim(x,y)}進行處理,得到{dd,sim(x,y)}的像素內特征圖,記為{dd,sim,q(x,y)};采用現有的像素內特征提取方法中的等步長量化操作對
在本實施例中,步驟⑤中的像素間特征提取方法中的局部二值化模式操作中的鄰域參數p取值為8,且局部半徑參數r取值為1;步驟⑤中的像素內特征提取方法中的等步長量化操作的步長δ取值為0.1。
⑥采用現有的直方圖統計方法對{hd,sim,lbp(x,y)}進行統計操作,得到{hd,sim,lbp(x,y)}的直方圖統計特征向量,記為hd,sim,lbp,hist;同樣,采用現有的直方圖統計方法對{vd,sim,lbp(x,y)}進行統計操作,得到{vd,sim,lbp(x,y)}的直方圖統計特征向量,記為vd,sim,lbp,hist;采用現有的直方圖統計方法對{dd,sim,lbp(x,y)}進行統計操作,得到{dd,sim,lbp(x,y)}的直方圖統計特征向量,記為dd,sim,lbp,hist;采用現有的直方圖統計方法對
采用現有的直方圖統計方法對{hd,sim,q(x,y)}進行統計操作,得到{hd,sim,q(x,y)}的直方圖統計特征向量,記為hd,sim,q,hist;同樣,采用現有的直方圖統計方法對{vd,sim,q(x,y)}進行統計操作,得到{vd,sim,q(x,y)}的直方圖統計特征向量,記為vd,sim,q,hist;采用現有的直方圖統計方法對{dd,sim,q(x,y)}進行統計操作,得到{dd,sim,q(x,y)}的直方圖統計特征向量,記為dd,sim,q,hist;采用現有的直方圖統計方法對
⑦采用n”幅原始的無失真圖像,建立其在不同失真類型不同失真程度下的失真圖像集合,將該失真圖像集合作為訓練集,訓練集包括多幅失真圖像;然后利用現有的主觀質量評價方法評價出訓練集中的每幅失真圖像的主觀評分值,將訓練集中的第j幅失真圖像的主觀評分值記為dmosj;再按照步驟①至步驟⑥的操作,以相同的方式獲取訓練集中的每幅失真圖像對應的8個直方圖統計特征向量,將訓練集中的第j幅失真圖像對應的8個直方圖統計特征向量依次記為
⑧支持向量回歸(supportvectorregression,svr)是基于結構風險最小化準則的新型機器學習方法和統計學理論,其可以有效地抑制過擬合問題,因此本發明利用支持向量回歸對訓練集中的所有失真圖像各自的主觀評分值及對應的8個直方圖統計特征向量進行訓練,使得經過訓練得到的回歸函數值與主觀評分值之間的誤差最小,擬合得到最優的權值矢量wopt和最優的偏置項bopt;接著利用wopt和bopt構造得到支持向量回歸訓練模型;再根據支持向量回歸訓練模型,對hd,sim,lbp,hist、vd,sim,lbp,hist、dd,sim,lbp,hist、
為了進一步驗證本發明方法的可行性和有效性,進行實驗。
在此,采用live圖像庫來分析利用本發明方法得到的失真圖像的客觀質量評價預測值與主觀評分值之間的相關性。這里,利用評估圖像質量評價方法的3個常用客觀參量作為評價指標,即非線性回歸條件下的pearson相關系數(pearsonlinearcorrelationcoefficient,plcc)、spearman相關系數(spearmanrankordercorrelationcoefficient,srocc)、均方誤差(rootmeansquarederror,rmse),plcc和rmse反映失真圖像的客觀評價結果的準確性,srocc反映其單調性。
利用本發明方法計算live圖像庫中的每幅失真圖像的客觀質量評價預測值,再利用現有的主觀質量評價方法獲得live圖像庫中的每幅失真圖像的主觀評分值。將按本發明方法計算得到的失真圖像的客觀質量評價預測值做五參數logistic函數非線性擬合,plcc和srocc值越高,rmse值越低說明客觀評價方法的客觀評價結果與主觀評分值之間的相關性越好。反映本發明方法的質量評價性能的plcc、srocc和rmse相關系數如表1所列。從表1所列的數據可知,按本發明方法得到的失真圖像的客觀質量評價預測值與主觀評分值之間的相關性是很好的,表明客觀評價結果與人眼主觀感知的結果較為一致,足以說明本發明方法的可行性和有效性。
表1利用本發明方法得到的失真圖像的客觀質量評價預測值與主觀評分值之間的相關性