專利名稱：一種圖像美學評價方法
技術領域：
本發明涉及圖像信號處理、圖像分析、計算機視覺領域，具體是一種機器圖像美學自動評價方法。
背景技術：
美學作品由人類進行創作、由人類進行評判，符合人類審美習慣的藝術作品總能帶給人類難以言表的喜悅感。近年來，隨著計算機視覺和模式識別等技術的快速發展，在計算機科學范疇提出了計算美學(Computational Aesthetics)的概念,希望研究“美”的可計算方法，使機器能模擬人類自主地理解、推導和計算“美”，并在相關應用中做出可行性的美學決策。圖像美學可以定義為人們在觀察圖像時引發的美學興趣，是客觀和主觀共同影響的結果。可計算的圖像美學是計算美學在圖像處理方面的重要研究，其研究結果可以應用到融合主觀感知的基于語義的圖像檢索、圖像美學質量評價、攝影的美學預測與修正、藝術作品風格分析、人機交互等方面，在設計、攝影、廣告等領域。可計算美學已逐步引起國際學術界的關注，該課題的研究和應用得到很多學者的重視，處于快速發展階段，具有重要的理論研究價值和實際應用前景。隨著人們對圖像美學的認識和挖掘，利用可計算圖像美學的方法對圖像美學價值給出智能化的判斷是可計算圖像美學的一個重要課題。由于美學作品由人類創作和評判，美感評價從人類共性和個性并存的審美角度、審美經驗、審美習慣出發，涉及的細節多而復雜。但對于美感的判斷存在一定的共性且有相關的理論基礎指導，而機器學習方法的出現與快速發展，給實現機器自動評估圖像美學提供了有效的方法。利用積累的已知知識，通過訓練和學習，建立圖像美學評價模型，機器便可以根據美學評價模型模擬人類的審美感知對圖像美學做出思考。目前，圖像美學評價的研究在國外剛剛興起，而國內尚未見到相關研究成果報道。
發明內容
本發明的目的在于模擬人類美學感知，利用機器自動完成對圖像的美學評價，提出一種圖像自動美學評價方法。通過提取圖像整體區域和主體區域的低層視覺特征和高層美學特征，利用機器學習的方法對樣本數據進行訓練學習，獲得圖像美感等級分類器和美學回歸模型。結合訓練學習的結果和圖像特征，來指導機器模擬人類的審美思維，自動對圖像進行美學評價。本發明通過以下技術方案得以實現。圖像美學評價方法，包括如下步驟:步驟1、對樣本圖像進行特征區域劃分，包括圖像整體區域和主體區域；步驟2、對特征區域提取圖像低層視覺特征和高層美學特征；步驟3、對樣本圖像進行訓練學習，通過訓練學習結果建立美感等級分類器和美學回歸模型；
步驟4、對目標圖像調用美感等級分類器和美學回歸模型，實現圖像高、低美感評價和美學分數預測。上述方法步驟I中，將圖像的整體區域和主體區域作為圖像特征區域。其中，整張圖像作為圖像整體區域。而圖像的主體區域包含了重要的圖像信息，對指導美學評價有重要的意義。因此，本發明除了考慮圖像的整體區域外，同時計算了圖像的主體區域。上述方法步驟I中，提取圖像的主體區域作為特征區域的一部分。本發明方法設計了一種基于圖像分割與梯度特征結合的快速提取圖像主體區域的方法，結合圖像分割和梯度線索提取了圖像的主體區域，其具體包括了圖像分割、區域合并、主體提取。本發明首先采用分水嶺分割算法對圖像進行分割，然后根據亮度和色彩特征對分割后的區域進行區域融合，結合區域分割結果及圖像梯度特征確定了圖像的主體區域。上述方法步驟2中，對圖像提取圖像低層視覺特征和高層美學特征。其中，低層視覺特征包括顏色特征、紋理特征和形狀特征。具體為HSV顏色空間的顏色直方圖、顏色矩、Gabor特征、Tumura特征、GLCM特征；而高層視覺特征包括Daubchies小波變換、信息熵復雜度、KolmogorovZurek復雜度、基于GLCM特征的圖像復雜度、景深、色彩空間EMD距離。上述的方法中，步驟3具體包括:采集適量多包含人類美感評價的圖像，美感評價由眾多受試者對圖片進行美感評分獲得，分數為0-10分，所有帶有美學評分值的圖像數據作為美學回歸數據集。同時按照美感分數的高低，建立美感等級圖像集，包括高美感等級圖像集和低美感等級圖像集。把分數大于等于5.6分的圖像列為高美感圖像，把分數小于等于4.2分的圖像列為低美感圖像，把分數介于4.2和5.6分之間的圖像列為中美感圖像，但由于中等美感分數區間值較小，容易引起混淆，因此在分類中不考慮中等美感分數的圖像。為此，對美感等級圖像集，利用Adaboost算法進行訓練學習，得到圖像美感等級分類器；而對美學回歸數據集，利用SVR方法進行訓練學習，得到圖像美學回歸模型。上述方法步驟4中，對目標圖像進行美學評價。其具體為，用戶上傳圖像，系統調用美感等級分類器和美學回歸模型，進行識別判斷；系統判別結果，給出高、低美感評價和美學分數預測。本發明具有如下優點和技術效果:本發明創造性地提出了一種根據人類視覺及審美習慣評價圖像美學價值的具體可行的方法。本發明以眾多受試者的圖像美感心理學調查結果為依據，結合圖像處理方法提取有效的特征，通過對樣本數據進行訓練學習得到美學評價模型，其結果用于實現機器對目標圖像的自動美學評價，并給出美感等級和美學分數值。方法簡單有效，可模擬人類思維對電子圖像給出有參考價值的評價，可行性強。
圖1是本方法中的總體結構框圖。
具體實施例方式下面結合附圖和實例對本發明作進一步詳細的說明，但本發明的實施和包含范圍不局限于此。本發明涉及圖像美學評價的方法，基于視覺心理學、美學等相關理論基礎，以及大量圖像美學調查結果，結合圖像處理與機器學習算法，提出了一種機器自動評價圖像美學價值的方法。如附圖1所示，本實施方式的系統主要由特征區域劃分模塊、特征提取模塊、訓練學習模塊、評價顯示模塊組成。首先，對于目標圖像，圖像的整體區域含有大量描述圖像的信息，而圖像中的某些關鍵區域包含了重要的、主導圖像內容的有用信息，這些關鍵信息對圖像美學評價分析有重要的指導意義。為了獲取目標圖像的有效特征區域，本發明方法除了考慮圖像的整體區域，同時也計算了圖像的主體區域。圖像主體區域主要是指圖像中包含圖像主要內容的區域，并且主體在圖像中起絕對主導作用，因而定位并提取主體所在的區域十分重要。本發明方法設計了一種基于圖像分割與梯度特征結合的快速提取圖像主體區域的方法，結合圖像分割和梯度線索提取了圖像的主體區域，其具體包括了圖像分割、區域合并、主體提取。本發明首先采用分水嶺分割算法對圖像進行分割，然后根據亮度和色彩特征對分割后的區域進行區域融合，結合區域分割結果及圖像梯度特征確定了圖像的主體區域。分水嶺分割算法是一種基于拓撲理論的數學形態學的分割方法，對微弱邊緣具有良好的響應，但由于圖像中的噪聲、物體表面細微的灰度變化而容易產生嚴重的過度分割現象。為了解決過度分割的現象，本發明通過修改原始圖像梯度來控制分割的區域數量，具體為設置外部約束和內部約束，然后利用兩者的比值來重建梯度，通過修改內部約束的大小來控制分割后的區域數量。在完成圖像分割后，對圖像進行區域融合。本發明通過區域的位置及色彩信息對分割區域進行合并。位置信息是指兩個區域只有相鄰才有融合的可能，而色彩信息是指當兩個區域顏色相近時，便認為這兩個區域是屬于同一物體。由于Lab顏色空間更接近于人眼對色彩的感知，因此本發明采用Lab顏色空間來判斷兩個區域之間顏色的接近程度。Lab顏色空間中，L是表示亮度分量，值域從0-100，當L取值為O時是純黑，取值是100時是純白。a、b分量都表示顏色分量,值域都是由+127至-128。a表示紅色至綠色的范圍，a為127時就是洋紅色，漸漸過渡到-128時變為綠色；同樣，b表示從黃色到藍色的范圍，b為127時是黃色，為-128時是藍色。本發明對大量樣本圖像進行融合訓練得出融合閾值:L「L2〈 20, (a「a2)2+(Id1Hd2)2〈 400(公式 I)其中L1、L2表示相鄰兩個區域分別對應的平均亮度值，al、a2表示兩個相鄰區域的平均顏色值，bl、b2表示兩個相鄰區域的平均顏色值。若兩個相鄰區域滿足以上兩個條件，則將兩個區域融合；而當一個區域的多個相鄰區域均滿足色彩閾值時，則選擇色彩最接近的一個相鄰區域進行合并。本發明在對圖像進行區域分割、區域融合后，結合圖像梯度特征提取圖像的主體區域。具體方法為:首先對圖像灰度圖求取梯度信息，根據圖像梯度能量最小值來設置圖像的自適應閾值，最后結合梯度圖提取圖像的主體區域。將每個像素點的梯度視為該像素的能量，將所有像素點的能量值求和得到圖像梯度的總能量Eq，根據梯度值均分為100個區間，作直方圖統計，得到落在每個區間內的梯度值的個數Ni (i=l，2，3，- ,100), i表示100個區間中的第i個區間。梯度能量和公式如下:
權利要求
1.一種圖像美學評價方法，其特征在于包括以下步驟: 步驟1、對樣本圖像進行特征區域劃分，包括圖像整體區域和主體區域； 步驟2、對特征區域提取圖像的低層視覺特征和高層美學特征； 步驟3、利用樣本圖像進行訓練學習，通過訓練學習結果獲得美感等級分類器和美學回歸模型； 步驟4、對目標圖像調用步驟3中得到的美感等級分類器和美學回歸模型，進行圖像高、低美感等級評價和美學分數預測。
2.根據權利要求1所述的圖像美學評價方法，其特征在于步驟I中劃分圖像特征區域包括圖像整體區域和主體區域，將整幅圖像作為整體區域，而提取圖像主要內容區域作為圖像的主體區域。
3.根據權利要求1所述的圖像美學評價方法，其特征在于步驟I中通過提取主體區域作為特征區域的一部分，結合圖像分割和梯度特征提取了圖像的主體區域，主體區域提取具體包括圖像分割、區 域合并和主體提取。
4.根據權利要求1所述的圖像美學評價方法，其特征在于步驟I中主體區域的提取具體為如下方法:首先采用分水嶺分割算法對圖像進行分割，然后根據亮度和色彩特征對分割后的區域進行區域融合，結合區域分割結果及圖像梯度特征確定圖像的主體區域。
5.根據權利要求1所述的圖像美學評價方法，其特征在于步驟2提取的圖像特征包括低層視覺特征和高層美學特征。
6.根據權利要求1所述的圖像美學評價方法，其特征在于步驟2提取的低層視覺特征包括顏色特征、紋理特征和形狀特征，具體包括HSV顏色空間的顏色直方圖特征、顏色矩特征、Gabor紋理特征、Tumura紋理特征和GLCM特征。
7.根據權利要求1所述的圖像美學評價方法，其特征在于步驟2提取的高層美學特征包括Daubchies小波變換、信息熵復雜度、KolmogorovZurek復雜度、基于GLCM特征的圖像復雜度、景深和色彩空間EMD距離。
8.根據權利要求1所述的圖像美學評價方法，其特征在于步驟3具體包含:采集大量圖像及其美感評價信息，每幅圖像的美感評價通過眾多受試者對圖像進行美感心理學評分獲得，分數為0-10分，所有帶有分數值的圖像數據作為美學回歸數據集，同時按照美感分數的高低，建立美感等級圖像集，包括高美感等級圖像集和低美感等級圖像集。
9.根據權利要求1所述的圖像美學評價方法，其特征在于步驟3中采用Adaboost算法對美感等級圖像集進行訓練學習獲取圖像美感等級分類器，并采用SVR算法對美學回歸數據集獲取圖像美學回歸模型。
10.根據權利要求1所述的圖像美學評價方法，其特征在于步驟4中，對于目標圖像，系統自動地評價高、低美感等級和預測美學分數。
全文摘要
本發明屬于圖像處理技術、圖像分析、計算機視覺領域，具體為一種圖像美學評價方法。所述方法包括以下步驟(1)對樣本圖像劃分特征區域，包括圖像整體區域和主體區域；(2)對于整體區域和主體區域，分別提取圖像低層特征和高層美學特征；(3)通過機器訓練和學習建立美學評價模型，包括圖像美感等級分類器和圖像美學回歸模型；(4)對用戶輸入的目標圖像，利用已建立的美感等級分類器和美學回歸模型，實現圖像的高、低美感等級評價和美學分數預測。本發明方法無需人工判斷，可對圖像給出符合人類感知的美感等級評價和美學分數預測，且具有處理速度快、可行性強的優點。
文檔編號G06K9/62GK103218619SQ201310084400
公開日2013年7月24日 申請日期2013年3月15日 優先權日2013年3月15日
發明者王偉凝, 蟻靜緘, 韋崗, 王勵 申請人:華南理工大學