一種基于區域描述和先驗知識的圖像顯著性檢測方法
【專利摘要】本發明公開了一種基于區域描述和先驗知識的圖像顯著性檢測方法，包括以下步驟：(1)對待檢測圖像進行預分割，生成超像素，得到預分割圖像；(2)生成超像素的融合特征協方差矩陣；(3)計算每個超像素的特征差異區域描述符和空間分布區域描述符；(4)計算待檢測圖像的各像素點的初始顯著度值；(5)獲取圖像先驗顯著區域及背景區域；(6)計算待檢測圖像每個像素點的顯著度權值；(7)計算每個像素點的最終顯著度值。本發明得到的最終顯著圖能夠均勻地突出顯著區域，抑制背景噪聲干擾，不僅能夠在一般圖像中得到很好的顯著性檢測效果，也能處理復雜圖像的顯著性檢測，有利于后續諸如圖像關鍵區域提取等處理。
【專利說明】一種基于區域描述和先驗知識的圖像顯著性檢測方法
【技術領域】
[0001] 本發明涉及圖像智能處理領域，特別涉及一種基于區域描述和先驗知識的圖像顯 著性檢測方法。
【背景技術】
[0002] 隨著圖像處理技術的快速發展，圖像視覺顯著性檢測成為一個備受關注的課題。 顯著性檢測廣泛應用于圖像處理各個領域，比如圖像分割、圖像檢索、物體檢測和識別、自 適應圖像壓縮、圖像拼接等。
[0003] 人們在觀察一幅圖像時，給予圖像各區域的關注往往是不均勻的。其中受到更多 關注和引起人們興趣的區域稱為顯著對象。心理學和感知等學科研究表明，人們更傾向于 通過顯著對象獲取圖像信息，對圖像進行分析、理解。相對于其它區域，顯著對象在圖像評 價中起到關鍵作用。此外，通過優先分析和處理顯著性區域，能夠提高計算資源的利用效 率，因此視覺顯著對象的檢測具有重要的研究意義。
[0004] 圖像顯著性檢測是檢測一個場景中最顯著和最吸引注意力的區域，利用每個像 素的不同灰度，表示這個像素屬于顯著區域的可能性，其輸出結果通常是一幅被稱為顯著 圖的灰度圖，顯著圖中每個像素的灰度值被稱為顯著度值。現有進行顯著性檢測的方法分 為兩大類。一類是基于注視點預測的模型；另一類是基于提取和分割顯著物體的模型。本 發明所涉及的方法屬于后一類。這類方法，主要是通過對分割區域與鄰域之間的差異度進 行比較，來計算分割區域的顯著度值。
[0005] 下面對國內外關于圖像顯著性檢測的方法和專利做相關介紹。T. Liu等人于2011 年在國際模式識別頂級期刊ΡΑΜΙ期刊中發表了"Learning to detect a salient object" 一文。該方法通過條件隨機場理論（Conditional random field),利用多尺度對比度、中心 四周直方圖以及顏色空間分布等特征學習用戶感興趣的顯著區域，通過窮舉算法在顯著圖 上搜索目標矩形。該算法檢測到目標物體的準確率高，但是搜索過程耗時長。
[0006] Achanta等人在2009年的計算機視覺國際會議CVPR會議發表了 "Frequency-tuned Salient Region Detection" 一文，文中所述方法的原理是將圖像通過 一個帶通濾波器濾波，把高頻的噪聲和細節，以及低頻的均勻背景去除掉。具體實現是首先 對原圖進行高斯模糊得到清晰度較低的圖像，同時，計算整幅圖像的平均值，然后兩者相減 取絕對值，得到最后的顯著圖。該方法提取出的Z. Liu等人在2009年的圖像處理期刊IET 發表了"Efficient saliency detection based on Gaussian models"一文，該文提出的顯 著性模型是以高斯分布模型作為基礎建立的，該模型首先利用均值飄移算法在Luv顏色空 間中把圖像預分割為不同區域，然后利用一系列高斯分布模型描述各個區域，并計算每個 像素與不同區域之間的顏色相似程度，再計算各區域之間的顏色距離以及空間距離，分別 形成顏色顯著性圖和空間顯著性圖。最后由兩者相結合形成最終的顯著性圖。該方法僅僅 利用了圖像的顏色特征，導致最終的顯著圖中可能含有大量背景噪聲干擾。
[0007] 區域具有清晰度較高且邊緣清晰的特點，而且算法簡單，運算耗時少。但該方法具 有一個明顯的缺點，當背景稍微復雜時，顯著性檢測效果會變得很不理想。
[0008] Z. Liu等人在2009年的圖像處理期刊 IET發表了"Efficient saliency detection based on Gaussian models"一文，該文提出的顯著性模型是以高斯分布模型作為基礎建立 的，該模型首先利用均值飄移算法在Luv顏色空間中把圖像預分割為不同區域，然后利用 一系列高斯分布模型描述各個區域，并計算每個像素與不同區域之間的顏色相似程度，再 計算各區域之間的顏色距離以及空間距離，分別形成顏色顯著性圖和空間顯著性圖。最后 由兩者相結合形成最終的顯著性圖。該方法僅僅利用了圖像的顏色特征，導致最終的顯著 圖中可能含有大量背景噪聲干擾。
[0009] 目前我國在該領域相關專利有：基于色彩直方圖和全局對比度的圖像視覺顯著性 計算方法（專利號201110062520. 1)。該方法同時考慮了全局對比度和空間相干性。但是 由于僅利用了顏色直方圖和空間關系，而且得到的顯著圖是基于分割區域而非像素，使得 最終的顯著圖比較粗糙，并且在背景較為復雜時檢測結果不太理想。
[0010] 綜上所述，現有基于分割區域的顯著性檢測方法大部分僅利用圖像的顏色特征， 導致最終生成的顯著圖比較粗糙，可能含有大量背景噪聲干擾，而且對背景復雜的圖像顯 著性檢測效果較差。
【發明內容】
[0011] 為了克服現有技術的上述缺點與不足，本發明的目的在于提供一種基于區域描述 和先驗知識的圖像顯著性檢測方法，能夠使圖像的顯著區域均勻地凸顯出來，并有效地抑 制背景噪聲干擾，對背景較復雜的圖像也能得到良好的顯著圖檢測結果。
[0012] 本發明的目的通過以下技術方案實現：
[0013] 一種基于區域描述和先驗知識的圖像顯著性檢測方法，包括如下步驟：
[0014] (1)對待檢測圖像進行預分割，生成超像素，得到預分割圖像；
[0015] (2)將每個像素點在CIELab色彩空間中的三個顏色特征和四個紋理特征，采用非 線性的方法，生成超像素的融合特征協方差矩陣；
[0016] (3)計算每個超像素的特征差異區域描述符和空間分布區域描述符；
[0017] (4)利用超像素的特征差異區域描述符和空間分布區域描述符，計算待檢測圖像 的各像素點的初始顯著度值；
[0018] (5)基于顯著點的先驗知識，獲取圖像先驗顯著區域及背景區域；
[0019] (6)根據超像素與背景區域的顏色距離，計算待檢測圖像每個像素點的顯著度權 值；
[0020] (7)將步驟￠)中得到的各像素點的顯著度權值進行歸一化后，與初始顯著度值 相乘，計算得到每個像素點的最終顯著度值。
[0021] 步驟（1)所述對圖像進行預分割，具體為采用自適應SLIC算法對圖像進行預分 害I]，包括以下步驟：
[0022] (1-1)計算圖像復雜度及分割數量N ;
[0023] 首先將待檢測圖像轉化為灰度圖，然后計算0°，45°，90°，135°四個方向的灰 度共生矩陣，再計算四個方向上灰度共生矩陣的能量、熵、相關性和均勻度四個常用特征， 根據下式分別計算0°，45°，90°，135°四個方向的復雜度，
[0024] GrayComplexity(α) = entropy (α)+homogeneous(α)-energy (α)-correlati on ( α )
[0025] 其中，α的取值為1、2、3、4,分別對應0°，45°，90°，135°四個方向；
[0026] 對四個方向上的復雜度加和求平均，得到圖像復雜度，計算公式如下：
[0027]
【權利要求】
1. 一種基于區域描述和先驗知識的圖像顯著性檢測方法，其特征在于，包括如下步 驟： (1) 對待檢測圖像進行預分割，生成超像素，得到預分割圖像； (2) 將每個像素點在CIELab色彩空間中的三個顏色特征和四個紋理特征，采用非線性 的方法，生成超像素的融合特征協方差矩陣； (3) 計算每個超像素的特征差異區域描述符和空間分布區域描述符； (4) 利用超像素的特征差異區域描述符和空間分布區域描述符，計算待檢測圖像的各 像素點的初始顯著度值； (5) 基于顯著點的先驗知識，獲取圖像先驗顯著區域及背景區域； (6) 根據超像素與背景區域的顏色距離，計算待檢測圖像每個像素點的顯著度權值； (7) 將步驟￠)中得到的各像素點的顯著度權值進行歸一化后，與初始顯著度值相乘， 計算得到每個像素點的最終顯著度值。
2. 根據權利要求1所述的基于區域描述和先驗知識的圖像顯著性檢測方法，其特征在 于，步驟（1)所述對圖像進行預分割，具體為采用自適應SLIC算法對圖像進行預分割，包括 以下步驟： (1-1)計算圖像復雜度及分割數量N; 首先將待檢測圖像轉化為灰度圖，然后計算0°，45°，90°，135°四個方向的灰度共 生矩陣，再計算四個方向上灰度共生矩陣的能量、熵、相關性和均勻度四個常用特征，根據 下式分別計算0°，45°，90°，135°四個方向的復雜度， GrayComplexity( a ) = entropy(α)+homogeneous(α)-energy(α)-correlation ( α ) 其中，α的取值為1、2、3、4,分別對應0°，45°，90°，135°四個方向； 對四個方向上的復雜度加和求平均，得到圖像復雜度，計算公式如下：
分割數量Ν由下式計算： N = 30Χ (GrayCompleixty+1) (1-2)將待檢測圖像從RGB色彩空間轉換為CIELab色彩空間； (1-3)利用SLIC算法將圖像分割為N個超像素，得到預分割圖像。
3. 根據權利要求2所述的基于區域描述和先驗知識的圖像顯著性檢測方法，其特征在 于，步驟（2)所述將每個像素點在CIELab色彩空間中的三個顏色特征和四個紋理特征，采 用非線性的方法，生成超像素的融合特征協方差矩陣，具體為： (2-1)提取每個像素點在CIELab色彩空間中的顏色和紋理特征； 分別求預分割圖像在0°，45°，90°，135°四個方向上的Gabor紋理灰度圖，并計算 每個像素點在四個方向上的Gabor紋理值；將顏色L、a、b以及四個方向上的Gabor紋理灰 度值gi，g2, g3, 84組合，形成每個像素點的7維特征向量f = (L，a, b, gp g2, g3, g4); (2-2)生成第i個超像素氏的融合特征協方差矩陣; 采用非線性的方法，按照下式把7維特征向量生成7 X 7的特征協方差矩陣€λ<，以表征 超像素氏的特征：
其中，，表示預分割圖像中超像素氏的融合特征協方差矩陣，fj表示超像素氏中的 第j個像素點的7維特征向量，表示Ri的特征向量平均值，η表示氏中像素點的數量；j =l、2、3...n ;i = 1、2、3…N。
4. 根據權利要求3所述的基于區域描述和先驗知識的圖像顯著性檢測方法，其特征在 于，步驟（3)所述計算每個超像素的特征差異區域描述符和空間分布區域描述符，具體為： (3-1)計算預分割圖像中超像素&的特征差異區域描述符￡)<，以衡量超像素Ri與其 他超像素的特征差異程度，具體的公式為：
其中，Pi, pt分別代表超像素氏，Rt的空間質心位置，t = 1、2、3…N ;w(Pi, pt)是一個 高斯分布形式的權值系數，其大小和超像素的空間位置有關，用于增強鄰近超像素的影 響；1/Zi是歸一化因子，以保證權值系數之和為1，SP
< 是一個控制參數； ，(：&)表示兩個超像素特征協方差矩陣
間的距離；| |Pi_pt| |是超像素 氏，Rt的空間質心之間的歐式距離； (3-2)計算預分割圖像中超像素氏的空間分布區域描述符1?，用以度量超像素氏的 空間分布程度，該值越小表明氏空間分布越緊湊，具體的公式為：
其中，I |Pi-ptl I表示超像素 Ri，Rt之間的空間歐氏距離，表示Ri和Rt特征上 的相似性權值系數，〃/,,)表示是利用特征的一維統計特性得到的馬氏距離。
5. 根據權利要求4所述的基于區域描述和先驗知識的圖像顯著性檢測方法，其特征在 于，步驟（4)所述利用超像素的征差異區域描述符和空間分布區域描述符，計算待檢測圖 像的各像素點的初始顯著度值，具體為： 首先將特征差異區域描述符和空間分布區域描述符￡5,.歸一化到[〇，1]之間，再計 算待檢測圖像的超像素 Ri的粗顯著度值Si，得到粗顯著圖，最后使用高維高斯濾波器對顯 著區域進行升采樣，得到超像素氏中的第j個像素點的初始顯著度值6 〇
6. 根據權利要求5所述的基于區域描述和先驗知識的圖像顯著性檢測方法，其特征在 于，所述粗顯著度值Si由下式計算：
其中，τ是用來調節空間分布區域描述符和特征差異區域描述符權重的參數，τ越大 空間分布區域描述符的影響越小，其取值根據實際情況選取。
7. 根據權利要求6所述的基于區域描述和先驗知識的圖像顯著性檢測方法，其特征在 于，步驟（5)所述基于顯著點的先驗知識，獲取圖像先驗顯著區域R in及背景區域，具體 為： 利用顏色增強Harris角點檢測方法，找到顯著區域的角點作為先驗顯著點，然后用一 個凸包把所有先驗顯著點包含在內，從而確定出先驗顯著區域Rin，其他區域作為背景Rwt， 得到先驗顯著圖。
8. 根據權利要求7所述的基于區域描述和先驗知識的圖像顯著性檢測方法，其特征在 于，步驟（6)所述根據超像素與背景區域的顏色距離，計算待檢測圖像每個像素點的顯 著度權值，具體為： (6-1)計算待檢測圖像的背景區域顏色cf"; (6-2)計算預分割圖像中超像素氏的顯著度權值Xi :
其中，argminlh-表示最小顏色距離，是預分割圖像中超像素氏的平均顏色Ci與 先驗顯著圖中背景區域分割塊平均顏色cf…之間最小的歐氏距離，K(i，Rin)是控制參數； (6-3)計算預分割圖像中超像素氏中的第j個像素點的顯著度權值λ』： 人 j - X i 〇
9. 根據權利要求8所述的基于區域描述和先驗知識的圖像顯著性檢測方法，其特征在 于，步驟（6-1)計算待檢測圖像的背景區域顏色cf" ?具體為： 用mean-shift算法，根據相似度將原圖像中的背景區域劃分割為β個分割塊，再根據 下式計算處于背景區域ICt的分割塊的平均顏色ef* :
其中，1?'1;表示第1^個分割塊，1(=1、2、3-0;巧表示像素1"1的顏色向量，|1^ 1;|表 示V k中像素總個數。
【文檔編號】G06T7/40GK104103082SQ201410251160
【公開日】2014年10月15日 申請日期:2014年6月6日 優先權日:2014年6月6日
【發明者】王偉凝, 蔡冬, 姜怡孜, 韋崗 申請人:華南理工大學