一種基于優化高斯混合模型的圖像語義標注的方法
【技術領域】
[0001] 本發明涉及圖像檢索和自動圖像標注技術領域，尤其涉及一種基于優化高斯混合 模型的圖像語義標注的方法。
【背景技術】
[0002] 隨著數字圖像以及圖像數據庫數量的快速增長，圖像檢索已成為信息檢索領域中 的一個重要研宄方向，它的目的是從圖像數據庫中快速提取出與查詢相關的圖像或者圖像 序列，使用戶能迅速獲取需要的特定圖像。
[0003]圖像語義自動標注是基于語義的圖像檢索的關鍵環節，已經成為圖像檢索中的研 宄熱點。圖像語義的自動標注就是為圖像添加關鍵字來表示圖像的語義內容，能夠將圖像 的視覺特征轉化為圖像的標注字信息，繼承了關鍵字檢索的高效率，也克服了手工標注費 時費力的缺點。傳統的基于語義的圖像檢索方法原理如圖1所示，直接由計算機自動實現 從媒體內容中提取特征，并通過相似性匹配來檢索圖像，突破了關鍵詞檢索基于文本特征 的局限，避免了人工描述的主觀性，也大大減少了工作量，檢索方式更加多樣化。
[0004] 但是傳統的基于語義的圖像檢索建立在對圖像底層特征的提取和分析、匹配的基 礎之上，無法解決圖像底層特征與高層的語義概念表達之間存在著巨大的差異的問題，即 "語義鴻溝"的問題。
【發明內容】
[0005] 本發明為解決上述問題提出了一種基于優化高斯混合模型（I-GMM)的有監督圖 像語義標注方法，即通過監督貝葉斯學習得到圖像的底層視覺特征和語義概念間關系，利 用最大期望（EM)算法對每一圖像語義概念建立兩個高斯混合模型，并增加去除噪聲區域 的步驟，進一步提高了概念分類器的標注性能。
[0006] 本發明的技術方案通過以下實現。
[0007] -種基于優化高斯混合模型圖像語義標注方法，包括如下步驟：
[0008]S1.通過監督貝葉斯學習得到圖像的底層視覺特征和語義概念間關系，圖像分割 后進行底層特征提取，然后通過圖像的特征選擇得到圖像特征集合；
[0009]S2.利用最大期望算法對每一圖像語義概念建立兩個高斯混合模型，并增加去除 噪聲區域的步驟；
[0010]S3.根據圖像特征集合，計算出區域層顏色后驗概率和紋理后驗概率，將求得的圖 像屬于所有概念的后驗概率按照降序排列，獲得每一個概念的顏色排序值；類似的對紋理 后驗概率按照降序排列，獲得每一概念的紋理排序值；選取前R個排序值之和最小的概念 類標注圖像。
[0011] 進一步地，所示基于優化高斯混合模型圖像語義標注方法，步驟S1中圖像分割及 底層特征提取，具體步驟如下：
[0012]S1-1?分析圖像顏色并量化；
[0013]S1-2.對顏色量化后的圖像進行空間分割得到任意形狀的相似點集合，即分割后 的圖像區域；
[0014]S1-3.提取顏色特征，獲得3維主顏色特征，以及每個圖像區域中H、S、V3個分量 的均值和方差，共9維特征向量；
[0015]S1-4.提取紋理特征，獲得4個尺度和6個方向的Gabor小波系數的均值和方差， 共48維的區域紋理特征向量；
[0016]S1-5.整合圖像特征，存入圖像特征庫。
[0017] 進一步地，所示的基于優化高斯混合模型圖像語義標注方法，步驟S1中圖像的特 征選擇模塊具體步驟如下：
[0018] 1)對圖像特征庫進行采樣，生成特征子集；
[0019] 2)用連接F屬性評估的屬性選擇算法評價特征子集，并得到其優劣程度的得分 Score；
[0020] 3)將特征子集優劣程度得分與連接F屬性評估的屬性選擇算法中設定的閾值相 比較，若Score大于閾值則轉入步驟4)，否則轉入步驟1);
[0021] 4)驗證特征選擇的結果。
[0022] 進一步地，所示的基于優化高斯混合模型圖像語義標注方法，S2中高斯混合模型 建立具體步驟如下：
[0023]S2-1.對某一個語義概念wkGW，建立圖像訓練集Tk= 其中Wk為第k 個語言概念元素；W為語義概念的集合；Tk為第k個語義概念元素的訓練集合；I,為訓練集 合的第i個元素；
[0024]S2-2.確定高斯混合模型代表公式，如下：
[0025]
【主權項】
1. 一種基于優化高斯混合模型圖像語義標注方法，其特征在于， 包括如下步驟：
51. 通過監督貝葉斯學習得到圖像的底層視覺特征和語義概念間關系，圖像分割后進 行底層特征提取，然后通過圖像的特征選擇得到圖像特征集合；
52. 利用最大期望算法對每一圖像語義概念建立兩個高斯混合模型，并增加去除噪聲 區域的步驟；
53. 根據圖像特征集合，計算出區域層顏色后驗概率和紋理后驗概率，將求得的圖像屬 于所有概念的后驗概率按照降序排列，獲得每一個概念的顏色排序值；類似的對紋理后驗 概率按照降序排列，獲得每一概念的紋理排序值；選取前R個排序值之和最小的概念類標 注圖像。
2. 根據權利要求1所示的基于優化高斯混合模型圖像語義標注方法，其特征在于，步 驟Sl中圖像分割及底層特征提取，具體步驟如下： Sl-L分析圖像顏色并量化； S1-2.對顏色量化后的圖像進行空間分割得到任意形狀的相似點集合，即分割后的圖 像區域； S1-3.提取顏色特征，獲得3維主顏色特征，以及每個圖像區域中H、S、V 3個分量的均 值和方差，共9維特征向量； S1-4.提取紋理特征，獲得4個尺度和6個方向的Gabor小波系數的均值和方差，共48 維的區域紋理特征向量； 51- 5.整合圖像特征，存入圖像特征庫。
3. 根據權利要求1所示的基于優化高斯混合模型圖像語義標注方法，其特征在于，步 驟Sl中圖像的特征選擇具體步驟如下： 1) 對圖像特征庫進行采樣，生成特征子集； 2) 用連接F屬性評估的屬性選擇算法評價特征子集，并得到其優劣程度的得分Score 3) 將特征子集優劣程度得分與連接F屬性評估的屬性選擇算法中設定的閾值相比較， 若Score大于閾值則轉入步驟4)，否則轉入步驟1); 4) 驗證特征選擇的結果。
4. 根據權利要求1所示的基于優化高斯混合模型圖像語義標注方法，其特征在于，S2 中高斯混合模型建立具體步驟如下： 52- 1.對某一個語義概念WkG W建立圖像訓練集Tk= = 其中Wk為第k個語 言概念元素；W為語義概念的集合；Tk為第k個語義概念元素的訓練集合；I ,為訓練集合的 第i個元素； S2-2.確定高斯混合模型代表公式，如下：
其中X p y p E i分別表不第i個高斯分量的權重、均值向量和方差矩陣，X表不m維 的特征向量，K是高斯模型的分量數目；
入j表示第j個高斯分量的權重；y ^表示第j個均值向量；E ^表示第j個方差矩陣， 表示m維的特征向量，K是高斯模型的分量數目； S2-4.對每類特征參數進行GMM訓練，得到訓練的GMM矩陣； S2-5. Sl得到的特征參數進行優化，并且輸入訓練好的GMM，求其似然度； S2-6.根據S2-5步算出的似然度，計算各類特征的匹配概率； S2-7.對S2-6步中求出的各特征參數匹配概率加權求和得總匹配度Match ; S2-8.將求得的Match和閾值進行比較，如果大于閾值，將進行各特征的貢獻率計算； 如果小于閾值，將進行計數及送入結束判斷； 52- 9.對S2-8.中的Match小于閾值且不滿足結束條件的圖像特征送回進行新一輪的 訓練，如果滿足結束條件，則訓練結束。
5. 根據權利要求1所示的基于優化高斯混合模型圖像語義標注方法，其特征在于，S3 步驟中語義標注步驟具體如下： 53- 1.對于每一張測試圖像I，按照步驟Sl得到圖像特征集合；
個概念在整個訓練集中出現的概率；px(x)假設為均勻分布，為一個常量；計算出區域層顏 色后驗概率Pwixc(WkIBj)和紋理后驗概率pw|XT (wk I Bj);
像面積的比例；計算出該圖像的顏色后驗概率值Pwlxc(WkIl)和紋理后驗概率值p w|XT(wk|l); S3-4.將求得的圖像屬于所有概念的后驗概率pw|xe(wk|l)按照降序排列，獲得每一個 概念的顏色排序值 < ;類似的對PW|XT (wk 11)按照降序排列，獲得每一概念的紋理排序值^'; 因此，對于每一個概念類，都可以求出它的顏色和紋理排序值之和rk; S3-5.選取前R個排序值之和最小的概念類標注圖像。
6. 根據權利要求1所示的基于優化高斯混合模型圖像語義標注方法，其特征在于，S3 步驟中R為6。
【專利摘要】本發明公開了一種基于優化高斯混合模型圖像語義標注方法，屬于圖像檢索和自動圖像標注技術領域。本發明具體步驟如下：S1.通過監督貝葉斯學習得到圖像的底層視覺特征和語義概念間關系，得到圖像特征集合；S2.利用最大期望算法對每一圖像語義概念建立兩個高斯混合模型，并增加去除噪聲區域的步驟；S3.根據圖像特征集合，計算出區域層顏色后驗概率和紋理后驗概率，將求得的圖像屬于所有概念的后驗概率按照降序排列，獲得每一個概念的顏色排序值；類似的對紋理后驗概率按照降序排列，獲得每一概念的紋理排序值；選取前R個排序值之和最小的概念類標注圖像。本發明圖像底層特征與高層的語義概念表達之間的差異明顯減少，有效解決了語義鴻溝的問題。
【IPC分類】G06K9-62
【公開號】CN104820843
【申請號】CN201510289187
【發明人】張曉俊, 曹毅, 陶智
【申請人】常熟蘇大低碳應用技術研究院有限公司
【公開日】2015年8月5日
【申請日】2015年5月29日