一種基于分層結構的圖像檢索方法
【專利摘要】本發明屬于圖像檢索【技術領域】，涉及一種分層結構的圖像檢索方法，包括：獲取進行訓練的圖像，并對圖像中每個物體構造樹狀結構標簽，形成訓練集；提取訓練集中圖像每個物體的低層特征，訓練得到所有候選的類，子類以及屬性相對應的分類器，形成下一步建模所需要的中間數據；構造條件隨機場模型，訓練得到模型參數；對于待描述圖像，首先進行圖像分割，分割出待描述圖像中包含的物體，再提取待描述圖像中每個物體的低層特征；之后利用所構造的條件隨機場模型及訓練得到模型參數，采用使用最大積信念傳播算法，對待描述圖像中每個物體的樹狀結構標簽進行預測；建立相應的圖像檢索系統。本發明可以提高圖像與圖像之間的區分度，產生更好的檢索結果。
【專利說明】—種基于分層結構的圖像檢索方法
所屬【技術領域】
[0001]本發明屬于圖像檢索【技術領域】，涉及一種基于分層結構的圖像檢索方法。
【背景技術】
[0002]使用更加豐富的語義信息來描述一幅圖像無論對理解該圖像還是從Web上面檢索該圖像都是及其重的。一方面，當面對一幅新的圖像時，人們首先想知道的是圖像中的物體屬于哪個類(比如是一種動物還是一種交通工具)，當獲取到它的類信息后，更進一步人們想知道它是屬于哪個子類(屬于鳥類，還是屬于貓科動物)，此外，每種物體都具有自己特有的屬性信息，比如是否具有羽毛，是否會飛，是否食肉等等。通過這些信息，人們可以從多個角度更加精確的來理解一幅圖像，同時獲取到更多關于圖像中物體的知識。另一方面，在圖像檢索領域，由于計算機是使用低層特征來表示一幅圖像的，這樣由計算機給出的檢索結果并不能很好的匹配用戶的檢索意圖，為了克服圖像檢索領域存在的這種“語義鴻溝”，也需要使用更加豐富更加精確的語義信息來描述一幅圖像。
[0003]在過去的幾年中已經涌現出了各種各樣的圖像描述方法，比如使用單個標簽來描述圖像中的物體屬于動物還是植物，這種描述方法雖然指定了圖像中物體的類別，但是所蘊含的信息非常有限，為了克服這個缺點，人們就創建一個標簽庫，然后選取標簽庫中與之相關的多個標簽來描述圖像中的某個物體，但是標簽庫畢竟有限，不可能覆蓋自然界中的所有物體，于是就產生了基于屬性的圖片描述方法，這類方法使用物體的屬性信息，比如是否會飛，是否有羽毛等去描述一幅圖像，這樣做的好處是即使遇到了一幅沒有見過的圖像，人們依然可以使用一些基本的屬性信息去描述它，從而獲取對圖像的一些感性認識。不管這些圖像描述方法是從什么角度，使用什么信息來描述圖像的，他們的目標都是為了獲取圖像中更加豐富的語義信息。
[0004]為此，本發明提出了一種基于分層結構的圖像檢索方法，即使用一個3層樹狀結構標簽來描述圖像中的物體，其中第一層指出了物體所屬的大類，第二層指出了物體所屬的子類，第三層指出了圖像具有的屬性信息。這種分層的樹狀結構語義單元融合了現有方法的優點，不僅可以給出物體在不同層次上的類別信息和屬性信息，而且可以輸出一個體現這些信息結構的語義單元，從而給出對圖像一個更加豐富和精確的描述。使用該3層樹狀結構進行圖像檢索，可以完整的保留出屬物體類別信息和屬性信息的關系，進而檢索到更加精確的圖像結果。
【發明內容】
[0005]本發明的目的是提供一種新基于分層結構的圖像檢索方法，使得圖像對圖像的描述和檢索更為精確。本發明使用一個3層的樹狀結構語義標簽來描述一幅圖像，并進而使用該結構化的描述進行圖像檢索。本發明提出的基于分層結構的圖像檢索方法包括如下步驟:
[0006]第一步，獲取進行訓練的圖像，并對圖像中每個物體構造3層樹狀結構標簽，形成訓練集:
[0007](I)獲取進行訓練的圖像，構建圖像集合IMG ；
[0008](2)使用圖像分割算法分割出集合IMG中每幅圖像中所包含的物體，構成物體集合 OBJ ；
[0009](3)對集合OBJ中的每個物體進行標注，標注的內容包括物體所屬的類，子類以及具有的屬性，形成類集合CLASS，子類集合SUBCLASS以及屬性集合ATTRIBUTE ；
[0010](4)根據標注信息對集合OBJ中的每個物體構造包括類-子類-屬性3層樹狀結構標簽，形成與OBJ相對應的標簽集合Y，兩個集合的元素一一對應；
[0011](5)類集合CLASS中有很多相同的元素，順序掃描CLASS中的每個元素，相同的元素只保留一個，形成候選的類集合Cla，對其子類集合SUBCLASS和屬性集合ATTRIBUTE做相同的掃描，得到候選的子類集合Subcl和候選的屬性集合Attri ；
[0012](6)構造包括:物體集合0BJ，標簽集合Y，候選的類集合Cla，候選的子類集合Subcl以及候選的屬性集合Attri的訓練集Tr。
[0013]第二步，提取訓練集中圖像每個物體的低層特征，訓練得到所有候選的類，子類以及屬性相對應的分類器，形成下一步建模所需要的中間數據的步驟如下:
[0014](I)提取物體集合OBJ中每個物體的局部二值模式特征(LBP)特征，構造特征集合X；
[0015](2)根據特征集合X和類集合CLASS，訓練得到集合Cla中每個元素Wi的SVM分類器SVM_Wi，構成與類相對應的分類器集合Sw，同理，根據特征集合X和子類集合SUBCLASS，訓練得到子類集合Subcl中每個元素\的SVM分類器SVM_\，構成與子類相對應的分類器集合Sv,根據特征集合X和屬性集合ATTRIBUTE，訓練得到集合Attri中每個元素Uk的SVM分類器SVM_uk，構成與屬性相對應的分類器集合Su ；
[0016](3)在訓練集Tr上計算分類器集合Su中每個分類器SVM_uk的查準率和查全率曲線(PR曲線)，根據該PR曲線得到分類器SVM_uk的閾值threk，構成與Su對應的閾值集合Threshold ；
[0017](4)在訓練集Tr上統計候選的類集合Cla中的每一個元素Wi和候選的子類集合Subcl中每一個元素Vj的共現概率Pij,即標簽集合Y中同時具有Wi和Vi的物體數量占OBJ中總物體數N111的比例；在訓練集Tr上統計候選的子類集合Subcl中每一個元素Vi和候選的屬性集合Attri中每一個元素Uk的共現概率gjk，即集合Y中同時具有Uk和Vi的物體數量占OBJ中總物體數Nm的比例，此外，在訓練集Tr上統計含有候選的子類集合Subcl中元素Vi但不含有候選的屬性集合中元素Uk的概率qA，即集合Y中具有Vi但沒有Uk的物體數量占OBJ中總物體數Nm的比例；
[0018](5)構造包含:分類器集合Sw, Sv, Su,閾值集合Threshold,概率統計數據Pij, gJk,Qjk的中間數據，以備下一步建模使用。
[0019]第三步，構造條件隨機場模型(CRF)，訓練得到模型參數；
[0020]第四步，對于待描述圖像，首先進行圖像分割，分割出待描述圖像中包含的物體，再按照前述的第二步的方法，提取待描述圖像中每個物體的低層特征；之后，利用第三步構造的條件隨機場模型(CRF)及訓練得到模型參數，采用使用最大積信念傳播算法，對待描述圖像中每個物體的3層樹狀結構標簽進行預測；[0021]第五步，使用資源描述框架(RDF)對圖像進行描述，建立相應的圖像檢索系統。
[0022]本發明提出基于分層結構的圖像檢索方法。使用一個3層的樹狀結構語義單元來描述圖像，從該語義單元中，用戶不光可以獲取到圖像中物體所屬的類和具體的子類信息，而且可以獲取到圖像中物體具有的屬性信息，從而產生對圖像內容更加豐富和更加精確的描述，這樣可以提高圖像與圖像之間的區分度，方便在圖像檢索時消除語義鴻溝，產生更好的檢索結果，同時本發明亦提供給了用戶一種更加直觀的圖像內容的展示方法，即以一個3層樹狀結構來組織圖像的類，子類，屬性信息，方便用戶更加容易的理解圖像，并使用資源描述符進行圖像檢索。
【專利附圖】
【附圖說明】[0023]圖1CRF模型示意圖。
[0024]圖2本發明使用的訓練集中的若干例子，其中第一行的圖像為從網絡上下載的自然圖像，其中的物體已經使用矩形框標出。第二行為每個物體相對應的3層樹狀結構標簽。
[0025]圖3左圖為自然圖像，其中需要描述的物體已經使用矩形框標出。右圖為使用本發明提出的發明預測出的3層樹狀結構語義標簽。
[0026]圖4左圖為自然圖像，其中需要描述的物體已經使用矩形框標出。右圖為使用本發明提出的發明預測出的3層樹狀結構語義標簽。
[0027]圖5使用SPARQL檢索語言建議的結構化圖像查詢系統。其中上面的框內顯示的查詢語句，下面的框里顯示的是對數據庫的描述，使用SPARQL可以對本發明提出的分層結構進行編碼，之后用于圖像檢索。
[0028]圖6兩個基于分層結構的圖像檢索結果，在每一行中，第一個框內顯示的是查詢語句，查詢到的四張圖像顯示在后面。
【具體實施方式】
[0029]這里選取兩幅圖像作為待描述圖像，分別為圖3，圖4中左邊的圖像，使用本發明中描述的方法對其進行預測輸出3層樹狀結構語義單元。
[0030]首先需要訓練得到條件隨機場(CRF)的模型參數:具體步驟如下:
[0031]1，構造訓練集步驟如下:
[0032](I)編寫爬蟲程序下載Google圖片搜索的檢索結果中的圖像，構成圖像集合
【權利要求】
1. 一種基于分層結構的圖像檢索方法，包括下列步驟: 第一步，獲取進行訓練的圖像，并對圖像中每個物體構造3層樹狀結構標簽，形成訓練集: (1)獲取進行訓練的圖像，構建圖像集合IMG； (2)使用圖像分割算法分割出集合IMG中每幅圖像中所包含的物體，構成物體集合OBJ； (3)對集合OBJ中的每個物體進行標注，標注的內容包括物體所屬的類，子類以及具有的屬性，形成類集合CLASS，子類集合SUBCLASS以及屬性集合ATTRIBUTE ； (4)根據標注信息對集合OBJ中的每個物體構造包括類-子類-屬性3層樹狀結構標簽，形成與OBJ相對應的標簽集合Y，兩個集合的元素一一對應； (5)類集合CLASS中有很多相同的元素，順序掃描CLASS中的每個元素，相同的元素只保留一個，形成候選的類集合Cl a，對其子類集合SUBCLASS和屬性集合ATTRIBUTE做相同的掃描，得到候選的子類集合Subcl和候選的屬性集合Attri ； (6)構造包括:物體集合0BJ，標簽集合Y，候選的類集合Cla，候選的子類集合Subcl以及候選的屬性集合Attri的訓練集Tr。 第二步，提取訓練集中圖像每個物體的低層特征，訓練得到所有候選的類，子類以及屬性相對應的分類器，形成下一步建模所需要的中間數據的步驟如下: (1)提取物體集合OBJ中每個物體的局部二值模式特征(LBP)特征，構造特征集合X； (2)根據特征集合X和類集合CLASS，訓練得到集合Cla中每個元素Wi的SVM分類器SVM_wi；構成與類相對應的分類器集合Sw，同理，根據特征集合X和子類集合SUBCLASS，訓練得到子類集合Subcl中每個元素\的SVM分類器SVM_\，構成與子類相對應的分類器集合Sv,根據特征集合X和屬性集合ATTRIBUTE，訓練得到集合Attri中每個元素Uk的SVM分類器SVM_uk，構成與屬性相對應的分類器集合Su ； (3)在訓練集Tr上計算分類器集合Su中每個分類器SVM_uk的查準率和查全率曲線(PR曲線)，根據該PR曲線得到分類器SVM_uk的閾值threk，構成與Su對應的閾值集合Threshold ； (4)在訓練集Tr上統計候選的類集合Cla中的每一個元素Wi和候選的子類集合Subcl中每一個元素 ' 的共現概率Pu，即標簽集合Y中同時具有Wi和Vi的物體數量占OBJ中總物體數Nm的比例；在訓練集Tr上統計候選的子類集合Subcl中每一個元素Vi和候選的屬性集合Attri中每一個元素Uk的共現概率gjk，即集合Y中同時具有Uk和Vi的物體數量占OBJ中總物體數Nm的比例，此外，在訓練集Tr上統計含有候選的子類集合Subcl中元素Vi但不含有候選的屬性集合中元素Uk的概率(?Λ，即集合Y中具有Vi但沒有％的物體數量占OBJ中總物體數Nni的比例； (5)構造包含:分類器集合Sw,Sv, Su,閾值集合Threshold,概率統計數據Pij, gJk, qJk的中間數據，以備下一步建模使用。 第三步，構造條件隨機場模型(CRF)，訓練得到模型參數； 第四步，對于待描述圖像，首先進行圖像分割，分割出待描述圖像中包含的物體，再按照前述的第二步的方法，提取待描述圖像中每個物體的低層特征；之后，利用第三步構造的條件隨機場模型(CRF)及訓練得到模型參數，采用使用最大積信念傳播算法，對待描述圖像中每個物體的3層樹狀結構標簽進行預測；第五步，使用資源描述框 架(RDF)對圖像進行描述，建立相應的圖像檢索系統。
【文檔編號】G06K9/62GK103530405SQ201310505213
【公開日】2014年1月22日 申請日期:2013年10月23日 優先權日:2013年10月23日
【發明者】韋星星, 韓亞洪, 操曉春 申請人:天津大學