一種基于多視圖多標簽的圖片標注方法
【技術領域】
[0001]本發明涉及圖片標注方法的技術領域，基于多視圖多標簽的圖片標注方法。
【背景技術】
[0002]近年來，隨著數碼相機在人們日常生活中的爆炸式普及，人們總是淹沒于大量可獲取的圖片中。但是，這些圖片往往大部分都不包含標注信息。為了有效地管理，獲取和檢索這些多媒體數據，一個廣泛被采用的方法是將文本標簽和圖片的內容對應聯系起來。有了這些文本標簽，圖片的檢索問題就可以轉化成文本檢索問題，從而大大提高了計算的有效性和檢索的準確度。由于人工標注總是既費時又費力，所以半監督的多標簽傳播自然而然成為了應用于圖片標注的有效方法。首先用戶需要標注一小部分圖片，然后剩余的未標注圖片可以和這些標注圖片相互協同，從而自動學習和推斷出對應的文本標注信息。
[0003]總的來說，自動圖片標注任務的關鍵一步是提取出圖片的視覺特征作為圖片的機器表達。然而，我們可以卻可以從圖片中提取出不同源的特征，即多視圖特征。不同的的特征描述了圖片不同的視覺特性，能夠不同程度地幫助用戶理解圖片內容。已有的研宄已經提出了各種針對多視圖問題的圖片標注方法，但是他們都忽略了視圖與視圖之間的關聯性。雖然有一些基于稀疏表達的方法致力于研宄不同源圖片特征的選擇問題，但是他們只是把不同種類的圖片特征直接合并成一統一視圖而已。
[0004]自動圖片標注任務的第二個關鍵步驟是將每一個未標注圖片跟一些給定的文本標簽聯系起來。但是已有的多標簽標注工作基本上受限于(或者部分受限于)面對多標簽的傳播卻仍然獨立考慮每一個標簽。
[0005]據我們所知，至今還沒有一種有效的圖片標注方法可以同時解決圖片特征的多視圖問題和多標簽之間的聯系問題。
【發明內容】
[0006]本發明要克服現有技術的上述缺點，提供一種基于多視圖多標簽的圖片標注方法，以同時解決多視圖特征問題和多標簽傳播問題。
[0007]一種基于多視圖多標簽的圖片標注方法，包括如下步驟:
[0008]I)從互聯網上獲取圖片和文本標簽，建立圖片數據庫和文本標簽數據庫；
[0009]2)提取圖片特征，建立圖片視圖，每個圖片視圖包含一種圖片特征；
[0010]3)建立文本標簽關系樹，挖掘文本標簽之間的關聯關系；
[0011]4)針對每個圖片視圖，為圖片標注文本標簽；
[0012]5)為有關聯關系的文本標簽在不同圖片視圖中建立相似的標注結果；
[0013]6)為數據庫中的每張圖片標注與其有關聯的多個文本標簽。
[0014]步驟2)中所述的圖片特征，包括:
[0015]I)提取圖片的顏色直方圖，得到256維的全局特征，并形成一個視圖；
[0016]2)提取圖片的SIFT特征點，并聚類得到500維的局部特征，并形成一個視圖。
[0017]步驟3)中所述的文本標簽關系樹，包括:根據已知的文本標簽分類，將屬于同類的文本標簽標記為類標簽下的子標簽，遍歷所有類，建立文本標簽關系樹。
[0018]步驟5)中所述的有關聯關系的文本標簽，即在文本標簽關系樹中屬于同一個父類的標簽。
[0019]本發明提出了一種全新的基于多視圖的多標簽傳播方法，能夠同時解決多視圖特征問題和多標簽傳播問題。算法的核心思想包括以下兩個方面:(I)相同圖片的不同圖片特征視圖上的標簽傳播應該不能相差太多；(2)有關聯的標簽應該具有相似的傳播。
[0020]本發明的優點是:能夠同時解決多視圖特征問題和多標簽傳播問題。
【附圖說明】
[0021 ] 圖1是本發明的方法流程圖。
【具體實施方式】
[0022]一種基于多視圖多標簽的圖片標注方法，包括如下步驟:
[0023]I)從互聯網上獲取圖片和文本標簽，建立圖片數據庫和文本標簽數據庫；
[0024]2)提取圖片特征，建立圖片視圖，每個圖片視圖包含一種圖片特征；
[0025]3)建立文本標簽關系樹，挖掘文本標簽之間的關聯關系；
[0026]4)針對每個圖片視圖，為圖片標注文本標簽；
[0027]5)為有關聯關系的文本標簽在不同圖片視圖中建立相似的標注結果；
[0028]6)為數據庫中的每張圖片標注與其有關聯的多個文本標簽。
[0029]步驟2)中所述的圖片特征，包括:
[0030]I)提取圖片的顏色直方圖，得到256維的全局特征，并形成一個視圖；
[0031]2)提取圖片的SIFT特征點，并聚類得到500維的局部特征，并形成一個視圖。
[0032]步驟3)中所述的文本標簽關系樹，包括:根據已知的文本標簽分類，將屬于同類的文本標簽標記為類標簽下的子標簽，遍歷所有類，建立文本標簽關系樹。
[0033]步驟5)中所述的有關聯關系的文本標簽，即在文本標簽關系樹中屬于同一個父類的標簽。
[0034]本說明書實施例所述的內容僅僅是對發明構思的實現形式的列舉，本發明的保護范圍的不應當被視為僅限于實施例所陳述的具體形式，本發明的保護范圍也及于本領域技術人員根據本發明構思所能夠想到的等同技術手段。
【主權項】
1.一種基于多視圖多標簽的圖片標注方法，包括如下步驟: 1)從互聯網上獲取圖片和文本標簽，建立圖片數據庫和文本標簽數據庫； 2)提取圖片特征，建立圖片視圖，每個圖片視圖包含一種圖片特征； 3)建立文本標簽關系樹，挖掘文本標簽之間的關聯關系； 4)針對每個圖片視圖，為圖片標注文本標簽； 5)為有關聯關系的文本標簽在不同圖片視圖中建立相似的標注結果； 6)為數據庫中的每張圖片標注與其有關聯的多個文本標簽。
2.如權利要求1所述的一種基于多視圖多標簽的圖片標注方法，其特征在于，步驟2)中所述的圖片特征，包括: 21)提取圖片的顏色直方圖，得到256維的全局特征，并形成一個視圖； 22)提取圖片的SIFT特征點，并聚類得到500維的局部特征，并形成一個視圖。
3.如權利要求1所述的一種基于多視圖多標簽的圖片標注方法，其特征在于，步驟3)中所述的文本標簽關系樹，包括:根據已知的文本標簽分類，將屬于同類的文本標簽標記為類標簽下的子標簽，遍歷所有類，建立文本標簽關系樹。
4.如權利要求1所述的一種基于多視圖多標簽的圖片標注方法，其特征在于，步驟5)中所述的有關聯關系的文本標簽，即在文本標簽關系樹中屬于同一個父類的標簽。
【專利摘要】一種基于多視圖多標簽的圖片標注方法，包括：從互聯網上獲取圖片和文本標簽，建立圖片數據庫和文本標簽數據庫；提取圖片特征，建立圖片視圖，每個圖片視圖包含一種圖片特征；建立文本標簽關系樹，挖掘文本標簽之間的關聯關系；針對每個圖片視圖，為圖片標注文本標簽；為有關聯關系的文本標簽在不同圖片視圖中建立相似的標注結果；為數據庫中的每張圖片標注與其有關聯的多個文本標簽。該方法同時挖掘了圖片多個視圖之間的關系，標簽之間的關系，以及圖片和標簽的關系，有利于圖片標注技術的研究與推廣。
【IPC分類】G06F17-30
【公開號】CN104794183
【申請號】CN201510169472
【發明人】陳純, 何占盈, 卜佳俊, 高珊
【申請人】浙江大學
【公開日】2015年7月22日
【申請日】2015年4月10日