專利名稱：一種基于Wiki的圖像分類體系動態演化方法
技術領域：
本發明涉及一種基于Wiki的圖像分類體系動態演化方法。
背景技術：
圖像分類是Web數據挖掘領域的一個重要研究方向，是一種非常重要的圖像信息組織和管理手段。通過對圖像進行合理的分類不僅可以將圖像按照類別信息建立相應的信息資源庫，更好地提供圖像檢索和管理服務，方便科研人員進行研究和利用，而且可以用來提高搜索引擎的搜索準確性，便于普通用戶查找及使用，最大程度上滿足用戶的需求。關于圖像分類體系的構建一般有兩種方式，一種是參照傳統的文獻分類法或主題詞分類法來進行分類。如ImageNet，其是跟據WordNet的詞匯樹進行分類的，是一種層次結構。此結構很方便用于信息的查詢和存儲，但由于其體系比較固定，不適應網絡的動態發展。另一種分類方式是i^olksonomy大眾分類法，即個人用戶為滿足自身檢索的需要，對信息或對象自由添加標簽(Tag)的結果。如Flickr就是采用這種方法，允許用戶上傳照片， 添加標簽，對所瀏覽的照片進行評論，并進行標注。Folksonomy具有共享性、自由性、動態性等特點。但由于R)lkS0n0my中標引詞的模糊性、標注的自由性及非規范性，導致其標簽的組織與檢索缺乏效率。Wiki因其遵循“平等、開放、自由、共享”等理念[而廣泛應用于知識管理、教學、軟件開發、語義網構建[等領域。而其在圖像等非結構化數據管理方面的應用還比較少。
發明內容
有鑒于此，本發明采用Wiki方式搜集用戶對圖像分類體系的反饋，并對用戶反饋進行分析整理，實現分類體系的動態演化。其特征在于在圖像所屬類別的動態演化部分設計了一套機器自動判定模型；在類別自身組織結構的動態演化部分，主要以Wiki方式搜集用戶對類別結構的反饋，并且記錄反饋信息及對日志進行挖掘，由系統管理員去決定類別關系的調整。其步驟如下(1)通過圖像分類器和語義關聯矩陣自動產生相關的類別建議詞匯，得到圖像的初始類別標注，包括主類別和副類別，主類別即圖像所屬的類別，副類別指圖像所屬的候選類別，即此圖像有可能屬于此類別，用來和主類別競爭；其具體過程為，用戶在上傳圖像時，抽取圖像的底層SIFT特征，用特征向量X表示，將此特征向量與訓練好的圖像SIFT特征集Y= {yl，y2，...yn}計算其相似度，Y中的每一個特征向量對應著一個類別詞，將此圖像賦予與特征向量X最相似的向量yk的類別詞，將此類別詞提交給語義關聯推薦模塊，根據系統中維護的語義關系表，向用戶推薦類別詞，由用戶選擇主類別或者副類別，也允許用
戶添加未推薦的類別詞；這些由上傳圖像的用戶確定的圖像主類別Cmain和副類別
初始類別詞，作為圖像的初始類別標注，構成一個圖像所屬類別初始版本LO ；(2)基于維基(wiki)模式，即大規模的開放協作和資源共享模式，允許并鼓勵普通用戶大眾對大規模圖像數據管理系統的數據進行類別更新操作，包括所屬類別判定，投票，標簽添加以及語義描述等方式；(3)對于步驟2的更新操作，根據本發明提出的圖像所屬類別的動態演化模型，進行圖像所屬類別的判定；(4)對于步驟2的更新操作，根據本發明提出的類別自身組織結構動態演化模型， 調整類別組織結構；(5)基于統計模型對用戶的操作進行統計，用來調整步驟3和步驟4的演化模型的相關參數。根據本發明的又一個方面，所述的步驟(1)包括(La)圖像分類器的訓練部分。訓練部分過程主要包括采用如下算法提取訓練圖像的SIFT特征(a. 1)生成圖像尺度空間。假設方差為δ的二位高斯函數為G(x，y)，其中
1χ2 + 2
G(x,>') = --rexp(-^—給定二維圖像I (χ，y)，在不同尺度下的尺度空間表示L(X，y， 2πο2ο
O
S)可由I(x，y)與高斯核G(x，y)卷積得到L(x，y，δ) = G (x，y)襯(x，y)。其中*表示卷積操作。(X，y)代表圖像像素的位置，δ稱為尺度空間因子。其值越小則表征該圖像被平滑的越少，相應的尺度也就越小。(a. 2)建立圖像DOG金字塔。對尺度空間圖像序列進行D0G(Difference of Gaussian)操作，找到具有穩定尺度特征的關鍵點。定義高斯差分如下D(x，y，δ) = L(x, y，k δ)-L (χ, y，δ )，其中k為尺度因子比例系數，用來等比例地改變尺度空間的值。(a. 3)獲取關鍵點。在建立的DOG空間金字塔中，將相鄰尺度空間內的極值點作為圖像的關鍵點。具體過程是通過將DOG尺度空間的每個像素點與同一層的相鄰的8個像素點、上一層的相鄰9個像素點和下一層的相鄰9個像素點共沈個像素點進行比較，若其比相鄰的26個像素的DOG值都大或都小，則該點作為關鍵點。(a. 4)確定關鍵點主方向。以特征點為中心的鄰域窗口內采樣，用梯度方向直方圖統計鄰域像素的梯度方向。梯度直方圖的范圍為0° 360°，其中每15°位一個方向單位，共計M個方向。梯度方向直方圖的峰值代表了該關鍵點處鄰域梯度的主方向，即作為該關鍵點的主方向。(a. 5)提取關鍵點特征向量。以關鍵點方向為坐標軸χ軸方向，在二維平面內提取關鍵點的特征描述。以關鍵點為中心取16X16的窗口，將該窗口按4X4劃分為16個種子點，在每個種子點上，通過其內部16個像素點每個像素點的梯度方向及其長度，以向量形式累加計算種子點8個方向的梯度方向直方圖。對一個關鍵點總共提取了 1 個數據，形成1 維的SIFT特征向量，并將其長度歸一化。通過如上步驟，獲得了每幅訓練圖像的SIFT特征，包括關鍵點數目及各關鍵點的位置、方向、尺度和特征向量信息。訓練集中的每張圖片P可表示為(dotl, dot2. . . dotn, type)。其中type為圖片所屬的類別，η為關鍵點數目，doti表示第i個關鍵點的SIFT特征，其可表不為(position, rotation, scale，vector)，其中 position, rotation, scale 禾口 vector分別是關鍵點的位置、方向、尺度和1 維特征向量信息。最終獲得的訓練圖片集中，每個類別包含5張具有代表性的圖片。(l.b)當標注人員上傳圖像后，通過抽取上傳的圖片P的SIFT特征，計算其與訓練集中圖片PTrain的SIFT特征相似度S(P，PTrain)。找出前K張最相似的圖片。計算圖片 P屬于某一類別“ type”的可能性pro (P，type) = Σ S (P，Pi)，其中Pi為此K張圖片中屬于類別“type”的圖片。將pro(p，type)值最大的類別“type”作為主類別，其他類別詞為副類別。計算S(P，PTrain)的過程如下(b. 1)對于P的關鍵點i和Ptrain的關鍵點j，計算其SIFT特征向量的距離
權利要求
1.一種基于Wiki的圖像分類體系動態演化方法，其特征與步驟如下(1)通過圖像分類器和語義關聯矩陣自動產生相關的類別建議詞匯，得到圖像的初始類別標注，包括主類別和副類別，主類別即圖像所屬的類別，副類別指圖像所屬的候選類別，即此圖像有可能屬于此類別，用來和主類別競爭；其具體過程為，用戶在上傳圖像時，抽取圖像的底層SIFT特征，用特征向量X表示，將此特征向量與訓練好的圖像SIFT特征集Y ={yl，y2，...yn}計算其相似度，Y中的每一個特征向量對應著一個類別詞，將此圖像賦予與特征向量X最相似的向量yk的類別詞，將此類別詞提交給語義關聯推薦模塊，根據系統中維護的語義關系表，向用戶推薦類別詞，由用戶選擇主類別或者副類別，也允許用戶添加未推薦的類別詞；這些由上傳圖像的用戶確定的圖像主類別Cmain和副類別初始類別詞，作為圖像的初始類別標注，構成一個圖像所屬類別初始版本LO ；(2)基于維基wiki模式，即大規模的開放協作和資源共享模式，允許并鼓勵普通用戶大眾對大規模圖像數據管理系統的數據進行類別更新操作，包括所屬類別判定，投票，標簽添加以及語義描述方式；(3)對于步驟O)的更新操作，根據圖像所屬類別的動態演化模型，進行圖像所屬類別的判定；(4)對于步驟O)的更新操作，根據類別自身組織結構動態演化模型，調整類別組織結構；(5)基于統計模型對用戶的操作進行統計，用來調整步驟C3)和步驟的相關參數。
2.根據權利要求1所述的基于Wiki的圖像分類體系動態演化方法，其特征在于，所述的步驟(2)包括如下行為(2. a)點擊查看行為；用戶輸入某一類別詞“type”，檢索到圖像P，并進行點擊放大查看；(2.b)簡單判定行為，用戶瀏覽圖像P時，可以簡單判定其主類別“type”是否正確； (2. c)修改類別行為，用戶認為圖像P不屬于其主類別，并且手動編輯修改其類別為 "type"；(2. d)投票行為，用戶可以對圖像P所屬的各類別，即主類別和副類別投票； (2. e)添加標簽行為；用戶在圖像的關鍵區域添加標簽； (2. f)添加描述行為；用戶對圖像P添加語義描述。
3.根據權利要求1所述的基于Wiki的圖像分類體系動態演化方法，其特征在于，所述的步驟⑶包括(3. a)計算圖像P屬于類別“ type”的信心值Cp, type,圖像屬于某一類別的信心值，即指此圖像屬于該類別的可能性，可能性越高，其信心值越大，信心值Cp, t-的計算主要包括如下方式(al)初始信心值計算，用戶在上傳圖像時，至少填寫此圖像屬于的主類別，選擇填寫1-6個副類別；對于主類別，系統賦予其信心值為Cmain,副類別系統賦予其信心值為 Cvice ；若“ type”為主類別，則C^yi3e =Cra-.若“type”為副類別，則C〗徹e =C*e. (a2)點擊查看行為信心值= Nh^type X Dm .其中，表示以類別詞“ type”查詢到圖像P，并點擊查看的總次數；Dhit表示該行為的權值，C^ype表示以類別詞“type”查詢到圖像P，并點擊查看獲得的信心值；(a3)簡單判定行為信心值
4.根據權利要求1所述的基于Wiki的圖像分類體系動態演化方法，其特征在于，所述的步驟⑷包括(4. a)增加新類別詞；對于出現的新的類別詞匯“newType”，將其放入待定集 preserve_set 中，當 “newType” 的使用頻度 fnewType 超過頻度閥值 ThresT，將“newType” 放入類別詞集中，由系統管理員將其加入到原組織結構的某一結點中；新類別詞 "newType"的使用頻度fnewType的增加，包括以下三方面(al)用戶上傳圖像時使用“Word”進行類別標注，令其發生的次數為W1，其權值為G1 ； (a2)用戶通過修改某一圖像的類別時引入了類別詞“Word”，令其發生次數為W2，權值為& ；(a3)用戶使用“Word”進行檢索，令其次數為W3，權值為( ；關于新類別詞的添加與否，主要依據其頻度值的大小，某一待定類別詞“Word”的頻度
5.根據權利要求3所述的圖像分類體系動態演化方法，其特征在于，所述的步驟(5)包括(5. a)根據用戶的操作情況，統計用戶點擊查看行為總次數Chit，簡單判定行為總次數 Cjudge,修改類別行為總次數c。h，投票行為總次數Cv。te，添加標簽行為總次數Ctag,添加描述4亍為總次數 Cdes ；記錄乂，妙e , p,type,right , ρ,type,wrong ρ,type , ^ρ,type , Np typ擬及輝；(5. b)令d = (Dhit,Djudge,Dch,Dvote,DtagDdes) c = (CUt,Cjudge,Cch,Cvote,Ctag,CdJ ,設計函數F，使得3 =F(C);實現基于用戶行為反饋向量卩來調整權重參數向量 ;向量^的各分量與向量g的各分量成反比；若用戶簡單評定的次數越多，即越大，則該行為的權重Djudge 越小；將函數設計為線性模型，即存在一個六維矩陣Md。，使得 = CXMdc
全文摘要
本發明公開了一種基于Wiki的圖像分類體系動態演化方法(1)通過基于機器學習的分類器檢測，基于語義關聯矩陣的類別推薦以及人工標注獲得初始類別版本L0；(2)基于維基(Wiki)模式，允許并鼓勵大眾直接或間接更新系統數據類別信息；(3)根據像所屬類別動態演化模型，判定圖像所屬類別；(4)根據類別自身組織結構動態演化模型，調整類別組織結構；(5)基于統計模型，統計用戶操作信息，調整步驟3和步驟4的相關參數。本發明利用維基模式的開放共享性和平等共創性，聚集眾多用戶獨立的決策來提高圖像分類的精確性，調整類別組織結構，提高圖像檢索效果。
文檔編號G06F17/30GK102306298SQ201110201849
公開日2012年1月4日 申請日期2011年7月19日 優先權日2011年7月19日
發明者李未, 郎波, 黃雷 申請人:北京航空航天大學