專利名稱：基于尺度選擇的自頂向下的視覺顯著性提取方法
技術領域：
本發明涉及的是一種視覺顯著性的計算方法，特別涉及一種基于尺度選擇的自頂向下的視覺顯著性提取方法，屬于視覺顯著性領域。
背景技術：
視覺注意是幫助人類視覺系統準確有效的識別場景的一種重要機制。獲取圖像中的顯著區域是計算機視覺領域的一個重要的研究課題。它可以幫助圖像處理系統在后續處理步驟中合理的分配計算資源。視覺顯著區域提取被廣泛的應用于很多計算機視覺應用當中，如感興趣物體分割、物體識別、自適應圖像壓縮、內容敏感的圖像縮放、圖像檢索等。關于視覺顯著性的檢測分為兩類快速的、與任務無關的、數據驅動的自底向上的顯著性檢測和較慢的、與任務相關的、目標驅動的自頂向下的顯著性檢測。現有的視覺顯著性檢測方法大都是屬于前一類的，通過計算各種形式的圖像內容和場景的對比度來獲得視覺顯著性。本發明所涉及的是后一類。運用機器學習的方法學習模型來提取目標相關的顯著區域，該方法可以應用于物體檢測、物體識別等領域。自頂向下的視覺顯著性檢測方法主要有基于特征融合的方法和基于信息最大化原則的方法。基于特征融合的方法主要是通過調整不同特征通道的權重值來獲得自頂向下的顯著性。Frintrop等人于2005年Pattern Recognition中提出了 VOQJS系統“Goal-directed search with a top-down modulated computational attention system，，(Frintrop, S.，Backer, G.，Rome, E. :Goal-directed search with a top-downmodulated computational attention system.1n:Patter Recognition, Proceedings.LNCS, vol. 3663，pp. 117-124 (2005))。在自頂向下模塊里，學習階段通過樣本圖片學習得到不同特征通道的權重值。在預測階段，將不同特征加權得到最終的顯著值。基于信息最大化原則的方法主要是通過判別式的方法突出來自目標的特征。Gao Dashan等人于 2009 年 IEEE Transactions on Pattern Analysis and Machine Intelligence 中提出 了 “Discriminant Saliency, the Detection of Suspicious Coincidences, andApplications to Visual Recognition，，(Gao, D.，Han, S.，Vasconcelos, N. :DiscriminantSaliency, the Detection of Suspicious Coincidences, and Applications to VisualRecognition.1EEE Transactions on Pattern Analysis and Machine Intelligence, vol.31，pp. 989-1005(2009))，將自頂向下的顯著性檢測定義為一個二分類的問題。本方法同樣將自頂向下的顯著性檢測定義為一個二分類的問題。傳統的基于局部特征的物體檢測方法需要大量的掃窗，其掃窗的數量可能達到采窗數量的幾倍甚至幾十倍。如何有效地提取與目標相關的顯著區域，并將之運用于物體檢測，正是本發明要解決的問題。
發明內容
針對現有技術中的缺陷，本發明的目的是提供一種基于尺度選擇的自頂向下的視覺顯著性提取方法，該方法基于編碼的圖像分類框架進行視覺顯著性提取，并且考慮了多尺度的上下文信息，避免了大量重復性的掃描，從而減小了時間復雜度。為實現上述目的，本發明采用了以下技術方案現有的大部分方法都是自底向上的，只與圖像本身有關，而與人的意圖無關。本發明提出的方法充分考慮人的意圖，而且利用多尺度的上下文關系，能有效地提取出與人的意圖相關的視覺顯著的區域，并可以應用于物體檢測等領域。本方法包括兩個階段，每階段四步。訓練階段學習得到非線性模型，并找到多尺度合并中的最佳的尺度，用于顯著值的計算。顯著值計算階段根據訓練階段得到的最佳尺度和非線性模型來提取顯著圖。具體的，一種基于尺度選擇的自頂向下的視覺顯著性提取方法，包括兩個階段，每階段四個步驟，即第一階段訓練階段S1:對每幅圖像進行稠密采窗，對每個窗提取特征描述符，特征描述符不限定于哪種特征，可以是顏色特征描述符，也可以是形狀特征描述符。S2:根據訓練集圖像得到的特征描述符構建視覺詞典，然后用某一種編碼方法將訓練集圖像的特征描述符映射為編碼向量。S3:將每一個窗作為中心窗，將之與周邊的窗的編碼向量做多尺度的合并，每個窗都生成新的特征向量。由于做了多尺度的融合，所以每個窗會對應多個特征向量。多尺度向量融合的方法如下定義在尺度η的周邊窗K為
權利要求
1.一種基于尺度選擇的自頂向下的視覺顯著性提取方法，其特征在于，包括以下兩個階段，每個階段四個步驟第一階段訓練階段Si對每幅圖像進行稠密采窗，對每個窗提取特征描述符；S2:根據訓練集圖像得到的特征描述符構建視覺詞典，然后用某一種編碼方法將訓練集圖像的特征描述符映射為編碼向量；S3:將每一個窗作為中心窗,將之與周邊的窗的編碼向量做多尺度的合并,每個窗都生成新的特征向量，由于做了多尺度的融合，所以每個窗會對應多個特征向量；S4:將不同尺度的特征向量和真實標注分別輸入到支撐向量機訓練，得到不同尺度的非線性模型，用于預測顯著值，將預測得到的結果和真實標注用KLD做評價，取KLD值最小的尺度作為最佳尺度；第二階段顯著值計算階段S1:和訓練階段的SI相同，對每幅圖像進行稠密采窗，并提取相同的特征描述符；S2:根據已有的詞典，用與訓練階段S2相同的編碼方法將每幅圖像每個窗內提取的特征描述符映射為編碼向量；S3 :根據訓練階段S4得到的最佳尺度，將中心窗和周邊窗在最佳尺度上合并，生成新的特征向量；S4:用訓練階段得到的非線性模型對最佳尺度上的特征向量做預測得到最終的顯著值。
2.根據權利要求1所述的基于尺度選擇的自頂向下的視覺顯著性提取方法，其特征在于，所述訓練階段中步驟S3中的多尺度向量融合的方法如下定義在尺度η的周邊窗為An= Q1 U Ω2...υ Ωη，Ωη = {cjn)\i = 1,2,…,8n}為尺度η上的邊緣窗集合，Cf1) = (C^1 C^1…代表在尺度η上的第i個邊緣窗上的K維編碼向量；1蟲合后的特征向ii1.:為= maxj cy . s. t. Cj e An其中表示f(n)的第k個分量，cJ代表周邊窗上的第j個編碼向量，代表Cj的第k個分量。
3.根據權利要求1所述的基于尺度選擇的自頂向下的視覺顯著性提取方法，其特征在于，所述訓練階段中步驟S4中的KLD作為選擇最佳尺度的方法，其計算公式如下1..dkl(^!I^) - _ (IIgx-1}Cx)^O9sX + 丄{如=。}(X)IOg (I —sx)其中，Sx代表在位置X處的顯著值，gx代表在位置X處真實標注的值，即X 屬于目標物體，gx 為 I，^lgx = Ij — I, Ifgx=Oj — O;X 不屬于目標物體，gx 為 O, l{gY=o} — 1,— O;N代表真實標注圖像里的像素數目；KLD的值越小，代表預測出的顯著圖越接近于真實標注。
4.根據權利要求1-3之一所述的基于尺度選擇的自頂向下的視覺顯著性提取方法，其特征在于，所述特征描述符是顏色特征描述符，或是形狀特征描述符。
全文摘要
本發明公開了一種基于尺度選擇的自頂向下的視覺顯著性提取方法，包括兩個階段，訓練階段學習得到非線性模型，并找到多尺度合并中的最佳的尺度，用于顯著值的計算。顯著值計算階段根據訓練階段得到的最佳尺度和非線性模型來提取顯著圖。本發明提出的方法充分考慮人的意圖，而且利用多尺度的上下文關系，能有效地提取出與人的意圖相關的視覺顯著的區域，并可以應用于物體檢測等領域。
文檔編號G06K9/62GK102999763SQ20121042565
公開日2013年3月27日 申請日期2012年10月30日 優先權日2012年10月30日
發明者張瑞, 仇媛媛, 朱俊, 付賽男, 鄒維嘉, 朱玉琨 申請人:上海交通大學