一種基于顯著性指導的詞典學習的弱監督圖像解析方法
【專利摘要】本發明公開了一種基于顯著性指導的詞典學習的弱監督圖像解析方法。獲得圖像集及其圖像級標簽，對每幅圖像進行超像素分割，對每個超像素提取多維特征，組合形成特征矩陣；對每幅圖像進行顯著性檢測，得到每個超像素的平均顯著值；同時定義包含有不同標簽的詞典，計算得到每個超像素中的指導向量；構建優化問題模型并進行求解，獲得每個超像素的表示系數與其在每個詞典原子中的權重以及詞典：根據各個超像素的表示系數、權重和詞典，求解獲得每個超像素對應的標簽：由此完成圖像解析，獲得圖像的分割結果。本發明改造了傳統詞典學習方法，并利用顯著性先驗，與以往的弱監督圖像解析方法相比，得到了更好的效果。
【專利說明】
-種基于顯著性指導的詞典學習的弱監督圖像解析方法
技術領域
[0001] 本發明設及圖像語義分割方法，具體設及了一種基于顯著性指導的詞典學習的弱 監督圖像解析方法。
【背景技術】
[0002] 圖像解析，即對圖像中的每個像素，識別出它的類別，是圖像處理中的一個核屯、問 題。傳統的圖像解析方法，一般利用監督學習的方法，即需要訓練數據中的每個像素都帶有 標簽，而對訓練數據進行像素級的標注是十分昂貴的。因此，傳統監督學習的方法的瓶頸在 于訓練數據的數量。
[0003] 為了解決訓練數據標注昂貴的問題，近年來，發展出了弱監督的學習方法，即僅利 用弱的標簽進行學習，并且達到與監督學習近似的性能。具體到圖像解析問題中，弱監督的 圖像解析方法僅利用圖像級的標簽來學習，即利用圖像中包含的類別信息，在不知道運些 類別的物體在圖像中的具體位置的情況下，對輸入圖像進行語義的分割，即將每個類別的 物體在圖像中的具體位置標記出來，從而達到對圖像的理解。
[0004] 在大數據的背景下，雖然數據的總量呈現爆炸式的增長，但是大量的數據只有弱 的標記，而傳統的監督學習方法并不能利用運些數據。同時，隨著圖片社交網絡，如Flickr 的興起，用戶會上傳大量的帶有圖像級標簽的圖像，使得即使海量的帶有圖像級標簽的數 據都可W免費獲得。因此，弱監督的圖像解析方法比傳統的監督學習圖像解析方法在大數 據時代有更大的用武之地。
[0005] 然而弱監督的圖像解析是一個非常困難的問題，因為用來學習模型的訓練數據是 有歧義的。比如一幅帶有"牛"，"草"，"天空"的圖像，算法只知道圖像中具有運些標簽的物 體，但是不知道運些物體的具體位置，因此對于運幅圖像的每個像素，都有可能是"牛"， "草"或者"天空"，運些帶有歧義的數據會誤導分類器的學習。同時傳統的弱監督的圖像解 析方法沒有利用其它信息進行指導，僅利用帶歧義的訓練數據，往往不能得到好的解析結 果。
【發明內容】
[0006] 本發明的目的在于提供一種基于顯著性指導的詞典學習的弱監督圖像解析方法， 本發明利用顯著性檢測，顯著性檢測目的在于檢測出一幅圖像中顯著的區域，即人有可能 會關注的區域，采用無監督的方法，即并不需要事先訓練。由于人更有可能關注前景，因此 顯著的區域為前景的概率更大。因此，本發明用顯著性檢測的結果作為前景目標分割的指 導，可W大幅提高分割的準確性。
[0007] 本發明采用的技術方案是包括W下步驟：
[000引1)將有N幅圖像的圖像集記為I = {Ii，. . .Ik, . . .，In}，N表示圖像的個數，Υ = (Yi，. . .Yk，...，化}是圖像集I的圖像級標簽，Yk表示第k幅圖像Ik的圖像級標簽，所有圖像級 標簽共有化種；
[0009] 2)對每幅圖像用化IC算法進行超像素分割，共得到化個超像素，對每個超像素 p利 用卷積神經網絡算法(CNN)提取d維特征，將所有超像素的d維特征組合形成dX化的特征矩 陣A;
[0010] 3)對每幅圖像進行顯著性檢測，得到每個超像素 P的平均顯著值S(p);同時定義一 個詞典￡)=(?，…，巧，詞典D為包含有化種不同標簽的詞典，Di是屬于第1種標簽的 子詞典，Di= [Dll, . . . ,Dim]，子詞典化包含Μ列，每一列稱為一個原子(atom)，Μ表不子詞典化 中的原子個數；
[ocm] 4)再采用W下公式計算得至晦個超像素 Ρ中指導向量Gp的第i個值：
[0012]
[001引其中，L(Di)是詞典D第i列所屬的標簽，I(p)為超像素 P所在的圖像，Ts為顯著性闊 值，扣sO表示圖像中標簽的前-背景值，C為指導向量常量；
[0014] 5)構建W下公式所表示的優化問題模型并進行求解，獲得每個超像素 P的表示系 數Xp與其在每個詞典原子中的權重WpW及詞典D:
[0015]
[0016] 其中，tr()表示計算矩陣跡的函數，diag(Wp)將向量Wp轉換成對角矩陣，I I I Ii指 L1范數，Ap是第P個超像素的CNN特征，Xp為超像素 P的表示系數，X為所有超像素的表示系數， W為所有超像素在每個詞典原子中的權重，Wp表示超像素 P用來學習每個詞典原子的權重，Lx 表示超像素的鄰接矩陣化的拉普拉斯矩陣，Ld表示詞典D的鄰接矩陣化的拉普拉斯矩陣，λι， λ2，λ3，λ4是第一、第二、第Ξ、第四可調參數；
[0017] 6)根據各個超像素的表示系數Xp、權重Wp和詞典D，采用W下公式求解獲得每個超 像素 P對應的標簽/；;:
[001 引
[0019]其中，διΟ表示抽取函數，δι(Χρ)表示表示系數Xp中關于標簽1相關的部分；
[0020] 抽取函數διΟ采用W下公式進行計算：
[0021]
[0022] 其中，Xp[i]表示表示系數Xp的第i個分量，δι(Χρ)[。表示系數Xp中關于標簽1相關 的部分δι(Χρ)的第i個分量。
[0023] 由此完成圖像解析，獲得圖像的分割結果。
[0024] 所述步驟3)中的顯著性檢測采用文獻（胖.21111，5.^曰11旨，￥.胖6 1，曰11(1 J.Sun.Saliency optimization from robust background detection.In CVPR,2014)方 法。
[0025] 所述步驟4)中圖像標簽的前-背景值化s()具體采用W下公式計算
[0026]
[0027] 其中，Lm表示圖像k中的第m個標簽，扎S (Lm，Ik)表示圖像Ik中標簽Lm的前-背景值，P (LnlLm)為在圖像集中標簽Lm出現時標簽Ln出現的概率，標簽Ln表示圖像Ik下除標簽LmW外 的柄簽；
[0028] 所述的超像素鄰接矩陣化的拉普拉斯矩陣Lx采用W下公式計算：
[0029] 五χ=/-《，尸公、.12
[0030] 其中，Βχ表示超像素的度矩陣，度矩陣Βχ是一個對角矩陣且對角線上的元素
化表示超像素的鄰接矩陣，并采用W下公式計算：
[0031]
[0032] 其中，N(q)是與第q個超像素相鄰的超像素，p、q分別表示超像素的下標，化(p，q) 表示矩陣化的第P行，第q列的元素。
[0033] 所述的詞典D的鄰接矩陣化的拉普拉斯矩陣Ld采用W下公式計算：
[0034] Ld=I-^-i/2UdBd_i'/2
[0035] 其中，Bd表示詞典的度矩陣，度矩陣Bd是一個對角矩陣且對角線上的元素
化表示詞典的鄰接矩陣，并采用W下公式計算：
[0036]
[0037] 其中，UD(i，j)表示Ud的第i行、第j列的元素，L化)是詞典D第j個原子所屬的標簽。
[0038] 所述步驟5)的優化問題模型采用塊梯度下降法（Block Coordinate Descent)進 行求解，具體采用W下方式：
[0039] 5.1)記χt，Dt，Wt分別為在第t次迭代中變量X，D，W的值，根據第t次迭代的詞典D哺 第t次迭代的權重wt求解W下公式計算得到第t+1次迭代的表示系數xt+i:
[0040]
[OOW 其中，巧!指向量Wp在第t次迭代的值；
[0042] 5.2)接著根據第*+1次迭代的表示系數乂^和第村欠迭代的權重￥1求解^下公式計 算得到第t+1次迭代的詞典qw:
[0043]
[0044] 其中，表示第p個超像素在第t+1迭代的值；
[0045] 5.3)最后根據第*+1次迭代的詞典0^和第*+1次迭代的表示系數乂^求解^下公 式計算得到第t+1次迭代的權重WW中的每一列!巧"；
[0049] 所述步驟5.1)的公式利用FISTA算法進行求解，所述步驟5.2)的公式是一個最小 二乘問題，利用^BFGS算法進行求解，所述步驟5.3)的公式是一個二次規劃問題，利用 inter ior-point-convex 算法進行求角軍。
[0050] 本發明方法在傳統的詞典學習方法中引入權重變量，該權重表示每個訓練數據對 于不同類別的詞典的重要性，同時使用顯著性先驗來指導權重的更新，使得顯著的區域對 前景具有大的權重。引入的權重能夠減少弱監督中訓練數據的歧義性，因此能訓練出具有 高分辨能力的詞典。得到詞典之后再利用稀疏表示分類器，對圖像的每個超像素進行分類， 從而對圖像中的每個像素分配語義標簽。
[0051 ]與【背景技術】相比，本發明具有的有益效果是：
[0052] 本發明利用顯著性檢測的結果對弱監督圖像解析進行指導，同時通過加權的詞 典學習方法學習每個類別的詞典用來分類，大幅度提高了解析結果的準確性。
[0053] 本發明改進了傳統詞典學習方法，并利用顯著性先驗，與W往的弱監督圖像解析 方法相比，得到了更好的效果。
【附圖說明】
[0054] 圖1是本發明的方法的步驟示意圖。
[0055] 圖2是兩幅圖像的分割結果。
[0056] 其中圖2第1列為原始輸入圖像和它們的圖像級標簽，圖2第2列為顯著圖，越亮的 區域表示越顯著，圖2第3列為與圖像邊緣相接的超像素，未被涂白的區域即為與邊緣相接 的超像素，圖2第4列為本方法的分割結果，圖2第5列為分割結果的真值。
【具體實施方式】
[0057] 下面結合附圖與實施例對本發明進行進一步說明。
[005引本發明的實施例如下：
[0059] 圖1給出了基于顯著性指導的詞典學習的弱監督圖像解析方法的流程圖。
[0060] (1)對數據集中的每幅圖像，利用化1C進行超像素分割，每幅圖的超像素個數為 100。對每個超像素利用CN腳是取特征，具體為，將超像素所在的最小矩形框，利用插值方法 調整為固定大小，輸入預先訓練好的CNN模型（ImageNet Classification with Deep Convolutional化ural化tworks)，取出特征層的輸出。
[0061 ] (2)對每幅圖像利用文獻l(Wangjiang Zhu,Shuang Liang,Yichen Wei ,and Jian Sun. Saliency Optimization from Robust Background Detection. In CVPR,2014)的方 法進行非監督的顯著性檢測，得到每個超像素的平均顯著值。按照上述(1)式的定義計算每 張圖像中，每個標簽前-背景值，前-背景值大于零，說明此標簽在此圖中為前景，反之，則為 背景。（1)式基于的假設為，在數據集中，前景會伴隨著某一特定背景出現，而背景不會伴隨 某一前景出現。比如在有"牛"的圖像中，"草"也出現的概率很大，但是在有"草"出現的圖像 中，"牛"也出現的概率并不高。
[0062] (3)根據上一步計算的前-背景值，按照(3)計算每個超像素的指導向量。指導向量 會引導算法將顯著的超像素用來學習前景的詞典，將邊緣的超像素用來學習背景的詞典。
[0063] (4)按照式(4)至(6)計算詞典和超像素的拉普拉斯矩陣，式(7)中兩個trO項的作 用是使類別相同的詞典原子更為接近，使特征相似的超像素的標簽接近，即起到平滑的作 用。
[0064] (5)求解式(7)所示的優化問題。由于此優化問題具有Ξ個變量，因此使用塊梯度 下降法(Block Coordinate Descent)的方法，即每個變量單獨優化，并在優化單個變量時 固定其他變量，即迭代地求解式（10)至（12)Ξ個標準的優化問題。式（10)所示優化問題是 一個稀疏編碼的問題，我們使用FISTA算法進行求解。式（11)所示優化問題是最小二乘問 題，使用基于梯度的^BFGS方法進行解。式（12)所示優化問題是二次規劃問題，使用 interior-point-convex方法進行求解。經試驗，外循環的迭代次數為5時，收斂效果好。
[0065] (6)在得到表示系數X和詞典D后，可W通過重構誤差對每個超像素進行分類，即式 (8)所示。具體為，對超像素的每一個可能的類別，計算僅用此類別對應的詞典和表示系數 進行重構的誤差，取誤差最小的類別為識別的類別。
[0066] 具體實施中，使用標準數據集 MSRC2UJ. Shotton, J.Winn，C.Rother，and A.Criminisi.Textonboost for image understanding:Multi-class object recognition and segmentation by jointly modeling texture，layout，and context.International Journal of Computer Vision，81(l):2-23,2009)和V0C07 (M.Everingham，S.A.Eslami，L.Van Goo1，C.K.Williams，J.Winn,and A.Zisserman.The pascal visual object classes challenge:A retrospective. International Journal of Computer Vision, 111 (1):98-136,2014.)進行測試。MSRC21 數據集共有591 張帶圖像級 標簽的圖像，并且每一幅圖像均有較為精細的語義分割的真值，其中共有標簽21種，包括 "天空V単V氷'等背景標簽和"牛V'建筑V'汽車"等前景標簽。V0C07共有632幅帶圖像 級標簽的圖像，也包含21種標簽，其中有20類前景標簽和1類雜亂的背景標簽。相比較于 MSRC21，V0C07的弱監督語義解析的難度更大。
[0067] 運行算法時，設置可調參數λl=10-3，λ2 = 5X10-l，λ3 = 10-l，λ4=10-2，設置顯著性 闊值Ts = 30,常量c = l(Ti，外循環次數為5,每個子問題的內循環次數為100,每類詞典共學 習30個原子。測試時輸入圖像及對應的圖像級標簽，輸出像素級的語義解析結果。評判時， 按照語義解析的通用評判標準，先對每個類別計算召回率，然后計算所有類別召回率的均 值，并比對均值的大小，均值越大，說明算法效果越好。其中某一類別召回率的計算方法為：
[006引
[0069]表1和表2給出了本方法與最新的弱監督語義解析方法的數值結果的比較。可看 到，由于加入了顯著性的指導，本方法大大優于現有方法。
[0070] 表1本方法與最新方法在MSRC21數據集上的比較
[0071]
'[0074]~圖2給出了數據集中兩幅圖像的輸入，中?司結果和最終結果<!圖2第1列是輸入圖像I 和它的圖像級標簽，第2列是對輸入圖像進行顯著性檢測的結果，越亮的區域代表越顯著， 第3列顯示了處于圖像邊緣的超像素，通過前3列我們可W發現顯著的物體一般都是前景物 體，如"牛"，"建筑"和"樹"，而處于圖像邊緣的物體，一般都是背景物體，如"草'，"天空"，運 也是本方法引入的先驗知識，且此先驗能夠幫助得到更精準的圖像解析結果。第4列和第5 列分別為本方法的解析結果和真值。
[0075]由此可見，本發明能大幅度提高了解析結果的準確性，較傳統方法具有突出顯著 的技術效果，得到了更好的效果。
【主權項】
1. 一種基于顯著性指導的詞典學習的弱監督圖像解析方法，其特征是:包括如下步驟： 1) 將有N幅圖像的圖像集記為1 = (1:, .. .Ik，...，In}，N表示圖像的個數，Y={Yl·， ...Yk,...，Yn}是圖像集I的圖像級標簽，Yk表不第k幅圖像Ik的圖像級標簽，所有圖像級標 簽共有Νι種； 2) 對每幅圖像用SLIC算法進行超像素分割，共得到隊個超像素，對每個超像素 p利用卷 積神經網絡算法(CNN)提取d維特征，將所有超像素的d維特征組合形成dXNs的特征矩陣A; 3) 對每幅圖像進行顯著性檢測，得到每個超像素 p的平均顯著值S(p);同時定義一個詞 典￡> = [￡),，…，Ο,,…，1)^，詞典D為包含有沁種不同標簽的詞典，屬于第1種標簽的子詞 典，Di=[Dn，…，Dim]，子詞典Di包含Μ個原子； 4) 再采用以下公式計算得到每個超像素 ρ中指導向量GP的第i個值：其中，UDd是詞典D第i列所屬的標簽，I(p)為超像素 p所在的圖像，1^為顯著性閾值， fbs()表示圖像中標簽的前-背景值，c為指導向量常量； 5) 構建以下公式所表示的優化問題模型并進行求解，獲得每個超像素 ρ的表示系數乂[)與 其在每個詞典原子中的權重％以及詞典D:其中，tr()表示計算矩陣跡的函數，diag(WP)將權重WP轉換成對角矩陣，|| IIJgLl范 數，AP是第ρ個超像素的卷積神經網絡特征，XPS超像素 ρ的表示系數，X為所有超像素的表示 系數，W為所有超像素在每個詞典原子中的權重，WP表示超像素 ρ用來學習每個詞典原子的 權重，Lx表示超像素的鄰接矩陣Ux的拉普拉斯矩陣，Ld表示詞典D的鄰接矩陣UD的拉普拉斯 矩陣，\ 1，\2，\3，\4分別是第一、第二、第三、第四可調參數， 84.表示約束條件； 6) 根據各個超像素的表示系數XP、權重WP和詞典D，采用以下公式求解獲得每個超像素 ρ 對應的標簽/：；:其中，Si()表示抽取函數Ji(XP)表示表示系數XP中關于標簽1相關的部分； 抽取函數31()采用以下公式進行計算：其中，XP[i]表示表示系數XP的第i個分量JKXpKi]表示系數XP中關于標簽1相關的部 分心(XP)的第i個分量。2. 根據權利要求1所述的一種基于顯著性指導的詞典學習的弱監督圖像解析方法，其 特征是：所述步驟3)中的顯著性檢測采用文獻（W.Zhu，S.Liang，Y.Wei, and J. Sun.Saliency optimization from robust background detection. In CVPR,2014)方 法。3. 根據權利要求1所述的一種基于顯著性指導的詞典學習的弱監督圖像解析方法，其 特征是:所述步驟4)中圖像標簽的前-背景值fbs()具體采用以下公式計算其中，匕表示圖像k中的第m個標簽，f bs (Lm，Ik)表示圖像Ik中標簽匕的前-背景值，P (Ln Lm)為在圖像集中標簽Lm出現時標簽Ln出現的概率，標簽匕表示圖像I k下除標簽。以外的標 簽。4. 根據權利要求1所述的一種基于顯著性指導的詞典學習的弱監督圖像解析方法，其 特征是:所述的超像素鄰接矩陣Ux的拉普拉斯矩陣L x采用以下公式計算： L,x 其中，Bx表示超像素的度矩陣，度矩陣Bx是一個對角矩陣且對角線上的元素;Ux表示超像素的鄰接矩陣，并采用以下公式計算：其中，N(q)是與第q個超像素相鄰的超像素，p、q分別表示超像素的下標，Ux(p，q)表示矩 陣Ux的第p行、第q列的元素。5. 根據權利要求1所述的一種基于顯著性指導的詞典學習的弱監督圖像解析方法，其 特征是:所述的詞典D的鄰接矩陣UD的拉普拉斯矩陣Ld采用以下公式計算： Ld = I_Bd-1/2UdBd-172 其中，Bd表示詞典的度矩陣，度矩陣Bd是一個對角矩陣且對角線上的元素;UD表示詞典的鄰接矩陣，并采用以下公式計算：其中，UD(i，j)表示UD的第i行、第j列的元素，L(DJ是詞典D第j個原子所屬的標簽。6. 根據權利要求1所述的一種基于顯著性指導的詞典學習的弱監督圖像解析方法，其 特征是:所述步驟5)的優化問題模型采用塊梯度下降法(Block Coordinate Descent)進行 求解具體采用以下方式： 5.1)記乂\0\1汾別為在第七次迭代中變量父，0，1的值，根據第〖次迭代的詞典0啼第七次 迭代的權重Μ求解以下公式計算得到第t+Ι次迭代的表示系數Xt+1:其中，^指向量Wp在第t次迭代的值； 5.2) 接著根據第t+Ι次迭代的表示系數Xt+1和第t次迭代的權重f求解以下公式計算得 到第t+Ι次迭代的詞典D t+1:其中，表示第p個超像素在第t+1迭代的值； 5.3) 最后根據第1+1次迭代的詞典〇01和第1+1次迭代的表示系數，+1求解以下公式計 算得到第t+Ι次迭代的權重W t+1中的每一列％+\·:其中，運算符d表示為：7. 根據權利要求6所述的一種基于顯著性指導的詞典學習的弱監督圖像解析方法，其 特征是:所述步驟5.1)的公式利用FISTA算法進行求解。8. 根據權利要求6所述的一種基于顯著性指導的詞典學習的弱監督圖像解析方法，其 特征是:所述步驟5.2)的公式利用L-BFGS算法進行求解。9. 根據權利要求6所述的一種基于顯著性指導的詞典學習的弱監督圖像解析方法，其 特征是:所述步驟5 · 3)的公式利用interior-point-convex算法進行求解。
【文檔編號】G06T7/00GK105825502SQ201610140715
【公開日】2016年8月3日
【申請日】2016年3月12日
【發明人】賴百勝, 龔小謹, 江文婷
【申請人】浙江大學