基于fMRI視覺功能數據DeconvNet的圖像關注目標語義分割方法
【專利摘要】本發明涉及一種基于fMRI視覺功能數據DeconvNet的圖像關注目標語義分割方法，通過被試在自然場景圖像刺激下采集到的fMRI視覺功能數據，訓練深度卷積神經網絡模型，將其映射到關注目標類別標簽上進行模型優化；構造與優化后的深度卷積神經網絡對稱的深度網絡模型，利用fMRI視覺功能數據及刺激圖像相對應的語義分割結果優化該模型參數，獲得fMRI視覺功能數據到逐像素語義分割結果的映射；采集被試觀看測試圖像的fMRI視覺功能數據，確定被試關注目標類別和逐像素語義分割結果，分割出關注目標區域和相應目標語義。本發明對被試觀看自然場景圖像時所引發的fMRI視覺功能數據進行解析，提取出刺激圖像中所有目標類別并獲得語義分割結果，提高關注目標提取的準確性。
【專利說明】基于fMRI視覺功能數據DeconvNet的圖像關注目標語義分割方法
技術領域
[0001]本發明涉及人機交互fMRI視覺功能數據處理技術領域，特別涉及一種基于fMRI視覺功能數據DeconvNet的圖像關注目標語義分割方法。
【背景技術】
[0002]視覺信息獲取是人類獲取外界信息最主要的方式，其解讀方法也是神經科學的研究重點。長期以來，大量研究人員從各種不同的角度嘗試用計算機模擬和擴展人類視覺功能。而在神經科學領域，一直有一個具有極大吸引力的問題，那就是為什么人腦可以用很少的精力來完成比如物體識別、場景理解等高級視覺任務。近年來，神經影像技術取得了長足的進步，功能磁共振成像(funct1nal Magnetic Resonance Imaging,fMRI)以其非侵入、時空分辨率好等特點成為研究大腦視覺信息處理機制的主要神經影像手段。為了系統研究人腦視覺功能活動，了解人腦對于視覺信息的處理機制，人腦視覺功能腦區的fMRI信號解析技術取得了顯著的進展，這些研究也被稱為視覺信息編解碼技術研究。視覺信息的編碼技術，是一種視覺認知正向計算的技術，通過建立視覺計算模型即視覺編碼模型，預測任意視覺刺激所能引發的大腦視覺功能的響應。而視覺解碼技術則是由測量到的腦功能活動信號恢復出視覺刺激的類別、場景、細節等信息。
[0003]2001年，Haxby等人證明視覺目標的類別信息在腹側顳葉(ventral temporallobe)分布式地表達，利用該腦區的體素激活模式能夠準確地分辨多種目標類別。2003年，Cox等人應用多體素模式分類方法進行十種類別物體的分類。2010年，Chen等人提出基于皮層表面探照燈(Searchlight)的特征選擇方法對旋轉的樂器、椅子和小船進行了分類。2012年，Connolly等人研究人腦生物種類的表達，對不同的靈長類、鳥類、昆蟲進行了分類。盡管現有研究已經能夠對于某一類別的圖像刺激所引發的fMRI視覺功能數據解析出其所屬類另IJ，然而對于被試所關注的目標語義的提取，卻沒有相應的研究成果。
【發明內容】
[0004]為克服現有技術中的不足，本發明提供一種基于fMRI視覺功能數據DeconvNet的圖像關注目標語義分割方法，能夠對被試觀看自然場景圖像時所引發的fMRI視覺功能數據進行解析，提取出刺激圖像中所有目標類別并獲得語義分割結果，進一步提升了對于人腦視覺功能的解析能力。
[0005]按照本發明所提供的設計方案，一種基于fMRI視覺功能數據DeconvNet的圖像關注目標語義分割方法，包含如下步驟:
[0006]步驟1、采集被試在自然場景圖像刺激下的fMRI視覺功能數據，訓練一個由刺激圖像到fMRI視覺功能數據的深度卷積神經網絡模型，及一個由fMRI視覺功能數據到關注目標類別的線性映射模型，將訓練得到的深度卷積神經網絡模型映射到線性映射模型上，進行網絡模型優化；
[0007]步驟2、構造一個與網絡模型優化后的深度卷積神經網絡對稱的反卷積深度網絡模型，利用fMRI視覺功能數據及刺激圖像相對應的語義分割結果對反卷積深度網絡模型進行優化處理，獲得fMRI視覺功能數據到逐像素語義分割結果的映射，得到語義分割深度網絡豐吳型；
[0008]步驟3、采集被試觀看測試圖像時的fMRI視覺功能數據，通過語義分割深度網絡模型，得到圖像逐像素語義分割結果；
[0009]步驟4、通過關注目標類別的線性映射模型，得到被試圖像關注的目標類別；
[0010]步驟5、根據步驟3得到的圖像逐像素語義分割結果及步驟4中得到的被試圖像關注的目標類別，分割出被試關注的目標區域和相應目標語義。
[0011]上述的，步驟2中反卷積深度網絡模型包括反卷積層、反池化層，由根據采集到的被試fMRI視覺功能數據作為輸入，刺激圖像對應的關注目標語義分割結果作為輸出，優化訓練模型參數，訓練學習各層的反卷積核，反池化層采用深度卷積神經網絡中池化層的操作進行上采樣，訓練獲得fMRI視覺功能數據到圖像語義分割結果的反卷積深度網絡模型。
[0012]本發明的有益效果:
[0013]本發明通過構建卷積神經網絡模型模擬自然場景圖像到fMRI視覺功能數據的映射關系，利用與其對稱的反卷積網絡結構訓練從fMRI視覺功能數據到關注目標類別語義分割結果的深度網絡模型，獲得圖像中包含在訓練類別集合內的各個目標類別語義分割結果，從而提取出圖像中關注目標，能夠對被試觀看自然場景圖像時所引發的fMRI視覺功能數據進行解析，提取出刺激圖像中所有目標類別并獲得語義分割結果，提高關注目標提取的準確性，進一步提升對人腦視覺功能的解析能力。
【附圖說明】
:
[0014]圖1為本發明的流程示意圖。
【具體實施方式】
:
[0015]現有圖像數據集(如PascalVOC數據集)中提供標記的圖像語義分割結果，另外還可以通過人工標記的方式得到圖像語義分割結果;通過這兩種方式可以滿足網絡訓練時對圖像語義分割結果的需要。
[0016]下面結合附圖和技術方案對本發明作進一步詳細的說明，并通過優選的實施例詳細說明本發明的實施方式，但本發明的實施方式并不限于此。
[0017]實施例一，參見圖1所示，一種基于fMRI視覺功能數據DeconvNet的圖像關注目標語義分割方法，包含如下步驟:
[0018]步驟1、采集被試在自然場景圖像刺激下的fMRI視覺功能數據，訓練一個由刺激圖像到fMRI視覺功能數據的深度卷積神經網絡模型，及一個由fMRI視覺功能數據到關注目標類別的線性映射模型，將訓練得到的深度卷積神經網絡模型映射到線性映射模型上，進行網絡模型優化；
[0019]步驟2、構造一個與網絡模型優化后的深度卷積神經網絡對稱的反卷積深度網絡模型，利用fMRI視覺功能數據及刺激圖像相對應的語義分割結果對反卷積深度網絡模型進行優化處理，獲得fMRI視覺功能數據到逐像素語義分割結果的映射，得到語義分割深度網絡豐吳型；
[0020]步驟3、采集被試觀看測試圖像時的fMRI視覺功能數據，通過語義分割深度網絡模型，得到圖像逐像素語義分割結果；
[0021 ]步驟4、通過關注目標類別的線性映射模型，得到被試圖像關注的目標類別；
[0022]步驟5、根據步驟3得到的圖像逐像素語義分割結果及步驟4中得到的被試圖像關注的目標類別，分割出被試關注的目標區域和相應目標語義。
[0023]實施例二，參見圖1所示，一種基于fMRI視覺功能數據DeconvNet的圖像關注目標語義分割方法，包含如下步驟:
[0024]步驟1、采集被試在自然場景圖像刺激下的fMRI視覺功能數據，訓練一個由刺激圖像到fMRI視覺功能數據的深度卷積神經網絡模型，及一個由fMRI視覺功能數據到關注目標類別的線性映射模型，將訓練得到的深度卷積神經網絡模型映射到線性映射模型上，進行網絡模型優化；
[0025]步驟2、構造一個與網絡模型優化后的深度卷積神經網絡對稱的反卷積深度網絡模型，利用fMRI視覺功能數據及刺激圖像相對應的語義分割結果對反卷積深度網絡模型進行優化處理，獲得fMRI視覺功能數據到逐像素語義分割結果的映射，得到語義分割深度網絡模型，其中，反卷積深度網絡模型包括反卷積層、反池化層，由根據采集到的被試fMRI視覺功能數據作為輸入，刺激圖像對應的關注目標語義分割結果作為輸出，優化訓練模型參數，訓練學習各層的反卷積核，反池化層采用深度卷積神經網絡中池化層的操作進行上采樣，訓練獲得fMRI視覺功能數據到圖像語義分割結果的反卷積深度網絡模型；
[0026]步驟3、采集被試觀看測試圖像時的fMRI視覺功能數據，通過語義分割深度網絡模型，得到圖像逐像素語義分割結果；
[0027]步驟4、通過關注目標類別的線性映射模型，得到被試圖像關注的目標類別；
[0028]步驟5、根據步驟3得到的圖像逐像素語義分割結果及步驟4中得到的被試圖像關注的目標類別，分割出被試關注的目標區域和相應目標語義。
[0029]本發明創新性提出構建卷積神經網絡模型模擬自然場景圖像到fMRI視覺功能數據的映射關系，并利用與其對稱的網絡結構訓練從fMRI視覺功能數據到圖像語義分割結果的深度網絡模型，獲得圖像中包含在訓練類別集合內的各個目標類別語義分割結果。該方法能夠對被試觀看自然場景圖像時所引發的fMRI視覺功能數據進行解析，提取出刺激圖像中所有目標類別并獲得語義分割結果，提取出被試在圖像中所關注的目標，大大提高關注目標提取的精確度，進一步提升對于人腦視覺功能的解析能力，為基于視覺功能解析的腦機交互應用研究提供進一步的技術支撐。
[0030]本發明并不局限于上述【具體實施方式】，本領域技術人員還可據此做出多種變化，但任何與本發明等同或者類似的變化都應涵蓋在本發明權利要求的范圍內。
【主權項】
1.一種基于fMRI視覺功能數據DeconvNet的圖像關注目標語義分割方法，其特征在于:包含如下步驟: 步驟1、采集被試在自然場景圖像刺激下的fMRI視覺功能數據，訓練一個由刺激圖像到fMRI視覺功能數據的深度卷積神經網絡模型，及一個由fMRI視覺功能數據到關注目標類別的線性映射模型，將訓練得到的深度卷積神經網絡模型映射到線性映射模型上，進行網絡模型優化； 步驟2、構造一個與網絡模型優化后的深度卷積神經網絡對稱的反卷積深度網絡模型，利用fMRI視覺功能數據及刺激圖像相對應的語義分割結果對反卷積深度網絡模型進行優化處理，獲得fMRI視覺功能數據到逐像素語義分割結果的映射，得到語義分割深度網絡模型； 步驟3、采集被試觀看測試圖像時的fMRI視覺功能數據，通過語義分割深度網絡模型，得到圖像逐像素語義分割結果； 步驟4、通過關注目標類別的線性映射模型，得到被試圖像關注的目標類別； 步驟5、根據步驟3得到的圖像逐像素語義分割結果及步驟4中得到的被試圖像關注的目標類別，分割出被試關注的目標區域和相應目標語義。2.根據權利要求1所述的基于fMRI視覺功能數據DeconvNet的圖像關注目標語義分割方法，其特征在于:步驟2中反卷積深度網絡模型包括反卷積層、反池化層，由根據采集到的被試fMRI視覺功能數據作為輸入，刺激圖像對應的關注目標語義分割結果作為輸出，優化訓練模型參數，訓練學習各層的反卷積核，反池化層采用深度卷積神經網絡中池化層的操作進行上采樣，訓練獲得fMRI視覺功能數據到圖像語義分割結果的反卷積深度網絡模型。
【文檔編號】G06K9/62GK106022384SQ201610361766
【公開日】2016年10月12日
【申請日】2016年5月27日
【發明人】閆鑌, 王林元, 喬凱, 童莉, 曾穎, 徐夫, 徐一夫, 賀文頡, 張馳, 高輝
【申請人】中國人民解放軍信息工程大學