一種多示例學習框架下的鞋印圖像檢索方法及系統的制作方法
【專利摘要】本發明公開了一種多示例學習框架下的鞋印圖像檢索方法及系統，涉及圖像檢索技術領域。采用有重疊分塊方案將鞋印圖像構造成多示例包的形式，從而將鞋印圖像檢索問題轉化成MIL問題；然后，對大規模“鞋印圖像庫”進行分層聚類，建立索引結構；最后，設計基于EMD距離的相似比對、相關反饋與半監督MIL算法的鞋印圖像檢索方案。相關實驗表明，本發明的算法能以單張樣圖為檢索起點，通過幾次反饋與半監督學習，得到比較高的檢索精度，同時，該方法有效地解決訓練樣本手工標注困難與大規模圖像檢索速度慢等問題，對鞋印圖像的旋轉與尺度變化等具有良好的魯棒性。
【專利說明】
一種多示例學習框架下的鞋印圖像檢索方法及系統
技術領域
[0001] 本發明涉及圖像檢索技術領域，特別涉及一種多示例學習框架下的鞋印圖像檢索 方法及系統。
【背景技術】
[0002] 足跡作為犯罪現場中最常見的一種痕跡物證，具有遺留率、發現率、提取率高等特 點，在串案、并案的偵破工作以及提供法庭證據等方面具有十分重要的作用。但是，隨著刑 偵科學的發展，從犯罪現場收集的鞋印圖像數量越來越多，則如何利用圖像自動識別技術， 快速而準確地從大規模罪犯足跡庫、嫌疑足跡庫或鞋樣庫中，對犯罪現場的鞋印進行比對 檢索，為破案工作提供線索和證據，提高破案速度，已經成為刑偵系統中迫待解決的關鍵問 題，在當前"科技強警"工作具有重要的應用價值。
[0003]經對現有技術文獻的檢索發現，國外的鞋印檢索系統有英國Freeman公司的SICAR (Shoeprint Image Capture And Retrieval)系統，該系統建庫時保存了鞋印的文本、商標 與花紋等信息，查詢功能齊全，但因對鞋印的花紋與結構劃分太細，而對建庫錄入人員要求 很高，且很容易存在錄入錯誤;在國內，鞋印檢索相關科研團隊通常提取鞋印圖像的紋理、 輪廓與花紋等信息，再采用人工或相似比對的方法進行鞋印比對或檢索;除此之外，還有基 于能量譜密度(power spectral density，簡稱PSD)特征、圖像Gabor紋理、局部不變描述子 (SIFT)的鞋印檢索或識別算法，且在相應的測試集，都具有一定的檢索精度。上述鞋印圖像 檢索工作中，沒有考慮大數據集、相關反饋與訓練樣本少等現實問題，即當庫中的圖像數量 非常多時，若采用窮舉比對的方法進行相似檢索，效率非常低，且單次檢索結果很難滿足用 戶應用需求。
【發明內容】
[0004] 本發明實施例提供了一種多示例學習框架下的鞋印圖像檢索方法及系統，用以解 決現有技術中存在的問題。
[0005] -種多示例學習框架下的鞋印圖像檢索方法，其特征在于，該方法包括：
[0006] 基于多尺度有重疊分塊的多示例建模，將鞋印圖像庫中的鞋印圖像劃分為多個分 塊，并計算每個分塊的旋轉不變LBP紋理特征，獲得所述鞋印圖像庫中的鞋印圖像的多示例 包，所述多示例包包括每個分塊的旋轉不變LBP紋理特征；
[0007] 采用K-Means的方法對所述鞋印圖像庫中的鞋印圖像的多示例包進行分層聚類， 建立索引結構，獲得相應的分層聚類樹；
[0008] 接收用戶輸入的測試鞋印圖像，利用基于多尺度有重疊分塊的多示例建模獲得所 述測試鞋印圖像的多示例包；
[0009] 采用自頂向下的方向在所述分層聚類樹中進行搜索，計算所述測試鞋印圖像的多 示例包與所述鞋印圖像庫中的鞋印圖像的多示例包之間的EMD距離，并按EMD距離由小到大 排序后輸出查詢結果；
[0010] 若用戶不滿意查詢結果，則由用戶通過相關反饋輸入訓練鞋印圖像；
[0011] 利用用戶反饋的訓練鞋印圖像，基于視覺空間投影與TSVM的半監督MIL算法構建 TSVM分類器；
[0012] 再使用TSVM分類器在鞋印圖像庫中進行檢索，并輸出相應的檢索結果。
[0013] 優選地，所述計算每個分塊的旋轉不變LBP紋理特征具體包括：
[0014]根據式（1)計算原始LBP紋理特征：
[0016]其中，LBPP,R(Xc，yc)為所述原始LBP紋理特征，（x c，yc)表示分塊的中心像素坐標， 其灰度值為L，iP表示鄰域像素P的灰度值，R表示鄰域半徑，P為半徑為R的圓周上采樣的像 素數，sign()表示符號函數，SP:
[0018] 根據所述原始LBP紋理特征以及式(3)計算所述旋轉不變LBP紋理特征：
[0019] LBP(xc，yc) =min(ROR(LBPR,p(xc，yc)，i))，i = 0，1，…，P_1 (3);
[0020]其中，LBP(Xc，yc；)為所述旋轉不變紋理特征，1^〇^以(^。）4)是旋轉函數，即 對P比特的二進制數LBPr, P (Xc，yc)按位右移i次。
[0021] 優選地，采用K-Means的方法對所述鞋印圖像庫中的所有鞋印圖像的多示例包進 行分層聚類具體包括：
[0022] 將所述鞋印圖像庫中鞋印圖像的多示例包進行L層聚類，并將每層中的每個節點 聚為3類，在每個節點處用該類的聚類中心為屬于該類的所有的多示例包建立索引。
[0023] 優選地，所述計算所述測試鞋印圖像的多示例包與所述鞋印圖像庫中的鞋印圖像 的多示例包之間的EMD距離具體包括：
[0024] 根據式(4)求解獲得目標函數:達到最小時&的最優解：
[0026] 其中，為式(4)的解，n為鞋印圖像庫中的圖像A中不同的分塊的數量，圖像A記為 A={(ai，wi)，. . .，（ai，wi)，. . .，（an，wn)}，其中aiGRd表示第i分塊的d維的旋轉不變LBP特征 向量， Wl為該分塊的權值;m為測試鞋印圖像Q中不同的分塊的數量，圖像Q記為Q={(qi， W1)，? ? ?，（qj，Wj)，? ? ?，（qm，Wm)}，其中qjGRd是第j分塊的d維的旋轉不變LBP特征向量，Wj為 該分塊的權值;Cij=| |ai_qj| |2表示特征向量ai與qj之間的歐氏距離；
[0027] 通過式(4)求得后，再根據式(5)計算所述測試鞋印圖像的多示例包與所述鞋印 圖像庫中的鞋印圖像的多示例包之間的EMD距離：
[0029] 優選地，采用歸一化邊緣像素數方法來為每個分塊分配權值Wl，其具體包括：
[0030] 采用Canny算法對鞋印圖像A進行邊緣檢測，然后統計每個分塊區域邊緣像素的個 數，記第i個分塊的邊緣像素數為edgei，則權值wi定義為：
[0032]優選地，所述基于視覺空間投影與TSVM的半監督MIL算法構建TSVM分類器具體包 括：
[0033]設所述鞋印圖像庫中鞋印圖像的多示例包. . .，（Bi， yi)，. . .，（BN，yN)}，其中yiG {-1 , + 1}，i = l，2,. .，N，+1表示興趣圖像，即正包;-1表示非興 趣圖像，即負包；
[0034] 設第i個圖像m分成m個分塊，XljeRd表示圖像仏第」個分塊對應的底層視覺特征， 其中j = l，2, . .，ru，將D中所有圖像的分塊對應的視覺特征放在一起，記作S={xt|t=l, 2，. . .，T.}，其中r = &表示視覺特征的總數；
[0035] 采用AP方法對S中元素進行自動聚成了 K類，每個類的聚類中心都代表一組具有相 同視覺特征的圖像區域，稱之為視覺字，記作v1;以這K個視覺字為軸，構造的空間稱為投影 空間，記作Q = {vi，V2, . . .，vk};貝圖像Bi= {xij I j = l，2,. . .，ru}在投影空間的投影特征定 義如下：
[0036] <i> (Bi) = [s(vi,Bi) ,s(v2,Bi), . . . , s(vk,Bi), . . . ,s(vK,Bi) ] (7);
[0037] 其中，巾（Bi)為Bi的投影特征
，k=l，2,…，K，稱式 (7)為非線性投影函數；
[0038]給定一組獨立同分布的| L |個已標記訓練樣本集L= {( (HBd，yi)，. . .，（ (HBO， yi)，...，（巾（B|l|)，y|L|)}和另一組具有與L同一分布的|U|個未標記測試樣本 冰孕）.……，多(5,,)丨，TSVM方法是同時在已標注和未標注樣本上最大化margin，其 目標函數如下：
[0040]其中|L|為已標注樣本的總數，|U|為未標注樣本的總數，LS()為損失函數，SPLS (z)=max(0,1-z) jG {-1,1}，j = l，2,. . .，|U|是在優化過程中，分配給未標注樣本的標 號，r為希望標記為正的樣本數占未標注樣本總數的比例，A為控制參數，用來調節算法復雜 度與損失函數之間的平衡，V也是一個控制參數，用于控制未標注樣本的影響強度，即TSVM 的目的要尋找一個最優分類超平面W和未標注樣本的一組標號y'』，使式(8)的目標函數最 小化，且滿足未標注樣本的r部分必須標注為正的約束條件，設最優解為w'則TSVM分類器 Slabel(B)=sign(w*T<MB))。
[0041] 本發明還提供了一種多示例學習框架下的鞋印圖像檢索系統，其特征在于，包括：
[0042] 圖像庫分塊模塊，用于基于多尺度有重疊分塊的多示例建模，將鞋印圖像庫中的 鞋印圖像劃分為多個分塊，并計算每個分塊的旋轉不變LBP紋理特征，獲得所述鞋印圖像庫 中的鞋印圖像的多示例包，所述多示例包包括每個分塊的旋轉不變LBP紋理特征；
[0043] 圖像庫聚類模塊，用于采用K-Means的方法對所述鞋印圖像庫中的鞋印圖像的多 示例包進行分層聚類，建立索引結構，獲得相應的分層聚類樹；
[0044] 測試鞋印圖像分塊模塊，用于接收用戶輸入的測試鞋印圖像，利用基于多尺度有 重疊分塊的多示例建模獲得所述測試鞋印圖像的多示例包；
[0045] 預搜索模塊，用于采用自頂向下的方向在所述分層聚類樹中進行搜索，計算所述 測試鞋印圖像的多示例包與所述鞋印圖像庫中的鞋印圖像的多示例包之間的EMD距離，并 按EMD距離由小到大排序后輸出查詢結果；
[0046] 分類器構建模塊，用于在用戶不滿意預查詢結果時，利用用戶反饋的訓練鞋印圖 像，基于視覺空間投影與TSVM的半監督MIL算法構建TSVM分類器；
[0047] 圖像檢索模塊，用于使用TSVM分類器在鞋印圖像庫中進行檢索，并輸出相應的檢 索結果。
[0048]本發明實施例中一種多示例學習框架下的鞋印圖像檢索方法及系統，采用有重疊 分塊方案將鞋印圖像構造成多示例包的形式，從而將鞋印圖像檢索問題轉化成MIL問題;然 后，對大規模"鞋印圖像庫"進行分層聚類，建立索引結構;最后，設計基于EMD距離的相似比 對、相關反饋與半監督MIL算法的鞋印圖像檢索方案。相關實驗表明，本發明的算法能以單 張樣圖為檢索起點，通過幾次反饋與半監督學習，得到比較高的檢索精度，同時，該方法有 效地解決訓練樣本手工標注困難與大規模圖像檢索速度慢等問題，對鞋印圖像的旋轉與尺 度變化等具有良好的魯棒性。
【附圖說明】
[0049] 為了更清楚地說明本發明發明實施例或現有技術中的技術方案，下面將對實施例 或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅 是本發明發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提 下，還可以根據這些附圖獲得其他的附圖。
[0050] 圖1為本發明實施例提供的一種多示例學習框架下的鞋印圖像檢索方法的方法流 程圖；
[0051 ]圖2為采用K-Means的方法建立的分層聚類樹的示意圖；
[0052]圖3為本發明實施例提供的一種多示例學習框架下的鞋印圖像檢索系統的功能模 塊圖。
【具體實施方式】
[0053]下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完 整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基于 本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他 實施例，都屬于本發明保護的范圍。
[0054] 參照圖1，本發明提供了一種多示例學習框架下的鞋印圖像檢索方法，該方法包 括：
[0055] 步驟100,基于多尺度有重疊分塊的多示例建模，將鞋印圖像庫中的鞋印圖像劃分 為多個分塊，并計算每個分塊的LBP紋理特征，獲得所述鞋印圖像庫中的鞋印圖像的多示例 包，所述多示例包包括每個分塊的LBP紋理特征；
[0056]具體地，首先設置分塊高度H= 50，分塊寬度W = 50，分塊步長S = 30，圖像縮小比率 a = 〇.8,采用多尺度有重疊分塊的方式，將鞋印圖像自動劃分成多個有重疊分塊;具體的劃 分方法為：當圖像的高度大于50且寬度也大于50時，從圖像中截取多個連續的高為50,寬為 50的分塊，其中起始分塊位于圖像的左下角，然后以起始分塊為基準分別向右移動截取最 多30個分塊，以及向上移動截取最多30個分塊。
[0057] 然后，提取每個分塊的旋轉不變LBP(Local Binary Patterns)紋理特征。這樣一 來，圖像被當作包(Bag)，每個分塊的LBP特征當作包中的示例（instance)，貝lj鞋印圖像檢索 問題轉化成MIL問題。
[0058] LBP算子的數學定義如式(1)所示：
[0060]其中，LBPP,R(Xc，yc)為所述原始LBP紋理特征，（x c，yc)表示分塊的中心像素坐標， 其灰度值為L，iP表示鄰域像素P的灰度值，R表示鄰域半徑，P為半徑為R的圓環上采樣的像 素數，sign()表示符號函數，SP:
[0062]根據所述原始LBP紋理特征以及式(3)計算所述旋轉不變LBP紋理特征：
[0063] LBP(xc，yc) =min(ROR(LBPR,p(xc，yc)，i))，i = 0，1，…，P_1 (3);
[0064]其中，LBP(xc，yc)為所述旋轉不變紋理特征，R0R(LBPr,P(x c，yc)，i)是旋轉函數，即 對P比特的二進制數LBPr, P (，yc)按位右移i次。
[0065] 通俗地說，旋轉不變性LBP算子LBP(Xc；，y。），即不停地旋轉圓形窗口中的像素而得 到一系列原始定義的LBP值，然后取最小值作為該窗口的旋轉不變LBP特征值，用1^巧丨 &表 示。通過引入旋轉不變LBP算子，則LBP特征值對圖像的旋轉具有不變性，且減少了模式種 類，使LBP紋理識別更加容易。
[0066] 步驟110,基于多不例包之間的EMD(Earth Mover Distance)距離，米用K-Means的 方法對鞋印圖像庫中的所有圖像對應的多示例包進行分層聚類，建立索引結構，獲得相應 的分層聚類樹；
[0067] 具體地，如圖2所示，是一種自頂向下的L層聚類示意圖，首先，對鞋印庫所有的多 示例包，聚成3個子類，并從每個子類中選取一個包，作為該子類的代表，建立該類的索引； 然后，對每個子類又聚成3個下一層的子類，依次類推，直到第L層則停止。
[0068] 步驟120,當用戶在進行相似性查詢時，接收用戶輸入的測試鞋印圖像，利用基于 多尺度有重疊分塊的多示例建模獲得與測試鞋印圖像對應的多示例包；
[0069] 步驟130,根據距離最小原則，采用自頂向下的方向在分層聚類樹中進行搜索，計 算測試鞋印圖像的多示例包與鞋印圖像庫中的鞋印圖像的多示例包之間的EMD距離，以實 現鞋印圖像相似比對。在每層只要和3個節點的索引比較大小，即計算EMD距離；然后順著 EMD距離最小，即相似性最大的節點往下找。當到達終端節點時，計算輸入的鞋印圖像與終 端節點對應的圖像子集中所有圖像的相似度，并按相似度由大到小排序后輸出查詢結果。
[0070] 具體地，在MIL框架中，每幅鞋印圖像都被組織成多示例包的形式，要度量多示例 包之間的相似性，就類似于要度量集合之間的相似性。本實施例采用EMD距離來度量多示例 包之間的相似度，因為EMD允許圖像區域間的多對多匹配，能很好地反映多示例包間的相似 度。
[0071] 設鞋印圖像庫中的圖像A被分成n個不同的分塊，記為A={(ai，W1)，. . .，（ai， Wi)，. . .，（an，wn)}，其中aiGRd表示第i分塊的d維的旋轉不變LBP特征向量， Wi為該分塊的權 值;測試鞋印圖像Q被分成m個不同的分塊，記為Q={(qi，wi), . . .，（qj，wj), . . .，（qm，wm)}，其 中q」GRd是第j分塊的d維的旋轉不變LBP特征向量，Wj為該分塊的權值;設 Cij= | |ai-qj| |2表 示特征向量&1與(^之間的歐氏距離，則求解圖像A，Q之間EMD距離將轉化成以下線性優化問 題：
[0073]其中，為式（4)的解。通過尋找滿足上述條件的最優F=[f^]，使目標函數 乙二義義達到最小。則圖像A和Q之間EMD距離定義如下：
[0075]由上述EMD距離的定義可知，在計算多示例包之間的EMD距離時，圖像分塊的權值 常重要，本實施例采用"歸一化邊緣像素數"方法來分配權值Wl具體方法為:采用Canny 算法對鞋印圖像A進行邊緣檢測，然后統計每個分塊區域邊緣像素的個數，記第i個分塊的 邊緣像素數為edgei，則權值Wi定義為：
[0077] 步驟140,若用戶滿意查詢結果，則流程結束;若用戶不滿意查詢結果，則由用戶通 過相關反饋輸入訓練鞋印圖像，并進入步驟150;
[0078] 步驟150,利用用戶反饋的訓練鞋印圖像，并基于視覺空間投影與TSVM的半監督 MIL算法構建TSVM分類器，以提高鞋印圖像檢索精度。當用戶反饋或提供少量的訓練鞋印圖 像時，本實施例還設計了一種半監督的MIL算法，以利用大量未標注圖像參與訓練分類器， 達到提高鞋印圖像識別精度的目的。具體方法是：
[0079] 設鞋印圖像庫中與鞋印圖像對應的多示例包. . .，（Bi， yi)，. . .，（BN，yN)}，其中yiG {-1 , + 1}，i = l，2,. .，N，+1表示興趣圖像，即正包;-1表示非興 趣圖像，即負包。設第i個圖像仏分成m個分塊，^」￡#表示圖像仏第」個分塊對應的底層視 覺特征，其中j = 1，2，..，m。將D中所有圖像的分塊對應的視覺特征放在一起，記作S = {xt 11 = i，2,...，t.}，其中r = 表示視覺特征的總數。因為具有相同視覺特征的圖像的分 塊對應的視覺特征向量在特征空間將會聚集在一起，對應著一個明確的高層語義概念，設 采用六？(六€:^11；^?1'(^831:;[011)方法對3中元素進行自動聚成了1(類，由于每個聚類中心通 常都代表一組具有相同視覺特征的圖像區域，稱之為視覺字，記作v 1;以這K個視覺字為軸， 構造的空間稱為投影空間，記作Q = {vi，V2,. ? .，vk}。則圖像Bi= {xij I j = l，2, . . ?，m}在投 影空間的投影特征定義如下：
[0080] <i) (Bi) = [s(vi,Bi) ,s(v2,Bi), . . . , s(vk,Bi), . . . ,s(vK,Bi) ] (7);
[0081 ]
，k=l，2, ? ? ?，K，稱式（7)為非線性投影函數。 通過式(7)的投影，相當于將圖像嵌入成視覺空間中的一個點，變成了單個訓練樣本，若為 感興趣的圖像，對應的樣本標為正;若為不感興趣的圖像，則標為負，將MIL問題就轉化成一 個標準的有監督學習問題。
[0082]由上述方法將MIL問題被轉化成有監督學習問題時，本實施例則采用直推式支持 向量機(TSVM)來訓練分類器，因為TSVM作為一種半監督的學習方法，能利用大量的未標記 圖像來提高分類器的性能，達到改善小樣本學習的問題。TSVM的具體方法是：
[0083]給定一組獨立同分布的| L |個已標記訓練樣本集L= {( (MB!)，yi)，…?，（ (HBO， yi)，...，（巾（B|l|)，y|L|)}和另一組具有與L同一分布的|U|個未標記測試樣本 = H 〇TSVM方法的基本思想是同時在已標注和未標注樣本上最大 化margin，其目標函數如下：
[0085]其中|L|為已標注樣本的總數，|U|為未標注樣本的總數，LS()為損失函數，通常LS (z)=max(0,1-z) jG {-1,1}，j = l，2,. . .，|U|是在優化過程中，分配給未標注樣本的標 號，r為希望標記為正的樣本數占未標注樣本總數的比例，A為控制參數，用來調節算法復雜 度與損失函數之間的平衡，V也是一個控制參數，用于控制未標注樣本的影響強度。換句話 說，TSVM就是要尋找一個最優分類超平面w和未標注樣本的一組標號y、，使式(8)的目標函 數最小化，且滿足未標注樣本的r部分必須標注為正的約束條件。不防設最優解為w'則 TSVM分類器為label(B)= Sign(Ww(i)(B))，可以用它來對鞋印圖像進行識別。
[0086]步驟160,再使用TSVM分類器在鞋印圖像庫中進行檢索，并輸出相應的檢索結果。 [0087]基于同一發明構思，本發明實施例提供了一種多示例學習框架下的鞋印圖像檢索 系統，如圖3所示，由于該系統解決技術問題的原理和一種多示例學習框架下的鞋印圖像檢 索方法相似，因此該系統的實施可參照方法的實施，重復之處不再贅述。
[0088] 圖像庫分塊模塊200,用于基于多尺度有重疊分塊的多示例建模，將鞋印圖像庫中 的鞋印圖像劃分為多個分塊，并計算每個分塊的旋轉不變LBP紋理特征，獲得所述鞋印圖像 庫中的鞋印圖像的多示例包，所述多示例包包括每個分塊的旋轉不變LBP紋理特征；
[0089] 圖像庫聚類模塊210,用于采用K-Means的方法對所述鞋印圖像庫中的所有鞋印圖 像的多示例包進行分層聚類，建立索引結構，獲得相應的分層聚類樹；
[0090]測試鞋印圖像分塊模塊220,用于接收用戶輸入的測試鞋印圖像，利用基于多尺度 有重疊分塊的多示例建模獲得所述測試鞋印圖像的多示例包；
[0091]預搜索模塊240,用于采用自頂向下的方向在所述分層聚類樹中進行搜索，計算所 述測試鞋印圖像的多示例包與所述鞋印圖像庫中的鞋印圖像的多示例包之間的EMD距離， 并按EMD距離由小到大，即相似度由大到小排序后輸出查詢結果；
[0092]分類器構建模塊250,用于在用戶不滿意預查詢結果時，利用用戶反饋的訓練鞋印 圖像，基于視覺空間投影與TSVM的半監督MIL算法構建TSVM分類器；
[0093]圖像檢索模塊260，用于使用TSVM分類器在鞋印圖像庫中進行檢索，并輸出相應的 檢索結果。
[0094]應當理解，以上一種多示例學習框架下的鞋印圖像檢索系統包括的模塊僅為根據 該系統實現的功能進行的邏輯劃分，實際應用中，可以進行上述模塊的疊加或拆分。并且該 實施例提供的一種多示例學習框架下的鞋印圖像檢索系統所實現的功能與上述實施例提 供的一種多示例學習框架下的鞋印圖像檢索方法一一對應，對于該系統所實現的更為詳細 的處理流程，在上述方法實施例一中已做詳細描述，此處不再詳細描述。
[0095] 本領域內的技術人員應明白，本發明的實施例可提供為方法、系統、或計算機程序 產品。因此，本發明可采用完全硬件實施例、完全軟件實施例、或結合軟件和硬件方面的實 施例的形式。而且，本發明可采用在一個或多個其中包含有計算機可用程序代碼的計算機 可用存儲介質（包括但不限于磁盤存儲器、CD-ROM、光學存儲器等）上實施的計算機程序產 品的形式。
[0096] 本發明是參照根據本發明實施例的方法、設備（系統）、和計算機程序產品的流程 圖和/或方框圖來描述的。應理解可由計算機程序指令實現流程圖和/或方框圖中的每一流 程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合。可提供這些計算機程序 指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數據處理設備的處理器以產 生一個機器，使得通過計算機或其他可編程數據處理設備的處理器執行的指令產生用于實 現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。
[0097] 這些計算機程序指令也可存儲在能引導計算機或其他可編程數據處理設備以特 定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產生包括指 令裝置的制造品，該指令裝置實現在流程圖一個流程或多個流程和/或方框圖一個方框或 多個方框中指定的功能。
[0098] 這些計算機程序指令也可裝載到計算機或其他可編程數據處理設備上，使得在計 算機或其他可編程設備上執行一系列操作步驟以產生計算機實現的處理，從而在計算機或 其他可編程設備上執行的指令提供用于實現在流程圖一個流程或多個流程和/或方框圖一 個方框或多個方框中指定的功能的步驟。
[0099] 盡管已描述了本發明的優選實施例，但本領域內的技術人員一旦得知了基本創造 性概念，則可對這些實施例作出另外的變更和修改。所以，所附權利要求意欲解釋為包括優 選實施例以及落入本發明范圍的所有變更和修改。
[0100] 顯然，本領域的技術人員可以對本發明進行各種改動和變型而不脫離本發明的精 神和范圍。這樣，倘若本發明的這些修改和變型屬于本發明權利要求及其等同技術的范圍 之內，則本發明也意圖包含這些改動和變型在內。
【主權項】
1. 一種多示例學習框架下的鞋印圖像檢索方法，其特征在于，該方法包括： 基于多尺度有重疊分塊的多示例建模，將鞋印圖像庫中的鞋印圖像劃分為多個分塊， 并計算每個分塊的旋轉不變LBP紋理特征，獲得所述鞋印圖像庫中的鞋印圖像的多示例包， 所述多示例包包括每個分塊的旋轉不變LBP紋理特征； 采用K-Means的方法對所述鞋印圖像庫中的鞋印圖像的多示例包進行分層聚類，建立 索引結構，獲得相應的分層聚類樹； 接收用戶輸入的測試鞋印圖像，利用基于多尺度有重疊分塊的多示例建模獲得所述測 試鞋印圖像的多示例包； 采用自頂向下的方向在所述分層聚類樹中進行搜索，計算所述測試鞋印圖像的多示例 包與所述鞋印圖像庫中的鞋印圖像的多示例包之間的EMD距離，并按EMD距離由小到大排序 后輸出查詢結果； 若用戶不滿意查詢結果，則由用戶通過相關反饋輸入訓練鞋印圖像； 利用用戶反饋的訓練鞋印圖像，基于視覺空間投影與TSVM的半監督MIL算法構建TSVM 分類器； 再使用TSVM分類器在鞋印圖像庫中進行檢索，并輸出相應的檢索結果。2. 如權利要求1所述的方法，其特征在于，所述計算每個分塊的旋轉不變LBP紋理特征 具體包括： 根據式(1)計算原始LBP紋理特征：其中，LBPp,r(x。，y。)為所述原始LBP紋理特征，（x。，y。)表示分塊的中心像素坐標，其灰度 值為L，iP表示鄰域像素 P的灰度值，R表示鄰域半徑，P為半徑為R的圓周上采樣的像素數， sign〇表示符號函數，SP:根據所述原始LBP紋理特征以及式(3)計算所述旋轉不變LBP紋理特征： LBP(xc，yc) =min(ROR(LBPR,p(xc，yc)，i))，i = 0,1，…，P-1 (3)； 其中，LBP(xc，yc)為所述旋轉不變紋理特征，1^〇^1^(^。）4)是旋轉函數，即對?比 特的二進制數LBPr , p (x。，y。)按位右移i次。3. 如權利要求1所述的方法，其特征在于，采用K-Means的方法對所述鞋印圖像庫中的 所有鞋印圖像的多示例包進行分層聚類具體包括： 將所述鞋印圖像庫中鞋印圖像的多示例包進行L層聚類，并將每層中的每個節點聚為3 類，在每個節點處用該類的聚類中心為屬于該類的所有的多示例包建立索引。4. 如權利要求1所述的方法，其特征在于，所述計算所述測試鞋印圖像的多示例包與所 述鞋印圖像庫中的鞋印圖像的多示例包之間的EMD距離具體包括： 根據式(4)求解獲得目標函數達到最小時b的最優解：其中，fu為式（4)的解，n為鞋印圖像庫中的圖像A中不同分塊的數量，圖像A記為A = {(ai，wi)，. . .，（ai，wi)，. . .，（an，wn)}，其中aiGRd表示第i分塊的d維的旋轉不變LBP特征向 量， Wl為該分塊的權值；m為測試鞋印圖像Q中不同的分塊的數量，圖像Q記為Q={(qi， W1)，? ? ?，（qj，Wj)，? ? ?，（qm，Wm)}，其中qjGRd是第j分塊的d維的旋轉不變LBP特征向量，Wj為 該分塊的權值;Cij=| |ai_qj| |2表示特征向量ai與qj之間的歐氏距離； 通過式(4)求得后，再根據式(5)計算所述測試鞋印圖像的多示例包與所述鞋印圖像 庫中的鞋印圖像的多示例包之間的EMD距離：5. 如權利要求4所述的方法，其特征在于，采用歸一化邊緣像素數方法來為每個分塊分 配權值Wi，其具體包括： 采用Canny算法對鞋印圖像A進行邊緣檢測，然后統計每個分塊區域邊緣像素的個數， 記第i個分塊的邊緣像素數為edgei，則權值wi定義為：6. 如權利要求1所述的方法，其特征在于，所述基于視覺空間投影與TSVM的半監督MIL 算法構建TSVM分類器具體包括： 設所述鞋印圖像庫中鞋印圖像的多示例包D= {他，yi)，（B2，y2)，. . .，（Bi，yi)，. . .，（BN， 3^)}，其中71￡{-1，+ 1}4 = 1，2，..，1 + 1表示興趣圖像，即正包;-1表示非興趣圖像，即負 包； 設第i個圖像m分成m個分塊，相GRd表示圖像仏第」個分塊對應的底層視覺特征，其中 」=1，2，..，]^，將0中所有圖像的分塊對應的視覺特征放在一起，記作5={11；卜=1，2，...， T.}，其中r二[二％表示視覺特征的總數； 采用AP方法對S中元素進行自動聚成了 K類，每個類的聚類中心都代表一組具有相同視 覺特征的圖像區域，稱之為視覺字，記作Vl;以這K個視覺字為軸，構造的空間稱為投影空 間，記作Q = {vi，V2,. . .，vk};則圖像Bi= {xij I j = l，2,. . .，m}在投影空間的投影特征定義 如下： (Bi) = [s(vi,Bi) ,s(v2,Bi),. . . ,s(vk,Bi),. . . ,s(vK,Bi)] (7)； 其中，巾⑶丨為仏的投影特征，，/c = l，U，:稱式⑴為 非線性投影函數； 給定一組獨立同分布的I L |個已標記訓練樣本集L= {(巾，yi)，...，（巾（B〇， yi)，...，（巾（B|l|)，y|L|)}和另一組具有與L同一分布的|U|個未標記測試樣本 )、...，#(<,).…肩心）丨.，TSVM方法是同時在已標注和未標注樣本上最大化margin，其 目標函數如下：其中I L |為已標注樣本的總數，| U |為未標注樣本的總數，LS()為損失函數，即LS(z)= maxWj-zhy'jG {-1,1}，j = l，2, . . .，|U|是在優化過程中，分配給未標注樣本的標號，:r為 希望標記為正的樣本數占未標注樣本總數的比例，A為控制參數，用來調節算法復雜度與損 失函數之間的平衡，V也是一個控制參數，用于控制未標注樣本的影響強度，即TSVM的目的 要尋找一個最優分類超平面w和未標注樣本的一組標號y、，使式(8)的目標函數最小化，且 滿足未標注樣本的 r部分必須標注為正的約束條件，設最優解為w'則TSVM分類器為label (B)=sign(w*T(i) (B))。7. -種多示例學習框架下的鞋印圖像檢索系統，其特征在于，包括： 圖像庫分塊模塊，用于基于多尺度有重疊分塊的多示例建模，將鞋印圖像庫中的鞋印 圖像劃分為多個分塊，并計算每個分塊的旋轉不變LBP紋理特征，獲得所述鞋印圖像庫中的 鞋印圖像的多示例包，所述多示例包包括每個分塊的旋轉不變LBP紋理特征； 圖像庫聚類模塊，用于采用K-Means的方法對所述鞋印圖像庫中的鞋印圖像的多示例 包進行分層聚類，建立索引結構，獲得相應的分層聚類樹； 測試鞋印圖像分塊模塊，用于接收用戶輸入的測試鞋印圖像，利用基于多尺度有重疊 分塊的多示例建模獲得所述測試鞋印圖像的多示例包； 預搜索模塊，用于采用自頂向下的方向在所述分層聚類樹中進行搜索，計算所述測試 鞋印圖像的多示例包與所述鞋印圖像庫中的鞋印圖像的多示例包之間的EMD距離，并按EMD 距離由小到大排序后輸出查詢結果； 分類器構建模塊，用于在用戶不滿意預查詢結果時，利用用戶反饋的訓練鞋印圖像，基 于視覺空間投影與TSVM的半監督MIL算法構建TSVM分類器； 圖像檢索模塊，用于使用TSVM分類器在鞋印圖像庫中進行檢索，并輸出相應的檢索結 果。
【文檔編號】G06F17/30GK106055573SQ201610340226
【公開日】2016年10月26日
【申請日】2016年5月20日
【發明人】李大湘, 吳倩, 朱志宇, 邱鑫, 趙小強, 劉穎
【申請人】西安郵電大學