一種相似圖像檢索算法的魯棒性評測方法及裝置與流程

本發明實施方式涉及圖像檢索技術領域，尤其涉及一種相似圖像檢索算法的魯棒性評測方法及裝置。

背景技術：

當前，圖像識別技術已經應用到了安防領域的人臉識別、智能交通領域的車輛檢索等方面。相似圖像檢索算法通常包含三個主要功能：特征提取、特征相似度計算以及相似度排序。通過算法對待檢索的圖像進行特征提取，通過與特征數據庫中每個特征值進行相似度計算，從而可以返回相似度最高的圖片。理想情況下相似度排序相似度最高的圖片是目標圖片。真實場景下獲得的待檢索圖片受外界條件的影響，例如光照條件的變化，目標遠近，圖片清晰度等，待檢索圖片質量通常會出現不同程度下降，通常約定相似度最高的前幾位(例如前5)中出現目標圖片作為有效檢索結果。環境因素或者拍攝原因造成輸入圖片質量下降，引起檢索效果的下降，對算法實際應用有很大影響，因此需要能夠分析造成相似度下降的原因和影響力，從而指導算法改進的方向。

在實施本發明的過程中，發明人發現現有技術至少存在如下問題：

通常，系統的分析方法和控制器的設計大多是基于數學模型而建立的，然而系統總是存在客觀條件引起的不確定性，僅用單一維度精確數學模型對系統的分析結果或設計出來的控制器常常不滿足要求。

為了彌補不足，魯棒性(robustness)控制理論應運而生。它在設計過程中考慮了數學模型所具有的不確定性誤差，假設模型頻率特性與實際被控對象的頻率特性，或者模型參數與實際對象的參數具有一定范圍內的偏差，然后用解析的手段設計控制器使得系統對這一誤差范圍內的所有被控對象均能滿足理想的性能要求。

衡量相似圖像檢索算法是重要的標準之一是魯棒性，是指控制系統在一定(結構，大小)的參數攝動下，維持某些性能的特性，魯棒性好也就意味著穩定性好。但是，當前沒有能夠確定影響相似圖像檢索算法的魯棒性的因素。

應該注意，上面對技術背景的介紹只是為了方便對本發明的技術方案進行清楚、完整的說明，并方便本領域技術人員的理解而闡述的。不能僅僅因為這些方案在本發明的背景技術部分進行了闡述而認為上述技術方案為本領域技術人員所公知。

技術實現要素：

針對上述問題，本發明實施方式的目的在于提供一種相似圖像檢索算法的魯棒性評測方法及裝置，能夠確定影響相似圖像檢索算法的魯棒性的因素。

為實現上述目的，本發明實施方式提供一種相似圖像檢索算法的魯棒性評測方法，提供有指定類目的測試數據集，所述測試數據集中包括干擾數據以及至少兩組測試數組，每組測試數組中包括預設數量的樣本圖片；其中，每組所述測試數組中分別抽取一張樣本圖片，并將抽取的樣本圖片作為待檢索圖片；所述方法包括：針對每張所述待檢索圖片，在所述測試數據集中按照所述相似圖像檢索算法進行檢索，并根據檢索結果為每張所述待檢索圖片設定對應的檢索積分；基于每張所述待檢索圖片對應的檢索積分，確定所述相似圖像檢索算法對應的原始平均積分；對所述至少兩組測試數組中的每張樣本圖片進行圖像處理，以降低每張樣本圖片的質量；針對每張降低了質量的待檢索圖片，在所述測試數據集中按照所述相似圖像檢索算法進行檢索，以得到所述相似圖像檢索算法在所述圖像處理的前提下對應的實際平均積分；基于所述原始平均積分和所述實際平均積分，確定影響所述相似圖像檢索算法的魯棒性的因素。

進一步地，根據檢索結果為每張所述待檢索圖片設定對應的檢索積分包括：將檢索出的圖片按照相似度從高到低的順序進行排序，并在排序后的結果中確定命中區域、有效區域以及無效區域；其中，每個區域與各自的計分策略相對應；判斷所述待檢索圖片所處測試數組中的各個樣本圖片屬于的區域，并根據判斷結果以及各個區域對應的計分策略，統計所述待檢索圖片對應的檢索積分。

進一步地，在排序后的結果中確定命中區域、有效區域以及無效區域包括：將排序后的結果中前n個席位作為命中區域；將第n+1至kn個席位作為有效區域；將所述排序后的結果中處于所述命中區域以及所述有效區域之外的席位作為無效區域；其中，n和k均為指定整數。

進一步地，所述命中區域、有效區域以及無效區域分別對應的計分策略包括：為每個處于所述命中區域中的圖片分配100/n的積分；為處于所述有效區域中的第一幅圖片分配100/n-n的積分，并且所述有效區域中處于所述第一幅圖片之后的每幅圖片的積分在所述第一幅圖片的積分的基礎上依次等差遞減，直至積分遞減至0為止；為處于所述無效區域中的圖片分配0的積分。

進一步地，統計所述待檢索圖片對應的檢索積分包括：根據所述待檢索圖片所處測試數組中的各個樣本圖片屬于的區域，為各個所述樣本圖片分配對應的積分；將各個所述樣本圖片的積分進行累加，并將累加后的積分作為所述待檢索圖片對應的檢索積分。

進一步地，所述確定所述相似圖像檢索算法對應的原始平均積分包括：計算每張所述待檢索圖片對應的檢索積分的平均值，并將計算的所述平均值作為所述相似圖像檢索算法對應的原始平均積分。

進一步地，確定影響所述相似圖像檢索算法的魯棒性的因素包括：當所述原始平均積分和所述實際平均積分之間的差值大于預先設置的指定閾值時，確定當前采用的圖像處理為影響所述相似圖像檢索算法的魯棒性的因素。

為實現上述目的，本發明實施方式還提供一種相似圖像檢索算法的魯棒性評測裝置，所述裝置提供有指定類目的測試數據集，所述測試數據集中包括干擾數據以及至少兩組測試數組，每組測試數組中包括預設數量的樣本圖片；其中，每組所述測試數組中分別抽取一張樣本圖片，并將抽取的樣本圖片作為待檢索圖片；所述裝置包括：檢索得分單元，用于針對每張所述待檢索圖片，在所述測試數據集中按照所述相似圖像檢索算法進行檢索，并根據檢索結果為每張所述待檢索圖片設定對應的檢索積分；原始平均積分確定單元，用于基于每張所述待檢索圖片對應的檢索積分，確定所述相似圖像檢索算法對應的原始平均積分；質量降低單元，用于對所述至少兩組測試數組中的每張樣本圖片進行圖像處理，以降低每張樣本圖片的質量；實際平均積分確定單元，用于針對每張降低了質量的待檢索圖片，在所述測試數據集中按照所述相似圖像檢索算法進行檢索，以得到所述相似圖像檢索算法在所述圖像處理的前提下對應的實際平均積分；影響因素確定單元，用于基于所述原始平均積分和所述實際平均積分，確定影響所述相似圖像檢索算法的魯棒性的因素。

由上可見，本發明通過相似圖像檢索算法對多張待檢索圖片進行檢索，并根據檢索的結果，為每張待檢索圖片設置相應的可以用于評價相似圖像檢索算法的準確性的檢索積分，進而可以計算出所述相似圖像檢索算法對應的原始平均積分，該原始平均積分可以表征在正常狀態下，所述相似圖像檢索算法的檢索能力。為了測試所述相似圖像檢索算法的魯棒性，可以采用不同的圖像處理方法，降低測試數組中的樣本圖片的質量。這樣，通過所述相似圖像檢索算法對降低了質量的圖片再次進行檢索，從而，可以得到采用了圖像處理方法之后的實際平均積分。通過對比所述原始平均積分和所述實際平均積分，便可以確定影響所述相似圖像檢索算法的魯棒性的因素。

附圖說明

為了更清楚地說明本發明實施方式或現有技術中的技術方案，下面將對實施方式或現有技術描述中所需要使用的附圖逐一簡單地介紹，顯而易見地，下面描述中的附圖是本發明的一些實施方式，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。

圖1為本發明實施方式中圖像檢索算法的魯棒性測試方法流程圖；

圖2為本發明實施方式中圖像檢索算法的魯棒性測試裝置的功能模塊圖。

具體實施方式

為使本發明實施方式的目的、技術方案和優點更加清楚，下面將結合本發明實施方式中的附圖，對本發明實施方式中的技術方案進行清楚、完整地描述，顯然，所描述的實施方式是本發明一部分實施方式，而不是全部的實施方式。基于本發明中的實施方式，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施方式，都屬于本發明保護的范圍。

本發明提供一種相似圖像檢索算法的魯棒性評測方法，所述方法提供有指定類目的測試數據集，所述測試數據集中包括干擾數據以及至少兩組測試數組，每組測試數組中包括預設數量的樣本圖片；其中，每組所述測試數組中分別抽取一張樣本圖片，并將抽取的樣本圖片作為待檢索圖片。

所述指定類目例如可以是車輛或者人臉這種目標對象。以車輛為例，車輛的測試數據集中可以包括多組測試數據。同一組測試數組中的樣本圖片可以是同一個型號的車輛在不同背景、不同拍攝角度、不用拍攝光照條件下的圖片。不同測試數組中的樣本圖片可以屬于不同型號的車輛。所述不同型號可以指不同品牌或者同一品牌下的不同子品牌。例如所述測試數組可以包括a品牌a1子品牌的車的相似圖片5張作為a1組，a品牌a2子品牌的車的相似圖片5張作為a2組，b品牌b1子品牌的車的相似圖片5張作為b1組，b品牌b2子品牌的車的相似圖片5張作為b2組。通常，可以從每組測試數組中選擇一張圖片作為待檢索圖片，并將測試數組與干擾數據混合成測數數據集。

請參閱圖1，所述方法可以包括以下步驟。

s1：針對每張所述待檢索圖片，在所述測試數據集中按照所述相似圖像檢索算法進行檢索，并根據檢索結果為每張所述待檢索圖片設定對應的檢索積分。

在本實施方式中，按照所述圖像檢測算法對待檢索圖片進行檢索之后，檢索結果是按照相似度返回的圖片序列，并可以將檢索出的圖片按照相似度從高到低的順序進行排序，在排序后的結果中確定命中區域、有效區域以及無效區域；其中，每個區域與各自的計分策略相對應。

具體地，

將排序后的結果中前n個席位作為命中區域；

將第n+1至kn個席位作為有效區域；

將所述排序后的結果中處于所述命中區域以及所述有效區域之外的席位作為無效區域；

其中，n和k均為指定整數。

此外，所述命中區域、有效區域以及無效區域分別對應的計分策略可以是：

為每個處于所述命中區域中的圖片分配100/n的積分；

為處于所述有效區域中的第一幅圖片分配100/n-n的積分，并且所述有效區域中處于所述第一幅圖片之后的每幅圖片的積分在所述第一幅圖片的積分的基礎上依次遞減1，直至積分遞減至0為止；

為處于所述無效區域中的圖片分配0的積分。

舉例來說明，可以將檢索結果中前5位設為命中區域，前6至前20設為有效區域，21及后續設為無效區域。對于檢索結果，排在前5位的圖片都積20(分)；第6至20的圖片積分依次遞減，分別為15、14、13(分)一直至1(分)；第21位及以后的積分為0(分)。

這樣，在劃分了各個區域以及設置了各個區域的計分策略之后，可以統計每個所述待檢索圖片對應的檢索積分。

具體地，可以根據所述待檢索圖片所處測試數組中的各個樣本圖片屬于的區域，為各個所述樣本圖片分配對應的積分，然后可以將各個所述樣本圖片的積分進行累加，并將累加后的積分作為所述待檢索圖片對應的檢索積分。例如，在測試數組中包括圖片a1，a2，a3，a4，a5，以其中a1作為待檢索圖片，在測試數據集中進行檢索，然后可以返回相似度排序。

比如檢索結果為:

a1，x，a2，x，x，a3，a4，a5，x

在該示例中，n可以為5，那么a1排位第一，積20(分)；a2排位第三，積20(分)；a3排位第六，積分15；a4排位第7，積14(分)；a5排位第8，積13(分)。其余排位的圖片都是干擾圖片x，不計分。這樣，待檢索圖片a1對應的檢索積分等于20+20+15+14+13(分)，最終總分82(分)。

s2：基于每張所述待檢索圖片對應的檢索積分，確定所述相似圖像檢索算法對應的原始平均積分。

在本實施方式中，在計算出每張待檢索圖片對應的檢索積分后，可以計算每張所述待檢索圖片對應的檢索積分的平均值，并將計算的所述平均值作為所述相似圖像檢索算法對應的原始平均積分。

例如，測試數組a1至a5對應的檢索積分分別為82、86、84、85、83(分)，那么所述相似圖像檢索算法對應的原始平均積分便為84(分)。所述原始平均積分對應的原始的圖片狀態。

s3：對所述至少兩組測試數組中的每張樣本圖片進行圖像處理，以降低每張樣本圖片的質量。

在本實施方式中，為了測試所述圖像檢測算法的魯棒性，可以對所述至少兩組測試數組中的每張樣本圖片進行圖像處理，以降低每張樣本圖片的質量。

具體地，所述圖像處理包括圖像縮小處理、增加噪聲處理、圖像模糊處理、降低或者增強圖像對比度處理、邊緣裁剪處理以及圖像區域膨脹處理中的至少一種。其中，圖像縮小處理對應畫面中目標距離較遠，增加噪聲處理和圖像模糊處理都對應圖像拍攝不清晰，邊緣裁剪處理對應圖像不完整或者檢索區域的變化，降低或者增強圖像對比度處理對應光照條件變化等等。每個處理方法可以對應一個參數，該參數是指針對圖像變換的參數。

例如，所述參數可以是圖像縮小的比例：80％或者50％；還可以是圖像邊緣裁剪的方向和裁剪比例，例如上邊緣裁剪15％或者左邊緣裁剪20％。

s4：針對每張降低了質量的待檢索圖片，在所述測試數據集中按照所述相似圖像檢索算法進行檢索，以得到所述相似圖像檢索算法在所述圖像處理的前提下對應的實際平均積分。

在本實施方式中，在對圖片進行降低質量操作之后，可以按照步驟s1和s2中類似的方法，在所述測試數據集中按照所述相似圖像檢索算法進行檢索，以得到所述相似圖像檢索算法在所述圖像處理的前提下對應的實際平均積分。所述實際平均積分與當前所采用的圖像處理方法相對應，從而可以衡量當前的圖像處理方法對所述相似圖像檢索算法的魯棒性的影響。

例如，測試數據集中有原始圖片的5組測試數組，分別是a1，a2，a3，a4，a5，此時可以采取圖像縮小處理，將原圖片的尺寸縮小到80％，從而可以得到a1_resize,a2_resize,a3_resize,a4_resize,a5_resize這五組經過縮小處理的測試數組。

此時，可以分別對a1，a2，a3，a4，a5進行相似圖像檢索，得到原始平均積分a_avg。然后，可以分別對a1_resize,a2_resize,a3_resize,a4_resize,a5_resize進行相似圖像檢索，得到尺寸縮小為80％的實際平均積分a_resize_avg。

s5：基于所述原始平均積分和所述實際平均積分，確定影響所述相似圖像檢索算法的魯棒性的因素。

在本實施方式中，預先設置原始平均積分和實際平均積分之間差值的指定閾值。

將所述原始平均積分和所述實際平均積分進行對比，當所述原始平均積分和所述實際平均積分之間的差值大于指定閾值時，可以確定當前采用的圖像處理為影響所述相似圖像檢索算法的魯棒性的因素。

例如，上述a_avg為96，a_resize_avg為80，兩者之間的差值為16，而設定的所述指定閾值為10，那么這兩者之間的差值超過了所述指定閾值，可以確定圖像縮小處理對所述相似圖像檢索算法的魯棒性有較大的影響，可以作為影響所述相似圖像檢索算法的魯棒性的因素之一。

在本實施方式中，還可以計算不同圖像處理方式時(或者不經過圖像處理時)的各組測試數組對應的檢索積分之間的標準差。該標準差則反應了組間的差異，標準差越大表示不同組間的差異越顯著。

請參閱圖2，本發明還提供一種相似圖像檢索算法的魯棒性評測裝置，所述裝置提供有指定類目的測試數據集，所述測試數據集中包括干擾數據以及至少兩組測試數組，每組測試數組中包括預設數量的樣本圖片；其中，每組所述測試數組中分別抽取一張樣本圖片，并將抽取的樣本圖片作為待檢索圖片；所述裝置包括：

檢索得分單元100，用于針對每張所述待檢索圖片，在所述測試數據集中按照所述相似圖像檢索算法進行檢索，并根據檢索結果為每張所述待檢索圖片設定對應的檢索積分；

原始平均積分確定單元200，用于基于每張所述待檢索圖片對應的檢索積分，確定所述相似圖像檢索算法對應的原始平均積分；

質量降低單元300，用于對所述至少兩組測試數組中的每張樣本圖片進行圖像處理，以降低每張樣本圖片的質量；

實際平均積分確定單元400，用于針對每張降低了質量的待檢索圖片，在所述測試數據集中按照所述相似圖像檢索算法進行檢索，以得到所述相似圖像檢索算法在所述圖像處理的前提下對應的實際平均積分；

影響因素確定單元500，用于基于所述原始平均積分和所述實際平均積分，確定影響所述相似圖像檢索算法的魯棒性的因素。

在本實施方式中，所述檢索得分單元100包括：

區域劃分模塊，用于將檢索出的圖片按照相似度從高到低的順序進行排序，并在排序后的結果中確定命中區域、有效區域以及無效區域；其中，每個區域與各自的計分策略相對應；

積分統計模塊，用于判斷所述待檢索圖片所處測試數組中的各個樣本圖片屬于的區域，并根據判斷結果以及各個區域對應的計分策略，統計所述待檢索圖片對應的檢索積分。

其中，在排序后的結果中確定命中區域、有效區域以及無效區域包括：將排序后的結果中前n個席位作為命中區域；將第n+1至kn個席位作為有效區域；將所述排序后的結果中處于所述命中區域以及所述有效區域之外的席位作為無效區域；其中，n和k均為指定整數。

其中，所述命中區域、有效區域以及無效區域分別對應的計分策略包括：為每個處于所述命中區域中的圖片分配100/n的積分；為處于所述有效區域中的第一幅圖片分配100/n-n的積分，并且所述有效區域中處于所述第一幅圖片之后的每幅圖片的積分在所述第一幅圖片的積分的基礎上依次遞減1，直至積分遞減至0為止；為處于所述無效區域中的圖片分配0的積分。

其中，統計所述待檢索圖片對應的檢索積分包括：根據所述待檢索圖片所處測試數組中的各個樣本圖片屬于的區域，為各個所述樣本圖片分配對應的積分；將各個所述樣本圖片的積分進行累加，并將累加后的積分作為所述待檢索圖片對應的檢索積分。

其中，原始平均積分確定單元，具體用于：計算每張所述待檢索圖片對應的檢索積分的平均值，并將計算的所述平均值作為所述相似圖像檢索算法對應的原始平均積分。

其中，影響因素確定單元，具體用于：當所述原始平均積分和所述實際平均積分之間的差值大于指定閾值時，確定當前采用的圖像處理為影響所述相似圖像檢索算法的魯棒性的因素。

上述的涉及到的相似圖像檢索算法的魯棒性評測裝置的具體技術細節和相似圖像檢索算法的魯棒性評測方法中的類似，故在此不再具體贅述。

由上可見，本發明通過相似圖像檢索算法對多張待檢索圖片進行檢索，并根據檢索的結果，為每張待檢索圖片設置相應的可以用于評價相似圖像檢索算法的準確性的檢索積分，進而可以計算出所述相似圖像檢索算法對應的原始平均積分，該原始平均積分可以表征在正常狀態下，所述相似圖像檢索算法的檢索能力。為了測試所述相似圖像檢索算法的魯棒性，可以采用不同的圖像處理方法，降低測試數組中的樣本圖片的質量。這樣，通過所述相似圖像檢索算法對降低了質量的圖片再次進行檢索，從而，可以得到采用了圖像處理方法之后的實際平均積分。通過對比所述原始平均積分和所述實際平均積分，便可以確定影響所述相似圖像檢索算法的魯棒性的因素。

本說明書中的各個實施方式均采用遞進的方式描述，各個實施方式之間相同相似的部分互相參見即可，每個實施方式重點說明的都是與其他實施方式的不同之處。

最后應說明的是：上面對本發明的各種實施方式的描述以描述的目的提供給本領域技術人員。其不旨在是窮舉的、或者不旨在將本發明限制于單個公開的實施方式。如上所述，本發明的各種替代和變化對于上述技術所屬領域技術人員而言將是顯而易見的。因此，雖然已經具體討論了一些另選的實施方式，但是其它實施方式將是顯而易見的，或者本領域技術人員相對容易得出。本發明旨在包括在此已經討論過的本發明的所有替代、修改、和變化，以及落在上述申請的精神和范圍內的其它實施方式。