面向二進制特征的圖像匹配方法及其系統的制作方法
【技術領域】
[0001] 本發明涉及圖像檢索技術領域，尤其涉及一種面向二進制特征的圖像匹配方法及 其系統。
【背景技術】
[0002] 互聯網圖像視覺信息的迅速增長，給信息的組織與管理帶來了巨大挑戰，對海量 圖像進行內容分析與檢測的需求越來越大，基于內容的圖像檢索技術應運而生。基于內容 的圖像檢索技術主要分為兩個部分，第一部分主要是圖像特征的提取，包括特征點的位置， 特征點的主方向以及特征點的描述子。第二部分主要是圖片匹配技術，包括圖片特征索引 以及相應的匹配規則，由于圖片特征庫往往是巨大的海量數據，因此需要高效、穩定的索引 技術配合合理的匹配規則，才能滿足實時海量數據的檢索需求。
[0003] 現有的主流的圖像匹配方法主要是用到了B0W(bag of word，詞袋模型）以及倒排 索引技術，配合（Hamming_Embedding，海明嵌入）等匹配規則，達到海量圖片匹配檢索的目 的。然后，在詞袋模型中，首先需要訓練視覺單詞中心，再把特征描述子分配到距離最近的 視覺中心，這個過程中視覺中心的個數難以確定，如果個數太多，需要巨大的計算量，往往 需要GPU協助，如果太小，則檢索效果不好，同時分配特征描述子的過程也是計算密集型的 過程。另外一方面，詞袋模型以及海明嵌入的規則往往只應用于實數特征描述子（即每個 描述子分量是個實數），不能滿足實時監控領域的圖像檢索需求。
[0004] 綜上可知，現有的圖像匹配技術在實際使用上，顯然存在不便與缺陷，所以有必要 加以改進。
【發明內容】
[0005] 針對上述的缺陷，本發明的目的在于提供一種面向二進制特征的圖像匹配方法及 其系統，以提高圖像匹配的準確性及速度。
[0006] 為了實現上述目的，本發明提供一種面向二進制特征的圖像匹配方法，所述方法 包括：
[0007] 特征提取步驟：提取待檢測的圖片的多個特征點的信息以及多個所述特征點的第 一二進制描述子；
[0008] 第一匹配步驟：將多個所述第一二進制描述子與預設的圖片庫中的所有圖片的第 二二進制描述子進行比較，找出與多個所述第一二進制描述子匹配數最多的第二二進制描 述子所對應的第一圖片；
[0009] 第二匹配步驟：將所述待檢測的圖片和所述第一圖片進行特征點的信息的匹配， 獲得所述待檢測圖片的匹配結果信息。
[0010] 根據所述的圖像匹配方法，所述特征點的信息包括：所述特征點的特征點主方向、 特征點位置和特征點覆蓋面積；
[0011] 所述特征提取步驟包括：提取所述待檢測的圖片的多個特征點的特征點主方向、 特征點位置以及所述特征點的第一二進制描述子；
[0012] 在所述第一匹配步驟之前包括：
[0013] 二進制索引建立步驟：建立所述圖片庫的二進制索引，所述二進制索引包括由多 個第二二進制描述子組成的二進制特征空間和每個所述第二二進制描述子所在圖片的圖 片序號。
[0014] 根據所述的圖像匹配方法所述第一匹配步驟包括：
[0015] 分別將每個所述第一二進制描述子在所述二進制特征空間中與所述第二二進制 描述子進行匹配；
[0016] 選擇包括與多個所述第一二進制描述子匹配數最多的所述第二二進制描述子的 所述第一圖片，若所述匹配數大于預設的第一閾值，則記錄匹配的多個所述第一二進制描 述子和第二二進制描述子所對應的特征點對，并執行所述第二匹配步驟，否則所述第一匹 配步驟失敗。
[0017] 根據所述的圖像匹配方法所述第二匹配步驟包括：
[0018] 特征點方向匹配步驟：分別計算匹配的多個所述特征點對的特征點的主方向變化 率；若兩者的所述主方向變化率小于預設的第二閾值，則執行特征點位置匹配步驟，否則所 述第一圖片不是與所述待檢測的圖片匹配的圖片；
[0019] 特征點位置匹配步驟：通過分別計算匹配的多個所述特征點對之間的透視變化矩 陣以計算多個所述特征點對的內點比率，若所述內點比率大于預設的第三閾值，則執行特 征點覆蓋面積匹配步驟，否則所述第一圖片不是與所述待檢測的圖片匹配的圖片；
[0020] 特征點覆蓋面積匹配步驟：計算多個所述特征點對中所述待檢測圖片中的特征點 的特征點覆蓋面積，若所述覆蓋面積大于預設的第四閾值，則第一圖片是與所述待檢測的 圖片匹配的圖片，否則所述第一圖片不是與所述待檢測的圖片匹配的圖片。
[0021] 根據所述的圖像匹配方法所述特征提取步驟還包括：將所述第一二進制描述子進 行精簡；
[0022] 所述二進制索引建立步驟還包括：將所述圖片庫的二進制索引中的第二二進制描 述子進行精簡。
[0023] 為了實現本發明的另一發明目的，本發明還提供了一種面向二進制特征的圖像匹 配系統，所述系統包括：
[0024] 特征提取模塊，用于提取待檢測的圖片的多個特征點的信息以及多個所述特征點 的第一二進制描述子；
[0025] 第一匹配模塊，用于將多個所述第一二進制描述子與預設的圖片庫中的所有圖片 的第二二進制描述子進行比較，找出與多個所述第一二進制描述子匹配數最多的第二二進 制描述子所對應的第一圖片；
[0026] 第二匹配模塊，用于將所述待檢測的圖片和所述第一圖片進行特征點的信息的匹 配，獲得所述待檢測圖片的匹配結果信息。
[0027] 根據所述的圖像匹配系統，所述特征點的信息包括：所述特征點的特征點主方向、 特征點位置和特征點覆蓋面積；
[0028] 所述特征提取模塊提取所述待檢測的圖片的多個特征點的特征點主方向、特征點 位置以及所述特征點的第一二進制描述子；
[0029] 所述系統還包括：
[0030] 二進制索引建立模塊，用于建立所述圖片庫的二進制索引，所述二進制索引包括 由多個第二二進制描述子組成的二進制特征空間和每個所述第二二進制描述子所在圖片 的圖片序號。
[0031] 根據所述的圖像匹配系統，所述第一匹配模塊包括：
[0032] 第一匹配子模塊，用于分別將每個所述第一二進制描述子在所述二進制特征空間 中與所述第二二進制描述子進行匹配；
[0033] 第一選擇子模塊，用于選擇包括與多個所述第一二進制描述子匹配數最多的所述 第二二進制描述子的所述第一圖片，若所述匹配數大于預設的第一閾值，則記錄匹配的多 個所述第一二進制描述子和第二二進制描述子所對應的特征點對，并執行所述第二匹配模 塊的匹配操作，否則所述第一匹配模塊的匹配操作失敗。
[0034] 根據所述的圖像匹配系統，所述第二匹配模塊包括：
[0035] 特征點方向匹配子模塊，用于分別計算匹配的多個所述特征點對的特征點的主方 向變化率；若兩者的所述主方向變化率小于預設的第二閾值，則執行特征點位置匹配模塊 的匹配操作，否則所述第一圖片不是與所述待檢測的圖片匹配的圖片；
[0036] 特征點位置匹配子模塊，用于通過分別計算匹配的多個所述特征點對之間的透視 變化矩陣以計算多個所述特征點對的內點比率，若所述內點比率大于預設的第三閾值，則 執行特征點覆蓋面積匹配模塊的匹配操作，否則所述第一圖片不是與所述待檢測的圖片匹 配的圖片；
[0037] 特征點覆蓋面積匹配子模塊，用于計算多個所述特征點對中所述待檢測圖片中的 特征點的特征點覆蓋面積，若所述覆蓋面積大于預設的第四閾值，則第一圖片是與所述待 檢測的圖片匹配的圖片，否則所述第一圖片不是與所述待檢測的圖片匹配的圖片。
[0038] 根據所述的圖像匹配系統，所述特征提取模塊將所述第一二進制描述子進行精 簡；
[0039] 所述二進制索引建立模塊將所述圖片庫的二進制索引中的第二二進制描述子進 行精簡。
[0040] 本發明通過提取待檢測的圖片的多個特征點的信息以及多個所述特征點的第 一二進制描述子；然后，將多個所述第一二進制描述子與預設的圖片庫中的所有圖片的第 二二進制描述子進行比較，找出與多個所述第一二進制描述子匹配數最多的第二二進制描 述子所對應的第一圖片；最后，將所述待檢測的圖片和所述第一圖片進行特征點的信息的 匹配，獲得所述待檢測圖片的匹配結果信息，由此，提高了圖片匹配的效率及準確性能。具 體的，在本發明中，創新的引入了四個匹配準則，依次通過待檢測圖片與圖片庫中的二進制 描述子個數匹配、特征點主方向匹配、特征點位置匹配、以及特征點覆蓋面積匹配，實現在 保證速度以及召回率的同時，保證了極高的匹配精度。在現在主流的CPU(酷睿i74770)平 臺上，檢索索引能覆蓋一百萬的圖片所包含的特征庫，內存僅需占用2GB，單核單線程每秒 能檢索500張圖片，速度極快。在精度保證99%的情況下，召回率保證在85%以上，因此， 本發明的技術方案極其適合應用在對速度要求高的嵌入式平臺以及實時監控平臺上。
【附圖說明】
[0041] 圖1是本發明實施例提供的面向二進制特征的圖像匹配系統的組成示意圖；
[0042] 圖2是本發明實施例提供的面向二進制特征的圖像匹配系統的組成示意圖；
[0043] 圖3是本發明實施例提供的二進制倒排索引的示意圖；
[0044] 圖4A是本發明實施例提供的二進制描述子匹配規則示意圖；
[0045] 圖4B是本發明實施例提供的二進制描述子匹配規則示意圖；
[0046] 圖5A是本發明實施例提供的特征點主方向匹配規則示意圖；
[0047] 圖5B是本發明實施例提供的特征點主方向匹配規則示意圖；
[0048] 圖5