一種適用于移動終端的視覺搜索方法
【專利摘要】本發明提供一種適用于移動終端的視覺搜索方法，該方法的具體過程為：步驟1：利用移動終端采集當前場景的待識別圖像，并獲取采集圖像時移動終端的重力方向和當前場景的GPS信息；步驟2：獲得待識別圖像的二進制局部特征向量；步驟3：將所述GPS信息和二進制局部特征向量打包成一描述符文件，并將其發送出去；步驟4：從樣本圖像庫中查找與所提取的GPS信息相距最近的GPS信息所對應的圖像，并將其定義為查詢圖像；步驟5：將待識別圖像與查詢圖像的二進制局部特征向量進行一一匹配，尋找與待識別圖像最相近的查詢圖像，并將其對應的信息傳輸至移動終端，實現視覺搜索。該方法可為移動終端的使用者獲取當前場景的相關信息提供一種更為便利的手段。
【專利說明】ー種適用于移動終端的視覺搜索方法
【技術領域】
[0001]本發明屬于移動增強現實【技術領域】，具體涉及ー種適用于移動終端的視覺搜索方法。
【背景技術】
[0002]視覺搜索的研究目標在于利用計算機代替人自動去處理海量的物理信息，識別各種不同模式的目標和對象，從部分上代替人的腦カ勞動，也可拓展人類生理器官所不能勝任的領域，在遙感圖像處理、醫學圖像處理和增強現實等領域有著廣泛的應用。
[0003]目前，隨著互聯網的發展，人類正在步入ー個信息化的社會，互聯網已經成為人類發布、獲取、交換信息的重要平臺。互聯網上信息量的指數級增長，使得如何讓用戶能夠快速準確地在海量的數據中找到其所需信息成為了ー個重要的課題。近些年來，照相機，智能手機，PAD，攝像機等電子產品的普及，我們可以隨時隨處，拍下我們喜歡的景色，動物，食品等等各種各樣的圖片。截止到2010年I月，Facebook聲稱其網站上的圖片數量已經超過250億張。面對如此海量的圖片資源，如何快速準確的找到我們感興趣的圖片是必須要解決的問題，是商業界和學術界的ー個重要研究方向。然而，隨著圖片規模的極大增長，要保證圖像搜索的實時性，相應的圖像編碼、圖像檢索技術和數據庫索引技術也必須做相應的調整或加速。
[0004]同時計算機軟、硬件技術的迅猛發展，為增強現實技術走出室內應用進而支持復雜的分析、決策和管理打下了堅實的基礎。一些移動終端設備(像PDA、智能手機等)的功能也越來越豐富，并且擁有了嵌入式操作系統、觸摸屏、GPS定位、視頻攝像頭等功能，同時也具備了較強的計算和處理能力。這些功能的集成為開發基于移動終端的增強現實系統奠定了基礎。據有關資料，截止到2010年我國移動電話用戶可達7.4億，其中擁有智能手機的用戶占了相當的比重，智能手機作為增強現實的應用平臺將具有很大的應用潛力。3G網的逐步開通、運行，意味著移動增值業務全新時代的開始，增強現實技術和LBS相結合可以實現信息的實時交互、三維動態顯示，可使人機界面更加友好和具有智能性。
[0005]基于上述分析，結合具有攝像頭，GPS傳感器和無線網絡傳感器的終端以及服務器端的圖像識別和匹配技術，可以將場景之類的大規模物體的在線識別變為可能。
[0006]然而以前的許多圖像識別的研究工作都是在樣本規模不是非常大的情況下考慮圖像檢索問題，許多方法也不能推廣到更大規模的圖像識別問題，系統性能和能夠處理的數據規模存在局限性。當城市級規模的數據，以百萬為單位吋，圖像識別系統需要海量的存儲空間和海量數據的快速計算能力。因為圖像本身需要很大的空間存儲，從圖像提取的各種特征描述向量也需要大量的空間存儲。同時，在圖像識別和匹配過程中對描述符索引、匹配也需要強大計算能力。
【發明內容】
[0007]有鑒于此，本發明提供了ー種適用于移動終端的視覺搜索方法，利用該方法能夠實現在線海量圖像的識別，從而達到在線視覺搜索的目的，同時該方法大大減少了數據存儲量，提高了圖像識別率和視覺搜索的速度。
[0008]實現本發明的技術方案如下:
[0009]一種適用于移動終端的視覺搜索方法，適用于該方法的樣本圖像庫滿足兩個條件:①樣本圖像庫中的每一樣本圖像帶有GPS信息，②樣本圖像庫中的每一樣本圖像采用二進制局部特征向量表示；該方法的具體過程為:
[0010]步驟1:利用移動終端采集當前場景的待識別圖像，并獲取采集圖像時移動終端的重力方向和當前場景的GPS信息；
[0011]步驟2:采用二進制局部特征檢測算法BRISK對待識別圖像進行特征點檢測，得到待識別圖像的特征點；根據所述重力方向，用特征描述符FREAK對所述特征點進行描述，獲得待識別圖像的二進制局部特征向量；
[0012]步驟3:將所述GPS信息和二進制局部特征向量打包成一描述符文件，并將其發送出去；
[0013]步驟4:服務器接收到描述符文件后，從該描述符文件中提取GPS信息，從樣本圖像庫中查找與所提取的GPS信息相距最近的GPS信息所對應的圖像，并將其定義為查詢圖像；
[0014]步驟5:將待識別圖像與查詢圖像的二進制局部特征向量進行一一匹配，尋找與待識別圖像最相近的查詢圖像，并將其對應的信息傳輸至移動終端，實現視覺搜索。
[0015]進一步地，本發明在對待識別圖像特征點檢測之前，還包括對圖像進行降采樣處理。
[0016]進一步地，本發明在步驟3生成的描述符文件還進一步包括二進制局部特征向量個數，且GPS信息和二進制局部特征向量個數放在描述符文件的開頭。
[0017]進一步地，本發明所述匹配為:通過計算待識別圖像和查詢圖像的二進制特征向量的漢明距離，基于漢明距離尋找與待識別圖像最相近的圖像。
[0018]進一步地，本發明當步驟4查找到的最近的GPS信息與待識別圖像對應的GPS信息相距超過設定閾值時，此時服務器生成無法查詢到相關信息的反饋信號回傳給移動終端。
[0019]進一步地，本發明適用于該方法的樣本圖像庫采用以下步驟建立:
[0020]S01、獲取帶GPS信息的樣本圖像，其中所述GPS信息為樣本圖像所顯示的場景的GPS信息；
[0021]S02、提取每一幅樣本圖像的二進制局部特征向量，并生成倒排文件索引表；
[0022]S03、建立以樣本圖像的GPS信息為聚類中心的更高層的索引，將屬于同一聚類中心的樣本圖像對應的倒排文件索弓I表存儲到一個鏈表中。
[0023]有益效果:
[0024]第一、本發明使用移動終端采集當前場景的待識別圖像，并在服務器上利用圖像匹配的方法，對被采集室外場景進行識別，提供待識別圖像對應的各種信息，從而為移動終端的使用者獲取當前場景的相關信息提供一種更為便利的手段。
[0025]第二、本發明采用二進制局部特征向量來描述圖像特征，只需要幾個字節就代表高維的描述向量，節省了存儲空間，為移動終端大規模的存儲數據提供了可行性。[0026]第三，本發明在查找待識別圖像的相似圖像時，首先根據GPS信息判斷是否存在位置較近的樣本圖像，如果有，進行后續的二進制特征局部特征的相似性比較，如果沒有，則直接通知移動端找不到類似的樣本圖像；因此本發明通過GPS傳感器的位置信息，縮小匹配樣本的范圍，節省了匹配的時間。
[0027]第四、本發明利用二進制的漢明距離比較算法進行匹配，僅用一條計算機指令就能進行描述匹配計算，提高了海量描述符的快速匹配能力，為室外海量圖片的更快速的識別提供了更加有利的條件。
[0028]第五、本發明在記載樣本二進制特征碼時，將GPS值進行聚類，選取聚類中心代表這一類的位置，并將這類的樣本特征向量，放在一個大鏈表里，方便進行查找。
[0029]第六、本發明可以擴展智能終端的交互式應用，滿足了旅游、導航、交通、酒店服務等在智能終端上的擴展應用，使網絡運營商和內容提供商能夠利用其豐富的服務器資源和優越的服務器性能發展其業務。
【專利附圖】
【附圖說明】
[0030]圖1融合傳感器信息的室外海量物體系統架構圖；
[0031]圖2識別算法流程圖；
[0032]圖3AGAST_9_16 模板；
[0033]圖4FREAK描述子受人類視網膜結構啟發；
[0034](a)為視桿細胞在視網膜上的密度分布(b)為視網膜的三個分區；
[0035]圖5FREAK描述子用于確定特征方向的采樣點對；
[0036]圖6室外場景訓練樣本二進制特征向量的倒排索引結構；
【具體實施方式】
[0037]下面將結合附圖和具體事例對本發明進行詳細描述。
[0038]本發明適用于移動終端的視覺搜索方法，該方法適用的樣本圖像庫滿足兩個條件:①樣本圖像庫中的每一樣本圖像帶有GPS信息，②樣本圖像庫中的每一樣本圖像采用二進制局部特征向量表示；如圖1所示，該方法具體過程為:
[0039]步驟1:用戶打開移動終端的拍攝設備，采集當前場景的待識別圖像；再調用終端的GPS傳感器接口和重力傳感器接口，并獲取采集圖像時移動終端的重力方向和當前場景的GPS信息。
[0040]步驟2:為了降低運算量，終端對采集到的待識別圖像進行降采樣處理(即降低圖像分辨率)，將圖像分辨率統一降為320X240 ;然后采用二進制局部特征檢測算法BRISK(Binary Robust Invariant Scalable Keypoints)對待識別圖像進行特征點檢測,得到待識別圖像的特征點；根據所述重力方向，用特征描述符FREAK (Fast Retina Keypoint)對所述特征點進行描述，從而將待識別圖像所包含的信息轉化為二進制局部特征向量進行表示。由于一幅圖像可能包含有大量的信息，因此一幅圖像可能有上百個二進制局部特征向量。
[0041]下面對本步驟的具體過程進行說明:
[0042](I)離散尺度空間中的角點(特征點)探測；[0043]二進制局部特征檢測算法BRISK，其使用角點作為特征點，首先需要搜尋圖像中滿足在鄰域中具有突出性的點(角點)作為預備特征點，得到預備特征點集合；其次對于預備特征點集合中的每一點，以其尺度空間相鄰的上下兩層的鄰域來實行非極大值抑制(NonMaximum Suppression-NPS),剔除ー些突出性非極大的點，此時剩下的點就是在尺度空間的鄰域中具有獨特性的唯一的特征點。具體過程為:
[0044]使用AGAST算法在圖像離散尺度空間中的每ー層搜尋角點，使用像素亮度作為比較指標，衡量待測點的突出性。突出性的度量為FAST得分，計算公式為:
【權利要求】
1.一種適用于移動終端的視覺搜索方法，適用于該方法的樣本圖像庫滿足兩個條件:①樣本圖像庫中的每一樣本圖像帶有GPS信息，②樣本圖像庫中的每一樣本圖像采用二進制局部特征向量表示；其特征在于，該方法的具體過程為: 步驟1:利用移動終端采集當前場景的待識別圖像，并獲取采集圖像時移動終端的重力方向和當前場景的GPS信息； 步驟2:采用二進制局部特征檢測算法BRISK對待識別圖像進行特征點檢測，得到待識別圖像的特征點；根據所述重力方向，用特征描述符FREAK對所述特征點進行描述，獲得待識別圖像的二進制局部特征向量； 步驟3:將所述GPS信息和二進制局部特征向量打包成一描述符文件，并將其發送給服務器； 步驟4:服務器 接收到描述符文件后，從該描述符文件中提取GPS信息，從樣本圖像庫中查找與所提取的GPS信息相距最近的GPS信息所對應的圖像，并將其定義為查詢圖像； 步驟5:將待識別圖像與查詢圖像的二進制局部特征向量進行一一匹配，尋找與待識別圖像最相近的查詢圖像，并將其對應的信息傳輸至移動終端，實現視覺搜索。
2.根據權利要求1所述適用于移動終端的視覺搜索方法，其特征在于，在對待識別圖像特征點檢測之前，對待識別圖像進行降采樣處理。
3.根據權利要求1所述適用于移動終端的視覺搜索方法，其特征在于，在步驟3生成的描述符文件還進一步包括二進制局部特征向量個數，且GPS信息和二進制局部特征向量個數放在描述符文件的開頭。
4.根據權利要求1所述適用于移動終端的視覺搜索方法，其特征在于，所述匹配為:通過計算待識別圖像和查詢圖像的二進制特征向量的漢明距離，基于漢明距離尋找與待識別圖像最相近的查詢圖像。
5.根據權利要求1所述適用于移動終端的視覺搜索方法，其特征在于，當步驟4查找到的最近的GPS信息與待識別圖像對應的GPS信息相距超過設定閾值時，此時服務器生成無法查詢到相關信息的反饋信號回傳給移動終端。
6.根據權利要求1至5中的任一個所述適用于移動終端的視覺搜索方法，其特征在于，該視覺搜索方法適用的樣本圖像數據庫采用以下步驟建立: 適用于該方法的樣本圖像庫采用以下步驟建立: . 501、獲取帶GPS信息的樣本圖像，其中所述GPS信息為樣本圖像所顯示的場景的GPS信息； .502、提取每一幅樣本圖像的二進制局部特征向量，并生成倒排文件索引表； .503、建立以樣本圖像的GPS信息為聚類中心的更高層的索引，將屬于同一聚類中心的樣本圖像對應的倒排文件索引表存儲到一個鏈表中。
【文檔編號】G06K9/62GK103530649SQ201310483155
【公開日】2014年1月22日 申請日期:2013年10月16日 優先權日:2013年10月16日
【發明者】桂振文, 劉越, 王涌天 申請人:北京理工大學