專利名稱：用于使用基于網格的特征組織來執行視覺搜索的方法、設備和計算機程序產品的制作方法
技術領域：
本發明的實施方式總體上涉及內容檢索技術，尤其涉及用于使用基于網格的特征組織來執行視覺搜索的方法、設備和計算機程序產品。
背景技術：
現代通信時代已經引發了有線網絡和無線網絡的巨大擴展。計算機網絡、電視網 絡和電話網絡正在經歷著由消費需求所推動的空前的技術發展。無線和移動組網技術已經 解決了相關的消費者需求，同時提供了更加靈活和即時的信息傳送。當前和未來的組網技術持續促進著信息傳送的簡易性和用戶便利性。而一個需要 提高信息傳送的簡易性和用戶便利性的領域涉及在網絡中提供信息檢索。例如，可以使諸 如音頻、視頻、圖像內容、文本、數據等信息可用于在使用各種通信網絡的不同實體之間的 檢索。相應地，與每一個不同實體相關聯的設備都可以彼此通信，以便定位和影響信息傳 送。特別是，已經開發了支持諸如移動終端的設備進行針對關于特定查詢或者關鍵字的信 息或者內容的搜索的機制。基于文本的搜索通常涉及搜索引擎的使用，該搜索引擎配置成用于基于用戶輸入 的查詢項來檢索結果。然而，由于語言上的挑戰性諸如具有多重含義的詞語，使得搜索結果 可能不是始終如一地高質量。另外，在受低效率的用戶接口所累的設備上(例如，傳統的移 動終端)執行基于文本的搜索可能是麻煩和有問題的。由于上文所描述的與文本搜索相關聯的問題，所以其他搜索類型已普及。近來，就 視覺搜索而言，基于內容的搜索正在變得更為普及。在某些情形中，例如，當用戶希望從諸 如數據庫之類的特定位置檢索圖像內容時，用戶有可能希望根據圖像的內容來觀看圖像。 就此而論，例如，用戶可能希望觀看關于貓、動物、汽車等等的圖像。這樣，基于內容的視覺搜索功能已經變得普及。視覺搜索可以使用圖像匹配來撬 動大型視覺數據庫，以將查詢的圖像或者輸入的圖像與視覺數據庫中的圖像進行比較。針 對圖像的數據庫來執行查詢，每個圖像具有當查詢圖像與數據庫中的圖像匹配時可以顯示 的關聯內容。當定位了匹配圖像，相關信息可以作為搜索結果返回。可以將用于這些搜索 的視覺數據庫歸類成增強現實(AR)的形式。AR通常被認為是在單個介質中真實世界數據 與計算機生成的數據的組合，諸如視覺數據庫。現代移動設備擁有使得AR變得實用和通用的希望。第一，目前移動設備可以裝配 有寬帶無線連接，使得其用戶可以隨時隨地訪問萬維網的海量信息。第二，在移動設置中對 AR的需求是最高的。第三，設備的物理位置可以通過包括GPS和小區塔位置三角測量的若 干方式進行精確估算。這些特征使得移動設備成為用于實現和開發AR應用的理想平臺。然而，關于視覺搜索出現的問題在于考慮到視覺搜索數據庫的大小，數據庫搜索 需要執行搜索的設備上的大量的存儲器和處理能力以便迅速提供結果。將捕獲的圖像與大 型數據庫中的所有圖像進行比較以確定匹配的過程可能是復雜的，并且可能經常需要大量的處理能力。相應地，由于這些條件約束，視覺搜索的效率受到不利影響。然而，視覺搜索查詢經常是在請求視覺搜索的個人不是位于具有大量存儲器和處 理能力的有線設備附近的時候最實用。這樣，利用圖像捕獲技術的移動終端解決方案可以 提供用于執行視覺搜索的平臺。遺憾的是，傳統的移動終端經常不包含用于在整個視覺數 據庫上執行視覺搜索的存儲器或者處理能力。
相應地，有利的是提供一種用于在移動設備上和/或遠程服務器上以更快并且更 有效的方式執行視覺搜索的改進機制。
發明內容
因此在某些實施方式中，提供了用于提供更快并且更有效的移動視覺搜索的方 法、設備和計算機程序產品。特別是，提供了通過將視覺搜索集中在視覺搜索數據庫的目標 部分來提供增強的、基于視覺搜索的方法、設備和計算機程序。例如在這點上，可以在視覺 搜索數據庫中定義基于位置的小區，并且可以將數據庫中的特征解析成與小區相關聯的較 小數據集。通過以這種方式構建視覺搜索數據庫，視覺搜索可以使用小區參數來聚焦并且 相應地促進視覺搜索。這樣，可以將視覺搜索集中到特定數據集，而不是查詢整個數據庫。 由于是集中的視覺搜索，所以可以加速基于服務器的搜索。另外，由于查詢的目標是相對較 小的數據集，所以可以將數據集本身傳送到電子設備。電子設備可以通過向服務器傳送設 備的當前位置來接收適當的數據集。這樣，移動設備可以具有依靠接收到的較小數據集進 行本地視覺搜索并且迅速提供結果的能力。相應地，可以提高搜索結果檢索的效率，并且可 以改進電子設備(諸如，移動終端)的內容管理功能、導航功能、觀光功能和娛樂功能。在一個實施方式中，提供一種方法，其中接收與基于位置的網格區域相關聯的特 征集合。基于位置的網格區域還可以與設備(諸如，移動設備)的位置相關聯。這樣，當設 備移入不同的基于位置的網格時，可以通過接收與目前特征集中的特征不類似的特征來更 新接收到的特征集。除了特征集，還接收了查詢圖像特征。繼而通過將查詢圖像特征與特 征集進行比較來執行視覺搜索。例如在一個實施方式中，可以使用最近相鄰者搜索結構執 行視覺搜索，該最近相鄰者搜索結構包括比較器和特征指針。然后，可以返回搜索結果。關于特征集，可以通過策略方式來定義該特征集，以便提高視覺搜索的效率。在這 點上，一個實施方式的特征集可以使用上下文、情境和優選項條件來標識。特征集還可以包 括基于位置的元特征分組。另外，可以從特征集中排除具有少于指定數量的鄰近者的特征。 此外，可以基于特征到設備的距離從存儲器中消除特征。通過策略上限制視覺上搜索的特征集的大小，在某些實施方式中，可以通過移動 設備來執行搜索。備選地，視覺搜索可以由服務器來執行并將結果返回至該設備。即使設 備執行視覺搜索，在某些情況下(諸如，其中最初搜索結果是無結果的實例中)，也可以向 服務器傳送查詢圖像特征和位置信息，以便服務器依靠與基于位置的網格區域相關聯的附 加特征來執行視覺搜索。在另一實施方式中，提供了一種設備，其包括配置成接收與基于位置的網格區域 相關聯的特征集的處理器。該基于位置的網格區域還可以與設備(諸如，移動設備)的位 置相關聯。除了特征集，處理器還配置成接收查詢圖像特征。該處理器還配置成通過將查 詢圖像特征與特征集進行比較來執行視覺搜索，繼而返回搜索結果。
備選地，提供了一種設備，其包括用于接收與基于位置的網格區域相關聯的特征 集的裝置。該基于位置的網格區域還可以與設備(諸如，移動設備)的位置相關聯。此實 施方式的設備還包括用于接收查詢圖像特征的裝置。此外，此實施方式的設備包括用于通 過將查詢圖像特征與特征集進行比較來執行視覺搜索的裝置，以及用于返回搜索結果的裝置。在進一步的實施方式中，提供了一種計算機程序產品，其具有用于存儲計算機可 讀程序代碼部分的計算機可讀存儲介質，該計算機可讀程序代碼部分包括用于接收與基于 位置的網格區域相關聯的特征集的第一可執行部分。該基于位置的網格區域還可以與設備 (諸如，移動設備)的位置相關聯。還包括用于接收查詢圖像特征的第二可執行部分。計算 機程序產品還包括通過將查詢圖像特征與特征集進行比較來執行視覺搜索的第三可執行 部分，以及用于返回搜索結果的第四可執行部分。在本發明的另一方面中，提供了一種用于構建視覺搜索數據庫的方法。該方法定 義基于位置的網格、獲取訓練圖像和相關信息，繼而將訓練圖像和相關信息與基于位置的 網格的一部分相關聯。該方法還執行特征提取、分派特征魯棒性值、以及生成且存儲元特 征。本發明的實施方式可以提供用于在設備中使用以便增強內容檢索(諸如，通過視 覺搜索進行的內容檢索)的方法、設備和計算機程序產品。例如作為結果，移動終端和其他 電子設備可以從能夠以有效的方式執行內容檢索，并且在降低對文本輸入的依賴的情況下 以智能并且有用的方式向用戶提供結果的能力中獲益。
因此，已經概括地描述了本發明的實施方式，現將參考附圖，該附圖不必按比例繪 制，其中圖1是根據本發明一個示例性實施方式的移動終端的示意性框圖；圖2是根據本發明一個示例性實施方式的無線通信系統的示意性框圖；圖3示出了根據本發明一個示例性實施方式的用于提供視覺搜索的裝置的框圖；圖4示出了根據本發明一個示例性實施方式的基于位置的網格；圖5是根據本發明一個示例性實施方式負責構建視覺搜索數據庫的操作的流程 圖；圖6a是根據本發明一個示例性實施方式負責執行視覺搜索的操作的流程圖；以 及 圖6b示出了根據本發明一個示例性實施方式的視覺搜索中使用的特征存儲結構 和搜索結構。
具體實施例方式現將參考附圖更全面地描述本發明的實施方式，附圖中示出了本發明的某些而不 是所有實施方式。實際上，本發明可以按照不同形式來實現，并且不應當解釋為局限于這里 提出的實施方式；相反，提供這些實施方式是為了本公開滿足適用的法律要求。貫穿全文， 相同的標號表示相同的元件。
圖1示出了將受益于本發明實施方式的移動終端10的框圖。然而，應當理解，所示出的以及在此后描述的移動電話僅僅是受益于本發明實施方式的一種類型的移動終端 的示范，因此，不應用來限制本發明實施方式的范圍。盡管出于示例目的而示出并在此后描 述了移動終端10的一種實施方式，但是其他類型的移動終端也可以容易地采用本發明的 實施方式，其中其他類型的移動終端諸如可以是便攜式數字助理(PDA)、尋呼機、移動計算 機、移動電視、游戲設備、膝上型計算機、照相機、錄像機、GPS設備以及其他類型的語音和文 本通信系統。此外，非移動的設備也可以容易地使用本發明的實施方式。下文將主要結合移動通信應用來描述本發明實施方式的系統和方法。然而，應當 理解，可以結合移動通信產業之內以及移動通信產業之外的各種其他應用來使用本發明實 施方式的系統和方法。移動終端10包括與發射器14以及接收器16進行可操作通信的天線12 (或多個 天線)。該移動終端10還包括分別向發射器14提供信號以及從接收器16接收信號的裝 置，諸如控制器20或其他處理元件。該信號包括符合合適的蜂窩系統的空中接口標準的信 令信息，以及用戶語音、接收數據和/或用戶生成數據。就此而論，移動終端10能夠結合一 個或多個空中接口標準、通信協議、調制類型以及接入類型來工作。作為例證，移動終端10 能夠依照第一、第二、第三和/或第四代通信協議等等眾多協議中的任何一種來工作。例 如，移動終端10能夠依照第二代(2G)無線通信協議IS-136(時分多址(TDMA))、GSM(全球 移動通信系統)和IS-95(碼分多址(CDMA))來工作，或者能夠依照諸如通用移動電信系統 (UMTS)、CDMA2000、寬帶CDMA (WCDMA)以及時分同步CDMA (TD-SCDMA)之類的第三代(3G)無 線通信協議來工作，還能夠依照第四代(4G)無線通信協議等來工作。可以理解，諸如控制器20這樣的裝置包括實現移動終端10的音頻和邏輯功能所 需的諸如電路的裝置。例如，控制器20可以包括數字信號處理器設備、微處理器設備以及 各種模數轉換器、數模轉換器和其他支持電路。移動終端10的控制和信號處理功能按照這 些設備各自的能力在其間分配。控制器20由此還可以包括在調制和傳送之前對消息和數 據進行卷積編碼和交織的功能。控制器20還可以包括內部聲音編碼器，并且可以包括內部 數據調制解調器。此外，控制器20可以包括對一個或多個軟件程序進行操作的功能，該軟 件程序可以存儲在存儲器中。例如，控制器20可以能夠操作連接程序，諸如傳統的Web瀏 覽器。連接程序繼而可以允許移動終端10例如按照無線應用協議(WAP)、超文本傳輸協議 (HTTP)等來傳送和接收Web內容(諸如基于位置的內容和/或其他web頁面內容)。移動終端10還可以包括用戶接口，其包括輸出設備，例如傳統的耳機或者揚聲器 24、麥克風26、顯示器28以及用戶輸入接口，所有這些設備都耦合至控制器20。允許移動 終端10接收數據的用戶輸入接口可以包括允許移動終端10接收數據的多種設備中的任意 設備，例如小鍵盤30、觸摸顯示器(未示出)或者其他輸入設備。在包括小鍵盤30的實施 方式中，小鍵盤30可以包括傳統的數字鍵(0-9)和相關鍵(#、*)，以及用于操作移動終端 10的其他鍵。備選地，小鍵盤30可以包括傳統的QWERTY小鍵盤布置。小鍵盤30還可以包 括與功能相關聯的各種軟鍵。作為替代或補充，移動終端10可以包括諸如操縱桿的接口設 備或者其他用戶輸入接口。移動終端10還包括電池34，諸如振動電池組，用于為操作移動 終端10所需的各種電路供電，以及可選地提供機械振動作為可覺察輸出。在一個示例性實施方式中，移動終端10包括與控制器20通信的媒體捕獲元件，例如相機、視頻和/或音頻模塊。該媒體捕獲元件可以是用于捕獲圖像、視頻和/或音頻以供 存儲、顯示和傳送的任何裝置。例如，在媒體捕獲元件是相機模塊36的示例性實施方式中， 相機模塊36可以包括能從捕獲圖像中形成數字圖像文件的數碼相機。同樣，相機模塊36 包括從捕獲圖像中創建數字圖像文件所需要的所有硬件和軟件，其中硬件例如是鏡頭或是 一個或多個其他光學部件。備選地，相機模塊36可以只包括查看圖像所需要的硬件，而移 動終端10的存儲器設備則存儲了供控制器20執行的指令，其中所述指令采用的是從捕獲 圖像中創建數字圖像文件所需要的軟件的形式。在一個示例性實施方式中，相機模塊36還 可以包括處理元件，諸如在處理圖像數據的過程中幫助控制器20的協處理器，以及用于壓 縮和/或解 壓縮圖像數據的編碼器和/或解碼器。例如，所述編碼器和/或解碼器可以根 據聯合圖像專家組(JPEG)標準格式或者其他格式來進行編碼和/或解碼。移動終端10還可以包括定位傳感器37，例如與控制器20通信的全球定位系統 (GPS)模塊。該定位傳感器37可以是用于定位移動終端10的位置的任何裝置、設備或電 路。此外，定位傳感器37還可以是用于定位在相機模塊36捕獲的圖像中的興趣點(POI)位 置的任何裝置，其中所述興趣點例如是商店、書店、餐廳、咖啡店、百貨商店以及其他公司等 等。同樣，這里使用的興趣點可以包括用戶感興趣的任何實體，例如產品和其他對象等等。 定位傳感器37可以包括用于定位移動終端或圖像中的POI的位置的所有硬件。作為替換 或補充，定位傳感器37可以利用移動終端10的存儲器設備來存儲供控制器20執行的指 令，其中所述指令采用的是確定移動終端或POI圖像的位置所需要的軟件的形式。雖然此 示例的定位傳感器37可以是GPS模塊，定位傳感器37可以包括或者另外備選地體現為，例 如，輔助式全球定位系統(Assisted-GPS)傳感器或者定位客戶端，該客戶端可以與網絡設 備通信用于接收和/或傳送確定移動終端10的位置所使用的信息。在這點上，移動終端10 的位置可以通過上文所描述的GPS、小區ID、信號三角測量或者其他機制等來確定。在一個 示例性實施方式中，定位傳感器37包括計步器或者慣性傳感器。這樣，定位傳感器37可以 能夠確定移動終端10的位置，諸如，移動終端10的經度和緯度方向，或者相對于諸如目的 地或起點的參考點的位置。繼而，可以向移動終端10的存儲器或另一存儲器設備發送來自 位置傳感器37的信息，從而將其作為位置歷史或地點信息存儲。另外，定位傳感器37能夠 通過使用控制器20來經由發射器14/接收器16向服務器傳送/接收位置信息，其中所述 位置信息例如是移動終端10的位置以及一個或多個POI的位置，所述服務器例如是視覺搜 索服務器51和/或視覺搜索數據庫53 (參見圖2)，在下文中將會對此進行更全面的描述。移動終端10還可以包括視覺搜索客戶端68 (例如統一的移動視覺搜索/映射客 戶端)。該視覺搜索客戶端68可以是以硬件、軟件或軟件和硬件的組合實現的任何裝置或 設備，所述裝置或設備能夠與視覺搜索服務器51和/或視覺搜索數據庫53 (參見圖2)通 信以處理從相機模塊36接收的查詢(例如圖像或視頻剪輯)，以便提供包含了與查詢具有 一定相似度的圖像的結果。例如，視覺搜索客戶端68可以被配置成在移動終端10指向對 象和/或POI的時候、或在對象和/或POI處于相機模塊36的視線以內的時候、或當相機 模塊36在圖像中捕獲到POI的時候，辨認(通過在視覺搜索數據庫53中基于查詢圖像來 進行針對類似圖像的視覺搜索，或是通過將查詢圖像(原始的或壓縮的)或查詢圖像的特 征傳遞到視覺搜索服務器51來進行視覺搜索并接收結果)對象和/或興趣點。移動終端10還可以包括用戶身份模塊(UIM)38。UIM 38通常是具有內置處理器的存儲器設備。例如，UIM 38可以包括訂戶身份模塊(SIM)、通用集成電路卡(UICC)、通用訂 戶身份模塊(USIM)、可拆卸用戶身份模塊(R-UIM)等。UIM 38通常存儲了涉及移動訂戶的 信息元素。除了 UIM 38之外，移動終端10還可以配備存儲器。例如，移動終端10可以包 括易失性存儲器40，例如包含用于臨時存儲數據的高速緩存區域的易失性隨機存取存儲器 (RAM)。該移動終端10還可以包括其他非易失性存儲器42，其中所述非易失性存儲器可以 是嵌入式的和/或可以是可移動的。作為補充或替換，非易失性存儲器42可以包括電可擦 可編程只讀存儲器(EEPROM)、閃存等，諸如可以從加利福尼亞州的Sunnyvale市的SanDisk 公司或加利福尼亞州的Fremont市的Lexar Media公司得到的存儲器。這些存儲器可以 存 儲多種信息和數據中的任何一種，這些信息供移動終端10使用以便實施移動終端10的功 能。例如，這些存儲器可以包括能夠唯一標識移動終端10的標識符，例如國際移動設備標 識(IMEI)碼。圖2是根據本發明示例性實施方式的無線通信系統的示意性框圖。現在參考圖 2，該圖提供了一種從本發明示例性實施方式中獲益的系統的圖示。該系統包括多個網絡設 備。如圖所示，一個或多個移動終端10中的每一個都可以包括用于向基點或基站(BS)44 傳送信號以及從基點或基站(BS)44接收信號的天線12。基站44可以是一個或多個蜂窩或 移動網絡的一部分，其中每個蜂窩或移動網絡都包括操作網絡所需要的單元，例如移動交 換中心(MSC)46。正如本領域技術人員公知的那樣，移動網絡也可以被稱為基站/MSC/互 連功能(BMI)。在工作中，當移動終端10發起和接收呼叫時，MSC 46能夠路由往來于移動 終端10的呼叫。當在某個呼叫中涉及移動終端10時，MSC 46還可以提供與陸線干線相連 的連接。另外，MSC 46能夠控制往來于移動終端10的消息的轉發，并且可以控制往來于消 息收發中心且針對移動終端10的消息的轉發。應該指出的是，雖然在圖2的系統中顯示了 MSC 46，但是MSC 46僅僅是一個示例性網絡設備，并且本發明的實施方式并不限于在使用 了 MSC的網絡中運用。MSC 46可以耦合到數據網絡，例如局域網(LAN)、城域網(MAN)和/或廣域網 (WAN)。MSC 46可以直接耦合到數據網絡。然而，在一個典型實施方式中，MSC 46耦合到 網關設備(GTW) 48，而GTW48耦合到WAN，例如因特網50。而諸如處理元件(例如個人計算 機、服務器計算機等等)之類的設備可以經由因特網50耦合到移動終端10。例如，如下所 述，處理元件可以包括與如下所述的計算系統52、源服務器54、視覺搜索服務器51、視覺搜 索數據庫53等等相關聯的一個或多個處理元件。BS 44還可以耦合到信令GPRS (通用分組無線服務)支持節點(SGSN) 56。正如 本領域技術人員所知道的那樣，SGSN 56通常能為分組交換服務執行與MSC 46相類似的功 能。與MSC 46相似，SGSN56可以耦合到數據網絡，例如因特網50。該SGSN 56可以直接耦 合到數據網絡。但在更典型的實施方式中，SGSN 56耦合到分組交換核心網絡，例如GPRS 核心網絡58。然后，該分組交換核心網絡耦合到另一個GTW 48，例如GTW GPRS支持節點 (GGSN) 60，并且所述GGSN 60耦合到因特網50。除了 GGSN 60之外，分組交換核心網絡還 可以耦合到GTW 48。此外，GGSN 60也可以耦合到消息收發中心。在這點上，與MSC 46相 似，GGSN 60和SGSN 56可能能夠控制諸如匪S消息之類的消息的轉發。GGSN 60和SGSN 56還能控制往來于消息收發中心的針對移動終端10的消息的轉發。此外，通過將SGSN 56耦合到GPRS核心網絡58以及GGSN 60，諸如計算系統52和/或源服務器54之類的設備可以經由因特網50、SGSN 56以及GGSN 60耦合到移動終端 10。就此而論，諸如計算系統52和/或源服務器54之類的設備可以經由SGSN 56、GPRS核 心網絡58以及GGSN 60與移動終端10進行通信。通過直接或間接地將移動終端10和其 他設備(例如計算系統52、源服務器54、視覺搜索服務器51、視覺搜索數據庫53等等)連 接到因特網50，移動終端10可以與其他設備通信以及相互通信，其中例如，所述通信可以 依據超文本傳輸協議(HTTP)和/或類似協議，由此可以執行移動終端10的各種功能。雖然在這里沒有顯示和描述每個可能的移動網絡中的每個元件，但是應該了解， 移動終端10可以通過BS 44耦合到多個不同網絡中的一個或多個網絡。在這點上，所述 一個或多個網絡能夠支持依照第一代(IG)、第二代(2G)、2. 5G、第三代(3G)、3.9G、第四代 (4G)移動通信協議等眾多協議中的一個或多個協議的通信。例如，一個或多個網絡能夠支 持依照2G無線通信協議IS-136 (TDMA)、GSM和IS-95 (CDMA)的通信。此外，例如，一個或多 個網絡能夠支持依照2. 5G無線通信協議GPRS、增強型數據GSM環境(EDGE)等等的通信。 更進一步，例如，一個或多個網絡能夠支持依據3G無線通信協議的通信，諸如采用了 WCDMA 無線電接入技術的UMTS網絡。某些窄帶模擬移動電話服務(NAMPS)以及全接入通信系統 (TACS)網絡同樣可以得益于本發明的實施方式，并且雙模式或更高模式的移動臺(例如數 字/模擬或TDMA/CDMA/模擬電話)也應如此。移動終端10還可以耦合到一個或多個無線接入點(AP)62。AP62可以包括被配置 成根據諸如射頻(RF)、藍牙(BT)、紅外(IrDA)或是多種不同無線組網技術中的任何一種的 技術來與移動終端10進行通信的接入點，其中所述無線組網技術包括無線LAN(WLAN)技 術,例如 IEEE 802. 11 (例如 802. Ila,802. lib,802. Ilg,802. Iln 等等)、諸如 IEEE 802. 16 之類的全球微波接入互操作性(WiMAX)技術、和/或諸如IEEE 802. 15之類的超寬帶(UWB) 技術等等。AP 62可以耦合到因特網50。與MSC 46相同，AP 62可以直接耦合到因特網50。 但在一個實施方式中，AP是經由GTW 48間接耦合到因特網50。此外，在一個實施方式中， BS 44可以被認為是另一個AP 62。正如所了解的那樣，通過直接或間接地將移動終端10 和計算系統52、源服務器54和/或多個其他設備中的任意設備連接到因特網50，移動終端 10既可以相互通信，也可以與計算系統等等通信，由此執行移動終端10的各種功能，例如 向計算系統52傳送數據、內容等等和/或接收來自計算系統52的內容、數據等等。這里使 用的術語“數據”、“內容”、“信息”以及類似的術語可以可交換地用于指示那些能夠依照本 發明實施方式而被傳送、接收和/或存儲的數據。由此，任何此類術語的運用不應該限制本發明的實施方式的實質和范圍。應當理解，通過直接或間接地將移動終端10和計算系統52、源服務器54、視覺搜 索服務器51、視覺搜索數據庫53和/或多個其他設備中的任意設備連接到因特網50，移動 終端10既可以相互通信，也可以與計算系統52、源服務器54、視覺搜索服務器51、視覺搜 索數據庫53等等進行通信，由此執行移動終端10的各種功能，例如向計算系統52、源服務 器54、視覺搜索服務器51和/或視覺搜索數據庫53等等傳送數據、內容等等，和/或接收 來自計算系統52、源服務器54、視覺搜索服務器51和/或視覺搜索數據庫53等等的內容、 數據等等。例如，視覺搜索服務器51可以具體實現為一個或多個其他服務器，例如可以提 供與一個或多個移動終端10或是一個或多個興趣點(POI)的地理區域相關的地圖數據的 視覺地圖服務器，或是可以存儲與一個或多個POI的地理位置有關的數據以及可以存儲涉及不同興趣點的數據的POI服務器，其中所述數據包括但不局限于POI的位置、POI的類別(例如咖啡店或餐廳、運動場、音樂會等等)、涉及POI的產品信息等等。相應地，例如，移動 終端10可以捕獲圖像或視頻剪輯，并且所述圖像或視頻剪輯可以作為查詢而被傳送到視 覺搜索服務器51，以便在與視覺搜索數據庫53中存儲的圖像或視頻剪輯的比較中使用。同 樣，視覺搜索服務器51可以執行與相機模塊36所獲取的圖像或視頻剪輯的比較，并且確定 這些圖像或視頻剪輯與視覺搜索數據庫53中存儲的圖像或視頻剪輯是否接近以及接近的 程度。雖然在圖2中沒有顯示，但是作為將移動終端10經由因特網50耦合到計算系統 52和/或視覺搜索服務器51以及視覺搜索數據庫53的補充或替換，移動終端10和計算系 統52和/或視覺搜索服務器51以及視覺搜索數據庫53還可以相互耦合和通信，其中例如， 所述通信依照的是RF、BT、IrDA或是多種不同的有線或無線通信技術中的任何一種，這其 中包括LAN、WLAN、WiMAX和/或UWB技術等。或者作為補充或替換，計算系統52、視覺搜索 服務器51和視覺搜索數據庫53中的一個或多個可以包括能夠存儲內容的可移動存儲器， 這些內容此后能被傳送到移動終端10。更進一步，移動終端10可以耦合到一個或多個電子 設備，例如打印機、數字投影儀和/或其他多媒體捕獲、生成和/或存儲設備(例如其他終 端)。與計算系統52、視覺搜索服務器51以及視覺搜索數據庫53相同，移動終端10可以被 配置成與便攜電子設備進行通信，其中例如，所述通信依據的技術可以是RF、BT、IrDA或是 多種不同有線或無線通信技術中的任何一種，這其中包括通用串行總線(USB)、LAN、WLAN、 WiMAX和/或UWB技術等。圖3描繪了根據本發明一個示例性實施方式的用于執行視覺搜索的設備的示例 性框圖300。框圖300包括以下操作創建網格310、捕獲訓練圖像和相關信息320、建立 數據庫330、標識內核340、接收標記了位置的查詢圖像350、執行圖像匹配360和提供結果 370。在操作310，可以建立網格系統以便促進與標記了位置的訓練圖像和關聯信息或者用 于建立數據庫的源信息的關聯性。在操作320，可以捕獲訓練圖像和相關信息。如所描繪 的，將標記了位置的訓練圖像和相關信息與網格相關聯促進在330處的視覺搜索數據庫的 創建。可以在340標識該數據庫的基于位置的子集或者內核。可以在350接收標記了位置 的查詢圖像，并且可以在操作360中針對與內核340相關聯的特征匹配標記了位置的查詢 圖像，即執行圖像匹配。一旦識別出匹配，則可以在370提供視覺搜索的結果。這樣，示例 性框圖300描繪了本發明的示例性概觀。圖4描繪了示例性的基于位置的網格400。基于位置的網格400包括單元格410。 基于位置的網格400可以使用任何類型的位置描述信息來定義，包括但不限于緯度/經度、 緯度/經度/高度三元組、位置指示符或者小區ID。圖4中是在二維平面上描繪基于位置 的網格400。然而，可以想到基于位置的網格400可以是三維的，其中第三維可以使用例如 高度進行描述。基于位置的網格400的單元格(loXel)410可以描述為基于位置的網格400的基 本單元區域。如這里所使用的，術語“單元格”和“小區”可以互換使用以表示基于位置的 網格的基本單元區域。在示例性的基于位置的網格400中，每個單元格是正方形。然而，考 慮到單元格可以定義為任何形狀區域，諸如圓形、長方形、任何其他多邊形形狀或者其他不 規則的形狀。此外，在某些實施方式中，單元格可以具有靈活的半徑。另外，所有的單元格不必是相同的形狀或者大小。在某些實施方式中，單元格的大小和形狀可以通過與特定單 元格相關聯的特征的數量來確定。這樣，特定單元格中包圍的區域可以隨著在例如視覺搜 索數據庫53中添加、移除或者壓縮特征而動態地變化。相應地，在某些實施方式中，單元格 大小可以是基于特定區域中對象的密度。此外，當基于位置的網格400是三維時，例如單元 格可以由三維多邊形來定義。另外，來自示例性視覺搜索數據庫的圖像特征可以與圖像中 描繪的對象所處的單元格相關聯。可以將這種特征表示為單元格特征集。內核或者鄰域可以定義為從特定單元格(創造的內核基礎單元格)可見的區域。 在圖4中，內核430可以由其基礎單元格來定義。在某些實施方式中，基礎單元格位于其內 核的中心。然而，可以想到，由于內核的視覺邊界可以是不統一的，所以基礎單元格可以位 于內核內的任何地方。此外，內核的大小可以由這樣的距離進行限制在該距離視覺對象 不再是可辨別的或者具有高的被遮擋可能性。在某些示例性實施方式中，針對給定的基礎 單元格，由于內核的區域大小是通過可見性確定的，所以可以將該內核區域考慮為常量。另 夕卜，在某些實施方式中，由于位于內核外部的對象可能從基礎單元格看是不可見的，所以當 進行視覺搜索時不必考慮內核外部的圖像。在圖4中，該示例性內核被定義為包圍基礎單 元格和空間上鄰近的單元格的區域。然而，可以想到，根據從內核的基礎單元格中看的可見 程度，內核中的區域可以是任意數目的形狀和大小。相應地，在某些實施方式中，內核可以 包括由多個單元格或者單元格的部分定義的區域。在某些實施方式中，將與從基礎單元格中可見的對象相關聯的所有特征與內核相 關聯，這些特征可以表示為內核特征集。這樣，在某些實施方式中，內核特征集包括執行視 覺查詢所需的所有特征，在該視覺查詢中查詢圖像是從內核的基礎單元格中的位置捕獲 的。相應地，在某些示例性實施方式中，為了管理包含在特定內核中的特征數量，以及因此 管理視覺搜索的速度與效率，可以調整基礎單元格的大小。較小的基礎單元格可以產生較 小的內核，并且相應地導致內核特征集中的特征較少，因為對于較小的單元格而言較少的 對象可以是可見的。類似地，較大的基礎單元格可以產生較大的內核并且相應地導致關聯 的內核特征集中的特征增加。改變基礎單元格的區域大小和相應的內核特征集的大小，例 如可以允許向移動終端10傳送內核，其中移動終端10中的存儲器的存儲能力可能是有限 制的。因此，在某些實施方式中，內核可以定義示例性視覺搜索數據庫53中的與基礎單元 格相關聯(并且最終與示例性移動終端10的位置相關聯)的特征子集。此外，在某些實施 方式中，內核的形狀或大小可以是變化的，其中關聯的基礎單元格的形狀和大小仍然是固 定的。另外，當考慮上下文、情境和優選信息時，多個內核可以與單個基礎單元格相關聯。上下文和情境條件諸如但不限于，一天中的時刻、一年中的時間、當前天氣情況以及白 天與晚上情況，其可以用于在給定那些條件下標識針對基礎單元格的適當內核。此外，優選 條件諸如但不限于，帶寬使用、帶寬可用性、存儲器使用、存儲器容量、會議模式、休假模式 或者可能影響對象匹配的任何其他條件，其可以用于在特定上下文、情境或者優選條件下 標識針對給定基礎單元格的適當內核。基于位置的網格400、單元格410和內核420 —起可以用于組織并且標識視覺搜索 數據庫中的特征。這樣，結果得到的組織可以將視覺搜索集中到較大數據庫的較小部分上。 這樣做，可以改進視覺搜索功能的速度和效率。此外，由于這樣組織，數據庫的移動性是可行的，因為數據庫的小部分可以先于針對視覺搜索的用戶請求進行標識。圖5是根據本發明示例性實施方式的方法的流程圖。應當理解，流程圖的每個框 或者步驟和流程圖中框的組合可以通過各種裝置來實現，諸如硬件、固件和/或包括一個 或者多個計算機程序指令的軟件。例如，所描述的一個或多個過程可以通過計算機程序指 令來體現。容易理解，可以將任何這種計算機程序指令加載到計算機或者其他可編程設備 (即，硬件)用于生產機器，從而在計算機或者其他可編 程設備上執行的指令可以創建用于 實現流程圖框或者步驟中指定的功能的裝置。這些計算機程序指令還可以存儲到計算機可 讀存儲器，該計算機可讀存儲器可以命令計算機或者其他可編程設備以特定的方式工作， 從而存儲在計算機可讀存儲器中的指令生產出包括實現流程圖框或者步驟中指定的功能 的指令裝置的制品。計算機程序指令還可以加載到計算機或者其他可編程設備，用于產生 一系列在計算機或者其他可編程設備上執行的可操作步驟以產生計算機可實現的過程，從 而在計算機或者其他可編程設備上執行的指令提供了用于實現流程圖框或者步驟中指定 的功能的步驟。相應地，流程圖的框或者步驟支持用于執行指定功能的裝置的組合、用于執行指 定功能的步驟的組合和用于執行指定功能的程序指令裝置。還應當理解流程圖的一個或者 多個框或者步驟以及流程圖中框或者步驟的組合，可以通過執行指定功能或者步驟的專用 的基于硬件的計算機系統來實現，或者可以通過專用硬件和計算機指令的組合來實現。圖5描繪了構建視覺搜索數據庫方法500的流程圖。在某些實施方式中，視覺搜索 數據庫可以是視覺搜索數據庫53。方法500包括以下操作獲取訓練圖像和相關信息510、 將訓練圖像和相關信息與單元格相關聯520、執行特征提取和分派魯棒性值530，以及生成 元特征540。雖然是以特定的順序對方法500的操作進行描述，但可以想到不同的操作順 序。此外，可以想到方法500的某些或者所有操作可以在本地例如移動終端10上執行，或 者遠程地例如在視覺搜索服務器51上執行。在操作510，可以執行獲取訓練圖像和相關信息。訓練圖像和相關信息可以從包括 但不限于因特網、視覺搜索查詢數據、專屬數據庫的許多源，以及其他電子或者非電子的源 獲取。例如，標記了位置的圖像可以用作訓練圖像和關聯信息，所述標記了位置的圖像例如 是具有包括位置信息的關聯元數據或者其他標簽的圖像，或者諸如關聯網站上的那些具有 位置信息的圖像，例如包括位置指示的內容的圖像。此外，例如，移動終端10捕獲的標記了 位置的查詢圖像可以是訓練圖像和關聯信息的源。相應地，可以將訓練圖像和關聯信息從 多個源匯集，以便添加至例如視覺搜索數據庫53。這樣，在某些實施方式中，根據方法500 的視覺搜索數據庫的構建可以是個連續過程，其中標記了新位置的查詢圖像或者標記了位 置的網站圖像不斷地作為訓練圖像被添加至數據庫，并且方法500的操作在這些新的訓練 圖像和相關信息上執行。另外，隨著每個訓練圖像被添加至數據庫，可以給訓練圖像分派唯 一的ID以用作與包括在該訓練圖像中的特征相關聯的索引。獲取訓練圖像和相關信息510可以進一步包括如下過程，其將訓練圖像和相關信 息與其他訓練圖像和相關信息聚合在一起。可以執行有監督的訓練過程，其基于出現在集 群中的每個訓練圖像的對象(諸如建筑物、商業機構或者自然地標)來聚集訓練圖像和相 關信息。可以執行無監督的訓練過程，其中沒有產生對象關系，而是根據相似性將訓練圖像 和相關信息聚集。
在操作520中可以執行將訓練圖像和相關信息與單元格相關聯。每個訓練圖像可 以標有位置信息，諸如包含位置信息的元數據。這樣，由于單元格可以定義為基于位置的區 域，所以訓練圖像可以通過標識了相應單元格中的位置的訓練圖像的位置信息與單元格相 關聯。在操作530可以執行特征提取和分派魯棒性值。可以通過稱作特征提取的過程將 訓練圖像分解成關聯特征。可以對提取的相同對象的圖像的特征進行處理并且分組。可以 將對應于相同對象但是在不同條件下(諸如不同的視角、距離和照明條件)得到的共同特 征進行分組。這樣，可以從每個圖像生成與特定單元格相關聯的關于視點和照明改變的視 覺特征集。此外，最近鄰近者搜索結構可以被用來確定特征的魯棒性。可以將與一個單元格相關聯的所有特征插入至最近鄰近者搜索數據結構。最近鄰近者搜索數據結構可以通過特 征參數空間來組織，并且可以潛在地是高維度的。相應地，針對單元格中的每個視覺特征， 最近鄰近者搜索結構可以用于尋找與另一個特征具有充分接近(例如，在一個預定的范圍 內)的值的所有特征。此過程可以用于確定最近鄰近者搜索數據結構中一個特征的鄰近 者。由于針對特定特征標識了鄰近者，所以可以遞增特征計數或者魯棒性值，并且可以通過 將訓練圖像的ID添加至與該特征相關聯的圖像列表來將那些特征分組在一起。越是魯棒 的特征將具有越高的計數。在某些實施方式中，可以在視覺搜索中回避那些具有特定計數 (經常是較低計數)的特征。在其他實施方式中，具有特定計數(例如小于預定閾值的計 數)的特征由于魯棒性不足而不被包括在內核特征集中。然而，在某些實施方式中，具有特 定計數的特征可以依然存儲在視覺搜索數據庫中，這敞開了這些特征可能隨著特征被添加 至數據庫而變得更加魯棒的機會。在操作540可以執行生成元特征。由于特征計數大于0表示若干特征被分在一組 組在一起，該特征分組可以由元特征取代。元特征可以計算為分組特征的平均和關聯的邊 界框。另外，可以確定不變的描述符或者值。在某些實施方式中，可以通過使用諸如以不同 圖像比例的邊和角之類的圖像特征來確定不變的描述符或值。這些特征可以用于計算特征 周圍區域中的圖像統計，用于確定不變的描述符。在某些實施方式中，針對每個元特征，可 以存儲不變的描述符或值、邊界框、與元特征相關聯的或者包括在元特征中的訓練圖像的 索引以及關聯的信息。注意，當涉及視覺搜索過程時，術語特征和元特征可以互換使用。在某些實施方式中，可以將作為方法500操作的結果構建的數據庫存儲至諸如視 覺搜索服務器51之類的服務器上。同樣地，在允許的存儲器限制內，在某些實施方式中，可 以將作為方法500操作的結果構建的數據庫存儲至例如移動終端10上。圖6a的流程圖描繪了執行視覺搜索的方法600。該方法包括使用位置信息標識基 礎單元格610、使用基礎單元格標識內核620、接收查詢圖像特征630、通過將查詢圖像特征 與內核特征集進行比較來執行內核特征集的視覺搜索640，以及返回搜索結果650。雖然是 以特定的順序對方法600的操作進行描述，但可以想到不同的操作順序。此外，可以想到方 法600的某些或者所有操作可以在本地例如移動終端10上執行，或者遠程地例如在視覺搜 索服務器51上執行。在操作610可以執行使用位置信息標識基礎單元格。位置信息可以例如從進行或 者請求視覺搜索的移動終端10的定位傳感器37得到。位置信息可以是任何類型的位置描述信息，包括但不限于緯度/經度、緯度/經度/高度三元組、位置指示符或者小區ID。相應地，可以使用位置信息標識基礎單元格，其中位置信息描述了該基礎單元格中的位置。因 此，根據本發明的某些實施方式，可以使用移動終端10的定位傳感器37提供的位置信息來 確定移動終端10所位于的基礎單元格。在操作620可以執行使用基礎單元格來標識內核。如上文所述，每個基礎單元格 具有一個或者多個與其相關聯的內核。在某些實施方式中，可以使用上下文、情境和優選條 件來標識適當內核。此外，在某些實施方式中，操作620可以通過標識示例性視覺搜索數據 庫53中的內核來實現。在某些示例性實施方式中，移動終端10可以向視覺搜索服務器51 提供位置信息用于確定適當的內核。在其他示例性實施方式中，可以將視覺搜索數據庫存 儲在移動設備10上，并且內核的標識可以在移動終端10上實現。在某些實施方式中，操作620可以包括在移動終端10上從視覺搜索服務器51接 收內核特征集。例如，可以基于移動終端10的位置不斷地更新移動終端10上的內核特征 集。這樣，當移動終端10移到基礎單元格外部時，移動終端10可以接收關于新的當前基礎 單元格的新特征。例如，如果移動終端10移到一個基礎單元格外部，那么可以接收到與當 前基礎單元格相關聯的新的內核特征集。備選地，由于內核特征集可以由多個單元格特征 集組成，并且鄰近的內核有可能具有包含在這些內核內的重疊單元格，所以在某些實施方 式中，移動終端10可以僅接收不屬于過去的內核特征集的一部分的單元格特征集。在由服 務器存儲或者維護視覺搜索數據庫的情況下，服務器可以重復地輪詢移動終端的位置或者 移動終端可以重復地向服務器提供其當前位置，以便服務器可以確定移動終端是否移入不 同的單元格，從而需要更新內核特征集。備選地，移動終端可以本地存儲當前基礎單元格的 邊界，這樣可以能夠重復將其當前位置與當前基礎單元格的邊界進行比較。如果此實施方 式的移動終端確定該移動終端已經移入另一單元格，該移動終端可以向服務器提供其位置 或者新的基礎單元格連同關于更新內核特征集的請求。此外，由于內核特征集可以由多個單元格特征集組成，所以可以將每個單元格特 征集存儲為特征庫中的一個單位或者特征塊。圖6b示出了一個示例性特征存儲結構和視 覺搜索中使用的搜索結構。圖6b進一步描繪了特征庫660、特征665和特征塊670。為了 促進內核特征集的更新，新近標識的單元格特征集可以作為特征塊670進行存儲。可以將 特征665存儲至特征庫，使得特征是高維度的。在某些實施方式中，在可用存儲器容量是有 限的情況下，在達到存儲器極限時，新近標識的單元格特征集可以替換特征庫中的已有特 征塊。在某些實施方式中，當達到存儲器極限時，首先替換對應于距離例如移動終端10的 位置最遠的單元格的特征塊。在某些實施方式中，在不存在存儲器限制的情況下，保持在特 征庫中的單元格特征集可以保留在特征庫中。此外，在某些實施方式中，其中特定的特征與 許多內核相關聯，由特征要素替換特征可能是可行的。在某些實施方式中，可以出現更新內核特征集的過程，以便在執行移動視覺查詢 的請求之前接收到內核特征集。這樣，當數據庫太大而不能整個存儲在例如移動終端10上 時，以這種方式更新內核特征集促進了執行高效的移動視覺搜索的能力。此外，在某些實施 方式中，執行移動視覺搜索所需的所有特征可以在示例性移動終端10上獲取。在其中內核 特征集不是基于移動而不斷地更新的實施方式中，由于必須在真正執行視覺搜索之前響應 于執行視覺搜索的請求更新內核特征集，從而導致低效的視覺搜索響應。另外，在某些實施方式中，當在示例性移動終端10上傳送和接收特征時，可以使用壓縮機制和解壓縮機制。在操作630可用執行接收查詢圖像特征。在某些實施方式中，移動終端10的相機模塊36可以用于捕獲查詢圖像。在某些實施方式中，可以在查詢圖像上執行特征提取以生 成查詢圖像特征。可以將查詢圖像特征例如存儲至移動終端10的易失性存儲器40或者非 易失性存儲器42。在某些實施方式中，可以向視覺搜索服務器51傳送查詢圖像特征和關聯 的位置信息。在操作640可以執行通過將查詢圖像特征與內核特征集進行比較(或者更精確的 講是執行特征匹配)來執行視覺搜索。在某些實施方式中，操作640可以在移動終端10上 執行，其中在移動終端10上接收內核特征集。在其他實施方式中，操作640可以在視覺搜 索服務器51上執行。在某些實施方式中，數據結構(諸如，內核最近鄰近者搜索結構)可以基于內核特 征集生成，并且可以使用內核最近鄰近者搜索結構來促進操作640。其結果可以是如下數據 結構其中特征通過位置進行索引并且繼而根據特征相似性來搜索。圖6b描繪了具有兩個 最近鄰近者搜索子結構675和680的內核特征集的示例性實施方式。此處示例性最近鄰近 者搜索結構包括兩個子結構675和子結構680，其進一步包括比較器685和特征指針690。 針對每個查詢圖像特征，可以在最近鄰近者搜索結構的每級在比較器與查詢圖像特征之間 進行比較。在某些實施方式中，比較器可以將針對特征描述符的每個維度的值與和比較器 相關聯的值之間的差進行相加。在其他實施方式中，比較器可以將針對特征描述符的每個 維度的值與和比較器相關聯的值之間的差的平方進行相加。如果一個特征越接近地匹配一 個特定比較器，該過程可以移至該結構的關聯分支。繼續該比較過程直到達到該結構的最 低級，即指針690。一旦針對指針確定了匹配，那么該指針將指示特征庫660中的關聯特征 的位置。此外，當確定了特征匹配時，可以將關于所存儲特征的訓練圖像的吻合度保留。在 匹配了查詢圖像的每個特征之后，使用利用特征存儲的訓練圖像索引來標識具有最高吻合 度的訓練圖像。在某些實施方式中，在訓練圖像的吻合度沒有達到設置值的情況下，可以消 除該訓練圖像是一個潛在對象匹配。舉例來說，查詢圖像可以包括三個指定為Fl、F2和F3的特征。基于上述技術，特 征Fl被確定為與圖像II、圖像12和圖像13匹配；特征F2被確定為與圖像12、圖像13和 圖像14匹配；以及特征F3被確定為與圖像13、圖像14和圖像15匹配。這樣，吻合度(例 如，特征匹配的總數)針對Il是1、針對12是2、針對13是3、針對14是2以及針對15是 1。如果圖像必須具有多于一個特征匹配才被認為是潛在匹配，那么圖像Il和15可以被消 除，從而圖像12、13和14作為潛在匹配保留，而13則是最有可能的潛在匹配。在某些實施 方式中，可以通過考慮查詢圖像中特征的空間關系并且確保匹配的圖像遵循類似的空間關 系來確認特征匹配結果。以這種方式確認匹配可以緩解圖像中的噪聲和圖像中的對象的外 觀改變的問題。這樣，當匹配了所有查詢圖像特征，可以標識訓練圖像和關聯信息。在某些實施方 式中，其中在移動終端10上執行搜索并且沒有獲取匹配的訓練圖像，可以向視覺數據庫服 務器傳送查詢圖像特征和位置信息，并且可以在服務器上執行特征匹配，其可以包括與移 動終端10沒有接收到的特征(例如，非魯棒性特征)的比較。另外，在某些實施方式中，在 向視覺搜索服務器傳送查詢圖像特征和位置信息用于比較的情況下，查詢圖像特征和位置信息可以通過方法500添加至數據庫。此外，可以脫離內核最近鄰近者搜索結構將內核特征集存儲至特征庫660。當在 某些實施方式中將內核特征集和內核最近鄰近者搜索結構存儲到移動終端10上時，分開 存儲內核特征集和內核最近鄰近者搜索結構促進了特征庫的更新。另外，當將新的單元格 特征集添加至特征庫作為當前內核特征集的一部分時，可以做出對內核的最近鄰近者搜索 結構的修改。在某些實施方式中，可以在移動終端10上接收具有操作620中論述的新的內 核特征集或者新的單元格特征集的新的內核最近鄰近者搜索結構。然而，在某些實施方式 中，新的內核最近鄰近者搜索結構可以使用更新的內核特征集在本地例如移動終端10上 生成。此外，在其他示例性實施方式中，可以在移動終端10上接收與新的單元格特征集相 關聯的最近鄰近者搜索結構的單元格部分。這些單元格最近鄰近者搜索結構可以與示例性 移動終端10上的已有的內核最近鄰近者搜索結構合并，或者保留作為獨立的結構。如果進 行合并過程，在某些實施方式中，該單元格最近鄰近者搜索結構可以簡單地與已有的內核 最近鄰近者搜索結構合并，而不考慮不再包含于當前內核中的內核最近鄰近者搜索結構部 分。此外，內核最近鄰近者搜索結構可以每隔一定間隔基于當前內核特征集進行完全重建。
在操作650可以執行返回搜索結果。例如，視覺搜索結果可以通過將結果顯示到 移動終端10的顯示器28上進行返回。搜索結果可以包括但不限于與匹配的訓練圖像相關 聯的信息、關聯的對象、圖像或者與圖像或對象相關聯的信息。另外，在本發明的一個實施 方式中，搜索結果可以通過如下方式返回從視覺搜索服務器51向移動終端10傳送結果， 繼而將該結果顯示到移動終端10的顯示器28上。此外，在某些實施方式中，特征匹配過程 識別來自web頁面的訓練圖像，可以將來自匹配過程的吻合度與分析web鏈接結構的更通 用的web頁面重要性排名組合。這樣，可以根據感興趣的位置和對象返回相關web頁面。如早先提到的，可以想到方法600的某些或者所有元件可以在本地例如移動終端 10上執行。另外，可以想到到方法600的某些或者所有單元可以在服務器例如視覺搜索服 務器51上執行。此外，可以想到，本發明的如下實施方式，其中在單個搜索期間，其中方法 600的某些單元在例如移動終端10上執行，而其他單元在例如視覺搜索服務器51上執行。對于這些發明所附屬的領域中的技術人員來說，在得益于前面的說明書和相關附 圖中給出的教導的情況下，眾多修改以及本發明的其他實施方式都是可以想到的。由此應 該理解，本發明的實施方式并不局限于所公開的具體實施方式
，并且這些修改和其他實施 方式同樣是包含在附加權利要求的范圍中的。雖然在這里采用了特定的術語，但是這些術 語僅僅是在一般性的和描述性的意義上使用的，并不具有限制目的。
權利要求
一種方法，包括接收與基于位置的網格區域相關聯的特征集，其中所述基于位置的網格區域進一步與設備的位置相關聯；接收查詢圖像特征；通過將所述查詢圖像特征與所述特征集進行比較來執行視覺搜索；以及返回搜索結果。
2.根據權利要求1所述的方法，進一步包括使用上下文、情境和優選項條件來標識所 述特征集。
3.根據權利要求1所述的方法，其中所述特征集包括基于位置的元特征分組。
4.根據權利要求1所述的方法，其中所述視覺搜索使用最近鄰近者搜索結構進行執 行，其中所述最近鄰近者搜索結構包括比較器和特征指針。
5.根據權利要求1所述的方法，進一步包括從所述特征集中排除具有小于指定數量的 鄰近者的特征。
6.根據權利要求1所述的方法，其中接收所述特征集包括當所述設備移入不同的基 于位置的網格區域時，通過接收與當前特征集中的特征不類似的特征來更新所述特征集。
7.根據權利要求1所述的方法，進一步包括向服務器傳送所述查詢圖像特征和位置信 息，以針對與所述基于位置的網格區域相關聯的附加特征來執行視覺搜索。
8.根據權利要求1所述的方法，進一步包括基于特征離所述設備的距離來從存儲器部 件中消除特征。
9.一種設備，包括處理器，其被配置成接收與基于位置的網格區域相關聯的特征集，其中所述基于位置的網格區域進一步與 設備的位置相關聯；接收查詢圖像特征；通過將所述查詢圖像特征與所述特征集進行比較來執行視覺搜索；以及返回搜索結果。
10.根據權利要求9所述的設備，其中所述處理器進一步配置成使用上下文、情境和優 選項條件來標識特征集。
11.根據權利要求9所述的設備，其中所述處理器進一步配置成使用所述特征集構建 最近鄰近者搜索結構，其中所述最近鄰近者搜索結構包括比較器和特征指針。
12.根據權利要求9所述的設備，其中所述處理器進一步配置成從所述特征集中排除 具有小于指定限制的魯棒性值的特征。
13.根據權利要求9所述的設備，其中所述處理器進一步配置成當所述設備移入不同 的基于位置的網格區域時，通過接收與當前特征集中的特征不類似的特征來接收特征集更 新。
14.根據權利要求9所述的設備，其中所述處理器進一步配置成向服務器傳送所述查 詢圖像特征和位置信息，以針對與所述基于位置的網格區域相關聯的附加特征來執行視覺 搜索。
15.根據權利要求9所述的設備，進一步包括用于存儲所述特征集的存儲器部件，并且 其中所述處理器進一步配置成基于特征離所述設備的距離從所述存儲器部件中消除特征。
16.一種計算機程序產品，包括至少一個其中存儲有計算機可讀程序代碼部分的計算 機可讀存儲介質，所述計算機可讀程序代碼部分包括第一可執行部分，用于接收與基于位置的網格區域相關聯的特征集，其中所述基于位 置的網格區域進一步與設備的位置相關聯； 第二可執行部分，用于接收查詢圖像特征；第三可執行部分，用于通過將所述查詢圖像特征與所述特征集進行比較來執行視覺搜 索；以及第四可執行部分，用于返回搜索結果。
17.根據權利要求16所述的計算機程序產品，其中所述第一可執行部分進一步配置成 使用上下文、情境和優選項條件來標識特征集。
18.根據權利要求16所述的計算機程序產品，其中所述特征集包括基于位置的元特征 分組。
19.根據權利要求16所述的計算機程序產品，其中所述第三可執行部分配置成使用最 近鄰近者搜索結構執行視覺搜索，其中所述最近鄰近者搜索結構包括比較器和特征指針。
20.根據權利要求16所述的計算機程序產品，其中所述第三可執行部分進一步配置成 從所述特征集中排除具有小于指定限制的魯棒性值的特征。
21.根據權利要求16所述的計算機程序產品，進一步包括第五可執行部分，用于當所 述設備移入不同的基于位置的網格區域時，通過接收與當前特征集中的特征不類似的特征 來更新所述特征集。
22.根據權利要求16所述的計算機程序產品，進一步包括第五可執行部分，用于向服 務器傳送所述查詢圖像特征和位置信息，以便針對與所述基于位置的網格區域相關聯的附 加特征來執行視覺搜索。
23.一種設備，包括用于接收與基于位置的網格區域相關聯的特征集的裝置，其中所述基于位置的網格區 域進一步與設備的位置相關聯； 用于接收查詢圖像特征的裝置；用于通過將所述查詢圖像特征與所述特征集進行比較來執行視覺搜索的裝置；以及 用于返回搜索結果的裝置。
24.根據權利要求23所述的設備，進一步包括用于使用最近鄰近者搜索結構來執行視 覺搜索的裝置，其中所述最近鄰近者搜索結構包括比較器和特征指針。
25.一種用于構建視覺搜索數據庫的方法，所述方法包括 定義基于位置的網格；獲取訓練圖像和相關信息；將所述訓練圖像和相關信息與基于位置的網格的一部分相關聯； 執行特征提取； 分派特征魯棒性值；以及 生成并存儲元特征。
全文摘要
提供了用于視覺上搜索以類似網格的方式組織的特征集合的方法、設備和計算機程序產品。這樣，可以接收與基于位置的網格區域相關聯的特征集合。該基于位置的網格區域還可以與設備的位置相關聯。在接收查詢圖像特征之后，可以通過將該查詢圖像特征與特征集合進行比較來執行視覺搜索。繼而返回搜索結果。通過在基于設備位置而選擇的特征集合中進行視覺搜索，從而可以增強搜索的有效性，并且搜索有可能可以由諸如移動設備之類的設備本身來執行。
文檔編號G06F17/30GK101842788SQ200880114262
公開日2010年9月22日 申請日期2008年8月18日 優先權日2007年9月24日
發明者K·皮利, M·雅各布, N·吉爾方德, P·施洛特爾, R·格爾澤茲克祖克, W-C·陳, 熊銀根, 王祥林, 高江 申請人:諾基亞公司