處理:獲取廣告圖片和/或視頻以及商家相關信息，將該廣告圖片和/ 或視頻的關鍵幀作為匹配圖像，根據該廣告圖片和/或視頻的關鍵幀提取匹配圖像的全局 特征一、全局特征二以及局部特征，并將匹配圖像與商家相關信息進行關聯； 步驟2,用戶通過用戶端拍攝廣告照片，并上傳給推薦系統； 步驟3,推薦系統采用視覺注意機制及區域生長算法對上傳的廣告照片進行目標分割， 提取上傳的廣告照片中的廣告圖像區域，同時將上傳照片中的廣告區域作為目標圖像； 在廣告區域中提取目標圖像的全局特征一、全局特征二以及局部特征； 匹配時，先利用步驟1得到的匹配圖像的全局特征一和目標圖像的全局特征一進行初 步檢索，得到一個初步檢索結果;然后在得到的初步檢索結果中利用匹配圖像的全局特征 二和目標圖像的全局特征二進行二次檢索，得到一個二次檢索結果;最后在該二次檢索結 果上利用匹配圖像的局部特征和目標圖像的局部特征進行檢索匹配，得到最終匹配結果； 根據匹配結果，向用戶端返回廣告圖片對應的商家相關信息。2. 根據權利要求1所述的基于圖像檢索的商家信息推薦方法，其特征在于:還包括通過 二維碼推薦商家信息的方法，在步驟1預存信息處理時，還獲取商家的二維碼，同時將二維 碼信息與商家相關信息進行關聯;在步驟3中推薦系統采用視覺注意機制及區域生長算法 對上傳的廣告照片進行目標分割之前，推薦系統先檢測上傳的廣告照片中的二維碼，若檢 測到二維碼，將該二維碼與步驟1中預存信息處理時獲取的商家二維碼進行識別，若識別成 功，向用戶端返回廣告照片對應的商家相關信息;若識別失敗則向用戶端返回未檢索到相 關信息或推薦系統采用視覺注意機制及區域生長算法對上傳的廣告照片進行目標分割;若 未檢測到二維碼，則推薦系統采用視覺注意機制及區域生長算法對上傳的廣告照片進行目 標分割。3. 根據權利要求1所述的基于圖像檢索的商家信息推薦方法，其特征在于：圖像匹配方 法如下： 步驟441，給定全局特征一的相似性閾值T1;計算步驟1得到的匹配圖像的全局特征一和 目標圖像的全局特征一的相似性，將相似性大于閾值Τ!的圖像加入集合31，集合SA初步檢 索結果;若集合&為空，則返回未檢索到對應商家或類似商家的信息;若集合&不為空，則跳 到步驟442; 步驟442,給定全局特征二的相似性閾值T2;在集合Si中計算匹配圖像的全局特征二和 目標圖像的全局特征二的相似性，將相似性大于閾值加勺圖像加入集合&，集合&為二次檢 索結果;若集合&為空，則返回未檢索到對應商家或類似商家的信息;若集合&不為空，則跳 到步驟443; 步驟443,使用集合52中匹配圖像的局部特征與目標圖像的局部特征進行匹配，記錄局 部特征相似性的最大值； 步驟444，給定局部特征相似性閾值TL;如果步驟443得到的相似性最大值大于閾值TL， 則表示搜索成功，將該圖像關聯的商家相關信息返回給用戶端； 如果步驟443得到的相似性最大值小于閾值?Υ，則將集合52中對應的圖像相似度降序排 序并返回前η條類似的商家相關信息。4. 根據權利要求3所述的基于圖像檢索的商家信息推薦方法，其特征在于:所述全局特 征一、全局特征二的相似性均通過余弦夾角來衡量。5. 根據權利要求1所述的基于圖像檢索的商家信息推薦方法，其特征在于:所述商家相 關信息包括商家名稱、地址、聯系方式、廠商主頁URL、該廣告對應的產品及類型。6. 根據權利要求1所述的基于圖像檢索的商家信息推薦方法，其特征在于:所述全局特 征一為顏色全局特征，全局特征二為形狀全局特征;或者全局特征一為形狀全局特征，全局 特征二為顏色全局特征;所述局部特征為surf局部特征。7. -種基于權利要求1至6任一所述的基于圖像檢索的商家信息推薦系統，用于根據用 戶端發送的照片進行商家信息推薦，其特征在于:包括輸入端、系統接收模塊、系統發送模 塊、商家廣告圖片存儲模塊、商家特征存儲模塊、商家相關信息存儲模塊、廣告圖像區域提 取模塊、全局特征一提取模塊、全局特征二提取模塊、局部特征提取模塊、匹配模塊、二維碼 提取模塊以及二維碼識別模塊，其中： 所述輸入端用于輸入全局特征一相似性閾值、全局特征二相似性閾值、局部特征相似 性閾值，并將全局特征一相似性閾值、全局特征二相似性閾值、局部特征相似性閾值推送給 匹配模塊； 所述商家廣告圖片存儲模塊用于接收存儲商家的廣告圖片和/或視頻以及二維碼，并 將廣告圖片和/或視頻的關鍵幀作為匹配圖像分別推送給全局特征一提取模塊、全局特征 二提取模塊、局部特征提取模塊;商家廣告圖片存儲模塊還用于將該二維碼分別推送給二 維碼識別模塊和商家相關信息存儲模塊； 所述商家特征存儲模塊用于接收全局特征一提取模塊、全局特征二提取模塊、局部特 征提取模塊推送的匹配圖像的全局特征一、全局特征二以及局部特征的信息，并存儲匹配 圖像的全局特征一、全局特征二以及局部特征； 所述商家相關信息存儲模塊用于存儲廣告圖片對應的商家相關信息，并將商家特征存 儲模塊中的匹配圖像的全局特征一、全局特征二、局部特征以及商家廣告圖片存儲模塊中 的二維碼分別與其對應的商家相關信息進行關聯； 所述系統接收模塊用于接收用戶端發送的圖片，并將該圖片推送給二維碼提取模塊； 用于接收二維碼識別模塊推送的命令信息，根據該命令信息將用戶端發送的圖片推送給廣 告圖像區域提取模塊； 所述二維碼提取模塊用于檢測提取用戶端發送的圖片上的二維碼，并將該二維碼檢測 結果信息發送給二維碼識別模塊； 所述二維碼識別模塊用于根據二維碼檢測結果信息與商家廣告圖片存儲模塊中的二 維碼進行識別，如果識別成功，則向系統發送模塊推送該二維碼關聯的商家相關信息;若識 別失敗則返回未檢索到相關信息或者向系統接收模塊發送向廣告圖像區域提取模塊發送 信息的命令，若沒有檢測到二維碼，則向系統接收模塊發送向廣告圖像區域提取模塊發送 信息的命令； 所述廣告圖像區域提取模塊用于對圖片提取面積最大的吸引人注意力的目標連通區 域作為廣告圖像區域，同時將該廣告圖像區域分別推送給全局特征一提取模塊、全局特征 二提取模塊、局部特征提取模塊； 所述全局特征一提取模塊用于提取商家廣告圖片存儲模塊中存儲的廣告圖片中的匹 配圖像的全局特征一，并將該匹配圖像的全局特征一推送給商家特征存儲模塊存儲；用于 提取廣告圖像區域提取模塊推送的廣告圖像區域中的目標圖像的全局特征一，并將該目標 圖像的全局特征一推送給匹配模塊； 所述全局特征二提取模塊用于提取商家廣告圖片存儲模塊中存儲的廣告圖片中的匹 配圖像的全局特征二，并將該匹配圖像的全局特征二推送給商家特征存儲模塊存儲；用于 提取廣告圖像區域提取模塊推送的廣告圖像區域中的目標圖像的全局特征二，并將該目標 圖像的全局特征二推送給匹配模塊； 所述局部特征提取模塊用于提取商家廣告圖片存儲模塊中存儲的廣告圖片中的匹配 圖像的局部特征，并將該匹配圖像的局部特征推送給商家特征存儲模塊存儲；用于提取廣 告圖像區域提取模塊推送的廣告圖像區域中的目標圖像的局部特征，并將該目標圖像的局 部特征推送給匹配模塊； 所述匹配模塊用于計算匹配圖像的全局特征一和目標圖像的全局特征一的相似性，將 相似性大于閾值!^的圖像加入集合Si;若集合&為空，則向系統發送模塊推送未檢索到對應 商家或類似商家的信息;若集合Si不為空，則在集合&中計算匹配圖像的全局特征二和目標 圖像的全局特征二的相似性，將相似性大于閾值T 2的圖像加入集合S2,集合S2為二次檢索結 果;若集合&為空，則向系統發送模塊推送未檢索到對應商家或類似商家的信息;若集合& 不為空，則使用集合&中匹配圖像的局部特征與目標圖像的局部特征進行匹配；如果局部 相似性的最大值大于閾值?Υ，則向系統發送模塊推送該圖像關聯的商家相關信息；如果局 部相似性的最大值小于或等于閾值??，則將集合&中對應的圖像相似度降序排序并將前η條 類似的商家相關信息向系統發送模塊推送； 所述系統發送模塊用于接收匹配模塊推送的信息，并將該信息發送給用戶端。8.-種基于權利要求1至7任一所述的基于圖像檢索的商家信息推薦用戶端，用于與推 薦系統的互動，其特征在于:包括上傳模塊、用戶接收模塊以及顯示模塊，其中： 所述上傳模塊用于將拍照得到的照片上傳給推薦系統； 所述用戶接收模塊用于接收推薦系統反饋的商家相關信息，并將該商家相關信息推送 給顯示模塊； 所述顯示模塊用于顯示商家相關信息。
【專利摘要】本發明公開了一種基于圖像檢索的商家信息推薦系統及方法，用戶在手機端拍攝一張照片,傳輸給推薦系統，推薦系統首先檢測照片中是否有二維碼，若存在二維碼，則對其進行分割及識別，返回廣告商家URL并自動打開，或返回識別失敗信息，若不存在二維碼，則系統利用視覺注意機制實現目標區域分割，然后使用分層的匹配策略進行檢索。先將匹配圖像利用全局特征一進行匹配，得到圖像集S1，再將目標與圖像集S1中的圖像利用全局特征二進行匹配，得到圖像集S2，最后將目標與圖像集S2中的圖像利用局部特征進行匹配，并返回圖像檢索成功(或失敗)的相關商家信息。本發明算法在保證檢索精度前提下，有效提升檢索的運行效率。
【IPC分類】G06F17/30, G06K17/00
【公開號】CN105608230
【申請號】CN201610078235
【發明人】張真, 曹騮, 秦恩泉, 劉鵬
【申請人】南京云創大數據科技股份有限公司
【公開日】2016年5月25日
【申請日】2016年2月3日