一種基于圖像檢索的商家信息推薦系統及方法
【技術領域】
[0001] 本發明涉及一種基于圖像檢索的商家信息推薦系統及方法，屬于信息檢索技術領 域。
【背景技術】
[0002] 大規模的廣告是企業的一項重要競爭策略，是提高商品和企業知名度不可缺少的 武器。當一種新商品上市后，如果消費者不了解它的名稱、用途、購買地點、購買方法，就很 難打開銷路，特別是在市場競爭激烈、產品更新換代大大加快的情況下，企業通過大規模的 廣告宣傳，能使消費者對本企業的產品產生吸引力，這對于企業開拓市場是十分有利的。
[0003] 目前消費者想要通過廣告或者產品了解更多關于生產商的信息就需要通過掃描 二維碼，但是掃描二維碼也有一定的局限性，例如路邊的巨幅廣告等就無法通過掃描二維 碼來了解和關注更多的產品信息。
【發明內容】
[0004] 本發明針對上述問題的不足，提出一種基于圖像檢索的商家信息推薦系統及方 法，消費者通過利用手機將報紙、雜志、電視節目上以及路邊巨幅廣告等進行拍照上傳，在 后臺服務器經過二維碼定位及識別或者目標分割、圖像特征匹配等一系列處理，返回該產 品的生產企業的主要信息。該方法可以避免掃描二維碼方式的局限性。同時在保證檢索精 度如提下，有效提升檢索的運彳丁效率。
[0005] 本發明為解決上述技術問題提出的技術方案是：
[0006] -種基于圖像檢索的商家信息推薦方法，包括以下步驟：
[0007] 步驟1，預存信息處理:獲取商家的二維碼、廣告圖片、視頻以及商家相關信息，將 廣告圖片和/或視頻的關鍵幀作為匹配圖像，根據廣告圖片和/或視頻的關鍵幀提取匹配圖 像的兩種全局特征(可以是顏色、形狀或紋理等特征）以及局部特征(可以是SIFT、SURF、0RB 或BRIEF特征），并將匹配圖像以及二維碼信息分別與商家相關信息進行關聯。
[0008] 步驟2,用戶通過用戶端拍攝廣告照片，并上傳給推薦系統。
[0009] 步驟3,推薦系統檢測上傳的廣告照片中的二維碼，若檢測到二維碼，將該二維碼 與步驟1中預存信息處理時獲取的商家二維碼進行識別，若識別成功，向用戶端返回廣告照 片對應的商家相關信息;若識別失敗則向用戶端返回未檢索到相關信息或轉到步驟4;若未 檢測到二維碼，轉到步驟4。
[0010] 步驟4,推薦系統采用視覺注意機制及區域生長算法對上傳的廣告照片進行目標 分割，提取上傳的廣告照片中的廣告圖像區域，同時將上傳照片中的廣告區域作為目標圖 像。
[0011] 在廣告區域中提取目標圖像的全局特征一、全局特征二以及局部特征。
[0012] 匹配時，先利用步驟1得到的匹配圖像的全局特征一和目標圖像的全局特征一進 行初步檢索，得到一個初步檢索結果;然后在得到的初步檢索結果中利用匹配圖像的全局 特征二和目標圖像的全局特征二進行二次檢索，得到一個二次檢索結果;最后在該二次檢 索結果上利用匹配圖像的局部特征和目標圖像的局部特征進行檢索匹配，得到最終匹配結 果。
[0013] 根據匹配結果，向用戶端返回廣告圖片對應的商家相關信息。
[0014] 優選的：圖像匹配方法如下：
[0015] 步驟441，給定全局特征一的相似性閾值!^。計算步驟1得到的匹配圖像的全局特 征一和目標圖像的全局特征一的相似性，將相似性大于閾值Ti的圖像加入集合&，集合SiS 初步檢索結果。若集合31為空，則返回未檢索到對應商家或類似商家的信息。若集合31不為 空，則跳到步驟442。
[0016] 步驟442,給定全局特征二的相似性閾值T2。在集合Si中計算匹配圖像的全局特征 二和目標圖像的全局特征二的相似性，將相似性大于閾值T 2的圖像加入集合S2,集合S2為二 次檢索結果。若集合32為空，則返回未檢索到對應商家或類似商家的信息。若集合S 2f為空， 則跳到步驟443。
[0017] 步驟443,使用集合52中匹配圖像的局部特征與目標圖像的局部特征進行匹配，記 錄局部特征相似性的最大值。
[0018] 步驟444,給定局部特征相似性閾值TL。如果步驟443得到的相似性最大值大于閾 值??，則表示搜索成功，將該圖像關聯的商家相關信息返回給用戶端。
[0019] 如果步驟443得到的相似性最大值小于閾值TL，則將集合S2*對應的圖像相似度降 序排序并返回前η條類似的商家相關信息。
[0020] 優選的:所述全局特征一、全局特征二的相似性均通過余弦夾角來衡量。
[0021] 優選的：所述商家相關信息包括商家名稱、地址、聯系方式、廠商主頁URL、該廣告 對應的產品及類型。
[0022] 優選的：所述全局特征一為顏色全局特征，全局特征二為形狀全局特征。或者全局 特征一為形狀全局特征，全局特征二為顏色全局特征。所述局部特征為surf局部特征。
[0023] -種基于圖像檢索的商家信息推薦系統，用于根據用戶端發送的照片進行商家信 息推薦，包括輸入端、系統接收模塊、系統發送模塊、商家廣告圖片存儲模塊、商家特征存儲 模塊、商家相關信息存儲模塊、廣告圖像區域提取模塊、全局特征一提取模塊、全局特征二 提取模塊、局部特征提取模塊、匹配模塊、二維碼提取模塊以及二維碼識別模塊，其中：
[0024] 所述輸入端用于輸入全局特征一相似性閾值、全局特征二相似性閾值、局部特征 相似性閾值，并將全局特征一相似性閾值、全局特征二相似性閾值、局部特征相似性閾值推 送給匹配模塊。
[0025] 所述商家廣告圖片存儲模塊用于接收存儲商家的廣告圖片和/或視頻以及二維 碼，并將廣告圖片和/或視頻的關鍵幀作為匹配圖像分別推送給全局特征一提取模塊、全局 特征二提取模塊、局部特征提取模塊;商家廣告圖片存儲模塊還用于將該二維碼分別推送 給二維碼識別模塊和商家相關信息存儲模塊。
[0026] 所述商家特征存儲模塊用于接收全局特征一提取模塊、全局特征二提取模塊、局 部特征提取模塊推送的匹配圖像的全局特征一、全局特征二以及局部特征的信息，并存儲 匹配圖像的全局特征一、全局特征二以及局部特征。
[0027] 所述商家相關信息存儲模塊用于存儲廣告圖片對應的商家相關信息，并將商家特 征存儲模塊中的匹配圖像的全局特征一、全局特征二、局部特征以及商家廣告圖片存儲模 塊中的二維碼分別與其對應的商家相關信息進行關聯。
[0028] 所述系統接收模塊用于接收用戶端發送的圖片，并將該圖片推送給二維碼提取模 塊；用于接收二維碼識別模塊推送的命令信息，根據該命令信息將用戶端發送的圖片推送 給廣告圖像區域提取模塊。
[0029] 所述二維碼提取模塊用于檢測提取用戶端發送的圖片上的二維碼，并將該二維碼 檢測結果信息發送給二維碼識別模塊。
[0030] 所述二維碼識別模塊用于根據二維碼檢測結果信息與商家廣告圖片存儲模塊中 的二維碼進行識別，如果識別成功，則向系統發送模塊推送該二維碼關聯的商家相關信息； 若識別失敗則返回未檢索到相關信息或者向系統接收模塊發送向廣告圖像區域提取模塊 發送信息的命令，若沒有檢測到二維碼，則向系統接收模塊發送向廣告圖像區域提取模塊 發送信息的命令。
[0031] 所述廣告圖像區域提取模塊用于對圖片提取面積最大的吸引人注意力的目標連 通區域作為廣告圖像區域，同時將該廣告圖像區域分別推送給全局特征一提取模塊、全局 特征二提取模塊、局部特征提取模塊。
[0032] 所述全局特征一提取模塊用于提取商家廣告圖片存儲模塊中存儲的廣告圖片中 的匹配圖像的全局特征一，并將該匹配圖像的全局特征一推送給商家特征存儲模塊存儲。 用于提取廣告圖像區域提取模塊推送的廣告圖像區域中的目標圖像的全局特征一，并將該 目標圖像的全局特征一推送給匹配模塊。
[0033] 所述全局特征二提取模塊用于提取商家廣告圖片存儲模塊中存儲的廣告圖片中 的匹配圖像的全局特征二，并將該匹配圖像的全局特征二推送給商家特征存儲模塊存儲。 用于提取廣告圖像區域提取模塊推送的廣告圖像區域中的目標圖像的全局特征二，并將該 目標圖像的全局特征二推送給匹配模塊。
[0034]所述局部特征提取模塊用于提取商家廣告圖片存儲模塊中存儲的廣告圖片中的 匹配圖像的局部特征，并將該匹配圖像的局部特征推送給商家特征存儲模塊存儲。用于提 取廣告圖像區域提取模塊推送的廣告圖像區域中的目標圖像的局部特征，并將該目標圖像 的局部特征推送給匹配模塊。
[0035] 所述匹配模塊用于計算匹配圖像的全局特征一和目標圖像的全局特征一的相似 性，將相似性大于閾值Ti的圖像加入集合51。若集合5 1為空，則向系統發送模塊推送未檢索 到對應商家或類似商家的信息。若集合&不為空，則在集合Si*計算匹配圖像的全局特征二 和目標圖像的全局特征二的相似性，將相似性大于閾值T 2的圖像加入集合32，集合S2為二次 檢索結果。若集合&為空，則向系統發送模塊推送未檢索到對應商家或類似商家的信息。若 集合&不為空，則使用集合&中匹配圖像的局部特征與目標圖像的局部特征進行匹配。如果 局部相似性的最大值大于閾值?Υ，則向系統發送模塊推送該圖像關聯的商家相關信息。如 果局部相似性的最大值小于或等于閾值?Υ，則將集合&中對應的圖像相似度降序排序并將 前η條類似的商家相關信息向系統發送模塊推送。
[0036]