特征點提取裝置及方法和利用其的圖像匹配系統的制作方法

特征點提取裝置及方法和利用其的圖像匹配系統的制作方法
【專利摘要】本發明公開一種特征點提取裝置及方法和利用其的圖像匹配系統。根據本發明的一實施例的特征點提取裝置用于提取對圖像變化穩健的特征點，且包括：特征點提取單元，在圖像作為特征點候選位置提取邊角區域，在所述特征點候選位置提取特征點；及特征點后處理單元，生成所述提取的特征點的特征點描述符。
【專利說明】
特征點提取裝置及方法和利用其的圖像匹配系統
技術領域
[0001] 本發明的實施例設及圖像處理技術，更具體地，設及一種用于從圖像提取特征點 的特征點提取裝置及方法和利用其的用于分析內容在線流通情況的圖像匹配系統。
【背景技術】
[0002] 隨著互聯網技術的發展和互聯網適用領域的逐漸擴展，通過互聯網的信息檢索利 用率也增加。W往是通過互聯網的信息檢索主要基于文本，但最近圖像或動畫等上載到互 聯網的量增加，由此基于圖像的檢索技術正在被開發。然而，在基于圖像的檢索的情況下， 與基于文本的檢索相比，作為檢索對象的數據量本身就多，因此，存在不僅檢索速度減少， 而且檢索正確度降低的問題。
[0003] 目P，在圖像的情況下，存在因在圖像中發生的各種變化（例如，光照變化、尺寸變 化、仿射(Affine)變化、視點變化等)而難W檢索相同或類似的圖像的問題。例如，在攝影圖 像時，根據光照變化，即使攝影相同的對象也會發生顯著的色感差。并且，在攝影圖像時，如 果攝像頭旋轉或拍攝對象物旋轉，就會生成不同的攝影圖像。而且，根據攝像頭的分辨率、 攝影距離、是否使用變焦功能等，即使攝影相同的對象也生成不同的攝影圖像，因此，難W 檢索與預定圖像相同或類似的圖像，從而檢索正確度降低。
[0004] 【現有技術文獻】
[0005] 韓國公開專利公報第 10-2012-0062609 號(2012.06.14)

【發明內容】

[0006] 解決的技術問題
[0007] 根據示意性實施例，提供能夠提取對圖像變化穩健的特征點的特征點提取裝置及 方法和利用其的用于分析內容在線流通情況的圖像匹配系統。
[000引技術方案
[0009] 根據示意性實施例的特征點提取裝置用于提取對圖像變化穩健的特征點，且包 括:特征點提取單元，在圖像作為特征點候選位置提取邊角區域，在所述特征點候選位置提 取特征點;及特征點后處理單元，生成所述提取的特征點的特征點描述符。
[0010] 所述特征點提取單元可W從所述圖像中計算在視窗移動之前的視窗內的像素值 的平均值與在視窗移動之后的視窗內的像素值的平均值的差異(平均值的變化），利用在所 述平均值的變化最大的方向上的平均值的變化量和在所述平均值的變化最小的方向上的 平均值的變化量決定所述邊角區域。
[0011] 所述特征點提取單元可W在所述平均值的變化最大的方向上的平均值的變化量 和在所述平均值的變化最小的方向上的平均值的變化量分別超過預先設定的闊值時，將在 所述圖像中的相當領域決定為所述邊角區域。
[0012] 所述特征點提取單元可在所述圖像的尺寸相同的狀態下改變過濾器尺寸的 方式對所述圖像適用所述過濾器，從而提取特征點候選位置。
[0013] 所述特征點提取單元可W將具有實數系數的過濾器轉換成具有整數系數的正規 化過濾器，W改變所述正規化過濾器的尺寸的方式對所述圖像的重疊圖像適用所述過濾 器，從而提取特征點候選位置。
[0014] 通過對所述圖像適用具有第一尺寸的過濾器來檢測特征點候選位置時，所述特征 點提取單元在可W通過比較對所述圖像適用所述具有第一尺寸的過濾器的圖像與對所述 圖像適用具有小于所述第一尺寸的第二尺寸的過濾器的圖像及對所述圖像適用具有大于 所述第一尺寸的第Ξ尺寸的過濾器的圖像來，將所述檢測的特征點候選位置最終決定為特 征點候選位置。
[0015] 所述特征點后處理單元可W向預先設定的方向排列所述特征點的主要方向性，生 成包括所述特征點與所述特征點鄰近像素之間的關系信息的所述特征點描述符。
[0016] 所述特征點提取單元可在過濾器的尺寸相同的狀態下改變所述圖像的尺寸 的方式，對不同尺寸的各個圖像適用所述過濾器，從而提取特征點候選位置。
[0017] 在所述圖像為彩色圖像時，所述特征點提取裝置還可包括圖像預處理單元，該圖 像預處理單元對所述彩色圖像進行光照補償。
[0018] 所述圖像預處理單元根據所述彩色圖像中的顏色通道的通道比率可W適應性地 擴展各個顏色通道的動態范圍。
[0019] 所述圖像預處理單元可W對在所述彩色圖像中通道比率最高的顏色通道計算擴 展參數(α)和移動參數(0)，然后使各個顏色通道的像素擴展到所述擴展參數(α)，且移動到 所述移動參數(β)。
[0020] 在所述圖像為彩色圖像時，所述特征點提取裝置還可包括圖像預處理單元，該圖 像預處理單元將所述圖像的空間從彩色空間轉換成黑白空間。
[0021] 所述特征點提取裝置還可包括圖像預處理單元，該圖像預處理單元將所述圖像正 規化為預先設定的尺寸。
[0022] 所述特征點提取裝置還可包括過濾單元，該過濾單元將所述圖像通過低通濾波器 過濾后傳遞給所述特征點提取單元，而且，所述過濾單元可W適用高頻補償過波法，使得在 所述圖像中保持所述邊角區域。
[0023] 所述特征點提取裝置還可包括特征點檢索單元，該特征點檢索單元在預先存儲的 特征點中檢索與第一特征點匹配的特征點。
[0024] 所述特征點檢索單元可W對所述第一特征點的特征點描述符與所述預先存儲的 特征點的各個特征點描述符進行比較，在預先存儲的特征點中提取與所述第一特征點之間 的相似度大于或等于預先設定的闊值的特征點。
[0025] 所述特征點檢索單元可W通過下述數學式1驗證所述提取的特征點是否與所述第 一特征點匹配：
[0026] (數學式1)
[0027]
[00%]式中，SSD(fl、f2)為與檢索請求特征點（fl)之間的相似度最高的特征點（f2)之間 的SSD(差值平方和，Sum of Squared Difference)，SSD(fl、f2'）為與檢索請求特征點（fl) 之間的相似度第二高的特征點（f2 '）之間的SSD。SSD(η、f2 '）為與檢索請求特征點（fl)之 間的相似度第二高的特征點(f 2 '）之間的SSD。
[0029] 根據示意性實施例的特征點提取方法用于提取對圖像變化穩健的特征點，且包括 W下步驟:在特征點提取裝置，作為圖像的特征點候選位置提取邊角區域;及在所述特征點 提取裝置，生成在所述特征點候選位置提取的特征點的特征點描述符。
[0030] 提取所述特征點候選位置的步驟可W包括W下步驟:在所述特征點提取裝置，從 所述圖像中計算在視窗移動之前的視窗內的像素值的平均值與在視窗移動之后的視窗內 的像素值的平均值的差異(平均值的變化）；及在所述特征點提取裝置，利用在所述平均值 的變化最大的方向上的平均值的變化量和在所述平均值的變化最小的方向上的平均值的 變化量決定所述邊角區域。
[0031] 決定所述邊角區域的步驟可W包括W下步驟:在所述特征點提取裝置，在所述平 均值的變化最大的方向上的平均值的變化量和在所述平均值的變化最小的方向上的平均 值的變化量分別超過預先設定的闊值時，將在所述圖像中的相當領域決定為所述邊角區 域。
[0032] 取所述特征點候選位置的步驟可W包括W下步驟:在所述特征點提取裝置，W在 所述圖像的尺寸相同的狀態下改變過濾器尺寸的方式對所述圖像適用所述過濾器，從而提 取特征點候選位置。
[0033] 提取所述特征點候選位置的步驟可W包括W下步驟:在所述特征點提取裝置，將 具有實數系數的過濾器轉換成具有整數系數的正規化過濾器;及在所述特征點提取裝置， W改變所述正規化過濾器的尺寸的方式對所述圖像的重疊圖像適用所述過濾器，從而提取 特征點候選位置。
[0034] 提取所述特征點候選位置的步驟可W包括W下步驟:在所述特征點提取裝置，通 過對所述圖像適用具有第一尺寸的過濾器來檢測特征點候選位置;及在所述特征點提取裝 置，通過比較對所述圖像適用所述具有第一尺寸的過濾器的圖像與對所述圖像適用具有小 于所述第一尺寸的第二尺寸的過濾器的圖像及對所述圖像適用具有大于所述第一尺寸的 第Ξ尺寸的過濾器的圖像來，將所述檢測的特征點候選位置最終決定為特征點候選位置。
[0035] 生成所述特征點描述符的步驟可W包括W下步驟:在所述特征點提取裝置，將所 述特征點的主要方向性設定為預先設定的方向，生成包括所述特征點與所述特征點鄰近像 素之間的關系信息的所述特征點描述符。
[0036] 在提取所述特征點候選位置的步驟中，在所述特征點提取裝置，可在過濾器 的尺寸相同的狀態下改變所述圖像的尺寸的方式，對不同尺寸的各個圖像適用所述過濾 器，從而提取特征點候選位置。
[0037] 在所述圖像為彩色圖像時，在提取所述特征點候選位置的步驟之前，還可包括W 下步驟:在所述特征點提取裝置，通過根據所述彩色圖像中的顏色通道的通道比率適應性 地擴展各個顏色通道的動態范圍來進行光照補償。
[0038] 進行所述光照補償處理的步驟可W包括W下步驟:在所述特征點提取裝置，對在 所述彩色圖像中通道比率最高的顏色通道計算擴展參數(α)和移動參數(β);及在所述特征 點提取裝置，使各個顏色通道的像素擴展到所述擴展參數(〇)，且移動到所述移動參數(0)。
[0039] 在所述圖像為彩色圖像時，在提取所述特征點候選位置的步驟之前，還可包括W 下步驟:在所述特征點提取裝置，將所述圖像的空間從彩色空間轉換成黑白空間。
[0040] 在提取所述特征點候選位置的步驟之前，還可包括W下步驟:在所述特征點提取 裝置，將所述圖像正規化為預先設定的尺寸。
[0041] 在提取所述特征點候選位置的步驟之前，還可包括在所述特征點提取裝置，通過 低通濾波器對所述圖像進行的過濾步驟，而且，所述過濾步驟可W包括適用高頻補償過波 法，使得在所述圖像中保持所述邊角區域的步驟。
[0042] 根據示意性實施例的用于分析內容在線流通情況的圖像匹配系統包括:服務器計 算設備，在圖像作為特征點候選位置提取邊角區域，在所述特征點候選位置提取特征點，存 儲所述特征點；及用戶計算設備，發送包括從圖像或所述圖像中提取的特征點的圖像檢索 基本信息；其中，所述服務器計算設備在預先存儲的特征點中檢索與從所述圖像檢索基本 信息獲得的檢索請求特征點匹配的特征點，監測與預先存儲的特征點對應的圖像的檢索次 數。
[0043] 發明的效果
[0044] 根據示意性實施例，根據各個顏色通道的通道比率適應性地擴展輸入圖像的動態 范圍，進行將輸入圖像從彩色圖像轉換成黑白空間的預處理，從而，能夠提取對光照變化穩 健的特征點。并且，通過進行將輸入圖像正規化為預先設定的尺寸的預處理，能夠適當確保 從圖像中提取的特征點的個數，并去除不必要的特征點。而且，通過低通濾波器對輸入圖像 進行過濾并適用高頻補償過波法，從而能夠去除輸入圖像中所存在的斑點或噪聲，同時，能 夠保持可用作特征點的部分。
[0045] 并且，在生成不同尺寸的視窗后，將各個視窗適用于輸入圖像，W提取特征點候選 位置，從而，能夠提取對于尺寸變化及視點變化等穩健的特征點。此時，通過將具有整數系 數的正規化過濾器適用于輸入圖像的重疊圖像，即使過濾器(視窗）的尺寸變大，也能夠防 止計算量增加，且可W迅速進行計算。并且，向預先設定的方向排列特征點的主要方向性， 生成特征點與特征點鄰近像素之間的關系信息，從而，即使圖像旋轉，也能夠在相當圖像中 描述相同的特征點。
【附圖說明】
[0046] 圖1為示出根據示意性實施例的特征點提取裝置的結構的附圖。
[0047] 圖2為示出對原圖像(彩色圖像)進行光照補償處理的狀態的附圖。
[004引圖3為示出對原圖像(彩色圖像）的各個顏色通道進行光照補償處理的狀態的直方 圖。
[0049] 圖4為示出根據本發明的示意性實施例的過濾單元的結構的框圖。
[0050] 圖5為用于說明根據本發明的實施例的特征點候選位置區域的附圖。
[0051] 圖6為示出一般高斯二次微分系數用過濾器的附圖。
[0052] 圖7為示出將一般高斯二次微分系數用過濾器轉換成具有整數系數的正規化過濾 器的狀態的附圖。
[0053] 圖8為示出根據示意性實施例的特征點提取方法的流程圖。
[0054] 圖9為示出根據示意性實施例的基于特征點的圖像檢索系統的附圖。
[0055] 圖10為示出根據示意性實施例的服務器計算設備的結構的框圖。
[0056] 圖11為示出根據示意性實施例的基于特征點的圖像檢索方法的流程圖。
[0057] 圖12為示出包括適合用于示意性實施例中的示意性計算設備的計算環境的附圖。 [0化引標記說明
[0化9] 100:特征點提取裝置
[0060] 102:圖像預處理單元
[0061] 104:過濾單元
[0062] 106:特征點提取單元
[0063] 108:特征點后處理單元
[0064] 111:光照補償單元 [00化]113:空間轉換單元
[0066] 115:圖像尺寸正規化單元
[0067] 121:過濾器單元 [006引123:減法器
[0069] 125:高頻補償過波單元
[0070] 127:合計器
[0071] 131:第一轉換單元
[0072] 133:第二轉換單元
[0073] 135:乘法器
[0074] 137:逆轉換單元 [00巧]200:圖像檢索系統
[0076] 202、204:用戶計算設備
[0077] 206:服務器計算設備
[0078] 211:通信單元
[00巧]213:圖像注冊單元
[0080] 215:特征點提取器
[0081] 217:圖像檢索單元
[0082] 219:監測單元
[0083] 221:數據庫
【具體實施方式】
[0084] W下，將參照附圖對本發明的【具體實施方式】進行描述。提供W下的詳細說明，W助 于對所記載的方法、裝置及/或系統的全面理解。然而，運只不過是示例，并且本發明不限于 此。
[0085] 在對本發明進行描述時，對與本發明相關的公知技術的具體描述被認為會使本發 明的主旨不清楚的情況下，省略其詳細描述。并且，后述的術語作為考慮本發明中的功能而 定義的術語，可根據使用者、運用者的意圖或者慣例等而不同。因此，其定義應基于貫穿整 個本說明書的內容而做出。詳細說明中所使用的術語僅為了描述本發明的實施例，而不是 意圖限制本發明。除非另外明確指出，否則單數形式也包括復數形式。在本說明中，諸如"包 含"或"包括"的術語旨在表示某個特征、數字、步驟、操作、元件、其中的一部分或者其組合， 但不應被解釋為排除除此之外的一個或多個其它特征、數字、步驟、操作、元件、其中的一部 分或者其組合的存在或可能性。
[0086] 在下面的說明中，信號或信息的"傳送"、"通信"、"發送"、"接收"及其他類似的術 語，不僅表示信號或信息從一個構件直接傳遞至其他構件，而且還表示通過其他構件傳遞。 尤其是，將信號或信息"傳送"或"發送"至一個構件，是指其信號或信息的最終目的地，而非 直接目的地。運在信號或信息的"接收"中也一樣。另外，在本說明書中，兩個W上的數據或 信息"相關"，是指若獲取一個數據(或信息），則可基于此獲取其他數據(或信息）的至少一 部分。
[0087] 并且，在本說明書中記載的"第Γ、"第2"等只是用于區分相互不同的構成因素而 已，并不受限于制造的順序，在發明的詳細說明和權利要求書中其名稱可能不會一致。
[0088] 本發明的實施例包括從在圖像中提取特征點，基于所提取的特征點進行圖像檢索 的技術。而且，其包括盡管圖像發生各種變化(例如，光照變化、尺寸變化、仿射(Affine)變 化、視點變化等)也能夠提取相同或類似的特征點的技術。即，其包括提取對圖像的變化穩 健的特征點的技術。
[0089] 圖1為示出根據示意性實施例的特征點提取裝置的結構的附圖。
[0090] 參照圖1，特征點提取裝置100可W包括圖像預處理單元102、過濾單元104、特征點 提取單元106及特征點后處理單元108。
[0091] 圖像預處理單元102起對輸入的圖像下也稱為"原圖像"）進行預處理的作用。 如果輸入圖像為彩色圖像，圖像預處理單元102可W進行預處理操作，使得特征點提取單元 106提取對光照變化穩健的特征點。圖像預處理單元102可W包括光照補償單元111、空間轉 換單元113及圖像尺寸正規化單元115。
[0092] 如果輸入到圖像預處理單元102的圖像為彩色圖像，光照補償單元111對輸入圖像 進行光照補償處理操作。光照補償單元111可W在空間轉換單元113將原圖像從彩色空間轉 換成黑白空間之前通過光照補償對原圖像進行預處理。
[0093] 光照補償單元111可W對原圖像中的每個顏色通道進行直方圖分析，從而在保持 通道比率的狀態下擴展各個通道的動態范圍。即，光照補償單元111可W在原圖像中根據各 個顏色通道的通道比率適應性地擴展各個通道的動態范圍。關于光照補償單元111對原圖 像進行光照補償處理的過程，參照圖2及圖3W下將進行詳細說明。
[0094] 圖2為示出對原圖像(彩色圖像)進行光照補償處理的狀態的附圖，而圖3為示出對 原圖像(彩色圖像）的各個顏色通道進行光照補償處理的狀態的直方圖。具體而言，圖2的 (a)為示出原圖像的附圖，而圖3的(a)為示出原圖像的每個顏色通道的像素值分布圖的直 方圖。圖2的(b)為示出對原圖像按每個顏色通道獨立地擴展動態范圍的狀態的附圖，而圖3 的(b)為示出在使原圖像按每個顏色通道獨立地擴展動態范圍時的每個顏色通道的像素值 分布圖的直方圖。圖2的山)為示出使原圖像根據各個顏色通道的通道比率適應性地擴展動 態范圍的狀態的附圖，而圖3的山)為示出在使原圖像根據各個顏色通道的通道比率適應性 地擴展動態范圍時的每個顏色通道的像素值分布圖的直方圖。
[00M]參照圖2的(a)及圖3的(a),在原圖像的情況下，黃色或澄色類顏色較多，因此可確 定按R(紅）、G(綠）、B(藍)的各個顏色通道的像素值不均勻分布于動態范圍。如上，在每個顏 色通道的像素值不均勻分布于在動態范圍時（即，每個顏色通道的像素值集中于預定范圍 時），限制從圖像中提取特征點，因此，需要擴展每個顏色通道的動態范圍。在此，動態范圍 是指圖像的各個像素值分布的范圍，例如，動態范圍可為0~255。
[0096] 參照圖2的（b)及圖3的化），可見在對原圖像按每個顏色通道獨立地擴展動態范圍 后，原圖像的色彩特征通過光照補償發生變化。即，可見在對原圖像的每個顏色通道獨立地 進行轉換W便盡可能均勻分布于動態范圍后，藍色類相對擴展得多，從而原圖像變成了如 同稱色的照片一樣。
[0097] 參照圖2的（C)及圖3的（C)，可見在對原圖像根據各個顏色通道的通道比率適應性 地擴展動態范圍后，保持著原圖像的色彩特征（即，保持著原圖像的各個顏色通道的通道比 率），每個顏色通道的像素值盡可能均勻分布于動態范圍。
[0098] 如上，根據示意性實施例，為了保持原圖像的色彩特征并每個顏色通道的像素值 盡可能均勻分布于動態范圍，光照補償單元111可W使原圖像根據各個顏色通道的通道比 率適應性地擴展動態范圍。
[0099] 光照補償單元111通過利用如下述數學式1所示的線性變換式來可W使原圖像根 據各個顏色通道的通道比率適應性地擴展動態范圍。
[0100] (數學式1)
[0101]
[0102] 式中，α為擴展參數，是表示圖像的各個像素需要擴展多少的參數。β為用于使圖像 像素值整體上移動的移動參數。μ表示圖像的平均像素值。σ表示圖像的像素值的標準偏差。
[0103] 在示意性實施例中，通過將128(即，動態范圍的中屯、值)輸入到數學式1的Wdesired， 將80輸入到Odesired來可W求取擴展參數α及移動參數0。
[0104] 光照補償單元111可W通過在原圖像中選擇通道比率最高的顏色通道而計算所述 顏色通道的擴展參數α和移動參數β后將所述計算的擴展參數α和移動參數β適用到剩余顏 色通道來進行光照補償處理。光照補償單元111可W通過使各個顏色通道的像素的像素值 擴展到擴展參數α且移動到移動參數β來進行光照補償處理。
[0105] 如果輸入到圖像預處理單元102的圖像為彩色圖像，空間轉換單元113進行將原圖 像的空間從彩色空間（例如，RGB顏色、CMYK顏色、Υ化化顏色、YUV顏色等)轉換成黑白空間的 操作。空間轉換單元113可W將在光照補償單元111經過光照補償處理的彩色圖像的空間從 彩色空間轉換成黑白空間。
[0106] 具體而言，即使攝影相同的對象、地點或人物，也根據光照變化而攝影圖像的色彩 信息有相當部分會被歪曲。例如，即使攝影相同的對象、地點或人物，也根據如晴天、陰天、 暗天，夜間等攝影環境而攝影圖像的色感差會顯著出現。并且，如果用戶通過Photoshop等 對攝影圖像進行圖像處理而發生光照變化，攝影圖像的色彩信息會被歪曲。
[0107] 對此，空間轉換單元113通過將原圖像的空間從彩色空間轉換成黑白空間來可W 使在特征點提取單元106提取對光照變化穩健的特征點。
[0108] 圖像尺寸正規化單元115進行將輸入到圖像預處理單元102的圖像正規化為預先 設定的尺寸的操作。如果輸入到圖像預處理單元102的圖像為彩色圖像，圖像尺寸正規化單 元115就可W將在空間轉換單元113轉換成黑白空間的圖像正規化為預先設定的尺寸。如果 輸入到圖像預處理單元102的圖像的尺寸小于預先設定的尺寸，圖像尺寸正規化單元115就 可W將輸入圖像擴大為預先設定的尺寸。如果輸入到圖像預處理單元102的圖像的尺寸大 于預先設定的尺寸，圖像尺寸正規化單元115就可W將輸入圖像縮小為預先設定的尺寸。
[0109] 通過將輸入到圖像預處理單元102的圖像正規化為預先設定的尺寸，可W適當確 保從圖像中提取的特征點的個數并去除不必要的特征點。即，通過將輸入圖像正規化為預 先設定的尺寸，可W提取圖像的主要特征點并有效地去除圖像中除了主要特征點之外的剩 余特征點。在此情況下，在特征點之間的匹配步驟中能夠使特征點之間的匹配的可靠性保 持一定水平，并提高特征點之間的匹配速度。
[0110] 過濾單元104可W對輸入圖像進行過濾。過濾單元104可W過濾在圖像預處理單元 102進行預處理的圖像。過濾單元104通過對預處理的圖像進行過濾來可W去除預處理的圖 像中所存在的斑點或嗓音。為此，過濾單元104可W通過基于傅立葉的低通濾波器對預處理 的圖像進行過濾。但，為了防止去除預處理的圖像中可W用作特征點的區域，過濾單元104 可W適用高頻補償過波法。
[0111] 圖4為示出本發明的根據示意性實施例的過濾單元的結構的框圖。參照圖4,過濾 單元104可W包括過濾器單元121、減法器123、高頻補償過波單元125及合計器127。
[0112] 過濾器單元121可W包括:第一轉換單元131，將輸入圖像從空間區域轉換成頻率 區域;第二轉換單元133,將低通濾波器從空間區域轉換成頻率區域;乘法器135,將分別轉 換成頻率區域的輸入圖像與低通濾波器進行相乘;及逆轉換單元137,將從乘法器135輸出 的圖像從頻率區域逆轉換成空間區域。在此，第一轉換單元131和第二轉換單元133可W使 用FFT(快速傅里葉變換，Fast Fourier Transform)。逆轉換單元137可W使用IFT(傅立葉 反變換，Inverse Fourier Transform)。如上，通過將輸入圖像和低通濾波器從空間區域轉 換成頻率區域后再進行逆轉換，可W得到與在輸入圖像中將低通濾波器窗口 W每個窗口相 對前一個窗口滑動一個像素的方式滑動來計算（即，進行卷積計算)相同或類似的結果，從 而降低計算量。
[0113] 減法器123對在輸入圖像中通過過濾器單元121過濾的圖像進行減算。高頻補償過 波單元125起在從減法器123輸出的圖像中保持高頻成分（即，不是嗓聲而是可W用作特征 點的區域)的作用。從而，能夠通過低通濾波器去除嗓聲等并保持可W用作特征點的部分。 由于高頻補償過波法是公知的技術，因此省略其詳細說明。合計器127對在過濾器單元121 過濾的圖像與從高頻補償過波單元125輸出的圖像進行相加。
[0114] 特征點提取單元106在輸入圖像中提取特征點。特征點提取單元106可W在從過濾 單元104(或圖像預處理單元102)輸入的圖像中提取特征點。為了提取對圖像變化(例如，旋 轉及移動變化等)穩健的特征點，特征點提取單元106可W在輸入圖像中作為特征點候選位 置提取邊角區域。
[0115] 圖5為用于說明根據本發明的實施例的特征點候選位置區域的附圖。參照圖5的 (a )，在圖像中特定尺寸的視窗10所處的區域向各個方向細微地移動視窗10時，在所有方向 上都不發生像素值的變化。運些區域稱為平坦區域。
[0116] 參照圖5的（b )，在視窗10所處的區域向各個方向細微地移動視窗10時，在上下方 向上不發生像素值的變化。運些區域稱為邊緣區域。在此，邊緣區域不僅包括上下方向而且 包括在至少一個方向上不發生像素值的變化的區域。
[0117] 參照圖5的（c)，在視窗10所處的區域向各個方向細微地移動視窗10時，在所有方 向上都發生像素值的變化。運些區域稱為邊角區域。在示意性實施例中，特征點提取單元 106可W將所述邊角區域決定為特征點候選位置。
[0118] 特征點提取單元106可W從圖像中計算在視窗移動之前的視窗內的像素值的平均 值與在視窗移動之后的視窗內的像素值的平均值的差異下也稱為"平均值的變化"）。其 次，特征點提取單元106可W計算在平均值的變化最大的方向（X+)和平均值的變化最大的 方向上的平均值的變化量(λ+)。并且，特征點提取單元106可W計算在平均值的變化最小的 方向（Χ-)及平均值的變化最小的方向上的平均值的變化量(λ-)。特征點提取單元106可W 利用在平均值的變化最大的方向上的平均值的變化量(λ+)和在平均值的變化最小的方向 上的平均值的變化量(λ-)來在輸入圖像中能夠區分平坦區域、邊緣區域及邊角區域。
[0119] 具體而言，如果在平均值的變化最大的方向上的平均值的變化量(λ+)和在平均值 的變化最小的方向上的平均值的變化量(λ-)沒有差異或差異很小（即，λ+Νλ-)，特征點提 取單元106就可W將相當領域決定為平坦區域。并且，如果在平均值的變化最大的方向上的 平均值的變化量(λ+)和在平均值的變化最小的方向上的平均值的變化量(λ-)之間的差異 較大（即，λ+》λ-)，特征點提取單元106就可W將相當領域決定為邊緣區域。另外，如果在平 均值的變化最大的方向上的平均值的變化量(λ+)和在平均值的變化最小的方向上的平均 值的變化量(λ-)都超過預先設定的闊值，特征點提取單元106就可W將相當領域決定為邊 角區域。
[0120] 并且，為了提取對圖像的變化穩健的特征點，特征點提取單元106可W通過在生成 不同尺寸的輸入圖像后適用相同尺寸的視窗來提取特征點候選位置。或者，特征點提取單 元106可W通過在生成不同尺寸的視窗后對輸入圖像適用各個視窗來提取特征點候選位 置。即，根據圖像的尺寸，通過相同尺寸的視窗查看圖像中所存在的對象時的對象的曲率會 不同。并且，根據視窗的尺寸，在相當圖像中所存在的對象的曲率會不同。因此，為了提取對 如尺寸變化和視點變化等圖像的變化穩健的特征點，特征點提取單元106可W通過在生成 不同尺寸的輸入圖像后適用相同尺寸的視窗來提取特征點候選位置或在生成不同尺寸的 視窗后對輸入圖像適用各個視窗來提取特征點候選位置。通過判斷所提取的特征點候選位 置是否位于在輸入圖像中相同的位置來可W提取最終特征點候選位置。
[0121] 在此，對改變視窗的尺寸并將不同尺寸的視窗適用到各個輸入圖像的方法進行說 明。此時，視窗可W采用高斯過濾器或拉普拉斯過濾器等。然而，一般高斯過濾器或拉普拉 斯過濾器具有實數系數，因此過濾器的尺寸越大，其計算量指數性地增加。對此，特征點提 取單元106通過將提取特征點候選位置時所用的過濾器(視窗)轉換成具有整數系數的正規 化過濾器后使用，即使過濾器的尺寸變大，也可W防止計算量增加。
[0122] 圖6為示出一般高斯二次微分系數用過濾器的附圖。在此，為了方便說明，僅示出 了對X方向和ΧΥ方向的過濾器。參照圖8,作為過濾器采用的一般高斯過濾器對各個像素具 有不同的實數系數，因此需要大量的計算量。在此，顏色越明亮，具有+實數系數，而顏色越 暗，具有-實數系數。
[0123] 圖7為示出將一般高斯二次微分系數用過濾器轉換成具有整數系數的正規化過濾 器的狀態的附圖。在此，為了方便說明，僅示出了對X方向和ΧΥ方向的過濾器。參照圖7,改良 高斯過濾器的具有整數系數的正規化過濾器可為將在一般高斯二次微分系數用過濾器具 有+實數系數的預定區域正規化為+整數系數區域，而將具有-實數系數的預定區域正規化 為-整數系數區域的過濾器。在此，即使過濾器的尺寸變化，具有整數系數的正規化過濾器 也可W被調節為使得+整數系數區域和-整數系數區域的比率相同。本領域的技術人員可對 +整數系數區域和-整數系數區域的整數值加 W適當修改。
[0124] 特征點提取單元106可W在求取輸入圖像的重疊圖像后通過將具有整數系數的正 規化過濾器適用于重疊圖像來提取特征點候選位置。重疊圖像是被設置成使得與輸入圖像 相對應的像素的像素值具有從輸入圖像到相當像素的各個像素的像素值的總和值的圖像。 如果利用運些重疊圖像，就可W有效地計算在輸入圖像中的預定區域的面積。并且，通過使 用具有整數系數的正規化的過濾器，即使增加過濾器的尺寸并將各種過濾器適用于重疊圖 像，也可W防止計算量增加。即，不受過濾器尺寸的影響，可W進行迅速計算。
[0125] 具體而言，如果在具有整數系數的正規化過濾器中將對X方向的過濾器適用于重 疊圖像，利用+整數系數區域(兩個區域)和-整數系數區域(一個區域)的面積值來可W求得 相當過濾值。例如，將兩個+整數系數區域的面積值分別乘W1，將-整數系數區域的面積值 乘W -2，從而可W求得出相當過濾值。并且，如果在具有整數系數的正規化過濾器中將對XY 方向的過濾器適用于重疊圖像，利用+整數系數區域(兩個區域)和-整數系數區域(兩個區 域)的面積值來可W求得相當過濾值。例如，將兩個+整數系數區域的面積值分別乘W1，將 兩個-整數系數區域的面積值乘W-1，從而可W求得出相當過濾值。
[0126] 在此，為了提取對尺寸變化穩健的特征點，在W改變視窗(過濾器）的尺寸的方式 適用于輸入圖像時，作為相當過濾器使用具有整數系數的正規化過濾器的情況為例進行說 明，但不限于此，在生成不同尺寸的輸入圖像后適用相同尺寸的視窗（過濾器)時也可W使 用所述具有整數系數的正規化過濾器。
[0127] 為了提取對尺寸變化和視點變化等穩健的特征點，在輸入圖像的尺寸相同的狀態 下改變過濾器(例如，具有整數系數的正規化過濾器)的尺寸時，特征點提取單元106通過對 適用目前尺寸的過濾器(第一過濾器）（例如，9X9尺寸的過濾器）的圖像和適用比目前的過 濾器尺寸小一個尺寸的過濾器(第二過濾器）（例如，7 X 7尺寸的過濾器）的圖像及適用比目 前的過濾器尺寸大一個尺寸的過濾器(第Ξ過濾器）（例如，12 X 12尺寸的過濾器）的圖像進 行比較來可W最終決定特征點候選位置。
[01%]具體而言，特征點提取單元106可W通過對輸入圖像適用9X9尺寸的第一過濾器 來在輸入圖像中檢測特征點候選位置。此時，特征點提取單元106可W在將第一過濾器適用 于輸入圖像的圖像下也稱為"第一過濾器適用圖像"）中確定特征點候選位置的位置。第 一過濾器適用圖像可為對將第一過濾器的X方向過濾器適用于輸入圖像的圖像、將第一過 濾器的Y方向過濾器適用于輸入圖像的圖像及將第一過濾器的XY方向過濾器適用于輸入圖 像的圖像進行合計的圖像。由于輸入圖像的尺寸相同，在第一過濾器適用圖像中特征點候 選位置的位置與在輸入圖像中的相當位置一致。
[0129]其次，特征點提取單元106可W對第一過濾器適用圖像的特征點候選位置的值與 將7X7尺寸的第二過濾器適用于輸入圖像的圖像下也稱為"第二過濾器適用圖像"）及 將12X12尺寸的第Ξ過濾器適用于輸入圖像的圖像下也稱為"第Ξ過濾器適用圖像"） 的與所述特征點候選位置對應的位置的值進行比較。在此，如果第一過濾器適用圖像的特 征點候選位置的值和在第二過濾器適用圖像及第Ξ過濾器適用圖像中與所述特征點候選 位置對應的位置的值的差異大于或等于預先設定的闊值，特征點提取單元106可W作為最 終特征點候選位置決定相當特征點候選位置。特征點提取單元106可W從特征點候選位置 提取特征點。
[0130] 如上，在輸入圖像的尺寸相同的狀態下，W改變過濾器的尺寸的方式提取特征點 候選位置時，如果通過對適用目前尺寸的過濾器的圖像(第一過濾器適用圖像)和適用比目 前的過濾器尺寸小一個尺寸的過濾器的圖像(第二過濾器適用圖像)及適用比目前的過濾 器尺寸大一個尺寸的過濾器的圖像(第Ξ過濾器適用圖像)進行比較來提取特征點候選位 置，就可W確定為了能提取特征點候選位置對相當輸入圖像適用什么尺寸的過濾器。
[0131] 特征點后處理單元108可W對特征點提取單元106提取的特征點信息進行校正處 理。為了對旋轉變化穩健的特征點，特征點后處理單元108可W對特征點提取單元106提取 的特征點信息進行校正處理。特征點后處理單元108可W包括描述符。描述符起生成特征點 描述符的作用。特征點描述符包括用于說明特征點的信息。例如，特征點描述符可W包括特 征點的主要方向性，特征點的在主要方向上的尺寸及特征點與特征點鄰近像素之間的關系 ?目息等。
[0132] 特征點后處理單元108可W計算特征點提取單元106提取的特征點的主要方向性 及特征點的在主要方向上的尺寸。在此，在特征點從第一過濾器適用圖像被提取時，特征點 后處理單元108可W利用第二過濾器適用圖像和第Ξ過濾器適用圖像來計算特征點的主要 方向性及特征點的在主要方向上的尺寸。具體而言，特征點后處理單元108可W通過將在第 一過濾器適用圖像中特征點和與特征點鄰近的區域下也稱為"特征點有關區域"）的像 素值和在第二過濾器適用圖像及第Ξ過濾器適用圖像中與所述特征點有關區域對應的區 域的像素值表示在Ξ維坐標系上后，W相當特征點為基準合計各個像素值的向量來計算相 當特征點的主要方向性及特征點的在主要方向上的尺寸。特征點的主要方向性可W包括傾 斜度和角度。
[0133] 如上，在特征點從第一過濾器適用圖像被提取時，通過利用第二過濾器適用圖像 和第Ξ過濾器適用圖像來計算特征點的主要方向性，從而可W立體(Ξ維）顯示特征點的主 要方向性。但，其不限于此，也可W通過第一過濾器適用圖像的特征點有關區域計算而平面 (二維)顯示特征點的主要方向性。
[0134] 特征點后處理單元108可W通過描述符向預先設定的方向排列特征點的主要方向 性來進行描述。此時，描述符可W生成特征點與特征點鄰近像素之間的關系信息（例如，特 征點之間的位置和距離等）。通過向預先設定的方向排列特征點的主要方向性，生成特征點 與特征點鄰近像素之間的關系信息，即使圖像旋轉也可W在相當圖像中描述相同的特征 點。即，即使圖像旋轉，也向預先設定的方向排列特征點的主要方向性，且通過所述關系信 息確定特征點與特征點鄰近像素之間的關系，從而可W描述相當特征點，因此，可W生成對 旋轉變化穩健的特征點描述符。
[0135] 另一方面，在此對特征點提取單元106和特征點后處理單元108相互分離的結構進 行說明，但不限于此，特征點后處理單元108可W包括于特征點提取單元106。并且，雖然在 此未示出，特征點提取裝置100還可包括特征點檢索單元。特征點檢索單元（圖中未示出）可 W在預先存儲的特征點中檢索與第一特征點匹配的特征點。預先存儲的特征點可W存儲在 特征點提取裝置100的內部，也可W存儲在特征點提取裝置100的外部。在下述的圖像檢索 系統對與特征點檢索有關的內容進行具體說明。
[0136] 根據示意性實施例，通過對輸入圖像根據各個顏色通道的通道比率適應性地擴展 各個顏色通道的動態范圍，進行將輸入圖像從彩色圖像轉換成黑白空間的預處理，可W提 取對光照變化穩健的特征點。并且，通過進行將輸入圖像正規化為預先設定的尺寸的預處 理來可W適當確保從圖像中提取的特征點的個數并去除不必要的特征點。并且，通過低通 濾波器對輸入圖像進行過濾并適用高頻補償過波法，從而能夠去除在輸入圖像中所存在的 斑點或噪聲并保持可W用作特征點的部分。
[0137] 并且，通過在生成不同尺寸的視窗后對輸入圖像適用各個視窗來提取特征點候選 位置，從而可W提取對尺寸變化和視點變化等穩健的特征點。此時，通過將具有整數系數的 正規化過濾器適用于輸入圖像的重疊圖像，即使過濾器(視窗）的尺寸變大，也可W防止計 算量增加，且能夠迅速地計算。而且，通過向預先設定的方向排列特征點的主要方向性，生 成特征點與特征點鄰近像素之間的關系信息來，即使圖像旋轉也可W在相當圖像中描述相 同的特征點。
[0138] 圖8為示出根據示意性實施例的特征點提取方法的流程圖。在示出的流程圖中，通 過分成多個步驟來對所述方法進行說明，但，至少部分步驟可W調換順序進行，或與其他步 驟結合進行，或省略，或分成具體步驟來進行，或附加圖中未示出的至少一個步驟來進行。 并且，根據實施例，可W同時進行在所述方法中未顯示的至少一個步驟與所述方法。
[0139] 參照圖8,圖像預處理單元102確定原圖像是否為彩色圖像(S101).作為結果步驟 S101的確定結果，如果原圖像是彩色圖像，圖像預處理單元102就對原圖像進行光照補償處 理（S103)。圖像預處理單元102可W在原圖像中根據各個顏色通道的通道比率適應性地擴 展各個通道的動態范圍。具體而言，圖像預處理單元102通過在原圖像中選擇通道比率最高 的顏色通道且計算所述顏色通道的擴展參數α和移動參數β，使剩余的各個顏色通道的像素 的像素值擴展到擴展參數α，且移動到移動參數0，從而，可W根據各個顏色通道的通道比率 適應性地擴展各個通道的動態范圍。
[0140] 其次，圖像預處理單元102將光照補償處理的彩色圖像的空間從彩色空間轉換成 黑白空間（S105)。從而，可W提取對光照變化穩健的特征點。
[0141] 接下來，圖像預處理單元102將轉換成黑白空間的圖像正規化為預先設定的尺寸 (S107)。圖像預處理單元102可W通過擴大或縮小轉換成黑白空間的圖像來將所述圖像正 規化為預先設定的尺寸。從而，可W適當確保從圖像中提取的特征點的個數并去除不必要 的特征點。
[0142] 作為步驟S101的確定結果，如果原圖像不是彩色圖像（即，如果原圖像是黑白圖 像），圖像預處理單元102可W將原圖像正規化為預先設定的尺寸。
[0143] 其次，過濾單元104對在圖像預處理單元102預處理的圖像進行過濾（S109)。過濾 單元104可W通過低通濾波器對預處理的圖像進行過濾。但，為了防止去除在預處理的圖像 中可W用作特征點的區域，可W適用高頻補償過波法。
[0144] 接下來，特征點提取單元106在輸入圖像中檢測特征點候選位置(Sill)。特征點提 取單元106可W在輸入圖像中使邊角區域檢測為特征點候選位置。通過下述方法可W決定 在輸入圖像中哪一區域是邊角區域。首先，特征點提取單元106可W在輸入圖像中計算在視 窗移動之前的視窗內的像素值的平均值和在視窗移動后的視窗內的像素值的平均值的差 異（W下也稱為"平均值的變化"）。其次，特征點提取單元106可W計算平均值的變化最大的 方向（X+)及平均值的變化最大的方向上的平均值的變化量(λ+)。并且，特征點提取單元106 可W計算平均值的變化最小的方向（Χ-)和平均值的變化最小的方向上的平均值的變化量 (λ-)。接下來，特征點提取單元106可W通過利用平均值的變化最大的方向上的平均值的變 化量(λ+)和平均值的變化最小的方向上的平均值的變化量(λ-)來在輸入圖像中檢測邊角 區域。此時，如果平均值的變化最大的方向上的平均值的變化量(λ+)和平均值的變化最小 的方向上的平均值的變化量(λ-)都超過預先設定的闊值，特征點提取單元106就可W將相 當領域決定為邊角區域。
[0145] 在輸入圖像中檢測特征點候選位置時，為了提取對尺寸變化和視點變化等穩健的 特征點，特征點提取單元106可W在輸入圖像的尺寸相同的狀態下，W改變視窗(過濾器)的 尺寸的方式對輸入圖像適用視窗。或者，可改變輸入圖像的尺寸的方式對各個輸入圖 像適用相同尺寸的視窗(過濾器）。特征點提取單元106可W在特征點候選位置提取特征點。
[0146] 其次，特征點后處理單元108通過對在特征點提取單元106提取的特征點進行校正 處理來生成特征點描述符(S113)。具體而言，特征點后處理單元108可W計算特征點的主要 方向性及特征點的在主要方向上的尺寸。接下來，特征點后處理單元108可W向預先設定的 方向排列特征點的主要方向性，生成包括特征點與特征點鄰近像素之間的關系信息的特征 點描述符。由此，即使圖像旋轉，也可W在相當圖像中描述相同的特征點。
[0147] 圖9為示出根據示意性實施例的基于特征點的圖像檢索系統的附圖。
[0148] 參照圖9,圖像檢索系統200包括至少一個用戶計算設備(例如，圖9中示出的用戶 計算設備202、204)及至少一個服務器計算設備(例如，圖9中示出的服務器計算設備206)。 如圖9所示，第一用戶計算設備202及第二用戶計算設備204通過如各個局域網化ocal Area 化twork: LAN)、廣域網（Wide Area化twork: WAN)、蜂窩網絡或互聯網等網絡250可通信地 連接至服務器計算設備206。各個用戶計算設備202、204與服務器計算設備206之間的通信 可W基于通常的客戶/服務器模式。用戶計算設備202、204的例子可為例如手機、智能手機、 平板電腦、膝上型計算機等移動通信裝置，但不限于此，而用戶計算設備202、204包括可W 連接至服務器計算設備206的各種類型的無線通信裝置及有線通信裝置。服務器計算設備 206的例子包括各種類型的服務器計算機，例如，基于主機或基于開放系統的服務器計算 機。
[0149] 第一用戶計算設備202可為用于將預定圖像注冊到服務器計算設備206的用戶的 計算設備。第一用戶計算設備202可W將圖像注冊請求發送到服務器計算設備206。圖像注 冊請求可W包括預定圖像和圖像有關信息（例如，圖像生成日期和時間、相當圖像的標題、 與相當圖像的內容有關的信息、與相當圖像鏈接的URL信息、與相當圖像相關的商品信息 (產品名稱、生產商、相關廣告、使用后記、銷售處等）、關于相當圖像是否廣告用圖像的信息 等等）。圖像注冊請求可W包括多個圖像。用戶可W在多個圖像中設定代表性圖像。代表性 圖像可為在所述多個圖像中在其他用戶檢索圖像時優先表示的圖像。
[0150] 第一用戶計算設備202可W將在第一用戶計算設備202的存儲器中所存儲的圖像 發送到服務器計算設備206來注冊圖像，或將從其他計算設備獲得的圖像發送到服務器計 算設備206來注冊圖像。第一用戶計算設備202可W從服務器計算設備206接受圖像注冊結 果。第一用戶計算設備202可W從服務器計算設備206接受關于注冊的圖像的檢索明細信 息。第一用戶計算設備202可W在注冊預定圖像時檢索與相當圖像相同或類似的圖像是否 已經被注冊。
[0151] 第二用戶計算設備204可為用于通過服務器計算設備206檢索在預定圖像及圖像 有關信息中至少一個的用戶的計算設備。第二用戶計算設備204可W將圖像檢索基本信息 發送到服務器計算設備206。圖像檢索基本信息可W包括預定圖像、從預定圖像中提取的特 征點信息及圖像檢索條件中的至少一個。圖像檢索條件可W包括按周期的檢索、按人氣順 序的檢索、按最新順序的檢索、廣告與否區分廣告用圖像和非廣告用圖像的方式進行檢 索）等。在此，在圖像檢索基本信息中所包含的圖像可W是在第二用戶計算設備204攝影的 圖像，或在第二用戶計算設備204的存儲器中所存儲的圖像，或從其他計算設備獲得的圖 像。在第二用戶計算設備204將從預定圖像中提取的特征點信息發送到服務器計算設備206 的情況下，第二用戶計算設備204可W包括特征點提取器。特征點提取器可為如圖1所示的 特征點提取裝置100,但不限于此。第二用戶計算設備204可W從服務器計算設備206接受在 預定圖像及圖像有關信息中的至少一個。
[0152] W下，為了方便說明，W第一用戶計算設備202是用于注冊圖像的用戶的計算設 備，第二用戶計算設備204是用于檢索圖像有關信息的用戶的計算設備的情況為例進行說 明，但不限于此，而用戶計算設備202、204當然是可W分別用于注冊圖像及/或檢索圖像有 關?目息。
[0153] 服務器計算設備206可W托管包括至少一個網頁的網站。服務器計算設備206可W 通過網絡250提供用戶為了注冊圖像而可W訪問的網頁。服務器計算設備206可W通過網絡 250提供用戶為了檢索圖像有關信息而可W訪問的網頁。
[0154] 服務器計算設備206可W從第一用戶計算設備202接受圖像注冊請求。服務器計算 設備206可W判斷在圖像注冊請求中所包含的圖像是否為可W注冊的圖像。例如，如果在圖 像注冊請求中所包含的圖像為有害圖像(例如，19歲W下禁止觀看的圖像等)或不能提取特 征點的圖像，服務器計算設備206可W將所述圖像判斷為注冊不可圖像。如果在圖像注冊請 求所包含的圖像為不可注冊的圖像，服務器計算設備206可W向第一用戶計算設備202發送 注冊不可提示信息。
[0155] 服務器計算設備206可W從在圖像注冊請求中所包含的圖像提取特征點。服務器 計算設備206通過將關于提取的特征點的信息與在圖像注冊請求中所包含的圖像有關信息 匹配并存儲來可W向系統注冊相當圖像。服務器計算設備206可W將圖像注冊結果發送到 第一用戶計算設備202。服務器計算設備206可W監測對注冊圖像的檢索明細，然后將檢索 明細信息發送到注冊相當圖像的第一用戶計算設備202。
[0156] 如果在圖像注冊請求中所包含的圖像是多個，服務器計算設備206就可W判斷多 個各個圖像是否為可W注冊的圖像。即，服務器計算設備206可W確定多個各個圖像是否為 有害圖像或可W提取特征點的圖像，然后，如果多個圖像都為有害圖像或無法提取特征點 的圖像，就可W向第一用戶計算設備202發送注冊不可提示信息。如果多個圖像中至少一個 圖像為可W注冊的圖像，服務器計算設備206就可W進行相當圖像的圖像注冊步驟。服務器 計算設備206可W向第一用戶計算設備202發送關于不可注冊剩余的圖像（即，注冊不可圖 像)的信息。
[0157] 服務器計算設備206在接受圖像注冊請求時，可W檢索是否存在與在圖像注冊請 求中所包含的圖像相同或類似的其它用戶已經注冊的圖像。如果存在與在圖像注冊請求中 所包含的圖像相同或類似的其它用戶已經注冊的圖像，服務器計算設備206可W向第一用 戶計算設備202通知相當事實。此時，服務器計算設備206可W向第一用戶計算設備202詢問 是否注冊相當圖像（即，即使存在相同或類似的其它用戶已經注冊的圖像，也是否進行相當 圖像的注冊步驟）。
[0158] 服務器計算設備206在注冊預定用戶的圖像時，可W使在已經注冊的其他用戶的 圖像中與所述要注冊的圖像相同或類似的圖像和所述要注冊的圖像鏈接。
[0159] 服務器計算設備206可W從第二用戶計算設備204接受圖像檢索基本信息。如果特 征點信息包括在圖像檢索基本信息中，服務器計算設備206就可W檢索與在圖像檢索基本 信息中所包含的特征點信息匹配的特征點，然后提取與所檢索的特征點匹配并存儲的圖像 有關信息。服務器計算設備206根據在圖像檢索基本信息中所包含的圖像檢索條件可W檢 索所述匹配的特征點。服務器計算設備206可W向第二用戶計算設備204發送在與所檢索的 特征點對應的圖像及所述提取的圖像有關信息中的至少一個。
[0160] 在圖像檢索基本信息不包含特征點信息而僅包含預定圖像時，服務器計算設備 206可W從相當圖像提取特征點，然后檢索與所提取的特征點匹配的特征點。服務器計算設 備206可W包括特征點提取器，W便從圖像中提取特征點。特征點提取器可為如圖1所示的 特征點提取裝置100,但不限于此。
[0161] 服務器計算設備206通過在圖像檢索基本信息中所包含的圖像或特征點信息檢索 圖像時，根據與在圖像檢索基本信息中所包含的圖像或特征點信息之間的相似度可W檢索 多個圖像。此時，可W根據所述相似度檢索的圖像分為多個組。例如，在所述相似度等于或 大于預先設定的第一闊值時，相當檢索圖像可W分為相同圖像組，在所述相似度等于或大 于預先設定的第二闊值且小于第一闊值時，相當檢索圖像可W分為相似圖像組。在此，W分 為相同圖像組或相似圖像組的情況為例進行了說明，但不限于此，可W分為其他多個步驟 的組。
[0162] 服務器計算設備206在向第二用戶計算設備204發送對應于圖像檢索基本信息的 圖像及圖像有關信息時，可W同時發送與對應于所述圖像檢索基本信息的圖像鏈接的圖像 (即，與對應于圖像檢索基本信息的圖像相同或類似的圖像)及圖像有關信息。例如，在用戶 1已經注冊A圖像及A圖像的圖像有關信息，且用戶2要注冊與A圖像相似的B圖像及B圖像的 圖像有關信息時，服務器計算設備206在進行B圖像的圖像注冊步驟時可W將與B圖像相似 的A圖像鏈接到B圖像。另外，假設用戶3發送包含C圖像的圖像檢索基本信息，然后服務器計 算設備206檢索與C圖像對應的圖像，結果，檢索到B圖像。則服務器計算設備206可W向用戶 3發送B圖像和與B圖像鏈接的A圖像。即，服務器計算設備206在檢索與C圖像對應的圖像時， 即使僅檢索到B圖像而沒有檢索到A圖像，也可W向用戶3發送與B圖像鏈接的A圖像（即，與B 圖像相似的圖像）。
[0163] 服務器計算設備206可W監測注冊的各個圖像的檢索次數。例如，服務器計算設備 206可W監測各個注冊圖像的按周期的檢索次數、按地區的檢索次數、按年齡的檢索次數及 總檢索次數中的至少一個。服務器計算設備206在向第二用戶計算設備204發送與圖像檢索 基本信息對應的圖像及圖像有關信息時，可W根據所述檢索次數W降序排列并發送相當圖 像和圖像有關信息。即，可W從所述檢索次數最高的圖像至最低的圖像依次排列來發送圖 像。服務器計算設備206可W周期性地更新注冊的各個圖像的檢索次數。
[0164]服務器計算設備206可W按每個用戶限制圖像注冊次數。例如，服務器計算設備 206可W按每個用戶限制一天圖像注冊次數。如果預定用戶注冊的圖像的總檢索次數超過 預先設定的檢索次數，服務器計算設備206可W提高相當用戶的圖像注冊次數。
[01化]在此，服務器計算設備206可為SNS(社交網絡服務，Social化twork Service)月良 務器。服務器計算設備206可W提供基于圖像(更具體地，基于圖像特征點）的SNS服務。即， 用戶計算設備202、204的用戶通過向服務器計算設備206運作的自己的SNS賬戶注冊圖像及 圖像有關信息來可W共享所述圖像及圖像有關信息。并且，用戶計算設備202、204的用戶可 W通過服務器計算設備206檢索其他用戶注冊的圖像有關信息。如上，通過提供基于圖像的 SNS服務，能夠實現與語言不同的用戶之間的順楊溝通，沒有另外信息而僅通過圖像可容易 獲得自己所需的信息。
[0166] 圖10為示出根據示意性實施例的服務器計算設備的結構的框圖。
[0167] 參照圖10,服務器計算設備206可W包括通信單元211，圖像注冊單元213,特征點 提取器215,圖像檢索單元217,監測單元219及數據庫221。
[0168] 通信單元211與用戶計算設備202、204進行通信。通信單元211可W從用戶計算設 備202、204接受圖像注冊請求。通信單元211可W從用戶計算設備202、204接受圖像檢索基 本信息。通信單元211可W向用戶計算設備202、204發送圖像注冊結果。通信單元211可W向 用戶計算設備202、204發送在基于圖像檢索基本信息檢索的圖像及圖像有關信息中的至少 一個。通信單元211可W向用戶計算設備202、204發送對注冊的圖像的檢索明細信息。
[0169] 圖像注冊單元213針對通信單元211接受的圖像注冊請求可W判斷是否可W注冊， 然后根據其結果可W進行圖像注冊操作或圖像注冊不可操作。圖像注冊單元213可W判斷 是否可W注冊在圖像注冊請求中所包含的圖像及圖像有關信息。在圖像注冊請求中所包含 的圖像及圖像有關信息與存儲于數據庫221中的有害內容信息相同或類似時，圖像注冊單 元213可W將所述圖像注冊請求判斷為不可注冊。并且，在從在圖像注冊請求中所包含的圖 像無法提取特征點（例如，因圖像本身太簡單而無法提取特征點時或因圖像損傷而無法提 取特征點時等)時，圖像注冊單元213可W將所述圖像注冊請求判斷為不可注冊。圖像注冊 單元213在將圖像注冊請求判斷為不可注冊時，可W通過通信單元211向用戶計算設備202、 204發送注冊不可提示信息。
[0170] 圖像注冊單元213在將所述圖像注冊請求判斷為可W注冊時，可W通過將從在圖 像注冊請求中所包含的圖像中提取的特征點信息與相當圖像及圖像有關信息匹配并存儲 來進行圖像注冊操作。圖像注冊單元213在預先設定的注冊不可理由不包括圖像注冊請求 時可W將所述圖像注冊請求判斷為可W注冊。圖像注冊單元213在針對圖像注冊請求進行 圖像注冊操作時，可W通過通信單元211向用戶計算設備202、204發送圖像注冊結果。
[0171] 如果在圖像注冊請求中所包含的圖像是多個，圖像注冊單元213就可W判斷多個 各個圖像是否為可W注冊的圖像。如果多個圖像都為注冊不可圖像，圖像注冊單元213就可 W通過通信單元211向用戶計算設備202、204發送注冊不可提示信息。如果多個圖像中至少 一個圖像為可W注冊的圖像，圖像注冊單元213就可W進行相當圖像的圖像注冊步驟，并 且，通過通信單元211向用戶計算設備202、204發送剩余的圖像的注冊不可提示信息。
[0172] 圖像注冊單元213在注冊預定用戶的圖像時，可W使已經注冊的其他用戶的圖像 中與所述要注冊的圖像相同或類似的圖像和所述要注冊的圖像鏈接。
[0173] 圖像注冊單元213可W按每個用戶限制圖像注冊次數。如果預定用戶注冊的圖像 的總檢索次數超過預先設定的檢索次數，圖像注冊單元213可W提高相當用戶的圖像注冊 次數。
[0174] 特征點提取器215可W從在圖像注冊請求中所包含的圖像提取特征點。特征點提 取器215可W從在圖像檢索基本信息中所包含的圖像提取特征點。在圖像檢索基本信息不 包含特征點信息而僅包含圖像時，特征點提取器215可W從相當圖像提取特征點。特征點提 取器215可W具有與如圖1所示的特征點提取裝置100相同或類似的構成。此時，特征點提取 器215可W提取對圖像變化(例如，光照變化、尺寸變化、視點變化、旋轉變化等)穩健的特征 點。特征點提取器215可W包括在如圖1所示的特征點提取裝置100中的特征點提取單元 106,且全部或部分包括其他剩余的構成。在從圖像中無法提取特征點時，特征點提取器215 可W將其實事傳遞給圖像注冊單元213。
[0175] 圖像檢索單元217可W檢索與檢索請求的圖像匹配的圖像。在此，檢索請求的圖像 為在圖像檢索基本信息中所包含的圖像或具有在圖像檢索基本信息中所包含的特征點的 圖像。圖像檢索單元217可W從數據庫221中檢索在預先存儲的圖像中與檢索請求的圖像匹 配的（即，相同或類似的）圖像。此時，圖像檢索單元217可W基于特征點檢索圖像。即，圖像 檢索單元217可W在已經注冊的圖像的特征點中檢索與從在圖像檢索基本信息中所包含的 圖像中提取的特征點或在圖像檢索基本信息中所包含的特征點下也稱為"檢索請求特 征點"）匹配的特征點。
[0176] 圖像檢索單元217可W對檢索請求特征點的特征點描述符與已經注冊的特征點的 各個特征點描述符進行比較，在已經注冊的特征點中提取與檢索請求特征點之間的相似度 大于或等于預先設定的闊值的特征點。在此，與特征點之間的相似度可W通過檢索請求特 征點的特征點描述符和已經注冊的特征點的各個特征點描述符之差的平方的和，即，SSD (差值平方和，S皿of Squared Difference)表示。SSD是一種距離函數，SSD值越小，表示檢 索請求特征點與預定特征點之間的相似度越高。
[0177] 圖像檢索單元217可W驗證所述提取的特征點（即，在已經注冊的特征點中與檢索 請求特征點之間的相似度大于或等于預先設定的闊值的特征點)是否與檢索請求特征點匹 配。即，在提取僅通過與特征點之間的相似度可W匹配的特征點時，與檢索請求特征點實際 不匹配的特征點會被提取，因此，圖像檢索單元217可W進行驗證所述提取的特征點是否與 檢索請求特征點匹配的操作。例如，在圖像中包括重復的模式或相似的形狀反復出現時，與 檢索請求特征點實際不匹配的特征點會被提取。
[0178] 圖像檢索單元217通過下述數學式2可W確定相當特征點是否與檢索請求特征點 實際匹配。
[0179] (數學式2)
[0180]
[0181]式中，SSD(fl、f2)為與檢索請求特征點（fl)之間的相似度最高的特征點（f2)之間 的SSD(差值平方和，Sum of Squared Difference)，SSD(fl、f2'）為與檢索請求特征點（fl) 之間的相似度第二高的特征點(f2'）之間的SSD。
[0182] 圖像檢索單元217根據數學式2(即
）的值可W確定相當特征 點是否為與檢索請求特征點實際匹配的特征點。具體而言，在數學式2的值接近0的情況下， 圖像檢索單元217將特征點（f2)判斷為與檢索請求特征點（Π )實際不匹配的特征點，在數 學式2的值接近1的情況下，將特征點(f2)判斷為與檢索請求特征點(Π )實際不匹配的特征 點。
[0183] 圖像檢索單元217可W提取與檢索請求特征點匹配的特征點，然后提取在與所提 取的特征點對應的圖像及圖像有關信息中至少一個。圖像檢索單元217可W通過通信單元 211向發送圖像檢索基本信息的用戶計算設備202、204發送提取的圖像及圖像有關信息中 的至少一個。
[0184] 并且，圖像檢索單元217通過在圖像檢索基本信息中所包含的圖像或特征點信息 檢索圖像時，根據與在圖像檢索基本信息中所包含的圖像或特征點信息之間的相似度可W 檢索多個圖像。此時，圖像檢索單元217可W根據所述相似度將檢索的圖像分為多個組。
[0185] 例如，在所述相似度等于或大于預先設定的第一闊值時，相當檢索圖像可W分為 相同圖像組，在所述相似度等于或大于預先設定的第二闊值且小于第一闊值時，相當檢索 圖像可W分為相似圖像組。第一闊值及第二闊值可W根據與檢索請求特征點匹配的特征點 的個數被設定。例如，第一闊值可W被設定為在與檢索請求特征點匹配的特征點的個數為 100個時的值，第二闊值可W被設定為在與檢索請求特征點匹配的特征點的個數為80個時 的值。據此，在與檢索請求特征點匹配的特征點的個數大于或等于100個的圖像的情況下， 圖像檢索單元217可W將相當圖像分為相同圖像組。在與檢索請求特征點匹配的特征點的 個數大于或等于80個且小于100個的圖像的情況下，圖像檢索單元217可W將相當圖像分為 相似圖像組。
[0186] 在通過通信單元211向用戶計算設備202、204發送與圖像檢索基本信息對應的圖 像及圖像有關信息時，圖像檢索單元217可W同時發送與對應于所述圖像檢索基本信息的 圖像鏈接的圖像(即，與對應于圖像檢索基本信息的圖像相同或類似的圖像)和圖像有關信 息。
[0187] 監測單元219可W監測已經注冊的圖像的按周期的檢索次數、按地區的檢索次數、 按年齡的檢索次數、總檢索次數中的至少一個。監測單元219可W按每個用戶監測相當用戶 的注冊圖像。監測單元219可W向注冊相當圖像的用戶計算設備202、204發送監測結果（即， 檢索明細信息）。監測單元219可W對在已經注冊的圖像中作為廣告用圖像注冊的圖像進行 監測。在向用戶計算設備202、204發送與圖像檢索基本信息對應的圖像及圖像有關信息時， 圖像檢索單元217可W將相當圖像和圖像有關信息根據所述檢索次數W降序排列并發送。
[0188] 數據庫221可W存儲判斷為可W注冊的圖像及圖像有關信息。數據庫221可W將從 在圖像注冊請求中所包含的圖像中提取的特征點信息與相當圖像及圖像有關信息匹配并 存儲。數據庫221可W存儲有害內容信息。數據庫221可W存儲檢索明細信息。
[0189] 圖11為示出根據示意性實施例的基于特征點的圖像檢索方法的流程圖。
[0190] 參照圖11，服務器計算設備206確定由用戶計算設備202、204是否發送圖像注冊請 求(S201)。圖像注冊請求可W包括預定圖像和圖像有關信息。
[0191] 作為步驟S201的確定結果，如果由用戶計算設備202、204發送圖像注冊請求，服務 器計算設備206就判斷是否可W注冊圖像注冊請求(S203)。服務器計算設備206根據圖像注 冊請求是否具有預先設定的注冊不可理由可W判斷是否可W注冊圖像注冊請求。
[0192] 作為步驟S203的判斷結果，在圖像注冊請求判斷為不可注冊時，服務器計算設備 206向發送圖像注冊請求的用戶計算設備202、204發送注冊不可提示信息(S205)。在圖像注 冊請求中所包含的圖像及圖像有關信息與有害內容信息相同或相似，或從在圖像注冊請求 中所包含的圖像無法提取特征點時，服務器計算設備206可W將相當圖像注冊請求判斷為 不可注冊。
[0193] 作為步驟S203的判斷結果，在圖像注冊請求判斷為可W注冊時，服務器計算設備 206從在圖像注冊請求中所包含的圖像提取特征點，然后通過使提取的特征點信息與相當 圖像及圖像有關信息匹配來進行圖像注冊操作(S207)。
[0194] 其次，服務器計算設備206確定從用戶計算設備202、204是否接受圖像檢索基本信 息（S209)。圖像檢索基本信息可W包括預定圖像、從所述圖像中提取的特征點信息及圖像 檢索條件中的至少一個。
[01M]作為步驟S209的確定結果，如果從用戶計算設備202、204接受圖像檢索基本信息， 服務器計算設備206就確定圖像檢索基本信息是否包括特征點信息(S211)。
[0196] 作為步驟S211的確定結果，如果圖像檢索基本信息不包括特征點信息，服務器計 算設備206就從在圖像檢索基本信息中所包含的圖像提取特征點(S213)。
[0197] 作為步驟S211的確定結果，如果圖像檢索基本信息包括特征點信息，服務器計算 設備206就提取在已經注冊的圖像的特征點中與檢索請求特征點相似的特征點（S215)。在 此，檢索請求特征點可為從在圖像檢索基本信息中所包含的圖像中提取的特征點或在圖像 檢索基本信息中所包含的特征點。具體而言，服務器計算設備206可W通過對檢索請求特征 點的特征點描述符和已經注冊的特征點的各個特征點描述符進行比較來可W提取在已經 注冊的特征點中與檢索請求特征點之間的相似度大于或等于預先設定的闊值的特征點。
[0198] 其次，服務器計算設備206驗證所述提取的特征點（即，在已經注冊的特征點中與 檢索請求特征點之間的相似度大于或等于預先設定的闊值的特征點）是否與檢索請求特征 點匹配(S217)。例如，服務
[0199] 器計算設備206可W根據
1-'的值確定相當特征點是否為與檢索 請求特征點實際匹配的特征點。
[0200] 接下來，服務器計算設備206提取在對應于判斷為與檢索請求特征點匹配的特征 點的圖像及圖像有關信息中的至少一個，然后將其發送到發送圖像檢索基本信息的用戶計 算設備 202、204(S219)。
[0201] 圖12為示出包括適合用于示意性實施例中的示意性計算設備的計算環境的附圖。
[0202] 圖12中示出的示意性計算環境500包括計算設備510。在各種實施例中，計算設備 510的構成可W與為用戶計算設備202、204的用戶及為服務器計算設備206的操作員的構成 相同。并且，雖然下面未描述，但還可W包括適合于其構成的組件。因此，計算設備510可為 諸如服務提供者的服務器計算機、臺式計算機、網絡計算機、通用或特定用途的機器或其他 不同形態的計算設備等服務器計算設備(例如，服務器計算設備206)。并且，計算設備510可 為例如手機、智能手機、便攜式媒體播放器，便攜式游戲設備，PDA(個人數字助理，Personal Digital Assis化nt)，平板電腦、膝上型電腦、臺式電腦等與用戶相關的計算設備(例如，用 戶計算設備202、204)。并且，特征點提取裝置100也可W具有與計算環境500相同的構成。
[0203] 計算設備510包括至少一個處理器512、計算機可讀存儲介質514及總線560。處理 器512與總線560連接，總線560包括計算機可讀存儲介質514 W使計算設備510的其他不同 組件與處理器512連接。
[0204] 處理器512可W使計算設備510根據上面提到的示意性實施例進行操作。例如，處 理器512可W進行在計算機可讀存儲介質514中存儲的計算機可執行的指令，在計算機可讀 存儲介質514中存儲的計算機可執行的指令可W被配置為使得在通過通過處理器512進行 所述指令時由計算設備510進行預定的根據示意性實施例的操作。
[0205] 計算機可讀存儲介質514被配置為存儲計算機可執行的指令或程序代碼(例如，包 括于應用530中的指令）、程序數據(例如，通過應用530使用的數據)及/或其他適合形式的 信息。存儲于計算機可讀存儲介質514中的應用530包括通過處理器512可W執行的指令的 預定的集合。
[0206] 圖12中示出的存儲器516和存儲裝置518是計算機可讀存儲介質514的一個例子。 存儲器516可W加載通過處理器512可W執行的計算機可執行的指令。并且，在存儲器516中 可W存儲程序數據。例如，運些存儲器516可為如隨機存取存儲器等易失性存儲器、非易失 性存儲器或其適當組合。作為另一個例子，存儲裝置518可W包括用于存儲信息的至少一個 可拆卸或不可拆卸的組件。例如，存儲裝置518可為硬盤、閃存、磁盤、光盤、可W通過計算設 備510訪問且能夠存儲所需的信息的其他形式的存儲媒體或其適當組合。
[0207] 而且，計算設備510可W包括提供為至少一個輸入/出裝置570的接口的至少一個 輸入/出接口 520。輸入/出接口 520與總線560連接。輸入/出裝置570可W通過輸入/出接口 520與計算設備510(的其他組件)連接。輸入/出裝置570可W包括如定點設備、鍵盤、觸摸式 輸入裝置、語音輸入裝置、傳感器設備及/或攝影裝置等輸入裝置及/或如顯示器、打印機、 音箱及/或網卡等輸出裝置。
[0208] 此外，一些實施例可包括具有用于在計算機上執行本說明書中記載的方法的程序 的計算機可讀記錄介質。所述計算機可讀記錄介質可單獨地包括程序命令、本地數據文件、 本地數據結構等，或者包括它們的組合。所述計算機可讀記錄介質可W是為本發明而專口 設計并構成的介質。所述計算機可讀記錄介質的示例包括為了存儲并執行程序命令而專口 構成的硬件裝置:諸如硬盤、軟盤及磁帶的磁介質、諸如CD-R0M、DVD的光記錄介質、諸如軟 盤的磁光介質及R〇M、RAM、閃存等。程序命令的示例可包括：由編譯器編寫的機器語言代碼 W及使用解釋器等而由計算機來執行的高級語言代碼。
[0209] 綜上，通過代表性實施例對本發明進行了具體地說明，但本發明所屬技術領域的 普通技術人員應當理解，在不脫離本發明的范圍內能夠進行各種變形。因此，本發明的權利 要求范圍并非限定于所說明的實施例而規定，根據權利要求范圍及與權利要求范圍等同的 進行規定。
【主權項】
1. 一種特征點提取裝置，用于提取對圖像變化穩健的特征點，包括： 特征點提取單元，在圖像作為特征點候選位置提取邊角區域，在所述特征點候選位置 提取特征點;及 特征點后處理單元，生成所述提取的特征點的特征點描述符。2. 根據權利要求1所述的特征點提取裝置，其中，所述特征點提取單元從所述圖像中計 算在視窗移動之前的視窗內的像素值的平均值與在視窗移動之后的視窗內的像素值的平 均值的差異(平均值的變化），利用在所述平均值的變化最大的方向上的平均值的變化量和 在所述平均值的變化最小的方向上的平均值的變化量決定所述邊角區域。3. 根據權利要求2所述的特征點提取裝置，其中，所述特征點提取單元在所述平均值的 變化最大的方向上的平均值的變化量和在所述平均值的變化最小的方向上的平均值的變 化量分別超過預先設定的閾值時，將在所述圖像中的相當領域決定為所述邊角區域。4. 根據權利要求1所述的特征點提取裝置，其中，所述特征點提取單元以在所述圖像的 尺寸相同的狀態下改變過濾器尺寸的方式對所述圖像適用所述過濾器，從而提取特征點候 選位置。5. 根據權利要求4所述的特征點提取裝置，其中，所述特征點提取單元將具有實數系數 的過濾器轉換成具有整數系數的正規化過濾器，以改變所述正規化過濾器的尺寸的方式對 所述圖像的重疊圖像適用所述過濾器，從而提取特征點候選位置。6. 根據權利要求4所述的特征點提取裝置，其中，在通過對所述圖像適用具有第一尺寸 的過濾器來檢測特征點候選位置時，所述特征點提取單元通過比較對所述圖像適用所述具 有第一尺寸的過濾器的圖像與對所述圖像適用具有小于所述第一尺寸的第二尺寸的過濾 器的圖像及對所述圖像適用具有大于所述第一尺寸的第三尺寸的過濾器的圖像來，將所述 檢測的特征點候選位置最終決定為特征點候選位置。7. 根據權利要求1所述的特征點提取裝置，其中，所述特征點后處理單元向預先設定的 方向排列所述特征點的主要方向性，生成包括所述特征點與所述特征點鄰近像素之間的關 系信息的所述特征點描述符。8. 根據權利要求1所述的特征點提取裝置，其中，所述特征點提取單元以在過濾器的尺 寸相同的狀態下改變所述圖像的尺寸的方式，對不同尺寸的各個圖像適用所述過濾器，從 而提取特征點候選位置。9. 根據權利要求1所述的特征點提取裝置，其中，在所述圖像為彩色圖像時，所述特征 點提取裝置還包括圖像預處理單元，該圖像預處理單元對所述彩色圖像進行光照補償。10. 根據權利要求9所述的特征點提取裝置，其中，所述圖像預處理單元根據所述彩色 圖像中的顏色通道的通道比率適應性地擴展各個顏色通道的動態范圍。11. 根據權利要求10所述的特征點提取裝置，其中，所述圖像預處理單元對在所述彩色 圖像中通道比率最高的顏色通道計算擴展參數(α)和移動參數(β)，然后使各個顏色通道的 像素擴展到所述擴展參數(α)，且移動到所述移動參數(β)。12. 根據權利要求1所述的特征點提取裝置，其中，在所述圖像為彩色圖像時，所述特征 點提取裝置還包括圖像預處理單元，該圖像預處理單元將所述圖像的空間從彩色空間轉換 成黑白空間。13. 根據權利要求1所述的特征點提取裝置，其中，所述特征點提取裝置還包括圖像預 處理單元，該圖像預處理單元將所述圖像正規化為預先設定的尺寸。14. 根據權利要求1所述的特征點提取裝置，其中，所述特征點提取裝置還包括過濾單 元，該過濾單元將所述圖像通過低通濾波器過濾后傳遞給所述特征點提取單元，而且，所述 過濾單元適用高頻補償過波法，使得在所述圖像中保持所述邊角區域。15. 根據權利要求1所述的特征點提取裝置，其中，所述特征點提取裝置還包括特征點 檢索單元，該特征點檢索單元在預先存儲的特征點中檢索與第一特征點匹配的特征點。16. 根據權利要求15所述的特征點提取裝置，其中，所述特征點檢索單元對所述第一特 征點的特征點描述符與所述預先存儲的特征點的各個特征點描述符進行比較，在預先存儲 的特征點中提取與所述第一特征點之間的相似度大于或等于預先設定的閾值的特征點。17. 根據權利要求16所述的特征點提取裝置，其中， 所述特征點檢索單元通過下述數學式1驗證所述提取的特征點是否與所述第一特征點 匹配： (數學式1)式中，SSD(Π、f 2)為與檢索請求特征點（f 1)之間的相似度最高的特征點（f 2)之間的 SSD(差值平方和，Sum of Squared Difference)，330(;1!!、€2'）為與檢索請求特征點(;1!!)之 間的相似度第二高的特征點(f2'）之間的SSD。18. -種特征點提取方法，用于提取對圖像變化穩健的特征點，包括以下步驟： 在特征點提取裝置，作為圖像的特征點候選位置提取邊角區域;及 在所述特征點提取裝置，生成在所述特征點候選位置提取的特征點的特征點描述符。19. 根據權利要求18所述的特征點提取方法，其中， 提取所述特征點候選位置的步驟包括以下步驟： 在所述特征點提取裝置，從所述圖像中計算在視窗移動之前的視窗內的像素值的平均 值與在視窗移動之后的視窗內的像素值的平均值的差異(平均值的變化）；及 在所述特征點提取裝置，利用在所述平均值的變化最大的方向上的平均值的變化量和 在所述平均值的變化最小的方向上的平均值的變化量決定所述邊角區域。20. 根據權利要求19所述的特征點提取方法，其中， 決定所述邊角區域的步驟包括以下步驟： 在所述特征點提取裝置，在所述平均值的變化最大的方向上的平均值的變化量和在所 述平均值的變化最小的方向上的平均值的變化量分別超過預先設定的閾值時，將在所述圖 像中的相當領域決定為所述邊角區域。21. 根據權利要求18所述的特征點提取方法，其中， 提取所述特征點候選位置的步驟包括以下步驟： 在所述特征點提取裝置，以在所述圖像的尺寸相同的狀態下改變過濾器尺寸的方式對 所述圖像適用所述過濾器，從而提取特征點候選位置。22. 根據權利要求21所述的特征點提取方法，其中， 提取所述特征點候選位置的步驟包括以下步驟： 在所述特征點提取裝置，將具有實數系數的過濾器轉換成具有整數系數的正規化過濾 器;及 在所述特征點提取裝置，以改變所述正規化過濾器的尺寸的方式對所述圖像的重疊圖 像適用所述過濾器，從而提取特征點候選位置。23. 根據權利要求21所述的特征點提取方法，其中， 提取所述特征點候選位置的步驟包括以下步驟： 在所述特征點提取裝置，通過對所述圖像適用具有第一尺寸的過濾器來檢測特征點候 選位置;及 在所述特征點提取裝置，通過比較對所述圖像適用所述具有第一尺寸的過濾器的圖像 與對所述圖像適用具有小于所述第一尺寸的第二尺寸的過濾器的圖像及對所述圖像適用 具有大于所述第一尺寸的第三尺寸的過濾器的圖像來，將所述檢測的特征點候選位置最終 決定為特征點候選位置。24. 根據權利要求18所述的特征點提取方法，其中， 生成所述特征點描述符的步驟包括以下步驟： 在所述特征點提取裝置，將所述特征點的主要方向性設定為預先設定的方向，生成包 括所述特征點與所述特征點鄰近像素之間的關系信息的所述特征點描述符。25. 根據權利要求18所述的特征點提取方法，其中， 在提取所述特征點候選位置的步驟中， 在所述特征點提取裝置，以在過濾器的尺寸相同的狀態下改變所述圖像的尺寸的方 式，對不同尺寸的各個圖像適用所述過濾器，從而提取特征點候選位置。26. 根據權利要求18所述的特征點提取方法，其中， 在所述圖像為彩色圖像時， 在提取所述特征點候選位置的步驟之前，還包括以下步驟： 在所述特征點提取裝置，通過根據所述彩色圖像中的顏色通道的通道比率適應性地擴 展各個顏色通道的動態范圍來進行光照補償。27. 根據權利要求26所述的特征點提取方法，其中， 進行所述光照補償處理的步驟包括以下步驟： 在所述特征點提取裝置，對在所述彩色圖像中通道比率最高的顏色通道計算擴展參數 (α)和移動參數(β);及 在所述特征點提取裝置，使各個顏色通道的像素擴展到所述擴展參數(α)，且移動到所 述移動參數(β)。28. 根據權利要求18所述的特征點提取方法，其中， 在所述圖像為彩色圖像時， 在提取所述特征點候選位置的步驟之前，還包括以下步驟： 在所述特征點提取裝置，將所述圖像的空間從彩色空間轉換成黑白空間。29. 根據權利要求18所述的特征點提取方法，其中， 在提取所述特征點候選位置的步驟之前，還包括以下步驟： 在所述特征點提取裝置，將所述圖像正規化為預先設定的尺寸。30. -種用于分析內容在線流通情況的圖像匹配系統，包括： 服務器計算設備，在圖像作為特征點候選位置提取邊角區域，在所述特征點候選位置 提取特征點，存儲所述特征點;及 用戶計算設備，發送包括從圖像或所述圖像中提取的特征點的圖像檢索基本信息； 其中，所述服務器計算設備在預先存儲的特征點中檢索與從所述圖像檢索基本信息獲 得的檢索請求特征點匹配的特征點，監測與預先存儲的特征點對應的圖像的檢索次數。31. -種計算機可讀存儲介質，與硬件結合，存儲有指令，其中， 在通過特征點提取裝置的處理器執行所述指令時，使所述處理器執行以下操作： 在圖像作為特征點候選位置提取邊角區域;及 生成在所述特征點候選位置提取的特征點的特征點描述符。
【文檔編號】G06K9/62GK106067024SQ201610203408
【公開日】2016年11月2日
【申請日】2016年4月1日 公開號201610203408.8, CN 106067024 A, CN 106067024A, CN 201610203408, CN-A-106067024, CN106067024 A, CN106067024A, CN201610203408, CN201610203408.8
【發明人】趙仁濟, 裴基赫
【申請人】息科安寶