使用方向場的特征檢測濾波器的制造方法
【專利摘要】通過使用一臺計算機用于確定一個目標圖像的至少多個像素的一個方向場在該目標圖像中發現一個目標對象，其中，該方向場描述正根據一個方向和位置被分析的該目標圖像的在離散位置處的多個像素。根據在一個數據庫中的多個模型圖像中的一個方向場對該方向場進行映射，從而計算該目標圖像的該方向場和該數據庫中的多個模型圖像的方向場之間的多個匹配值。對這些匹配值進行閾值化，以及統計那些超過該閾值的匹配值從而確定在該目標和該模型之間的一個匹配。
【專利說明】使用方向場的特征檢測濾波器 本申請要求來自2011年2月24日提交的臨時申請號61603087的優先權，其全部內容 通過引用結合在此。 背景
[0001] 可以使用電子濾波器檢測圖像中的特征來發現那些特征。這些濾波器經常使用內 核來發現具有匹配該內核的部分的圖像，或自動地表征圖像。
[0002] 可以使用特征描述算法（如尺度不變特征變換或SIFT)檢測圖像中的對象。例如 在美國專利號6, 711，293中描述了SIFT。一般來說，SIFT在數字圖像中發現令人感興趣的 部分并且根據SIFT特征描述符（也被稱為關鍵點）定義它們。在數據庫中存儲這些描述 符。可以通過將來自新圖像的特征與數據庫相比較來識別在新圖像中的那些相同的圖像。 SIFT算法教導對尺度、方向、失真、和照明改變而不變的不同的匹配方法。 概述
[0003] 本申請描述了用于在圖像中發現圖像部分（例如標志）的技術。
[0004] 一個實施例描述了使用匹配方向場濾波器（MOFF)算法用于對象檢測。 附圖簡要說明
[0005] 圖1A、圖IB和圖IC示出了圖像中的標志；
[0006] 圖2示出了在頂部的示例性標志以及在底部的該標志的方向場；
[0007] 圖3A、圖3B和圖3C示出了標志以及那些標志的方向場；
[0008] 圖4不出了在頂部部分的標志以及在中間部分中的標志的方向場以及在底部部 分的標志的閾值化的方向場；
[0009] 圖5示出了對于在實際圖像中發現的標志的方向場；以及
[0010] 圖6示出了根據本申請的匹配技術的操作的流程圖。
[0011] 詳細說明
[0012] 依賴關鍵點（如SIFT)的圖像處理技術對于某些類型的對象檢測任務已經是很成 功的。這樣的任務包括為了將圖像"縫合"在一起的目的在若干重疊圖像中匹配對象。對 于檢測某些類型的標志其也是非常成功的。
[0013] SIFT算法對于檢測具有大量細節和紋理的對象工作得很好，其在許多對象識別問 題中是足夠的，如圖像縫合等。然而，當前的發明人已發現SIFT算法已不良好地適合于檢 測具有少量細節或紋理的簡單對象。在由發明人進行的實驗中，已發現SIFT識別例如是圖 片的主要部分的大的標志，但未發現更小的較不詳細的標志。
[0014] 圖IA和圖IB示出了不同種類的圖像的細節，其中，圖IA具有許多細節并且可以 是SIFT可使用的，圖IB是低細節紋理不清的標志，并且發明人發現SIFT在此對象中不工 作良好。在圖IC中示出了另一個示例，其中，標志是整體圖像中的一個非常小的部分。
[0015] 發明人相信SIFT對于紋理不清的對象不工作良好，因為其依賴其在圖像中的局 部關鍵點的檢測。選擇了關鍵點從而使得它們包含盡可能多的唯一信息。然而，對于如圖 IB中的耐克（Nike)標志的對象，對于此圖像具有很少的唯一細節。SIFT算法可以發現的 關鍵點也可以在目標圖像中的廣泛種類的其他對象中呈現。也就是說，像圖IB的標志的簡 單標志的特征中沒有足夠的唯一性。
[0016] 發明人已開發了一種使用與在SIFT中不同的技術并且對于檢測紋理不清的對象 (如在圖IB中的耐克（Nike)標志）是特別有用的技術。在此所描述的技術試圖捕獲對象 的大部分形狀屬性。這使用模型中的全局信息，與SIFT所使用的高度局部化的關鍵點相 反。使用對顏色和光變化、暗影、壓縮偽影、和其他圖像失真不敏感的描述符描述對象的全 局屬性。
[0017] 發明人注意到像SIFT的技術通常檢測"像角落的（corner-like) "特征附近的關 鍵點。發明人已用此方式識別了我們在以下部分中說明的許多問題。
[0018] 問題1 :具有無或太少關鍵點的對象
[0019] 某些標志不包含足夠多的"像角落的"特征來產生像SIFT的方法可以使用來可靠 地檢測對象的足夠多的關鍵點。這些對象將經常在低品質圖像中生成無或太少有待由像 SIFT的方法可靠地使用的可靠的關鍵點。
[0020] 問題2 :分辨差的對象
[0021] 當將像SIFT的方法應用至嚴重像素化的或包含壓縮偽影的分辨差的對象時，另 一個問題出現。在這樣的情況中，像素紋理有效地引入"虛假的"角落，其轉而可以引入虛 假的關鍵點。這會嚴重地限制像SIFT的方法的可靠性。
[0022] 問題3 :通用對象形狀的檢測
[0023] 基于關鍵點的方法（如SIFT及其同源事物）不被設計成用于檢測"通用對象特 征"，如槍支形狀。
[0024] 因此，基于關鍵點的方法將不能夠被用于更通用的檢測問題（如槍支檢測）。
[0025] 像SIFT的方法對于包含大量細節的良好品質的對象表現良好。如我們將在以下 部分中看到，MOFF將對所有這些類型的對象起作用，但特別適合于"困難的"對象（如具有 少量細節的對象、以及由例如低分辨率或壓縮引起的偽影所擾亂的對象）。
[0026] -個實施例描述了在圖像中的使用方向場的特征檢測。一個特殊應用被描述用于 檢測"紋理不清的"對象，涉及具有少量或無紋理的對象（如某些公司標志）。
[0027] -個實施例描述在一個或多個圖像中發現一個項目，其中，該項目在此被描述為 是一個"模型圖像"。一個所謂的目標圖像正被分析從而檢測在目標圖像中的模型圖像的發 生。
[0028] 該實施例描述了向每個所檢測的對象指派一個"可靠性權重"。該可靠性權重指示 匹配是有效的所計算的可能性。
[0029] 出于標志檢測的目的，在本實施例中的模型圖像可以是標志的圖像，并且目標圖 像是（大的）圖像或電影幀。
[0030] 基于關鍵點的算法的綜述
[0031] 基于關鍵點的算法通常包括以下主要步驟： -關鍵點局部化 -圍繞每個關鍵點的鄰域中的方向指派。 -在關鍵點處的圖像描述符的生成。 -根據數據庫的圖像描述符的匹配。 -不一致的匹配和聚類的移除。
[0032] MOFF算法在圖像中的所有像素處生成一個方向場。然后，技術操作用于相對于模 型的數據庫的方向場的對準和自相關的度量。
[0033] 基于關鍵點的算法和MOFF算法都計算方向。此外，都使用以某種方式涉及方向的 匹配步驟。然而，非常不同地以兩種設置定義、計算、和使用方向。我們還將看到MOFF所使 用的對準和自相關度量不具有在SIFT情況下相應的配對物。
[0034] 由于這些差異，這兩種算法對于不同的對象檢測任務也是有用的。基于關鍵點的 算法良好地適合于匹配大量詳細的、分辨良好的對象，以及在圖像中標識詳細的對象。MOFF良好地適合于匹配很少的具有差分辨率和少量細節的通用對象。
[0035] 標志經常以許多種類出現，包括不同的顏色和暗影，所以重要的是我們可以檢測 標志的所有種類而不用不得不使用在我們的模型數據庫中的標志的每個可想到的變化。
[0036] 還描述了對標志是唯一的其他方面。例如，金屬標志可以包括來自目標圖像中的 周圍的事物的反射，并且從而標志檢測技術應當尋找并且考慮這樣的反射。
[0037] 在此描述了方向場用于進行特征檢測。方向場可以描述在正被分析的圖像的離散 位置處所估計的方向。例如，可以根據其方向和位置表征在圖像中的每個元素。一個實施 例描述了使用在此所描述的方向場是一種描述紋理不清的對象的方式。生成一個尺度不變 方向場表示每個標志。在已生成了此方向場后，在目標圖像中搜索匹配方向場。
[0038] Let I(X)表示圖像I的在位置X處的強度。我們將在圖像位置X處的方向F(X) 定義為對F(x) = {w(x);θ(X)}，其中，w是表示對于角度Θ的權重的標量。角度Θ是在 〇和180度（區間[0, π))之間的角度，并且權重w是一個實數，從而使得w的大小測量方 向的重要性或可靠性。
[0040] 我們注意到在此所定義的方向不需要是矢量，而像SIFT的方法所通常使用的方 向是矢量。看到此的一種方式是像SIFT的算法所通常使用的梯度矢量當圍繞一個點旋轉 時具有360度的周期性。MOFF所使用的方向不具有"向前和向后"的概念，并且當圍繞一個 點旋轉時具有180度的周期性。考慮由以下所定義的曲線族
【權利要求】
1. 一種在目標圖像中識別目標對象的方法，包括：使用一臺計算機用于確定該目標圖 像的至少多個像素的一個方向場，其中，該方向場描述正根據一個方向和位置被分析的該 目標圖像的在離散位置處的多個像素； 根據在一個數據庫中的多個模型圖像中的一個方向場對該方向場進行映射，從而計算 該目標圖像的該方向場和該數據庫中的多個模型圖像的方向場之間的匹配值；根據一個閾 值對這些匹配值進行閾值化；以及 統計那些超過該閾值的匹配值從而確定在該目標和該模型之間的一個匹配。
2. 如權利要求1所述的方法，進一步包括為該模型和該目標二者確定一個共同尺度， 并且改變所有圖像來表示所述共同尺度。
3. 如權利要求2所述的方法，其中，所述共同尺度被設置為2. 5個像素。
4. 如權利要求2所述的方法，其中，所述閾值在一個最小權重的3%以上。
5. 如權利要求1所述的方法，其中，所述方向場是當在一個對象里面時平行于該對象 指向并且當位于該對象外面時垂直于該對象指向的一個方向場。
6. 如權利要求1所述的方法，其中，所述映射包括測量在矢量的方向之間的一個對準。
7. 如權利要求1所述的方法，其中，該方向場當圍繞一個點旋轉時具有一個180度的周 期性。
8. 如權利要求1所述的方法，其中，該方向場是一個元組{w，0}，其中，w是一個實值 的標量，并且9是在一個區間[〇,n)中的一個角度，通過由以下生成一個圖像I的一個積 分場S
其中，1^(11，入）是具有1^(11，入）=1^(入，1〇和1^(入，入）=1特性的一個實值 的函數， 其中 K〇，入）三cos(2(〇，入））。
9. 如在權利要求1所述的方法，其中，所述計算匹配值計算該方向場的一種自相關。
10. 如在權利要求9所述的方法，其中，所述自相關包括通過以下在像素（i，j)處建立 一個匹配 M(i,j) = (l-a)C(i,j)+a| |A-B(ijJ)I 其中，C(i，j)是如以下所計算的一個匹配圖
，A是如以下所計算的對于該模型的一種自相關 (3)A(ijJ) (k,l) =w(i-k,j-1)w(k,I)cos(2( 0 (i-k,j-1)- 0 (i,j))) ，并且B(i，j)是圍繞C(i，j)的一個鄰域所提取的一個子矩陣，a是確定為一個最終度 量給對準C(i,j)多少權重的一個參數，相對一個自相關量，其中，如果a= 0,僅使用一個對 準度量，并且如果a= 1，僅使用一個自相關度量，并且如果a= 0. 5,相等地加權對準和自 相關。
11. 一種用于為對象識別生成穩定的圖像描述符的方法，這些描述符相對于顏色、對比 度、和照明的變化、和各種圖像偽影是穩定的，該方法包括： 使用一臺計算機用于基于線積分在多個像素位置中的每個處生成在〇和180度之間的 多個方向角； 使用該計算機用于生成多個方向權重，其指示使用線積分所計算的該方向角的一種可 靠性；以及 將具有在某個閾值權重以上的多個權重的所有方向指派為活躍的，以及將具有在某個 閾值以下的權重的所有方向指派為不活躍的。
12. -種用于生成方向場的尺度不變表不的方法，該方法包括： 對于多個尺度，為一個圖像的至少一部分的所有像素計算多個平均方向權重； 選擇將這些平均方向權重最大化的一個尺度；以及基于在一個最優尺度和一個預先確 定的參考尺度之間的一種關系調整該方向場的大小。
13. -種用于測量兩個方向場1和2的相關性的方法，該方法包括： _計算在方向場1中的一個方向和方向場2中的一個方向之間的一個對準，并且向該對 準指派一個在-1和1之間的值，其中，-1指示方向場1的一個方向角1垂直于方向場2的 一個方向角2,其中，1指示方向角1和2是平行的，并且 0指示這些方向相差45度或這兩個方向中的至少一個具有權重0 ; 計算方向場1的所有方向和方向場2中的一個相應方向的一個平均對準。
【文檔編號】G06K9/62GK104508685SQ201380018136
【公開日】2015年4月8日 申請日期:2013年2月25日 優先權日:2012年2月24日
【發明者】克里斯多佛·卡邁克爾, 克里斯蒂安·桑德伯格, 康妮·喬丹 申請人:尤比奎特廣播公司