改進的圖像識別的制作方法

專利名稱：改進的圖像識別的制作方法
技術領域：
本申請涉及用于表示圖像的方法和裝置，另外也涉及用來對圖像進行比較或匹配 (例如用于搜索或驗證)的方法和裝置。
背景技術：
本申請涉及對歐洲專利申請EP 06255239.3中說明的圖像識別技術的改進。EP 06255239. 3整體納入本文作為參考。EP 06255239. 3中的發明細節和實施方式可類似地在本申請和其實施方式中應用。EP 06255239. 3中描述的圖像識別方法和裝置從圖像中提取短二進制描述符(參見圖幻，探討現有技術中的許多缺陷，其特點主要包括 在特征提取和匹配方面降低運算復雜度； 降低的圖像描述符大小； 提高對多種不同圖像的穩健性； 大范圍修改方面，在保持大約80%檢測率的同時，錯誤報警率降低至Ippm的水平。然而，實際應用中需要更高的檢測率。特別是平均檢測率需要提高到98%以上，另外在噪聲和直方圖均衡修改的穩健性方面也需要有顯著的提高。

發明內容
依照第一方面，本申請提供了在權利要求1中確定的獲得圖像表示的方法。更進一步，本申請包括使用依照本申請第一方面的方法獲得的圖像表示，和用來實施本申請的第一方面的方法的裝置，以及包括指令的計算機可讀存儲介質，當指令運行時，執行實現本申請的第一方面的方法。本申請中實施方式的優選的和可選的特征在從屬權利要求中列出。本申請涉及一種從圖像的軌跡變換(或者等同的圖像的二維函數)中提取可視識別特征的新方法。該方法可在識別符提取(例如，利用傅立葉變換的量值)之前，通過軌跡執行基于區域的圖像軌跡變換處理來創建圖像的多分辨率表示。本申請中，術語“泛函”具有其通用的數學含義。特別地，泛函表示在向量空間V上的實數值函數，通常為多個函數。在軌跡變換的情況下，泛函應用于圖像中直線上。在專利申請EP 06255239. 3中描述的方法中，利用直線對圖像進行追蹤計算出軌跡變換，其中沿這些直線計算圖像強度或顏色函數的特定泛函T。對于單個輸入圖象不同的泛函T生成不同的軌跡變換。由于在2D平面中直線可以由兩個參數，距離d和角度θ來表示，因此圖像的軌跡變換是每條軌跡線的2D函數。接下來，通過沿軌跡變換的列使用直徑泛函P以得到“圓周函數”。這樣就獲得了圓周函數的頻率表示(例如傅立葉變換)，并限定了頻率幅度分量上的函數，并將其作為二進制描述符。本申請具體實施方式
中的方法可利用相似的技術來獲取圖像的表示。然而不論用何種方法，在執行下一步以獲得圖像表示(例如二進制描述符)之前，需要獲取降低分辨率的圖像函數，例如降低分辨率的軌跡變換。分辨率的降低應保留圖像所獨有的重要部分 (也就是說，其可見識別特征)，同時降低處理的數據量。特別地，經過處理后，所述的降低分辨率的圖像函數體現了被選擇或采樣的圖像的典型值，這一點在后續說明中可以顯而易見的看到。根據本申請的一個具體實施方式
，通過直線集追蹤圖像，可以獲得降低分辨率的圖像函數，其中這些直線的參數為預定間隔Ad和Δ θ，并且需要利用直線集中的全部直線的(代替穿過圖像的全部直線)進行軌跡變換(或等同的)。在圖像域中，這些直線對應到帶線上(如圖10所示)和/或對頂圓錐(double cone，如圖11所示)。這樣就可獲得圖像的降低分辨率(也就是粗分辨率)軌跡變換，下文將會對此做詳細說明。根據本申請的另一具體實施方式
，首先以通用的方式，通過追蹤穿過圖像的所有直線獲取軌跡變換(或等同的)。接著，在軌跡域中將圖象的軌跡變換應用到不同角參數值的帶線上，并在距離參數d的間隔內(如圖12中所示)進行分辨率的降低操作，和/或將圖象的軌跡變換應用到不同距離參數值的帶線上，并在角度參數θ的間隔上(如圖13中所示)進行分辨率的降低操作，從而獲得降低分辨率的二維圖像函數，接下來會有更詳細的說明。有利地，在軌跡域中沿帶線和/或錐狀線隱含地計算軌跡變換數值，可以非常有效的實現本申請中此實施方式的方法，下文將會對此做詳細說明。在共同未決的專利申請EP 06255239. 3揭示的方法中，根據本申請實施方式的方法組合了通過不同泛函從標識符“族”中得到的被選片段。此外，在某些實施方式中，使用帶線和/或雙錐線得到的標識符被組合為單個描述符。另外，在一些實施方式中，不同寬度的帶線和/或不同張角的錐狀線被使用，從而獲得多分辨率表示。


將參照附圖來對本申請的實施方式進行說明，其中圖Ia示出了一個圖像；圖Ib示出了經縮減的圖Ia的圖像；圖Ic示出了經旋轉的圖Ia的圖像；圖Id示出了經模糊處理的圖Ia的圖像；圖2示出了一個圖像和根據現有技術的對該圖像的位串表示；圖3是本申請的一個實施方式的方法的步驟的圖；圖4是本申請的一個實施方式的另一方法的步驟的圖；圖5是軌跡變換的直線參數化的圖；圖6a至c例示了從經過不同處理的圖像導出的函數；圖7是根據本申請的一個實施方式的裝置的框圖；圖8示出了使用多個軌跡變換的的實施方式的框圖；圖9示出了根據圖8的實施方式產生的位流。圖10示出了分解軌跡變換的d參數時在原始圖像中的間隔帶線；圖11示出了分解軌跡變換的θ參數時在原始圖像中的雙錐線；
圖12示出了軌跡變換在d參數的分解；圖13示出了軌跡變換在θ參數的分解。
具體實施例方式下面將對獲得圖像的表示，特別是圖像標識符，以及將這種表示/標識符用于例如一個圖像或多個圖像的識別、匹配或者驗證的各種實施方式進行說明。本申請對于識別圖像特別有用，但不限于圖像識別。在已說明的實施方式中，“圖像標識符”(有時簡稱“標識符”)是圖像表示的例示，該術語僅被用來指示圖像的表示或者描述符。本領域技術人員可以理解，設計需求決定了對根據本申請的實施方式的圖像識別裝置和方法以及圖像識別中應用的圖像標識符的推導作的特定設計。設計需求涉及圖像修改類型，從而對于標識符的大小、提取和匹配復雜度、目標虛警率等，圖像標識符應當是穩健的。接下來的實施方式例示了一種通用設計，該設計獲得了對于以下圖像修改(這不是窮舉)而言穩健的標識符 顏色縮減， 模糊， 亮度改變， 翻轉(左右&上下)，眷灰度變換， 直方圖均衡，· JPEG 壓縮， 噪聲， 旋轉，以及 縮放。對于多種類型的圖像而言，通用設計可典型地實現百萬分之一(ppm)的極低虛警率。圖1示出了一個圖像以及經修改的該圖像。更明確的說，圖Ia是原始圖像，圖Ib 為經縮減的圖Ia的圖像，圖Ic是經旋轉的圖Ia的圖像，以及圖Id是經模糊處理的圖Ia 的圖像。通過處理對應于圖像的信號，本申請的實施方式獲得了圖像的表示，更明確的說， 獲得了圖像標識符。圖3示出了根據本申請的一個實施方式獲得圖像標識符的方法的步驟，S卩，標識符提取處理。在提取過程的最初階段，通過調整大小(步驟110)和可選的濾波(步驟120)對圖像進行預處理。調整大小的步驟Iio用于在處理前將圖像歸一化。步驟120可包含濾波處理，該濾波處理用于去除諸如由對該圖像和/或所選擇的區域而不是使用完整的原始圖像執行的任意處理而造成的混疊(aliasing)等的影響。在該方法的優選實施方式中，從圖像的中央提取一個圓形區域以供進一步處理。在步驟130，執行軌跡變換T (d，θ)。軌跡變換將所有可能的直線都投影到圖像上，并對這些直線應用一個或者多個泛函。如之前所述，泛函是向量空間V上的實值函數， 通常由函數組成。在軌跡變換的情況下，對圖像中的直線應用泛函。如圖5所示，以兩個參數d和θ對直線進行參數化。之后在步驟140將描述，軌跡變換的結果可被分解以降低分辨率。接著，在步驟150，針對軌跡變換的列可應用另一個泛函以給出實數向量。該第二個泛函P被稱為直徑泛函，而所得到的向量被稱為圓周函數。可以對圓周函數應用第三個泛函(圓周泛函)以給出單個數字。通過適當選擇這三個不同泛函(軌跡泛函、直徑泛函以及圓周泛函)，可以控制所得結果的性質。例如，在參考文獻[1] Alexander Kadyrov和 Maria Petrou ^"The fl Transform and Its Applications”，IEEE Trans. PAMI,23(8), Aug. ,2001,pp. 811-828中可以得到軌跡變換的詳細內容，其中包括圖像的示例以及對應的軌跡變換，通過引證的方式將該文結合于此。在本實施方式的方法中，在軌跡變換中僅取前兩個步驟，以獲得ID圓周函數。在該方法的一個特定示例中，圖像的軌跡變換T(d，θ )通過軌跡泛函T提取/ ξ (t)dt，(1)而使用直徑泛函P可獲得圓周函數max (ξ (t))(2)在圖6中可看到圓周函數如何受不同的圖像處理操作影響的示例，其示出了與經過不同處理的圖像相對應的圓周函數。圖6(a)對應于原始圖像；圖6(b)對應于經旋轉的該圖像，以及圖6 (c)對應于經過模糊處理的該圖像。可以看出，旋轉使該函數發生移位(而且造成縮放變化)。對于以上所列出的大部分圖像修改操作，可以看出，通過選擇適當的泛函T、P，圖像a的圓周函數f (a)僅是經修改的圖像a’的圓周函數f (a’)的經移位的或(在幅度上) 經縮放的形式(見文獻[1]中的第三節)。f (a' ) = kf (a- θ )(3)根據共同未決的歐洲專利申請EP06255239. 3中描述的方法，可使用圓周函數的頻率表示的頻率分量獲得圖像標識符。可以理解，其它獲得圖像標識符的技術也是可能的， 并且可結合本申請使用。例如，可通過圓周函數的傅立葉變換(或者等同地，haar變換)獲取圖像標識符。于是，對等式(3)進行傅立葉變換，我們得到Ρ(Φ) = F[kf (a- θ )](4)= kF[f (a- θ )](5)= kexp-J0i>F[f(a)](6)接下來對等式(6)取幅值，得到|F((D) I = |kF[f(a)] I(7) 從等式(7)可以看出，現在除縮放因子k之外，修改后的圖像和原始圖像是相當的。 根據該示例，對多個傅里葉變換系數的幅度系數定義函數c ( ω )。該函數的一個例子是每個系數和其相鄰系數的差C(CO) = !F(CO) ΗΡ(ω+1) I(8)通過將閾值應用于所得到的向量(等式8)，可以提取二進制串，例如，對于所有的
^ = (9)之后，圖像標識符由這些值B = {b0, . . .，bn}構成。為了執行兩個不同的標識符Bl和B2(長度均為N)之間的標識符匹配，取歸一化的漢明(Hamming)距離為H(BliB2)B2(10)
N N其中， 是異或O(OR)運算符。可以使用對標識符或表示進行比較的其它方法。通過選擇標識符中的某些位可進一步提高性能。對應于低頻的位通常更加穩健， 同時對應于高頻的位更加具備區分性。在本申請的一個特定實施方式中，忽略第一位，在之后，標識符由接下來的64位構成。依照本申請的一個實施方式，分解來自于軌跡變換(或類似的)的圖像的二維函數的步驟140中包括降低分辨率。可通過對兩個維數d或θ的任何一個或者全部進行處理獲得降低的分辨率。于是，可通過在軌跡域(軌跡-domain)對d_參數進行子采樣可在距離維度上降低分辨率，例如，沿列(對應于θ的數值)在用于d的間隔上進行累加或者積分，參照圖12。 如圖10所示，這對應于在軌跡變換中的圖像(也就是說，在圖像域)上投影寬度Ad的帶線。可以理解的是，任何沿用于距離參數d的間隔降低軌跡變換的分辨率的子采樣技術均可被使用。因此，任何降低數據量同時保持數據本質的統計計算均可被采用，累加和基本僅僅是其中的示例。作為選擇，或者另外地，可在“軌跡域”的角度維度上，對θ參數進行子采樣，例如，沿行在用于θ的間隔上累加或積分，可降低分辨率，參見圖13。這對應于在軌跡變換中的圖像(也就是說，在圖像域)上投影開角為Δ θ的雙錐線。可以理解的是，任何沿用于距離參數θ的間隔降低軌跡變換的分辨率的子采樣技術均可被使用。因此，任何降低數據量同時保持數據本質的統計計算均可被采用，累加和基本僅僅是其中的示例。根據本申請的另一實施方式，分解的步驟140可以在“圖像域”中執行，也就是說， 在步驟120之后，并且典型地與圖3中的步驟130結合。在一個例子中，步驟140可以結合或分解圖像自身的直線集合，并且在這些直線上執行軌跡變換(或其它操作)從而獲得圖像標識符。例如，一像素寬的圖像線可被合并，從而在步驟130中圖像的多條直線可一起被有效處理。比如，直線集合可以分別為圖10和11中所示的平行直線和/或由雙錐線限定的直線。組合的直線的數量對應于上述的間隔。因此，在本實施方式中，軌跡變換被有效的修改從而追蹤被選擇的穿過圖像的直線集合，而不是在傳統軌跡變換中追蹤穿過圖像的所有線。本領域技術人員能夠理解，用于在圖像域分解的其它技術均是可能的。在圖7中示出了用于執行上述方法的根據本申請的一個實施方式的裝置的例子。 具體來說，圖像100由圖像存儲模塊210接收并存儲在圖像數據庫中。此外，根據本申請的方法，標識符提取器和存儲模塊220提取用于所接收的各圖像的圖像標識符，并且將圖像標識符存儲在標識符數據庫240中，可選的，可適當地結合關于圖像內容的其它信息。
圖7還示出了實現圖像搜索引擎的裝置，其使用通過上述方法提取的圖像標識符。響應于對查詢圖像250的接收，可以由圖像搜索引擎來執行圖像驗證或匹配。根據本申請的方法，在標識符提取器模塊260中對查詢圖像250的圖像標識符進行提取。標識符匹配模塊270將查詢圖像250的圖像標識符與存儲在標識符數據庫240中的圖像標識符進行比較。如在下面更詳細討論的，圖像檢索模塊280從圖像數據庫230中檢索出匹配圖像四0，其中匹配圖像290具有與查詢圖像標識符相匹配的圖像標識符。圖4示出了對傅里葉變換系數而定義二進制函數的另選方法。具體地說，在獲得傅里葉變換系數(步驟171)后，得到了多個傅里葉變換系數的幅度的對數(步驟172和步驟173)。與上面的式(8)相似，計算與隨后系數的差(步驟174)，然后取該差的符號并根據該符號而分配二進制值(步驟17 ，隨后這些二進制值被用于形成二進制標識符。可以理解，該技術可被應用于圖像函數的其它頻率表示的頻率系數，包括Haar變換。如圖8和9所示，通過使用多重降低分辨率的軌跡變換導出各自的標識符并且將來自單獨標識符的位進行組合，可以改善前述的基本標識符。用于組合來自兩個單獨的降低分辨率軌跡變換的二進制串361和362的特定方法具體為將二者連接(concatenate)以獲得標識符363。使用上面的式(1)中的軌跡泛函T與上面的式(2)中給出的直徑泛函P而得到一個二進制串，并且之后使用軌跡泛函(1)與直徑泛函(11)f I ξ ⑴'|dt，(11)從而得到第二個串，通過這種方式可獲得良好的結果。跳過各二進制串的首位，并將這兩個二進制串的后續64位連接起來以獲得1 位的標識符。根據本申請，可通過軌跡變換的多分辨率表示獲得顯著的性能提高。特別地，可在一個或者兩個維度上進行分解。之后可應用直徑泛函和之前提取的二進制串。典型的結果表明，使用分解可將檢測率從大約80%到90%提高到百萬分之一的錯誤率。如前所述，可通過對原始軌跡變換兩個維度d和θ中的一個或者兩個維度上進行子采樣，以降低分辨率，從而創建多分辨率軌跡變換。在“軌跡域”，可通過例如圖12中沿列的間隔積分的方式對d參數進行子采樣。這相應于在軌跡變換中在圖像上投影寬度為Ad 的帶線，如圖10所示。也可以使用例如沿行方向在θ參數的間隔上進行積分的方法進行子采樣，參見圖13。這近似等同于在軌跡變換中沿張角為Δ θ的雙錐線進行積分，參見圖 11。如上所述，可選擇地，這些操作在“圖像域”中執行。通過使用多分辨率分解可以從單個軌跡變換中抽取多個基本標識符，其中在不同的間隔寬度的范圍上進行子采樣，從而生成由多個基本標識符組成的多分辨率表示。理想情況下，多分辨率表示使用通過間隔寬度范圍獲得的多個標識符。例如，每一間隔寬度可以為不同于其它間隔寬度的兩個因素之一。典型地，可使用一系統獲得良好的結果，該系統中軌跡變換的輸出為600X384的大小，在之后通過利用寬度為8、16、32、64和128的帶線進行積分，對d參數進行子采樣，類似地，例如，利用寬度3、6、12和對的帶進行積分對θ參數進行子采樣。標識符的一項應用是作為圖像搜索引擎。通過提取圖像的二進制標識符并與其相關聯的信息，例如文件名、圖像、攝影師、拍攝日期和時間以及任何其它有用信息一起存儲而構建數據庫。之后，當給定查詢圖像 時，提取二進制標識符并將其與數據庫中的所有標識符Btl. . . Bm進行比較。返回與查詢圖像的漢明距離低于一閾值的所有圖像。可供選擇的實現可以使用一系列不同的軌跡泛函和直徑泛函，例如(非窮舉)/ ξ (t)dt，(Al)( f I ξ (t) |<1肚)1:，其中9>0(Α2)f I ξ ⑴'|dt，(A3)/ α-χι)2ξ (t)dt，其中
權利要求
1.一種通過處理對應于圖像的信號以獲得該圖像的表示的方法，該方法包括以下步驟處理圖像或者圖像的二維函數，以獲得降低分辨率的二維圖像函數；以及利用該降低分辨率的二維圖像函數以獲得圖像的表示。
2.根據權利要求1所述的方法，其中所述處理圖像或者圖像的二維函數的步驟包括在二維圖像函數的至少一個參數的預定間隔內對圖像進行二次采樣。
3.根據權利要求2所述的方法，其中所述的二次采樣包括在圖像或者二維圖像函數的至少一個參數的預定間隔上對圖像或者圖像的函數的值進行計算，優選為累加或者積分。
4.根據權利要求1、2或3所述的方法，其中所述的處理步驟包括利用圖像的直線集來處理圖像。
5.根據權利要求4所述的方法，其中所述直線集與被二維圖像函數的第一個參數的間隔限定的直線帶，以及被二維圖像函數的第二個參數的間隔限定的雙錐線中的一個或者多個相對應。
6.根據權利要求4或5所述的方法，其中所述處理包括對所述的直線集上應用泛函以獲得降低分辨率的二維圖像函數。
7.根據權利要求1、2或3所述的方法，其中所述的處理步驟包括通過在第一維度的預定間隔內對二維圖像函數進行二次采樣來處理二維圖像函數，以在第一維度上降低二維圖像函數的分辨率。
8.根據權利要求1、2、3或7所述的方法，其中所述處理步驟包括通過在第二維度的預定間隔內對二維圖像函數進行二次采樣來處理圖像的二維函數，以在第二維度上降低二維圖像函數的分辨率。
9.根據權利要求7或8所述的方法，其中二維圖像函數包括在圖像的所有直線上應用泛函推導出的圖像的軌跡變換，該二維函數在具有距離和角度參數的軌跡域中限定圖像值。
10.根據前述任一權利要求所述的方法，其中利用降低分辨率的二維圖像函數以獲得圖像的表示的步驟包括推導出圖像的一維函數。
11.根據前述任一權利要求所述的方法，進一步包括獲得圖像的進一步函數，其中對圖像進行平移、縮放或者旋轉得到的進一步函數是平移或者縮放的進一步的圖像函數。
12.根據權利要求10或權利要求11所述的方法，其中所述的一維函數或進一步函數為圓周函數或者從圓周函數推導出的函數。
13.根據權利要求10、11和12中任意一項所述的方法，其中利用降低分辨率的二維圖像函數來獲取圖像的表示的步驟包括使用所述一維函數或者進一步函數的頻率表示的多個頻率分量以獲得圖像的表示。
14.根據權利要求13所述的方法，其中所述頻率分量通過傅立葉變換或者Haar變換確定。
15.根據權利要求13或14所述的方法，其中圖像的表示通過以下步驟獲得 計算多個頻率系數的幅值或者幅值的對數，以及確定每個系數和其后連續的系數的幅值的差值或者幅值的對數的差值。
16.根據權利要求15所述的方法，進一步包括對各個所確定的差值應用閾值以獲得二進制值，其中如果所述差值小于0，則記為0， 如果所述差值大于或者等于0，則記為1。
17.根據權利要求16所述的方法，其中圖像的表示包括由多個頻率分量的幅值或者幅值的對數確定的二進制值。
18.根據上述權利要求中任意一項所述的方法，其中該方法包括通過在不同寬度的所述間隔內執行所述處理步驟，以獲得圖像的多個表示，并且結合多個表示以生成多分辨率表不。
19.根據權利要求18所述的方法，其中所述不同的間隔寬度至少有兩個彼此不同的因素。
20.一種識別圖像的方法，包括利用上述任何一項權利要求的方法獲得圖像的表示，以及將所述表示與圖像進行關聯。
21.—種比較圖像的方法，包括比較利用上述任何一項權利要求的方法獲得的圖像的表不。
22.根據權利要求21所述的方法，其中比較包括確定漢明距離。
23.根據權利要求21或22所述的方法，包括通過比較圖像的表示來選擇圖像。
24.針對利用權利要求1至19中任意一項所述的方法獲得的圖像的表示的應用，包括傳輸、接受或者處理。
25.執行權利要求1至23中任意一項所述方法的裝置。
26.包括指令的計算機可讀介質，當指令運行時執行權利要求1到23中任何一項的方法。
全文摘要
本申請描述了一種通過處理與圖像相對應的信號來獲得所述圖像的表示的方法和設備。該方法包括獲取二維函數(T(d，θ))(例如圖像的軌跡變換)；在兩個維度的至少一維上分解二維函數(T(d，θ))(例如通過二次采樣)，以得到降低分辨率的軌跡變換。然后，分解得到的二維函數用以獲得圖像的表示。
文檔編號G06K9/46GK102317957SQ200780052143
公開日2012年1月11日 申請日期2007年12月6日 優先權日2007年1月10日
發明者保羅·布拉斯尼特, 米羅斯瓦夫·博貝爾 申請人:三菱電機株式會社