專利名稱：：用旋轉不變特征描述符進行跟蹤和識別的方法和設備的制作方法
技術領域：
：本發明的實施例一般涉及圖像處理，更特別地，涉及用于生成和利用特征描述符進行跟蹤和識別的方法和設備。
背景技術：
：在許多應用中，能夠識別圖像系列(諸如視頻幀)內的特征并跟蹤特征在圖像內的運動已成為需要。例如，可以捕獲包括特殊(distinctive)目標的視頻幀系列，并且可能期望識別和跟蹤該目標穿過視頻幀的相對運動以及識別自動方式中的目標。在這點上，對圖像內特征的識別被利用在計算機視覺應用中，諸如增強現實。這些應用正越來越多地被用作實時目標識別、三維重建、全景拼接、機械測圖和視頻跟蹤。諸如移動電話的手持設備現在一般裝備有視頻捕獲性能。這些視頻捕獲性能可以用于(beleveragedfor)移動和便攜的計算機視覺應用，諸如移動增強現實(MAR)。然而，在至少ー些實例中，手持設備的處理功率可能是對手持設備的圖像處理性能的限制。
發明內容此處描述了用旋轉不變特征描述符進行跟蹤和識別的本發明的各種示例方法和設備。根據ー些示例實施例，旋轉不變特征描述符可以從計算角度相對便宜地生成，但也很健壯足以執行精確的跟蹤和識別。進ー步地，根據各種示例實施例，被用于跟蹤的同樣的特征描述符也可以被用于識別。一種示例方法包括生成圖像幀的圖像金字塔，檢測圖像金字塔內的多個興趣點，以及提取每個各自的興趣點的特征描述符。根據某些示例實施例，特征描述符是旋轉不變的。進ー步地，該示例方法還可以包括通過將該特征描述符與前一幀的特征描述符進行匹配(match)來跟蹤運動并基于該特征描述符來執行對圖像幀內目標的識別。用旋轉不變特征描述符進行跟蹤和識別的相關的示例設備包括至少ー個處理器與包括計算機程序代碼的至少ー個存儲器，至少ー個存儲器與計算機程序代碼配置成與至少ー個處理器一起引起該設備至少執行各種功能性。在這點上，該示例設備被引起執行生成圖像幀的圖像金字塔，檢測圖像金字塔內的多個興趣點，以及提取每個各自的興趣點的特征描述符。根據某些示例實施例，特征描述符是旋轉不變的。進ー步地，該示例設備還可以被引起執行通過將該特征描述符與前一幀的特征描述符進行匹配來跟蹤運動并基于該特征描述符來執行對圖像幀內目標的識別。另ー示例實施例是在其中存儲有可執行的計算機可讀程序代碼指令的示例計算機可讀存儲介質。該示例計算機可讀存儲介質的計算機可讀程序代碼指令用于引起設備執行各種功能性。在這點上，該示例設備被引起執行生成圖像幀的圖像金字塔，檢測圖像金字塔內的多個興趣點，以及提取每個各自的興趣點的特征描述符。根據某些示例實施例，特征描述符是旋轉不變的。進ー步地，該示例設備還可以被引起執行通過將該特征描述符與前一幀的特征描述符進行匹配來跟蹤運動并基于該特征描述符來執行對圖像幀內目標的識別。另ー示例實施例是用旋轉不變特征描述符進行跟蹤和識別的示例設備。該示例設備包括用于生成圖像幀的圖像金字塔的裝置，用于檢測圖像金字塔內的多個興趣點的裝置，以及用于提取每個各自的興趣點的特征描述符的裝置。根據某些示例實施例，特征描述符是旋轉不變的。進ー步地，該示例設備還可以包括用于通過將該特征描述符與前ー幀的特征描述符進行匹配來跟蹤運動的裝置以及用于基于該特征描述符來執行對圖像幀內目標的識別的裝置。在以一般術語對本發明進行如此描述的基礎上，現在將參考不必按比例繪制的附圖，其中圖I圖示了根據本發明的示例實施例的徑向梯度的生成；·圖2圖示了根據本發明的示例實施例使用徑向梯度轉換的旋轉不變性；圖3a_3d圖示了根據本發明的示例實施例的用于面元劃分的圖像到単元的分割；圖4a_4b圖示了根據本發明的示例實施例的空間面元劃分配置；圖5a_5b圖示了根據本發明的示例實施例的分別的徑向梯度轉換和近似的徑向梯度轉換基礎矢量。圖6圖示了根據本發明的示例實施例用旋轉不變特征描述符進行跟蹤和識別的設備的結構圖。圖7圖示了根據本發明的示例實施例用旋轉不變特征描述符進行跟蹤和識別的移動終端的結構圖。圖8圖示了根據本發明的示例實施例用旋轉不變特征描述符進行跟蹤和識別的方法的流程圖。圖9圖示了根據本發明的示例實施例用旋轉不變特征描述符進行跟蹤和識別的方法的另一流程圖。具體實施例方式下面將參考附圖對本發明的示例實施例進行更全面的描述，其中示出了本發明的ー些但不是所有的實施例。實際上，本發明可以體現為許多不同的形式，因此不應解釋為對此處陳述的實施例的限制；而是，提供這些實施例以便此公開滿足適用的法律要求。相同的參考圖標自始至終指代相同的部件。根據本發明的某些示例實施例，術語“數據”、“內容”、“信息”以及類似的術語可以可交換地使用以指代能夠被發射、接收、操作和/或存儲的數據。此處使用的術語“電路”指代以下所有(a)僅硬件電路實現(諸如僅模擬和/或數字電路中的實現)；(b)電路與軟件(和/或固件)的結合，諸如(適用時)(i)處理器的結合或(ii)一起運行以引起設備(諸如移動電話或者服務器)執行各種功能性的處理器/軟件(包括數字信號處理器)、軟件和存儲器的一部分；以及(c)需要軟件或固件以進行操作的電路，諸如微處理器或者微處理器的一部分，即使軟件或固件物理上不存在。對“電路”的該定義適用于該術語在本申請中的所有使用，包括在任何權利要求中的使用。作為進一歩的示例，在本申請中使用時，術語“電路”還將覆蓋僅處理器(或者多處理器)或者處理器的一部分及它(或者它們)伴隨的軟件和/或固件的實現。例如，如果適用于特定的權利要求要素，則術語“電路”還將覆蓋移動電路的基帶集成電路或者應用處理器集成電路或者服務器、蜂窩網絡設備、或者其它網絡設備中的類似集成電路。本發明的示例實施例包括使用如此處描述生成的特征描述符來統ー圖像處理應用(諸如移動增強現實(MAR)應用)中的跟蹤和視頻內容識別的方法和設備。特征描述符可以被稱為旋轉不變快速特征(RIFF)描述符。RIFF描述符可以使用徑向梯度轉換(RGT)和/或近似RGT(ARGT)來生成。根據各種示例實施例，RIFF描述符被生成為足夠快以用于幀頻或者近(near)幀頻跟蹤，并且足夠健壯以用于大規模識別檢索任務。例如，根據某些示例實施例，使用RIFF描述符的跟蹤方案能夠生成全局仿射運動模型，其可與來自Kanade-Lucas-Tomasi(KLT)特征跟蹤器的這些比較,并且可以實現來自圖像數據庫的改善的識別檢索精確性。諸如MAR應用的圖像處理應用可以利用視覺跟蹤和識別。本發明的示例實施例開發幀之間的冗余以用于通過生成特征描述符來統ー跟蹤和識別，該特征描述符可以以視頻幀頻或近視頻幀頻提取并可以用作跟蹤和識別目的。根據示例實施例的特征描述符可以通過以視頻幀頻提取有助于識別和跟蹤的信息而生成。通過以這種方式生成特征描述符，跟蹤和識別均可以被特征描述符支持。附加地，為了克服與許多手持設備的受限的計算功率相關的挑戰，根據各種示例實施例，此處描述的特征描述符對于計算是既健壯又快速的。對RIFF描述符的生成可以從形成壓縮的梯度直方圖(CHoG)描述符的程序開始，其已經示出了以很低的比特率很好地運行。然而，根據某些示例實施例，CHoG程序可以被修改以消除特征點(keypoint)檢測的方向賦值階段以提高速度，并生成旋轉不變快速特征描述符。在這點上，可以提供兩種類型的RIFF描述符，基于梯度面元劃分(binning)的描述符和基于空間面元劃分的描述符。旋轉不變性可以是健壯圖像識別系統的重要特征。某些描述符通過查找(find)方向井內插相關的像素實現方向不變性。然而，根據示例實施例，RIFF描述符的生成可以在沒有確定方向和像素內插的情況下被執行。在這點上，可以利用梯度直方圖(HoG)類型的描述符，并且可以通過梯度面元劃分和空間面元劃分實現旋轉不變性。根據某些示例實施例,可以使用梯度面元劃分來生成旋轉(rationalIy)不變描述符。為了使梯度面元劃分不變，可以應用可逆的(invertable)、空間上變化的轉換。通過以給定角度旋轉梯度，可以以很少的或者沒有信息損失實現旋轉不變性。產生徑向梯度轉換(RGT)。如圖I中所示，可以選擇兩個正交的基礎矢量來提供局部極坐標系(referenceframe)以描述梯度。基礎矢量r和t可以是點p處相對于曲面(patch)中心c的徑向和切向方向。Re可以定義為角度Θ的標準旋轉矩陣，得到Γ=]Τ--|^=Λ^Γ(I)I/,ィIτ通過投影到！·和t，梯度g可以分解成其局部坐標系g=(gTr)r+(gTt)t(2)以便梯度可以在局部徑向坐標系中表示為矢量(gTr，gTt)。如果曲面圍繞其中心c旋轉某個角度Θ，則新局部坐標系和梯度生成為R0P=P',R0r=r/,R0t=t/R0g=·這樣，局部幀中的梯度坐標因此示為對旋轉不變，因為g和g’映射為各自參考坐標系中的相同坐標。權利要求1.ー種方法，包括生成圖像幀的圖像金字塔；檢測所述圖像金字塔內的多個興趣點；以及提取每個各自的興趣點的特征描述符。2.如權利要求I所述的方法，其中提取所述特征描述符包括提取特征描述符，所述特征描述符是旋轉不變的。3.如權利要求I或2所述的方法，進ー步包括通過將所述特征描述符與前一幀的特征描述符進行匹配來跟蹤運動；以及基于所述特征描述符來執行對所述圖像幀內的目標的識別。4.如權利要求I到3中任一所述的方法，其中提取所述特征描述符包括以給定角度旋轉興趣點的梯度以產生徑向梯度轉換。5.如權利要求I到4中任一所述的方法，其中提取所述特征描述符包括執行梯度面元劃分或者空間面元劃分。6.如權利要求I到5中任一所述的方法，其中提取所述特征描述符包括定義近似基礎矢量以及利用所述近似基礎矢量來生成近似徑向梯度轉換。7.如權利要求I到6中任一所述的方法，進ー步包括基于所述特征描述符之間的閾值最小距離選擇所述特征描述符中至少之ー以用于匹配。8.ー種包括至少ー個處理器和包括計算機程序代碼的至少ー個存儲器的設備，所述至少ー個存儲器與所述計算機程序代碼配置成與所述至少一個處理器一起引起所述設備至少生成圖像幀的圖像金字塔；檢測所述圖像金字塔內的多個興趣點；以及提取每個各自的興趣點的特征描述符。9.如權利要求8所述的設備，其中所述設備被引起提取所述特征描述符包括被引起提取特征描述符，所述特征描述符是旋轉不變的。10.如權利要求8或9所述的設備，其中所述設備被進ー步引起通過將所述特征描述符與前一幀的特征描述符進行匹配來跟蹤運動；以及基于所述特征描述符來執行對所述圖像幀內的目標的識別。11.如權利要求8到10中任一所述的設備，其中所述設備被引起提取所述特征描述符包括被弓I起以給定角度旋轉興趣點的梯度以產生徑向梯度轉換。12.如權利要求8到11中任一所述的設備，其中所述設備被引起提取所述特征描述符包括被引起執行梯度面元劃分或者空間面元劃分。13.如權利要求8到12中任一所述的設備，其中所述設備被引起提取所述特征描述符包括被引起定義近似基礎矢量以及利用所述近似基礎矢量來生成近似徑向梯度轉換。14.如權利要求8到13中任一所述的設備，其中所述設備被進ー步引起基于所述特征描述符之間的閾值最小距離選擇所述特征描述符中至少之ー以用于匹配。15.如權利要求8到14中任一所述的設備，其中所述設備包括移動終端。16.如權利要求8到15中任一所述的設備，其中所述設備包括配置成基于所述特征描述符來呈現目標跟蹤的顯示器。17.一種在其中編碼有可執行的計算機可讀程序代碼指令的計算機可讀介質，所述指令被配置成引起設備至少生成圖像幀的圖像金字塔；檢測所述圖像金字塔內的多個興趣點；以及提取每個各自的興趣點的特征描述符。18.如權利要求17所述的介質，其中所述指令配置成引起所述設備提取所述特征描述符包括被配置成引起所述設備提取特征描述符，所述特征描述符是旋轉不變的。19.如權利要求17或18所述的介質，其中所述指令被進ー步配置成引起所述設備通過將所述特征描述符與前一幀的特征描述符進行匹配來跟蹤運動；以及基于所述特征描述符來執行對所述圖像幀內的目標的識別。20.如權利要求17到19中任一所述的介質，其中所述指令配置成引起所述設備提取所述特征描述符包括被配置成引起所述設備以給定角度旋轉興趣點的梯度以產生徑向梯度轉換。21.如權利要求17到20中任一所述的介質，其中所述指令配置成引起所述設備提取所述特征描述符包括被配置成引起所述設備執行梯度面元劃分或者空間面元劃分。22.如權利要求17到21中任一所述的介質，其中所述指令配置成引起所述設備提取所述特征描述符包括被配置成引起所述設備定義近似基礎矢量以及利用所述近似基礎矢量來生成近似徑向梯度轉換。23.如權利要求17到22中任一所述的介質，其中所述指令被進ー步配置成引起所述設備基于所述特征描述符之間的閾值最小距離選擇所述特征描述符中至少之ー以用于匹配。24.一種設備，包括用于生成圖像幀的圖像金字塔的裝置；用于檢測所述圖像金字塔內的多個興趣點的裝置；以及用于提取每個各自的興趣點的特征描述符的裝置。25.如權利要求24所述的設備，其中用于提取所述特征描述符的裝置包括用于提取特征描述符的裝置，所述特征描述符是旋轉不變的。26.如權利要求24或25所述的設備，進一歩包括用于通過將所述特征描述符與前一幀的特征描述符進行匹配來跟蹤運動的裝置；以及用于基于所述特征描述符來執行對所述圖像幀內的目標的識別的裝置。27.如權利要求24到26中任一所述的設備，其中用于提取所述特征描述符的裝置包括用于以給定角度旋轉興趣點的梯度以產生徑向梯度轉換的裝置。28.如權利要求24到27中任一所述的設備，其中用于提取所述特征描述符的裝置包括用于執行梯度面元劃分或者空間面元劃分的裝置。29.如權利要求24到28中任一所述的設備，其中用于提取所述特征描述符的裝置包括用于定義近似基礎矢量的裝置以及用于利用所述近似基礎矢量來生成近似徑向梯度轉換的裝置。30.如權利要求24到29中任一所述的設備，進一歩包括用于基于所述特征描述符之間的閾值最小距離選擇所述特征描述符中至少之ー以用于匹配的裝置。全文摘要提供了用旋轉不變特征描述符進行跟蹤和識別的各種方法。一種示例方法包括生成圖像幀的圖像金字塔，檢測圖像金字塔內的多個興趣點，以及提取每個各自的興趣點的特征描述符。根據一些示例實施例，特征描述符是旋轉不變的。進一步地，示例方法還可以包括通過將特征描述符與前一幀的特征描述符進行匹配來跟蹤運動，以及基于特征描述符來執行對圖像幀內的目標的識別。同樣提供了相關的示例方法和示例設備。文檔編號G06K9/46GK102844771SQ201080061855公開日2012年12月26日申請日期2010年11月18日優先權日2009年11月19日發明者G·陶卡奇,R·格熱茨祖克,V·錢德拉塞卡爾,B·格羅德申請人:諾基亞公司,斯坦福大學