使用高光譜成像跟蹤對象的方法
【專利摘要】本發明提供一種使用高光譜成像對一組移動對象中的至少一個對象的運動進行跟蹤的方法，其中，所述方法包括：獲取一系列高光譜圖像幀；將所述系列中的每個幀與模板進行比較，以確定幀之間的圖像變化；標識每個幀中與所述變化相關的像素組；將變化標識為所述移動對象的運動；對所述像素組進行幀對幀關聯，以在空間上確定所述對象的所述運動的至少一個參數；以及將所述像素組與所述至少一個對象的相關光譜反射輪廓關聯，其中從其他移動對象的軌跡中可區分出所述至少一個對象的軌跡。
【專利說明】使用高光譜成像跟蹤對象的方法
【技術領域】
[0001] 本發明涉及使用高光譜成像跟蹤對象。
【背景技術】
[0002] 高光譜相機能夠采集高光譜圖像幀，或者以視頻幀速率采集數據立方體 (datacube)。這些相機采集高空間和光譜分辨率圖像。結合涉及計算機顯像（computer vision)和光譜分析的技術，高光譜相機的操作員已參與涉及檢測、跟蹤和識別拍攝對象的 監視應用。
【發明內容】
[0003] 本發明的一方面涉及一種使用高光譜成像對一組移動對象中的至少一個對象的 運動進行跟蹤的方法。所述方法包括：獲取一系列高光譜圖像幀；將所述系列中的每個幀 與模板進行比較，以確定幀之間的圖像變化；在每個幀中標識與所述變化相關的像素組； 將變化標識為所述移動對象的運動；對所述像素組進行幀對幀關聯，以在空間上確定所述 對象的所述運動的至少一個參數；以及將所述像素組與所述至少一個對象的相關光譜反射 輪廓（reflectance profile,或稱光譜反射曲線）關聯，其中從其他移動對象的軌跡區分 出所述至少一個對象的軌跡。
【專利附圖】
【附圖說明】
[0004] 在附圖中：
[0005] 圖1是根據本發明一個實施例的跟蹤方法的流程圖，所述方法使用高光譜成像跟 蹤一組移動對象中的至少一個對象的運動。
[0006] 圖2示出了高光譜成像系統已根據本發明一個實施例檢測并跟蹤兩個對象的情 況。
【具體實施方式】
[0007] 在【背景技術】部分和以下說明中，為便于說明，將提出各種具體的細節以便透徹理 解本說明書中所述的技術。但是，所屬領域中的技術人員能夠輕易地了解到，可以在不含這 些具體細節的情況下實施示例性實施例。在其他情況中，圖示的結構和裝置用于幫助說明 示例性實施例。
[0008] 示例性實施例將參考附圖進行描述。這些附圖中示出了實現本說明書中所述的模 塊、方法或計算機程序產品的具體實施例的特定細節。但是，附圖不得視作以任何方式限制 本發明。所述方法和計算機程序產品可以提供在任何機器可讀介質上，以便完成操作。實 施例可以使用現有計算機處理器實施，或者通過為所述目的或其他目的設置的專用計算機 處理器實施，或者通過硬連線系統實施。
[0009] 如上所述，本說明書中所述的實施例可以包括計算機程序產品，所述計算機程序 產品包括機器可讀介質，用于執行或者在其上存儲機器可讀指令或數據結構。此類機器可 讀介質可以是任何可用的介質，所述介質可被通用計算機或專用計算機或者具有處理器的 其他機器訪問。例如，此類機器可讀介質可以包括RAM、ROM、EPROM、EEPROM、CD-ROM或其他 光盤存儲器、磁盤存儲器或其他磁性存儲裝置，或者其他任何介質，此類介質可用于執行或 存儲機器可執行指令或數據結構形式的所需程序代碼，并且可被通用計算機或專用計算機 或者具有處理器的其他機器訪問。當通過網絡或其他通信連接（硬連線、無線，或者硬連線 或無線的組合）將信息傳輸到或者提供給特定機器時，所述機器將適當地將所述連接視為 機器可讀介質。因此，任何此類連接均可適當地稱為機器可讀介質。上述項的組合也包括 在機器可讀介質的范圍內。例如，機器可執行指令包括指令和數據，所述指令和數據指示通 用計算機、專用計算機或專用處理機器執行特定功能或功能組。
[0010] 實施例將在一般方法步驟上下文中進行描述，所述方法步驟能夠在一個實施例中 由包括諸如程序代碼等機器可執行指令的程序產品執行，例如，所述程序產品采用由聯網 環境中的機器執行的程序模塊的形式。通常，程序模塊包括例程、程序、對象、組件、數據結 構等，其具有執行特定任務或執行特定抽象數據類型的技術效應。機器可執行指令、相關數 據結構和程序模塊代表用于執行本說明書中所述的方法步驟的程序代碼的實例。此類可執 行指令或相關數據結構的特定序列代表用于在此類步驟中執行所述功能的對應操作的實 例。
[0011] 通過與具有處理器的一個或多個遠程計算機進行邏輯連接，可以在聯網環境中實 施實施例。邏輯連接可以包括局域網（LAN)和廣域網（WAN)，在本說明書中，所述網絡僅用 于說明，并非限定性的。此類聯網環境在辦公室范圍或企業范圍的計算機網絡、內部網和互 聯網中十分常見，并且可使用各種不同的通信協議。所屬領域中的技術人員將認識到，此類 網絡計算環境通常將包括許多類型的計算機系統配置，包括個人計算機、手持式裝置、多處 理器系統、基于微處理器或可編程的消費電子裝置，網絡PC、微型計算機、大型計算機等。
[0012] 實施例也可以在分布式計算環境中實施，其中任務由通過通信網絡連接（硬連線 連接、無線連接，或者硬連線或無線連接的組合）的本地和遠程處理裝置執行。在分布式計 算環境中，程序模塊可以位于本地和遠程存儲裝置中。
[0013] 用于實現全部或一部分示例性實施例的示例性系統可以包括計算機形式的通用 計算裝置，包括處理單元、系統存儲器以及將包括系統存儲器在內的各種系統部件連接到 處理單元的系統總線。所述系統存儲器可以包括只讀存儲器（ROM)和隨機存取存儲器 (RAM)。所述計算機還可以包括用于從/向磁性硬盤中讀取和寫入數據的磁性硬盤驅動器， 用于從/向可移動磁盤讀取或寫入數據的磁盤驅動器，以及用于從/向諸如CD-ROM或其他 光學介質等可移動光盤中讀取或寫入數據的光盤驅動器。所述驅動器及其相關機器可讀介 質構成了非易失性存儲器，用于存儲機器可執行指令、數據結構、程序模塊和其他計算機數 據。
[0014] 實施例中公開的方法的技術效果包括提高用于對象檢測和跟蹤的遠程成像系統 的性能和實用性。所述方法將減少傳統空間跟蹤中因阻斷（occlusion)、斑點合并（blob merging)、圖像巾貞丟失（frame dropping)、對象相交（object intersection)以及與使用基 于灰度圖像對比的檢測方法的巾貞差值（frame differencing)技術相關的其他問題而引起 的錯誤。此外，所述方法通過提供基本自動委任（auto-nomination)、重新采集和目標搜索 能力改進了自主對象跟蹤系統。
[0015] 圖1是根據本發明一個實施例的跟蹤方法的流程圖，所述方法使用高光譜圖像中 所含的光譜和空間信息組合（fusion)來跟蹤一組對象中的一個或多個對象的運動。首先， 在步驟100中，在操作配備高光譜相機的平臺期間，必須處理圖像以檢測、跟蹤和識別對 象。
[0016] 在步驟110中，高光譜相機可以獲取一系列高光譜圖像幀。平臺上的處理器可以 處理所述幀或者可以指示將圖像傳輸到遠程位置由第二處理器或處理系統（統稱為"處理 器"）進行處理。首先，所述處理器可以通過空間分析技術確定高光譜圖像幀的變化。如圖1 所示，處理器可以在112中對高光譜圖像幀執行步驟序列114、118,以便通過與模板115比 較確定圖像中的變化。所述處理器可以首先在步驟114中使用傳統空間分析或圖像處理技 術執行圖像的幀對幀比較。通過直接比較圖像幀的空間性質，所述處理器可以確定與圖像 校準和對齊相關的圖像性質，或者可以確定與運動中的拍攝圖像相關的拍攝場景性質。對 于校準和對齊，所述處理器可以執行一系列公知的圖像處理技術，這些技術可以涉及但不 限于噪聲過濾、邊角檢測、圖像配準（image registration)、單應性（homography)和巾貞對 幀對齊。所述處理器可以基于諸如對比度、分辨率和亮度等圖像性質采用與圖像幀中的對 象檢測相關的其他圖像處理技術。
[0017] 部分基于步驟114中的幀對幀比較，所述處理器可以在步驟118中確定幀之間的 圖像變化。所述處理器可以將標識為幀間差異的圖像幀和性質與已知目標的參考目標模板 115進行比較，其中所述參考目標模板可以存儲在模板數據庫116中。參考目標模板115可 以是先前建立的描述符，表示所關注的實際對象（real-world object)的高光譜圖像的空 間性質。例如，模板115可以包括一組像素，用于表示系統拍攝對象的預期形狀。或者，模 板115可以包括所存儲的一組向量，用于表示對象預期形狀的特定分解，例如，作為主成分 分析（Principal Component Analysis)或子波變換的輸出。無論模板115中的空間描述 符采用什么特定格式，所述處理器可以在步驟118中執行關聯或匹配操作，以利用與在模 板115中編碼的對象相關現有知識來進一步確定圖像幀的變化。
[0018] 所述處理器可以從步驟118輸出圖像幀中檢測到的變化，其來自于步驟114中的 幀對幀比較以及模板115。為了識別要跟蹤的潛在對象，所述處理器在步驟118中輸出圖像 幀中的像素組。在本發明的一個實施例中，所述處理器可以將輸出傳輸到步驟120,以標識 每個幀中與所檢測的變化相關的一組像素。在本發明的另一個實施例中，所述處理器可以 通過控制流132將輸出傳輸到步驟128,以將像素組關聯，從而在光譜上將對象特征化。
[0019] 在步驟120中，所述處理器可以在步驟118中在每個幀中標識與所檢測的變化輸 出相關的一組像素。所述處理器可以對各個幀執行一系列函數和計算，以將每個幀中的像 素連接、合并和/或剔除為與圖像幀中檢測到的變化相關的像素組，其中圖像幀中檢測到 的變化來自于步驟114中的幀對幀比較以及模板115。因此，在步驟122中，所述處理器可 以基于圖像幀中的所檢測變化以及每個幀中與所檢測變化相關的像素組來從所述系列的 圖像幀中識別出移動對象的運動。從所述序列的高光譜圖像幀中檢測和識別移動對象之 后，所述處理器可以在步驟124中進一步將各幀中的像素組關聯，以在空間上將識別、檢測 出的對象特征化。所述處理器可以基于已知圖像處理和計算機顯像技術來將所述運動參數 化，以便確定諸如速度或加速度等性質。隨后可以將所述運動的參數化用作后續跟蹤工作 的額外信息。例如，如果跟蹤系統處理器具有詳述受跟蹤對象的速度的歷史信息，則在處理 幀對幀比較和空間模板匹配時，所述處理器將應用額外的轉換來考慮到對象在高光譜圖像 幀中的預期位置。
[0020] 在步驟128中，所述處理器可以確定像素組與光譜反射輪廓125之間的關聯，所述 光譜反射輪廓存儲在光譜反射輪廓數據庫126中。光譜反射輪廓125可以事前確定并且可 以描述所關注的實際對象的高光譜圖像的光譜性質。此外，光譜反射輪廓125可以由許多 光譜反射特性（signature)構成。因此，光譜反射輪廓數據庫126可以描述所關注的實際 對象的光譜反射特性以及它們之間的空間關系。
[0021] 為了將像素組與光譜反射輪廓數據庫126中所描述的對象關聯或匹配，所述處理 器可以確定每個特性的像素組空間分布是否與光譜反射輪廓125中的特性空間分布類似。 由于光譜反射輪廓數據庫126可以具有與多個對象相關的多個輪廓125,因此將像素組與 光譜反射輪廓125關聯的處理器可以采用高光譜搜索算法來將像素組與特定反射輪廓125 匹配。
[0022] 已開發出多個高光譜搜索算法并且將其用于處理高光譜圖像以進行對象檢測。 通常基于公知的統計概念，高光譜搜索算法采用圖像中候選對象的統計特征。例如，馬哈 拉諾比斯距離（Mahalanobis distance)是通常用于高光譜像素特性的相似性統計測量。 馬哈拉諾比斯距離通過測試特性與已知特性類的平均和標準偏差來測量所述特性的相似 性。相似性測量可以包括諸如光譜角度映射（Spectral Angle Mapping, SAM)、光譜信息距 離（Spectral Information Distance，SID)、零均值微分區域（Zero Mean Differential Area,ZMDA)或巴特查里亞距離（Bhattacharyya Distance)等已知光譜分析檢測技術中的 元素。所述處理器可以根據具體實施方案使用其他相似性測量。
[0023] 盡管光譜反射輪廓125可以優選地存儲在圖1所示的光譜反射輪廓數據庫126中 并從該數據庫中檢索，但是其他來源中用作參考的光譜反射輪廓125可以包括高光譜圖像 幀本身。例如，所述處理器可以包括額外的處理功能，以便自動將像素組確定為所關注的對 象的圖像。或者，收集高光譜圖像的系統操作員可以在顯示器上手動選擇像素組并且將對 應光譜反射特性標識為所關注的對象的光譜反射輪廓125。
[0024] 如上所述，所述處理器可以根據本發明的具體實施方案加入步驟128以關聯像素 組，從而在光譜上將處于多個位置中的一個位置處的對象特征化。如圖1所示，所述方法 的主控制流顯示，用于將像素組關聯以在光譜上將對象特征化的步驟128可以用于在對像 素組進行幀對幀關聯以在空間上將對象運動特征化的步驟124之后。額外的控制流132和 134顯示，用于將像素組關聯以在光譜上將對象特征化的步驟128可以直接位于用于確定 高光譜圖像幀之間的圖像變化的步驟118之后。根據具體實施方案，步驟128可以在步驟 118或步驟124之后或者可以同時在步驟118和124之后。
[0025] 在本發明的一個實施例中，如果在步驟124確定的運動參數小于預定閾值，則所 述處理器僅執行步驟128,即將像素組關聯以在光譜上將對象特征化。例如，如果所檢測的 對象以大于5m/s的速度運動，則所述處理器可以不在光譜上將所述對象特征化。通過僅在 光譜上將速度減慢或停止的對象特征化，所述處理器可以有效處理圖像并且使用空間跟蹤 方法持續跟蹤通常難以跟蹤的對象。其他光譜關聯步驟可以有助于跟蹤關聯和跟蹤確定， 從而減少標準空間跟蹤方法中常見的誤報（false positive)和其他跟蹤錯誤。
[0026] 存在許多難以使用空間跟蹤技術采集對象或持續跟蹤對象的情況。此類情況可以 包括：跟蹤對象被另一對象阻擋；或者跟蹤對象拆分為多個單獨的對象。還存在其他此類 情況，上述情況不應視作限制性的。
[0027] 圖2示出了示例性情況300,其中根據本發明一個實施例使用高光譜成像跟蹤一 組移動對象中的特定對象的運動的方法檢測和跟蹤車輛310,所述車輛以與第二車輛312 大約相等的速度在同一道路上行駛。執行圖1所示方法的處理器處理一系列高光譜幀并且 跟蹤兩個類似的模型車輛。例如，如果車輛310和312的顏色不同，則光譜關聯提供了兩個 形狀類似的移動車輛之間的顯著差異。假定這兩個車輛以大約相等的速度在彼此附近行 駛，則單純基于空間分析的跟蹤系統可能在這兩個車輛310和312分開的時候弄錯，例如， 如果車輛310停止而車輛312繼續行駛。但是，基于圖1所示方法的跟蹤系統將繼續跟蹤 車輛310。基本上，通過結合使用空間跟蹤技術以及基于光譜反射輪廓125的像素組光譜特 征，可以在出現干擾因素時允許移動對象的魯棒跟蹤（robust tracking)。此外，所增加的 光譜信息和處理能夠持續跟蹤車輛310,即使是在車輛310停止的情況下。
[0028] 如果車輛310、312繼續在道路上行駛，則在車輛經過圖2中所示的樹時跟蹤系統 視野中的車輛被阻擋的情況下，跟蹤系統可能放棄跟蹤車輛。但是由于對象的光譜反射輪 廓125隨時間的推移而恒定，因此可以在車輛310進入跟蹤系統視野的不受阻擋區域中時 重新恢復跟蹤。此時，光譜反射輪廓125能夠實現移動對象的魯棒跟蹤，即使是在拍攝范圍 內存在阻擋物的情況下。
[0029] 本說明書使用多個實例來公開本發明，包括最佳模式，同時也讓所屬領域的任何 技術人員能夠實施本發明，包括制造并使用任何器件或系統，以及實施所涵蓋的任何方法。 本發明的保護范圍由權利要求書界定，并可包含所屬領域的技術人員想出的其他實例。如 果其他此類實例的結構要素與權利要求書的字面意義相同，或如果此類實例包含的等效結 構要素與權利要求書的字面意義無實質差別，則此類實例也應在權利要求書的范圍內。
【權利要求】
1. 一種使用高光譜成像對一組移動對象中的至少一個對象的運動進行跟蹤的方法，所 述方法包括： 獲取一系列高光譜圖像幀； 將所述系列中的每個幀與模板進行比較，以確定幀之間的圖像變化； 標識每個幀中與所述變化相關的像素組； 將變化標識為所述移動對象的運動； 對所述像素組進行幀對幀關聯，以在空間上確定所述對象的所述運動的至少一個參 數；以及 將所述像素組與所述至少一個對象的相關光譜反射輪廓關聯，其中從其他移動對象的 軌跡中可區分出所述至少一個對象的軌跡。
2. 根據權利要求1所述的方法，其中將所述像素組與光譜反射輪廓關聯的步驟作為在 將所述系列中的每個幀與模板進行比較之后執行的下一個步驟。
3. 根據權利要求1所述的方法，其中將所述像素組與光譜反射輪廓關聯的步驟作為在 對所述像素組進行幀對幀關聯以在空間上確定所述對象的所述運動的至少一個參數之后 執行的下一個步驟。
4. 根據權利要求1所述的方法，其中將所述像素組與光譜反射輪廓關聯的步驟作為在 將所述系列中的每個幀與模板進行比較的步驟之后執行的下一個步驟，并且作為在對所述 像素組進行幀對幀關聯以在空間上確定所述對象的所述運動的至少一個參數之后執行的 下一個步驟。
5. 根據權利要求1所述的方法，其中將所述像素組與光譜反射輪廓關聯的步驟僅在所 述對象的所述運動的所述至少一個參數的值小于預定閾值時執行。
6. 根據權利要求1所述的方法，其中所述對象的所述運動的所述至少一個參數是速 度。
7. 根據權利要求1所述的方法，其中所述對象的所述運動的所述至少一個參數是加速 度。
8. 根據權利要求1所述的方法，其中所述光譜反射輪廓存儲在光譜反射輪廓數據庫中 并從所述光譜反射輪廓數據庫檢索。
9. 根據權利要求1所述的方法，其中所述光譜反射輪廓來源于所述系列的高光譜圖像 幀中的一組像素。
【文檔編號】G06F17/30GK104112281SQ201410155488
【公開日】2014年10月22日 申請日期:2014年4月17日 優先權日:2013年4月19日
【發明者】E.D.比勒, S.A.M.拉西尼, K.R.庫琴斯基, R.S.凱莉, B.T.奧基平蒂, M.J.謝菲爾, R.J.史密斯, T.B.塞巴斯蒂安 申請人:通用電氣航空系統有限責任公司