基于高光譜特性的場景中的物質減去的制作方法
【專利摘要】從至少一個高光譜圖像去除高光譜簽名的方法除其他事物外還包括選擇高光譜簽名并且確定至少一個高光譜圖像中的每個像素與選擇的至少一個高光譜簽名之間的相異值。如果該至少一個高光譜圖像中的給定像素的簽名與選擇的至少一個高光譜簽名之間的相異值小于預定閾值則將給定像素的簽名的值設置成零來創建簽名減去的高光譜圖像。
【專利說明】基于高光譜特性的場景中的物質減去
【背景技術】
[0001]高光譜圖像(HSI)的遠程感測系統的環境很好地在Manolakis, D., Marden,D.和Shaw G.(Lincoln Laboratory Journal;卷14; 2003 頁:79- 82)的“HyperspectralImage Processing for Automatic Target Detection Applications (自動目標檢測應用的高光譜圖像處理)”中描述。成像傳感器具有記錄高光譜能量測量的像素。HSI裝置將采用像素陣列記錄能量，該像素陣列通過陣列的幾何形狀捕獲空間信息并且通過在多個相鄰高光譜帶的每個像素中做出測量來捕獲光譜信息。進一步的空間和光譜信息處理取決于遠程感測系統的特定應用。
[0002]已經證明遠程感測HSI對于包括環境和土地使用監測、軍事監視和偵查的廣泛應用是有價值的。HSI提供包含空間和光譜信息兩者的圖像數據。這些類型的信息可以用于遠程檢測和跟蹤任務。具體地，給定安裝在例如無人飛行器(UAV)或固定地面站的平臺上的一組視覺傳感器，可獲取HSI視頻并且算法集可應用于光譜視頻以逐幀地檢測和跟蹤對象。
【發明內容】
[0003]本發明的一個方面是從至少一個高光譜圖像去除高光譜簽名的方法。該方法包括選擇高光譜簽名；確定至少一個高光譜圖像中的每個像素與選擇的至少一個高光譜簽名之間的相異值；并且如果該至少一個高光譜圖像中的給定像素的簽名與選擇的至少一個高光譜簽名之間的相異值小于預定閾值則將給定像素的簽名的值設置成零來創建簽名減去的高光譜圖像。
【專利附圖】
【附圖說明】
[0004]在圖中:
圖1是根據本發明的實施例選擇沒有要用于背景減去的移動對象的場景的高光譜圖像的方法的示意圖。
[0005]圖2是根據本發明的實施例創建背景減去的高光譜圖像的方法的示意圖。
[0006]圖3是根據本發明的實施例創建簽名減去的高光譜圖像的方法的示意圖。
[0007]圖4示出由多草地形環繞的公路的場景的高光譜圖像。
[0008]圖5示出圖4的場景(其中汽車穿過公路)的高光譜圖像。
[0009]圖6示出根據本發明的實施例來自圖5的場景(其中已經去除公路和多草地形)的背景減去的高光譜圖像。
[0010]圖7示出根據本發明的實施例來自圖5的場景(其中已經去除多草地形)的簽名減去的高光譜圖像。
【具體實施方式】
[0011]在背景和下面的描述中，為了說明目的，闡述許多特定細節以便提供對本文描述的技術的全面理解。然而，示范性實施例可在沒有這些特定細節的情況下實踐，這對于本領域內技術人員將是顯而易見的。在其他情形中，采用圖的形式示出結構和裝置以便便于描述示范性實施例。
[0012]參考圖來描述示范性實施例。這些圖圖示實現本文描述的模塊、方法或計算機程序產品的特定實施例的某些細節。然而，圖不應解釋為施加可在圖中存在的任何限制。可在任何機器可讀介質上提供方法和計算機程序產品用于實現它們的操作。可使用現有的計算機處理器或通過為該或另一個目的而包含的專用計算機處理器或通過硬連線系統來實現實施例。
[0013]如上文指出的，本文描述的實施例可包括計算機程序產品，其包括用于攜帶或具有存儲在其上的機器可執行指令或數據結構的機器可讀介質。這樣的機器可讀介質可以是任何可用介質，其可以被通用或專用計算機或具有處理器的其他機器訪問。通過示例，這樣的機器可讀介質可以包括RAM、ROM、EPR0M、EEPR0M、CD-ROM或其他光盤存儲、磁盤存儲或其他磁存儲裝置，或可以用于攜帶或存儲采用機器可執行指令或數據結構形式并且可以被通用或專用計算機或具有處理器的其他機器訪問的期望程序代碼的任何其他介質。當通過網絡或另一個通信連接(硬連線、無線或硬連線或無線的組合)將信息傳輸或提供給機器時，機器適當地將連接視為機器可讀介質。從而，任何這樣的連接適當地稱作機器可讀介質。上文的組合也包括在機器可讀介質的范圍內。機器可執行指令包括，例如促使通用計算機、專用計算機或專用處理機執行某一功能或功能組的指令和數據。
[0014]將在可在一個實施例中通過包括機器可執行指令(諸如程序代碼，例如采用由聯網環境中的機器執行的程序模塊的形式)的程序產品實現的方法步驟的一般上下文中描述實施例。一般，程序模塊包括執行特定任務或實現特定抽象數據類型的例程、程序、對象、組件、數據結構等。計算機可執行指令、關聯的數據結構和程序模塊代表用于執行本文公開的方法步驟的程序代碼的示例。這樣的可執行指令或關聯的數據結構的特定序列代表用于在這樣的步驟中實現描述的功能的對應動作的示例。
[0015]實施例可使用到具有處理器的一個或多個遠程計算機的邏輯連接而在聯網環境中實踐。邏輯連接可包括局域網(LAN)和廣域網(WAN)，其通過示例并且非限制性地在這里呈現。這樣的聯網環境在辦公室范圍或企業范圍的計算機網絡、內聯網和因特網中是普通的，并且可使用很多種不同的通信協議。本領域內技術人員將意識到這樣的網絡計算環境典型地將包含許多類型的計算機系統配置，其包括個人計算機、手持裝置、多處理器系統、基于微處理器或可編程的消費電子設備、網絡PC、小型計算機、大型計算機等。
[0016]實施例還可在分布式計算環境中實踐，其中任務由通過通信網絡而鏈接(通過硬連線鏈路、無線鏈路或通過硬連線或無線鏈路的組合)的本地和遠程處理裝置執行。在分布式計算環境中，程序模塊可位于本地和遠程存儲器存儲裝置兩者中。
[0017]用于實現示范性實施例的全部或部分的示范性系統可包括采用計算機形式的通用計算裝置，其包括處理單元、系統存儲器和使包括系統存儲器的各種系統組件耦合于處理單元的系統總線。系統存儲器可包括只讀存儲器(ROM)和隨機存取存儲器(RAM)。計算機還可包括用于從磁硬盤讀和寫到磁硬盤的磁硬盤驅動器、用于從可移動磁盤讀或寫到可移動磁盤的磁盤驅動器和用于從可移動光盤(例如CD ROM或其他光介質)讀或寫到可移動光盤的光盤驅動器。驅動器和它們關聯的計算機可讀介質為計算機提供機器可執行指令、數據結構、程序模塊和其他數據的非易失性存儲。
[0018]在實施例中公開的方法的技術效果包括通過去除包括不必要高光譜簽名的所有像素而增加高光譜圖像的可壓縮性。因此，用于存檔目的所必需的數據和時間的量減少。同樣，方法通過大致上減少要手動或自動搜索的數據的大小而在現有的檢測方法的速度上有改進。另外，方法使高光譜圖像增強使得之前未檢測的對象和特征現在可被檢測。
[0019]圖1是根據本發明的實施例選擇沒有要用于背景減去的移動對象的場景的高光譜圖像的方法10的示意圖。在過程的開始12，可包括單個圖像或高光譜視頻饋送的遠程感測HSI可在14處輸入到能夠處理HSI的處理器。
[0020]在14處輸入到處理器的HSI是目標場景的高光譜圖像系列。該目標場景是成像區，其中該成像區的空間邊界對于高光譜圖像(例如將由固定攝像機收集的)的整個集合將保持不變。例如，目標場景可具有由多草地形環繞的公路段。盡管每個高光譜圖像可在例如汽車穿過公路或環境光水平一整天都在改變時不同，集合中的高光譜圖像中的全部應該具有相同的公路段。注意該示例僅是為了說明性目的并且不應視為限制性的；靜止場景的任何高光譜圖像系列可以是相關的。
[0021]為了確定在目標場景中沒有移動對象的至少一個高光譜圖像，處理器可在16處開始迭代通過收集的高光譜圖像系列。對于系列中的每個收集的高光譜圖像，處理器可在18處確定高光譜圖像是否在目標場景中具有任何移動或新的對象。如果處理器確定在目標場景中存在移動或新的對象，處理器可經由循環終止器32和循環迭代器16處的迭代邏輯步驟行進到高光譜圖像系列中的下一個高光譜圖像。如果處理器在20處確定高光譜圖像中沒有移動或新的對象，則處理器可在22處選擇高光譜圖像作為目標場景的背景。
[0022]當前發明的方法在24處允許高光譜圖像代表目標場景的背景或允許高光譜圖像集代表目標場景的背景，這取決于實現。如果處理器在26處將指定單個高光譜圖像來代表目標場景的背景，處理器可將單個選擇的高光譜圖像存儲在數據庫46中并且在48處終止背景選擇過程。如果處理器在30處將指派多個高光譜圖像來代表目標場景的背景，處理器可經由循環終止器32和循環迭代器16處的迭代邏輯步驟繼續迭代通過高光譜圖像集。
[0023]當處理器已經在32處完全迭代通過目標場景的高光譜圖像系列時，處理器可確定多個高光譜圖像是否已經被指定來代表目標場景的背景。如果處理器已經在36處指定多個高光譜圖像來代表目標場景的背景，處理器可在38處對多個高光譜圖像求平均來創建存儲在數據庫46中的單個背景圖像并且背景選擇過程在48處終止。如果處理器在50處未指定多個高光譜圖像來代表目標場景的背景，然后，如果處理器在40處指定單個高光譜圖像來代表目標場景的背景，它在42處將該單個高光譜圖像存儲在數據庫46中。然后，處理器在48處終止過程。如果處理器在40處未指定任何高光譜圖像來代表目標場景的背景，處理器在44處可收集14處的新的高光譜圖像系列來重新開始選擇沒有移動對象的目標場景的至少一個高光譜圖像的過程。
[0024]處理器在18處可確定目標場景的高光譜圖像是否包含通過由用戶手動干預或自動移動或新的目標。根據本發明的實施例，處理器在18處可在處于操作的初始狀態時向用戶顯示高光譜圖像系列。用戶可在22處選擇至少一個高光譜圖像作為目標場景的背景圖像。備選地，處理器在18處可基于應用于當前高光譜圖像的標準集來自動選擇22處的至少一個高光譜圖像作為目標場景的背景圖像。上述標準可基于高光譜圖像的空間或光譜特性并且可采用當前高光譜圖像與之前收集的HSI的比較。
[0025]在確定、選擇并且存儲高光譜圖像來代表沒有移動或新的對象的目標場景的背景時，處理器然后可從目標場景的高光譜圖像去除背景。圖2是根據本發明的實施例創建背景減去的高光譜圖像100的方法的示意圖。在過程的開始112，可包括單個圖像或高光譜視頻饋送的遠程感測HSI可在114處輸入到能夠處理HSI的處理器。遠程感測的HSI可以是來自圖1的14的相同的高光譜圖像系列，或可以是相同目標場景的新的高光譜圖像系列。處理器可在116處開始迭代通過收集的高光譜圖像系列。
[0026]在118處，處理器可從當前高光譜圖像減去在46處存儲在數據庫中的目標場景的背景圖像來創建背景減去的高光譜圖像。盡管減去可以是單個像素減去由此背景圖像的像素簽名從高光譜圖像的對應像素的簽名減去，根據實現可使用其他減去方法。例如，如果背景圖像像素的簽名與高光譜圖像的對應像素的簽名之間的絕對差小于預定閾值，處理器可在118處通過將所得的像素值設置成零而執行減去。對于一個示例預定閾值，高光譜簽名的每一個值必須在背景圖像的像素的簽名的對應值的5%內。根據實現可使用其他閾值。
[0027]背景減去的高光譜圖像然后可在46處存儲在數據庫中或顯示給用戶。處理器然后可經由120和116處的迭代邏輯來循環通過高光譜圖像系列直到在122處終止過程。
[0028]在46處存儲在數據庫中的背景減去的高光譜圖像的格式代表原始高光譜圖像的大致上壓縮版本。與傳統的彩色圖像中的每個RGB像素如何包含三個值相似，高光譜圖像中的每個像素包含N個值，每個光譜帶一個，其中N遠大于三。通過僅保存目標場景中的移動或新的對象的像素，保存到數據庫46的像素的數量可在保留所有光譜帶的N個值時急劇下降。例如，具有20個帶的640x480像素高光譜圖像將需要6，144，000個獨特的數值以完全存儲在數據庫46中。如果僅確定場景中移動或新的對象的300個像素，處理器將需要將300*20=6000個數值以及對應的二維像素坐標達總共6，600個值存儲在數據庫46中。
[0029]在本發明的一個實施例中，單個目標場景的若干不同的背景圖像通過確定背景圖像10的方法的多個情形而存儲在數據庫46中并且在其中分類。數據庫46中的目標場景的每個背景圖像通過照亮目標場景而分類。示例類別可代表例如早晨、中午、太陽、傍晚、夜晚、局部多云和完全多云的日間條件。當處理器在118處生成背景減去的圖像時，處理器可通過使高光譜圖像的屬性特征化或比較場景的背景圖像與高光譜圖像的收集時間而確定從數據庫46檢索哪個背景圖像。
[0030]圖3是根據本發明的實施例創建簽名減去的高光譜圖像200的方法的示意圖。在過程的開始212時，高光譜圖像和高光譜簽名可輸入到能夠處理高光譜圖像的像素的處理器。高光譜圖像可以是來自圖1的14的高光譜圖像系列中的一個，但高光譜圖像的源可取決于實現。
[0031]要從高光譜圖像去除的高光譜簽名的源可以是簽名的數據庫或來自高光譜圖像自身的簽名。高光譜簽名的數據庫可包含方法200的用戶感興趣的自然或人工物質的簽名。另外，用戶可通過將數據庫中的已知物質簽名組合來選擇生成額外的簽名用于減去。例如，用戶可通過使多個簽名每個與不同的加權組合來生成簽名用于減去。在另一個示例中，用戶可通過從第一簽名選擇一組光譜帶并且從第二簽名選擇一組不同的光譜帶而創建簽名用于減去。在再另一個示例中，處理器可通過對選擇的簽名應用變換來模擬例如日光、月光或前燈的變化的照明條件下物質的簽名而創建有關的簽名集。[0032]處理器可在214處開始迭代通過高光譜圖像的像素。處理器可在216處將高光譜圖像的像素的簽名與選擇的高光譜簽名比較以通過確定相異測量來確定匹配，并且在218處將相異測量的值與預定閾值比較。相異測量是用于確定兩個向量之間的數學距離的度量。例如，處理器可使用曼哈頓距離或I1范數來確定匹配，以計算高光譜圖像的像素的簽名與選擇的高光譜簽名之間的絕對差的和是否小于預定閾值。
[0033]處理器可計算其他相異測量。相異測量的一個種類是基于范數的并且是兩個向量之間的距離的直接計算。除曼哈頓距離外，如果高光譜圖像的像素的簽名與選擇的高光譜簽名之間的平方差的和的平方根小于預定閾值，處理器可從歐幾里得距離(也稱為I2范數)計算相異測量，來確定匹配。在基于范數的相異測量的另一個示例中，如果高光譜圖像的像素的簽名與選擇的高光譜簽名之間的最大絕對差小于預定閾值，處理器可計算切比雪夫距離(也稱為I OO范數)來確定匹配。
[0034]已經開發相異測量的另一個種類來利用圖像中候選目標的統計特性。例如，馬氏距離是已經應用于高光譜像素簽名的相似性的統計測量。馬氏距離通過測試針對已知簽名種類的平均值和標準偏差的簽名來測量簽名的相似性。因為測量的統計性質，計算馬氏距離需要簽名集而不是如用于基于范數的計算的單個簽名比較。
[0035]其他的已知技術包括光譜角映射表(SAM)、光譜信息散度(SID)、零均值差分區(ZMDA)和巴氏距離。SAM是用于通過將每個光譜視為向量并且計算這些向量之間的角度來將簽名與已知簽名比較的方法。因為SAM僅使用向量方向而不是向量長度，方法對照度中的變化不敏感。SID是用于通過測量光譜之間的概率性差異或散度而將候選目標的簽名與已知簽名比較的方法。ZMDA按照簽名的變化而將它們歸一化并且計算它們的差，其對應于兩個向量之間的區。巴氏距離與馬氏距離相似，但用于測量針對已知簽名種類的候選目標簽名集之間的距離。
[0036]在計算相異測量后，處理器可將相異測量的值與預定閾值比較來確定匹配。對于一個示例預定閾值，選擇的簽名的每一個值必須在高光譜圖像的像素的簽名的對應值的5%內。根據實現可使用其他閾值。
[0037]如果在220處簽名不匹配，處理器可經由循環邏輯終止器226和迭代器214而迭代到高光譜圖像中的下一個像素。如果在222處簽名匹配，高光譜圖像中的像素可通過在224處將它的值設置成零而刪除并且然后處理器可經由循環邏輯終止器226和迭代器214而繼續迭代通過高光譜圖像的剩余像素。當處理器已經迭代通過高光譜圖像中的像素中的全部時，過程在228處終止，在該點處簽名減去的高光譜圖像可存儲在數據庫中或由用戶在顯示器上查看。
[0038]可重復方法200來去除對高光譜圖像的額外選擇的簽名。另外，可對高光譜圖像系列重復過程。處理器可配置成通過經由顯示器向用戶顯示中間結果并且經由圖形用戶接口接收關于要減去哪些物質簽名的指令而自動或手動執行這些步驟。在方法的一個實現中，處理器去除代表背景圖像的簽名中的全部，從而僅留下與移動或新的對象的簽名相關的圖像。
[0039]通過示例，圖4-7證明本發明的實施例。圖4示出由多草地形環繞的公路的場景300的高光譜圖像。該圖像示出公路310、塔312、樹314、人工基礎設施316和多草地形320。處理器可在18處將圖1中的高光譜圖像識別為沒有移動對象并且將它存儲在數據庫46中作為目標場景的背景圖像。
[0040]圖5示出圖4的場景(其中汽車410正穿過公路310)的高光譜圖像400。處理器可在18處將該圖像識別為具有移動對象。場景的圖像400對于圖2的背景減去100的方法是候選。
[0041]圖6示出根據本發明的實施例來自圖5的場景(其中已經去除公路和多草地形)的背景減去的高光譜圖像500。處理器可從圖2中的數據庫46檢索來自圖4的背景圖像300。處理器從來自圖5的場景的高光譜圖像400減去來自圖4的背景圖像300。僅剩余的圖像元素是汽車410。已經刪除來自300的非移動對象中的全部，從而留下空白空間。公路的輪廓僅為了參考而示出并且將不在實際圖像500中。
[0042]圖7示出根據本發明的實施例來自圖5的場景(其中已經去除來自圖4的多草地形320)的簽名減去的高光譜圖像600。處理器使用來自圖3的簽名減去方法200來去除來自圖4的多草地形320的簽名以在所得的簽名減去的圖像600中創建一大片空白空間620。可以識別其他候選簽名(包括公路310、樹314和人工基礎設施316的簽名)用于去除。
[0043]圖6的示例背景減去的圖像500以及圖7的簽名減去的圖像600證明本發明的方法可急劇改進高光譜圖像中移動對象的檢測能力。另外，之前描述的數據壓縮水平在視覺上是明顯的，尤其在圖6中(其中僅剩余汽車410)。
[0044]該書面描述使用示例來公開本發明，其包括最佳模式，并且還使本領域內任何技術人員能夠實踐本發明，包括制作和使用任何裝置或系統并且執行任何包含的方法。本發明的專利范圍由權利要求限定，并且可包括本領域內技術人員想到的其他示例。這樣的其他示例如果其具有不與權利要求的文字語言不同的結構元件，或者如果其包括與權利要求的文字語言無實質區別的等同結構元件則意在權利要求的范圍內。
[0045]部件列表
【權利要求】
1.一種從至少一個高光譜圖像去除高光譜簽名的方法，所述方法包括: 選擇至少一個高光譜簽名； 確定所述至少一個高光譜圖像中的每個像素與選擇的至少一個高光譜簽名之間的相異值； 如果所述至少一個高光譜圖像中的給定像素的簽名與選擇的至少一個高光譜簽名之間的相異值小于預定閾值則將給定像素的簽名的值設置成零來創建簽名減去的高光譜圖像。
2.如權利要求1所述的方法，進一步包括重復選擇、減去和設置步驟來去除額外的高光譜簽名。
3.如權利要求1所述的方法，其中，確定步驟包括計算所述至少一個高光譜圖像中的每個像素與選擇的至少一個高光譜簽名之間的曼哈頓距離、歐幾里德距離、切比雪夫距離、馬氏距離、光譜角映射表(SAM)、光譜信息散度(SID)、零均值差分區(ZMDA)和巴氏距離中的一個。
4.如權利要求1所述的方法，其中，所述至少一個高光譜簽名包括背景圖像。
5.如權利要求1所述的方法，進一步包括顯示簽名減去的高光譜圖像的步驟。
6.如權利要求1所述的方法，其中，選擇高光譜簽名的步驟進一步包括從高光譜簽名的數據庫選擇高光譜簽名。
7.如權利要求1所述的方法，其中，選擇所述至少一個高光譜簽名的步驟進一步包括從所述至少一個高光譜圖像中包含的高光譜簽名選擇所述至少一個高光譜簽名。
8.如權利要求1所述的方法，其中，手動進行所述選擇步驟。
9.如權利要求1所述的方法，其中，自動進行所述選擇步驟。
10.如權利要求1所述的方法，進一步包括存儲所述簽名減去的高光譜圖像的步驟。
【文檔編號】G06T1/00GK103810666SQ201310406332
【公開日】2014年5月21日 申請日期:2013年9月9日 優先權日:2012年11月9日
【發明者】B.T.奧基平蒂, T.B.塞巴斯蒂安, K.R.庫琴斯基, E.D.比勒, R.S.凱莉 申請人:通用電氣航空系統有限責任公司