高光譜醫學成像平臺和方法與流程

本發明涉及醫學成像領域和高光譜成像領域。特別地，本發明涉及這兩個領域的交叉。

背景技術：

1、高光譜成像廣泛涉及從整個電磁(em)光譜中收集和處理信息。通常，高光譜成像的目的是獲取圖像中每個像素的電磁光譜。這種圖像可用于尋找物體、識別材料或檢測過程。

2、人眼可感知三個波段的電磁輻射。這三個波段形成了所謂的可見光譜，或簡稱為可見光譜。可見光譜范圍從大約380到大約700納米(nm)。可見光譜中較長的波長呈現紅色，中等波長呈現綠色，較短的波長呈現藍色。另一方面，高光譜成像將電磁波譜分成更多的波段，其中一些波段可以擴展到可見光譜之外。因此，高光譜成像可以檢測波長比可見光譜中的波段短的波段(即，紫外區和波長短于紫外區的波段)和/或可以檢測波長比可見光譜中的波段長的波段(即，紅外區和波長長于紅外區的波段)。

3、此外，高光譜成像中通常使用的波長段相較于人眼和許多其他成像系統所能感知的波長段更多和/或更窄。這樣就能更精確地表示給定物體的電磁反射、透射或發射光譜。

4、成像的物體通常具有獨特的光譜“指紋”，稱為光譜特征。光譜特征是材料反射、發射或透射的波長變化。關于反射的電磁輻射，物體的光譜特征是入射電磁輻射的波長和物體材料與電磁光譜中該部分電磁輻射相互作用的函數。由于光譜特征對于給定材料是唯一的，因此可以用來識別材料。例如，石油的光譜特征可用于繪制石油泄漏的范圍。

5、高光譜成像是使用高光譜傳感器完成的。高光譜傳感器以“圖像”組的形式收集信息，每個圖像都代表一光譜帶(即電磁光譜中相對較窄的波長范圍)。在一些應用中，這些“圖像”可以組合，以形成3d(x、y、λ)高光譜數據立方體，其中x和y是成像場景的兩個空間維度，λ是光譜維度(即波長范圍)。

6、高光譜成像的精度可以用兩種主要方法中的其中一種來測量。首先，光譜分辨率描述的是所捕獲光譜的每個波段的寬度。換句話說，光譜分辨率可以看作是光譜中兩條可相互區分的線之間的最小波長差(或頻率差)。其次，空間分辨率涉及高光譜圖像中每個像素的尺寸。例如，非常大的像素可能會捕獲場景中的多個物體，從而難以區分和識別場景中的物體。然而，相反，如果像素的尺寸太小，由每個像素捕獲的場景中一些物體的電磁輻射強度將較低，可能會降低任何給定像素的信噪比，從而導致高光譜圖像不可靠且難以讀取。

技術實現思路

1、本發明的目的是提供允許高光譜醫學成像的系統和方法。本文提供了本發明的實施例。如果本發明的實施例不相互排斥，那么就可以自由地相互組合。

2、本發明可用于對體內組織或離體組織的成像。在不限制本發明的前提下，本發明特別適用于對腫瘤和癌組織進行成像，并將腫瘤和癌組織的光譜特征與附近的健康/無病組織的光譜特征區分開來。例如，本發明可用于術中對在乳房切除術或乳房腫瘤切除術中已切除的離體組織樣本進行成像。由于本發明的圖像處理能力的快速周轉時間，執行乳房切除術或乳房腫瘤切除術的手術團隊可以檢查使用本發明生成的高光譜圖像，以確定離體組織是否被以足夠的手術切緣(surgical?margin)移除。如果已切除的離外組織的切緣不足，手術團隊就可以相應地調整手術技術。

3、替代地，本發明可用于手術中對體內組織成像。例如，在乳房切除術或乳房腫瘤切除術期間，手術團隊可以使用本發明來生成腫瘤切除后的手術區域或切除腔隙(resectionpocket)的高光譜圖像。如果在手術區域或切除腔隙的高光譜圖像中看到的切緣不足(即顯示患者體內仍殘留腫瘤)，手術團隊可以相應地調整手術技術。

4、在本發明的另一個潛在用途中，手術團隊可以在切口之前，或在切口暴露組織之后，在切除或移除組織之前，使用本發明生成手術部位的高光譜圖像。因此，手術團隊可以在更了解腫瘤的大小、位置和切除范圍的情況下做出相應的手術決定。本發明的體內用途特別有利，因為本發明不需要使用染料、放射性對比劑或其他引入患者體內的制劑。這些制劑中的許多制劑都具有不良毒性。此外，本發明使獲取圖像的過程變得更簡單、更容易，因為它不需要與使用這些制劑相關的額外步驟。因此，本發明在不使用這些制劑的情況下產生高質量圖像的優勢是有利的，這是由于該系統在光譜范圍、光譜分辨率和空間分辨率的組合方面具有獨特的性能特征。

5、本發明的特征在于用于對組織進行成像的高光譜醫學成像系統。高光譜醫學成像系統可以包括配置為發射入射光的光源。入射光可以作為反射光從組織上反射出去，也可以作為透射光穿過組織，或者是兩者的組合。所述系統還可以包括可調節的透射光學部件，所述透射光學部件配置為根據需要透射反射光的所有部分，以實現期望的成像特性。所述系統還可以包括高光譜傳感器，所述高光譜傳感器配置為檢測透射通過透射光學部件的反射光、透射光或它們的組合的特性。高光譜傳感器還可以進一步配置為捕獲原始高光譜圖像并將原始高光譜圖像傳輸到計算設備。所述系統還進一步包括可操作地連接到高光譜傳感器的計算設備。計算設備可以包括能夠執行計算機可讀指令的處理器和包括計算機可讀指令的存儲器部件。計算設備可以配置為處理原始高光譜圖像，以產生經處理的高光譜圖像，并將經處理的高光譜圖像傳送到存儲器部件。所述系統還進一步包括可操作地連接到計算設備的顯示器。計算設備還可以進一步配置為從存儲器部件讀取經處理的高光譜圖像，并在顯示器上顯示經處理的高光譜圖像。

6、經處理的高光譜圖像可以以操作員可操作的方式顯示在顯示器上。根據應用，入射光可以是從約400nm到約2500nm或者該范圍內的子集或子集的組合。在一些實施例中，可以對原始高光譜圖像進行實時處理，以便在五秒或更短時間內顯示和更新顯示器上的彩色編碼圖像。可以將彩色編碼圖像投影到主體上，無論主體是體內組織還是離體組織，從而將彩色編碼圖像顯示在主體上。

7、本發明的特征在于一種產生高光譜圖像的方法。所述方法可以包括使用光源照射體內組織樣本或離體組織樣本。所述方法還可以進一步包括使用高光譜傳感器獲取組織樣本的偵測圖像，以提高高光譜圖像質量。所述方法還可以進一步包括通過使用高光譜傳感器來捕獲組織樣本的一個或多個面的反射光譜、透射光譜或它們的組合來獲取高光譜圖像。所述方法還可以進一步包括將高光譜圖像作為數據文件保存到計算設備，所述計算設備包括處理器和存儲器部件，所述處理器能夠執行計算機可讀指令，所述存儲器部件包括用于處理由高光譜傳感器獲取的高光譜圖像的計算機可讀指令的。

8、所述方法還進一步包括從圖像中提取端元光譜(endmember?spectra)的組。所述方法還可以進一步包括將光譜保存到光譜庫中。所述方法還可以進一步包括用于對匯編到庫中的光譜組進行操作的方法。所述方法還可以進一步包括使用來自庫中的一個或多個光譜或直接從圖像中提取的光譜作為用于解混(unmixing)的端元。端元組可以代表視場中存在的組織類型的組。在一些實施例中，所述方法還可以進一步包括使用從圖像中提取的端元或從光譜庫中讀取的端元來。在其他實施例中，所述方法可以進一步包括通過使用端元將圖像中的每個像素表示為端元的線性組合或非線性組合來對圖像進行解混。所述方法還可以進一步包括使用計算設備從解混后的高光譜圖像生成彩色編碼圖像。彩色編碼圖像可以進一步描繪出圖像中不同區域之間的邊界。所述方法還可以進一步包括在與計算設備可操作性連接或投射到主體上的顯示器上顯示彩色編碼圖像。彩色編碼圖像可包含一個或多個像素，所述一個或多個像素的顏色由解混過程所確定的端元的組合決定。該組合可以代表每個端元的組織類型的相對豐度。

9、在一些實施例中，從高光譜圖像中獲取端元還進一步包括從光譜中獲取端元，所述光譜由至少一個傳感器像素捕獲。在一些實施例中，從高光譜圖像中獲取端元還進一步包括從高光譜圖像的至少一個組分中獲取端元。在一些實施例中，端元可以直接從高光譜圖像中獲取，或者端元可以從端元數據庫中檢索。在一些實施例中，端元在波長段中代表用于收集高光譜圖像的視場中的材料。在一些實施例中，端元代表材料的光譜特征。在一些實施例中，端元代表材料的光譜輪廓(spectral?profile)。在一些實施例中，端元代表材料的光譜標記。

10、所述方法還可以進一步包括對至少一個端元進行選擇。所述選擇可以包括隨機或偽隨機地選擇多個至少一個像素來代表至少一個端元組，所述至少一個像素中的每一個像素都代表像素簇，所述像素簇包括與其他端元相比，與至少一個端元的其中一個端元最接近的像素。所述選擇可以進一步包括為至少一個像素中的每一個像素都分配與其所屬的像素簇相對應的簇標識符。所述選擇可以進一步包括使用與其最接近的端元來對像素簇的每個像素進行標記。所述選擇可以進一步包括對隨機或偽隨機選擇的所有像素重復進行分配和標記。所述選擇可以進一步包括對像素簇的平均光譜進行計算。所述選擇可以進一步包括對像素簇的均值聚類變化(mean?cluster?change)進行計算。均值聚類變化可以是像素簇的當前平均光譜與像素簇的先前平均光譜之間的變化。所述選擇可以進一步包括在計算的均值聚類變化中找到最大均值聚類變化。所述選擇可以進一步包括重復處理、計算和尋找最大均值聚類變化，直到最大均值聚類變化等于或低于閾值。所述選擇還可以包括利用每個平均光譜作為端元，以進行解混或添加到光譜庫中。端元可以是參考候選光譜，并且端元在波長段中代表用于收集高光譜圖像的視場中的材料。

11、對高光譜圖像進行解混可以包括獲取由高光譜傳感器中的至少一個傳感器像素記錄的像素光譜，所述至少一個傳感器像素與高光譜圖像中的圖像像素對應。像素光譜可以代表至少一個傳感器像素的視場中的反射光譜、透射光譜或它們的組合。解混可以進一步包括將像素光譜與至少一個端元進行比較。然后找到代表像素光譜的至少一個端元的線性組合或非線性組合。該組合中的每個端元系數都可以代表在像素的視場內樣本中不同組織類型的相對比例。每個端元系數都因此可以與存在于組織樣本中或組織樣本上的組織樣本位置中的組織類型的比例相對應。高光譜圖像中的每個圖像像素都可以在顯示器上呈現圖像像素顏色，所述圖像像素顏色與存在于組織樣本中或組織樣本上的組織樣本位置的每個端元和/或組織類型的相對比例相對應。

12、所述方法可以進一步包括主成分分析。所述方法還可以進一步包括對高光譜圖像執行主成分分析；選擇前幾個主成分，這些主成分是具有與每個像素相同數量波長的光譜；使用這些成分作為端元；并使用這些成分進行解混。所述方法還可以進一步包括將這些成分添加到光譜庫中。

13、所述方法可以進一步包括獲取包括至少一種已知組織類型或疾病狀態的參考組織。所述方法可以進一步包括使用高光譜傳感器獲取參考組織上的點的參考像素光譜。所述方法可以進一步包括將與參考組織相對應的參考像素光譜或所述光譜的提取特征存儲在端元庫中。所述方法還可以進一步包括使用高光譜傳感器獲取體內或離體臨床組織上的點的臨床像素光譜。所述方法還可以進一步包括通過將臨床像素光譜與參考像素光譜進行比較來確定在臨床組織中存在的至少一種臨床組織類型。可以將至少一種臨床組織類型確定為與參考組織相對應的至少一種組織類型，所述參考組織具有與臨床像素光譜最相似的參考像素光譜。存在于像素的視場中的臨床組織的相對豐度，可通過代表像素的記錄光譜的端元組合中的系數來確定。生成高光譜圖像的方法可以實時執行，以便在五秒或更短時間內顯示和更新顯示器上的彩色編碼圖像。

14、所述方法還可以進一步包括獲取組織樣本；針對用戶選擇的組織樣本上的至少一個感興趣區域(roi)，使用高光譜傳感器獲取至少一個roi像素光譜；將與組織樣本相對應的roi像素光譜作為至少一個roi端元存儲在端元庫中，以及根據roi端元，使用計算設備對高光譜圖像進行解混。至少一個roi端元可以限定至少一個roi的組織類型。roi可以包括點、區域或其組合。

15、本發明的特征在于用于對組織進行成像的高光譜醫學成像系統。所述系統可以包括發射約400nm至約2500nm寬帶光的光源，所述光源配置為發射入射寬帶光，所述入射寬帶光作為反射光從組織上反射出去、作為透射光穿過組織、或兩者的組合。所述系統還可以進一步包括偏振器，所述偏振器配置為通過透鏡傳輸反射光。所述系統還可以進一步包括透鏡，所述透鏡配置為通過光譜儀將反射光、透射光或它們的組合聚焦并傳輸到高光譜傳感器。所述系統還可以進一步包括配置為檢測反射光、透射光或它們的組合的特性的高光譜傳感器，所述高光譜傳感器還進一步配置為捕獲原始高光譜圖像并將所述原始高光譜圖像傳輸到計算設備。所述系統還進一步包括可操作地連接到高光譜傳感器的計算設備。計算設備可以包括能夠執行計算機可讀指令的處理器和包括計算機可讀指令的存儲器部件。計算設備可以配置為處理原始高光譜圖像，以產生經處理的高光譜圖像，并將經處理的高光譜圖像傳送到存儲器部件。系統還進一步包括可操作地連接到計算設備的顯示器。計算設備還可以進一步配置為從存儲器部件讀取經處理的高光譜圖像，并在顯示器上顯示經處理的高光譜圖像。系統還可以進一步包括光譜儀，所述光譜儀與透射光學部件和高光譜傳感器光學上共線地設置，所述光譜儀包括開口和色散元件，所述開口配置為接收反射光、透射光或其組合，所述色散元件配置為將反射光、透射光或它們的組合的光譜擴散成多個光譜帶并聚焦到高光譜傳感器。

16、本發明的其中一個獨特且具有創造性的技術特征是能夠快速獲取組織的圖像，并對視場中存在的物質的特性進行估計。這在很多情況下都很有益，在術中(特別是在腫瘤切除術中)特別有益。在不希望將本發明局限于任何理論或機制的前提下，據信本發明的技術特征能夠有利地改善臨床治療效果，特別是對接受腫瘤切除術的患者而言。目前已知的現有參考文獻或作品都不具有本發明的獨特且具有創造性的技術特征。

17、例如，冷凍切片(即冷凍切片活檢或冷凍切片手術)是目前評估某些類型腫瘤邊緣的標準方法。這項技術包括將活檢組織快速冷凍，然后進行“快速染色程序”。傳統的組織染色方法可能需要24小時或更長的時間，相比之下，冷凍切片以準確性換取了快速性。在乳房腫瘤切除術中，冷凍切片仍然需要大約20分鐘。冰凍切片與60％至90％的靈敏度的值和65％至90％的特異度的值相關聯。然而，這因病理學家而異(因為冷凍切片在很大程度上取決于特定病理學家進行冷凍切片和判讀的技能)，也因所涉及的組織類型而異(例如，乳腺組織與肝臟組織對冷凍切片方案的反應不同)。相比之下，本發明可以在大約一分鐘內捕獲和處理圖像，并且在迄今為止的試驗中已經證明了90％或更高的靈敏度和特異度。

18、冷凍切片也有其局限性，因為它只能在術中分析相對較小部分的活檢組織。例如，如果獲取的是5x5x5立方英寸的樣本，為了快速得出結果，術中冷凍切片只能從活檢組織的每個面檢查出約0.5x0.5平方英寸的樣本，手術結束后再對整個5x5平方英寸的面進行分析。如果腫瘤不是在取樣區域捕獲的，則可能導致假陰性。這種假陰性很常見，導致患者在手術結束幾天后(當獲取“完整”染色結果時)被告知“遺留”了一些癌組織。這導致醫療費用增加，患者的發病率和死亡率上升。相比之下，本發明能夠生成活檢組織的每個面的整體高光譜圖像，從而大大降低了導致必須進行后續手術的假陽性幾率。用于術中手術切緣評估的其他現有技術包括臨床放射照相術和光學相干斷層掃描術。

19、臨床放射照相術的缺陷在于，它只能對包含已切除的腫瘤的組織樣本進行成像，而不能對體內組織腔隙進行成像。含有腫瘤的已切除的組織放置在屏蔽的x射線柜中。從不同視角獲取切除的組織的多個x射線圖像。x射線圖像用于觀察組織中存在的腫瘤的替代標記物。例如，某些類型的晚期乳腺腫瘤有分散在各處的微鈣化。如果微鈣化出現在切除組織的邊緣，則表明腫瘤并未全部切除。然而，這種方法不適用于許多腫瘤類型，因為它們不含微鈣化或其他可通過臨床放射照相術檢測到的替代標記物。此外，微鈣化等替代標記物只能粗略估計腫瘤的真實邊緣。第三，對于之前接受過化療和/或放療的患者，盡管腫瘤本身已經縮小，但微鈣化仍然存在，從而導致假陽性。第四，由于這種方法依賴于微鈣化的存在，因此僅限于對乳腺組織進行分析，即便如此，也僅限于對已切除的乳腺組織進行分析。相比之下，本發明可以通過對手術區域或切除腔隙進行成像，顯示特定區域無腫瘤，而無需從患者身上切除腫瘤。本發明還具有遠遠超出乳腺癌檢測的潛在效用，因為它不依賴于微鈣化的存在。

20、光學相干斷層掃術描(oct)是另一種用于評估切除的樣本的腫瘤邊緣的技術。它還存在一些不足之處。首先，它只能用于檢查切除樣本的切緣，因此不能用于檢查手術腔隙或切除腔隙，也不能在切除前檢查腫瘤的位置、大小和范圍。其次，oct基于顯示細胞結構的高分辨率圖像，并依賴于室內外科醫生的專業解讀，這可能容易因外科醫生和/或人為錯誤而產生差異。第三，雖然oct確實實現了高分辨率，但它是通過聚焦且非常狹窄的視場實現的，因此掃描過程耗時較長。例如，用oct掃描2英寸x2英寸的組織樣本通常需要12分鐘。第四，oct最適用于組織結構有序的組織，例如視網膜，它總是由相同的組織層組成。而將oct用于組織結構紊亂的組織則會帶來巨大的挑戰，因為圖像變得非常難以解讀，并且(相關人員)需要大量的專業培訓才能確定細胞形態的哪些變化與癌癥的每種類型和階段相關。因此，oct數據的解讀絕非易事，它涉及許多解讀問題。事實上，這些問題是眾所周知的，目前正在努力使用人工智能(ai)來解釋腫瘤邊緣的oct圖像，從而減輕這些缺陷。相比之下，本發明既可用于體內樣本，也可用于離體樣本，解讀所需的培訓時間要短得多，掃描時間更快，更適用于組織結構紊亂的組織，并且在解讀上沒有相同程度的困難，也沒有同等可能性的解讀人為錯誤。

21、因此，與現有方法相比，本發明能提供更準確的結果，實現速度更快，而且更直觀，解讀所需的培訓也更少。例如，本發明生成的圖像能夠讓手術團隊輕松識別腫瘤的大小、位置和范圍，或輕松觀察腫瘤的邊緣。此外，本發明是非接觸式的，不需要使用染料或其他化學制劑，可由手術團隊在護理點進行，并且幾乎不需要培訓就能解讀，因為它能生成彩色編碼圖像。

22、本文所描述的任何特征或特征組合都包含在本發明的范圍內，只要任何此類組合所包含的特征并不相互矛盾，這從上下文、本說明書以及本領域普通技術人員的知識中是顯而易見的。本發明的其他優點和方面在以下詳細說明書和實施例中是顯而易見的。