分類圖像特征的制作方法

專利名稱：分類圖像特征的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及分類組織樣本。
背景技術(shù)：
通過經(jīng)-驗(yàn)已經(jīng)開發(fā)了顯色染色#支術(shù)(Chromogenic staining technique ) 4吏 組織樣本內(nèi)的各種組成部分產(chǎn)生視覺對比度。染色技術(shù)和協(xié)議能夠在不同的 組織組成部分中產(chǎn)生染料的混合物，并且使用顯微鏡和其他的成像設(shè)備，人
化學(xué)分子的某部分和/或分子結(jié)構(gòu)排列的現(xiàn)代定標(biāo)染色方法能夠產(chǎn)生被染色 的組織，在所述組織中，兩個或更多個顯色或萸光著色在空間上明顯地重疊。 實(shí)際上，因?yàn)檫@多個著色事實(shí)上局限于樣本中的公共結(jié)構(gòu)內(nèi)，或者因?yàn)橛捎?制備方法所致，樣本內(nèi)包含一個著色的結(jié)構(gòu)與包含不同著色的第二結(jié)構(gòu)重疊， 能夠?qū)е滤^察到的重疊。在任一情況中，區(qū)分多個著色的存在和相對分布 以及它們所局限于的結(jié)構(gòu)很困難，特別是當(dāng)被采用的著色具有類似的光譜吸
收和/或發(fā)射特性時更是如此。
在其中時常發(fā)生組織樣本的染色和一企查的領(lǐng)域中，例如病理學(xué)和細(xì)胞學(xué)
中，被染色的樣本經(jīng)常被使用顯微鏡或其他成像設(shè)備執(zhí)行樣本的視覺檢查的 人類研究者根據(jù)一個或更多個標(biāo)準(zhǔn)進(jìn)行分類。例如，為了突出樣本中細(xì)胞間 在特定細(xì)胞器、結(jié)構(gòu)或分子標(biāo)靶上的差別， 一種樣本可能被利用多種染料染 色。包含不同類型細(xì)胞的樣本可以被用不同的染料處理，以便在視覺上區(qū)分 細(xì)胞類型的數(shù)量、空間分布和形態(tài)。然后，樣本可以被根據(jù)一個或更多個標(biāo) 準(zhǔn)分類，所述標(biāo)準(zhǔn)例如其中存在不同類型的化學(xué)或生物結(jié)構(gòu)。為了針對特定
樣本類別提供不同類型的分類信息，已開發(fā)了多種多樣的染色協(xié)議。
作為對有時單調(diào)乏味的組織樣本人工檢查和分類過程的替代方案，在使
樣本分類自動化的努力中可以采用機(jī)器視覺方法。

發(fā)明內(nèi)容
總的來說，在第一方面，本發(fā)明特征是一種方法，所述方法包括基于包 括一個或更多個圖像的圖像堆棧將樣本的不同部分分類到相應(yīng)類別。例如， 所述樣本可以是組織切片。
所述方法還可以包括把樣本的光譜圖像集合分解為解混和圖像集合，其 中，所述解混和圖像集合的每一個成員對應(yīng)于來自樣本中的不同成分的光語 貢獻(xiàn)，并且其中，用于分類的圖像堆棧中的圖像包括一個或更多個解混和圖 像。例如，用于分類的圖像堆棧中的圖像可以包括一些或全部的解混和圖像。
分類可以包括(i)在圖像堆棧內(nèi)定位采樣窗口 ，以便選擇圖像堆棧的
一部分用于分類，其中，被選擇的部分包括多個像素；(ii)把被選擇的部分 分類到幾個類別其中之一，其中，被選擇部分中的每一個像素均臨時分類為 具有和被選擇的部分相同的類別；(iii)平移采樣窗口以便選擇圖像堆棧的第 二部分用于分類，并把第二部分分類到幾個類別其中之一，其中，第二部分 中的每一個像素均被臨時分類為具有和第二部分相同的類別；(iv)針對圖像
堆棧的額外部分重復(fù)所述平移和分類，直到至少圖像堆棧中的一些像素已經(jīng) 被多次臨時分類為被采樣窗口選擇的不同部分的一部分為止；和(v),基于 其多次臨時分類，把已經(jīng)被多次臨時分類的至少一些像素中的每一個分類到 幾個類別其中之一。被采樣窗口選擇的不同部分可以包括相同數(shù)量的像素，
并且被采樣窗口選擇的所述不同部分中的至少一些可以彼此重疊。每一個像 素的臨時分類可以被表述為指示像素被臨時分類到每一個類別的次數(shù)的直方 圖，并且每一個像素的最終分類可以對應(yīng)于其最經(jīng)常被臨時分類到的類別。 至少一些像素被臨時分類的次數(shù)可以大于2并且不大于采樣窗口中的像素數(shù) 量。例如，至少一些像素被臨時分類的次數(shù)可以等于采樣窗口中的像素數(shù)量。 此外，圖像堆?？梢灾话ㄒ粋€圖像。
圖像堆?？梢园ǘ嘤谌齻€光譜圖像，并且分類可以包括基于光i普圖像 集合把圖像堆棧的不同區(qū)域分類到相應(yīng)類別，其中，每一個區(qū)域包括多個像 素，所以每一個分類既涉及光譜信息也涉及空間信息。
所述方法還可以包括基于樣本的光譜圖像集合產(chǎn)生復(fù)合圖像，其中，集 合中的兩個或更多個不同光i普圖像的空間強(qiáng)度被不同地加權(quán)和組合以產(chǎn)生復(fù) 合圖像，并且其中，圖像堆棧中的一個或更多個圖像包含所述復(fù)合圖像。例 如，光鐠圖像集合可以包括n個圖像，并且用于分類的圖像堆棧中的一個或
更多個圖像可以包括少于n個圖像。通過根據(jù)隨光i普波長單調(diào)地變化的函數(shù)
對集合中的兩個或更多個不同光譜圖像的空間強(qiáng)度進(jìn)行加權(quán)能夠產(chǎn)生復(fù)合圖 像。加權(quán)函數(shù)可以是隨著光譜波長線性變化的斜坡函數(shù)。另外，兩個或更多 個不同光譜圖像的空間強(qiáng)度可以被根據(jù)隨著光譜波長非單調(diào)變化的函數(shù)進(jìn)行 加權(quán)。例如，加權(quán)函數(shù)可以包含隨著光譜波長單調(diào)變化的第一部分和隨著光 譜波長單調(diào)變化的第二部分，其中，加權(quán)函數(shù)的第一和第二部分的斜率具有
相反的符號(例如，加權(quán)函數(shù)可以是高斯函數(shù))。可以選擇加權(quán)函數(shù)以增強(qiáng)從 兩個或更多個不同的光譜圖像貢獻(xiàn)給復(fù)合圖像的特征之間的對比度。此外， 圖像堆棧中的 一個或更多個圖像可以包括兩個或更多個復(fù)合圖像。
在任何一個方法中，可以使用神經(jīng)網(wǎng)絡(luò)用于分類。把樣本的不同區(qū)域分
類到不同類別可以包括標(biāo)識圖像堆棧的對應(yīng)于各個類別中的每一個的被選 擇區(qū)域，基于被選擇的區(qū)域訓(xùn)練神經(jīng)網(wǎng)絡(luò)識別這些類別，和，把訓(xùn)練過的神 經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像堆棧的額外區(qū)域。神經(jīng)網(wǎng)絡(luò)的輸入可以是特征向量，具有 一個或更多個基于計(jì)算至少一個空間灰度級依賴矩陣的元素。另外，或除此 以外還有，神經(jīng)網(wǎng)絡(luò)的輸入可以是特征向量，具有一個或更多個基于計(jì)算二 維傅立葉變換的元素。
在某些實(shí)施例中，圖像堆棧中的一個或更多個圖像可以包括一個或更多 個光譜圖像。例如，光譜圖像可以是根據(jù)不同的發(fā)射光譜指數(shù)的樣本發(fā)射的 圖像。另外，光譜圖像可以是根據(jù)不同的導(dǎo)致發(fā)射的樣本照射光譜指數(shù)的樣 本發(fā)射的圖像。此外，用于分類的輸入信息可以既包括光譜信息也包括空間 信息。樣本可以包括具有不同的吸收和發(fā)射光譜的成分。此外，樣本區(qū)域被
分類的類別數(shù)量可以等于樣本中不同的光譜貢獻(xiàn)者的數(shù)量。例如，不同的光 語共享者可以是化學(xué)染料或者熒光標(biāo)記。
在某些實(shí)施例中，圖像堆?？梢园≧GB圖像。
而且，在某些實(shí)施例中，還可以包括產(chǎn)生示出樣本的被分類區(qū)域的輸出 圖像。此外，任一方法還可以包括獲取圖像堆棧中的一個或更多個圖像。例 如，可以通過測量透射過樣本或從樣本反射的光來獲取圖像。也可以通過測 量來自樣本的熒光發(fā)射獲取圖像。
總的來說，在另一方面，本發(fā)明的特征是一種方法，所述方法包括(i) 在圖像堆棧內(nèi)定位采樣窗口，以便選擇圖像堆棧的一部分用于分類，其中， 圖像堆棧包含一個或更多個圖像，并且被選擇的部分包含多個像素；(ii)把
被選擇的部分分類到幾個類別其中之一，其中，被選擇部分中的每一個像素 均被臨時分類為具有和被選擇部分相同的類別；(iii)平移采樣窗口以便選擇 圖像堆棧的第二部分用于分類，并把第二部分分類到幾個類別其中之一，其 中，第二部分中的每一個像素均被臨時分類為具有和第二部分相同的類別； (iv)針對圖像堆棧的額外部分重復(fù)所述平移和分類，直到圖像堆棧中的至 少一些像素已經(jīng)被多次臨時分類為被采樣窗口選擇的不同部分的一部分為止；和(v)基于其多次臨時分類，把已經(jīng)被多次臨時分類的至少一些像素中的每一個分類到幾個類別其中之一。所述方法的實(shí)施例可以包括前述方面的任何一個或者適于本方法的其他 方法的特征。總的來說，在另一個方面，本發(fā)明特征是設(shè)備，所述設(shè)備包括存儲導(dǎo)致 處理器執(zhí)行前述方法中的任何一個的程序的計(jì)算機(jī)可讀介質(zhì)?？偟膩碚f，在另一個方面，本發(fā)明特征是設(shè)備，所述設(shè)備包括用于獲 取樣本的一個或更多個圖像的裝置；和，電子處理器，用于基于所獲取的圖 像分析圖像堆棧，并被配置成基于如前述方法中的任何一個中給出的圖像堆 棧把樣本的不同部分分類到相應(yīng)類別。用于獲取樣本的一個或更多個圖像的裝置可以包括用于從樣本獲取光譜 分辨發(fā)射圖像的裝置。用于獲取樣本的一個或更多個圖像的裝置可以包括用總的來說，在另一方面，本發(fā)明特征是設(shè)備，所述設(shè)備包括用于獲取 樣本的一個或更多個光語圖像的光學(xué)系統(tǒng)；和，電子處理器，用于基于所獲 取的光語圖像分析圖像堆棧，并被配置成基于如前述方法中的任何一個中給 出的圖像堆棧把樣本的不同部分分類到相應(yīng)類別。除非另外定義，否則這里使用的所有技術(shù)和科學(xué)術(shù)語具有和本發(fā)明所屬 技術(shù)領(lǐng)域的普通技術(shù)人員 一般理解的相同的含義。在這里通過引用所包含的 文檔和本說明書沖突的情況下，本說明書為準(zhǔn)。在下面的描述和附圖中給出了本發(fā)明的 一 個或更多個實(shí)施例的細(xì)節(jié)。從 描述、附圖以及權(quán)利要求，本發(fā)明的其他特征、目的和優(yōu)點(diǎn)將會清晰。


圖1是用于獲得樣本光譜圖像并對樣本分類的系統(tǒng)的示意圖。 圖2是示出在分類樣本時涉及的步驟的流程圖。圖3是示出在訓(xùn)練執(zhí)行樣本分類的神經(jīng)網(wǎng)絡(luò)時涉及的步驟的流程圖。 圖4是示出針對特定類別所選擇的感興趣的區(qū)域的示意圖。圖5是示出把樣本圖像在頻率空間的空間傅立葉變換分割為更小區(qū)域的集合的示意圖。圖6是示出在優(yōu)化訓(xùn)練過的神經(jīng)網(wǎng)絡(luò)時涉及的步驟的流程圖。圖7是示出在利用訓(xùn)練過的神經(jīng)網(wǎng)絡(luò)分類樣本時涉及的步驟的流程圖。圖8是示出為分類所選擇的樣本圖像區(qū)域的示意圖。圖9示出了空間灰度級依賴矩陣的計(jì)算。圖10A-101示出了這里所公開的分類技術(shù)被應(yīng)用于真實(shí)樣本數(shù)據(jù)的例子。圖11是神經(jīng)網(wǎng)絡(luò)的一部分的示意圖。相同的參考符號在各個圖中指示相同的元素。
具體實(shí)施方式
概述在這里公開的方法和系統(tǒng)可以被用來根據(jù)樣本的圖像上出現(xiàn)的光譜和/ 或結(jié)構(gòu)特征對多種多樣的生物或其他樣本進(jìn)行分類。分類方法至少包括一些 被使用機(jī)器視覺(machine vision)算法和技術(shù)以自動方式執(zhí)行的步驟。樣本 的圖像集合被獲得，并且可以在被提交給自動分類器之前被變換。圖像集合 的變換可以包括數(shù)學(xué)變換，例如從強(qiáng)度到光密度的轉(zhuǎn)換；光譜解混和操作， 復(fù)合圖像的計(jì)算；以及形成可以只包括可用樣本圖像的子集的分類數(shù)據(jù)集合。 然后，分類數(shù)據(jù)集合被提交給基于機(jī)器的分類器，它可以是神經(jīng)網(wǎng)絡(luò)或者另 外類型的分類器。圖像像素可以被多次分類，并且基于每一個像素的多次分 類的分布來執(zhí)行最終分類?？梢詾橄到y(tǒng)操作員顯示示出樣本的被不同地分類 的區(qū)域的圖像。分類信息也可以被用作輸入來指引例如激光捕獲顯微解剖的 自動過程，或者其他的圖像引導(dǎo)的過程。分類方法是數(shù)學(xué)的，所以在范圍上是普遍的，并且只要期望分類就可以 應(yīng)用，與用來獲取圖像的設(shè)備或方法或者樣本的性質(zhì)無關(guān)。分類方法可以被 用來分類多種多樣的樣本，包括利用 一個或更多個吸收染色被染色的樣本和
包括熒光標(biāo)記的樣本。熒光標(biāo)記可以包括從外部來源被引入樣本的化學(xué)標(biāo)記； 另外，標(biāo)記可以是樣本固有的(例如內(nèi)生自發(fā)體萸光或者例如綠色熒光蛋白 質(zhì)和紅色熒光蛋白質(zhì)的熒光蛋白質(zhì))。分類方法也可以被用來分類包含各種發(fā) 光物種和結(jié)構(gòu)的樣本?？梢栽诳梢姽?、紅外或紫外范圍獲得圖像。分類方法 不局限于用于樣本吸收或樣本發(fā)射的圖像，而是也可以用來分類采用多種多樣的測量或?qū)Ρ葯C(jī)制可視化樣本的圖像，包括但不限于偏振光、樣本雙折 射、彈性或非彈性光散射，或者熒光壽命。分類方法也可以被用來對利用例 如x射線透射或散射、磁共振、中子散射或正電子發(fā)射的非光學(xué)手段成像的 樣本進(jìn)行分類。簡而言之，分類方法可以被用來在期望圖像分類的任何背景 中對樣本區(qū)域進(jìn)行分類。而且，這些圖像可以是除了顯微圖像以外的圖像。 例如，這些圖像可以是在遙感應(yīng)用中捕獲的宏觀圖像(macroscopic image )。 如上所述，可以在光學(xué)上或通過其他手段檢測這些圖像。如這里所使用的，術(shù)語"分類(classifying)"指標(biāo)識樣本圖像的共享公共 特性集合的不同區(qū)域，其中，該過程中至少一些步驟被電子部件以自動方式 執(zhí)行。公共特性集合可以包括例如信號強(qiáng)度、形狀、光譜和構(gòu)造特征。標(biāo)識 樣本圖像中的這些區(qū)域?qū)嶋H上標(biāo)識了樣本中的對應(yīng)區(qū)域共享公共特征集合， 并且更一般地，基于其對這些特征的表達(dá)，該樣本區(qū)域是特定已知狀態(tài)或類 型。分類過程中的至少一些步驟被電子部件以自動方式執(zhí)行。例如，在很多 實(shí)施例中，包括圖像的光語解混和、產(chǎn)生復(fù)合圖像和把圖像區(qū)域分類到一個 或更多個類別的步驟由電子部件執(zhí)行。但是，在其他步驟中可以發(fā)生某些操 作員干預(yù)。具體來說，在一些實(shí)施例中，例如選擇對應(yīng)于各個類別的用于訓(xùn) 練基于機(jī)器的分類器的參考區(qū)域的步驟可以由系統(tǒng)操作員人工執(zhí)行。在某些實(shí)施例中，樣本的光譜圖像被"解混和，，為每一個均對應(yīng)于樣本的 相應(yīng)組分的光譜指數(shù)的圖像。然后這些解混和圖像可以由分類器處理。使用 解混和圖像作為分類器的輸入可以提高分類的效率和/或準(zhǔn)確性。在某些實(shí)施例中，在分類之前，可以從光語圖像產(chǎn)生一個或更多個復(fù)合 圖像。如稍后更詳細(xì)地說明的那樣，復(fù)合圖像一般包括"打平的"光譜信息； 即，復(fù)合圖像包含被編碼為樣本的空間強(qiáng)度圖像中的變化的光譜信息。使用 復(fù)合圖像作為分類器的輸入可以提高分類的效率和/或準(zhǔn)確性。在某些實(shí)施例中，分類可能涉及使用采樣窗口來首先分類窗口內(nèi)的像素， 跟著是隨后平移該采樣窗口以便繼續(xù)進(jìn)行分類。平移比窗口的尺寸小，所以
像素被多次分類。每一個像素的最終分類則基于初始分類的統(tǒng)計(jì)分布。該技 術(shù)使得使用足夠大的采樣窗口能夠識別指示特定類別的空間特征，而由于較 小尺度的平移，仍舊提供高分辨率?？偟膩碚f，這里所公開的分類方法能夠被用來對光譜圖像集合中的特征進(jìn)行分類，所述光譜圖像集合包括樣本的彩色(RGB)圖像；或者，所述方 法可被用于其中樣本圖像不包含光譜信息(即灰度階或單色圖像)的樣本分 類。用于獲取圖像和后續(xù)分類的設(shè)備圖1是示出用于獲得樣本的多個光譜分辨圖像并用于分類樣本的系統(tǒng) IOO的示意圖。光源102為調(diào)光光學(xué)裝置104提供光122。光122可以是非相 干光，例如從燈絲光源產(chǎn)生的光；或者，光122可以是相關(guān)光，例如由激光 器產(chǎn)生的光。光122可以是連續(xù)波(CW)或者時間門控(time-gated)(即脈 沖)光。此外，可以在被選擇的電磁頻譜部分中提供光122。例如，光122 可以具有落入紫外、可見光、紅外或其他頻譜區(qū)域內(nèi)的中心波長和/或波長分 布。調(diào)光光學(xué)裝置(light conditioning叩tics ) 104可以被配置成以多種方式變 換光122。例如，調(diào)光光學(xué)裝置104可以在光譜上過濾光122,以便提供在被 選擇的頻譜波長區(qū)域中的輸出光。另外，或者此外還有，調(diào)光光學(xué)裝置可以 調(diào)整光122的空間分布和光122的時間性質(zhì)。利用調(diào)光光學(xué)裝置104的元件 的動作，從光122產(chǎn)生了入射光124。入射光124被引導(dǎo)入射在固定于照明載物臺(illumination stage ) 106上 的樣本108上。載物臺106可以提供緊固樣本108的裝置，例如裝配夾或者 其他的夾持設(shè)備。另外，載物臺106可以包括可移動導(dǎo)軌或者引帶(belt), 其上安裝了多個樣本108。驅(qū)動器機(jī)制可以被配置成移動導(dǎo)軌以便一次一個 地連續(xù)地平移所述多個樣本通過載物臺106上的照明區(qū)域，入射光124打在 所述照明區(qū)域上。載物臺106還可以包括用于相對于照明載物臺106的固定 位置平移樣本的平移軸和機(jī)制。平移機(jī)制可以被人工操作(例如螺纟丈桿)，或 者，可以通過電氣致動自動地移動(例如馬達(dá)驅(qū)動器、壓電致動器)。響應(yīng)于入射光124, /人樣本108出現(xiàn)了被發(fā)射光126。可以以許多方式產(chǎn) 生被發(fā)射光126。例如，在一些實(shí)施例中，被發(fā)射光126對應(yīng)于透射過樣本108的入射光124的一部分。在其他的實(shí)施例中，被發(fā)射光126對應(yīng)于從樣 本108反射的入射光的124的一部分。在更進(jìn)一步的實(shí)施例中，入射光124 可以被樣本108吸收，并且^皮發(fā)射光126對應(yīng)于來自樣本108的響應(yīng)于入射 光124的熒光發(fā)射。在更進(jìn)一步的實(shí)施例中，樣本108可以發(fā)光，并且即使 不存在入射光124也可以產(chǎn)生被發(fā)射光126。在一些實(shí)施例中，；故發(fā)射光126 可以包括通過前述機(jī)制中的兩種或更多種產(chǎn)生的光。在很多實(shí)施例中，樣本108是生物樣本，例如組織切片(例如用于病理 學(xué)的樣本，或者細(xì)胞學(xué)研究中的細(xì)胞懸液或涂片)，或者組織培養(yǎng)中的活細(xì)胞 或者固定細(xì)胞。在一些實(shí)施例中，樣本108可以是動物(例如老鼠)，單個細(xì) 菌或者其他的微生物、細(xì)菌或者其他菌落、胚胎、卵母細(xì)胞、包括種籽或子 實(shí)的植物，或者，樣本108可以是非生物實(shí)體。集光光學(xué)裝置(Light collecting optics) 110被定位成接收來自樣本108 的被發(fā)射光126。集光光學(xué)裝置110可以被配置成例如在光126發(fā)散時使被 發(fā)射光126準(zhǔn)直。集光光學(xué)裝置110也可以被配置成在光譜上過濾被發(fā)射光 126。例如> 為了將通過上面討論的機(jī)制其中之一出現(xiàn)的一部分被發(fā)射光126 與通過其他過程出現(xiàn)的光隔離，過濾操作是有用的。此外，集光光學(xué)裝置110 可以被配置成針對實(shí)施例中的具體目的修改;波發(fā)射光126的空間和/或時間屬 性。集光光學(xué)裝置110把被發(fā)射光126變換為輸出光128,輸出光128入射 在檢測器112上。檢測器112包括一個或更多個元件，例如被配置成檢測輸出光128的 CCD傳感器。在實(shí)施例中，檢測器112可以被配置成測量光128的空間和/ 或時間和/或光語屬性。檢測器112產(chǎn)生對應(yīng)于輸出光128的電信號，并通過 電氣通信線路130傳遞到電子控制系統(tǒng)114。電子控制系統(tǒng)114包括處理器116、顯示設(shè)備118,以及用戶接口 120。 除了接收對應(yīng)于檢測器112檢測到的輸出光128的信號以外，控制系統(tǒng)114 還發(fā)送電氣信號到檢測器112來調(diào)整檢測器112的各種屬性。例如，如果檢 測器112包括CCD傳感器，則控制系統(tǒng)H4可以發(fā)送電氣信號到檢測器112 來控制該CCD傳感器的曝光時間、活動區(qū)域、增益設(shè)置以及其他性質(zhì)。電子控制系統(tǒng)114還通過電氣通信線路132、 134、 136和138分別與光 源102、調(diào)光光學(xué)裝置104、照明載物臺106和集光光學(xué)裝置110進(jìn)行通信。 控制系統(tǒng)114向系統(tǒng)100的這些元件中的每一個提供電氣信號來調(diào)整這些元
件各種屬性。例如，提供給光源102的電氣信號可以被用來調(diào)整光122的強(qiáng) 度、波長、重復(fù)率或其他屬性。提供給調(diào)光光學(xué)裝置104和集光光學(xué)裝置110 的信號可以包括例如用于配置調(diào)整光的空間性質(zhì)的設(shè)備(例如空間光調(diào)制器) 的信號和用于配置光譜過濾設(shè)備的信號。例如，提供給照明載物臺106的信 號可供用于把樣本108相對于載物臺106的定位和/或用于移動樣本進(jìn)入載物 臺106上的照明位置?？刂葡到y(tǒng)114包括用戶接口 120，用于顯示系統(tǒng)屬性和參數(shù)，并用于顯 示捕獲的樣本108的圖像。提供了用戶接口 120以便輔助操作員與系統(tǒng)100 進(jìn)行交互作用并控制系統(tǒng)100。處理器116包括用于存儲使用檢測器]12捕獲 的圖像數(shù)據(jù)的存儲設(shè)備，并且也包括具體實(shí)施給處理器116的指令的計(jì)算機(jī) 軟件，所述計(jì)算機(jī)軟件導(dǎo)致處理器116執(zhí)行例如上面所討論的那些控制功能。 此外，軟件指令導(dǎo)致處理器116在數(shù)學(xué)上操縱被檢測器112捕獲的圖像，并 根據(jù)原始圖像和被操縱過的圖像中的任何一個或者兩者來執(zhí)行分類樣本108 的步驟。隨后更詳細(xì)地討論分類步驟。在很多實(shí)施例中，系統(tǒng)IOO被配置成獲得樣本108的多個光語圖像。所 述多個光譜圖像可以對應(yīng)于以各種被選擇的光波長照明樣本108,并檢測透 射過樣本108或被樣本108反射的光的強(qiáng)度。另外，所述多個光譜圖像可以 對應(yīng)于以具有類似的光譜屬性的光照明樣本108并收集樣本108的多個圖像， 每一個圖像均對應(yīng)于被發(fā)射光126的不同波長。調(diào)光光學(xué)裝置104和集光光 學(xué)裝置110中的光語過濾元件一般用來獲取光譜分辨數(shù)據(jù)。在一些實(shí)施例中，可以依次收集樣本108的圖像，在接連的被捕獲圖像 之間調(diào)整光學(xué)部件(例如濾光器)的配置。在其他實(shí)施例中，可以使用被配 置成檢測多個樣本視圖的檢測系統(tǒng)同時捕獲多個圖像。例如，檢測系統(tǒng)可以 凈皮配置成把對應(yīng)于不同的照明或發(fā)射波長的不同樣本視圖投射到例如CCD 照相機(jī)的4全測器上，所述多個視圖可以被同時捕獲。在一些實(shí)施例中，調(diào)光光學(xué)裝置104包括可調(diào)光譜過濾器元件，例如濾 色輪或者液晶光譜過濾器。過濾器元件可以被配置成使用不同光波長帶提供 樣本108的照明。光源102可以提供具有較寬的光譜波長成分分布的光122。 這個較寬波長分布的被選擇區(qū)域通過調(diào)光光學(xué)裝置104中的過濾器元件允許 作為入射光124通過并且直接入射在樣本108上。透射過樣本108的光126 的圖像被檢測器112記錄。隨后，調(diào)光光學(xué)裝置104中的過濾器通帶波長被
改變，以便提供具有不同波長的入射光124，并且透射過樣本108的光126 的圖像(并對應(yīng)于入射光124的新波長)被記錄。通過采用具有多個產(chǎn)生不 同波長的光的源元件的光源102,并交替地打開和關(guān)閉不同的源器件以提供 具有不同波長的入射光124,也可以記錄類似的光譜分辨圖^^集合。如前面所討論的那樣，來自樣本108的^皮發(fā)射光126也可以對應(yīng)于從樣 本108反射的入射光124。此外，如果樣本包括熒光化學(xué)結(jié)構(gòu)，則被發(fā)射光 126可以對應(yīng)于來自樣本108的熒光發(fā)射。對于某些樣本，被發(fā)射光126可 以包括來自多個來源的貢獻(xiàn)(即透射和熒光)，并且調(diào)光光學(xué)裝置110中的光 譜過濾元件可以被用來分離這些信號貢獻(xiàn)(contribution )?？偟膩碚f，調(diào)光光學(xué)裝置104和集光光學(xué)裝置110都包括可配置的光譜 過濾器元件。因此，在樣本108的激發(fā)側(cè)(例如通過調(diào)光光學(xué)裝置104)上 或者在樣本108的發(fā)射側(cè)(例如通過集光光學(xué)裝置110)上，或者在兩側(cè)上， 都可以提供光譜分辨。在任何一種情況下，收集樣本108的多個光譜分辨圖 像的結(jié)果是"圖像堆棧(image stack )",其中，堆棧中的每一個圖像均是樣本 的對應(yīng)于特定波長的二維圖像。在概念上，該圖像集合可以被可視化為形成 三維矩陣，其中，矩陣維度中的兩個是每一個圖像的空間長度和寬度，并且 第三個矩陣維度是光謙波長(發(fā)射或激發(fā))，圖像對應(yīng)于該光譜波長。由于這 個原因，該光譜分辨圖像集合可以被稱為圖像的"光譜立方(spectral cube )"。 如這里所使用的那樣，在這樣的圖像集合(或者圖像堆棧或光譜立方)中的 像素指示每一個圖像的公共空間位置。因此，在圖像集合中的像素包括和處 于對應(yīng)于該像素的空間位置的每一個圖像相關(guān)聯(lián)的值。根據(jù)手中樣本的要求，可以采用技術(shù)上已知的其他獲取光譜圖像的配置。雖然上面描述的每一個光語圖像一般指示特定的波長或者波長范圍(例 如光語帶)，更一般地，每一個光譜圖像可以對應(yīng)于光譜指數(shù)，所述光譜指數(shù) 可以包括一個或更多個波長帶，或者某個復(fù)雜的光譜分布。例如，通過使用 光譜梳狀過濾器可以產(chǎn)生這樣的圖像。 一般地，圖像立方將包括幾個光譜圖 像，例如10個或更多。但是，在某些實(shí)施例中，圖像立方可以包括更少的圖 像，例如，只有兩個或三個光語圖像。 一個這樣的例子是紅-綠-藍(lán) (red-green-blue, RGB)彩色圖像，其中，每一個像素均包括和紅色、綠色 和藍(lán)色中的每一個的強(qiáng)度相關(guān)聯(lián)的值。這些信息可以被作為單個彩色圖像而 非作為單獨(dú)圖像的集合顯示；但是，信息內(nèi)容和圖像集合中的相同，因此，
我們都使用表述"光譜圖像"來指示這兩個情況。在某些實(shí)施例中，用于分類的圖像也可以包括偽彩色圖像，以及單色或 灰度階圖像。獲取一個或更多個圖像以后，樣本108被系統(tǒng)100根據(jù)各個圖像的形狀、強(qiáng)度、光譜和/或構(gòu)造特征分類。實(shí)踐中，在某些實(shí)施例中，首先針對多個樣 本記錄圖像，并且為方便計(jì)，樣本的分類被推遲到較晚的時間。為了準(zhǔn)確地分類立方所對應(yīng)的樣本，并非需要分析光語立方的所有圖像。 在某些實(shí)施例中，通過只檢查光譜立方圖像的子集實(shí)現(xiàn)了準(zhǔn)確性足夠高的分 類。此外，在某些實(shí)施例中，在分析之前，光鐠分辨圖像可以在光譜上被解 混和(即分解為對應(yīng)于光語本征態(tài)集合的圖像集合)。某些實(shí)施例包括額外的 步驟，其中，通過從光譜立方和/或光譜解混和圖像的集合選擇的多個圖像的 數(shù)學(xué)組合，產(chǎn)生了一個或更多個復(fù)合圖像。除了光譜立方圖像和光譜解混和 圖像以外還有，或者排除了光譜立方圖像和光語解混和圖像，樣本的分類可 以被基于復(fù)合圖像執(zhí)行。光譜解混和圖2是示出在分類樣本時涉及的步驟的流程圖200。步驟202包括獲得 如上面所討論的樣本的一個或更多個圖像的集合(例如光鐠立方)。步驟204 是可選的，它包括在光譜上解混和光譜立方中的一些或全部圖像以便產(chǎn)生解 混和的圖像集合(即使"解混和光語立方")。光譜解混和是一種定量地分離圖 像中從光語上不同的來源產(chǎn)生的貢獻(xiàn)的技術(shù)。例如，樣本可以包含三種不同 類型的結(jié)構(gòu)，每一種均用不同染料標(biāo)記。這三種不同的染料每一個均可以具 有不同的吸收光譜。 一般，在染料被使用之前，染料的各個吸收光譜是已知 的，或者它們可以被測量。在最一般的情況下，照明下的樣品的圖像將包含 來自三種染料中每一種的光譜貢獻(xiàn)。例如，在包含多個不同的熒光標(biāo)記的樣 本中出現(xiàn)類似的狀況，所述多個熒光標(biāo)記中的每一個均對被測量的熒光發(fā)射 有貢南史。光譜解混和把一個或更多個包括來自多個光譜來源的貢獻(xiàn)的圖像分解為 成分圖像("解混和圖像，，)的集合，所述成分圖像對應(yīng)于來自樣本內(nèi)的每一 個光譜實(shí)體的貢獻(xiàn)。因此，如果樣本包括三種不同的染料，每一個均特定于 具體的結(jié)構(gòu)實(shí)體，則樣本的圖像可以被分離為三個解混和圖像，每一個解混
和圖像反映出主要僅來自這些染料其中之一 的貢獻(xiàn)。解混和過程本質(zhì)上對應(yīng)于把圖像分解為光譜本征態(tài)集合。在很多實(shí)施例 中，如上面所討論的那樣，本征態(tài)事先已知。在其他的實(shí)施例中，有時候可 以使用例如主要成分分析的技術(shù)確定本征態(tài)。在任何一種情況下， 一旦本征 態(tài)已經(jīng)被標(biāo)識，則通過計(jì)算對應(yīng)于每一個本征態(tài)在整個圖像中的相對權(quán)重的 值的集合，通常作為系數(shù)矩陣，可以把圖像分解。然后，可以分離出各本征 態(tài)中每一個的貢獻(xiàn)以產(chǎn)生解混和圖像集合。作為一個例子，通過以不同的激發(fā)波長4照明樣本，針對該樣本可以測 量一系列具有x和y坐標(biāo)的二維圖像。如上所述，這些二維圖像可以被組合 形成三維圖像立方I(X,y,k),其中，圖像立方的前兩個指標(biāo)代表坐標(biāo)方向，并 且第三個指標(biāo)是對應(yīng)于照明光波長的光譜指標(biāo)。為了簡潔的目的，假設(shè)樣本 的每一個圖像均包含來自兩個不同的光譜來源F(^和GT^U的光譜貢獻(xiàn)，則三 維圖像立方I(x，y,k)中的值可以由W力=<x'_y)柳+他W .卿 (1 )給出，其中，^用來表示給定波長(或者波長帶)。函數(shù)a(3c，j;)和^x，^描述來 自樣本中兩個不同的光語來源的光譜貢南史的空間豐度(spatial abundance )。根據(jù)等式(1),在三維圖像立方中任意位置(即在任意二維像素坐標(biāo)， 以及在特定照明波長)的凈信號是兩個貢獻(xiàn)之和，由每一個的相對豐度加權(quán)。 這可以被表述為W = a W +6 CW (2)函數(shù)F和G可以^C稱作系統(tǒng)的"光語本征態(tài)"，因?yàn)樗鼈儗?yīng)于樣本中光 語來源的純凈光語，所述光語被以不同的比例組合以產(chǎn)生測量的樣本光譜圖 像。因此，樣本光語是對應(yīng)于來自兩個光譜來源的單獨(dú)貢獻(xiàn)的加權(quán)疊加。如果光譜iT4J和G(2J已知(或者可以被推導(dǎo))，，支i殳光譜/包括至少兩 個元素(即假設(shè)人們具有至少兩個波長A的數(shù)據(jù))，則等式(2)可以被逆過 來求解"和6。等式(2)可以被以矩陣形式重寫為/=￡^,所以J《V (3)其中，A是具有分量a和6的列向量，并且E是其列為光譜本征態(tài)的矩陣， 即[FG]。使用等式(3)，可以使用測量的樣本光譜圖像計(jì)算在特定像素位置純粹 來自來源F和純粹來自來源G的對圖像的貢獻(xiàn)?？梢葬槍Ρ槐贿x擇圖像上的
每一個像素重復(fù)該過程(即遍及/中值x和y的范圍)以產(chǎn)生只包括來自來 源F的貢獻(xiàn)的樣本圖像和只包括來自來源G的貢獻(xiàn)的另 一個樣本圖像。在上面的討論中，光譜來源的數(shù)量是二 (即F和G)。但是，總的來說， 解混和技術(shù)不限于任何特定的來源數(shù)量。例如，樣本一4殳可以包含w個不同 的光譜來源。如果在該波長收集數(shù)據(jù)的波長數(shù)量是"，即則矩陣五 是"x附矩陣而非如上面討論中的"x2矩陣。然后，可以以和上面描述相同的 方式采用解混和算法來隔離圖像中每一個像素位置處來自m個光譜本征態(tài)中 的每一個的具體貢獻(xiàn)。可能限制該算法在來自不同光語本征態(tài)的貢獻(xiàn)之間進(jìn)行區(qū)分的能力的一個因素是本征態(tài)之間光譜差別的程度。兩個光譜，例如光譜本征態(tài)/;和/2之間的相關(guān)性，可以由光語角度0描述，其中，<formula>formula see original document page 19</formula>兩個成員的(9較小的光譜集合不容易被分離到其成分。在物理上很容易 理解這種情況的原因如果兩個光譜僅僅略微不同，則更難確定每一個的相 對豐度。可以使用很多技術(shù)來測量或估計(jì)光譜來源F和G (以及其他光譜來源， 其中樣本包括多于兩個)的純凈光語?？偟膩碚f，可以使用任何產(chǎn)生足夠準(zhǔn) 確的光語本征態(tài)的方法。某些樣本可能包含例如染料、熒光標(biāo)記或其他化學(xué) 分子部分的光譜來源，對于所述光譜來源，在公開的參考資料中存在已知的 光譜可用。另外，有可能使用一個或更多個測量系統(tǒng)直接測量來源成分的光 譜。在某些樣本中，可以已知樣本的特定區(qū)域包括唯——個特定光譜來源， 并且該來源的光譜可以被從只在樣本的被標(biāo)識區(qū)域上進(jìn)行的測量中才是取。各種數(shù)據(jù)分析技術(shù)可被用于為光譜解混和確定成分光鐠，例如基本成分 分析(principal component analysis ， PCA ),它標(biāo)識來自圖 <象立方的大多凄t正 交光語本征向量，并產(chǎn)生示出遍及圖像每一個本征向量的權(quán)重的樂譜圖像 (score image )。這可以被結(jié)合其他的數(shù)學(xué)處理完成，并且存在其他的用于標(biāo) 識低維數(shù)光語向量的已知技術(shù)，例如投影追蹤， 一種在L. Jimenez和D. Landgrebe, "Hyperspectral Data Analysis and Feature Reduction Via Projection Pursuit", IEEE Transactions on Geoscience and Remote Sensing, Vol. 37, No. 6, pp. 2653-2667, November 1999中描述的技術(shù)，其整個內(nèi)容通過引用被包含于 此。其他的技術(shù)包括例如獨(dú)立成分分4斤(independent component analysis ， ICA )和端成員^r測算法(end-member detection algorithm )。這些技術(shù)一般不很適于生命科學(xué)中的應(yīng)用。例如，某些技術(shù)被針對包含 具有密集光譜形狀和嚴(yán)格定義的窄尖峰的光譜的光譜成像數(shù)據(jù)集合優(yōu)化。在 某些技術(shù)中，與用于分析的各個光譜特征和尖峰相比，光譜范圍較大。該尖 峰的存在，或者尖峰的比例，可以被用來分類要被分離的"端成員"。不幸的 是，生物樣本中的成分一般不具有這樣嚴(yán)格定義的窄尖峰。這些技術(shù)中的一些產(chǎn)生涉及在原始圖像立方內(nèi)某處的純凈形式中存在的 光譜的圖像。在生命科學(xué)中的很多情況下，在圖像立方中存在的信號光譜是 成分的混和物。如果感興趣的成分不在原始圖像立方中某處的純凈形式中， 則這些技術(shù)將不可能產(chǎn)生準(zhǔn)確代表感興趣的成分的豐度的圖像。存在有時候叫做"凸包(convex-hull)，，算法的某些技術(shù)，即使在圖像中 的純凈形式中不存在真正的端成員，它們也估計(jì)真正的端成員是什么樣的； 但是，有效性依賴于圖像立方中的信號光譜有多接近端成員。可被用來提取光i普本征態(tài)(或其表示)而無需所有本征態(tài)的先驗(yàn)知識的 一個技術(shù)涉及考慮給定像素的信號光譜/(2J,并從其減去最大量的第一光譜 來源/^g而留下在所有光譜頻道中正定(positive definite )的剩余信號。即， 人們可以把每一個像素的所謂的"剩余光譜"定義為= W -"柳 (5) 然后在每一個光譜頻道中選擇符合t7/^具有非負(fù)值的參數(shù)a的最大值。然后，作為結(jié)果的光語仏f^)被用作信號光語，排除了由于第一光譜來源F 所致的貢獻(xiàn)。人們也可以不基于上面列出的嚴(yán)格的非負(fù)標(biāo)準(zhǔn)而基于某個相關(guān) 的包含較小的負(fù)分布的標(biāo)準(zhǔn)確定參數(shù)&以反映對諸如測量系統(tǒng)中的散粒噪 聲或檢測器噪聲的考慮。用于去除最大量的光譜來源F的優(yōu)化標(biāo)準(zhǔn)的額外例 子包括使用不同的誤差函數(shù)。另外，人們也可以尋求提取由于第二光語來源G所致的對被測光譜的貢 獻(xiàn)。和等式(5)類似，每一個像素的剩余光譜可以被計(jì)算為WW =W - 6 W (6) 其中，人們在每一個光譜頻道中選擇符合"(2J具有非負(fù)值的參數(shù)6的最大值。剩余技術(shù)可以被擴(kuò)展到樣本的一個或更多個額外成分的光譜已知并且人 情況。在這些情況下，基于額外的光i普并符 合在每一個光譜頻道中正剩余，剩余光譜被寫成從被觀測的信號減去每一個 這種成分的貢獻(xiàn)。在Richard Levenson等的名為""SPECTRAL IMAGING OF BIOLOGICAL SAMPLES" PCT專利申請WO2005/040769中描述了額外的光譜解混和才支 術(shù)，其內(nèi)容通過引用被包含于此。為了這里公開的光譜解混和技術(shù)有效地分離樣本圖像中由于不同的光語 本征態(tài)所致的貢獻(xiàn)，等式(1 )至少應(yīng)該近似正確。即，測量的光i普數(shù)據(jù)應(yīng)該 被近似描述為加權(quán)本征態(tài)的線性疊加。這種近似對于很多樣本和光譜測量技 術(shù)，特別是暗場測量技術(shù)成立。例如，從樣本內(nèi)的熒光或發(fā)光化學(xué)標(biāo)記產(chǎn)生 的樣本圖像一般滿足線性假設(shè)。但是，在某些情況下，例如對于某些亮場測 量技術(shù)，可能不滿足線性假設(shè)。例如，當(dāng)捕獲從透射過包括光吸收成分的樣 本的照明光產(chǎn)生的圖像時，等式(l)中的線性假設(shè)可能不正確。相反，被測 量的光的強(qiáng)度可以指數(shù)依賴于光吸收成分的濃度減小。在這種情況下，在解 混和技術(shù)可以被使用之前，首先圖像的變換可能是必要的。作為一個例子， 對于在透射模式中測量的樣本圖像，被測量的圖像強(qiáng)度可以被變換為光密度 (例如通過應(yīng)用對數(shù)函數(shù))以便應(yīng)用線性解混和技術(shù)。例如，在Paul J. Cronin 和Peter J. Miller于2002年8月23日遞交的名為"SPECTRAL IMAGING"的 No. 10/226,592美國申請(公開號US 2003/0081204A1)中進(jìn)一步描述了光密度 技術(shù)，其整個內(nèi)容通過引用被包含于此。光譜解混和操作(例如逆矩陣技術(shù)和剩余技術(shù))以及圖像數(shù)據(jù)變換操作 (例如在適當(dāng)情況下把被測量的圖像強(qiáng)度轉(zhuǎn)換為光密度)可以由例如電子控 制系統(tǒng)114通過處理器116執(zhí)行。這些操作可以包括由系統(tǒng)操作員執(zhí)行的人 工干預(yù)和配置步驟，或者，系統(tǒng)IOO可以被配置成以自動方式執(zhí)行這些操作。復(fù)合圖像上面描述的解混和技術(shù)的應(yīng)用從多光i普數(shù)據(jù)集合提供了解混和圖像集 合?，F(xiàn)在返回圖2,在流程圖200中的第二個可選步驟中，步驟206包括使 用光鐠立方圖像和/或解混和光i普立方圖像產(chǎn)生一個或更多個復(fù)合圖像。產(chǎn)生 復(fù)合圖像作為把光譜信息"打平"或壓縮為二維灰度階圖像的手段。換句話說， 就圖像數(shù)據(jù)的3D光譜矩陣來說，產(chǎn)生復(fù)合圖像大致對應(yīng)于把來自兩個或更
多個層的信息壓縮或打包為單個層。由于光譜立方和解混和光譜立方圖像數(shù) 據(jù)都可以被使用，所以該技術(shù)在概念上可以包括把來自不同光譜立方的多個 層打包為單個層。作為一個例子，考慮圖像的3D光鐠立方，其中，每一個圖像具有寬度X、高度y和對應(yīng)于波長A的指標(biāo)t如果在立方中存在總共7V個不同的圖像(即 在iV個不同的波長記錄的數(shù)據(jù))，則如先前描述的那樣，光譜立方/可以被表 示為矩陣/ 6c,乂/U。壓縮來自光譜立方中兩個或更多個圖像的光譜信息以生 成復(fù)合圖像C等同于把圖像層加在一起。在某些實(shí)施例中，在把這些層加在 一起之前，每一個層均被根據(jù)加權(quán)函數(shù)/ 縮放。然后，根據(jù) C(xj) = t/0fc)./Oj,^) (7)執(zhí)行光譜壓縮操作，所述操作從光語圖像立方的第m到第"層產(chǎn)生復(fù)合圖像 Q3c,W。加權(quán)函數(shù)/(^一般被選擇成強(qiáng)調(diào)復(fù)合圖像中的不同光譜特征；即，為 了在從對復(fù)合圖像中的總強(qiáng)度分布有貢獻(xiàn)的光譜立方的不同層產(chǎn)生的特征之 間生成^寸比。為了產(chǎn)生期望的對比度可以選擇多種多樣的加權(quán)函數(shù)?？偟膩碚f，在某 些實(shí)施例中，為/^選擇單調(diào)增加或者減小的函數(shù)，例如線性斜坡函數(shù)或者反 曲函數(shù)。在其他的實(shí)施例中，/W可以是雙斜坡函數(shù)(即減小到一個點(diǎn)然后增 大，或者增大到一個點(diǎn)然后減小)或者另外的函數(shù)，例如一個或更多個高斯 函數(shù)。加權(quán)函數(shù)一般可以被按需選擇，并且可以被應(yīng)用到一批樣本，或者可 以在分類之前針對每一個樣本個別選擇。系統(tǒng)100可以包括存儲用于特定類 型的樣本的加權(quán)函數(shù)的存儲介質(zhì)，所以可以按需要再次調(diào)用適于經(jīng)受分類的 樣本的加權(quán)函數(shù)。步驟208包括選擇要被分類的圖像集合。總的來說，可以選擇來自光譜 圖像立方、解混和光譜圖像立方(如果計(jì)算了 )以及復(fù)合圖像(如果計(jì)算了 ) 的任何或者全部圖像用于分類分析。例如，在某些實(shí)施例中，使用復(fù)合圖像 和光語圖像立方或解混和光語立方圖像的較小子集能夠?qū)崿F(xiàn)高準(zhǔn)確程度樣本 分類。這具有以下優(yōu)點(diǎn)在其上運(yùn)算分類算法的總數(shù)據(jù)集合被大大減小，提 高了完成樣本分類的速度。在某些其他的實(shí)施例中，來自解混和光譜立方的圖像可以被用于樣本分 類。圖像可以被傳遞給分類算法，并且可以(雖然不總是)伴隨著一個或更
多個復(fù)合圖像。在某些實(shí)施例中，多于三個光譜圖像可被用于樣本分類。圖像可以被從 光譜圖像立方取出，或者，如果計(jì)算了，可以被從解混和光譜圖像立方取出。 當(dāng)樣本包括多于三個不同的光譜貢獻(xiàn)者時，這種技術(shù)可能特別有益。例如， 樣本可以包含四種不同的染色或者染料，或者四種不同的熒光標(biāo)記。在其他的實(shí)施例中，彩色RGB圖像或者單個平面圖像可被用于樣本分類。單個平面圖像可以是窄帶的或者全色的。 分類總的來說，分類器是把樣本分配到幾個輸出類別其中之一的機(jī)制或者規(guī) 則集合，并且它可以是任何線性或者非線性分類器。線性分類器包括最小二乘距離、馬p合拉諾比斯距離(mahalanobis distance),以及其他距離。這些可 以使用，但是分類器最好是例如神經(jīng)網(wǎng)絡(luò)、遺傳算法的機(jī)器學(xué)習(xí)算法，或者 支持向量機(jī)。但是，經(jīng)常優(yōu)選神經(jīng)網(wǎng)絡(luò)，并且貫穿后續(xù)討論神經(jīng)網(wǎng)絡(luò)將被用 作例子。神經(jīng)網(wǎng)絡(luò)一般被應(yīng)用于一個或更多個區(qū)域，每一個區(qū)域一般對應(yīng)于圖像 堆棧(如上所述，圖像堆棧可以包括一個或更多個圖像)中的幾個像素(例 如2x2像素集合，或者16x16像素集合，等等)。當(dāng)在圖像堆棧中存在多于一 個圖像時，每一個像素將包括和每一個圖像相關(guān)聯(lián)的值。給定的被分類區(qū)域 中的所有像素的值形成了潛在地可以被應(yīng)用于神經(jīng)網(wǎng)絡(luò)的輸入信息的基礎(chǔ)。 因?yàn)槊恳粋€區(qū)域均包括幾個像素，所以當(dāng)圖像堆棧包括復(fù)合圖像和/或多個光譜圖像時，神經(jīng)網(wǎng)絡(luò)可用的輸入信息既包括空間信息也包括光譜信息。神經(jīng)網(wǎng)絡(luò)具有一個或更多個輸入結(jié)點(diǎn)，它通過所述輸入結(jié)點(diǎn)接收關(guān)于要被分類的區(qū)域的信息。輸入被叫作"特征向量"，其中，特征向量的每一個元 素對應(yīng)于神經(jīng)網(wǎng)絡(luò)的特定輸入結(jié)點(diǎn)。特征向量的元素是被分類區(qū)域中的一個 或更多個像素處的信號值的函數(shù)。下面進(jìn)一步描述用于產(chǎn)生特征向量的適當(dāng) 函數(shù)的例子。神經(jīng)網(wǎng)絡(luò)也將具有幾個輸出結(jié)點(diǎn)，每一個均對應(yīng)于區(qū)域可能被指定到的 類別。當(dāng)給定區(qū)域的特征向量被應(yīng)用于神經(jīng)網(wǎng)絡(luò)時，輸出結(jié)點(diǎn)的值對應(yīng)于該 區(qū)域應(yīng)該被分配到給定類別的程度。神經(jīng)網(wǎng)絡(luò)最好被訓(xùn)練得使輸出結(jié)點(diǎn)值對 于任何給定的特征向量是二態(tài)的，只有一個輸出結(jié)點(diǎn)產(chǎn)生非零值(并指示該
區(qū)域應(yīng)該被分配到的類別)。如下面更詳細(xì)地描述的那樣，神經(jīng)網(wǎng)絡(luò)被訓(xùn)練并且可以進(jìn)一 步被優(yōu)化以 減小有效且準(zhǔn)確的分類所必需的輸入結(jié)點(diǎn)的數(shù)量。在很多實(shí)施例中，使用解 混和圖像和/或一個或更多個復(fù)合圖像可以導(dǎo)致輸入結(jié)點(diǎn)數(shù)量的減少，因而在 分類未知樣本的區(qū)域時的效率更高。在某些實(shí)施例中采用的神經(jīng)網(wǎng)絡(luò)的拓樸 是雙極的，盡管二叉類型或者其他神經(jīng)網(wǎng)絡(luò)類型也可以被有效地使用。使用反向傳播(back propagation)方法訓(xùn)練神經(jīng)網(wǎng)絡(luò)，在訓(xùn)練算法中包括動量。 在某些實(shí)施例中網(wǎng)絡(luò)的激活函數(shù)是雙極反曲函數(shù)；也可以使用其他的激活函數(shù)。在實(shí)施例中，網(wǎng)絡(luò)通常包括0、 l或2個隱藏層，所述隱藏層是具有輸入 結(jié)點(diǎn)的第 一層和具有輸出結(jié)點(diǎn)的最后層之間的層，盡管額外的隱藏層是可能 的。每個隱藏層任意從1到15個結(jié)點(diǎn)是常見的，盡管仍可以使用額外的結(jié)點(diǎn)。 網(wǎng)絡(luò)的輸入層使用在樣本圖像上標(biāo)識的空間和光譜構(gòu)造特征作為輸入。輸出 層包括許多輸出結(jié)點(diǎn)，等于被標(biāo)識的類別的數(shù)量iVc。圖。該網(wǎng)絡(luò)包括輸入層、 一個隱藏層和輸出層。神經(jīng)網(wǎng)絡(luò)的輸入是特征向量/ ，并且結(jié)點(diǎn)之間的耦合強(qiáng)度由w,/值給定。神經(jīng)網(wǎng)絡(luò)的輸出是和圖像或者圖 像堆棧相關(guān)聯(lián)的類別。在組織樣本圖像的處理中使用的網(wǎng)絡(luò)的典型拓樸參數(shù)包括一個具有5個 結(jié)點(diǎn)的隱藏層、0.2的學(xué)習(xí)參數(shù),以及0.5的動量因子。例如，在Christopher M. Bishop的"Neural Networks for Pattern Recognition"(牛津大學(xué)出版社， 1995 )中描迷了神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。再次參考圖2,在選擇了樣本將被根據(jù)其分類的圖像集合("分類圖像集 合")之后，步驟210包括使用來自分類圖像集合的圖像訓(xùn)練分類器。在給出新類型的樣本供分類分析時，神經(jīng)網(wǎng)絡(luò)被訓(xùn)練。例如，通過顯示 設(shè)備118,可以向系統(tǒng)操作員提供針對特定樣本重新訓(xùn)練現(xiàn)有網(wǎng)絡(luò)的選擇。 隨后將更詳細(xì)地討論訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過程。在訓(xùn)練過基于神經(jīng)網(wǎng)絡(luò)的分類器之后，步驟212包括把分類圖像集合提 交給分類器。分類器一般根據(jù)分類圖像集合中的樣本圖像上存在的構(gòu)造和光 譜特征分類樣本的部分。后面給出在分類例程中涉及的步驟的細(xì)節(jié)。最后，步驟214包括產(chǎn)生樣本的分類輸出。分類輸出可以包括例如一個
或更多個圖像，所述圖像被構(gòu)建成示出樣本被不同地分類的區(qū)域之間的對比 度。另外，或者此外還有，分類輸出可以包括指示樣本中存在或不存在特定 元素(即被染色或標(biāo)記的結(jié)構(gòu))的警告聲音或者消息。輸出也可以包括指示 在樣本中存在的區(qū)域類型、其相對豐度以及描述樣本的其他數(shù)字參數(shù)的數(shù)值數(shù)據(jù)。訓(xùn)練神經(jīng)網(wǎng)絡(luò)圖3是流程圖300，包括用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)分類器的步驟。第一個步驟 302包括確定在圖像堆棧中尋找的類別的數(shù)量iVc。在很多實(shí)施例中，類別的 數(shù)量被選擇成對應(yīng)于在樣本內(nèi)預(yù)期或者搜尋的不同狀態(tài)的數(shù)量。這可以大于 圖像集合中的光譜平面的數(shù)量，或者它可以更小。例如，樣本可以被利用三 種不同的染料染色，或者利用三種不同的熒光標(biāo)記來標(biāo)記。在這樣的樣本中， 人們可以根據(jù)樣本的結(jié)構(gòu)和性質(zhì)尋求標(biāo)識三個不同的類別M，或者兩個，或 者五個?；跇颖镜钠渌矫?，例如信號強(qiáng)度、形狀和構(gòu)造，分類器能夠解 析比光語平面的數(shù)量更多的類別7VC。第二個步驟304包括在樣本圖像其中之一上針對每一個類別選擇至少一 個感興趣的訓(xùn)練區(qū)域(region of interest, ROI)(假設(shè)從一個圖像到下一個圖 像，每一個類別的ROI的像素空間坐標(biāo)(x,y)相同)。訓(xùn)練ROI被已知對應(yīng)于 相應(yīng)類別，并且為神經(jīng)網(wǎng)絡(luò)算法提供了參考來允許其確定每一個類別公有的 特定光譜和空間特征，以便幫助分類判決。例如，在某些實(shí)施例中，通過經(jīng) 顯示設(shè)備118和用戶接口 120與系統(tǒng)操作員的交互作用，動態(tài)地發(fā)生ROI的 選擇。第三個步驟306包括選擇子采樣窗口尺寸。子采樣窗口被用來以更精細(xì) 的細(xì)節(jié)層次檢查每一個被選擇的ROI。在很多實(shí)施例中，子采樣窗口尺寸被 選擇得小于所有ROI的平均長度和寬度，但是大于ROI內(nèi)的單個像素。子釆 樣窗口寬度也經(jīng)常被選擇成具有是2的倍數(shù)的寬度和長度，因?yàn)槿绻兞块g 隔是2的倍數(shù)，則在ROI的子采樣區(qū)域上運(yùn)算的傅立葉方法能夠利用FFT算 法。在實(shí)施例中，典型的子采樣窗口尺寸包括4x4個像素、8x8個像素、16x16 個像素和32x32個像素，盡管多種多樣的窗口尺寸也是可能的，包括這里沒 有明確地列出的窗口尺寸。而且，雖然當(dāng)前描述的實(shí)施例假設(shè)每一個圖像的 數(shù)據(jù)被針對二維的正方柵格表示，但是其他的實(shí)施例可以包括不同的數(shù)據(jù)表
示和對應(yīng)的窗口以及ROI尺寸。例如，數(shù)據(jù)可以被在六邊柵格或者某個其他 形狀上表示。接下來的一系列步驟涉及在每一個被標(biāo)識的類別上進(jìn)行的操作。按次序分析每一個類別。步驟308包括選擇對應(yīng)于當(dāng)前選擇的類別的ROI。步驟310 包括通過利用選擇的子采樣窗口對ROI子采樣來檢查ROI。圖4更詳細(xì)地示 出了子采樣過程。被選擇的ROI 400被子采樣窗口 402子采樣，子采樣窗口 402在供分析的ROI 400內(nèi)選擇了部分圖像像素。返回圖3,步驟312包括為ROI的每一個子采樣區(qū)域計(jì)算并存儲特征向 量。特征向量包括從ROI的子采樣像素計(jì)算的數(shù)的集合作為元素。每一個被 計(jì)算的特征向量均對應(yīng)于針對被適當(dāng)?shù)赜?xùn)練的神經(jīng)網(wǎng)絡(luò)將輸出對應(yīng)于被選擇 的類別的分類的特征向量。特征向量的元素一般對應(yīng)于具體的構(gòu)造分析特征， 所述特征提供了樣本圖像內(nèi)的區(qū)域的基礎(chǔ)。為了提供ROI的充分可區(qū)分的描述，可以計(jì)算很多不同的數(shù)值量。例如， 在某些實(shí)施例中，對應(yīng)于針對特定類別被選擇的ROI的特征向量對于圖像堆 棧中的每一個圖像可以包括10個不同的計(jì)算，從而導(dǎo)致了 IOW,個元素，其 中，M是圖像堆棧中的圖像的數(shù)量。所述IO個計(jì)算中的前四個可以是從空間 灰度階依賴頭巨陣(spatial gray level dependency matrices, SGLDM )獲耳又的構(gòu) 造分析特征，所述矩陣也被稱為并發(fā)矩陣。例如，在R. M. Haralick、 K. Shanmugam禾口 L Dinstein的""Textural features for image classification" (IEEE Trans. Syst, Man, Cybern., vol. SMC-3, pp. 610-621, 1973 )中描述了這種矩陣。 SGLDM是圖像(或其一部分)的空間直方圖，它量化了圖像內(nèi)的灰度階值 的分布。例如，可以從二階聯(lián)合條件概率密度&f2j1《0的估計(jì)計(jì)算SGLDM。 這個條件概率密度的每一個值均表示具有灰度階值z'的像素在由0描述的方 向上距離具有灰度階值7'的像素d個像素。如果圖像包括7V"g個灰度階，則可 以生成A^A^矩陣&。，yV,6^。作為選擇，針對所選擇的距離J，該矩陣可以被 在一組方向6"上求和。例如，在某些實(shí)施例中，可以選^^單個方向6> = 0。在 其他的實(shí)施例中，可以采用例如四個方向6=0、 45°、 90和135°。總的來說， 對于特定ROI中的構(gòu)造特征分析，可以選擇任意數(shù)量的方向。在某些實(shí)施例中，對于分析，距離J固定在特定值。例如，距離d可以 固定在1個像素的值。在其他的實(shí)施例中，依賴于具體的構(gòu)造特征的性質(zhì)可 以使用一系列距離?？偟膩碚f，距離c/和方向0可以被看作為了保證神經(jīng)網(wǎng)
絡(luò)的更高準(zhǔn)確性分類性能而被調(diào)整的參數(shù)。例如，利用四個方向6和一個像素的單個固定距離A SGLDM可以被計(jì) 算為每一個ROI中四個方向上并發(fā)矩陣之和。然后，可以從每一個SGLDM 計(jì)算構(gòu)造特征。例如，可以從每一個SGLDM計(jì)算的四個不同的構(gòu)造特征包 括能量CE)、熵(5V、局部均勻性(/7)和慣量U)。慣量值也被稱作"對比度"。 則在這個例子中，對于每一個ROI，角度0集合的四個SGLDM特征可以如 下計(jì)算<formula>formula see original document page 27</formula>]其中，6V4/問對應(yīng)于針對距離d的SGLDM的第""個元素。對每一個圖 像片，所計(jì)算的值五、S、 //和7 可以被存儲為對應(yīng)于當(dāng)前選擇的類別的ROI 的特征向量中的前4iV個元素。作為一個例子，在圖9中示出了圖像的2x2區(qū)域卯2。該區(qū)域包括4個 像素，每一個像素均具有從1到4的整數(shù)強(qiáng)度級(即 =4)。因此，二階聯(lián) 合條件概率密度矩陣^(i,jld,e)是4x4矩陣904。為了估算矩陣904的數(shù)值元 素，可以選擇特定的d和6值。例如，選擇0=0對應(yīng)于沿著區(qū)域902的行估 算概率。選擇咖l對應(yīng)于估算區(qū)域902中被分隔開1個單元的元素(即相鄰 元素)的概率。在圖9中示出了對于區(qū)域902選擇6=0和3=1,概率矩陣904 的元素的值。在區(qū)域902中，像素(1,1 )具有強(qiáng)度值1。和像素(l， l)相關(guān)，在距 離甴l和角度/9=0的是具有強(qiáng)度值3的像素(1， 2)。因此，在矩陣904中 位置(3， l)處的概率值是l。區(qū)域902中的像素(2， l)具有強(qiáng)度值l。和 像素(2， l)相關(guān)，在距離#1和角度6 = 0的是具有強(qiáng)度值2的像素(2, 2)。 因此，在矩陣904中位置(2， 1)處的概率值是1。在某些實(shí)施例中，針對 ROI的特征向量中的每 一 個圖像片的接下來的四個計(jì)算可以被從ROI的復(fù)數(shù) 2D傅立葉變換的量值導(dǎo)出。例如，2D傅立葉變換可以被計(jì)算(例如，如果 子采樣窗口的寬度和長度是2的倍數(shù)，則使用2DFFT算法)，并且量值數(shù)據(jù) 被存儲在矩陣中，其中，DC頻率分量由頻域中坐標(biāo)軸的原點(diǎn)表示。圖5是子采樣ROI的示意圖，針對所述子采樣ROI計(jì)算了 2D傅立葉變換。然后，基 于頻率內(nèi)容，2D傅立葉變換數(shù)據(jù)集合可以被劃分為四個同心區(qū)域502、 504、 506和508。例如，最外面的區(qū)域502表示具有最高空間頻率內(nèi)容的樣本圖像 部分。每一個區(qū)域502、 504、 506和508中的空間頻率的量值可以被積分，并 對總信號量值歸一化。積分的量值形成了 ROI特征向量中接下來的四個元素， 并且每一個均對應(yīng)于一定空間頻率范圍內(nèi)傅立葉變換信號的百分比?？偟膩碚f，在實(shí)施例中，空間傅立葉變換數(shù)據(jù)可以被分割為任意數(shù)量的 被選擇頻率區(qū)域(受空間Nyquist極限限制)并且這些區(qū)域的積分強(qiáng)度對應(yīng)于 圖像的構(gòu)造特征。這些構(gòu)造特征中的一些或全部可以被包含在ROI的特征向 量中。在當(dāng)前的確定特征向量的例子中剩余的兩個計(jì)算可以被從 一 階像素統(tǒng)計(jì) 導(dǎo)出。例如，第九和第十個計(jì)算可以對應(yīng)于ROI內(nèi)的像素值的平均和標(biāo)準(zhǔn)差。 總的來說，其他統(tǒng)計(jì)測量作為特征向量元素也可能是有用的。這些量可以被 從一階或者更高階的統(tǒng)計(jì)測量導(dǎo)出(例如，從像素值的統(tǒng)計(jì)分布的二階矩導(dǎo) 出的像素值的方差)。再次參考圖3，計(jì)算對應(yīng)于當(dāng)前選擇的類別的特征向量的每一個元素之 后，特征向量被存儲。接下來跟著是邏輯判決314。如果所有A^個類別的特 征向量已經(jīng)被計(jì)算和存儲，則采取后續(xù)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練步驟，以步驟318開 始。反之，如果特征向量還未被計(jì)算，則在步驟316中把類別指示器/遞增， 這等同于選擇新類別及其相關(guān)聯(lián)的ROI,并且在步驟308開始新選擇的類別 的分析。當(dāng)被標(biāo)識類別的所有特征向量已經(jīng)被計(jì)算，序列中接下來的步驟是步驟 318，它包括選擇所計(jì)算的特征向量序列用作對應(yīng)于在步驟302中標(biāo)識的W 個類別的訓(xùn)練向量。訓(xùn)練向量集合可以包括對應(yīng)于每一個類別的不同ROI的 多個向量。但是，應(yīng)該注意確保在步驟318中每一個被標(biāo)識的類別向訓(xùn)練集 合貢獻(xiàn)相同數(shù)量的不同訓(xùn)練向量。為了確保針對樣本圖像中的不同的類別以 公正的方式訓(xùn)練神經(jīng)網(wǎng)絡(luò)，平衡序列集合中不同訓(xùn)練向量的相對豐度很重要。在步驟320中，訓(xùn)練向量集合被提交給基于神經(jīng)網(wǎng)絡(luò)的分類器供分類。 向量以隨機(jī)順序被逐個分類，并且針對每一個向量，神經(jīng)網(wǎng)絡(luò)給出該向量屬
于什么類別的輸出估計(jì)，并且這被與對應(yīng)于該向量的實(shí)際已知類別對照。網(wǎng) 絡(luò)輸出和實(shí)際類別之間的差別叫做誤差。然后，網(wǎng)絡(luò)被使用例如梯度下降反 向傳播或者其他的誤差調(diào)整技術(shù)的方法進(jìn)行調(diào)整，所述方法調(diào)整網(wǎng)絡(luò)值并產(chǎn)生減小的誤差值。當(dāng)所有的訓(xùn)練ROI已經(jīng)被網(wǎng)絡(luò)分配，則在步驟322中可以 由操作員人工地或者通過計(jì)算指示例如什么樣百分比的ROI被正確分類的分 數(shù)自動地確定分類準(zhǔn)確性。邏輯步驟324包括基于訓(xùn)練ROI的分類準(zhǔn)確性的判決。如果準(zhǔn)確性高于 選擇的閾值(例如在某些實(shí)施例中它可以被設(shè)置為100%準(zhǔn)確性)，則神經(jīng)網(wǎng) 絡(luò)被視為已被適當(dāng)?shù)赜?xùn)練，并且訓(xùn)練序列在步驟326完成。但是，如果準(zhǔn)確 性落在選擇的閾值以下，則重復(fù)涉及訓(xùn)練ROI的分類的步驟。即，像在步驟 318中那樣準(zhǔn)備訓(xùn)練向量，并且神經(jīng)網(wǎng)絡(luò)對這些ROI的測試分類再次開始。 向量可以是在初始訓(xùn)練中使用的同一集合，或者可以是不同的向量集合。只 要誤差網(wǎng)絡(luò)調(diào)整持續(xù)提高分類準(zhǔn)確性，則單個集合上的重復(fù)訓(xùn)練是有成效的。 在很多實(shí)施例中，在第一個訓(xùn)練ROI集合上實(shí)現(xiàn)100%準(zhǔn)確性。但是，如果 期望，則成功訓(xùn)練的閣值可以被設(shè)置得低于100%。如果針對訓(xùn)練ROI人們 不具備類別識別的完善知識，或者如果樣本自身高度可變并且采用了各種各 樣的訓(xùn)練ROI,則這可能發(fā)生。優(yōu)化神經(jīng)網(wǎng)絡(luò)成功訓(xùn)練基于神經(jīng)網(wǎng)絡(luò)的分類器以后，作為選擇，網(wǎng)絡(luò)可以被針對用來 分類樣本圖像的特征的數(shù)量優(yōu)化。以這種方式優(yōu)化網(wǎng)絡(luò)能夠提高分類操作的 效率和速度。圖6是流程圖600,它包括在優(yōu)化訓(xùn)練過的神經(jīng)網(wǎng)絡(luò)時涉及的可選的一 系列步驟。第一個步驟602包括產(chǎn)生隨機(jī)的訓(xùn)練向量序列來測試神經(jīng)網(wǎng)絡(luò)的 性能。和從前一樣，訓(xùn)練向量序列被構(gòu)建成對應(yīng)于先前標(biāo)識的M個類別存在 相等數(shù)量的向量。步驟604包括選擇神經(jīng)網(wǎng)絡(luò)分類特征的數(shù)量A^。 一開始， 的值一般由 針對所有圖像平面計(jì)算的所有特征組成，它是特征向量中的元素的數(shù)量。優(yōu)化序列的后續(xù)迭代可能根據(jù)神經(jīng)網(wǎng)絡(luò)的分類性能減d 、 的值。在步驟606中，在步驟602中產(chǎn)生的隨機(jī)的向量序列被提交給神經(jīng)網(wǎng)絡(luò) 供分類。各個向量的分類由訓(xùn)練過的神經(jīng)網(wǎng)絡(luò)以符合前面討論的方式執(zhí)行。
針對每一個ROI計(jì)算特征向量(例如基于ROI中的一個或更多個子采樣窗口 )，并且ROI被沖艮據(jù)各種被標(biāo)識類別的已知特征向量分配到特定類別。在 步驟608中，通過視覺檢查(例如由操作員)或者通過計(jì)算正確的分類結(jié)果 的比例來確定分類準(zhǔn)確性分?jǐn)?shù)。為了評估 個特征中每一個相對于神經(jīng)網(wǎng)絡(luò)性能的重要性，在步驟610 中計(jì)算y個分類特征中的每一個的平均特征值^。例如，平均特征值的計(jì)算可以通過計(jì)算對應(yīng)于特定類別的特征向量中的元素的平均值來完成。在執(zhí)行a. 的計(jì)算時特征向量中的元素可以被同樣地或不同地加權(quán)。在進(jìn)一步的步驟612中，神經(jīng)網(wǎng)絡(luò)考慮下的總共7v/個特征中的每一個特 征y'的加權(quán)貢獻(xiàn)巧被根據(jù)計(jì)算，其中，^值是神經(jīng)網(wǎng)絡(luò)中結(jié)點(diǎn)到結(jié)點(diǎn)耦合常數(shù)。使用等式(12),可以 估算每一個特征(它一般對應(yīng)于類別)的加權(quán)貢獻(xiàn)。在步驟614中，具有最 小加權(quán)貢獻(xiàn)^的分類特征s被標(biāo)識為"最弱，，分類特征，并被從神經(jīng)網(wǎng)絡(luò)所考 慮的分類特征集合中去除。在步驟616和618中，根據(jù)先前討論的過程產(chǎn)生新的隨機(jī)訓(xùn)練向量序列， 并且訓(xùn)練向量被修改過的神經(jīng)網(wǎng)絡(luò)分類，所述神經(jīng)網(wǎng)絡(luò)現(xiàn)在包括少了 一個的 特征。在向量的分類以后確定分類準(zhǔn)確性分?jǐn)?shù)。在邏輯步驟620中，分類準(zhǔn)確性分?jǐn)?shù)被與選擇的準(zhǔn)確性閾值對照。如果 準(zhǔn)確性分?jǐn)?shù)高于該閾值，則認(rèn)為被去除的特征足夠不重要以至于它可以被從 神經(jīng)網(wǎng)絡(luò)的考慮中永遠(yuǎn)去除。在步驟622中神經(jīng)網(wǎng)絡(luò)分類特征A^.的數(shù)量被減 小1,并且邏輯流程返回步驟610,在步驟610中，針對神經(jīng)網(wǎng)絡(luò)中新減小的 分類特征集合計(jì)算新的平均特征值。在某些實(shí)施例中，在邏輯流程返回步驟 610之前，神經(jīng)網(wǎng)絡(luò)可以被重新訓(xùn)練以適應(yīng)更小的特征數(shù)量。這個步驟不是 必須的，但是在某些實(shí)施例中可以被采用以提高分類的準(zhǔn)確性和/和速度。如果準(zhǔn)確性分?jǐn)?shù)低于選擇的閾值，則被去除的特征s被認(rèn)為畢竟是重要 的，并在步驟624中^^皮重新導(dǎo)入神經(jīng)網(wǎng)絡(luò)。這在步驟626中完成了網(wǎng)絡(luò)的優(yōu) 化，則網(wǎng)絡(luò)準(zhǔn)備好供在基于圖像集合分類樣本時使用。如果在優(yōu)化過程中去除了對應(yīng)于給定輸入圖像平面的所有特征，則輸入 平面是冗余的，并且為了提供分類信號無需被獲取。如果出于其他目的不需 要該平面，則通過在進(jìn)一 步的測量中不獲取這種平面能夠獲得進(jìn)一 步的效率 上的提高。確定哪些圖像平面是必須的可以在設(shè)計(jì)測量協(xié)議時被進(jìn)行一次； 或者，在例如樣本變化性的因素可能導(dǎo)致什么樣的圖像平面在進(jìn)行分類時是 必須的或有幫助的設(shè)置中，在它可以在隨時間發(fā)展的基礎(chǔ)上被進(jìn)行和/或復(fù) 驗(yàn)。使用訓(xùn)練過的神經(jīng)網(wǎng)絡(luò)分類圖7中示出了樣本被根據(jù)其圖像堆棧分類的過程。該圖包括流程圖700， 它示出了分類過程中的一系列步驟。在步驟702中，選擇樣本的特定圖像堆 棧用于分類，并且在步驟704中，選擇圖像堆棧內(nèi)區(qū)域的數(shù)量的M用于分析。 在某些實(shí)施例中，被選擇的區(qū)域是整個圖像的子集。在其他的實(shí)施例中，可 以選擇整個圖像用于分析。被選擇用于分析的圖像堆棧可以包括一個或更多個圖像。在圖像堆棧中 的圖像可以包括一個或更多個原始頻語圖像、 一個或更多個復(fù)合圖像，和/或 一個或更多個解混和圖像。例如，在某些實(shí)施例中，圖像堆棧可以包括一個 復(fù)合圖像來提供光譜和空間信息以及一個灰度階圖像來提供空間信息。在其 他的實(shí)施例中，例如，圖像堆棧可以包括解混和圖像集合。此外，在某些實(shí) 施例中，例如，分類可以只被應(yīng)用到只包含空間(沒有光譜)信息的單個圖 像。在任何情況下，預(yù)料到被選擇的圖像堆棧的類型訓(xùn)練神經(jīng)網(wǎng)絡(luò)。在步驟706中，選^^子采樣窗口的長度/和寬度w。如先前所討論的那 樣，子采樣窗口的長度和寬度一般被選擇得小于被選擇用于分析的M個區(qū)域 中的每一個的平均長度和寬度。此外，步驟706包括選擇窗口偏移增量zZ/和 zlw。偏移增量用來在樣本圖像的分類區(qū)域上平移子采樣窗口以便確保區(qū)域中 的每一個像素至少被分類一次。在某些實(shí)施例中，J/和Jw的值分別都被選 擇得小于/和w,所以至少一些像素被多次分類，因?yàn)槊恳淮伟炎硬蓸哟翱谄?移到新的位置均在新窗口內(nèi)剩下部分前一窗口的像素。在步驟708中，在步驟704中選擇的區(qū)域其中之一被提交給訓(xùn)練過(作 為選擇，優(yōu)化過)的神經(jīng)網(wǎng)絡(luò)用于分類。在步驟710中執(zhí)行該窗區(qū)域中的像 素的分類。分類過程是迭代的過程，其中，在被選擇區(qū)域內(nèi)的像素可以被臨 時多次分配到一個分類。如圖8所示，該過程通過在被選擇的區(qū)域800內(nèi)定 位子采樣窗口 802開始。子采樣窗口 802在x方向具有長度/,在y方向具有 寬度W。偏移增量和Z(W分別小于子采樣窗口的長度和寬度。在子采樣窗口的第一位置，使用先前討論的方法，窗口內(nèi)的每一個圖像 像素均被神經(jīng)網(wǎng)絡(luò)基于全部窗口區(qū)域的分類分配了臨時分類。臨時像素分類可以被存儲在像素直方圖中供將來參考。這對應(yīng)于步驟710。再次參考圖7， 基于區(qū)域的子采樣是否完成，下一個步驟是邏輯判定712。如果區(qū)域的子采 樣未完成，則子采樣窗口被沿x和y方向分別平移了增量J/和zbv，如步驟 714中所示。然后，落入新的子采樣窗口位置內(nèi)的圖像像素在步驟710中像 從前一樣被分類。在圖8的下面部分示意性地示出了該過程，其中，窗口 802a表示子采樣 窗口的第一個位置，并且窗口 802b表示平移以后窗口的第二個位置。然后像 從前一樣進(jìn)行神經(jīng)網(wǎng)絡(luò)對第二窗口 802b內(nèi)的像素的分類。注意，落入陰影區(qū) 域804內(nèi)的像素被第二次分類，因?yàn)樗鼈兗任挥诖翱?802a內(nèi)也位于窗口 802b再次返回圖7中的步驟710,各個像素的分類被再次存儲在像素直方圖 中，然后，子采樣窗口被再次平移，并且針對新的窗口位置分類過程重新開 始?？梢葬槍Ρ贿x擇的窗口平移數(shù)量指定重復(fù)由步驟710到步驟714組成的 這個迭代過程，以建立像素分類直方圖。注意，雖然圖8把和步驟714相關(guān)聯(lián)的平移描繪為既具有增量zl/也具有 增量zlvv，但是這并非必要。例如，在某些實(shí)施例中，平移可以水平掃描，當(dāng) 跨過所選擇區(qū)域的每一個水平掃描完成時，跟著是垂直平移，反之亦然。在 某些實(shí)施例中，例如，每一個平移將對應(yīng)于單個像素的步進(jìn)，并且跨區(qū)域的 平移一般將導(dǎo)致每一個像素被分類了采樣窗口中的像素數(shù)量那么多次。此外， 在其他的實(shí)施例中，平移無需是順次的。例如，在選擇的圖像區(qū)域中，窗口 平移可以是系統(tǒng)性的或者隨機(jī)的，盡管在某些實(shí)施例中，在分類過程終止之 前必須被滿足的額外約束規(guī)定被選擇區(qū)域內(nèi)的所有像素至少應(yīng)該被分類一 次，并且最好是多次。但是，這樣的約束是可選的，無需被強(qiáng)加。 一旦被選 擇圖像區(qū)域的子采樣完成，則邏輯判決716基于是否樣本圖像堆棧的所有被 選擇區(qū)域已經(jīng)被臨時分類(例如，針對被選擇圖像堆棧的被選擇區(qū)域中的每 一個像素已經(jīng)給出了臨時分類的直方圖)來確定動作的過程。如果有剩余的 未被分類的區(qū)域，則在步驟718中遞增計(jì)數(shù)器H等同于選擇未被分類區(qū)域其 中之一 )并且被選擇區(qū)域的分類在流程圖700的步驟708處開始。
另外，如果樣本圖像的每一個區(qū)域已經(jīng)被臨時分類，則初始分類過程完成并且控制轉(zhuǎn)到步驟722,在步驟722中，基于每一個像素的累積直方圖數(shù) 據(jù)執(zhí)行最終像素分類步驟。由于像素可以被多次分類的事實(shí)所致，特定像素 的分類直方圖中的記錄可能不都相同，并且像素可以被臨時分類到多于 一個 類別?？梢允褂枚喾N多樣的算法從直方圖數(shù)據(jù)為特定像素確立分類。例如，給 定像素的最終分類可以是該像素最頻繁地被分配到的類別。另外，可以使用 直方圖中的統(tǒng)計(jì)信息的更復(fù)雜的分析來分配最終分類。例如，像素的分類可 以被確立為該像素的分類分布的平均值、中值或模。另外，更先進(jìn)的統(tǒng)計(jì)方 法，例如模糊邏輯或貝葉斯邏輯(Bayesian logic),可以被應(yīng)用于直方圖數(shù)據(jù) 以確定每一個圖像像素的分類。在某些實(shí)施例中，直方圖(histogram)數(shù)據(jù)可被用來根據(jù)分類"標(biāo)志，，樣 本的特定區(qū)域。例如，如果特定像素的直方圖數(shù)據(jù)甚至包括單個實(shí)例，其中， 該像素被分類為屬于特定類別，則可以采取步驟確保該像素被確定地標(biāo)識。 可以產(chǎn)生警告信息或者聲音，或者，可以顯示為方便識別將被標(biāo)識像素高亮 的樣本圖像。當(dāng)針對例如病原或癌細(xì)胞的有害因子或結(jié)構(gòu)的存在性檢查組織 樣本時，標(biāo)志技術(shù)可能特別有用。最終步驟724包括基于步驟722的最終分類，或者更具體地，基于在較 早步驟中產(chǎn)生的臨時像素分類直方圖數(shù)據(jù)產(chǎn)生樣本的分類圖。分類圖可以包 括例如被分類區(qū)域被高亮以提高對比度的樣本圖像。在某些實(shí)施例中，分類 圖可以包括樣本的多個圖像，其中，每一個圖像屬于被神經(jīng)網(wǎng)絡(luò)標(biāo)識的特定 類別的樣本的那些部分。分類圖也可以包括指定被分類樣本區(qū)域的數(shù)值數(shù)據(jù) 和諸如樣本內(nèi)各種類別的分布和相對豐度的統(tǒng)計(jì)信息。當(dāng)被分類區(qū)域?qū)?yīng)于 樣本內(nèi)的不同結(jié)構(gòu)、化學(xué)或生物實(shí)體時，這種信息特別有用。例如，分類圖 像圖可以在顯示設(shè)備118上顯示，并且可以由電子控制系統(tǒng)114以電子形式 存儲在存儲介質(zhì)上。分類圖的產(chǎn)生完成了分類過程，并且一般為多種多樣的 樣本產(chǎn)生了準(zhǔn)確的類別數(shù)據(jù)。光學(xué)系統(tǒng)部件系統(tǒng)100可以包括多種多樣的用于捕獲在后續(xù)分類算法中使用的樣本圖 像的光學(xué)元件和設(shè)備。光源102可以是非相干光源，例如白熾燈、熒光燈，
或者二極管。光源102也可以是相干源，例如激光源，并且相關(guān)源可以提供連續(xù)波(CW)或脈沖光。光源102可以包含用于產(chǎn)生具有一個范圍波長的光 的多個光源元件(例如多個二極管)。當(dāng)由光源102產(chǎn)生的光是脈沖的時(即 時間門控的)，可以根據(jù)從電子控制系統(tǒng)114通過通信線路132提供給光源 102的控制信號操縱光脈沖的各種屬性。光源102也可以包括各種光學(xué)元件， 例如透鏡、反射鏡、波片和非線性晶體，它們都可以被用來產(chǎn)生具有所選擇 特性的光?？偟膩碚f，光源102包括被配置成提供具有期望的光譜、空間屬 性以及在某些實(shí)施例中的時間屬性的光的光學(xué)元件和設(shè)備。調(diào)光光學(xué)裝置104和集光光學(xué)裝置IIO可以包括各種光學(xué)元件，用于操 縱入射在感興趣的樣本上和從其發(fā)射的光的屬性。例如，調(diào)光光學(xué)裝置104 和集光光學(xué)裝置110均可以包括光譜過濾器元件，用于從入射和被發(fā)射光中 選擇特定波長帶。光鐠過濾器元件可以包括例如安裝在過濾器上的干涉過濾 器。在某些實(shí)施例中，可以使用基于液晶掩模的可調(diào)過濾器元件來改變?nèi)肷?或被發(fā)射光的光譜屬性。基于液晶的設(shè)備可以由電子控制系統(tǒng)114通過通信 線^各134和138控制。調(diào)光光學(xué)裝置104和集光光學(xué)裝置IIO也可以包括例如空間光掩模、空 間光調(diào)制器和光脈沖整形器的元件，以便操縱入射在樣本上和從其發(fā)射的光 的空間分布。空間光調(diào)制器和其他自適應(yīng)設(shè)備也可以由電子控制系統(tǒng)114通 過通信線^各134和138控制。最后，調(diào)光光學(xué)裝置104和集光光學(xué)裝置IIO可以包括其他的常見光學(xué) 元件，例如反射鏡、透鏡、分束器、波片，等等，被配置成把所選擇的特性 傳遞到入射或纟皮發(fā)射光。總的來說，檢測器112包括一個或更多個被配置成檢測和捕獲樣本發(fā)射 的光作為樣本的多個圖像的測量設(shè)備。檢測器112可以包括例如CCD陣列和 光電倍增管的設(shè)備以及其相應(yīng)的控制系統(tǒng)，用于捕獲圖像?？偟膩碚f，檢測 器112中的自適應(yīng)光學(xué)設(shè)備可以由電子控制系統(tǒng)114通過通信線路130控制。軟件和顯示信息的方法描述的步驟實(shí)施在計(jì)算機(jī)程序中。這些成像被設(shè)計(jì)成在可 編程計(jì)算機(jī)上或?qū)ｉT設(shè)計(jì)的集成電路上執(zhí)行，所述計(jì)算機(jī)或?qū)ｉT設(shè)計(jì)的集成
電路均包含電子處理器、數(shù)據(jù)存儲系統(tǒng)(包括存儲器和/或存儲元件)、至少 一個輸入設(shè)備，以及至少一個輸出設(shè)備，例如顯示器或打印機(jī)。程序代碼被 應(yīng)用于輸入數(shù)據(jù)(例如來自檢測器的圖像)以執(zhí)行這里描述的功能并產(chǎn)生輸 出信息(例如，示出樣本圖像的分類區(qū)域的圖像，關(guān)于樣本成分的統(tǒng)計(jì)信息， 等等)，所述輸出信息被應(yīng)用于一個或更多個輸出設(shè)備。每一個這種計(jì)算機(jī)程 序均可以-波實(shí)施在高層次過程或面向?qū)ο缶幊陶Z言中，或者匯編語言或才幾器 語言中。此外，語言可以是編譯或解釋語言。每一個這種計(jì)算機(jī)程序可以被存儲在計(jì)算機(jī)可讀存儲介質(zhì)上(例如CD-ROM或^f茲帶)，所述介質(zhì)在被計(jì)算 機(jī)讀取時能夠?qū)е掠?jì)算機(jī)中的處理器執(zhí)行這里描述的分析和控制功能。例子下面的例子旨在示范這里公開的系統(tǒng)和方法，決不應(yīng)該被理解為限制后 續(xù)權(quán)利要求的范圍。圖10A示出了被根據(jù)本公開方法中的某一個分類的老鼠血液樣本的例 子。血液樣本包括4個類別背景1002、老鼠細(xì)胞1004、單核白細(xì)胞1006 和多形核中性粒細(xì)月包(polymorphonuclear neutrophils, PMN) 1008。對應(yīng)于 透射過樣本的入射光的光語圖像集合被收集，并被從測量的強(qiáng)度變換為光密 度(optical densities, OD )。作為結(jié)果的變換圖像形成了圖像數(shù)據(jù)的光譜立方。光語圖像立方被解混和為對應(yīng)于血液樣本的紅色成分1010和藍(lán)色成分 1012的單獨(dú)圖像，如圖10B中所示。圖IOC和圖10D示出了這個光"i普解混 和操作的結(jié)果。圖10C示出了對應(yīng)于紅色成分1010的解混和圖像的例子，并 且圖10D示出了對應(yīng)于藍(lán)色成分1012的解混和光鐠圖像的例子。解混和步驟以后，由用作加權(quán)函數(shù)的線性斜坡函數(shù)產(chǎn)生復(fù)合平面，以使 解混和平面和復(fù)合平面形成3-平面堆棧。接著，在圖像堆棧上選擇訓(xùn)練區(qū)域， 并根據(jù)所選擇的訓(xùn)練區(qū)域訓(xùn)練基于神經(jīng)網(wǎng)絡(luò)的分類器。圖10E示出了疊加在 樣本圖像上的被選擇的訓(xùn)練區(qū)域。訓(xùn)練神經(jīng)網(wǎng)絡(luò)包括計(jì)算和被標(biāo)識的訓(xùn)練區(qū) 域相關(guān)的特征。在圖10F中示出了這個用于訓(xùn)練區(qū)域的過程的擴(kuò)展視圖。圖 10F的左側(cè)示出了包括被選擇的訓(xùn)練區(qū)域的樣本圖像的擴(kuò)展區(qū)域的視圖。在 圖10F的右側(cè)，被選擇的訓(xùn)練區(qū)域已經(jīng)被子采樣，并且子采樣窗口被疊加在 區(qū)域上。然后，使用基于訓(xùn)練過的神經(jīng)網(wǎng)絡(luò)的分類器分類圖像的剩余區(qū)域。結(jié)果
在圖10G中示出。對應(yīng)于背景類別1002、紅細(xì)胞類別1004、單核白細(xì)胞類 別1006和PMN類別1008的圖像特征都被使用基于神經(jīng)網(wǎng)絡(luò)的分類器準(zhǔn)確地 確定和纟示識。在另一個例子中，從光譜圖像的同一圖像立方產(chǎn)生了 3-平面RGB圖像， 并且RGB圖像的被選擇區(qū)域被用來訓(xùn)練和優(yōu)化神經(jīng)網(wǎng)絡(luò)。通過對藍(lán)色中的所 有光譜帶求和形成藍(lán)色平面、對綠色中的所有光譜帶求和形成綠色平面和對 紅色中的所有光譜帶求和形成紅色平面，產(chǎn)生了這個RGB圖像。結(jié)果模擬了 如果場景被用常規(guī)RGB照相機(jī)成像將導(dǎo)致的內(nèi)容。然后，使用被訓(xùn)練和優(yōu)化 過的神經(jīng)網(wǎng)絡(luò)分類復(fù)合圖像的剩余部分。圖IOH示出了 RGB圖像，并且圖 IOI示出了被執(zhí)行的分類操作的結(jié)果。對應(yīng)于背景類別1002、紅細(xì)胞類別1004、 單核白細(xì)胞類別1006和PMN類別1008的圖像特征都被使用基于神經(jīng)網(wǎng)絡(luò)的 分類器準(zhǔn)確地確定和標(biāo)識。這里公開的自動化方法提供了用于分類血液樣本的有效手段。 已經(jīng)描述了本發(fā)明的許多實(shí)施例。盡管如此，將會理解不偏離本發(fā)明的 精神和范圍可以做出各種修改。因此，其他的實(shí)施例在下列權(quán)利要求的范圍 內(nèi)。本申請要求由Richard Levenson和Clifford C. Hoyt在2005年1月27曰 遞交的名為"用于分類被標(biāo)記的病理學(xué)和細(xì)胞學(xué)組織切片的方法"的No. 60/647,729號美國臨時專利申請的優(yōu)先權(quán)，該申請的全部內(nèi)容通過引用被包 含于此。
權(quán)利要求
1.一種方法，包含基于包含樣本的一個或更多個圖像的圖像堆棧，把樣本的不同部分分類到相應(yīng)類別。
2. 如權(quán)利要求l所述的方法，還包含把樣本的光譜圖像集合分解為解混和圖像集合，其中解混和圖像集合的 每一個成員對應(yīng)于來自樣本中不同成分的光譜貢獻(xiàn)，其中，用于分類的圖像堆棧中的圖像包含一個或更多個解混和圖像。
3. 如權(quán)利要求2所述的方法，其中用于分類的圖像堆棧中的圖像包含兩 個或更多個解混和圖像。
4. 如權(quán)利要求l所述的方法，其中分類包含在圖像堆棧內(nèi)定位采樣窗口 ，以便選擇圖像堆棧的一部分用于分類，被 選擇的部分包含多個像素；把被選擇的部分分類到幾個類別其中之一 ，其中被選擇部分中的每一個 像素均被臨時分類為具有和被選擇部分相同的類別；平移采樣窗口以便選擇圖像堆棧的第二部分用于分類，并把第二部分分 類到幾個類別其中之一，其中，第二部分中的每一個像素均被臨時分類為具 有和第二部分相同的類別；針對圖像堆棧的額外部分重復(fù)所述平移和分類，直到圖像堆棧中的至少 一些像素已經(jīng)被多次臨時分類為被采樣窗口選擇的不同部分的一部分為止；和基于其多次臨時分類，把已經(jīng)被多次臨時分類的至少一些像素中的每一 個分類到幾個類別其中之一。
5. 如權(quán)利要求4所述的方法，其中被采樣窗口選擇的不同部分包含相同 數(shù)量的像素。
6. 如權(quán)利要求4所述的方法，其中被采樣窗口選擇的不同部分中的至少 一些纟皮此重疊。
7. 如權(quán)利要求4所述的方法，其中每一個像素的臨時分類可以被表述為 指示像素被臨時分類到每一個類別的次數(shù)的直方圖。
8. 如權(quán)利要求4所述的方法，其中每一個像素的最終分類對應(yīng)于其最經(jīng) 常被臨時分類到的類別。
9. 如權(quán)利要求4所述的方法，其中至少一些像素被臨時分類的次數(shù)可以 大于2并且不大于采樣窗口中的像素數(shù)量。
10. 如權(quán)利要求9所述的方法，其中至少一些像素被臨時分類的次數(shù)等 于采樣窗口中的像素數(shù)量。
11. 如權(quán)利要求1所述的方法，其中圖像堆棧包含多于三個光譜圖像， 并且其中，分類包含基于光譜圖像集合把圖像堆棧的不同區(qū)域分類到相應(yīng)類別，其中，每一 個區(qū)域均包含多個像素，使得每一個分類既涉及光i普信息也涉及空間信息。
12. 如權(quán)利要求l所述的方法，還包含 基于樣本的光譜圖像集合產(chǎn)生復(fù)合圖像，其中，集合中的兩個或更多個不同光i普圖像的空間強(qiáng)度被不同地加權(quán)和 組合以產(chǎn)生復(fù)合圖像，和其中，圖像堆棧中的一個或更多個圖像包含所述復(fù)合圖像。
13. 如權(quán)利要求12所述的方法，其中光譜圖像集合包含n個圖像，并且 其中，用于分類的圖像堆棧中的一個或更多個圖像包含少于n個圖像。
14. 如權(quán)利要求12所述的方法，其中，通過根據(jù)隨光i普波長單調(diào)地變化 的函數(shù)對集合中的兩個或更多個不同光譜圖像的空間強(qiáng)度進(jìn)行加權(quán)產(chǎn)生復(fù)合 圖像。
15. 如前面權(quán)利要求中的任何一個所述的方法，其中神經(jīng)網(wǎng)絡(luò)被用于分類。
16. 如前面權(quán)利要求中的任何一個所述的方法，其中圖像堆棧中的一個 或更多個圖像包含一個或更多個光譜圖像。
17. 如權(quán)利要求16所述的方法，其中用于分類的輸入信息既包括光譜信 息，也包括空間信息。
18. 如權(quán)利要求4到10中的任何一個所述的方法，其中圖像堆棧只包含 一個圖像。
19. 如前面權(quán)利要求中的任何一個所述的方法，其中圖像堆棧包含RGB圖像。
20. 如前面權(quán)利要求中的任何一個所述的方法，還包含產(chǎn)生示出樣本的 被分類區(qū)域的輸出圖像。
21. 如前面權(quán)利要求中的任何一個所述的方法，還包含獲取圖像堆棧中 的一個或更多個圖像。
22. 如權(quán)利要求21所述的方法，其中通過測量透射過樣本或/人樣本反射 的光來獲取圖像。
23. 如權(quán)利要求21所述的方法，其中通過測量來自樣本的焚光發(fā)射獲取 圖像。
24. 如權(quán)利要求16所述的方法，其中樣本包含具有不同的吸收和發(fā)射光 語的成分。
25. 如權(quán)利要求14所述的方法，其中加權(quán)函數(shù)是隨著光鐠波長線性變化 的斜坡函數(shù)。
26. 如權(quán)利要求12所述的方法，其中兩個或更多個不同光譜圖像的空間 強(qiáng)度被根據(jù)隨著光i普波長非單調(diào)變化的函數(shù)進(jìn)行加權(quán)。
27. 如權(quán)利要求26所述的方法，其中加權(quán)函數(shù)包含隨著光譜波長單調(diào)變 化的第一部分和隨著光譜波長單調(diào)變化的第二部分，其中，加權(quán)函數(shù)的第一 和第二部分的斜率具有相反的符號。
28. 如權(quán)利要求27所述的方法，其中加權(quán)函數(shù)是高斯函數(shù)。
29. 如權(quán)利要求12所述的方法，其中選擇加權(quán)函數(shù)以便增強(qiáng)從兩個或更 多個不同的光譜圖像貢獻(xiàn)給復(fù)合圖像的特征之間的對比度。
30. 如權(quán)利要求12所述的方法，其中圖像堆棧中的一個或更多個圖像包 含兩個或更多個復(fù)合圖像。
31. 如前面權(quán)利要求中的任何一個所述的方法，其中，樣本是組織切片。
32. 如權(quán)利要求16所述的方法，其中樣本區(qū)域被分類的類別數(shù)量等于樣 本中不同的光語貢獻(xiàn)者的數(shù)量。
33. 如權(quán)利要求32所述的方法，其中不同的光譜貢獻(xiàn)者是化學(xué)染料或者 焚光標(biāo)記。
34. 如權(quán)利要求15所述的方法，其中把樣本的不同區(qū)域分類到不同類別 包含標(biāo)識對應(yīng)于各個類別中的每一個的圖像堆棧的被選擇區(qū)域，基于被選 擇的區(qū)域訓(xùn)練神經(jīng)網(wǎng)絡(luò)識別這些類別，和把訓(xùn)練過的神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像堆 棧的額外區(qū)域。
35. 如權(quán)利要求15所述的方法，其中神經(jīng)網(wǎng)絡(luò)的輸入是特征向量，具有 一個或更多個基于計(jì)算圖像堆棧中對應(yīng)的一個圖像的至少 一個空間灰度級依 賴矩陣的元素。
36. 如權(quán)利要求15所述的方法，其中神經(jīng)網(wǎng)絡(luò)的輸入是特征向量，具有 一個或更多個基于計(jì)算圖像堆棧中對應(yīng)的一個圖像的二維傅立葉變換的元素。
37. 如權(quán)利要求16所述的方法，其中光譜圖像是根據(jù)不同的用于發(fā)射的 光鐠指數(shù)的樣本發(fā)射的圖像。
38. 如權(quán)利要求16所述的方法，其中光譜圖像是根據(jù)不同的導(dǎo)致發(fā)射的 樣本的照射光譜指數(shù)的樣本發(fā)射的圖像。
39. —種方法，包含在圖像堆棧內(nèi)定位采樣窗口，以便選擇圖像堆棧的一部分用于分類，圖 像堆棧包含一個或更多個圖像，并且被選擇的部分包含多個像素；把被選擇的部分分類到幾個類別其中之一 ，其中被選擇部分中的每一個 像素均被臨時分類為具有和被選擇部分相同的類別；平移采樣窗口以便選擇圖像堆棧的第二部分用于分類，并把第二部分分 類到幾個類別其中之一，其中第二部分中的每一個像素均被臨時分類為具有 和第二部分相同的類別；針對圖像堆棧的額外部分重復(fù)所述平移和分類，直到圖像堆棧中的至少 一些像素已經(jīng)被多次臨時分類為被采樣窗口選擇的不同部分的一部分為止； 和基于其多次臨時分類，把已經(jīng)被多次臨時分類的至少一些像素中的每一 個分類到幾個類別其中之一。
40. 包含存儲導(dǎo)致處理器執(zhí)行前面的權(quán)利要求中的任何一個所述的方法 的程序的計(jì)算機(jī)可讀介質(zhì)的設(shè)備。
41. 設(shè)備，包含用于獲取樣本的一個或更多個圖像的裝置；和電子處理器，用于基于所獲取的圖像分析圖像堆棧，并被配置成基于如 權(quán)利要求1到38中任何一個所述的方法中給出的圖像堆棧把樣本的不同部分 分類到相應(yīng)類別。
42. 如權(quán)利要求41所述的設(shè)備，其中用于獲取樣本的一個或更多個圖像 的裝置包含用于從樣本獲取光譜分辨發(fā)射圖像的裝置。
43. 如權(quán)利要求41所述的設(shè)備，其中用于獲取樣本的一個或更多個圖像 的裝置包含用于從樣本獲取對應(yīng)于樣本的不同光鐠照射的圖像的裝置。
44.設(shè)備，包含用于獲^t樣本的一個或更多個光譜圖像的光學(xué)系統(tǒng)；和電子處理器，用于基于所獲取的光語圖像分析圖像堆棧，并被配置成基于如權(quán)利要求1到38中任何一個所述的方法中給出的圖^象堆棧把樣本的不同部分分類到相應(yīng)類別。
全文摘要
公開了用于基于包括一個或更多個圖像的圖像堆棧把樣本的不同部分分類到相應(yīng)類別的方法。
文檔編號G06K9/00GK101151623SQ200680010148
公開日2008年3月26日 申請日期2006年1月27日 優(yōu)先權(quán)日2005年1月27日
發(fā)明者克利福德·C·霍伊特, 柯克·W·戈西奇, 理查德·利文森 申請人:劍橋研究和儀器設(shè)備股份有限公司