生物圖像的分析裝置、分析方法和分析系統的制作方法

生物圖像的分析裝置、分析方法和分析系統的制作方法
【專利摘要】本發明涉及生物圖像的分析裝置、分析方法和分析系統。生物圖像分析裝置，包括：獲取單元，在作為生物部位的基準的軸上的多個位置處獲取垂直于所述軸的截面的圖像；確定單元，從由所述獲取單元獲取的多個圖像中確定作為基準的圖像和用于與所述作為基準的圖像比較的圖像；提取單元，從所述作為基準的圖像中提取特征點的位置；檢測單元，從所述用于比較的圖像中檢測出與由所述提取單元提取的位置相對應的位置；分割單元，基于由所述提取單元提取的位置，分割所述作為基準的圖像；映射單元，將所述用于比較的圖像映射到與所述作為基準的圖像的各個分割區域相對應的區域，同時進行修改使得與所述分割區域的形狀一致。
【專利說明】生物圖像的分析裝置、分析方法和分析系統
[0001]本申請是分案申請，其原案申請的申請號為201010140517.2，申請日為2010年3月25日，發明名稱為“生物圖像的呈現裝置、呈現方法、程序和呈現系統”。
【技術領域】
[0002]本發明涉及一種生物圖像分析裝置、生物圖像分析方法和生物圖像分析系統。本發明適用于圖像處理領域。
【背景技術】
[0003]通過將從離體組織切片的組織切片固定在載玻片上并在必要時對組織切片進行染色來產生病理標本，并將其保存。通常，如果病理標本保存很長時間，則顯微鏡的可見度由于組織切片的劣化或退色而劣化。病理標本用于在制作病理標本的諸如醫院的機構以外的機構進行診斷，并且病理標本通常通過郵寄遞送。因此，遞送病理標本會花費一定的時間。
[0004]考慮到這樣的情況，提出了一種這樣的計算機系統:將病理標本中組織切片的放大圖像儲存為圖像數據，并將該放大的圖像呈現在顯示屏上(例如，參見JP-T-2006-292999)。

【發明內容】

[0005]針對從離體組織的表層至深層的多個位置的組織切片來制作病理標本，然而，需要進行復雜的操作，以通過使用顯示畫面從與有關層不同的層的組織切片中尋找任何一層的組織切片的特定細胞。為此，需要對從表層至深層的各個層析成像層(斷層成像層，tomographic layer)的組織切片圖像進行三維觀察。
[0006]然而，當三維地觀察從表層至深層的各個層析成像層的組織切片圖像時，各個層析成像層的組織切片沒有進行處理，例如切片、染色、固定等，所以組織切片是不相同的。
[0007]為此，當從任意層析成像層的組織切片圖像來顯示不同層析成像層的組織切片圖像時，即使兩種圖像是相同的，有關組織切片圖像也可能被觀察為完全不同的圖像。
[0008]從而，期望提供一種能夠改善可見度的生物圖像呈現裝置、生物圖像呈現方法、程序以及生物圖像呈現系統。
[0009]本發明的實施方式提供了一種生物圖像呈現裝置。該裝置包括獲取單元，在作為生物部位(biological region)的基準的軸上的多個位置處獲取垂直于軸的截面的圖像；確定單元，從由獲取單元獲取的多個圖像中，確定作為基準的圖像和用于與作為基準的圖像比較的圖像；提取單元，從作為基準的圖像中提取出呈現等于或大于規定值的亮度值變化的位置；檢測單元，從用于比較的圖像中檢測出與由提取單元提取的位置相對應的位置；分割單元，基于由提取單元提取的位置來分割作為基準的圖像；映射單元(mapping unit),將用于比較的圖像映射至對應于作為基準的圖像的各個分割區域的區域，同時進行修改(modifying，變形)使得與分割區域的形狀一致；以及顯示控制單元，通過使用作為基準的圖像和由映射單元映射的圖像，切換并顯示用于在顯示區域中顯示的圖像。
[0010]本發明的另一實施方式提供了一種生物圖像呈現方法。該方法包括以下步驟:在作為生物部位的基準的軸上的多個位置處獲取垂直于軸的截面的圖像；從在獲取圖像的步驟中獲取的多個圖像中，確定作為基準的圖像和用于與作為基準的圖像比較的圖像；從作為基準的圖像中提取出呈現等于或大于規定值的亮度值變化的位置；從用于比較的圖像中檢測與在提取位置的步驟中提取的位置相對應的位置；基于在提取位置的步驟中所提取的位置來分割作為基準的圖像；將用于比較的圖像映射至與作為基準的圖像的各個分割區域相對應的區域，同時進行修改使得與分割區域的形狀一致；以及通過使用作為基準的圖像和在映射用于比較的圖像的步驟中映射的圖像，切換并顯示用于在顯示區域中顯示的圖像。
[0011]本發明的又一實施方式提供了一種程序。該程序使計算機執行以下步驟:在作為生物部位的基準的軸上的多個位置處獲取垂直于軸的截面的圖像；從多個獲取的圖像中，確定作為基準的圖像和用于與作為基準的圖像比較的圖像；從作為基準的圖像中提取呈現等于或大于規定值的亮度值變化的位置；從用于比較的圖像中檢測與提取的位置相對應的位置；基于所提取的位置來分割作為基準的圖像；將用于比較的圖像映射至與作為基準的圖像的每個分割區域相對應的區域，同時進行修改使得與分割區域的形狀一致；以及通過使用作為基準的圖像和映射的圖像，切換并顯示用于在顯示區域中顯示的圖像。
[0012]本發明的又一實施方式提供了一種生物圖像呈現系統。該系統包括顯微鏡和數據處理器。數據處理器包括獲取單元，其從顯微鏡獲取在從生物部位切除的組織的深度方向上的多個位置切片的組織切片的放大圖像；確定單元，從通過獲取單元獲取的多個圖像中，確定作為基準的圖像和用于與作為基準的圖像比較的圖像；提取單元，從作為基準的圖像中提取出呈現等于或大于規定值的亮度值變化的位置；檢測單元，從用于比較的圖像中檢測與由提取單元提取的位置相對應的位置；分割單元，基于由提取單元提取的位置來分割作為基準的圖像；映射單元，將用于比較的圖像映射至與作為基準的圖像的各個分割區域相對應的區域，同時進行修改使得與分割區域的形狀一致；以及顯示控制單元，通過使用作為基準的圖像和由映射單元映射的圖像而切換并顯示用于在顯示區域中顯示的圖像。
[0013]根據本發明的實施方式，將比較圖像映射至基于特征點的各個區域，同時與基準圖像的區域形狀一致。為此，即使生物體各個截面的圖像(層析圖像)彼此對應但形狀不同，差異也可以被修正同時可以維持內部器官自身的形狀。因此，當切換用于在顯示區域中顯示的圖像時，可以避免切換前和切換后的圖像被觀察為完全不同的圖像，即使圖像是相同的。結果，可以實現能夠改善可見度的生物圖像呈現裝置、生物圖像呈現方法、程序以及生物圖像呈現系統。
【專利附圖】

【附圖說明】
[0014]圖1是示意性地示出了生物圖像呈現裝置的構成的示圖。
[0015]圖2是示出了在深度方向上固定有各組織切片的載玻片組的示意圖。
[0016]圖3是示出了數據處理器的構成的框圖。
[0017]圖4是示出了執行獲取處理的CPU的功能構成的框圖。
[0018]圖5是示出了組織切片的每個區域的圖像獲取的示意圖。[0019]圖6是示出了執行圖像處理的CPU的功能構成的框圖。
[0020]圖7是示出了特征點的提取結果的照片。
[0021]圖8是示出了對應點的搜索的照片。
[0022]圖9是示出了三角剖分(triangulation)的照片。
[0023]圖10是示出了三角形片(triangular patch)的映射的照片。
【具體實施方式】
[0024]在下文中，將描述本發明的實施方式。將按照以下順序來提供描述。
[0025]〈1.實施方式〉
[0026][1-1.生物圖像呈現裝置的構成]
[0027][1-2.數據處理器的構成]
[0028][1-3.組織切片圖像的獲取處理]
[0029][1-4.組織切片圖像的圖像處理]
[0030][1-5.組織切片圖像的顯示處理]
[0031][1-6.效果等]
[0032]<2.其它實施方式>
[0033]〈1.實施方式〉
[0034][1-1.生物圖像呈現裝置的構成]
[0035]圖1示出了生物圖像呈現系統I。生物圖像呈現系統I包括顯微鏡10和數據處理器20。
[0036]顯微鏡10具有其上設置有載玻片SG的表面(在下文中，還稱作載片安裝面(slidesetting surface)),并且包括相對于載片安裝面可以平行或垂直(xyz軸方向)移動的鏡臺(stage)(在下文中，也稱作活動鏡臺)11。
[0037]活動鏡臺11設置有將容納在載玻片容器(未示出)中的多個載玻片SG逐個地設定在載片安裝面的安裝位置的機構(在下文中，也稱作載片安裝機構)12。
[0038]在該實施方式中，通過預定的固定方法將組織切片固定在載玻片SG上。如圖2所示，將在深度(深部分)方向上從生物體的離體組織切割的所有或部分組織切片固定在各自的載玻片上，并且例如，從其上固定有表層側(淺切割位置)組織切片的載玻片開始，按順序將載玻片容納在載玻片容器中。
[0039]組織切片在必要時進行染色。染色包括由HE (蘇木精-伊紅)染色、吉姆薩染色或帕帕尼科拉烏染色表示的一般染色，以及諸如FISH (熒光原位雜交)或酶抗體技術的熒光染色。
[0040]光學系統13布置在活動鏡臺11的一個表面上，并且照明燈14布置在活動鏡臺11的另一個表面上。照明燈14的光從在載片安裝面上的安裝位置處形成的開口，作為對于布置在活動鏡臺11的一個表面上的生物標本SPL照明光而到達。
[0041]顯微鏡10通過光學系統13的第一物鏡13A和第二物鏡13B，以預定的放大率來放大通過照明光獲得的組織切片的一部分的圖像，并且在成像單元15的成像面上形成圖像。
[0042]顯微鏡10還具有相對于熒光染色照射激發光的激發光源16。當從激發光源16照射激發光時，顯微鏡10使激發光被設置在第一物鏡13A與第二物鏡13B之間的二向色鏡13C反射并且指向第一物鏡13A。顯微鏡10通過第一物鏡13A將激發光聚集在布置在活動鏡臺11上的載玻片SG上。
[0043]當固定在載玻片SG上的生物標本SPL經歷熒光染色時，熒光顏料由于激發光而發射光。由光發射產生的光(在下文中，也稱作著色光)通過第一物鏡13A傳播到二向色鏡13C。著色光通過設置在二向色鏡13C與第二物鏡13B之間的吸收過濾板13D而到達第二物鏡13B。
[0044]顯微鏡10通過第一物鏡13A來放大著色光的圖像，并且通過吸收過濾板13D來吸收除了著色光之外的光(在下文中，也稱作外光)。然后，顯微鏡10通過第二物鏡13B來放大沒有外光的著色光的圖像，并在成像單元15的成像面上形成圖像。
[0045]數據處理器20被構造成將在深度(深部分)方向上的多個位置處的離體組織的組織切片(圖2)的放大圖像(在下文中，也稱作放大的切片圖像)存儲成預定格式的數據。
[0046]因此，與保存載玻片SG本身相比，生物圖像呈現系統I可以長期保存組織切片，而不存在固定狀態或著色狀態劣化。
[0047]數據處理器20被配置為用于構造放大的切片圖像的三維組合圖像(在下文中，也稱作三維組織圖像)，并且呈現三維組織圖像或放大的切片圖像。
[0048]因此，生物圖像呈現系統I可以呈現在不同的時間點離體組織的狀態，并且結果，可以精確地確定病理變化的侵入深度(侵入的程度)等。
[0049][1-2.數據處理器的構成]
[0050]圖3示出了數據處理器20的構成。數據處理器20具有各種硬件連接至CPU (中央處理單元)21的構成，其執行生物圖像顯示系統I的全面控制。
[0051]具體地，ROM (只讀存儲器)22、作為CPU21的工作存儲器的RAM (隨機存取存儲器)23、緩沖存儲器24、用于根據用戶的操作輸入命令的操作輸入單元25、接口 26、顯示單元27和存儲單元28通過總線29連接至CPU21。
[0052]R0M22存儲用于執行各種處理的程序。活動鏡臺11、載片安裝機構12、照明燈14、成像單元15和激發光源16通過預定的通信路徑連接至接口 26。
[0053]對于顯示單元27，使用液晶顯示器、EL (電致發光)顯示器或等離子體顯示器。對于存儲單元28，使用由HD (硬盤)、半導體存儲器或光盤表示的磁盤。可以使用便攜式存儲器，例如USB (通用串行總線)存儲器或CF (緊湊式閃速)存儲器。
[0054]CPU21從存儲在R0M22中的多個程序中，將與來自操作輸入單元25的命令相對應的程序加載到RAM23上，并且根據加載的程序適當地控制緩沖存儲器24、顯示單元27和存儲單元28。
[0055]CPU21還被構造成根據加載的程序通過接口 26適當地控制活動鏡臺11、載片安裝機構12、照明燈14、成像單元15和激發光源16。
[0056][1-3.組織切片圖像的獲取處理]
[0057]當從操作輸入單元25接收放大的切片圖像的獲取命令時，根據與獲取命令相對應的程序，如圖4所示，CPU21起載片安裝控制單元41、放大切片圖像獲取單元42和數據存儲單元43的作用。
[0058]載片安裝控制單元41控制載片安裝機構12以將容納在載玻片容器中的多個載玻片SG逐個地設置在載片安裝面的安裝位置。[0059]每當通過載片安裝控制單元41來設置載玻片SG時，放大切片圖像獲取單元42就獲取固定在安裝的載玻片SG上的組織切片的放大切片圖像。
[0060]具體地，作為第一步驟，放大切片圖像獲取單元42調整光學系統13的焦點位置以及成像單元15的靈敏度。
[0061]關于焦點位置的調整，例如，使用一種這樣的方法，其中基于由從成像單元15輸出的拍攝數據表示的像素值來控制活動鏡臺11，使得光學系統13和成像單元15的成像面在光軸方向上的相對位置改變。
[0062]關于成像單元15的靈敏度的調整，例如，使用了這樣的一種方法，其中改變照明燈14或激發光源16的激發光的全部或部分照射量(光強度)、在成像單元15中的曝光時間和孔徑光闌的孔徑比。
[0063]作為第二步驟，例如，如圖5所示，放大切片圖像獲取單元42沿著載片安裝面移動活動鏡臺11，使得將通過物鏡13A和13B放大的組織切片ETS (放大的切片圖像)分配給成像范圍AR。在圖5中，分配給成像范圍AR的組織切片ETS的區域并不與其它區域重疊，但是相鄰區域的一部分可能會與組織切片ETS的區域重疊。
[0064]作為第三步驟，放大切片圖像獲取單元42通過使用分配給成像范圍AR的區域的獲取數據來連接該區域，使得生成放大的切片圖像。
[0065]作為第四步驟，放大切片圖像獲取單元42產生放大的切片圖像，作為針對每一水平的不同分辨率的圖像，并且根據預定的塊(在下文中，也稱作片(tile))來分割每一水平的放大的切片圖像。
[0066]以這種方式，放大切片圖像獲取單元42被構造成產生固定在載玻片SG上的組織切片的放大的切片圖像，以對應應該在顯示區域中顯示的每一水平的分辨率。
[0067]當產生與每一水平的分辨率相對應的放大的切片圖像時，數據存儲單元43產生與定義水平的分辨率相對應的放大切片圖像的縮小圖像(在下文中，也稱作縮略切片圖像)以及關于放大的切片圖像的識別信息。
[0068]數據存儲單元43被構造成將與每一水平的分辨率相對應的放大的切片圖像和縮略的切片圖像作為與識別信息有關的預定數據格式記錄在存儲單元28中。
[0069]識別信息是包括例如載片號碼、采集組織切片的人(患者)的名稱、分配號碼、性別和年齡、采集日期等的信息。載片號碼是例如根據組織切片采集的人，從其上固定有離體組織的淺切割面的組織切片(早期切割的組織切片)的的載玻片開始按順序給出的。
[0070]作為獲取識別信息的方法，例如，使用了這樣的一種方法，其中識別信息從附著至安裝在安裝位置的載玻片SG的條形碼獲取，或在預定的定時從操作輸入單元25輸入識別信息。獲取識別信息的方法并不限于該示例。
[0071]以這種方式，當放大的切片圖像的獲取命令給定時，CPU21被構造成將深度(深部分)方向上多個切片面處的組織切片(圖2)的放大圖像存儲為數據。
[0072][1-4.組織切片圖像的圖像處理]
[0073]當上述獲取處理結束時，根據關于圖像處理的程序，如圖6所示，CPU21起三維圖像生成單元51和不同分辨率圖像生成單元52的作用。
[0074]三維圖像生成單元51從每個組織切片采集的人的各自切片面上的放大切片圖像產生三維圖像，并且其被功能上分成圖像確定單元61、模板匹配單元62、特征點提取單元63、對應點檢測單元64、分割單元65以及組織(texture)映射單元66。
[0075]圖像確定單元61從多個放大的切片圖像中確定作為標準的放大切片圖像(在下文中，也稱作標準層析圖像)以及用于與標準層析圖像比較的放大切片圖像(在下文中，也稱作參考層析圖像)。
[0076]在該實施方式中，各自的放大切片圖像按照從切割位置較淺的放大切片圖像開始的順序被確定為標準層析圖像，并且相對于標準層析圖像的切割位置被定位在表層側或深層側的放大切片圖像被確定為參考層析圖像。
[0077]模板匹配單元62相對于基準層析成像層來定位參考層析成像層。對于定位方法，例如，使用了一種這樣的方法，其中參考層析圖像平行移動或旋轉，使得與標準層析圖像處的像素級的相關性最小化。
[0078]特征點提取單元63通過使用被稱為Harris角點(Harris corner)的提取算法來提取亮度值的變化突出的位置(呈現等于或小于規定值的亮度值變化的位置)作為來自標準層析圖像的特征點。
[0079]圖7示出了從放大的切片圖像提取的以黑點表示的特征點的照片。根據圖7顯而易見的是，該提取算法的優點在于，沒有特征點提取自呈現梯度(gradation)的部分。該提取算法的優點還在于，對于待提取圖片的旋轉，它是穩定的。
[0080]對應點檢測單元64從參考層析圖像檢測出標準層析圖像中對應于特征點的點(在下文中，稱作對應點)。
[0081]具體地，作為第一步驟，對應點檢測單元64將標準層析圖像中的每個特征點順序地確定為關注對象的點(在下文中，稱作關注點)。
[0082]作為第二步驟，如圖8所示，對應點檢測單元64識別出確定的關注點AP周圍的預定尺寸的塊(在下文中，稱作關注塊)ABL。
[0083]對應點檢測單元64基于對應于關注點AP的參考層析圖像的位置，例如，通過歸一化相關法從尺寸大于關注塊ABL的搜索范圍AR中搜索出與關注塊ABL具有最高相似度的塊。
[0084]作為第三步驟，當塊DBL相對于關注塊ABL的最高相似度(相關值)等于或大于設定值時，對應點檢測單元64檢測出相關塊DBL的中心作為關注點AP的對應點XP。
[0085]同時，當關注塊ABL和塊DBL的最高相似度(相關值)小于該設定值時，對應點檢測單元64被構造成確定，沒有關注點AP的對應點XP并且刪除關注點AP。
[0086]因此，即使當因為在切割、染色和固定過程中組織切片損壞、膨脹/縮小或產生氣泡，通過特征點提取單元63提取沒有作為組織形態的特征的部分作為特征點時，相關點也可以通過對應點檢測單元64刪除。
[0087]如上所述，三維圖像生成單元51被構造成精確地提取真正具有作為組織形態的特征的部分作為特征點。
[0088]當檢測出參考層析圖像中的對應點時，分割單元65通過使用稱作Delaunay三角剖分法的分割算法將標準層析圖像分割成具有特征點作為頂點的三角形區域(在下文中，也稱作三角形片)。
[0089]圖9示出了分割標準層析圖像的以黑線表示的分割邊界的照片。根據圖9顯而易見的是，作為特征點的數量，存在復雜的組織形態，并且更精細地分割了相關形態。[0090]組織映射單元66基于參考層析圖像中的對應點來識別對應于標準層析圖像的每個三角形片的區域。如果組織切片損壞、膨脹/縮小或者產生氣泡，則由于對應點和標準層析圖像的特征點的絕對位置不同，各個區域不與對應三角形片的形狀一致。
[0091]如圖10所示，組織映射單元66將參考層析圖像的每個像素映射到三維物體的對應位置，同時修改每個區域以與對應三角形片的形狀一致。
[0092]因此，即使各自層析圖像中的區域彼此對應但形狀不同，在維持內部器官自身的形狀的同時差異也可以被修正。另外，離體組織在深層方向上的切割位置之間的間隙根據試切割或技能而不同，并且差異反映在各自層析圖像的區域的形狀中，即使它們彼此對應，但是在維持內部器官自身形狀的同時這種差異也可以被修正。
[0093]由于存在復雜的組織形態，因此修正單元(三角形片)變得更好，使得不管組織形態的復雜性如何，均能精確地維持層析成像層之間的內部器官的形狀。
[0094]以這種方式，三維圖像生成單元51被構造成針對每個組織切片采集的人映射在各個切片面上的放大切片圖像，并且將映射的放大切片圖像(在下文中，也稱作三維切片圖像)作為與識別信息有關的預定格式的數據存儲在存儲單元28中。
[0095]為了比較，映射的放大切片圖像包括其切割位置最淺的放大切片圖像(標準層析圖像)。
[0096]當從放大的切片圖像中產生三維切片圖像時，不同分辨率圖像生成單元52產生三維切片圖像，作為每一水平的不同分辨率的圖像，并且按照片來分割每一水平的三維切片圖像。
[0097]不同分辨率圖像生成單元52被構造成將對應于每一水平分辨率的三維圖像作為與識別信息相關的預定格式的數據存儲在存儲單元28中。
[0098][1-5.組織切片圖像的呈現處理]
[0099]當從操作輸入單元25給出組織圖像的呈現命令時，CPU21根據對應于呈現命令的程序，在顯示單元27上顯示畫面(在下文中，也稱作縮略圖像)，所述畫面示出了根據組織切片采集的人存儲的縮略切片圖像。
[0100]當選擇應該作為放大的切片圖像顯示的縮略切片圖像時，CPU21根據操作輸入單元25的操作來顯示縮略切片圖像和能移動縮略切片圖像的指示器。
[0101]在這種情況下，CPU21從對應于與用于選擇的縮略切片圖像有關的各自水平的分辨率的放大切片圖像中選擇對應于初始分辨率的放大的切片圖像。CPU21從所選的放大切片圖像中讀取對應于顯示區域的部分(在下文中，也稱作用于顯示的圖像)中的片，并顯示該片。
[0102]當從操作輸入單元25指定用于顯示的位置時(當指示器的位置改變時)，CPU21基于指定的位置來讀取用于顯示的圖像并顯示該片。
[0103]當指定用于顯示的分辨率時，CPU21基于指定時指示器的位置，從對應于指定分辨率的放大切片圖像中讀取用于顯示的圖像中的片并顯示該片。
[0104]以這種方式，CPU21被構造成根據來自操作輸入單元25的指示，切換用于在顯示區域中顯示的放大切片圖像的表面方向中的位置或分辨率。
[0105]通過切換縮略畫面或者在高于縮略畫面的顯示層的層中，將用于選擇的縮略切片圖像、指示器以及用于顯示的圖像作為同一顯示層顯示。[0106]同時，當選擇作為三維組織圖像的用于顯示的縮略切片圖像時，CPU21根據操作輸入單元25的操作來顯示三維物體和能夠移動三維物體的指示器。
[0107]在這種情況下，CPU21從對應于與用于選擇的縮略切片圖像有關的各個水平的分辨率的三維切片圖像中選擇對應于初始分辨率和初始層析成像面的三維切片圖像。CPU21從存儲單元28中讀取對應于來自所選的三維切片圖像的顯示區域的部分(在下文中，也稱作用于顯示的圖像)中的片并將該片顯示在顯示區域中。
[0108]當從操作輸入單元25指定用于顯示的位置時(當指示器的位置改變時)，CPU21基于指定的位置，從存儲單元28中讀取來自對應于指定位置的層析成像面的三維切片圖像的用于顯示的圖像中的片。然后，CPU21將從存儲單元28讀取的片顯示在顯示區域中。
[0109]當指定用于顯示的分辨率時，CPU21基于在指定時間指示器的位置，在對應于指定分辨率的三維切片圖像之中，從在指定時間對應于層析成像面的三維切片圖像讀取用于顯示的圖像中的片并且顯示該片。
[0110]如上所示，CPU21被構造成根據來自操作輸入單元25的指示，切換用于在顯示區域中顯示的三維切片圖像的深度方向或表面方向上的位置或者分辨率。
[0111]通過切換縮略畫面或者在高于縮略畫面的顯示層的層中，將三維物體、指示器以及用于顯示的圖像作為同一顯示層顯示。
[0112]在該實施方式中，當用于在顯示區域中顯示的圖像被顯示在顯示區域中時，CPU21根據當前用于顯示的圖像預測下一幅用于顯示的圖像(在下文中，也稱作顯示預測圖像)。CPU21從存儲單元28讀取顯示預測圖像中的片，并將該片存儲在緩沖存儲器24中。
[0113]然后，CPU21從緩沖存儲器24讀取下一幅用于在顯示區域中顯示的圖像中的與顯示預測圖像相同的部分的片，從存儲單元28中讀取與顯示預測圖像不同的部分的片，并且將該片顯示在顯示區域中。
[0114]因此，CPU21被構造成平穩地顯示深度方向或層析成像面方向上用于顯示的相鄰圖像。
[0115][1-6.效果等]
[0116]利用上述的構造，當獲得在離體組織深度方向上多個位置處切割的組織切片的放大切片圖像時，生物圖像呈現系統I映射放大的切片圖像，同時按照三角形片修改放大的切片圖像(參見圖10)。
[0117]然后，生物圖像呈現系統I根據來自操作輸入單元25的指示，切換用于在顯示區域中顯示的三維圖像深度方向上的位置。
[0118]因此，即使當各個層析圖像中的區域彼此對應但形狀或相對于離體組織在深度方向上的切割位置之間的間隙不同時，生物圖像顯示系統I也可以修正差異同時維持內部器官自身的形狀。
[0119]這種差異是由于在制作病理標本的過程中許多人為步驟(例如切割、染色、固定等)而造成的。因此，放大的切片圖像被映射，同時按照三角形片被修改，這對于病理標本是尤其有用的。
[0120]在熒光標記與組織的特定基因結合(FISH:熒光原位雜交)的病理標本的情況下，即使當熒光標記在深層方向上重疊時，生物圖像呈現系統I也可以精確地檢測出基因數量的增加/減少。[0121][2.其他實施方式]
[0122]在上述實施方式中，獲得了在生物體的離體組織的深度方向上多個位置切割的組織切片的放大圖像。然而，待獲取的層析圖像并不限于此。
[0123]例如，在身體軸線上的多個位置，例如頭部、胸部或腹部，都可以獲得垂直于身體軸線的截面的CT (計算斷層照相法)圖像、MRI (磁共振成像)圖像、PET (正電子發射X射線層析照相術)圖像或超聲圖像。重要的是，在生物部位中作為基準的軸上的多個位置處，獲得了垂直于軸的截面的圖像(層析圖像)。
[0124]關于層析圖像的獲取，使用放大切片圖像獲取單元42，其實時地從顯微鏡10獲取層析圖像。然而，層析圖像的獲取單元并不限于此。
[0125]例如，可以使用這樣的獲取單元，其在作為基準的軸上的多個位置處以不同的放大率獲取垂直于軸的截面的圖像(層析圖像)。利用該獲取單元，可以將離體組織的狀態呈現在視圖的更多點上，所以有用的是，其可以精確地確定病理變化的侵入深度(侵入的程
FfrA坐}又)寸O
[0126]此外，可以使用這樣的獲取單元，其從數據存儲介質中獲取圖像，其中存儲表示作為基準的軸上的多個位置處垂直于軸的截面的圖像(層析圖像)的數據。這種獲取單元是特別有用的，例如當獲取層析圖像的位置遠離診斷位置時。此外，可以使用這樣的獲取單元，其中從相應的裝置(顯微鏡、CT裝置、PET裝置或超聲裝置)和數據存儲介質中選擇性地獲取層析圖像，諸如放大的切片圖像、CT圖像、PET圖像或超聲圖像。
[0127]作為數據存儲介質，例如，可以使用封裝介質(如軟盤、⑶-ROM (只讀型緊湊光盤)或DVD (數字通用光盤))、或數據臨時或永久存儲的半導體存儲器或磁盤。關于從數據存儲介質獲取數據的方法，可以使用有線或無線通信媒體，例如局域網或因特網、或數字衛星廣播。
[0128]在上述實施方式中，將各個放大的切片圖像按照從切割位置較淺的放大切片圖像開始的順序確定為標準層析圖像。然而，最淺切割面的組織切片的放大切片圖像等可以被固定作為標準層析圖像。在這種情況下，剩下的放大切片圖像可以被確定為參考層析圖像。
[0129]標準層析圖像并不限于單一層。例如，最淺切割面的組織切片的放大切片圖像和最深切割面的組織切片的放大切片圖像可以被用作標準層析圖像。在這種情況下，可以作出應該指定標準層析圖像的通知，并且由操作輸入單元25選擇的放大切片圖像可以被確定為標準層析圖像。
[0130]當各個放大的切片圖像按照從切割位置較淺(或較深)的放大切片圖像開始的順序被確定為標準層析圖像時，參考層析圖像是相對于標準層析圖像的切割位置位于鄰近表層側或深層側的放大切片圖像。在這種情況下，可以設定多個參考層析圖像。當發生這種情況時，可以獲得更合適的特征點。
[0131]確定標準層析圖像和參考層析圖像的方法并不限于示例，并且可以以多種方式進行修改。
[0132]在上述實施方式中，在給出組織切片圖像的呈現命令之前，進行三維圖像生成單元51和不同分辨率圖像生成單元52中的處理。然而，進行處理的時間并不限于該實施方式。例如，可以在從存儲單元28讀取用于在顯示區域中顯示的圖像時進行處理。三維圖像生成單元51和不同分辨率圖像生成單元52中的部分處理可以在給出組織切片圖像的呈現命令之前執行，并且剩下的處理可以在給出呈現命令之后執行。
[0133]在上述實施方式中，根據操作輸入單元25的指示(指示器的位置)來切換用于在顯示區域中顯示的圖像。然而，切換方法并不限于該實施方式。
[0134]例如，可以使用這樣的切換方法，其中從最外層或最深層以預定順序，諸如光柵掃描順序來切換用于在顯示區域顯示的圖像。利用該切換方法，如果在從操作輸入單元25接收到停止命令時用于顯示的圖像的切換停止，則與上述實施方式相比，相對于觀察者的操作可以被簡化。
[0135]在上述實施方式中，當從放大切片圖像中提取特征點時，使用稱作Harris角點的提取算法。然而，提取算法并不限于此。例如，可以使用諸如Moravec、向量跟蹤器、SUSAN(最小核心值相似區域(Smallest Univalue Segment Assymilating Nucleus))或 SIFT(變尺度特征檢測(Scale Invariant Feature Transformation))的提取算法。當然，可以使用其它提取算法。可以使用任何算法，只要可以提取亮度值的變化突出的位置(呈現等于或大于規定值的變化的位置)即可。
[0136]在上述實施方式中，當分割放大切片圖像時，使用稱作Delaunay三角剖分的分割算法。然而，分割算法并不限于此。例如，可以使用諸如VOTonoi的分割算法。當然，可以使用其它分割算法。可以使用任何算法，只要基于特征點能將圖像分割成多個區域即可。
[0137]雖然在上述實施方式中，單個緩沖存儲器24連接至總線29，但也可以連接多個緩沖存儲器24。當發生這種情況時，不管用于顯示的圖像數據的量或顯示移動速度如何，用于顯示的圖像都可以平穩地移動。
[0138]在上述實施方式中，三維圖像通過總線29存儲在數據處理器20的存儲單元28中。存儲單元28可以不設置在數據處理器20中，而設置在數據處理器20的外部。相對于存儲單元28的數據的通信媒介并不限于總線29，并且例如，可以使用有線或無線通信媒介(例如局域網或因特網、或數字衛星廣播)。
[0139]本發明可以用于基于生物技術的工業，例如生物實驗、醫學的開發和患者的隨訪。
[0140]本領域的普通技術人員應當理解，根據設計要求和其它因素，可以進行各種變形、組合、子組合以及改變，只要它們在所附權利要求書的范圍內或其等同范圍內。
【權利要求】
1.一種生物圖像分析裝置，包括: 獲取單元，在作為生物部位的基準的軸上的多個位置處獲取垂直于所述軸的截面的圖像； 確定單元，從由所述獲取單元獲取的多個圖像中確定作為基準的圖像和用于與所述作為基準的圖像比較的圖像； 提取單元，從所述作為基準的圖像中提取特征點的位置； 檢測單元，從所述用于比較的圖像中檢測出與由所述提取單元提取的位置相對應的位置； 分割單元，基于由所述提取單元提取的位置，分割所述作為基準的圖像； 映射單元，將所述用于比較的圖像映射到與所述作為基準的圖像的各個分割區域相對應的區域，同時進行修改使得與所述分割區域的形狀一致。
2.根據權利要求1所述的裝置，還包括: 顯示控制單元，通過使用所述作為基準的圖像和由所述映射單元映射的圖像，顯示用于在顯示區域中顯示的圖像。
3.根據權利要求1所述的裝置， 其中，所述獲取單元獲取在從所述生物部位切除的組織中的深度方向上的多個位置處切片的組織切片的放大圖像。
4.根據權利要求3所述的裝置， 其中，對于每個由所述提取單元提取的位置，所述檢測單元搜索相對于以相關位置為基準的搜索塊具有最大相似度的塊，當所述相似度等于或大于設定值時，檢測所述塊的預定位置作為所述對應位置，并且當所述相似度小于所述設定值時，刪除所述位置。
5.根據權利要求3所述的裝置，還包括: 顯示單元分割單元，將所述作為基準的圖像和由所述映射單元映射的圖像分割為顯示單元塊， 其中，當所述用于在顯示區域中顯示的圖像被顯示時，所述顯示控制單元根據當前圖像來預測用于顯示的下一幅圖像，將預測圖像的所述顯示單元塊存儲在緩沖存儲器中，從所述緩沖存儲器中讀取下一幅用于在顯示區域中顯示的圖像中的、與所述預測圖像相同的部分的顯示單元塊，并且從存儲單元中讀取與所述預測圖像不同的部分的顯示單元塊。
6.根據權利要求5所述的裝置， 其中，所述顯示單元分割單元產生所述作為基準的圖像和由所述映射單元映射的圖像，作為與多個水平的分辨率相對應的圖像，并且將對應于各個水平的分辨率的圖像分割成所述顯示單元塊。
7.—種生物圖像分析方法，包括以下步驟: 在作為生物部位的基準的軸上的多個位置處獲取垂直于所述軸的截面的圖像； 從在獲取圖像的步驟中獲取的多個圖像中確定作為基準的圖像和用于與所述作為基準的圖像比較的圖像； 從所述作為基準的圖像中提取特征點的位置； 從所述用于比較的圖像中檢測出與在提取位置的步驟中提取的位置相對應的位置； 基于在提取位置的步驟中所提取的位置來分割所述作為基準的圖像；將所述用于比較的圖像映射到與所述作為基準的圖像的各個分割區域相對應的區域，同時進行修改使得與所述分割區域的形狀一致。
8.根據權利要求7所述的方法，還包括以下步驟: 通過使用所述作為基準的圖像和在映射所述用于比較的圖像的步驟中映射的圖像，顯示用于在顯示區域中顯示的圖像。
9.一種生物圖像分析系統，包括: 獲取單元，從顯微鏡獲取在從生物部位切除的組織的深度方向上的多個位置處切片的組織切片的放大圖像， 確定單元，從由所述獲取單元獲取的多個圖像中確定作為基準的圖像和用于與所述作為基準的圖像比較的圖像； 提取單元，從所述作為基準的圖像中提取特征點的位置； 檢測單元，從所述用于比較的圖像中檢測出與由所述提取單元提取的位置相對應的位置； 分割單元，基于由所述提取單元提取的位置來分割所述作為基準的圖像； 映射單元，將所述用于比較的圖像映射到與所述作為基準的圖像的各個分割區域相對應的區域，同時進行修改使得與所述分割區域的形狀一致。
10.根據權利要求9所述的系統，還包括: 顯示控制單元，通過使用所.述作為基準的圖像和由所述映射單元映射的圖像，顯示用于在顯示區域中顯示的圖像。
【文檔編號】G01N21/01GK103471993SQ201310404540
【公開日】2013年12月25日 申請日期:2010年3月25日 優先權日:2009年4月1日
【發明者】吉岡重篤, 福士岳步 申請人:索尼公司