一種具備空間光調制照明的共聚焦顯微成像方法
【專利摘要】本發明技術涉及一種具備空間光調制照明的共聚焦顯微成像方法。該方法利用單元分別可調的二維空間光調制器及虛擬針孔算法實現樣品表面孤立點照明、探測光路針孔成像等共軛成像原理，從而提高共聚焦顯微成像系統速度、圖像分辨率和信噪比。該方法提高共聚焦顯微成像系統速度、圖像分辨率和信噪比等圖像質量，并使得在追求成像速度與成像質量這一對相互沖突的指標過程中用戶根據需要動態快速大范圍內調整。
【專利說明】—種具備空間光調制照明的共聚焦顯微成像方法
【技術領域】
[0001]本發明【技術領域】是光學顯微成像技術，更具體的是實現共軛成像原理的共軛光學顯微成像【技術領域】，提供一種具備空間光調制照明的共聚焦顯微成像方法。
【背景技術】
[0002]共聚焦顯微成像技術就是在照明光路中實現照明針孔、在成像光路中實現探測針孔的顯微成像技術。根據實現共軛聚焦的裝置和方式，共聚焦顯微成像技術大體上可分為三類。第一類是激光掃描共聚焦顯微成像技術LSCM (Laser Scanning ConfocalMicroscopy),是通過動態控制振鏡將投射其上的激光斑點對樣品實現逐行掃描，多行掃描完成樣品整個觀察視場FOV的掃描。激光掃描共聚焦顯微成像技術(LSCM)是產業化得最早的共聚焦顯微成像技術。這類方法圖像質量與信噪比高，然而時間效率低，一般在一秒鐘一幅共軛圖像。另外該技術難于在圖像質量與圖像速度這一始終矛盾的技術指標中根據用戶當時需要快速調節。
[0003]第二類是碟片共聚焦顯微成像技術SDCM (Spinning-disk ConfocalMicroscopy)。該類技術利用高速旋轉刻有多條螺旋排列的孔動碟片實現樣品孤立點照明、孤立點探測(及共軛成像原理)，獲得共聚焦圖像。該類方法提高了共聚焦顯微成像技術的時間效率，一般能夠在一秒鐘獲得幾幅甚至幾十幅的共聚焦圖像。另外該技術在照明光路中添加微陣列聚光鏡，提高照明光源的使用效率。碟片共聚焦顯微成像技術采用旋轉多針孔碟片以及與之匹配的微型聚光鏡實現多光束掃描的方法，克服了 LSCM效率低，成像速度過慢等缺點，實現并行共聚焦顯微成像，可以實時成像。這類方法難度很高，因而造價昂貴。另外與SLCM—樣，該類技術也不能快速調節圖像質量與成像速度來滿足用戶實際觀察需要。
[0004]第三類技術是利用結構光實現照明針孔，獲得顯微鏡SM(StructuredIIlumination Microscopy)。結構光顯微鏡SIM是在落射顯微鏡基礎上增加照明調制功能，通過采集多幅互補圖像并經過計算機合成方法來提高圖像在縱向和橫向的分辨率。第三類技術提高成像效率，同時降低造價。中國發明專利申請200810071654.8提供了一種二維空間光調制技術，來提高含有二維空間光調制器的顯微成像系統的空間分辨率。然而所述發明中照明空間調制模式之間必須有較大重疊量:一維調制模式重疊量為50%,因此時間效率降低1/2 ;二維照明空間調制模式重疊量為，時間效率降低55%。另外，該方法實現非常有限的調制模式，不能在較大范圍內動態調節成像速度與成像質量。
[0005]因此在共聚焦顯微成像領域，還有待發明既能提高圖像成像質量，又能根據需要提高成像速度的方法，來滿足用戶在觀察過程中，有時需要高的成像速度來做初步快速觀察或者對活細胞做跟蹤觀察，有時需要提高圖像質量如橫向分辨率、縱向切片分辨率、圖像對比度、圖像清晰度等要求來提供高質量圖片用于發表。
【發明內容】
[0006]本發明的目的在于克服現有技術的不足，提供一種提高共聚焦顯微成像系統速度、圖像分辨率和信噪比等圖像質量，并使得在追求成像速度與成像質量這一對相互沖突的指標過程中用戶根據需要動態快速大范圍內調整的具備空間光調制照明的共聚焦顯微成像方法。
[0007]本發明的技術方案如下:
[0008]一種具備空間光調制照明的共聚焦顯微成像方法，步驟如下:
[0009]1)將一個樣品觀察視場分割成N個空間互補的平面照明圖案Pi,其中，NS ≧l，i=l，2,..., N ；
[0010]2)生成對應于Pi的二維空間光調制器的微陣列矩陣Di,并控制二維空間光調制器產生對應于Pi的空間調制照明模式；
[0011]3)圖像探測器曝光并獲取在當前照明調制模式下的樣品圖像Ii,并將樣品圖像Ii提供給計算控制單元，在圖像探測器完成樣品在Pi的空間調制照明模式下的曝光后，計算控制單元通知二維空間光調制器消除當前的照明調制模式，等待Pi+1的空間調制照明模式；
[0012]4)計算控制單元根據預先刻度好的二維空間光調制器與圖像探測器的空間對應關系R，首先計算出二維空間光調制器產微陣列模式Di所對應的圖像探測器成像面上虛擬針孔位置模式Vi ；
[0013]5)根據虛擬針孔位置模式Vi對樣品圖像Ii進行虛擬針孔運算操作，獲取一幅對應于在當前空間調制照明模式下實現了虛擬針孔的改進的樣品圖像Fi ；
[0014]6)重復步驟2)到步驟5)，完成N幅在二維空間調制照明模式下實現虛擬針孔的樣品圖像集合F ;
[0015]7)合成樣品圖像集合F，獲得樣品在該視場下完整的共聚焦圖像。
[0016]作為優選，步驟I)和步驟2)的順序允許顛倒或者合并，步驟3)和步驟4)的順序允許顛倒。
[0017]作為優選，步驟I)中，將樣品觀察視場分割成N個空間互補的平面照明圖案Pi的方法為:通過分割能夠控制樣品照明斑點個數、位置和各斑點大小的二維空間光調制器的微陣列矩陣Di，使其產生N幅空間互補的照明模式，N幅照明模式的疊加恰好覆蓋樣品的整個觀察視場。
[0018]作為優選，步驟I)所述的N個空間互補的平面照明圖案Pi的子塊拼合后，恰好沒有疊加、沒有空隙的完整覆蓋樣品的觀察視場。
[0019]作為優選，步驟I)所述的N個空間互補的平面照明圖案Pi (i=l，2，…，N)為:N個空間互補的線狀照明，所述的N個線狀照明拼合后，恰好沒有疊加、沒有空隙的完整覆蓋樣品的觀察視場。
[0020]作為優選，步驟I)所述的N個空間互補的平面照明圖案Pi (i=l,2,…，N)為:二維點陣照明，所述賓N個空間互補的二維點陣照明模塊拼合后，恰好沒有疊加、沒有空隙的完整覆蓋樣品的觀察視場。
[0021]作為優選，所述的二維空間光調制器與圖像探測器時間同步，在前一幅Pi的空間調制照明模式準備好后才開始對樣品成像曝光，在完成對樣品在前一幅Pi的空間調制照明模式下圖像曝光完畢之后，后一幅pi+1的空間調制照明模式才開始照射到樣品上。[0022]作為優選，在顯微成像系統每次更換維二維空間光調制器或者圖像探測器之后，需要重新對該系統進行預先刻度，重新獲取二維空間光調制器的微陣列矩陣與圖像探測器的二維像素陣列的空間對應關系R。
[0023]作為優選，所述的二維空間光調制器與圖像探測器的空間對應關系R，是一個對二維空間物體平面操作的矩陣，該矩陣包含二維平移、繞著光軸Z軸轉動、一個二維空間光調制器單元對應M*M個圖像探測器的放大因子。
[0024]作為優選，步驟4)中，所述的根據虛擬針孔位置模式Vi為二維矩陣，矩陣單元值是O或1，分別表示相反的透光狀態或阻擋狀態。
[0025]作為優選，步驟5)中，對樣品圖像Ii進行虛擬針孔Vi運算操作為:“與”運算=Vi(j，k)為I的單元所對應的Ii (j, k)值不變，Vi (1，m)為O的單元所對應的Ii (1，m)值取零；其中，(j，k), (I, m)為二維圖像的像素位置(X，y)座標。
[0026]作為優選，步驟7)中，合成N個空間互補的虛擬針孔算法輸出的樣品圖像集合Fi方法為:對N個F圖像進行簡單的空間疊加，在同一個座標位置(j，k)對N幅圖像進行求和。
[0027]作為優選，所述的二維空間光調制器是單元為數字快速可調的數字微鏡設備。
[0028]本發明的有益效果如下:
[0029]本發明利用單元分別可調的二維空間光調制器及虛擬針孔算法實現樣品表面孤立點照明、探測光路針孔成像等共軛成像原理，從而提高共聚焦顯微成像系統速度、圖像分辨率和信噪比等圖像質量，并使得在追求成像速度與成像質量這一對相互沖突的指標過程中用戶根據需要動態快速大范圍內調整。
[0030]本發明所述的方法，首先利用二維空間光調制器與圖像探測器之間的空間對應關系，一次性建立二維空間光調制器二維微陣列矩陣Di與圖像探測器二維像素陣列的空間對應關系R，從而建立與孤立照明針孔即空間調制模式對應的探測照明虛擬針孔陣列Vi，進而實現共軛成像原理，提高圖像在XY平面的圖像分辨率、清晰度、對比度，減少樣品離焦信號的影響，實現樣品2D切片及縱向分辨率。
[0031]其次，利用二維空間光調制器的獨立可調單元實現對樣品的照明斑點大小、位置、個數等實現控制。當樣品被照明斑點之間的距離超過針孔成像的衍射二級環半徑之后，針孔照明斑點之間可以近似當成針孔成像，樣品不同照明斑點之間的干擾降低。根據用戶對成像速度與質量的要求，可以動態調節樣品斑點的個數和大小:增加斑點面積或者增加斑點個數(即減少照明斑點之間距離)都提高成像質量，反之降低斑點面積或者降低斑點個數都提聞成像速度。
【專利附圖】
【附圖說明】
[0032]圖1是本發明的流程圖；
[0033]圖2是將樣品觀察視場分割成N=IO —維空間互補照明模式下的普通分辨率板的圖片；
[0034]圖3是將樣品觀察視場分割成N=30 —維空間互補的照明模式下所采集到的分辨率板的圖片；
[0035]圖4是二維空間調制照明模式的一種實施例；[0036]圖5、圖6是圖像質量與速度動態可調效果圖，其中，圖5是在樣品視場分割個數N=I時，圖像質量相當于普通顯微明場成像，成像速度在全視場情況下高達100幀每秒，對于特定ROI區域成像，可以上千上萬；圖6是在樣品視場分割個數N=IO時，一維空間調制照明模式下，依次10幅空間互補照明圖案，分別獲得10幅樣品虛擬針圖像，合成后的質量較聞圖像。
【具體實施方式】
[0037]以下結合附圖及實施例對本發明進行進一步的詳細說明。
[0038]本發明所使用的二維空間光調制器為數字微鏡設備(digitalmirrordevice, DMD)也可以是液晶LCD或者別的能夠對照射其上的光進行微小區域的開關控制。
[0039]對于DMD，對于照射在上面的光，可以有選擇地反射:處于“開”狀態的微鏡將光反射如照明光路落射倒樣品；處于“關”狀態的微鏡將光反射出照明光路，使其不能落射倒樣
品O
[0040]對于液晶IXD，開關的執行是通過數字調節每一個像素即液晶單元的電壓來控制該單元是通過光還是阻擋光的透射。
[0041]在顯微成像系統所包含二維空間光調制器在光路中與攝像頭的空間關系調整、對準、固定以后，二維空間光調制器的微陣列矩陣與圖像探測器的圖像傳感器像素陣列空間對應關系就是唯一確定的。在每次更換維空間光調制器或者圖像探測器之后，需要對系統重新進行預先刻度，即重新獲取二維空間光調制器的二維的微陣列矩陣與圖像探測器二維像素陣列的空間對應關系R。這個空間對應關系R可以是一個對二維空間物體平面操作的矩陣，該矩陣包含二維平移、繞著光軸Z軸轉動、一個二維空間光調制器單元對應于M*M個圖像探測器的放大因子等。這個空間對應關系R在系統的以后使用過程中可以保持不變，除非改變或者移動了攝像頭。如果改變或者移動了二維空間光調制器，也是需要重新校對空間對應關系R。
[0042]如圖1所示的具備空間光調制照明的共聚焦顯微成像方法，具體步驟以下:
[0043]步驟一，用戶根據成像質量、成像速度，將一個樣品觀察視場分割成N (N 3 I)個空間互補的平面圖案Pi (1=1,2,…，N)，其分割方式滿足將所有N個圖案的子塊拼合起來剛好覆蓋待觀察樣品視場的全部。如果希望圖像質量高，那么就產生幾十個甚至上百個空間互補的平面照明模式圖(N就是幾十或者幾百)。如果希望獲取圖像的速度高，那么就將樣品視場的照明分割成I個或者幾個空間互補的平面照明模式圖(N就是I個或者幾個)；另外一個提高成像速度的途徑是采用大孔徑的照明針孔，就是平面照明模式圖中包含的照明斑點面積增大。因此，本發明所述的方法能夠實現大范圍的圖像質量與速度動態調節。
[0044]本實施例中，將樣品觀察視場分割成N (N ^ I)個空間互補的平面圖案Pi (i=l,2，…，N)的方法為:通過分割能夠控制樣品照明斑點個數、位置和各斑點大小的二維空間光調制器的單元模式，使其產生N幅空間互補的照明模式，這些照明模式的疊加覆蓋樣品整個觀察視場。為了提高時間效率，N個空間互補的平面照明圖案Pi (i=l,2,…，N)的子塊拼合起來剛好沒有疊加、沒有空隙的覆蓋樣品當前觀察視場的全部。N個空間互補的平面照明圖案？1 (1=1,2,…，N)可以是常規的線掃共聚焦技術的N個空間互補的線狀照明，也可以是二維點陣照明。[0045]步驟二，生成對應于Pi的二維空間光調制器的微陣列矩陣Di,并控制二維空間光調制器產生對應于Pi的空間調制照明模式，為對樣品在該幅Pi的空間調制照明模式下成像做好準備。
[0046]本實施例中，使用數字微鏡設備(DMD)作為二維空間光調制器，通過改變寫入到每個微鏡單元所對應的內存的數字，可以使部分微鏡單元將照射其上的光信號轉出光路從而不能到達樣品，另外一部分微鏡單元則允許照射其上的光信號到達樣品，從而實現對應于一個互補圖案Pi (1=1,2,…，N)的空間調制照明模式照射在待測樣品表面。
[0047]步驟三，在照射在待測樣品表面Pi的空間調制照明模式形成后，在圖像探測器曝光并獲取在該空間調制照明模式下的樣品圖像Ii，并將圖像Ii提供給計算控制單元，在圖像探測器完成樣品在Pi的空間調制照明模式下的曝光后，計算控制單元通知二維空間光調制器消除當前的照明調制模式，等待pi+1的空間調制照明模式。
[0048]步驟四，計算控制單元根據一個預先刻度好的二維空間光調制器與圖像探測器的空間對應關系R，計算出二維空間光調制器微陣列矩陣Di所對應的圖像探測器成像面上虛擬針孔位置模式虛擬針孔位置模式Vi可以是簡單的二維矩陣，例如矩陣單元值是O或1，如果I代表透過針孔，O就代表阻擋，I或O代表的意思相反也可以。虛擬針孔的孔徑大小是由所對應的二維空間光調制器如DMD的照明模式來定，如果要求成像速度高，孔徑就選用大孔徑。
[0049]步驟五，對樣品圖像Ii進行虛擬針孔Vi運算操作可以是簡單的快速“與”運算=Vi(j，k)為I的單元所對應的Ii (j, k)值不變，Vi (1，m)為O的單元所對應的Ii (1，m)值取零；其中(j，k)，(1，m)為二維圖像(也是矩陣)的像素位置(X，y)座標。
[0050]步驟六，重復步驟二到步驟五，完成N幅在二維空間調制照明模式下實現虛擬針孔的樣品圖像集合F。
[0051]步驟七，合成N個空間互補的虛擬針孔算法輸出的樣品圖像集合F方法可以是對N個F圖像進行簡單的空間疊加，即在同一個座標位置(j，k)對N、幅圖像進行簡單求和。
[0052]圖2所示的是將樣品觀察視場分割成N=IO —維空間互補照明模式下的普通分辨率板的圖片。該照明模式是每隔開10條線提供一條DMD微鏡為“開”狀態。這樣照明全視場需要10個這樣的照明模式，采集對應的10幅這樣的照片。
[0053]圖3所示的是將樣品觀察視場分割成N=30 —維空間互補的照明模式下所采集到的分辨率板的圖片。該照明模式是每隔開10條線提供一條DMD微鏡為“開”狀態。這樣照明全視場需要10個這樣的照明模式，采集對應的10幅這樣的照片。
[0054]相比圖2與圖3可以看出，空間互補模式多，被照明部分樣品的彼此干擾就小。
[0055]圖4是一種二維空間調制模式的實施例，是在X方向每10個空間調制單元打開一個，在Y方向每10個空間調制單元打開一個。這種調制模式是10X10點陣照明模式。
[0056]圖5、圖6是圖像質量與速度動態可調效果圖，其中，圖5是在樣品視場分割個數N=I時，圖像質量相當于普通顯微明場成像，成像速度在全視場情況下高達100幀每秒，對于特定ROI區域成像，可以上千上萬；圖6是在樣品視場分割個數N=IO時，一維空間調制照明模式下，依次10幅空間互補照明圖案，分別獲得10幅樣品虛擬針圖像，合成后的質量較高圖像。在局部ROI區域成像情況下，速度也可以達到幾十甚至幾百幀每秒，使得速度和質量滿足活細胞跟蹤觀察需要。[0057]上述實施例僅是用來說明本發明，而并非用作對本發明的限定。只要是依據本發明的技術實質，對上述實施例進行變化、變型等都將落在本發明的權利要求的范圍內。
【權利要求】
1.一種具備空間光調制照明的共聚焦顯微成像方法，其特征在于，步驟如下: 1)將一個樣品觀察視場分割成N個空間互補的平面照明圖案Pi,其中，NS1，i=l,2,..., N ； 2)生成對應于Pi的二維空間光調制器的微陣列矩陣Di,并控制二維空間光調制器產生對應于Pi的空間調制照明模式； 3)圖像探測器曝光并獲取在當前照明調制模式下的樣品圖像Ii,并將樣品圖像Ii提供給計算控制單元，在圖像探測器完成樣品在Pi的空間調制照明模式下的曝光后，計算控制單元通知二維空間光調制器消除當前的照明調制模式，等待Pi+1的空間調制照明模式； 4)計算控制單元根據預先刻度好的二維空間光調制器與圖像探測器的空間對應關系R，首先計算出二維空間光調制器產微陣列模式Di所對應的圖像探測器成像面上虛擬針孔位置模式Vi ； 5)根據虛擬針孔位置模式Vi對樣品圖像Ii進行虛擬針孔運算操作，獲取一幅對應于在當前空間調制照明模式下實現了虛擬針孔的改進的樣品圖像Fi ； 6)重復步驟2)到步驟5)，完成N幅在二維空間調制照明模式下實現虛擬針孔的樣品圖像集合F ; 7)合成樣品圖像集合F，獲得樣品在該視場下完整的共聚焦圖像。
2.根據權利要求 1所述的具備空間光調制照明的共聚焦顯微成像方法，其特征在于，步驟I)和步驟2)的順序允許顛倒或者合并，步驟3)和步驟4)的順序允許顛倒。
3.根據權利要求1所述的具備空間光調制照明的共聚焦顯微成像方法，其特征在于，步驟I)中，將樣品觀察視場分割成N個空間互補的平面照明圖案Pi的方法為:通過分割能夠控制樣品照明斑點個數、位置和各斑點大小的二維空間光調制器的微陣列矩陣Di，使其產生N幅空間互補的照明模式，N幅照明模式的疊加恰好覆蓋樣品的整個觀察視場。
4.根據權利要求1所述的具備空間光調制照明的共聚焦顯微成像方法，其特征在于，步驟I)所述的N個空間互補的平面照明圖案Pi的子塊拼合后，恰好沒有疊加、沒有空隙的完整覆蓋樣品的觀察視場。
5.根據權利要求4所述的具備空間光調制照明的共聚焦顯微成像方法，其特征在于，步驟I)所述的N個空間互補的平面照明圖案Pi (i=l,2,…，N)為:N個空間互補的線狀照明，所述的N個線狀照明拼合后，恰好沒有疊加、沒有空隙的完整覆蓋樣品的觀察視場。
6.根據權利要求4所述的具備空間光調制照明的共聚焦顯微成像方法，其特征在于，步驟I)所述的N個空間互補的平面照明圖案Pi (1=1,2,…，N)為:二維點陣照明，所述賓N個空間互補的二維點陣照明模塊拼合后，恰好沒有疊加、沒有空隙的完整覆蓋樣品的觀察視場。
7.根據權利要求1所述的具備空間光調制照明的共聚焦顯微成像方法，其特征在于，所述的二維空間光調制器與圖像探測器時間同步，在前一幅Pi的空間調制照明模式準備好后才開始對樣品成像曝光，在完成對樣品在前一幅Pi的空間調制照明模式下圖像曝光完畢之后，后一幅Pi+1的空間調制照明模式才開始照射到樣品上。
8.根據權利要求1所述的具備空間光調制照明的共聚焦顯微成像方法，其特征在于，在顯微成像系統每次更換維二維空間光調制器或者圖像探測器之后，需要重新對該系統進行預先刻度，重新獲取二維空間光調制器的微陣列矩陣與圖像探測器的二維像素陣列的空間對應關系R。
9.根據權利要求1所述的具備空間光調制照明的共聚焦顯微成像方法，其特征在于，所述的二維空間光調制器與圖像探測器的空間對應關系R，是一個對二維空間物體平面操作的矩陣，該矩陣包含二維平移、繞著光軸Z軸轉動、一個二維空間光調制器單元對應M*M個圖像探測器的放大因子。
10.根據權利要求1所述的具備空間光調制照明的共聚焦顯微成像方法，其特征在于，步驟4)中，所述的根據虛擬針孔位置模式Vi為二維矩陣，矩陣單元值是O或I，分別表示相反的透光狀態或阻擋狀態。
11.根據權利要求10所述的具備空間光調制照明的共聚焦顯微成像方法，其特征在于，步驟5)中，對樣品圖像Ii進行虛擬針孔Vi運算操作為:“與”運算=Vi (j，k)為I的單元所對應的Ii (j，k)值不變，Vi (I，m)為O的單元所對應的Ii (1，m)值取零；其中，(j，k), (I, m)為二維圖像的像素位置(X, y)座標。
12.根據權利要求11所述的具備空間光調制照明的共聚焦顯微成像方法，其特征在于，步驟7)中，合成N個空間互補的虛擬針孔算法輸出的樣品圖像集合Fi方法為:對N個F圖像進行簡單的空間置加，在同一個座標位置(j，k)對N幅圖像進行求和。
13.根據權利要求1所述的具備空間光調制照明的共聚焦顯微成像方法，其特征在于，所述的二維空間光調制器是單元為數字快速可調的數字微鏡設備。
【文檔編號】G02B21/00GK103744172SQ201310731783
【公開日】2014年4月23日 申請日期:2013年12月26日 優先權日:2013年12月26日
【發明者】易定容 申請人:麥克奧迪實業集團有限公司