使用fpga加速處理結構光照明光切片熒光圖像的方法
【專利摘要】本發明公開了一種使用FPGA加速處理結構光照明光切片熒光圖像的方法，其包括循環的以下步驟：1）PC端通過PCIE接口加載初始化配置文件到FPGA圖像采集設備中，然后FPGA采集設備初始化后等待PC端發送采集觸發信號；2）FPGA采集設備接收到PC端發送的采集觸發信號后，進行圖像采集，此時相機和空間光調制器進行同步，采集及存儲相位的圖像；3）將采集到相位的三張圖像按以下公式（1.9）進行重建，然后存儲到存儲單元中；（1.9）；4）PC端將FPGA采集設備中的重建的圖像通過DMA通道進行實時顯示。本發明有效地提高了成像速度，解決了現有技術中層切重建速度慢，不利于分子動態過程的研究的問題。
【專利說明】
使用FPGA加速處理結構光照明光切片熒光圖像的方法
技術領域
[0001] 本發明涉及一種FPGA圖形硬件加速重構的方法，特別涉及一種使用FPGA加速處理 結構光照明光切片熒光圖像的方法。
【背景技術】
[0002] 在研究生物分子動態過程方面，非侵入式的顯微成像方法是一種不可或缺的技術 手段，其中傳統熒光顯微鏡在非侵入式顯微成像被普遍應用到細胞生命活動過程的研究 中。但是，隨著生命科學的發展，對時間及空間的分辨率要求越來越高，存在信噪比差、成像 深度小和成像速度低問題的熒光顯微鏡顯微鏡技術已經不能滿足研究的需求。
[0003] 近年來，光切片顯微鏡的發展彌補了傳統顯微鏡的缺陷。光片顯微鏡實際上通過 在樣品上加載周期性條紋進行光學調制，從光學上說，當聚焦準確時柵格能返回一個強信 號，而離焦時則返回弱信號。光切片重構算法能以柵格的方式消除來自焦平面之上或之下 的弱信號。這樣得到的圖像完全去除了雜散光以及離焦信息，從而重構出高信號比的熒光 圖像。
[0004] 傳統的光切片熒光顯微鏡多采用相機直接成像，這樣非焦平面的熒光使圖像信噪 比變差，而采用結構光照明的方法，再通過圖像處理重構出層析圖像，這樣非焦平面的熒光 信號被濾除掉，使得圖像細節的信噪比大大提高。目前商用的顯微鏡公司有光切片熒光模 塊可以實現光切片功能，例如奧斯巴斯的OptiGrid及Zeiss公司的Apo Tome。然而圖像重建 仍然采用傳統的在計算機上重構，這樣不僅消耗了計算的資源，而且限制了成像速度。導致 圖像在時間上的延時，不利于生物分子動態過程方面的研究。
[0005] 同時，目前商用的層切焚光顯微鏡，通過在焚光顯微鏡中增加結構光模塊的方式 實現結構光照明，從而實現層切效果。例如奧斯巴斯的OptiGrid及Zeiss公司的Apo Tome。 在圖像重建過程中，加載柵格的線條投射到標本上并程控性地移動位置，柵格在標本上的 移動垂直于柵格線條。一幅構造光學圖像實際上是由瞬間獲取的三幅不同柵格圖像組成 的。第一幅柵格圖像在任意位置獲取，然后柵格線性地移動相當于1/3柵格條紋間隔的距離 獲取第二幅圖像，最后再重復一次1/3的移動獲取第三幅圖像。以上這些運作都在瞬間完 成，生成一幅構造光學圖像或單層光學切片。奧斯巴斯的OptiGrid光切片模塊圖像重建時 間主要消耗在圖像采集及圖像重構過程中，雖然該方案采用了高速相機，但是層且圖像重 構速度依然很慢，大約需要Is。
【發明內容】
[0006] 本發明的目的就是針對上述問題，提供一種使用FPGA加速處理結構光照明光切片 熒光圖像的方法，其可以有效地解決現有技術中層切重建速度慢，不利于分子動態過程的 研究的問題。
[0007] 為了達到上述目的，本發明的技術方案如下： 使用FPGA加速處理結構光照明光切片熒光圖像的方法，其包括循環的以下步驟： 1) PC端通過PCIE接口加載初始化配置文件到FPGA圖像采集設備中，然后FPGA采集設備 初始化后等待PC端發送采集觸發信號； 2) FPGA采集設備接收到PC端發送的采集觸發信號后，進行圖像采集，此時相機和空間 光調制器進行同步，采集及存儲相位2屯4_3的圖像； 3) 將采集到相位贊:=:〇、： 的三張圖像按以下公式（1.9)進行重建，然后存 儲到存儲單元中；
4) PC端將FPGA采集設備中的重建的圖像通過DMA通道進行實時顯示。
[0008] 進一步地，上述公式（1.9)由以下過程獲得： 根據菲涅爾衍射公式及薄透鏡成像公式，并略去常數項和位相因子，得到探測面上的 光強編無:，賴為：
其中，激光照在透射光柵上所產生由投射光柵決定的結構光圖案表示為_^&￡確1;經 過透鏡放大率為(Ml)的光路(L1)和光路(L2)后，該結構光圖案成像在光路(L2)的焦面上， 焦面上結構光圖案由&照明光路(L1+L2)的調制傳遞函數MTF決定；處于光路(L2) 的焦面上的熒光分子密度為樣品受激產生熒光，經過放大率為(M2)的熒光路(L1) 和光路（L2)后，由位于光路（L3)焦平面的探測器探測，探測得到的熒光強度分布為 照明光路(L1+L2)的振幅點擴散函數為，探測光路(L2+L3)的振幅點擴散 函數為梅鉍媯光柵面、樣品面以及探測器面的坐標分別表示為_ :<_、__)、:_:為3; 假設余弦光柵對應波矢方向為x軸方向，則激發光經過它所產生結構光強度分布可以 表示為： life&a (1.2) 其中m為光柵的調制深度，f為光柵頻率，f為光柵相位； 將公式(1.2)代入公式(1.1)，得到：
從公式（1.4)可以看出，中第一項不隨結構光圖案的頻率或者相位而變化， 以下用_表示這個常量抱:.3福中第二項隨著結構光圖案的頻率f及相位變變化，以下表 示為?敗由此將，獅改寫成：
公式（1.5)中，〖。對應樣品的零頻分m，不隨離焦距離的變化而變化，它對應的像沒有層切能 力，有層切能力，對公式(1.5)進一步分解：
由公式(1.6)可以看出，g賄光柵位相f變化而變化，因此通過光柵在不同相位下對樣品 成像，求出!，進而求解出沿光柵波矢方向移動光柵，使光柵相位分別為Ft抝3, 4TT/3， 得到三個像:、!:s-、_邊對應三個方程：
將公式(1.6)-(1.8a、b、c)方程聯合，最終得到具有層切能力的圖像
[0009] 進一步地，上述步驟3)中，相機和空間光調制器進行同步即：空間光調制器加載的 相位為9 = 0的結構光時進行圖像采集，然后把采集到圖像存儲到FPGA采集設備的存儲單 元中，以此類推，采集及存儲相位4T/3的圖像。
[0010] 本發明提供的使用FPGA加速處理結構光照明光切片熒光圖像的方法，采用FPGA作 為協處理器，通過硬件來加速層切圖像的創建，經測試成像時間在l〇ms左右，相比較奧斯巴 斯的Opt iGr id成像時間可以提高100倍，從而有效地提高了成像速度，解決了現有技術中層 切重建速度慢，不利于分子動態過程的研究的問題。
【附圖說明】
[0011] 圖1為本發明的使用FPGA加速處理結構光照明光切片熒光圖像的方法所涉及的熒 光顯微鏡成像系統的硬件框圖。
[0012] 圖2為本發明的使用FPGA加速處理結構光照明光切片熒光圖像的方法所涉及的程 序執行流程圖。 圖3為本發明的使用FPGA加速處理結構光照明光切片熒光圖像的方法所涉及的結構光 照明層切圖像原理圖。
[0013]
【具體實施方式】
[0014] 下面結合附圖詳細說明本發明的優選實施方式。
[0015] 分析傳統的熒光顯微鏡的光學傳遞函數(0TF)可以知道，只有零頻分量不會隨著 離焦距離的變化而變化。也就是說，傳統的熒光顯微鏡獲得的圖像中除了零頻分量以外，其 余分量都具有層切能力。結構光照明實現層切就是建立在有效去除零頻分量的基礎上的方 法。
[0016] FPGA具有豐富的邏輯資源，算法模塊及硬核模塊，以全數據流的形式進行處理，使 硬件以空間全面積并行的方法提升算法速度，同時它的可定制性和可重構性適合用來進行 圖像重建。
[0017] 熒光顯微鏡成像系統主要由相機、空間光調制器、FPAG圖像采集處理單元及主控 計算機組成。硬件總體結構框圖如圖1所示，相機主要負責采集熒光圖像，空間光調制器用 來產生相位可調節的結構光條紋，主控計算機用來發送采集命令、配置空間光調制器及實 時顯示圖像等功能。FPGA圖像采集處理單元用來采集圖像及處理圖像，并且實時的講采集 處理的圖像回傳給計算機進行顯示。
[0018] FPGA圖像采集處理單元首先接收上位機PC圖像采集指令，進行相機及空間光調制的 參數配置，然后同步觸發相機和空間光調制器進行結構光條紋相位分別為_=~2#3;::4好3 : 的圖像采集，相機采集到的圖像通過Camera Link接口將采集到的圖像存儲在FPGA的存儲 單元，FPGA首先將采集到的三個相位的熒光圖像進行排序、濾波等圖像預處理后，最后通過 圖像處理單元，根據公式(2.9)將三個相位的圖像聯立方程組，最終重建重具有層析能力的 焚光圖像，回存到FPGA單元的Memory單元中，最后通過DMA通道將重建的圖像傳到PC端進行 顯不〇
[0019] 程序執行流程圖如圖2所示，系統的工作流程如下： 步驟1:主機(PC端)通過PCIE接口加載初始化配置文件到FPGA圖像采集設備中，然后 FPGA采集設備(簡稱FPGA)初始化后等待主機發送采集觸發信號； 步驟2:FPGA接收到主機發送的觸發信號后，進行圖像采集，此時需要相機和空間光調 制器進行同步，即空間光調制器加載的相位為中=〇的結構光時進行圖像采集，然后把采集 到圖像存儲到FPGA設備的存儲單元中。以此類推，采集及存儲相位4ti/3的圖像； 步驟3:將采集到相位_:二瓜獅:/3的三張圖像按公式(2.9)進行重建，然后存 儲到存儲單元中； 步驟4: PC主機將FPGA中的重建的圖像通過DMA通道進行實時重建的圖像進行顯示； 步驟5:重復2-4步驟。
[0020] 結構光照明層切系統原理圖如圖3所示。激光照在透射光柵上，產生由投射光柵決 定的結構光圖案.:>V，經過透鏡放大率為Ml的L1和L2后，該結構光圖案成像在L2的焦 面上，焦面上結構光圖案由照明光路(L1+L2)的調制傳遞函數MTF決定。處于L2的 焦面上的熒光分子密度為。樣品受激產生熒光，經過放大率為M2的熒光探測光路L2 和L3后，由位于L3焦平面的探測器探測，探測得到的熒光強度分布為胸)。照明光路 (L1+L2)的振幅點擴散函數為心(^)，探測光路(L2+L3)的振幅點擴散函數為&_病。光柵 面、樣品面以及探測器面的坐標分別表示為紹、條
[0021] 根據菲涅爾衍射公式及薄透鏡成像公式，并略去常數項和位相因子，得到探測面 上的光強為：
假設余弦光柵對應波矢方向為X軸方向，則激發光經過它所產生結構光強度分布可以 表示為： .y,} = 1 -h mrss(2TrfA：-. 4- (1.2) 其中m為光柵的調制深度，f為光柵頻率，f:為光柵相位。將公式1.2代入公式1.1，得到：
從公式(2.4)可以看出，-C磁中第一項不隨結構光圖案的頻率或者相位而變化， 一下用豁表示這個常量中第二項隨著結構光圖案的頻率f及相位脅變化，以下表
由公式（1.6)可以看出，隨光柵位相f變化而變化，因此可以通過光柵在不同相位下 對樣品成像，便可以求出，進而求解出_。沿光柵波矢方向移動光柵，使光柵相位分別 為?云:.緣/3 v.::鐵降，得到三個像、!.-、!
將公式(2.6)-(2.8)方程聯合，最終得到具有層切能力的圖像
綜上，本實施例提供的使用FPGA加速處理結構光照明光切片熒光圖像的方法，采用 FPGA作為協處理器，通過硬件來加速層切圖像的創建，經測試成像時間在10ms左右，相比較 奧斯巴斯的OptiGrid成像時間可以提高100倍，從而有效地提高了成像速度，有效地解決了 現有技術中層切重建速度慢，不利于分子動態過程的研究的問題。
[0022]以上所述的僅是本發明的優選實施方式，應當指出，對于本領域的普通技術人員 來說，在不脫離本發明創造構思的前提下，還可以做出若干變形和改進，這些都屬于本發明 的保護范圍。
【主權項】
1. 使用FPGA加速處理結構光照明光切片熒光圖像的方法，其特征在于：包括循環的以 下步驟： 1 )PC端通過PCIE接口加載初始化配置文件到FPGA圖像采集設備中，然后所述FPGA采集 設備初始化后等待所述PC端發送采集觸發信號； 2) 所述FPGA采集設備接收到所述PC端發送的所述采集觸發信號后，進行圖像采集，此 時相機和空間光調制器進行同步，采集及存儲相位麵淨、沒的圖像； 3) 將采集到相位勒t沒的三張圖像按以下公式（1.9)進行重建，然后存 儲到所述存儲單元中；4) 所述PC端將所述FPGA采集設備中的重建的圖像通過DMA通道進行實時顯示。2. 根據權利要求1所述的使用FPGA加速處理結構光照明光切片熒光圖像的方法，其特 征在于:所述公式(1.9)由以下過程獲得： 根據菲涅爾衍射公式及薄透鏡成像公式，并略去常數項和位相因子，得到探測面上的 光強fcl%:奴)為：其中，激光照在透射光柵上所產生由投射光柵決定的結構光圖案表示為 過透鏡放大率為(Ml)的光路(L1)和光路(L2)后，該結構光圖案成像在光路(L2)的焦面上， 焦面上結構光圖案由聚選1、照明光路(L1+L2)的調制傳遞函數MTF決定；處于光路(L2) 的焦面上的熒光分子密度為樣品受激產生熒光，經過放大率為(M2)的熒光路(L1) 和光路（L2)后，由位于光路（L3)焦平面的探測器探測，探測得到的熒光強度分布為 減;照明光路(L1+L2)的振幅點擴散函數為〃，探測光路(L2+L3)的振幅點擴散 函數為__略光柵面、樣品面以及探測器面的坐標分別表示為編、編 假設余弦光柵對應波矢方向為x軸方向，則激發光經過它所產生結構光強度分布可以 表示為：其中m為光柵的調制深度，f?為光柵頻率，為光柵相位； 將公式(1.2)代入公式(1.1)，得到：從公式（1.4)可以看出，中第一項不隨結構光圖案的頻率或者相位而變化，以 下用_表示這個常量，_|努^_中第二項隨著結構光圖案的頻率f及相位:f變化，以下表示 為:1遽，由此將，改寫成：公式（1. 5)中，|提樣品:的零謀茲異:承Ifi離焦距離的變化而變化，它對應的像沒有S切能 力，有層切能力，對公式(1 ? 5)進一步分解：由公式（1.6)可以看出，_猶光柵位相*變化而變化，因此通過光柵在不同相位下對樣 品成像，求出i和&，進而求解出沿光柵波矢方向移動光柵，使光柵相位分別為 染夂鱗/*，得到二個像對應二個方程：將公式(1.6)-(1.8&、13、(3)方程聯合，最終得到具有層切能力的圖像@:3.根據權利要求1所述的使用FPGA加速處理結構光照明光切片熒光圖像的方法，其特 征在于：所述步驟3)中，相機和空間光調制器進行同步即：空間光調制器加載的相位為 ='f的結構光時進行圖像采集，然后把采集到圖像存儲到所述FPGA采集設備的存儲單元 中，以此類推，采集及存儲相位2零沒1_筘的圖像。
【文檔編號】G02B27/00GK106054380SQ201610559503
【公開日】2016年10月26日
【申請日】2016年7月15日
【發明人】梁永, 李思黽, 陳小虎, 金鑫, 文剛
【申請人】中國科學院蘇州生物醫學工程技術研究所