專利名稱：生物顯微鏡影像技術達到增加3維景深及解析度的方法
技術領域：
本發明涉及一種方法，尤其是生物顯微鏡影像技術達到增加3維景深及解析度的方法。
背景技術：
公知的共軛焦顯微鏡是通過去除非焦面所產生的雜訊，以取得在樣本中不同深度的高解析度顯微影像。其主要原理可分為三個步驟來說明首先激光可以經由物鏡聚焦成單一的光點，來照射樣品單點的特定深度；另外，由焦點反射或發散的光線還可經由物鏡聚焦成單一的光束，完全通過影像檢測器前的針孔(pinhole aperture)；最后，其他在焦點的上及的下非焦點所產生的雜訊光子則在此針孔周圍被阻擋下來，因而確保檢測器獲取焦面訊號的準確性，進而達到所欲得到的不同深度高解析度的顯微影像(如圖1所示)。因此，針孔越小，便能去掉越多的雜訊，而得到專一且清晰的顯微影像了。
比較共軛焦顯微鏡與傳統式的顯微鏡，前者明顯地具有較多的優點在傳統式的螢光顯微鏡中，若要觀察厚片生物組織在Z軸方向的影像，僅能局限地觀察到所使用物鏡景深的內的有限焦面范圍，超出了這個范圍，非焦面的光線將會嚴重影響焦面的光線，致使對比消弱與影像模糊，并且，若觀察的樣本同時會散發多種螢光，則欲得到的各種單一螢光的影像都將混雜有其他光譜螢光的雜訊；而共軛焦顯微鏡則是專對這些厚片螢光樣本(如生物細胞組織)所設計的，它光學截面的功能可以大幅減低傳統顯微鏡所無法去除的非焦面性雜訊，在多重螢光的樣本上，也能確切地分開不同光譜范圍的螢光訊息，而得到多重螢光厚片組織的不同深度的清晰顯微影像。
目前為增加顯微鏡掃圖的景深，所使用的方法有二種，一為利用二臺顯微鏡架設于樣本的正面及反面的位置，計算好相對位置后，分別從正面與反面做共軛取像，所得的影像厚度大約是單臺顯微鏡所能得到的影像組厚度的兩倍，但此做法卻大大地增加所需的硬件成本。其二為利用多光子顯微鏡的技術來增加影像組的厚度，其硬件成本亦會較高，且若將本發明配合多光子顯微鏡使用，可得到的景深約為單獨使用多光子顯微鏡景深的2倍。
發明內容
本發明是配合樣本包埋凝膠的使用，做正、反掃圖后將兩影像組做影像套合，增加可取像范圍的景深以達到提高顯微鏡影像解析度的方法。本發明主要但不限于生物顯微影像的立體影像套合。
本發明為了得到厚度更深的立體影像，是將樣本做正面掃圖與反面掃圖，由于樣本在三維空間是被樣本包埋凝膠固定住的，所以正、反掃圖翻轉前與翻轉后所取得的影像只會發生在XY平面上的平移，與以Z軸為軸心旋轉的差異，不會發生在三維空間中ψ角的轉動；找到Z軸上的重疊位置后，取翻轉前與翻轉后重疊部份中的各一片影像，計算翻轉前與翻轉后所取得的影像在XY平面上的平移量，與以Z軸為軸心的旋轉量，再以正面掃圖的影像組當做參考，調整反面掃圖影像的Z軸座標、XY平面的平移量，與以Z軸為軸心的旋轉量，即可將兩組連續影像重建成為一組完整的立體影像。其確定正、反面掃圖影像組在Z軸上的重疊位置，是利用快速傅利葉轉換方法縮小所要尋找Z軸上的重疊位置的范圍，使用Sobel邊緣檢測的概念，找出影像中邊緣變化最大的區域，再利用此區域使用相關匹配的方法，判斷出反面掃圖內，與正面掃圖中被選定的影像A最相似的影像(其流程如圖8所示)，以判斷正、反掃圖Z軸上的重疊位置。一旦決定正、反面掃圖影像組在Z軸上的重疊位置，再使用快速傅利葉轉換方法找出X、Y方向的平移及以Z軸旋轉的角度，以調整上、下層影像組的位置，使得出的影像為完整的立體影像。
本發明為了得到厚度更深的立體影像，乃將樣本做正面掃圖與反面掃圖；如圖2所示，其中粗線矩形框為正、反掃圖影像組重疊的區域，由于樣本被包埋凝膠固定在三維空間中，使得正、反掃圖翻轉前與翻轉后所取得的影像只會發生在XY平面上的平移，與以Z軸為軸心旋轉的差異，利用正、反掃圖立體影像重疊部份找出Z軸上的重疊位置，取正面掃圖與反面掃圖重疊區域內各一片影像，計算正面掃圖與反面掃圖所取得的影像在XY平面上的平移量，與以Z軸為軸心的旋轉量，以正面掃圖的影像組當做參考，調整反面掃圖影像的Z軸座標、XY平面的平移量，與以Z軸為軸心的旋轉量，如此便可得到一組完整的立體影像。整個顯微鏡正、反掃圖影像套合系統流程圖如圖3所示。
以下介紹本發明中所使用到的技術與技巧1、快速傅利葉轉換應用于影像套合使用快速傅利葉轉換于影像套合是利用傅利葉轉換的相位關系。若兩影像僅有平移的差異，即如影像f2是f1平移(x0，y0)的結果，則兩影像關系如式(1)。
式(1)做傅氏轉換后得式(2)，其中兩者之間的位移關系(x0，y0)，f2(x，y)＝f1(x-x0，y-y0) (1)F2(ξ,η)=e-j2π(ξx0+ηy0)×F1(ξ,η)---(2)]]>僅出現在相位項e-j2π(ξx0+ηy0)中。
相位項可由式(3)計算得的，其中F*為F的共軛復數。
將式(3)中的相位項e-j2π(ξx0+ηy0)做反傅氏轉換后，由反傅式轉換的計算結果，其脈沖位置即可決定(x0，y0)。式(4)為傅氏轉換與反傅氏轉換對的關系。
F2(ξ,η)F1*(ξ,η)|F2(ξ,η)F1*(ξ,η)|=e-j2π(ξx0+ηy0)---(3)]]>δ(x-x0,y-y0)⇔e-j2π(ξx0+ηy0)---(4)]]>當兩張影像同時發生旋轉與平移時如式(5)。
f2(x，y)＝f1(xcosθ0+ysinθ0-x0，-xsinθ0+ycosθ0-y) (5)
式(5)取快速傅利葉轉換后，兩影像在頻域的相對關系如式(6)。
F2(ξ,η)=e-j2π(ξx0+ηy0)×---(6)]]>F1(ξcosθ0+ηsinθ0,-ξsinθ0+ηcosθ0)]]>式(6)取其振幅M1、M2如式(7)所示，其中M1、M2分別為F1、F2的振幅。觀察式(7)，M2是M1旋轉了θ0度的結果，對M1、M2做極座標轉換后得式(8)。
M2(ξ，η)＝M1(ξcosθ0+ηsinθ0，-ξsinθ0+ηcosθ0)(7)M1(ρ，θ)＝M2(ρ，θ-θ0) (8)觀察式(8)，M1與M2之間變成平移的關系，其平移量為θ0，利用上述傅利葉轉換的相位關系就可解得θ0。接下來將f1旋轉θ0后得f″1，f″1與f2之間就只剩平移的關系，再利用傅利葉轉換的相位關系就可得知(x0，y0)，整個執行的過程請參照圖4所示。影像做傅氏轉換后的高頻部份包含原始圖形的重要特征，所以在做極座標轉換前加入高通濾波器，提高角度評估的準確度，其規格如式(9)，其中D0＝0.3。
2.Sobel邊緣檢測本發明使用Sobel運算子做邊緣檢測，在Sobel運算子對影像f做完邊緣檢測后，影像f上的每個像素點會得到梯度強度大小|f|，圖5(B)為Sobel運算子對圖5(A)做完邊緣檢測后的梯度強度影像，其梯度強度值越大(影像上越亮)，代表該處是越明顯的邊緣，即影像明亮變化大的地方，本發明利用影像f完成邊緣檢測后的梯度強度影像，尋找影像f內有明顯邊緣變化的區域。設定一適當大小的區塊，尋找影像f的梯度強度圖中在區塊內|f|總和最大的位置，此位置為影像f內有明顯邊緣變化的區域如圖5(C)，利用此區域當做樣板，突顯其余待比對的影像與樣板間的差異性，以利后續做相關匹配使用。
3.相關匹配方法利用相關匹配的方法如式(10)所得的相關系數r(s，t)，可在影像f中找出與樣板w最相似的區域。w(x，y)樣板(template)在M×N的影像f(x，y)內由左而右，由上而下移動使用式(10)得到r(s，t)相關系數，其中s＝0，1，2，…M-1，t＝0，1，2，…N-1，T為影像f與樣板w重疊的區域，即式(2-1)只在重疊區域進行，f(x，y)代表影像f與樣板w重疊的區域亮度平均值，w代表樣板w亮度平均值。
如圖6，其中f(x，y)的原點位于左上角，w(x，y)的原點位于它的中心，位于f(x，y)內的任何位置(s，t)都使用式(10)得到一相關系數r(s，t)，而相似度數值最高的位置即是f(x，y)中與w(x，y)最相似的區域，相關系數r(s，t)的取值范圍為-1≤r(s，t)≤1。
r(s,t)=Σxy∈TΣ[f(x,y)-f‾(x,y)][w(x-s,y-t)-w‾]{Σxy∈TΣ[f(x,y)-f‾(x,y)]2Σxy∈TΣ[w(x-s,y-t)-w‾]2}1/2---(10)]]>4.確定正、反面掃圖影像組在Z軸上的重疊位置確定Z軸上的重疊位置就是要找到兩影像組中相同的影像，以確定重疊區域的位置。第一步是利用上述快速傅利葉轉換方法計算兩影像間旋轉角度的過程中所得到的峰值(peak)來做判斷，因為當兩張極相似的影像(例如影像A與影像B極相似)之間的差異為旋轉與平移，所得到的峰值會比將影像B換成影像C時(影像A與影像C不相似)做相同的運算所得的峰值要來得高許多，所以在反面掃圖影像組中與正面掃圖影像A較相似的幾片影像位于最突出峰值的附近，如圖7最突出峰值位于粗線矩形框內，所以與影像A較相似的幾片影像位于反面掃圖的第11片附近(此處定義這幾片影像為「影像群K」，以方便后文述敘)，利用此觀念找出粗略的定位Z軸上的重疊位置，縮小所要比對的影像片數，以減少后序的計算量。然而這幾片影像都有可能是反面掃圖中與正面掃圖的影像A最相似的影像。計算從反面掃圖中所選取的影像群K每一張影像與影像A在XY平面上的平移量與以Z軸旋轉的角度，調整其平移量與旋轉的角度，再利用上述所提的Sobel邊緣檢測的概念，找出影像中邊緣變化最大的區域，利用此區域使用相關匹配的方法，判斷出反面掃圖內與正面掃圖中的影像A最相似的影像，決定正、反面掃圖影像組在Z軸上的重疊位置，其過程如圖8所示。最后，定位了Z軸上的重疊位置后，取正面掃圖與反面掃圖重疊區域內各一片影像，計算正面掃圖與反面掃圖所取得的影像在XY平面上的平移量與以Z軸的旋轉量，以正面掃圖的影像組當做參考，調整反面掃圖影像的Z軸座標、XY平面的平移量，與以Z軸為軸心的旋轉量。
圖1顯示本發明利用激光經由物鏡聚焦成單一的光點，來照射樣品單點的特定深度；圖2顯示本發明將樣本做正面掃圖與反面掃圖的示意圖；圖3顯示本發明整個顯微鏡正、反掃圖影像套合系統流程圖；圖4為顯示本發明做傅氏轉換整個執行的過程；圖5(A)為顯示本發明做邊緣檢測的影像；圖5(B)為顯示Sobel運算子對圖5(A)做完邊緣檢測后的梯度強度影像；圖5(C)為顯示Sobel運算子做完邊緣檢測后影像f內有明顯邊緣變化的區域；圖6為顯示本發明利用相關匹配的方法所得的相關系數，可在影像f中找出與樣板w最相似的區域；圖7為顯示本發明在反面掃圖影像組中最突出峰值的位置；圖8顯示本發明確定正、反面掃圖影像組在Z軸上的重疊位置的流程圖；圖9為顯示生物樣本正、反面掃圖的表面圖；圖10為顯示生物樣本正、反掃圖做影像套合后的完整立體影像。
具體實施例方式
第一實施例圖9為生物樣本正、反面掃圖的表面圖，取正面掃圖的最下面一張影像與反面掃圖的每一張影像，利用快速傅利葉轉換方法計算兩影像間旋轉角度的過程中所得到的峰值(peak)來做判斷，找出正面掃圖的最下面一張影像相對于反面掃圖影像組在Z軸上的大致位置(如圖7所示)。再利用上述所提的Sobel邊緣檢測的概念，找出影像中邊緣變化較大的區域如圖5(C)的粗線矩形框即為影像中邊緣變化較大的區域。利用此區域使用相關匹配的方法，判斷出反面掃圖內與正面掃圖中的影像A最相似的影像。決定正、反面掃圖影像組在Z軸上的重疊位置。整個確定Z軸上的重疊位置流程系如圖8所示。在確定Z軸上的重疊位置后，取正面掃圖與反面掃圖重疊區域內各一片影像，計算正面掃圖與反面掃圖所取得的影像在XY平面上的平移量，與以Z軸為軸心的旋轉量(如圖4所示)，再以正面掃圖的影像組當做參考，調整反面掃圖影像的Z軸座標、XY平面的平移量，與以Z軸為軸心的旋轉量，如此便可得到一組完整的立體影像。圖10為此生物樣本正、反掃圖做影像套合后的完整立體影像，其厚度約為正面掃圖的2倍。
第二實施例果蠅的大腦厚度約160μm，將腦神經細胞標示綠色瑩光蛋白，利用488nm激光去激發它可得到完整的3D大腦影像。但我們可清楚的發現激光掃描所得的影像越到底部就越模糊了。其主要原因為生物樣本具有吸光性，激發光的能量或放射光的能量被樣本吸收，而導致所取得的立體影像在某個深度以下是非常不清楚的。利用本發明所提的方法，僅需掃描至稍微超過一半腦的深度得到正面掃圖與反面掃圖的清晰立體影像組后再做影像套合即可得到完整而清晰的3D大腦影像。
第三實施例一般作共軛焦顯微影像掃描是將生物組織薄片包埋于甘油中去進行顯微影像掃描及記錄。配合本發明的方法，可描掃的生物組織薄片厚度可提高至接近原先生物組織厚度的二倍，即先將生物組織用樣本包埋凝膠固定于三維空間后，利用共軛焦顯微鏡掃描至稍微超過一半腦的深度得到正面掃圖與反面掃圖的清晰立體影像組后再做影像套合即可得到完整而清晰的3D生物組織影像，其立體影像厚度約為一般包埋于甘油中進行顯微影像掃描所得影像厚度的二倍。
第四實施例一般作共軛焦顯微影像掃描是將生物組織薄片包埋于甘油中去進行顯微影像掃描及記錄。若改使用FocusClear澄清組織再包埋于MountClearTM則可大大加深可描掃的景深。若再配合本發明的方法，所得的立體影像厚度可再提高一倍，為單配合FocusClear澄清組織再包埋于MountClearTM的方法的二倍。
第五實施例為取得老鼠全腦的影像必需先將成鼠的大腦做震動切片，傳統的作法為將約4mm厚的成鼠的腦切成100-200片10-20μm的薄片包埋于甘油中去進行顯微影像掃描及記錄。如果使用FocusClear澄清組織再包埋于MountClearTM，則可掃描約200μm的厚片。若再利用本發明的方法則可得到400μm厚片組織內的清楚影像，而一個完整成鼠腦則僅需切成約10片400μm厚的組織片，故利用本發明的方法不但可以有效的增加立體影像的景深，且在厚度大的生物組織如成鼠的全腦可以有效的減少切片數。
第六實施例配合多光子顯微鏡的使用，利用本發明所提的方法，先利用多光子顯微鏡做正面掃圖與反面掃圖再做影像套合，即可得到立體影像的厚度(景深)約為單使用多光子顯微鏡的兩倍。也就是說，一個完整成鼠腦約4mm僅需切成5片800μm的厚片，包埋于MountClearTM中，正、反面掃圖后再利用本發明做影像套合，即可得到完整大腦的顯微影像。
權利要求
1.一種生物顯微鏡影像技術達到增加3維景深及解析度的方法，其特征在于，是從樣品正面掃描一組或多組3維影像再從反面掃描一組或多組3維影像，配合X、Y方向平移、Z軸旋轉而將正反掃描的兩組或多組的3維影像套合成完整的一組加倍深度且大體積的3維影像技術，以達到減少厚生物組織切片數并增加生物影像景深及解析度。
2.根據權利要求1所述的生物顯微鏡影像技術達到增加3維景深及解析度的方法，其特征在于，是將固定在三維空間后的樣本，分別從正、反面進行掃描，然后整合運用公知的快速傅利葉轉換等數學方法，判定正、反掃圖所得影像組在Z軸上的重疊位置后，以正面掃圖的影像組當做參考，調整反面掃圖影像的Z軸座標、XY平面的平移量，與以Z軸為軸心的旋轉量，合并上下、左右及正反影像，并融合重覆影像的套合方法，以得到景深更深且完整的顯微鏡立體影像。
3.根據權利要求1所述的生物顯微鏡影像技術達到增加3維景深及解析度的方法，其特征在于，其可以使用單一或多波長激發光輔助顯微鏡取像，以改善立體影像的解析度。
4.根據權利要求1所述的生物顯微鏡影像技術達到增加3維景深及解析度的方法，其特征在于，其可以搭配多光子顯微鏡使用以提高其立體影像的解析度。
5.根據權利要求1所述的生物顯微鏡影像技術達到增加3維景深及解析度的方法，其特征在于，其可以應用于但不限于共軛焦顯微影像的組合而達到增加厚組織清晰度及深度。
全文摘要
本發明提供一種生物顯微鏡影像技術以正反掃描與3維影像套合達到增加景深及解析度的方法，其目的是為了得到景深更深的立體影像而使顯微鏡立體影像厚度加大以提高影像的解析度。其做法是先利用樣本包埋凝膠將樣本固定在三維空間后，將樣本分別從正、反面進行掃描，然后進行立體影像套合，以得到景深更深的顯微鏡立體影像。立體影像套合方法為結合快速傅利葉轉換、Sobel邊緣檢測、與相關匹配等方法來判定正面與反面掃圖所得影像組在Z軸上的重疊位置，再使用快速傅利葉轉換方法找出X、Y方向的平移及以Z軸旋轉的角度，以調整上下層影像組的位置，使得出的影像為完整的立體影像。
文檔編號G06F17/14GK1534323SQ0310789
公開日2004年10月6日 申請日期2003年4月1日 優先權日2003年4月1日
發明者江安世 申請人:翰沃生電科技股份有限公司, 江安世