專利名稱：一種多模態醫學體數據三維可視化方法
技術領域：
本發明屬于生物醫學工程領域，涉及一種多模態醫學體數據的三維可視化方法。
背景技術：
醫學圖像數據可分為兩大類一類是X線計算機斷層(CT)和核磁共振(MR)等解剖圖像，適合于顯示人體的解剖細節，具有較高的空間分辨率；另一類是正電子發射斷層(PET)、單光子發射斷層(SPECT)等功能圖像，適合于反映人體組織的功能改變和代謝異常等信息，其空間分辨率差。由于成像原理不同所造成的圖像信息局限性，使得單獨使用一種模態數據的效果并不理想。通過多模態可視化可以把多個掃描源或不同時間獲取的同一病人或多個病人間的數據進行適當綜合，將功能信息、新陳代謝及解剖信息等融合在一起為醫生提供與解剖位置相關的功能變異，實現解剖圖像與功能圖像的信息互補，有利于發現新的信息，彌補單模態圖像信息不完整、部分信息不準確或不確定引起的缺陷，使臨床診斷和治療、放療的定位和計劃設計、外科手術和療效評估等更加準確完善。多模態可視化的關鍵在于多模態數據間的配準和融合顯示。
配準是為了多模態體數據間空間上的對齊，主要有基于圖像特征匹配和基于圖像灰度信息相似性兩類方法，目前已申請的配準方法如剛體變換下基于輪廓多源圖像配準方法(200310108731.X)主要針對多源二維圖像采用輪廓法實現圖像配準，屬于基于圖像特征的方法；一種基于互信息敏感區域的多模態醫學圖像配準方法(200310122434.0)提出一種基于互信息敏感區域的圖像配準方法，該法在互信息敏感區域的選取上需要經驗知識，因此并不是全自動的方法；圖像配準方法(200410015656.7)提出基于快速相關法和最大化互信息法來進行圖像配準，在該法中坐標變換是基于剛體變換的，即沒有考慮彈性縮放問題，而互信法存在重疊區域易變性問題。
目前已申請的有關醫學體數據顯示方法的發明有分布式心臟圖像多維重建與交互可視化方法(200510020318.7)提出一種采用分布式結構實現旋轉掃描二維圖像快速重建三維數據場的交互顯示的方法；具有封閉輪廓多平面重定格式的體繪制數據的可視化(200510065505.7)提出一種用于可視化與查看矢量相關的體繪制圖像的方法；基于點重建的超大規模醫學影像三維可視化方法(200310121173.0)提出一種基于點重建的超大規模醫學影像三維可視化方法；腦外科手術導航系統中解剖圖譜的三維可視化應用方法(03116689.X)提出一種腦外科手術導航系統中解剖圖譜的三維可視化應用方法。以上這些發明都是針對單模態醫學體數據的顯示方法，沒有解決多種模態的醫學體數據的融合顯示問題。容積-容積融合的可視化(03805385.3)提出利用多個容積的方法來融合顯示圖像的方法，該發明在三維體數據的融合顯示采用提取二維層面，其實質是基于二維-二維的融合顯示方式，沒有解決真正基于三維立體的多模態數據融合顯示問題。
以上申請的發明專利表明，在醫學多模態體數據可視化領域，配準與融合顯示的研究工作都是各自進行的，即專門從事配準研究或對已配準的多模態數據進行可視化，且配準多基于二維-二維層面或二維-三維層面。
發明內容
本發明針對現有技術的不足，從信息論的角度出發，提供一種基于多分辨率的標準化互信息的方法來對三維-三維間的醫學體數據進行高效、全自動的彈性配準，并提供一種新的基于單點多模態的直接體繪制法來進行多模態醫學體數據的融合顯示的方法，從而完整的實現醫學體數據配準和融合顯示過程，是真正三維-三維意義上的多模態可視化。
本發明主要包括兩大步驟基于多分辨率的標準化互信息法配準和單點多模態直接體繪制法融合顯示。
基于多分辨率的標準化互信息法配準包括坐標變換、定位判據、多分辨率優化三個步驟(1)坐標變換方法設要進行多模態可視化的兩個體數據分別稱為參考體和浮動體，對兩個待配準體數據分別定義一個物空間坐標系，其中X軸為沿行掃描方向，Y軸為沿列掃描方向，Z軸則沿從顱頂到顱底的方向。傳統的剛體變換包括平移、旋轉矩陣，分別以T、R表示，本發明通過增加比例因子S，解決彈性配準問題，假設A是參考體到浮動體的坐標變換函數，則A可表示成A＝T(tx，ty，tz)*R(φx，φy，φz)*S(sx，sy，sz)從浮動體的網格點提取的樣本通過坐標變換后并不一定映射到參考體的網格點上，這時通過三次線性插值法得到整數坐標。
(2)定位判據方法在坐標變換過程中尋找參數α→*=(tx,ty,ty,φx,φy,φz,sx,sy,sz),]]>使之滿足下式α→*=argmaxα→NIFR(α→)···(1)]]>此時，兩個體數據對應點間的標準化互信息NIFR最大。通過計算兩個體數據重疊部分體素的聯合灰度直方圖來估計浮動體的熵HF、參考體的熵HR及兩者的聯合熵HFR，從而計算當前配準位置 的標準化互信息NIFR。
標準化互信息NIFR計算公式為NIFR＝(HF+HR)/HFR(2)HF=-Σf=1nF-1p(f)·log2p(f)···(3)]]>
HR=-Σr=1nR-1p(r)·log2p(r)···(4)]]>HFR=-Σf=1(nF-1)Σr=1(nR-1)p(f,r)·log2p(f,r)···(5)]]>p(f)、p(r)和p(f，r)分別為浮動體和參考體的概率密度函數及它們的聯合概率密度函數，nF、nR是參考體和浮動體數據灰度級別的個數，一般都標準化為255。
(3)多分辨率優化方法由于計算配準判據的時間與采樣點數成比例，通過欠采樣浮動圖像在低分辨率下優化可極大的提高速度。將圖像配準過程分解為由粗到細先將原始圖像進行子采樣，降低其分辨率，在低分辨率下進行配準，得到一個最優的變換數據；然后以此變換參數為初始點，進行更高分辨率的配準；由于前次配準的結果已經接近于最終結果，因此，后一次配準可以減小變換參數的搜索范圍，從而達到減少迭代次數提高配準速度的效果。另外引入多分辨率搜索方法可以避免陷入局部極值。
單點多模態直接體繪制法融合顯示包括傳遞函數定義、光照模型的計算、圖像合成、多模態數據的單點多模表示、融合顯示五個步驟。
(1)傳遞函數定義的方法采集到的醫學體數據多為灰度數據，直接體繪制中對每個體素賦予顏色值和不透明值，不同的人體組織器官具有不同的灰度分布，本發明中的傳遞函數則根據灰度直方圖中不同的灰度分布賦予顏色值和不透明度值。
(2)光照模型的計算方法在直接體繪制中，環境光和周圍的點光源都會對最終的顯示效果產生影響，在醫學體數據的可視化中，光照的逼真問題并不是最重要的因素，為了提高繪制速度，本發明將Phone模型加以簡化，采用單個點光源，簡化公式為I＝kaIa+fIl[kd(NL)+ks(NH)] (6)
I為局部光亮度；ka、kd、ks分別為環境、漫反射及鏡面反射系數；Ia為環境光亮度分量；I1、f為點光源光強及衰減因子；N為單位法向量；L為點光源的單位入射向量；H為點光源的單位入射向量與單位視線向量的平均值。
采用基于灰度梯度的中心差分法計算中間體素的表面法向量N，對于邊界點處的法向量計算則采用向前或向后差分法。中心差分法可表示成 Grad_y＝[f(xi，yj+1，zk)-f(xi，yj-1，zk)]/2Δy (7)Grad_z＝[f(xi，yj，zk+1)-f(xi，yj，zk-1)]/2Δz(3)圖像合成的方法本發明采用由前向后的圖像合成方法，在合成過程中，不透明度β必然逐步增大，當β值趨近于1時，說明該像素點的圖像已接近于完全不透明，后面的體元不會再對該像素點的圖像有所貢獻，因而可以不必再計算了，從而可以省去無效的計算，提高計算速度。由前向后的圖像合成公式可表示成Coutβout＝Cinβin+Cnowβnow(1-βin) (9)βout＝βin+βnow(1-βin)(10)Cout、βout為經過第i個體元后的顏色值和不透明度值，Cnow、βnow為第i個體元的顏色值和不透明度值，Cin、βin為進入第i個體元的顏色值和不透明度值。
(4)多模態數據的單點多模表示的方法為了在一個像素點上同時顯示多模態體數據信息，我們采用視覺顏色HLS模型。人眼的顏色知覺主要包括三個要素即色調(Hue)、飽和度(Saturation)和亮度(Luminance)，色調指光的顏色，不同波長的光呈現不同的顏色，具有不同的色調。飽和度指顏色的深淺或濃淡程度，其深淺與顏色中加入白色的比例有關。亮度就是人眼能感覺到的光的明暗程度，光波的能量越大，亮度就越大。
視覺顏色模型以人眼的視覺特征為基礎，用色調、飽和度和亮度來表示各個多模態數據的顏色屬性。如HLS模型中的亮度表示參考體屬性，而色調和飽和度則表示浮動體的顏色屬性。通常以高空間分辨率的模態數據來表示HLS模型中的亮度信息。
(5)融合顯示的方法將HLS模型轉化為RGB模型，并加以顯示。
采用本發明方法可以完整的實現醫學體數據配準和融合顯示過程，是真正三維-三維意義上的多模態可視化，同時本發明具有以下特點1、用標準化互信息作為多模態醫學體數據的配準測度，不需要對兩種模態數據強度間關系的性質作任何假設，也不需要對圖像作預分割或任何預處理，因此用這種方法來進行多模態體數據的配準，能提高自動化程度和配準精度；同時在判據中考慮了坐標變換中的彈性縮放，適合任何不同模態體數據的配準；且標準化互信息法可解決互信息法難以克服的重疊區域易變性問題。
2、通過多分辨率優化配準過程可極大的提高配準的速度，同時避免陷入局部極值。
3、單點單模態的表示僅僅提供多個單模態可視化結果的數學疊加，表示效果受限，單點多模態直接體繪制法可使每個像素點同時表示多種模態數據屬性，能更有效的表現多模態融合信息。
具體實施例方式
我們對CT和PET兩種模態數據的三維可視化進行實例說明。令CT體數據為參考體，PET體數據為浮動體，各自的坐標為物空間坐標。首先我們設置多分辨率的粗配準為8個像素長度單位，對CT和PET數據進行坐標變換，并計算坐標變換后的標準化互信息，找出標準化互信息最大時的坐標參數 將該最優點作為起始點，縮小坐標變換的范圍，同時將坐標變換單位長度減半，即提高分辨率，繼續前面的坐標變換及標準化互信息判據過程，直至最優，在新的最優基礎上，重復前面的步驟，由粗配準到精細配準步步逼近，直至單位長度為1，得到此時的坐標變換參數即為配準參數。
得到配準參數后，從像空間平面發出射線，確定采樣點在射線上的分布間隔，采樣點像空間坐標變換至CT物空間坐標，讀取CT的相應灰度值，同時利用配準參數得到對應PET物空間中點的灰度值；CT和PET各自對采樣點灰度樣本分類，賦顏色值和不透明度值，計算光照效應，利用公式(9)(10)由前向后合成圖像，把空間分辨率較高的CT顏色值映射到HSL模型中的亮度值，而PET顏色值映射到HSL中的色調和飽和度，最后將HSL模型轉換為RGB模型得到融合顯示結果。
權利要求
1.一種多模態醫學體數據三維可視化方法，包括配準和融合顯示，其特征在于配準采用基于多分辨率的標準化互信息法，具體包括坐標變換、定位判據、多分辨率優化，其中(1)坐標變換方法設要進行多模態可視化的兩個體數據分別稱為參考體和浮動體，對兩個待配準體數據分別定義一個物空間坐標系，其中X軸為沿行掃描方向，Y軸為沿列掃描方向，Z軸則沿從顱項到顱底的方向，傳統的剛體變換包括平移、旋轉矩陣，分別以T、R表示，通過增加比例因子S，解決彈性配準問題，假設A是參考體到浮動體的坐標變換函數，則A可表示成A＝T(tx，ty，tz)*R(φx，φy，φz)*S(sx，sy，sz)從浮動體的網格點提取的樣本通過坐標變換后并不一定映射到參考體的網格點上，這時通過三次線性插值法得到整數坐標；(2)定位判據方法在坐標變換過程中尋找參數α→*=(tx,ty,ty,φx,φy,φz,sx,sy,sz),]]>使之滿足下式α→*=argmaxα‾NIFR(α→)]]>此時，兩個體數據對應點間的標準化互信息NIFR最大，通過計算兩個體數據重疊部分體素的聯合灰度直方圖來估計浮動體的熵HF、參考體的熵HR及兩者的聯合熵HFR，從而計算當前配準位置 的標準化互信息NIFR，計算公式為NIFR＝(HF+HR)/HFRHF=-ΣF=1nF-1p(f)·log2p(f)]]>HR=-Σr=1nR-1p(r)·log2p(r)]]>HFR=-Σf=1(nF-1)Σr=1(nR-1)p(f,r)·log2p(f,r)]]>p(f)、p(r)和p(f，r)分別為浮動體和參考體的概率密度函數及它們的聯合概率密度函數，nF、nR是參考體和浮動體數據灰度級別的個數，采用標準化255；(3)多分辨率優化方法將圖像配準過程分解為由粗到細先將原始圖像進行子采樣，降低其分辨率，在低分辨率下進行配準，得到一個最優的變換數據；然后以此變換參數為初始點，進行更高分辨率的配準；在前次配準的基礎上減小變換參數的搜索范圍；融合顯示采用單點多模態直接體繪制法，具體包括傳遞函數定義、光照模型的計算、圖像合成、多模態數據的單點多模表示、融合顯示，其中(1)傳遞函數定義的方法將采集到的醫學體數據根據人體不同組織和器官的分類對每個體素賦予顏色值和不透明值，其中分類采用灰度直方圖的方法；(2)光照模型的計算方法對Phone模型加以簡化，采用單個點光源，公式為I＝kaIa+fIl[kd(NL)+ks(NH)]I為局部光亮度；ka、kd、ks分別為環境、漫反射及鏡面反射系數；Ia為環境光亮度分量；I1、f為點光源光強及衰減因子；N為單位法向量；L為點光源的單位入射向量；H為點光源的單位入射向量與單位視線向量的平均值，采用基于灰度梯度的中心差分法計算中間體素的表面法向量N，表示成 (3)圖像合成的方法由前向后的圖像合成公式可表示成Coutβout＝Cinβin+Cnowβnow(1-βin)βout＝βin+βnow(1-βin)Cout、βout為經過第i個體元后的顏色值和不透明度值，Cnow、βnow為第i個體元的顏色值和不透明度值，Cin、βin為進入第i個體元的顏色值和不透明度值；(4)多模態數據的單點多模表示的方法采用視覺顏色HLS模型，該模型根據人眼的顏色知覺三個要素，即色調、飽和度和亮度來表示各個多模態數據的顏色屬性；(5)融合顯示的方法將HLS模型轉化為RGB模型，并加以顯示。
全文摘要
本發明涉及一種多模態醫學體數據的三維可視化方法。現有技術中的配準多基于二維－二維層面或二維－三維層面，同時不能完整的實現醫學體數據配準和融合顯示過程。本發明主要包括基于多分辨率的標準化互信息法配準和單點多模態直接體繪制法融合顯示。其中基于多分辨率的標準化互信息法配準包括坐標變換、定位判據、多分辨率優化三個步驟；單點多模態直接體繪制法融合顯示包括傳遞函數定義、光照模型的計算、圖像合成、多模態數據的單點多模表示、融合顯示五個步驟。采用本發明方法可以完整的實現醫學體數據配準和融合顯示過程，是真正三維－三維意義上的多模態可視化。
文檔編號G06T7/00GK1818974SQ200610049748
公開日2006年8月16日 申請日期2006年3月8日 優先權日2006年3月8日
發明者金朝陽, 薛安克, 王建中, 楊成忠 申請人:杭州電子科技大學