專利名稱：二維圖像序列三維重建方法
技術領域：
本發明涉及的是一種用于圖像處理技術領域的圖像重建的方法，特別是一種二維圖像序列三維重建方法。
背景技術：
二維圖像序列是指表示物體不同位置截面信息的一系列二維圖像，它們的大小、分辨率和顏色信息都相同，而且圖像所表現的位置在空間上是相鄰的，所以二維圖像序列具備物體的部分三維特征，如核磁共振設備采集的人體器官斷層掃描圖像序列。二維圖像序列的三維重建是根據輸入的斷層圖像序列，經分割和提取后，構建出待建組織的三維數據。這可以展現物體的三維結構和形態，從而提供很多用傳統手段無法獲得的信息。
三維重建的算法已經有很多種，典型的有以下四種等值面繪制法、直接體繪制法、最大強度投影法和非真實感繪制法。這些方法適用于不同特征的二維圖像序列，綜合起來使用會得到很好的三維顯示效果。經文獻檢索發現，H.Hauser，L.Mroz，G.I.Bischi，M.E.Groller在IEEE Transactions onVisualization And Computer Graphics(《IEEE可視化及計算機圖形學》)7(3)242-252，July-September 2001上發表的“Two-Level Volume Rendering”(《兩層體繪制算法》)一文提出了一種兩層體繪制算法，該算法綜合利用了上述的四種三維重建方法，利用各種算法的特點，在物體中不同的對象上進行實現，最大程度上顯示了三維物體。但是該算法存在著下列缺點(1)不同的物體有不同的數據特征，從而可以對應使用不同的三維重建方法，但該文并沒有給出如何根據不同的對象來選擇不同的方法，這一點在三維繪制中很重要；(2)該文使用的是單一繪制通道，這在繪制三維物體時的計算量很大，不適宜在普通的個人計算機上使用；(3)該算法繪制出來的三維物體是一個統一的整體，無法直觀的觀察物體的內部結構。
發明內容
本發明針對背景技術的不足之處，提出一種二維圖像序列三維重建方法，利用已分割出對象的二維圖像序列，針對各對象的數據特征，采用不同的三維重建算法，使其能夠充分利用各算法的優點，并使用多個繪制模型優化繪制效率，從而自二維圖像序列中很好的重建出三維物體，并實現對三維物體的切割，顯示其內部的信息。
本發明是通過以下技術方案實現的，本發明步驟如下步驟一對二維圖像序列進行分割，分割出圖像序列中感興趣的對象，將分割后的圖像序列構造成一個三維體數據，并按對象的特征進行分類，構造對象表；步驟二根據步驟一處理好的圖像序列，建立三維顯示的全局繪制模型和局部繪制模型，其中全局繪制模型用于圖像序列的整體三維重建，局部繪制模型用于圖像數據中具體對象的三維重建；步驟三按步驟二建立的全局和局部繪制模型對二維圖像序列進行三維重建，對步驟一建立的三維體數據，應用全局繪制模型，然后根據步驟一建立的對象表，對體數據中的各個對象應用局部繪制模型；步驟四采用光照、渲染、透視、色彩和不透明度增減這些計算機繪制手段將三維物體繪制出來并顯示在計算機屏幕上；步驟五在步驟四中繪制出的三維物體中放置兩個切割平面，自由平移和旋轉切割平面，實現對三維物體進行任意方向的切割，以觀察物體的內部信息。
以下對本發明作進一步的說明，具體內容如下所述的步驟一，具體為(1) 采用基于灰度的FuzzyConnectness(模糊連通性)圖像分割算法分割二維圖像序列，獲得圖像內的各個對象。
(2) 將分割后的二維圖像序列構造成一個三維體數據，即三維空間中的一個長方體，上下兩層切片中，每八個相鄰像素點構成的一個空間立方體(體素)是空間體數據的最小單位。
(3) 構造對象表，每一表項代表二維圖像序列的一個切片，各表項包括該切片內的所有對象，各對象則包含屬于該對象的所有體素的位置、灰度值、不透明度和顏色對照表，各體素擁有同一對象ID。分析各對象的特征，標記適用的三維重建算法。如對象有明顯的邊界，則用等值面繪制法；如對象的內部信息比較重要，則用直接體繪制法；如對象為血管，則用最大強度投影法；如需表現對象在圖像中未顯示的隱藏信息，則用非真實感繪制法。
所述的步驟二，具體為(1) 對二維圖像序列建立全局繪制模型，采用光線投射法的思想，即按照視線的方向投射一條光線穿過體數據，在光線上按照一定的步長取采樣點，將各采樣點按射線的方向進行疊加，即繪制出三維物體；(2) (1)中所取的采樣點不會都位于同一對象之中，根據對象的特征，建立不同的繪制模型。按對象表中所標記的算法，建立各算法的繪制模型。
所述的步驟三，具體為(1) 將全局繪制模型應用到三維體數據之中，計算各投射光線上的采樣點，由采樣點所處體素的對象ID來區分對象，將對象作為全局繪制模型中的基本單位；(2) 按照對象表，根據對象表中各對象所適用的算法，將各局部繪制模型分別應用于各對象。
(3) 將全局模型中的各條光線進行疊加，計算每條光線疊加后的色彩和不透明度，繪制出最后的三維物體。
本發明方法主要具有以下特點和作用(1)綜合了全局特征和局部特征來繪制三維數據，優化了效率；(2)強調了數據特征，針對不同數據特征的對象和采用與之相適應的各重建算法，完善了繪制效果，增強了數據信息。本發明適用于需要仔細了解圖像中各物體特征的場合，所采用的圖像中應該有復雜的數據特征，只有通過仔細的分析才能提取出其中的感興趣區域。
具體實施例方式
結合本發明方法的具體內容提供以下實施例核磁共振設備采集的人體器官二維圖像序列是滿足具有多種復雜特征的二維斷層掃描圖像序列。在實際應用中，醫生通過觀察該序列中每張圖像所表現出來的特征來判斷人體各組織器官的位置，重點確定病變組織的位置，從而制定出射線治療和手術的方案。本發明可以應用在這種場合。
本實例所使用的二維圖像序列為某某醫院利用馬可尼醫療設備公司1.5T核磁共振影像設備(Eclipse 1.5T，Marconi Medical Systems，Inc，)采集的17歲男孩的腿部(含骨肉瘤)的二維圖像序列。
運行本發明方法的設備為普通個人計算機，其具體配置為P42.0G，256M內存，80G硬盤。軟件平臺為Windows 2000以及一個自設計的數字影像處理系統。
具體實施情況如下步驟一，分割出二維圖像序列中的感興趣區域并構造對象表(1) 對步驟一得到的圖像數據，采用基于灰度的FuzzyConnectness圖像分割算法，分割出感興趣組織，如肌肉、血管、骨頭以及骨肉瘤組織，其中腫瘤組織包括腫瘤實質、壞死和腫瘤骨；(2) 將分割后的二維圖像序列建成為一個三維空間立方體，每個像素則成為空間中的一個點，每相鄰兩層間的八個相鄰點就構成一個空間立方體，即體素，它是空間數據中的最小單位；(3) 對分割出的對象構造對象表，將每一切片上的所有對象作為一個表項，對象則按鏈表的方式連接起來，鏈表項包括對象中所有體素的位置信息、灰度值、不透明度和顏色對照表。分析各個對象的特征，并標記相適應的三維重建算法。對于有明顯邊界特征的對象，即對象邊界像素的灰度值與外相鄰像素的灰度值差異很大，則標記為使用等值面繪制算法，實例中采用移動立方體法；對于需要表現內部信息的對象，則標記為使用直接體繪制算法，實例中采用光線投射法；對于灰度值較大的對象，如血管，采用最大強度投影法；對于需要表現圖像沒有表達出來的隱藏信息的對象，采用非真實感繪制法。
步驟二，建立全局繪制模型和局部繪制模型(1) 從視線的方向引出光線穿過由二維圖像序列構成的三維空間長方體，按一定的步長在光線上采樣取點，并按三線性插值算法計算這些采樣點的灰度值；(2) 對(1)中所取的各采樣點，根據對象表，統計各采樣點所處的對象在對象表中標記的算法種類，并建立各算法的繪制模型。對于移動立方體法，在對象中建立等值面，并用三角形擬合等值面；對于光線投射法，則按光線的方向疊加各采樣點的色彩和不透明度；對于最大強度投影法，也是按光照模型，只是取光線上最大的灰度的像素點；對于非真實感繪制法，設置色彩和不透明度的轉換方程，增強圖像的特征信息。
步驟三，對于步驟一中建立的三維數據，應用全局繪制模型和局部繪制模型(1) 在全局繪制模型中輸入步驟一中建立的三維體數據，開始計算各投射線所經過的采樣點，以采樣點所處體素在對象表中的對象ID來區分所處的對象，將對象看作基本單位；(2) 對于各個對象所對應的局部繪制模型，將對象數據輸入，各自計算繪制過程；(3) 在全局模型上，對整條光線上的像素進行疊加，合成像素的色彩和不透明度，合成公式是Cacc＝(1-Oacc)CnewOnew+CaccOacc＝(1-Oacc)Onew+Oacc①其中，Cnew和Onew表示沿著疊加順序最新遇到的體素的色彩與非透明度，等號左邊的Cacc和Oacc是疊加后的色彩和不透明度，等號右邊的Cacc和Oacc是上次疊加后的色彩和不透明度。
步驟四，利用計算機繪制手段，在計算機屏幕上顯示三維物體利用OpenGL(一種到圖形硬件的軟件接口)，對繪制結果進行光照、渲染、上色、添加不透明度以及轉換視角等計算機繪制操作，在計算機屏幕上顯示最終的三維圖像。
步驟五，對步驟四得到的三維物體進行任意切割(1)在三維物體中放置兩個切割平面，初始位置為物體的中心，相互垂直放置；(2)分別平移或旋轉兩個平面，計算兩平面的相交區域，把三維體數據模型中在該區域中的相應部分去除，得到切割后的三維圖像，可以顯示三維物體的內部信息。
本發明方法取得了較好的實施效果最終結果圖像顯示出了骨肉瘤組織、肌肉、血管、骨頭以及皮膚，病變組織在腿部的位置很清楚。并且可以對三維圖像進行任意方向和角度的切割，通過切割，內部組織的信息也得到了直觀的顯示。
權利要求
1.一種二維圖像序列三維重建方法，其特征在于，步驟如下步驟一對二維圖像序列進行分割，分割出圖像序列中感興趣的對象，將分割后的圖像序列構造成一個三維體數據，并按對象的特征進行分類，構造對象表；步驟二根據步驟一處理好的圖像序列，建立三維顯示的全局繪制模型和局部繪制模型，其中全局繪制模型用于圖像序列的整體三維重建，局部繪制模型用于圖像數據中具體對象的三維重建；步驟三按步驟二建立的全局和局部繪制模型對二維圖像序列進行三維重建，對步驟一建立的三維體數據，應用全局繪制模型，然后根據步驟一建立的對象表，對體數據中的各個對象應用局部繪制模型；步驟四采用光照、渲染、透視、色彩和不透明度計算機繪制手段將三維物體繪制出來并顯示在計算機屏幕上；步驟五在步驟四中繪制出的三維物體中放置兩個切割平面，自由平移和旋轉切割平面，實現對三維物體進行任意方向的切割，以觀察物體的內部信息。
2.根據權利要求1所述的二維圖像序列三維重建方法，其特征是，所述的步驟一，具體為(1)采用基于灰度的FuzzyConnectness圖像分割算法分割二維圖像序列，獲得圖像內的各個對象；(2)將分割后的二維圖像序列構造成一個三維體數據，即三維空間中的一個長方體，上下兩層切片中，每八個相鄰像素點構成的一個空間立方體是空間體數據的最小單位；(3)構造對象表，每一表項代表二維圖像序列的一個切片，各表項包括該切片內的所有對象，各對象則包含屬于該對象的所有體素的位置、灰度值、不透明度和顏色對照表，各體素擁有同一對象ID，分析各對象的特征，標記適用的三維重建算法，如對象有明顯的邊界，則用等值面繪制法；如對象的內部信息比較重要，則用直接體繪制法；如對象為血管，則用最大強度投影法；如需表現對象在圖像中未顯示的隱藏信息，則用非真實感繪制法。
3.根據權利要求1所述的二維圖像序列三維重建方法，其特征是，所述的步驟二，具體為(1)對二維圖像序列建立全局繪制模型，按照視線的方向投射一條光線穿過體數據，在光線上按照一定的步長取采樣點，將各采樣點按射線的方向進行疊加，即繪制出三維物體；(2)所取的采樣點不會都位于同一對象之中，根據對象的特征，建立不同的繪制模型，按對象表中所標記的算法，建立各算法的繪制模型。
4.根據權利要求1所述的二維圖像序列三維重建方法，其特征是，所述的步驟三，具體為(1)將全局繪制模型應用到三維體數據之中，計算各投射光線上的采樣點，由采樣點所處體素的對象ID來區分對象，將對象作為全局繪制模型中的基本單位；(2)按照對象表，根據對象表中各對象所適用的算法，將各局部繪制模型分別應用于各對象；(3)將全局模型中的各條光線進行疊加，計算每條光線疊加后的色彩和不透明度，繪制出最后的三維物體。
全文摘要
一種二維圖像序列三維重建方法，用于圖像處理技術領域。步驟如下對二維圖像序列進行分割，分割出圖像序列中感興趣的對象，將分割后的圖像序列構造成一個三維體數據，并按對象的特征進行分類，構造對象表；根據處理好的圖像序列，建立三維顯示的全局繪制模型和局部繪制模型；按全局和局部繪制模型對二維圖像序列進行三維重建，對建立的三維體數據應用全局繪制模型，然后根據對象表中的各個對象應用局部繪制模型；采用計算機繪制手段將三維物體繪制出來并顯示在計算機屏幕上；在三維物體中放置兩個切割平面，自由平移和旋轉切割平面，實現對三維物體進行任意方向的切割。本發明能充分利用各算法的優點，自二維圖像序列中很好的重建出三維物體。
文檔編號G06T11/00GK1588452SQ200410053489
公開日2005年3月2日 申請日期2004年8月5日 優先權日2004年8月5日
發明者李明祿, 梅炯, 孫皓, 趙永強 申請人:上海交通大學