與三維圖像中表示的三維表面互動的圖像處理方法

專利名稱：與三維圖像中表示的三維表面互動的圖像處理方法
技術領域：
本發明涉及一種圖像處理方法，利用二維顯示裝置顯示三維(3-D)物體處理過的圖像，并與顯示的三維物體的表面互動。本發明還涉及醫用成像設備或系統，并涉及用于處理由這些設備或系統產生的醫用三維圖像并與肌體器官等三維物體的表面互動的程序產品。
本發明發現了在醫學成像法和程序產品領域以及醫用成像設備或系統的具體應用。
人體中管狀結構的二維及三維成像系統通過美國專利US5,891,030(Johnson等)已為公眾所知。該系統例如利用醫用成像裝置、如電腦層析照相法(CT)掃描儀和計算機工作站對活體的消化道成像。CT掃描儀用于產生人體結腸的截面軸向圖像，然后傳遞給計算機工作站。隨著結腸官腔確定結腸中線。計算機工作站通過產生并顯示重新格式化的橫截面圖像、對于容積的探查和內腔視野來支持結腸中線的明確性。還包括半自動中線確定工具。中線確定之后，顯示一個用于診斷目的的圖像剪輯。該圖像包括軸向部分、半腔橫截面和關于內腔容積的圖像。
因此，立體圖像數據用于產生二維改換格式的視圖和三維再現以及對數據的導航。該專利只側重于柱狀和管狀表面。根據確定的中線前產生改換格式的二維圖像和再現圖像再現，并再用于導航。導航限制在預定中線路徑周圍的區域。因為視場有限并且因而有些表面部位被禁止，所以與模型的直接三維互動很困難。對于用戶的困難在于在三維表面上表示且直接繪制線條、輪廓、區域以及與三維圖像數據一般地互動。
本發明涉及利用二維顯示裝置表示三維物體以及在顯示的三維物體表面導航并與之互動的圖像處理方法。更具體地說，本發明涉及一種利用二維顯示裝置表示三維物體并在顯示的三維肌體器官表面導航和與之互動的圖像處理方法，其中三維物體是不限于管狀形狀的三維肌體器官，可以有很多的盤旋(rotondities)及旋繞代替。
表示三維物體的三維圖像通常顯示在與計算裝置和二維接口裝置相關聯的二維顯示屏上，二維接口裝置例如是一個連接到計算裝置的鼠標，用于對顯示屏上看到的三維圖像動作。利用二維鼠標對顯示在二維屏幕上的三維圖像動作時出現的問題是操作者難以互動操縱三維數據以及同時在三維環境中循環或導航。例如，難以在用鼠標移動或轉動三維物體或改變視點的同時選擇一個區域、繪制一個輪廓等。甚至當利用網格模型對顯示在三維圖像中的三維物體分區時，也注意到網格模式難以操縱。附加的一個問題是在醫學圖像中，代表一個器官的三維物體可以表示使得其表面的可視化以及在其表面的導航都很困難的旋繞。注意，旋繞使得三維數據的處理以及三維表面的二維表像非常困難。
本發明的目的在于提出一種能夠易于在三維圖像表示的三維物體表面導航的方法。根據本發明，此方法包括三維物體表面的至少兩個耦接視圖的構成及顯示，包括一個球形三維視圖和在其上進行局部互動的物體表面連接的局部二維視圖。
在權利要求1中保護了提出的一種圖像處理方法。
本發明的優點在于在與原始圖像數據保形之前提取并檢驗模型。在醫學領域，相關的醫學信息可以映射到模型表面。這些醫學信息可以代表圖像紋理、顏色編碼或任何其它可視方式(如灌注、運動、張緊)。
本發明的另一目的在于提供這樣一種方法，包括在兩個用于處理視圖中的數據的視圖中的一個中的物體表面上互動導航，其中另一耦接視圖中的對應的數據自動更新。
本發明的另一目的在于提供一種成像系統，該系統具有用于顯視圖像的顯示裝置，用于對圖像數據起作用的接口裝置，并具有執行本方法的處理裝置。利用成像系統顯示耦接的球形三維視圖和三維物體表面的局部二維視圖。操作者可以例如通過用鼠標點擊鈕將光標定位到三維表面而選擇一個三維視圖中由焦點表示的開始導航點。焦點周圍的一個區域被自動地投影到二維視圖中。為了在三維環境中互動導航，用戶只需要在二維視圖中導航并在二維視圖中處理數據，這比在三維視圖中容易。利用二維與三維視圖間的耦接，在三維視圖中自動且同時更新數據處理。另外，因為兩幅視圖同時更新，所以焦點可以恒定地設置在兩幅視圖的中心。因此，操作者可以用二維視圖作為還被稱作“虛擬鼠標墊”的工具。操作者通過在虛擬鼠標墊上滑動而在二維視圖中導航，這導致操作者可以在三維表面連續滑動。操作者還可以在三維視圖中重新定位焦點以在二維視圖中完成既定的任務。
本發明還涉及一種具有圖像處理裝置的X射線醫用檢查設備以及用于執行本方法的程序產品或程序包。
下面參考附圖對本發明做詳細的描述，其中

圖1A表示在二維屏幕上第一窗口中三維物體的球形三維視圖，圖1B表示第二窗口中的一個投影的二維局部視圖，它們根據圖像處理方法進行處理；圖2A和2B分別表示根據圖1B的箭頭移位之后更新的球形三維視圖和投影的局部視圖；圖3A和3B分別表示帶有標記的圖1A和1B的球形三維視圖和投影的局部視圖；圖4A和4B分別表示帶有標記的圖2A和2B的球形三維視圖和投影的局部視圖；圖5A和5B表示用于投影三維物體的一個區域并形成局部二維視圖的投影技術；圖6表示一個具有執行圖像處理方法的系統的設備。
本發明涉及一種應用到例如由灰度水平表示的三維圖像的圖像處理方法。圖像可以由一個醫學檢查設備提供，并可以代表稱作物體的器官的三維表面，不限于管狀器官。為了給用戶提供更好的例如相對于背景的物體視圖，可以對物體分區。
利用一個包括顯示裝置如二維屏幕的成像系統顯示代表三維物體的三維圖像，其中顯示裝置與計算裝置以及用于對圖像導航和動作的二維接口裝置如鼠標相關聯。
圖像處理方法包括關于三維物體表面的至少兩個耦接視圖的同步顯示的構成，包括物體表面的球形三維視圖和局部二維視圖，其中在三維視圖上進行局部互動和同時更新。
本方法包括靜態和動態表示兩個耦接視圖的方法。操作者可以例如通過用用戶接口裝置如鼠標點擊鈕將光標定位到三維表面而選擇一個三維視圖中由焦點表示的開始導航點。界定焦點周圍的一個區域并自動地將其投影到二維視圖中。根據本發明的方法，可以自動地界定區域的大小以避免像元的畸變超過預定的閾值。作為畸變的函數，可以對區域的各個部分分配不同的顏色。一般地，區域中指定點的畸變是分開此點與焦點的距離的反函數。另外，根據本方法，視圖還有用于形成相應標記的取向裝置。疊加到三維視圖上的取向軸線形成一個第一標記，疊加到二維視圖上的對應取向軸線形成一個對應的第二標記。優選不同的軸線著不同的顏色，并且對應的軸線著相同的顏色，以便允許操作者能夠在兩個視圖的每個視圖中很容易地識別它們。
本方法還包括動態表示耦接視圖的方法。此方法包括在用于處理數據的兩個視圖中的一個中的物體表面互動導航，其中所述的視圖自動更新耦接視圖中對應的數據。為了在三維環境中互動導航，用戶只需在二維視圖中導航并在二維視圖中處理數據，這比在三維視圖中容易很多。由于二維和三維視圖的耦接，在三維視圖中自動和同步地更新數據處理。另外，因為兩幅視圖同時更新，所以焦點和標記可以恒定地設置在兩幅視圖的中心。因此，操作者可以用二維視圖作為被稱作“虛擬鼠標墊”的工具。通過在二維視圖中導航，操作者可以在三維表面連續滑動。操作者還可以在三維視圖中重新定位焦點和標記以在二維視圖中完成既定的任務。相反，通過指點二維視圖，操作者可以更新三維視圖。
本圖像處理方法包括下列步驟1)獲取意中物體的三維圖像獲取三維圖像的方法不是本發明的內容。本方法可以應用到器官的三維圖像上，而三維圖像通過超聲系統或X線設備或本領域技術人員公知的其它系統獲得。三維物體示于圖1A中。在此例中，根據H.Delingette在題為“Simplex Meshesa General Representation for3-D shape Reconstruction”的，公開于“Processing of the InternationalConference on Computer Vision and Pattern Recognition(CVPR’94)，20-24 June 1994，Seattle，UAS”的公開物中揭示的分區技術對三維物體分區。在此論文中給出了一種恢復三維物體的物理方法。該方法是基于“Simplex Meshes”的幾何學。網格的彈性性能通過控制在每個頂點(網格的節點)處抽取的單純角的平均曲率的局部穩定功能來塑造。這些功能是觀查點不變的、本征的以及尺度敏感的。因此，單純的網格是非常適應的結構。提高網格在高度彎曲或不精確部位的分辨率的改進方法包括連接單純的網格以從具有簡單形狀的部分中恢復復雜的網格。一個單純的網格具有恒定的頂點連接性，每個頂點連接到三個相鄰的頂點。它可以表示所有類型的可取向表面。定義四種獨立的變換以實現所有可能范圍內的網格變換。它們在一個面中插入或刪除邊緣。變形隱含著內力和外力。內力決定物理模型對外部限制的反應。內力表現為本征觀察點不變的，并且是與尺度有關的。對于輪廓保持相似類型的限制。因此，引證的公開物提供了用于表示指定三維物體的簡單模型。它定義了施加的力，以便將模型重新整形并調節成所關心的三維物體。“Simplex Mesh technique(單純網格技術)”是一種提供強制分區圖像的互動方法。
2)靜態表示兩個耦接的視圖參見圖1A和1B，在一個屏幕中構成并顯示一組兩個耦接的視窗。如圖1A所示，此組耦接視窗包括用于顯示意中物體的三維球形視圖的第一視窗32A。對此三維球形視圖分區，由此表示帶有單純網格模型的面和邊的三維物體。在圖1A中，作為一個例子，分區的物體是一個球形或圓形物體10。最好在第一視窗32A的子視窗31A中設置提示，表明視圖表示三維球形物體。如圖1B所示，此組耦接的視圖還包括一個第二視窗32B，用于顯示意中物體的局部區域的二維投影視圖。第二視窗32B在子視窗31B中有提示，表明視圖代表局部二維視圖。
用戶例如通過在網格模型表面10上定位鼠標光標并點擊鼠標鈕來選擇三維球形視圖32A中的開始導航點P0。用戶點擊的該點也被稱為焦點。在本例中，焦點P0位于網格模型的面11A中。利用本領域技術人員公知的平化技術把焦點P0周圍未折疊的區域12A投影到第二視窗32B的二維視圖中，形成一個投影表面12B。限制投影表面12B的面積尺寸以避免投影畸變。
為了易于使焦點P0和投影區12A、12B可視化，可以對所關心的區域分配不同的顏色。例如，對耦接的第一和第二視窗中焦點位于的網格模型的面11A、11B分配第一種顏色，如圖1A和1B中的第一灰度水平。焦點周圍的環區可以分配與所述區中發現的畸變值有關的不同顏色。一般地，畸變隨著距離焦點的距離增大。以平化畸變為函數地界定選取的投影區域12B。
表現在第二視窗32B中的二維局部視圖與表現在第一視窗32A中的三維球形視圖耦接。通過模型單元隱含地知道二維視圖與三維視圖之間一對一的直接映射，因此在兩個視圖之間有一種直接的對應。利用互動裝置在二維局部投影視圖32B上執行的任何動作都自動地在三維球形視圖32A中更新。
參見圖3A和3B，對耦接的視圖設置對應的標記。如圖3A所示，三維球形視圖包括在屏幕平面中的第一軸線1A和第二正交軸線2A；以及與屏幕平面正交的第三軸線3A。如圖3B所示，二維局部視圖包括屏幕平面中的一個第一對應軸線和一個第二正交對應軸線2B；以及一個與屏幕平面正交的第三對應軸線3B。第一對應軸線1A、1B可以具有圖中實線表示的第一種顏色。第二對應軸線2A、2B可以具有圖中虛線表示的第二種顏色。第三對應軸線3A、3B可以具有圖中的十字表示的第三種顏色。因此，用戶可以很容易地識別耦接視圖中的對應軸線。
因為從平化過程中傳承了二維與三維視圖之間直接的一對一的映射，因此，在兩幅視圖的每個像素之間有一種直接對應關系。由接口裝置在二維局部投影視圖32B的像素上執行的任何動作都自動地在三維球形視圖32A的對應像素中更新。這種特性通過連接到用戶界面的計算裝置執行的耦合計算而獲得。這種特性尤其對利用醫學信息簡單映射網格模型的三維表面有用。在二維表面視圖中引入了這些信息。醫學信息可以代表圖像紋理、顏色編碼或任何其它可視方式，如涉及到器官的灌注、運動、張緊。這種特性還對三維表面的設計尤其有用。對二維表面視圖的設計非常容易。設計可以是在特定的器官部位畫出標記的線條；用于界定或增亮器官部位的輪廓。
3)動態表示耦接圖像中的互動導航利用二維鼠標在表現在二維屏幕上的三維表面直接導航時出現的困難在于操作者難以在三維環境中循環或導航的同時互動操縱三維數據。例如，難以用鼠標移動或轉動三維物體并同時選擇一個區域來畫出一個輪廓，該輪廓起始于物體前面的一個部位并在該物體或器官后面的一個部位繼續。甚至當利用網格模型對表現在三維圖像中的三維物體分區時，也注意到網格模型難以操縱。附帶的問題在于在醫學圖像中表現一個器官的三維物體可以表示旋繞，該旋繞使得表面的可視化以及在表面的導航很困難。注意，旋繞使得三維數據以及三維表面的二維表像的處理非常困難。
為了在三維視圖32A中互動導航，用戶只需要在二維視圖32B上放置并點擊鼠標。如圖1B所示，用戶可以相對于起始點P0向上導航。然后，用戶選擇一個例如位于二維局部視圖32B的面21B中的新焦點P1。該焦點自動地沿在點P1發現的箭頭100移位。
參見圖2A和2B，球形和局部視圖都自動地同時更新。根據本發明，在更新的視窗32A和32B中心自動地同步設置新焦點。因此，新焦點恒定地位于更新的視窗中心。這種特性允許用戶利用二維視圖作為一個用于在二維視圖上連續滑動的虛擬鼠標墊自動和同步地在三維視圖上滑動。圖2A表示在球形視窗32A的中心和在局部視窗32b的中心的新焦點P1。這個新焦點位于面21B中。新算出的投影區是局部視圖32B中的22B。在三維視圖32A中自動地同步發現對應的三維區域22A。可以重復上述程序直到完成導航。
參見圖4A和4B，不僅通過在兩個耦接圖像中的一個上滑動來更新焦點和像點，而且還更新標記。因此，用戶可以沒有損失地在復雜表面上很容易地導航。用戶可以與三維表面模型執行連續互動，如區域選擇、繪制圍繞表面模型的曲線，切割部分模型，在復雜表面上界定區域，測量曲線輪廓如短程區域面積等。當可以獲得紋理并映射到模型上時，用戶可以執行邊緣探測、特征提取以及對映射的紋理的其它測量。例如跟蹤移動導線、探測伸張都是易于在二維局部視圖上執行的可能的操作。與模型的互動不限于引證的實例。本發明尤其適用于可以應用到心室模型的心臟病學領域、可以應用到脊椎骨模型的脊骨病理學研究領域以及動脈造影術和靜脈學領域等。
4)投影技術可以使用本領域技術人員公知的導致局部表面平坦化的任何投影技術。例如，可以使用參見圖5A和5B所述的本領域公知的投影技術。這項技術包括與圖5A中表示的平面P到三維物體S有關的操作。圖5B表示三維物體與平面的截面圖。截面輪廓的每個點沿箭頭方向D投影到平面截面上。把物體的截面設計成與平面的每一列對應，并且物體截面對應輪廓的點投影到該平面上。由此獲得物體輪廓的投影。例如在ANDREW S.GLASSNER編輯的，ACADEMIC PRESS(XeroxPalo Alto Research Center，Palo Alto，Califonia)的題為“GRAPHICSGEMS”，p.307-317的文章中描述了用于進行投影的各種方法。
5)執行本方法的系統參見圖6，醫學診斷成像設備150包括用于獲得三維數字圖像數據的裝置，用于根據上述處理方法處理這些數據的數字處理系統120。醫學檢查設備包括把圖像數據提供給至少有一個輸出端106的處理系統120、從而把圖像數據提供給顯示和/或存儲裝置130、140的裝置。顯示和存儲裝置可以分別是屏幕140和工作站110的存儲器。所述的存儲裝置也可以是外存儲裝置。此圖像處理系統120可以是工作站130的一種適當的編程計算機，由程序產品給予指令，也可以是具有電路裝置如LUT、存儲器、濾波器、邏輯操作器的特殊用途處理器給予指令，分布這些電路裝置以執行根據本發明的方法步驟的功能。工作站130還可以包括一個鍵盤131和一個鼠標132。
權利要求
1.一種圖像處理方法，利用二維顯示裝置顯示三維(3-D)物體的處理圖像并與顯示的三維物體的表面互動，本方法包括以下步驟構成并顯示三維物體表面的至少兩個耦接視圖，這些視圖包括一個球形三維視圖和在其上進行局部互動的所述物體表面連接的局部二維視圖。
2.如權利要求1所述的方法，還包括以下步驟在兩幅視圖的一幅中在物體表面上互動導航，并處理所述視圖中的數據，自動更新另一耦接視圖中的對應數據。
3.如權利要求2所述的方法，用于靜態表示所述兩個耦接的視圖，包括以下步驟在三維視圖中選擇一個由焦點表示的開始點；界定焦點周圍的一個區域并自動地將所述區域投影到二維視圖中。
4.如權利要求3所述的方法，其特征在于，兩個耦接的視圖還有用于形成對應標記的取向裝置。
5.如權利要求4所述的方法，其特征在于，取向軸線疊加到三維視圖上以形成一個第一標記，對應取向軸線疊加到二維視圖上以形成一個對應的第二標記，并且其中，不同的軸線著不同的顏色，并且對應的軸線著相同的顏色，以便在兩個視圖的每一個中識別這些軸線。
6.如權利要求3至5中任一項所述的方法，用于進一步動態表示所述耦接的視圖，包括以下步驟在物體表面上互動導航，具有把焦點滑到二維視圖中的一個新位置的子步驟，其中自動更新在三維視圖中的新焦點；界定新焦點周圍的一個新區域并將所述區域自動投影到二維視圖中；和處理二維視圖的所述新區域中數據的子步驟，其中自動且同步地更新耦接的三維視圖中對應的數據。
7.如權利要求3至6中任一項所述的方法，其特征在于，因為兩個視圖同時被更新，所以焦點和標記恒定地設置在兩個視圖的中心。
8.如權利要求3至7中任一項所述的方法，其特征在于，對三維視圖的不同像元分配不同的顏色，如對不同的軸線用不同的顏色，對不同的區域用不同的顏色，并且對二維視圖中的對應像元分配對應的顏色，并且其中，在兩幅視圖中同步地和自動地更新不同的顏色。
9.如權利要求1至8中任一項所述的方法，其特征在于，利用網格模型技術對所關心的三維物體分區。
10.如權利要求9所述的方法，用于處理表示器官的三維醫學圖像中的數據，其特征在于，醫學信息映射到三維網格模型上，其中該信息被引入到二維表面視圖中，并且其中，在醫學信息中有可視醫學指示，如圖像紋理、顏色編碼或任何其它可視方式，如與器官有關的灌注、移動、張緊。
11.如權利要求10所述的方法，其特征在于，對二維表面視圖進行設計，并在三維視圖中自動和同步地更新，并且其中，在所述設計中有對特殊的器官部位繪制標記的線條；界定器官部位的輪廓，用于增強器官或器官部位的特殊設計。
12.如權利要求10或11中任一項所述的方法，其特征在于，進行導航步驟期間，通過在稱作虛擬鼠標墊的二維模型上滑動而進行與三維表面模型的連續互動，并且其中，在互動中有區域選擇、在表面模型的任何部位上的曲線繪制、模型部位的切割、在復雜表面上的區域描繪、曲線輪廓的測量；并且當獲得紋理并映射到模型上時，在互動中有邊緣探測、特征抽取和/或在映射的紋理上的醫學測量，如跟蹤導線移動和/或探測伸張。
13.如權利要求10-12中任一項所述的方法，其特征在于，器官模型是心臟病學中的心室模型、脊骨病理學中的脊椎骨模型、動脈造影術和靜脈學中的血管。
14.一種包括適當編程的計算機或特殊用途的具有電路裝置的處理器的系統，電路裝置布置成根據權利要求1～13中任一項所述的方法處理圖像數據。
15.一種醫學診斷成像設備，其具有獲取肌體器官的三維圖像的裝置；顯示耦接的三維和二維視圖的顯示裝置；對二維及三維視圖起作用的接口裝置；和執行如權利要求1～13中任一項所述的方法的處理裝置。
16.一種計算機程序產品，其包括一組用于執行如權利要求1～13中任一項所述的方法的指令。
全文摘要
本發明涉及利用二維顯示裝置顯示處理過的三維物體的圖像并與顯示的三維物體的表面互動的圖像處理方法，包括構成并顯示三維物體表面的至少兩個耦接的視圖，兩個視圖包括一個球形三維視圖和物體表面上進行互動的連接的局部二維視圖。本方法還包括在兩個視圖的一個中的物體表面上互動導航，并處理所述視圖中的數據，自動更新另一耦接視圖中的對應數據。
文檔編號G06T17/40GK1639675SQ02813533
公開日2005年7月13日 申請日期2002年7月5日 優先權日2001年7月6日
發明者J·－M·魯埃, M·弗拉金, S·馬克拉姆－埃貝德 申請人:皇家菲利浦電子有限公司