集成有電磁導航的氣管鏡和錐束計算機斷層攝影的可視化、導航和規劃的制作方法

本公開涉及用于在醫療過程執行期間輔助醫生的工具，更具體地，涉及用于在醫療過程期間提供基于圖像的引導的系統、裝置和方法。

背景技術：

肺部疾病會造成患者肺部的一個或多個部分失去其正常工作的能力，因此需要進行治療。肺部的治療過程可以是非常復雜的，并且如果執行過程的醫生能夠看見患者肺部中的氣道和其他結構的形成方式和工具所處的位置，則將極大地有助于治療過程。傳統的術前成像對于前者而言在一定程度上是有幫助的，但是對于后者則無法提供引導。

用于顯示圖像和跟蹤患者肺部中的工具的系統通常依賴于術前數據，該術前數據例如來自在治療過程開始之前(提前若干天或若干周)執行的計算機斷層攝影術(CT)掃描。然而，這樣的系統沒有考慮到在執行CT掃描之后可能會發生的變化，或者在治療過程期間發生的移動。在下面描述用于對識別和可視化患者肺部及處于肺部中的結構和工具的過程進行改進的系統、裝置和方法。

技術實現要素：

根據本公開提供了一種提供用于在患者胸部內導航的視覺引導的方法。根據本公開的實施例，所述方法包括：呈現管腔網絡的三維(3D)模型；通過電磁(EM)場發生器在患者胸部周圍產生電磁場；檢測電磁傳感器在電磁場內的位置；基于檢測到的電磁傳感器的位置，確定工具在患者胸部內的位置；在3D模型上顯示工具的位置標記；接收患者胸部的錐束計算機斷層攝影術(CBCT)圖像數據；基于錐束 計算機斷層攝影術圖像數據，檢測工具在患者胸部內的位置；以及基于檢測到的位置，更新工具在3D模型上的位置標記。

在本公開的另一方面中，所述方法還包括：基于檢測到的電磁傳感器的位置，提供用于定位錐束計算機斷層攝影術成像裝置的引導。

在本公開的又一方面中，所述方法還包括：對患者胸部的在檢測到的電磁傳感器的位置周圍的一部分成像，以產生錐束計算機斷層攝影術圖像數據。

在本公開的再一方面中，所呈現的3D模型包括目標位置標記和用于將工具導航到該目標位置的路徑。

在本公開的又一方面中，通向目標位置的路徑的第一部分位于管腔網絡的內部，通向目標位置的路徑的第二部分位于管腔網絡的外部。

在本公開的又一方面中，在工具沿著通向目標位置的路徑的第二部分導航的同時，接收錐束計算機斷層攝影術數據。

在本公開的又一方面中，基于錐束計算機斷層攝影術數據，更新通向目標位置的路徑的第二部分。

在本公開的另一方面中，所述方法還包括：基于錐束計算機斷層攝影術成像裝置的位置，提醒電磁場可能扭曲。

在本公開的又一方面中，電磁場發生器基于錐束計算機斷層攝影術成像裝置的位置，補償電磁場的扭曲。

在本公開的另一方面中，所述方法還包括：當患者胸部上的一個或多個電磁傳感器指示患者在成像期間已經移動時，發出提醒。

在本公開的又一方面中，所述方法還包括：在對患者胸部的所述部分成像之前，禁用電磁場發生器；以及在對患者胸部的所述部分成像之后，啟用電磁場發生器。

在本公開的又一方面中，在患者呼吸周期的第一階段期間，生成錐束計算機斷層攝影術圖像數據，該方法還包括：在患者呼吸周期的第二階段期間，對患者胸部的在檢測到的電磁傳感器的位置周圍的所述部分成像，以生成附加錐束計算機斷層攝影術圖像數據。

在本公開的又一方面中，所述方法還包括：監控患者的呼吸周期， 以確定患者呼吸周期的當前階段；以及顯示與患者呼吸周期的當前階段對應的錐束計算機斷層攝影術圖像數據或附加錐束計算機斷層攝影術圖像數據中的一個。

在本公開的又一方面中，基于位于患者胸部上的傳感器來監控患者的呼吸周期。

在本公開的又一方面中，基于與患者相連的呼吸器來監控患者的呼吸周期。

在本公開的另一方面中，所述方法還包括：監控患者的呼吸周期，來確定患者呼吸周期的當前階段；以及當患者呼吸周期的當前階段不對應于錐束計算機斷層攝影術圖像數據或附加錐束計算機斷層攝影術圖像數據時，顯示提醒。

在本公開的又一方面中，所述方法還包括：識別錐束計算機斷層攝影術圖像數據中的工具；基于在錐束計算機斷層攝影術圖像數據中的工具的位置和取向，定向錐束計算機斷層攝影術圖像數據；以及基于定向顯示錐束計算機斷層攝影術圖像數據。

在本公開的再一方面中，工具是消融裝置，該方法還包括：識別消融裝置的輻射部分；基于消融裝置的位置和取向以及消融設定，確定投影消融區域；以及在錐束計算機斷層攝影術圖像數據上顯示投影消融區域的標記。

在本公開的另一方面中，所述方法還包括：基于消融裝置的位置和取向、消融設定和經過時間，確定估計消融區域；以及在錐束計算機斷層攝影術圖像數據上顯示估計消融區域的標記。

在本公開的又一方面中，所述方法還包括：接收患者的胸部的熒光圖像數據；在熒光圖像數據中識別患者胸部中的工具；基于工具的位置，將錐束計算機斷層攝影術圖像數據疊加在熒光圖像數據上。

根據本公開的實施例，提供一種存儲指令的非暫時性計算機可讀存儲介質，所述指令在被處理器執行時使得計算裝置：接收患者胸部的第一圖像數據；基于第一圖像數據，識別患者胸部中的管腔網絡；基于第一圖像數據，生成管腔網絡的三維(3D)模型；檢測電磁(EM) 傳感器在電磁場內的位置，所述電磁場由電磁場發生器在患者胸部周圍生成；基于檢測到的電磁傳感器的位置，確定工具在患者胸部內的位置；使得顯示裝置在3D模型上顯示工具的位置標記；接收患者胸部的第二圖像數據；基于第二圖像數據，檢測工具在患者胸部內的位置；以及基于檢測到的位置，更新工具在3D模型上的位置標記。

可以組合本公開的任何上述方面和實施例而不背離本公開的范圍。

附圖說明

下面參考附圖描述了本公開的不同方面和特征，其中：

圖1是根據本公開的實施例的用于規劃和執行患者肺部區域治療的氣管內系統的示意圖；

圖2是關于患者示出的能夠用于圖1的系統中的成像裝置的示意圖；

圖3A至3D示出了根據本公開的實施例的用于為患者胸部中的導航提供視覺引導的示例性方法的流程圖；

圖4示出了可以作為圖3A至3D的方法的一部分的示例性用戶界面；并且

圖5是根據本公開的實施例的形成圖1的系統的部分的示例性計算裝置的框圖。

具體實施方式

本公開涉及用于在患者的肺部中對工具進行導航且在患者的肺部中執行治療時使用錐束計算機斷層攝影術(CBCT)圖像的裝置、系統和方法。更具體地，本公開涉及將CBCT圖像數據與肺部導航系統相集成以更新和/或改進在患者肺部內的治療目標和工具的定位和可視化以及更新對治療過程的基于圖像的引導。CBCT圖像數據可以與數字重構(例如患者肺部的三維(3D)模型或映射)以及來自其他成像手段的圖像數據相結合地顯示或者并列顯示，所述其他成像手段包 括計算機斷層攝影術(CT)圖像、磁共振(MR)圖像、正電子發射斷層攝影術(PET)圖像、熒光圖像和其他X射線型圖像、和/或超聲圖像。3D模型可以基于來自一種或多種前述成像手段的術前圖像數據來構建。可選地或附加地，CBCT掃描在治療過程開始時執行，該CBCT掃描也可以如下文進一步描述的那樣用于校準，還可以用于構建和/或強化3D模型。

為了建立3D模型，可以基于患者肺部的圖像數據執行術前區段和子區段描繪和外推以建立患者肺部(包括患者肺部的管腔、胸膜表面和肺裂)和/或可能存在于患者肺部中的腫瘤或其他病變結構的視覺表達。描繪可以利用在計算機上運行的一個或多個軟件應用程序來執行。應用程序可以基于如上所述以射線攝影術的方式獲得的圖像數據生成患者肺部的3D模型以用于患者肺部的視覺表達。

其中，3D模型可以示出患者肺部的管腔、胸膜表面和肺裂、以及其他結構。圖像數據可以進行進一步處理以識別患者肺部中的一個或多個治療目標(例如腫瘤或其他病變結構)。例如，應用程序可以根據圖像數據識別管腔(例如氣道、血管和/或淋巴結構)的位置，并且基于管腔的位置確定肺裂的位置和肺裂的完整程度，以及確定胸膜表面和/或治療目標的位置。3D模型和圖像數據可以隨后由醫生和/或醫師查看以規劃醫學治療過程(例如手術或介入性過程)。可以進一步存儲3D模型和/或治療規劃以用于隨后在手術室等場所內的治療過程期間查看。

如下文進一步描述的那樣，治療規劃可以包括對于一個或多個治療目標(例如在圖像數據中識別出的腫瘤、損傷或其他病變結構)的識別位置，以及在患者的氣管和每一個治療目標之間的路徑。路徑可以包括位于患者肺部的管腔(例如氣道)內部的部分、以及位于患者肺部的氣道外部的部分。“出口點”可以標識在路徑的位于患者氣道內部的部分以及路徑的位于患者氣道外部的部分之間的轉換點。

在治療過程期間，可以如下文進一步描述的那樣顯示3D模型以幫助醫生將一個或多個工具導航至治療目標。3D模型可以包括在患者 肺部內的工具的跟蹤位置的標記。在治療過程期間的不同時間，可以收集附加圖像數據(例如上述的CBCT數據)以示出在患者肺部中的工具和/或治療目標的實時位置。例如，在工具經過“出口點”并且位于患者氣道外部之后，或者在醫生選擇的任何其他時間，可以執行CBCT掃描并且處理所收集的數據以識別工具和/或治療目標。工具的跟蹤位置在3D模型上的標記可以隨后基于從CBCT掃描中收集的圖像數據進行更新，由此示出工具和/或治療目標的確認位置。從CBCT掃描中收集的圖像數據可以進一步顯示出來，并由此為軟件應用程序提供在患者呼吸周期的不同階段期間跟蹤工具的位置的能力。盡管3D模型可以基于在患者處于呼吸周期中的特定階段(例如完全屏住呼吸)時所獲取的圖像數據來生成，但是患者不必在治療過程的整個時段中都保持呼吸周期的該特定階段。由此，在治療過程期間、在患者呼吸周期的不同階段期間、特別是在正常氣量呼吸期間獲取圖像數據可以提供在患者肺部中的工具和治療目標的位置以及治療工具相對于治療目標的位置的更加清楚和更加準確的可視化。因此，術中的CBCT掃描可以用于確認工具在治療目標處的安置。

本文所述的方法、系統、裝置和計算機可讀介質在各種規劃和/或導航的背景下能夠有效用于對患者肺部和周圍組織執行的治療過程。例如，在醫生對患者肺部的區域執行治療的實施例中，所述方法和系統可以為醫生提供患者肺部以及工具和治療目標在患者肺部中的位置的各種視圖。另外，正如要在下文進一步詳述的那樣，所述方法和系統可以在醫生進行選擇時，通過執行一次或多次術中CBCT掃描以收集關于工具和/或治療目標在患者肺部中的位置的圖像數據來為醫生提供更新工具和/或治療目標在3D模型上的指示位置的能力。下面詳細介紹本公開的各個方面。

電磁導航(EMN)系統、例如目前由Medtronic PLC以商標名 銷售的ELECTROMAGNETIC NAVIGATION 系統，可以用于規劃和執行對患者肺部的區域的治療。通常，在一個實施例中，EMN系統可以在規劃治療患者肺部的 區域時通過以下的方式使用：識別患者肺部中的一個或多個治療目標的位置，選擇一個或多個治療目標作為目標位置，確定通向目標位置的路徑，將定位組件導航至目標位置，以及經由定位組件將各種工具導航至目標位置。EMN系統可以構造成顯示包括上述圖像數據和3D模型在內的患者肺部的各種視圖。

參照圖1，根據本公開提供的EMN系統100適用于實施用以提供視覺引導以便在患者胸部內進行導航的方法。如圖1所示，EMN系統100用于對承載于手術臺40上的患者執行一種或多種過程。為此，EMN系統100通常包括氣管鏡50、監控設備30、電磁(EM)跟蹤系統70、以及計算裝置80。

氣管鏡50構造成用于通過患者的口部和/或鼻部插入到患者的氣道中。氣管鏡50包括照明光源和視頻成像系統(未明確示出)并且聯接至監控設備30(例如視頻顯示器)以用于顯示從氣管鏡50的視頻成像系統接收到的視頻圖像。在一個實施例中，氣管鏡50可以結合導管引導組件90進行操作。導管引導組件90包括構造成用于通過氣管鏡50的作業通道插入患者氣道中的可定位引導件(LG)92和延伸作業通道(EWC)96(不過導管引導組件90可以替代地不與氣管鏡50一起使用)。導管引導組件90包括連接至EWC 96的手柄91，并且手柄能夠通過旋轉和壓縮來進行操縱以駕馭LG 92和EWC 96。EWC96的尺寸設置成安置到氣管鏡50的作業通道中。在導管引導組件90的操作中，包括EM傳感器94的LG 92被插入EWC 96中并鎖定就位，以使得EM傳感器94延伸超出EWC 96的遠側末端93期望的距離。EM傳感器94在由電磁場發生器76生成的電磁場內的位置(由此EWC 96的遠側末端93在由電磁場發生器76生成的電磁場內的位置)能夠通過跟蹤模塊72和計算裝置80導出。關于導管引導組件90的更多細節描述，可以參考2013年3月15日由Ladtkow等提交的、發明名稱為“MICROWAVE ABLATION CATHETER AND METHOD OF UTILIZING THE SAME”且共同擁有的美國專利US9247992，在此通過引用將其全部內容并入本文。

LG 92和EWC 96能夠經由鎖定機構99而選擇性地相對于彼此鎖定。六自由度的EM跟蹤系統70(例如類似于由Gilboa在1998年12月14日提交的、發明名稱為“WIRELESS SIX-DEGREE-OF-FREEDOM LOCATOR”的美國專利US No.6188355以及公開的PCT申請WO No.00/10456和WO 01/67035所公開的EM跟蹤系統)或者任意其他合適的定位測量系統被用于執行導航，不過也可以設想其他的構造，上述專利文獻的全部內容均通過引用而并入本文。

EM跟蹤系統70可以構造成用于與導管引導組件90一起使用以在EM傳感器94與EWC 96相結合地運動通過患者的氣道時跟蹤EM傳感器94的定位，如下所述。在一個實施例中，EM跟蹤系統70包括跟蹤模塊72、多個基準傳感器74和電磁場發生器76。如圖1所示，電磁場發生器76定位在患者下方。電磁場發生器76和多個基準傳感器74與跟蹤模塊72互連，跟蹤模塊72導出每一個基準傳感器74在六個自由度中的位置。一個或多個基準傳感器74附連至患者的胸部。將基準傳感器74的六個自由度的坐標作為數據發送至計算裝置80，所述計算裝置80包括應用程序81，在其中使用來自基準傳感器74的數據計算患者的基準坐標系。

盡管在上文中將EM傳感器94描述為包含于LG 92中，但是可以設想將EM傳感器94嵌入或并入治療工具(例如活檢工具62和/或消融工具64)中，其中治療工具可以替代地用于導航且無需LG 92或使用LG 92所需的必要工具更換。EM傳感器94也可以嵌入或并入EWC 96中，例如嵌入或并入在EWC 96的遠側部分處，由此使得無需單獨的LG 92就能夠跟蹤EWC 96的遠側部分。

根據一個實施例，治療工具62、64構造成能夠在導航至目標位置并移除LG 92之后插入導管引導組件90中。活檢工具62可以用于從目標位置收集一個或多個組織樣本，并且在一個實施例中進一步構造成用于與跟蹤系統70結合使用以便于將活檢工具62導航至目標位置，并且在相對于目標位置操縱活檢工具62以獲得組織樣本時跟蹤活檢 工具62的位置。消融工具64構造成與發生器66(例如射頻發生器或微波發生器)一起操作，并且可以包括各種消融工具和/或導管中的任意一種，在美國專利US9259269、US9247993、US9044254和US9370398、以及公開號為US2014/0046211的美國專利申請(這些專利文獻均由Ladtkow等在2013年3月15日申請且發明名稱均為“MICROWAVE ABLATION CATHETER AND METHOD OF USING THE SAME”)中更加完整地描述了它們的示例，上述專利文獻中的全部內容均通過引用而并入本文。盡管在圖1中圖示為活檢工具和微波消融工具，但是本領域技術人員可以認識到，例如包括RF消融工具、短程治療工具等的其它工具能夠類似地布置和被跟蹤而不背離本公開范圍。另外，穿刺工具和/或穿孔工具可以使用和/或并入LG 92內以建立出口點，在出口點處，LG 92且由此EWC 96朝向目標位置被導航到患者氣道的外部，正如下文進一步描述的那樣。

能夠對患者肺部的至少一部分執行CBCT掃描的射線攝影術成像裝置20(例如C型臂成像裝置)可以與EMN系統100結合使用。成像裝置20還可以能夠對患者的肺部執行熒光掃描。如圖1所示，成像裝置20連接至計算裝置80，使得應用程序81可以接收并處理由成像裝置20獲得的圖像數據。然而，成像裝置20也可以具有位于治療室內或單獨的控制室內的單獨的計算裝置，以便首先接收由成像裝置20獲得的圖像數據，然后將這些圖像數據中繼至計算裝置80。例如，為了避免將醫生暴露于因重復的射線攝影掃描而導致的不必要輻射，在成像裝置20執行CBCT掃描和/或熒光掃描的時候，醫生可以離開治療室并在附近的房間(例如控制室)內等待。

計算裝置80包括軟件和/或硬件(例如應用程序81)以用于幫助進行EMN過程的各個階段，階段包括：生成3D模型，識別目標位置，規劃通向目標位置的路徑，利用患者的實際氣道來校準3D模型，導航至目標位置，以及在目標位置處執行治療。例如，計算裝置80利用從CT掃描、CBCT掃描、磁共振成像(MRI)掃描、正電子發射斷層攝影術(PET)掃描和/或任意其他合適的成像手段獲取的數據來生 成并顯示患者氣道的3D模型，通過分析圖像數據和/或3D模型來實現對3D模型上的目標位置的(自動、半自動或手動)識別，并允許確定和選擇通過患者的氣道到達目標位置的路徑。盡管圖像數據可能具有間隙、遺漏和/或包含在圖像數據中的其他缺陷，但是3D模型是患者氣道的平滑表達，其中圖像數據中的任何這樣的間隙、遺漏和/或缺陷均被填充或者校正。3D模型可以呈現在與計算裝置80相關聯的顯示監控裝置上，或者以任意其他合適的方式給出。本文所述的規劃軟件的示例能夠在Baker等人于2013年3月15日申請的、公開號為US2014/0281961、US2014/0270441和US2014/0282216且發明名稱為“PATHWAY PLANNING SYSTEM AND METHOD”的美國專利申請中找到，上述專利文獻的內容都通過引用而并入本文。規劃軟件的更多示例能夠在Brown等人于2015年6月29日申請的、公開號為US2016/0000302且發明名稱為“SYSTEM AND METHOD FOR NAVIGATING WITHIN THE LUNG”的共同受讓的美國專利申請中找到，其內容通過引用而并入本文。

使用計算裝置80，圖像數據和/或3D模型的各種視圖可顯示給醫生并由醫生操控以便于識別出目標位置。如上所述，目標位置可以是在患者肺部中的要執行治療的部位。例如，治療目標可以位于毗鄰氣道的肺部組織中。其中，3D模型可以包括與患者肺部的實際氣道相對應的模型氣道樹，并且示出了患者的實際氣道樹中的各種通道、支路和分叉。另外，3D模型可以包括患者肺部中的損傷、標志物、血管和脈管結構、淋巴管和淋巴結構、器官、其他生理結構、和/或胸膜表面和肺裂的3D渲染。可以選擇性地顯示一些或全部的上述要素，以使得醫生在查看3D模型時能夠選擇應顯示哪些要素。

在識別出目標位置之后，應用程序81可以確定在患者的氣管和目標位置之間的經由患者氣道的路徑。在目標位置位于不直接毗鄰氣道的肺部組織中的情況下，至少一部分路徑將位于患者氣道外部以將氣道壁上的出口點連接至目標位置。在這樣的情況下，LG 92和EWC 96將首先沿路徑的第一部分通過患者的氣道導航至氣道壁上的出口點。 隨后可以從EWC 96移除LG 92，并且將接入工具(例如穿刺工具或穿孔工具)插入EWC 96中以在氣道壁中建立位于出口點處的開口。EWC 96可以隨后通過氣道壁行進到氣道周圍的軟組織中。隨后可以從EWC 96移除接入工具，并且將LG 92和/或工具62、64重新插入EWC 96中，以將EWC 96沿位于氣道外部的路徑的第二部分導航至目標位置。

在治療過程期間，EM傳感器94與跟蹤系統70相結合使得能夠在EM傳感器94遵循規劃階段期間所規劃的路徑而行進通過患者的氣道時跟蹤EM傳感器94(并由此跟蹤EWC 96的遠側末端93或者工具62、64)。作為過程的初始步驟，利用患者的實際氣道來校準3D模型，以使應用程序81能夠在3D模型上顯示EM傳感器94的位置標記，該位置標記對應于EM傳感器94在患者氣道內的位置。

校準的一種可行方法包括：通過將LG 92在患者肺部的每一個肺葉中導航到該肺葉中的氣道的至少第二分叉而執行對患者肺部的測繪。在該校準階段期間跟蹤LG 92的位置，并且基于可定位引導件在患者肺部的實際氣道內的跟蹤位置來迭代更新3D模型。在Barak等人于2010年5月14日申請的公開號為US2011/0085720且發明名稱為“AUTOMATIC REGISTRATION TECHNIQUE”的共同擁有的美國專利申請以及Brown等人于2015年7月2日申請的公開號為US2016/0000356且發明名稱為“REAL-TIME AUTOMATIC REGISTRATION FEEDBACK”的美國專利申請中描述了該校準過程，上述專利文獻中的每一篇的內容都通過引用而并入本文。在校準過程專注于將患者的實際氣道與3D模型中的氣道對準的同時，校準也確保了肺部的脈管結構、胸膜表面和肺裂的位置得以精準地確定。

校準的另一種可行方法是在患者留在手術臺40上且同時由醫生執行上述規劃階段的情況下，使用來自在治療過程開始時執行的CBCT掃描的圖像數據來生成3D模型。因為利用安置在患者身上的基準傳感器74來進行掃描，所以能夠獲知患者相對于基準傳感器74的解剖結構。通過利用安置在患者身上的基準傳感器74執行掃描，如 上所述通過使用肺部測繪技術來執行校準就變得不再必要。另外，在患者下方的電磁場發生器76中的特征結構和傳感器也可以用作幫助確保將目標位置安置在電磁場中的另一種方式。醫生隨后無需執行上述對患者肺部的測繪即可啟動治療過程的導航階段，原因在于患者仍然處于與在獲取3D模型所基于的圖像數據時患者所在的位置基本相同的位置。由此，應用程序81可以在LG 92沿著規劃路徑導航時根據電磁傳感器94在電磁場中的位置推算充足的數據點，以便在進行導航階段的同時將3D模型校準為患者的實際氣道。

在治療過程期間的不同時間，醫生可以請求對患者執行附加CBCT掃描。附加CBCT掃描可以對準患者體內的醫生想要獲取附加圖像數據的特定位置，例如患者肺部中在LG 92位置周圍的區域。例如，附加圖像數據可以用于確認患者肺部內的電磁傳感器94的位置(其代表LG 92和/或工具62、64的位置)和/或目標位置。應用程序81可以接收通過附加CBCT掃描獲取的圖像數據并處理這些附加圖像數據以識別患者肺部內的電磁傳感器94的位置和/或目標位置。如果附加圖像數據指示基于原始圖像數據顯示的位置不準確，則隨后應用程序81可以基于附加圖像數據更新電磁傳感器94在3D模型上的位置標記。在一些實施例中，附加CBCT掃描例如可以基于患者的呼吸周期或呼吸循環執行，以便在患者的呼吸周期的不同階段期間獲取圖像數據，正如以下進一步描述的那樣。除了CBCT掃描以外，醫生也可以在過程期間的不同時間請求執行熒光掃描。從熒光掃描獲取的圖像數據可以進一步用于幫助醫生圍繞目標位置導航和定位LG 92。

現轉至圖2，其中，患者被示出為平躺在手術臺40上且成像裝置20定位成用于執行對患者身體的一部分的掃描。正如以下進一步描述的那樣，應用程序81可以在治療過程期間請求附加掃描時提供關于成像裝置20如何定位的引導。由此，可以在治療過程期間移走成像裝置20以允許醫生更好地接近患者，并且可以將成像裝置20移回就位以用于在應用程序81提供的引導下進行掃描。

參照圖3A至3E，根據本公開的實施例示出了用于為在患者胸部 內導航提供視覺引導的示例性方法300的流程圖。如下所述，方法300的各個子區段可以涉及不同的實施例。由此，本領域技術人員應當意識到，盡管給出并且描述了一定順序的流程，但是方法300中的各個步驟可以省略或者按照與下文所述不同的順序執行。

從圖3A開始，方法300的起始部分301包括治療過程中的上述規劃階段的步驟。由此，方法300可以在步驟S302開始，在步驟S302中，應用程序81接收患者胸部的圖像數據。圖像數據可以在患者身體或身體相關部分的術前掃描(例如CT掃描、MRI掃描、PET掃描、CBCT掃描等)期間獲取。可選地，圖像數據可以在治療過程開始時執行的掃描(例如CBCT掃描)期間獲取。

在接收到圖像數據之后，應用程序81在步驟S304處理圖像數據以識別圖像數據中的管腔網絡。管腔網絡可以是患者肺部中的患者氣道、血管、和/或淋巴管。應用程序81可以進一步處理圖像數據以識別其他結構，例如患者肺部中的胸膜和肺裂、其他器官和關鍵結構、和/或在患者肺部內和/或在患者肺部周圍的病變結構。應用程序81隨后在步驟S306處基于經過處理的圖像數據生成3D模型。基于圖像數據和/或3D模型，由應用程序81自動地、或利用來自醫生的輸入半自動地、或者由醫生手動地識別出至少一個治療目標。在識別出治療目標之后，將表示治療目標的識別位置的目標位置標識在3D模型上，并且應用程序81確定在患者的氣管和目標位置之間的經由患者氣道的路徑。

如上所述，路徑可以包括各個部分，包括位于患者氣道內部的在氣管和鄰近目標位置的氣道壁中的出口點之間延伸的至少一個部分、以及位于患者氣道外部的從出口點延伸至目標位置的至少一個部分。路徑表示LG 92或包括傳感器94的其他工具導航通過患者的氣道并且如下文進一步描述的那樣在到達出口點之后穿過患者氣道周圍的組織和空間所應當遵循的推薦路線。應用程序81在步驟S308顯示所述路徑和3D模型上的目標位置。

接下來開始治療過程的導航階段。作為初始任務，3D模型必須校 準為患者肺部的實際氣道。如上所述，現有各種可以用于該目的的校準方法，包括如上所述的肺部測繪方法。可選地并且也是如上所述地，如果基于從治療過程開始時執行的CBCT掃描中的圖像數據來生成3D模型，并且患者在上述規劃階段期間保持在手術臺40上的基本相同的位置，那么可以不必執行肺部測繪，原因在于應用程序81能夠在導航階段的初始部分期間收集到充足的關于LG 92在患者氣道中的位置的數據點以便在進行導航的同時將3D模型校準為患者的氣道。

為了啟動該過程，在步驟S310，電磁場發生器76在患者的胸部周圍產生電磁場。隨后將包含于LG 92、工具62、64中和/或直接包含于EWC 96中的電磁傳感器94插入到患者的氣道中，并且在步驟S311由跟蹤系統70檢測電磁傳感器94在電磁場中的位置。電磁傳感器94的檢測位置被中繼至應用程序81，以便在步驟S312基于電磁傳感器94的檢測位置確定LG 92、工具62、64和/或EWC 96的位置。如本文所述，無論電磁傳感器94包含于哪一個工具(例如LG 92、工具62、64和/或EWC 96)中，電磁傳感器94的檢測位置都可以反映該工具的位置，但是為了簡潔和便于說明起見，在下文中描述將LG 92用于導航的示例。然而，本領域技術人員應當理解，包括電磁傳感器94的任何其他上述工具和裝置都可以用于替代LG 92。

接下來，在步驟S313，應用程序81顯示LG 92在3D模型上的確定位置的標記。例如，如圖4所示(如下所述)，3D模型的視圖410至少包括氣道樹412、LG 92的確定位置的標記414、目標位置416、以及通向目標位置的路徑418。步驟S311至S313可以在進行導航的同時迭代重復執行，以持續地檢測電磁傳感器94在電磁場中的位置，并且確定和顯示LG 92在3D模型上的對應位置。

如上所述，醫生可以在治療過程期間的不同時間請求執行術中CBCT掃描以驗證LG 92的確定位置。例如，醫生可以在LG 92到達出口點(在此路徑從患者氣道內部移動到患者氣道外部)時請求執行CBCT掃描。醫生也可以在LG 92已經朝向患者氣道外部的目標位置導航通過氣道壁之后請求執行CBCT掃描。此外，醫生可以在LG 92 導航到目標位置附近時請求執行CBCT掃描以確認LG 92的位置，例如確認將LG 92安置在治療目標處。由此，應用程序81在步驟S314確定是否接收到用于CBCT掃描的請求(例如按鈕的按下或者其他的用戶輸入)。如果并未接收到用于CBCT掃描的請求，則應用程序81在步驟S315繼續跟蹤電磁傳感器94的位置，此后處理返回至步驟S311。然而，如果應用程序確定已經接收到用于CBCT掃描的請求，則處理前進至步驟S320。

現轉至圖3B，示出了方法300中的關于CBCT成像過程的部分。由此，在已經請求了CBCT掃描之后，應用程序81在步驟S320提供用于定位成像裝置20的引導。該引導可以指示醫生如何基于LG 92的確定位置來定位成像裝置20以便對患者胸部的至少一部分執行CBCT掃描。由此，可以僅在LG 92的確定位置周圍的區域執行集中的CBCT掃描，從而限制暴露于患者的輻射量。例如，應用程序81可以提供關于成像裝置20的定位的視覺引導，例如圖示和/或聲音指令。隨后或者與之并行地，在步驟S321，應用程序81至少部分地基于從跟蹤系統70接收到的數據來確定成像裝置20是否處于由電磁發生器76產生的電磁場內。

如果成像裝置20位于電磁場內，在步驟S322中，應用程序81可以發出提醒，告知醫生電磁場可能被扭曲，例如由于包括在成像裝置20中的金屬和/或其他電磁部件存在于電磁場中所致。所述提醒可以是視覺提醒和/或音頻提醒，并且可以警告醫生可能由于電磁場的扭曲而導致LG 92的顯示位置不正確。應用程序81和/或跟蹤系統70可以隨后在步驟S323中補償電磁場的扭曲，例如通過基于電磁場的扭曲來調節電磁場和/或在3D模型上顯示的LG 92的位置。

此后，或如果應用程序81在步驟S321中確定成像裝置20不在電磁場內，處理進行到步驟S324，在步驟S324中，應用程序81確定成像裝置是否為成像做好了準備。在一些實施例中，應用程序81能夠例如通過包括在成像裝置20中的傳感器主動跟蹤成像裝置20的位置。可替代地，應用程序81可以基于來自醫生的輸入來確定成像裝置20 是否為成像做好了準備。如果應用程序81確定成像裝置20還沒有為成像做好準備，則處理返回至步驟S320。可替代地，如果應用程序81確定成像裝置20為成像做好了準備，則處理進行至步驟S325，在步驟S325處，應用程序81確定患者的呼吸周期的當前階段。可以基于從傳感器接收的數據來確定患者的呼吸周期的當前階段，所述傳感器例如為位于患者胸部上的基準傳感器74。與確定患者呼吸周期并且補償在患者呼吸周期期間發生的移動有關的其他信息可以在由Koyrakh等人在2016年9月1日提交、名稱為“RESPIRATION MOTION STABILIZATION FOR LUNG MAGNETIC NAVIGATION SYSTEM”的、共同擁有的待決美國專利申請No.15/254，141中找到，其全部內容通過引用并入本文。可替代地，或除此之外，可以基于從聯接到患者的呼吸器接收到的數據來確定患者的呼吸周期的當前階段。醫生可以要求在患者的呼吸周期的特別的期望階段期間實施CBCT掃描，所述期望的階段例如為完全屏氣，完全呼氣等。因此，在步驟S326中，應用程序81確定患者的呼吸周期的當前階段是否對應于醫生所要求的患者的呼吸周期的期望階段。如果應用程序81確定患者的呼吸周期的當前階段不對應于期望階段，則方法進行至步驟S327，在步驟S327中，應用程序81等待患者的呼吸周期進入期望階段。此后，處理返回至步驟S325來再次確定患者的呼吸周期的當前階段。如果應用程序81確定患者的呼吸周期的當前階段對應于期望階段，則處理進行至步驟S330。

在步驟S330中，應用程序81在成像過程期間使得跟蹤系統70禁用電磁場發生器76以避免干擾成像裝置20。此后，在步驟S331中，實施CBCT成像。可以通過醫生與成像裝置20的交互實施CBCT成像，從而手動地實施CBCT成像。可替代地，可以經由應用程序81直接或間接地控制成像裝置20來自動或半自動地實施CBCT成像。在完成CBCT成像后(要么基于來自醫生的輸入、要么基于從成像裝置20接收到的信號來進行檢測)，處理進行至步驟S332，在步驟S332處應用程序81使得跟蹤系統70重新啟用電磁場發生器76。

此后，在步驟S333處，應用程序81確定患者在CBCT成像過程中是否移動。可以基于從例如基準傳感器74的傳感器接收到的數據來進行確定，所述數據指示相對于在CBCT成像之前的患者位置的患者的當前位置，和/或指示在CBCT成像過程期間患者的移動。如果應用程序81確定患者在CBCT成像過程期間移動，則在步驟S334中，應用程序81確定移動的量是否在預定的閾值之內。例如，僅僅是小的移動可能不足以影響在CBCT成像過程期間收集的CBCT圖像數據，而更為顯著的移動則會導致CBCT圖像數據不可用。因此，如果應用程序81確定移動不在預定閾值之內，并且因此超出了預定閾值，則應用程序81可以將在CBCT成像之后從成像裝置20接收到的CBCT圖像數據標識為不可用，并且在步驟S335中重新開始CBCT成像過程，隨后，處理返回至步驟S324。可替代地，如果應用程序81確定移動位于預定閾值中，則應用程序81可在步驟S336處提供提醒，指示患者移動了但是該移動在預定閾值中。此后，或如果在步驟S333處應用程序確定患者在CBCT成像過程期間未移動，處理進行至步驟S340。

現在返回至圖3A，在步驟S340處，應用程序81基于CBCT圖像數據驗證LG 92的位置。例如，應用程序81可以處理在CBCT成像過程之后接收到的CBCT圖像數據來識別患者胸部中的患者氣道和LG 92的位置。如果應用程序81確定在CBCT圖像數據中識別出的LG 92的位置與3D模型上指示的位置不對應，則在步驟S341中，應用程序81可以提醒在3D模型上的LG 92的指示位置可能不正確，并且更新在3D模型上的LG 92的指示位置。在一些實施例中，應用程序81可以在更新3D模型上的LG 92的指示位置之前，要求醫生的批準。如果應用程序81更新3D模型上的LG 92的指示位置，則應用程序81還可以更新路徑位于LG 92的更新位置和目標位置之間的部分。在一些實施例中，應用程序81可以在更新所述路徑之前，要求醫生的批準。此后，處理進行至步驟S350。

現在轉到圖3C，示出了方法300關于在CBCT成像過程期間獲得的CBCT圖像數據的顯示的一部分。在步驟S350處，與在步驟S325 處實施的確定類似，應用程序81再次確定患者的呼吸周期的當前階段。此后，在步驟S351處，應用程序81確定對應于患者的呼吸周期的當前階段的CBCT圖像數據是否可用。如果應用程序81確定對應于患者的呼吸周期的當前階段的CBCT數據不可用，則應用程序81在步驟S353處提醒：對應于患者的呼吸周期的當前階段的CBCT圖像數據不可用。此后，在步驟S354處，應用程序81選擇預定的CBCT圖像數據。在一個實施例中，應用程序81可以選擇與患者的呼吸周期朝向的階段對應的CBCT圖像數據。例如，如果患者的呼吸周期當前通過了完全吸氣階段并且部分地進入呼氣階段，則應用程序81可以選擇與患者的呼吸周期朝向的呼氣階段的一部分對應的CBCT圖像數據。在另一實施例中，應用程序81可以選擇最近獲取的CBCT圖像數據。此后，處理進行至步驟S355。

如果應用程序81在步驟S351處確定對應于患者的呼吸周期的當前階段的CBCT圖像數據可用，則在步驟S352處，應用程序81選擇該CBCT圖像數據。在步驟S355處，與步驟S341中LG 92的識別類似，應用程序81在CBCT圖像數據中識別LG 92。應用程序81還基于CBCT圖像數據確定LG 92的位置和取向，并且在步驟S356處基于所確定的LG 92的位置和取向來定向CBCT圖像數據。在步驟S357處，應用程序81隨后顯示CBCT圖像數據(如下面將描述的圖4的視圖430中所示)。此后，在步驟S358處，應用程序81確定LG92是否被放置在目標位置。該確定可以基于對CBCT圖像數據的處理、跟蹤從跟蹤系統70接收到的數據、和/或由醫生提供的輸入來進行。如果應用程序81確定LG 92還沒有被放置在目標位置，或如果應用程序81不能確定LG 92已經被放置在了目標位置，或如果應用程序81確定(例如基于由醫生提供的輸入)需要有可選視圖來確定LG 92是否已經被放置在目標位置，則處理進行至步驟S360。

現在轉到圖3D，示出了方法300關于熒光成像過程的一部分。在步驟S360處，應用程序81確定是否接收到了熒光圖像數據。如果還沒有接收到熒光圖像數據，則處理返回至步驟S314，此后，可以重 復CBCT成像過程或可以繼續導航。但是，如果接收到了熒光圖像數據，則處理進行至步驟S361，在步驟S361處，應用程序81在熒光圖像數據中識別LG 92。此后，在步驟S362處，應用程序81校準CBCT圖像數據和熒光圖像數據。

隨后，在步驟S363處，應用程序81將CBCT圖像數據與熒光圖像數據結合顯示。在下面描述的一個實施例中，如圖4的視圖420所示，應用程序81可以將CBCT圖像數據作為疊加顯示在熒光圖像數據上。在該實施例中，CBCT數據在熒光圖像數據上的疊加使得醫生更好地觀察LG 92在患者胸部內的實際位置。同樣可以根據患者的呼吸周期來顯示CBCT圖像數據。例如，CBCT圖像數據可以作為疊加顯示在熒光圖像數據上，并且隨著患者呼吸而增強和減弱，因此當患者的呼吸周期與呼吸周期的階段(在此期間采集CBCT圖像數據)一致時，CBCT圖像數據變得更清晰，當患者的呼吸周期移動到下一階段時，CBCT圖像數據變得不太清晰。

此后，在步驟S364處，應用程序81再次確定LG 92是否被放置在了目標位置。與上面描述的步驟S358一樣，該確定可以基于CBCT圖像數據的處理、跟蹤從跟蹤系統70中接收到的數據、和/或由醫生提供的輸入進行。如果應用程序81確定LG 92還沒有被放置在目標位置，或如果應用程序81不能確定LG 92已經被放置在了目標位置，則處理返回至步驟S314以用于進一步成像和/或導航。

可替代地，如果在步驟S358或在步驟S364應用程序81確定LG 92已經被放置在了目標位置，則處理進行至步驟S359(圖3C)。在確認LG 92(因而EWC 96)已經被放置在了目標位置之后，醫生可以解開LG 92和EWC 96，并且在將EWC 96保持就位的同時，將LG92從患者的氣道移除。活檢工具62和/或消融工具64隨后可以被插入到患者的氣道中，并且通過EWC 96前進到在目標位置處的治療目標。如上所述，在一些實施例中，EM傳感器94可以包含在活檢工具62和/或消融工具64中，因此無需進行工具更換。在更換完工具后，或在無需進行工具更換的實施例中，應用程序81確定所插入的工具是 活檢工具62還是消融工具64。如果應用程序81確定所插入的工具為消融工具64，則處理進行至步驟S370。可替代地，如果應用程序81確定所插入的工具為活檢工具62，則處理直接跳到步驟S380(下面描述的圖3A)。

現在轉到圖3E，示出了方法300關于消融步驟的一部分。在S370處，應用程序81在CBCT圖像數據、熒光圖像數據、和/或3D模型中的一個或多個中識別消融工具64的輻射部。例如，消融工具64可以包括關于消融工具64的輻射部的一個或多個不透射線元件，所述不透射線元件可以在處理CBCT圖像數據和/或熒光圖像數據的同時由應用程序81檢測到。在另一實施例中，應用程序81可以確定輻射部與消融工具64的遠端相隔預定的距離。

在識別消融工具64的輻射部之后，在步驟S371處，應用程序81基于消融工具64在患者胸部內的位置(由此基于消融工具64的輻射部在患者胸部內的位置)、以及用于消融過程的配置設定來確定投影消融區域。作為上述規劃階段的一部分、和/或在LG 92放置在目標位置后或在先于步驟S371的任何點處，醫生可以在計算裝置80中輸入用于消融過程的配置設定，例如時間、溫度、瓦特數等。在步驟S371處，應用程序81可以隨后使用該配置設定來確定投影消融區域，投影消融區域表示在消融工具64的輻射部周圍根據配置設定將被消融的最大區域。

在步驟S372處，應用程序81隨后可以在CBCT圖像數據、熒光圖像數據、和/或3D模型上顯示投影消融區域的標記。在步驟S373處，應用程序81確定醫生是否批準了投影消融區域。例如，投影消融區域可以由圍繞消融工具64的球形來表示，球的定位點是消融工具64的輻射部。基于所顯示的投影消融區域，醫生可以決定調節用于消融過程的配置設定和/或消融工具64的位置。例如，基于所顯示的投影消融區域，醫生可以確定投影消融區域不足以覆蓋治療目標，因此選擇調節配置設定或消融工具64的位置。醫生可以在計算裝置80中輸入繼續消融過程或返回導航的決定。如果應用程序81確定醫生未批 準所顯示的投影消融區域，則處理返回至步驟S314以用于進一步導航和/或成像。可替代地，如果應用程序81確定醫生批準了所顯示的投影消融區域，則處理進行至步驟S374，在步驟S374處，應用程序81確定消融過程是否開始。例如，應用程序81可以檢測消融工具64上的激活按鈕已經被按下。在另一實施例中，可以基于從醫生接收到的輸入由應用程序81控制消融工具64。因此，如果應用程序81確定消融過程還未開始，則處理返回至步驟S372。可替代地，如果應用程序81確定消融過程已經開始，則處理進行至步驟S375。

在步驟S375處，應用程序81確定估計消融區域。估計消融區域的確定可以基于用于消融過程的配置設定、消融工具64的輻射部的位置、自消融過程開始后所經過的時間、和/或在消融過程期間接收到的附加圖像數據。例如，應用程序81可以基于配置設定來確定自消融過程開始經過了特定的時間之后，預期圍繞消融工具64的輻射部的特定區域已經消融。在另一實施例中，在消融過程期間可以實施附加CBCT和/或熒光掃描以提供顯示消融過程進展的圖像數據。在步驟S376處，應用程序81隨后可以在CBCT圖像數據、熒光圖像數據和/或3D模型中例如通過圍繞消融工具64的球形或其他形狀來顯示該區域的標記。

此后，在步驟S377處，應用程序81確定消融過程是否已經完成。例如，應用程序81可以基于自消融過程開始所經過的時間達到包含在配置設定中的時間來確定消融過程完成。應用程序81也可以從醫生接收消融過程已經完成的輸入。如果應用程序81確定消融過程還未完成，則處理返回至步驟S375。可替代地，如果應用程序81確定消融過程已經完成，則處理進行至步驟S380。

在步驟S380處，應用程序81標識實施了治療(活檢或消融)的位置。例如，在實施治療的同時，應用程序81可以存儲從跟蹤系統70接收到的關于患者胸中的工具62、64的位置的位置信息。在實施了消融過程的實施例中，應用程序81還可以存儲消融過程的最后確定的估計消融區域。該存儲的治療位置和估計消融區域還可以在3D模 型上顯示出來。

接著，在步驟S381處，應用程序81確定是否需要附加治療。例如，應用程序81可以基于上述治療計劃確定需要附加治療。應用程序81還可以從醫生接收需要附加治療的輸入。因此，如果應用程序81確定需要附加治療，則處理返回至步驟S311。如果需要導航到不同的目標位置，并且工具62、64不包括電磁傳感器94，則工具62、64可以從EWC 96移除并且由LG 92替代。可替代地，如果應用程序81確定不需要附加治療，則處理終止。

現參考圖4，圖4示出了示例用戶界面，所述示例用戶界面包括可以在實施上述治療過程期間顯示的各種圖像數據。圖4描述了圖形用戶界面(GUI)400，所述圖形用戶界面400包括至少三個圖像視圖：3D模型視圖410、熒光圖像視圖420、以及CBCT圖像視圖430。3D圖像視圖410至少包括氣道樹412、表示患者氣道中的電磁傳感器94的位置的工具指示器414、目標位置416、以及路徑418。根據醫生的偏好，視圖410、420和430中的每個均可以被選擇性地啟用并且配置成示出來自上述各種來源的圖像數據。

現在轉到圖5，圖5示出了計算裝置80的簡化的框圖。計算裝置80可以包括存儲器502、處理器504、顯示器506、網絡接口508、輸入裝置510、和/或輸出模塊512。存儲器502可以存儲應用程序81和/或圖像數據514。應用程序81當由處理器504執行時可以使得顯示器506呈現用戶界面516。應用程序81還可以提供在檢測到的電磁傳感器94的位置與在路徑規劃階段形成的圖像和規劃數據之間的接口，如上所述。

存儲器502可以包括用于存儲數據和/或軟件的非暫時性計算機可讀存儲介質，所述軟件由處理器504執行并且控制計算裝置80的操作。在一個實施例中，存儲器502可以包括一個或多個固態存儲裝置，例如閃存芯片。可替代地或除此之外，一個或多個固態存儲裝置、存儲器502可以包括經由大容量存儲控制器(未示出)和通信總線(未示出)連接到處理器504的一個或多個大容量存儲裝置。盡管此處包含的計 算機可讀介質的描述指的是固態存儲，本領域技術人員應當理解計算機可讀存儲介質可以是任何可由處理器504訪問的可用介質。也即，計算機可讀存儲介質包括在用于存儲例如計算機可讀指令、數據結構、程序模塊或其他數據的信息的任何方法或技術中實施的非暫時性、易失性和非易失性、可移除和不可移除的介質。例如，計算機可讀存儲介質包括RAM、ROM、EPROM、EEPROM、閃存或其他固態存儲技術、CD-ROM、DVD、藍光或其他光學存儲器、磁盒、磁帶、磁盤存儲器或其他磁存儲裝置、或任何其他可以用來存儲所需信息并且可以由計算裝置80訪問的介質。

網絡接口508可以構造成連接到網絡，所述網絡例如為由有線網絡和/或無線網絡構成的局域網(LAN)、廣域網(WAN)、無線移動網絡、藍牙網絡和/或因特網。輸入裝置510可以是使用者用來與計算裝置80進行交互的任何裝置，例如為鼠標、鍵盤、腳踏板、觸摸屏和/或語音接口。輸出模塊512可以包括任何連接接口或總線、例如為并口、串口、通用串行總線(USB)、或其他任何本領域技術人員已知的類似的連接接口。

雖然在附圖中示出了本公開的幾個實施例，但其并旨在表示本公開被限制于此，其旨在表示本公開范圍與本領域所允許的一樣寬廣并且也應同樣的來解讀說明書。因此，上面的描述不應被曲解為限制，其僅僅是特殊的實施例的示例。本領域技術人員將可以預想出在所附權利要求的范圍和精神內的其他變型。