專利名稱：從單目內窺鏡圖像估計實時深度的制作方法
從單目內窺鏡圖像估計實時深度本發明總體上涉及牽涉到內窺鏡的微創手術。本發明具體涉及估計從內窺鏡獲得的圖像中所示對象的實時深度。通常，最小侵入性手術利用內窺鏡，內窺鏡是具有成像能力的長而柔軟或剛性的管。在通過自然孔竅或小切口插入身體內之后，內窺鏡提供感興趣區域的圖像，在外科醫生執行手術時，可以通過目鏡或在屏幕上觀察所述圖像。對手術而言重要的是圖像內(一個或多個)對象的深度信息，該信息將使得外科醫生能夠推進內窺鏡，同時避開(一個或多個)對象，并且將方便對內窺鏡位置的實時跟蹤。然而，內窺鏡圖像的幀是二維的，因此外科醫生可能會失去對在圖像的屏幕快照中觀察到的(一個或多個)對象的深度的感知。本發明提供了一種技術，盡管內窺鏡視頻幀具有二維局限，但其可以利用來自單目(monocular)內窺鏡圖像的內窺鏡視頻幀生成深度圖。本發明的一種形式是一種采用了內窺鏡和內窺鏡手術控制單元的最小侵入性手術系統。在工作時，在將內窺鏡推進到身體解剖區域內的目標位置時，內窺鏡生成多個內窺鏡視頻幀，所述內窺鏡視頻幀圖示了解剖區域的單目內窺鏡圖像。為了實時估計單目內窺鏡圖像內對象的深度(例如，支氣管的單目內窺鏡圖像內支氣管壁的形狀)，在將內窺鏡推進到目標位置時，內窺鏡手術控制單元接收內窺鏡視頻幀，從而根據解剖區域的單目內窺鏡圖像幀時間序列內的(一個或多個)像點的光流來估計指示解剖區域的單目內窺鏡圖像內對象深度的景深。本發明的第二種形式是一種內窺鏡手術方法，其涉及將內窺鏡推進到身體解剖區域內的目標位置，以及在將內窺鏡推進到目標位置時生成多個內窺鏡視頻幀，所述內窺鏡視頻幀圖示了解剖區域的單目內窺鏡圖像。為了實時估計單目內窺鏡圖像內對象的深度 (例如，支氣管的單目內窺鏡圖像內支氣管壁的形狀)，該方法還涉及生成解剖區域的單目內窺鏡圖像的幀時間序列內的一個或多個像點的光流，以及根據(一個或多個)像點的光流來估計指示單目內窺鏡圖像內(一個或多個)像點深度的景深。
圖1圖示了根據本發明的最小侵入性手術系統的示范性實施例。圖2圖示了表示根據本發明的深度估計方法的示范性實施例的流程圖。圖3圖示了表示根據本發明在圖2中所示深度估計方法的第一示范性實施例的流程圖。圖4圖示了圖3中所示流程圖的示范性應用。圖5圖示了現有技術中已知的示范性光流。圖6圖示了現有技術中已知的示范性景深。圖7圖示了現有技術中已知的示范性深度圖。圖8圖示了表示根據本發明在圖2中所示深度估計方法的第二示范性實施例的流程圖。如圖1所示，本發明的最小侵入性手術系統10采用了內窺鏡20和內窺鏡手術控制單元30。在這里將內窺鏡20寬泛地定義為，在結構上配置成經由光纖、透鏡、微型(例如基于CCD的)成像系統等對身體(例如，人或動物)的解剖區域進行內部成像的任何裝置。內窺鏡20的范例包括，但不限于，任何類型的窺鏡(例如，支氣管窺鏡、結腸鏡、腹窺鏡等)以及類似于裝備有圖像系統(例如，成像套管)的窺鏡的任何裝置。在這里將單元30的外部成像裝置31寬泛地定義為，在結構上配置成對身體的解剖區域進行外部成像的任何裝置。外部成像裝置31的范例包括，但不限于，計算機斷層攝影裝置、磁共振成像裝置、超聲裝置和χ射線裝置。在這里將單元30的內窺鏡路徑規劃裝置32寬泛地定義為，在結構上配置成在手術前規劃運動學路徑的任何裝置，該運動學路徑到達身體解剖區域內的目標位置，用于配置內窺鏡20 (例如，配置成像套管)和/或用于在到達目標位置(例如，操作對支氣管窺鏡的控制)過程中控制內窺鏡20。在內窺鏡為支氣管窺鏡或運動學上相似的窺鏡的語境中， 裝置32可以使用Trovato等人的于2007年4月17日公開的題為“3D Tool Path Planning, Simulation and Control System”的國際申請WO 2007/042986A2提出的路徑規劃技術，以生成由外部成像裝置31采集的解剖區域的3D數據集指示的身體解剖區域(例如，肺)內的內窺鏡20的運動學上正確的路徑。在內窺鏡20為成像嵌套插管或運動學上相似裝置的語境中，裝置32可以使用Trovato等人的于2008年3月20日公開的題為“Active Cannula configuration For Minimally Invasive Surgery，，的國際申請WO 2008/032230A1 提出的路徑規劃/嵌套插管配置技術，以生成由外部成像裝置31采集的解剖區域的3D數據集指示的用于到達身體解剖區域(例如肺)內目標位置對于內窺鏡20而言運動學上正確的配置。在這里將單元30的內窺鏡跟蹤裝置33寬泛地定義為，在結構上配置成跟蹤內窺鏡20在身體解剖區域內位置的任何裝置。內窺鏡跟蹤裝置33的一個范例是Trovato等人于 2008 年 10 月 20 日提交的題為 “Image-Based Localization Method and System” 的美國臨時專利申請61/106669(申請人的文檔編號No.010259USl)提出的基于圖像的跟蹤單元。內窺鏡跟蹤裝置33的另一個范例是Konen等人的于2004年10月4日公布的題為 “Method and System for Image-Guided Interventional endoscopic Procedures，，的美國專利No. 6135946提出的光學跟蹤裝置。內窺鏡跟蹤裝置33的另一范例是市場上可買到的任何電磁跟蹤單元，例如市場上可買到的來自superDimension公司的inReach 系統的電磁跟蹤單元。在這里將單元30的深度估計裝置34寬泛地定義為，在結構上配置成從內窺鏡20 采集的幀時間序列(即，依據任意類型的時間序列的兩個或更多幅圖像)中像點/特征的實際運動的圖案(pattern)估計景深的任何裝置。在實踐中，可以由單元30利用深度估計裝置34估計景深，以在為內窺鏡20到達解剖區域內的目標位置而生成手術前配置時和 /或在生成運動學路徑的手術前計劃以控制內窺鏡20到達目標位置時，輔助內窺鏡路徑規劃裝置32。此外，在實踐中，可以由單元30利用深度估計裝置34來估計景深，以便于來自內窺鏡20的內窺鏡圖像與裝置31采集的手術前圖像的配準，和/或在將內窺鏡20推進到目標位置時加強對內窺鏡20在解剖區域內位置的實時跟蹤。此外，在實踐中，深度估計裝置34可以獨立于來自單元30的其他裝置而工作或在內部并入到單元30的其他裝置之一中。圖2所示的流程圖40表示由深度估計裝置34 (圖1)執行的本發明的深度估計方法。對于這種方法而言，深度估計裝置34從流程圖40的階段S41開始，以確定內窺鏡20 采集的單目內窺鏡圖像的幀時間序列中像點/特征的運動的光流。接下來，或者與階段S41 的執行同時，深度估計裝置34繼續進行到流程圖40的階段S42，以從光流估計景深，其中景深指示單目內窺鏡圖像中一個或多個對象的深度，并在流程圖40的階段S43中使用景深估計來顯示深度圖。圖3所示的流程圖50表示流程圖40的示范性實施例(圖2)。具體而言，裝置34 確定光流涉及在流程圖50的階段S52期間生成包括多個矢量的矢量場，每個矢量表示單目內窺鏡圖像內(例如，兩個單目內窺鏡圖像之間)特定圖像點的運動。例如，如圖4所示， 可以通過表示單目內窺鏡圖像內像點的運動的矢量(例如，圖5中所示的矢量場70)來確定在內窺鏡20穿過支氣管61內的內窺鏡路徑21時由內窺鏡20拍攝的患者60的支氣管 61的幀時間序列22中每個內窺鏡視頻幀的像點/特征的運動的光流。此外，可以針對內窺鏡跟蹤裝置33跟蹤的給定幀從內窺鏡20的相對位置計算兩個內窺鏡視頻幀之間的內窺鏡20的速度。考慮到假設在幀之間內窺鏡20觀察的是固定對象，所以幀可以是聯貫的或有一些延遲。給定內窺鏡20的速度，可以從光流上在相繼切片中不運動的點來估計景深，這樣的點被稱為擴展焦點(“FOE”)，這是因為內窺鏡20的光軸是與其運動對準的，并且因此FOE是與內窺鏡20的運動對準的。知道了(1)每個點與流程圖50的階段S52識別的FOE之間的距離D，⑵每個點中光流的幅度V和(3)內窺鏡20的速度V，可以計算每個點的深度信息。具體而言，深度估計裝置34根據以下方程[1]在流程圖50的階段S53期間針對每個像點計算深度信息Z = v*D/V [1]其中Z是像點的深度。在這種情況下，可以從內窺鏡20的固有參數(例如焦點等)計算X和Y位置。例如，如圖4所示，內窺鏡跟蹤裝置33向深度估計裝置34提供跟蹤數據35，使得深度估計裝置34能夠在生成幀時間序列23時確定內窺鏡20的速度ν。這樣一來，基于已知每個像點距矢量場中識別的FOE的距離D以及每個點中光流的幅度V，深度估計裝置34 針對所計算的幀時間序列23的矢量場內的每個點計算Z深度，以估計景深36(例如，圖6 中所示的景深71)，并生成深度圖37 (例如，圖7中所示的經彩色編碼的景深72)。圖8所示的流程圖80表示流程圖40 (圖2)的備選實施例。流程圖80基于同一場景的兩幅視圖的立體視覺(即，在稍微不同的時間拍攝的兩幅內窺鏡視頻幀)。具體而言，當在流程圖80的階段S81期間生成矢量場時，并假定內窺鏡20正被裝置33跟蹤，那么對于兩幅視圖而言內窺鏡20的相對位置也是已知的。對于這種情況，將坐標系關聯至攝像機姿態，生成第一幅視圖。因此，相對于第一幅視圖生成第二幅視圖的已知姿態是利用3X3 旋轉矩陣R和3X1平移矢量t定義的。此外，假設內窺鏡20的固有攝像機參數是已知的 (例如，從攝像機數據手冊或從已知的校準方法得知的)，可以定義攝像機固有的3X 3矩陣 K。從這些數據，流程圖80的階段S82涉及根據以下方程[2]和[3]針對第一視圖Pl和第二視圖P2計算4X4投影矩陣P1 = [1|0][2]P2 = κ* [RI τ] ^r1 [3]流程圖80的階段S83涉及投影矩陣投影元的幾何三角測量，以計算每個像點的深
如果內窺鏡20未被裝置33跟蹤，可以利用矢量場執行類似程序以估計投影矩陣。 在這種情況下，將僅按照比例因子估計深度，實際的物理深度是不知道的。盡管已經參考示范性方面、特征和實施描述了本發明，但公開的系統和方法不限于這樣的示范性方面、特征和/或實施。相反，本領域的技術人員從這里提供的描述將明了，容易對所公開的系統和方法進行修改、變更和改進，而不脫離本發明的主旨或范圍。因此，本發明明確地涵蓋其范圍內的這種修改、變更和增強。
權利要求
1.一種微創手術系統(10)，包括內窺鏡(20)，其用于在將所述內窺鏡(20)推進到身體解剖區域內的目標位置時生成多個內窺鏡視頻幀(22)，所述內窺鏡視頻幀(22)圖示了所述解剖區域的單目內窺鏡圖像； 以及內窺鏡手術控制單元(30)，其與所述內窺鏡(20)通信，以在將所述內窺鏡(20)推進到所述目標位置時接收所述內窺鏡視頻幀(22)，其中，所述內窺鏡手術控制單元(30)能夠用于根據所述解剖區域的所述單目內窺鏡圖像的幀時間序列內的至少一個像點的光流來估計景深(36)，所述景深指示所述解剖區域的所述單目內窺鏡圖像內的對象的深度。
2.根據權利要求1所述的微創手術系統(10)，其中，所述內窺鏡手術控制單元(30)還能夠用于生成表示景深估計的深度圖顯示(37)。
3.根據權利要求1所述的微創手術系統(10)，其中，所述內窺鏡手術控制單元(30)還能夠用于根據所述景深估計將所述單目內窺鏡圖像與所述身體解剖區域的手術前圖像配準。
4.根據權利要求1所述的微創手術系統(10)，其中，所述內窺鏡手術控制單元(30)還能夠用于在手術前規劃所述內窺鏡(20)到達所述解剖區域內的所述目標位置的運動學路徑(21)。
5.根據權利要求1所述的微創手術系統(10)，其中，所述內窺鏡手術控制單元(30)還能夠用于在將所述內窺鏡(20)推進到所述解剖區域內的所述目標位置時跟蹤所述內窺鏡 (20)在所述解剖區域內的位置。
6.根據權利要求5所述的微創手術系統(10)，其中，生成所述解剖區域的所述單目內窺鏡圖像的幀時間序列內的所述至少一個像點的所述光流包括跟蹤所述內窺鏡(20)在所述解剖區域內的位置。
7.根據權利要求1所述的微創手術系統(10)，其中，所述內窺鏡(20)是包括支氣管窺鏡和嵌套插管的組中的一個。
8.一種內窺鏡手術方法，包括將內窺鏡(20)推進到身體解剖區域內的目標位置；在將所述內窺鏡(20)推進到所述目標位置時生成多個內窺鏡視頻幀(22)，所述內窺鏡視頻幀(22)圖示了所述解剖區域的單目內窺鏡圖像；(541)確定所述解剖區域的所述單目內窺鏡圖像的幀時間序列內的至少一個像點的光流；以及(542)根據所述至少一個像點的所述光流來估計指示所述單目內窺鏡圖像內對象的深度的景深。
9.根據權利要求8所述的內窺鏡手術方法，其中，確定所述光流包括(551)生成包括多個矢量的矢量場，每個矢量指示所述幀時間序列內的像點之一的運動。
10.根據權利要求9所述的內窺鏡手術方法，其中，估計所述景深包括(552)識別所述矢量場內的擴展焦點；以及(553)根據每個像點與所述擴展焦點的距離計算針對每個像點的深度點。
11.根據權利要求9所述的內窺鏡手術方法，其中，估計所述景深包括 (S53)根據所述矢量場中每個矢量的幅度計算針對每個像點的深度點。
12.根據權利要求9所述的內窺鏡手術方法，其中，估計所述景深包括 (S53)根據所述矢量場中每個矢量的速度計算針對像點的深度點。
13.根據權利要求9所述的內窺鏡手術方法，其中，估計所述景深包括(582)根據所述矢量場計算投影矩陣。
14.根據權利要求13所述的內窺鏡手術方法，其中，估計所述景深包括(583)根據所述投影矩陣的投影元的幾何三角測量來計算針對每個像點的深度點。
15.根據權利要求8所述的內窺鏡手術方法，還包括 (S43)顯示表示所述景深估計的深度圖(37)。
全文摘要
一種內窺鏡手術方法涉及將內窺鏡(20)推進到身體解剖區域內的目標位置；以及在將所述內窺鏡(20)推進到所述目標位置時生成多個內窺鏡視頻幀(22)，內窺鏡視頻幀(22)示出了所述解剖區域的單目內窺鏡圖像。為了實時估計單目內窺鏡圖像內對象的深度(例如，支氣管的單目內窺鏡圖像內支氣管壁的深度)，該方法還涉及(S41)確定所述解剖區域單目內窺鏡圖像的幀時間系列內一個或多個像點的光流；以及(S42)根據所述像點的光流估計表示所述單目內窺鏡圖像內對象深度的景深。
文檔編號A61B19/00GK102413756SQ201080018543
公開日2012年4月11日 申請日期2010年3月25日 優先權日2009年4月29日
發明者A·波波維奇 申請人:皇家飛利浦電子股份有限公司