用于在臨床圖像上顯示增強成像數(shù)據(jù)的方法和裝置的制作方法

專利名稱：用于在臨床圖像上顯示增強成像數(shù)據(jù)的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的實施例一般涉及顯示醫(yī)學(xué)圖像。
背景技術(shù)：
微創(chuàng)醫(yī)學(xué)技術(shù)旨在降低診斷或外科手術(shù)操作期間受到損害的無關(guān)組織的數(shù)量，由此縮短病人恢復(fù)時間、減小不適以及有害的副作用。使用微創(chuàng)外科手術(shù)技術(shù)還可以顯著地縮短標(biāo)準(zhǔn)外科手術(shù)的平均住院期。因此，越來越多地采用微創(chuàng)技術(shù)僅在住院成本上每年即可以節(jié)約數(shù)百萬住院天數(shù)，以及數(shù)百萬美元。使用微創(chuàng)外科手術(shù)還可以縮短病人的恢復(fù)時間、減少病人不適、外科手術(shù)副作用以及脫離工作的時間。為觀察外科手術(shù)位點，可將具有照射裝置的內(nèi)窺鏡相機插入病人體內(nèi)用來捕獲外科手術(shù)位點的彩色圖像。可以在監(jiān)視器或顯示器上將外科手術(shù)位點的彩色圖像顯示給外科醫(yī)生?？梢酝ㄟ^使用畫中畫(PIP)顯示器將外科手術(shù)位點的其他圖像信息同時顯示給外科醫(yī)生。其他圖像信息對于外科醫(yī)生改善外科手術(shù)結(jié)果可能是有用的。然而，PIP顯示器太小以至于不能顯示期望水平的細節(jié)信息。此外，使用分離的圖像幀，外科醫(yī)生在意識上將兩個分離的圖像或成像模式融合在一起可能是辛苦的?？商娲?，可通過在顯示器裝置上顯示的彩色圖像和另一額外圖像之間來回切換以將額外的圖像信息全屏顯示在該顯示裝置上。然而，在圖像之間來回切換耗費時間并且結(jié)果使得外科手術(shù)效率降低。此外，外科醫(yī)生可能不能切換回到白光成像并且在交替成像模式期間切割過多或意外損害重要的組織。期望的是提供更加高效和更加安全的微創(chuàng)外科手術(shù)。

發(fā)明內(nèi)容
通過隨附的權(quán)利要求來總結(jié)本發(fā)明的實施例。


本專利或申請文件包含繪制成彩色的至少一個圖像。根據(jù)請求和支付必要費用， 具有一個或多個彩色圖像的本專利或?qū)＠暾埞_的副本將由專利局提供。圖1是用于微創(chuàng)外科手術(shù)的成像系統(tǒng)的框圖。圖2是本發(fā)明實施例的多個方面的繪畫示意圖。圖3是圖示說明用于本發(fā)明實施例的成像方法的元件的流程圖。圖4A是圖示說明捕獲外科手術(shù)位點的可見白光彩色圖像的彩色圖。圖4B是圖示說明將圖4A的可見白光彩色圖像去飽和成為黑色和白色或灰階去飽和圖像的非彩色圖像。圖5A是圖示說明在外科手術(shù)位點內(nèi)捕獲不可見光譜的數(shù)據(jù)并且形成特征性組織結(jié)構(gòu)的圖像的黑白圖。圖5B是圖示說明對圖5A的特征性組織結(jié)構(gòu)著色從而形成彩色增強圖像的圖。
圖6是圖5B的彩色增強圖像與臨床圖像結(jié)合(例如覆蓋其上)的合并圖像的顯示圖。圖7是圖示說明用于調(diào)整組分圖像的亮度或合并圖像中組分圖像之間的相對亮度的用戶界面的圖。圖8是圖示說明可用來將外科手術(shù)位點彩色圖像去飽和水平調(diào)整成去飽和圖像的用戶界面的圖。不同附圖中類似的參考編號與相同的或相似的元件相關(guān)聯(lián)但可能具有不同的構(gòu)型。
具體實施例方式具體實施方式
描述了說明本發(fā)明的示例性的實施方式，并且因此是說明性而不是限制性的。本發(fā)明僅受專利權(quán)利要求的限制。在附圖中，一些元件已經(jīng)被省略以便更清楚地顯示本發(fā)明的實施例。導(dǎo)言本發(fā)明的實施例旨在改進在相同外科手術(shù)位點同時顯示組織反射的白光圖像，以及分離或同時地獲得增強的組織圖像的臨床應(yīng)用。增強的組織圖像可以用多種技術(shù)捕獲， 例如但不限于包含具有空間變化的臨床信息的非可見光特征的近紅外(OTR)熒光、可見光熒光、多光譜成像、熒光壽命成像、或光柵掃描。此外，增強的圖像可以是通過疊加在臨床白光圖像上的不同類型可測量的組織參數(shù)的點測量值而構(gòu)建的圖像，所述組織參數(shù)例如組織阻抗、癌的點檢測、或某些細胞類型?？傮w上在本發(fā)明的一個實施例中，公開了一種顯示方法，其中可見的白光或彩色臨床圖像朝向一種灰度或黑/白圖像被去飽和，代替彩色的反射白光圖像而被顯示給外科醫(yī)生或臨床醫(yī)生。去飽和將紅色、綠色、和藍色色調(diào)推向灰色，由此從圖像中去除彩色。使用一種或多種增強成像技術(shù)捕獲關(guān)于臨床圖像的增強圖像并且用在去飽和的白光圖像中記錄的一種或多種彩色以可見光譜表示。當(dāng)一般肉眼不可見的增強信息以可見光譜表示時， 它是偽彩色的。用于著色增強圖像的偽彩色的示例(也稱為增強色)是但不限于綠色、藍色、以及紫色，它們可用于以非可見電磁譜表示一種或多種類型的信號，所述信號通過增強圖像中的增強成像技術(shù)被檢測。彩色形式的增強圖像被記錄成去飽和的白光臨床圖像并且與去飽和的臨床圖像合并、添加其上、或疊加在其頂部(可替代地稱為與其組合)。這兩個圖像通過合并圖像的方式被組合并被顯示給外科醫(yī)生，從而增加臨床相關(guān)信息量，并且改善外科手術(shù)期間外科手術(shù)位點的彩色增強圖像中低信號水平的可檢測性。當(dāng)將臨床圖像去飽和時，圖像中的彩色信息被去除，但是細節(jié)很少丟失。該去飽和臨床圖像足以辨別骨骼、組織標(biāo)記、以及外科手術(shù)器械，使得允許對其進行安全操作。此外與增強型圖像相比，使用去飽和臨床圖像不存在損失(由于白光臨床圖像的彩色表示的干擾)。重疊在該去飽和的臨床圖像上的彩色增強圖像提供了關(guān)于外科手術(shù)位點的改進的信息含量，從而降低了對病人造成損傷的風(fēng)險并提高了外科手術(shù)效率?？蓪⒉噬鰪姷膱D像重疊到具有預(yù)設(shè)相對亮度的去飽和的臨床圖像上，以在組織的可視圖像上強調(diào)關(guān)于組織的非可視信息的增強的信息。可替代地，可提供一個用戶界面裝置，例如一個滑動型控制器，用來允許將這兩個圖像合并，這樣可連續(xù)改變這兩個圖像相對亮度。通過這種合并模式調(diào)整相對亮度允許用戶調(diào)整重疊亮度以便使將被執(zhí)行任務(wù)的臨床要求與增強的成像信息相匹配。例如，當(dāng)尋找細的、淡的線時，用戶可朝向增強型圖像更強地加重相對亮度。例如，當(dāng)切除增強圖像中明亮地發(fā)光的大塊時，可朝向去飽和的白光圖像更強地加重相對亮度圖像。成像系統(tǒng)現(xiàn)在參考圖1，圖示說明了用于微創(chuàng)外科手術(shù)的成像系統(tǒng)100的框圖。成像系統(tǒng) 100包括內(nèi)窺鏡相機101，視像控制推車102，以及聯(lián)接在一起的外科醫(yī)生控制臺104，如所示。內(nèi)窺鏡相機101包括用于可拆卸地聯(lián)接到病人側(cè)操縱器的機器人臂111上的機械接口，這樣它可以在病人外科手術(shù)位點的周圍移動。內(nèi)窺鏡相機101被機器人臂111支撐在病人的體腔內(nèi)的外科手術(shù)位點210上，用來捕獲其中的數(shù)字圖像。視像控制推車102包括照射器112、圖像處理器114、核心處理器116、以及監(jiān)視器 118。內(nèi)窺鏡相機101被聯(lián)接至照射器112上以接收可見光(VL)并且將它引導(dǎo)出它的尖端進入外科手術(shù)位點，從而可見地照射組織以便用彩色或光譜相機捕獲。內(nèi)窺鏡相機101還可被聯(lián)接至照射器112以接收非可見光電磁輻射(NVE)并且將它引導(dǎo)出它的尖端進入外科手術(shù)位點，從而激發(fā)一種物質(zhì)對組織發(fā)出熒光進而用傳感器或光譜相機捕獲。內(nèi)窺鏡相機 101響應(yīng)于可見光(VL)捕獲外科手術(shù)位點內(nèi)組織的一幀或多幀彩色可見圖像(VI)并且將其聯(lián)接到圖像處理器114中。內(nèi)窺鏡相機101還可響應(yīng)于非可見電磁輻射(NVE)捕獲外科手術(shù)位點內(nèi)來自該組織的非可見空間編碼數(shù)據(jù)的一幀或多幀并且將數(shù)據(jù)聯(lián)接到圖像處理器114中。為了立體成像，內(nèi)窺鏡相機101是用來同時捕獲外科手術(shù)位點左側(cè)和右側(cè)圖像的立體相機。雖然可使用內(nèi)窺鏡相機101及其傳感器來捕獲光學(xué)不可見(例如近紅外，紫外)圖像，但也可使用其他成像設(shè)備以及技術(shù)來捕獲其他非可見光譜數(shù)據(jù)，例如但不限于分光鏡數(shù)據(jù)(spectroscopic data)、拉曼散射數(shù)值、阻抗數(shù)據(jù)、雙光子熒光、超聲、γ輻射和/或X射線圖像，它們的數(shù)據(jù)可被表示為可見光譜且與去飽和的圖像組合的圖像。另外， 覆蓋整個圖像的全部或一部分的光可被捕獲并且被分析用來產(chǎn)生臨床相關(guān)的二維OD)圖像。這些2D圖像可捕獲從光特性中提取的特征例如偏振、散射、以及與光和組織相互作用相關(guān)的其他類似特征，其中可以通過多種臨床相關(guān)標(biāo)志物將該組織放大。增強的圖像可以是針對一系列可見圖像計算出的圖像。例如，可以使用一系列圖像來計算血流量，然后將它表示成2D圖像。照射器112可響應(yīng)于從核心處理器116收到的控制信號126產(chǎn)生可見光(VL)(在可見電磁輻射譜內(nèi)產(chǎn)生的光)以及非可見電磁輻射(NVE)。照射器112可響應(yīng)于控制信號同時產(chǎn)生可見光(VL)以及非可見電磁輻射(NVE)，從而與捕獲非可見光譜數(shù)據(jù)且形成增強圖像的幀同步地捕獲彩色可見圖像(VI)的幀?？商娲兀丈淦?12可響應(yīng)于控制信號交替產(chǎn)生可見光(VL)以及非可見電磁輻射(NVE)，用于與捕獲非可見光譜數(shù)據(jù)并且形成增強圖像的幀不同步地捕獲彩色可見圖像(VI)的幀?？赏ㄟ^一個或多個光纖或光纖束將可見光(VL)和非可見電磁輻射(NVE)聯(lián)接至內(nèi)窺鏡相機101。類似地，在外科手術(shù)位點內(nèi)捕獲可見組織的全色可見圖像(VI)經(jīng)由光纖被聯(lián)接到圖像處理器114中或被傳感器捕獲并且通過線纜聯(lián)接到圖像處理器中。外科手術(shù)位點內(nèi)組織的非可見光譜數(shù)據(jù)還可經(jīng)由光纖聯(lián)接到圖像處理器114中或被傳感器捕獲并且通過線纜聯(lián)接到圖像處理器中。由一個或多個傳感器捕獲的電磁輻射可以二進制(bin) 輸出成為可見的紅色、綠色、藍色EM光譜以及不可見的EM光譜(例如，近紅外)。圖像處理器114包括用來處理捕獲圖像的一個或多個處理器P120和用于存儲圖像數(shù)據(jù)的一幀或多幀的一個或多個存儲裝置(例如存儲器)M122。對于立體成像，圖像處理器114可包括用于處理左側(cè)和右側(cè)捕獲的圖像的一對處理器P120和用于存儲左側(cè)和右側(cè)圖像幀的一對存儲裝置(例如存儲器)M122。在增強顯示模式下，圖像處理器114的一個或多個處理器P120可對數(shù)字圖像數(shù)據(jù)的每一幀進行像素操作從而執(zhí)行在此公開的圖像處理和顯示方法。圖像處理器114接收來自核心處理器116的命令125并且將圖像IM聯(lián)接至核心處理器116用于在外科醫(yī)生控制臺104的顯示器140上顯示和/或控制推車102的監(jiān)視器118上顯示?？商娲?，核心處理器116可接收數(shù)字圖像并且執(zhí)行數(shù)字圖像數(shù)據(jù)每幀的像素操作從而執(zhí)行在此公開的圖像處理和顯示方法。外科醫(yī)生控制臺104可經(jīng)過光纖線纜1 聯(lián)接至核心處理器116用于數(shù)字控制和圖像信息的高速連通。外科醫(yī)生控制臺104可以包括立體顯示裝置140，以將左側(cè)和右側(cè)立體圖像顯示給外科醫(yī)生。根據(jù)在此公開的顯示方法，立體顯示設(shè)備140可以顯示左側(cè)和右側(cè)合并圖像。關(guān)于微創(chuàng)外科手術(shù)系統(tǒng)的其他信息可以例如在以下文獻中找到于2007年6月 13日由David Q. Larkin等人提交的名稱為“微創(chuàng)外科手術(shù)系統(tǒng)”(MINIMALLY INVASIVE SURGEON SYSTEM)的美國專利申請?zhí)?1/762，165 ；以及于2001年12月18日授予Tierney 等人的名稱為“外科手術(shù)機器人工具、數(shù)據(jù)構(gòu)造、以及用途”(SURGICAL ROBOTIC TOOLS, DATA, ARCHITECTURE, AND USE)的美國專利號6，331，181，通過引用將它們兩者并入本文。照射非可見特征性組織結(jié)構(gòu)現(xiàn)在參考圖2，圖示說明了本發(fā)明實施例多個方面的繪圖。內(nèi)窺鏡101可包括一個或多個光纖201A-201B，用來引導(dǎo)和發(fā)射可見光(VL)和非可見電磁輻射(NVE)進入外科手術(shù)位點210中。內(nèi)窺鏡101可包括用于捕獲可見光譜中電磁輻射的傳感器202A，例如相機。 傳感器202A可以是用于捕獲可見立體彩色圖像的立體彩色相機。內(nèi)窺鏡101可進一步包括用于捕獲不可見光譜中的電磁輻射或正常地肉眼不可見的其他類型信息(例如超聲)的另一傳感器202B。例如，傳感器202B可以是用于捕獲外科手術(shù)位點OTR增強圖像的近紅外(NIR)檢測器?？商娲?，內(nèi)窺鏡101可以是用于引導(dǎo)可見光以及非可見光譜數(shù)據(jù)返回至病人體外多個外部傳感器/相機的管道。外科手術(shù)位點210包括當(dāng)用可見光照射時可以反射白光或彩色圖像的組織212。 外科手術(shù)位點210還具有當(dāng)用可見電磁譜中的光線照射時肉眼不可見的特征性組織結(jié)構(gòu) 213，214?？赏ㄟ^具有或不具有發(fā)熒光性、發(fā)射性、示蹤性、或反射性材料(總稱為生物標(biāo)記)的不可見電磁輻射(NVE)來照射多種不可見特征性組織結(jié)構(gòu)213，214。在一些情況下，這些不可見特征性組織結(jié)構(gòu)可以是生物化學(xué)地標(biāo)記有發(fā)熒光的、發(fā)射性、示蹤性、或反射性材料或化合物(統(tǒng)稱為生物標(biāo)記)，它們可被可見光或電磁輻射(VL)或非可見電磁輻射(NVE)激發(fā)，從而它可通過可見光相機或傳感器來捕獲。在其他情況下，一些不可見特征性組織結(jié)構(gòu)可以用發(fā)熒光、發(fā)射性、示蹤性、標(biāo)記性、或反射性材料/化合物(統(tǒng)稱為生物標(biāo)記)生物化學(xué)地標(biāo)記，通過不可見電磁輻射(NVE)來激發(fā)，從而它發(fā)射不可見電磁輻射 (NVE)的波長并且通過對該波長敏感的傳感器捕獲。能夠以多種途徑將用反射的白光不可見的組織變成可成像的。例如，可通過注射流體或用發(fā)熒光性、發(fā)射性、示蹤性物質(zhì)、染料或化合物(統(tǒng)稱為生物標(biāo)記)標(biāo)記病人的組織，并且用電磁輻射對它照射或?qū)⑺┞队陔姶泡椛湎拢瑏韺⒂梅瓷涞陌坠獠豢梢姷慕M織變成可成像的。生物標(biāo)記中的熒光團標(biāo)記一種分子使得它吸收激發(fā)波長附近的EM輻射并且重新發(fā)射發(fā)射波長附近的EM輻射。發(fā)熒光性材料或化合物(生物標(biāo)記)的一個示例是吲哚菁綠(ICG)，該物質(zhì)發(fā)熒光從而當(dāng)用近紅外(NIR)電磁輻射激發(fā)時以非可見波長發(fā)射光子或電磁輻射。存在多種熒光化合物，它們可用于標(biāo)記在希望的激發(fā)波長下激發(fā)并且在希望的發(fā)射波長下發(fā)射的感興趣組織?？梢允褂檬纠詿晒鈭F、發(fā)射體、示蹤物、標(biāo)志物等 (統(tǒng)稱為生物標(biāo)記)，它們被列出在本說明結(jié)尾的表中。還可以通過注射一種結(jié)合到特定組織類型上并且同時發(fā)射EM輻射的物質(zhì)、染料、 或化合物(統(tǒng)稱為生物標(biāo)記)將用反射的白光不可見的組織變成可成像的，例如在正電子發(fā)射斷層成像(PET)中使用的一種放射性藥物或放射示蹤劑?？墒褂每梢奅M光譜外的其他成像源211(例如，X射線、超聲)來照射一些不可見特征性組織結(jié)構(gòu)214 (例如骨組織)并且使用或不使用生物標(biāo)記捕獲增強的圖像，從而與可見組織的臨床圖像組合。例如，在無生物標(biāo)記的外科手術(shù)期間可以在外科手術(shù)位點內(nèi)用X 射線來捕獲骨組織。作為另一個實例，可用超聲在外科手術(shù)期間捕獲外科手術(shù)位點內(nèi)次表面(sub-surface)的組織，無需添加熒光性、發(fā)射性、示蹤性、標(biāo)記性或反射性物質(zhì)/化合物 (統(tǒng)稱為生物標(biāo)記)。通過可見光，人眼可以察覺的電磁輻射光譜(VL)的可見部分中的電磁輻射照射可見組織212。照射線可以由白光形成，該白光可以是寬光譜的或可以是若干離散的窄光譜彩色的混合，包括原色紅(R)、綠(G)、以及藍(B)中的一個或多個。電磁輻射譜的可見部分波長范圍從約400納米(nm)至700nm。特征性組織結(jié)構(gòu)標(biāo)記有能被可見光激發(fā)的熒光性、 發(fā)射性、示蹤性、標(biāo)記性、或反射性物質(zhì)或化合物(統(tǒng)稱為生物標(biāo)記)，如果它發(fā)熒光或發(fā)射可見電磁輻射譜，則可被相機或可見光傳感器捕獲。特征性組織結(jié)構(gòu)213，214(用反射白光不可見)還可以用可見EM光譜外人的肉眼不能察覺的電磁輻射譜(NVE)的下側(cè)不可見部分或上側(cè)不可見部分中的電磁輻射進行標(biāo)記和照射。電磁輻射譜的下側(cè)不可見部分和上側(cè)不可見部分位于電磁輻射譜的可見部分之夕卜。電磁輻射譜的上側(cè)不可見部分波長范圍從約400納米(nm)至十分之一埃(A)，包括、 射線、X射線，以及紫外電磁輻射。電磁輻射譜下側(cè)不可見部分波長范圍從約600納米(nm) 至10米(m)，包括紅外(近紅外、熱紅外、遠紅外)、微波、以及無線電波。在一些情況中近紅外EM輻射(波長范圍約600nm至1200nm之間)可以是優(yōu)選的，因為與可見光譜相比較， 在這些波長下許多生物組織更透明，使得標(biāo)記有生物標(biāo)記的表面下面的組織特征或結(jié)構(gòu)可以更易成像。使用被不可見電磁輻射激發(fā)的熒光性或反射性物質(zhì)或化合物，在反射的白光圖像中不可見的組織可以發(fā)熒光并且發(fā)射在不可見電磁譜中的EM輻射。對不可見電磁輻射敏感的傳感器可捕獲處于不可見電磁譜中的EM輻射，從而允許構(gòu)建增強的圖像用于可見光譜中的顯示?？商娲?，如果被不可見電磁輻射激發(fā)的熒光性或反射性物質(zhì)或化合物可以發(fā)射可見電磁譜中的某些EM輻射，則它可以被可見光譜中敏感的相機或傳感器捕獲。盡管如此，來自外科手術(shù)位點的不可見光譜中不可見信息被捕獲并且表示于可見光譜中的數(shù)字圖像中。本發(fā)明的實施例一般將在電磁譜的可見部分中捕獲的組織圖像去飽和，通過著色將在電磁譜的不可見部分中捕獲的組織圖像移動到電磁譜的可見部分中，并且將這些著色的圖像組合或重疊到這些去飽和的圖像上從而形成合并圖像用于在顯示設(shè)備上顯示。例如，被可見電磁譜中光線照射并且被彩色相機捕獲的可見組織212的圖像朝向灰度、黑/白、或單色圖像212'被去飽和(將它的彩色減少)?？梢娊M織圖像212的每個像素中紅色、綠色、藍色數(shù)據(jù)朝向灰度或黑/白可被同等地減少。在可見光譜圖像中不可見的不可見特征性組織結(jié)構(gòu)213可被不可見電磁照射線照射并且被傳感器捕獲。捕獲的數(shù)據(jù)可通過形成增強圖像來增強并且然后用第一可見彩色將它著色從而形成第一著色增強圖像。例如，可以通過用綠色將其著色將在可見光譜中不可見的該特征性組織結(jié)構(gòu)213移動到可見電磁譜中從而形成綠色增強圖像213'。在可見光譜中不可見的特征性組織結(jié)構(gòu)214可以被不可見電磁照射裝置照射并且被一個傳感器捕獲。然后可以通過形成增強圖像來增強捕獲的數(shù)據(jù)，并且然后用第二可見彩色將其著色 (例如第二可見彩色)，從而形成第二彩色增強圖像。例如，可以通過用藍色將其著色將該不可見特征性組織結(jié)構(gòu)214移動到可見電磁譜中從而形成藍色增強圖像214'?？蓪⒕G色增強圖像213'和藍色增強圖像214'重疊到灰度或黑色和白色圖像212'上從而形成外科手術(shù)位點210的合并圖像250?？梢娊M織212可以是表面組織而各種非可見組織213，214可以是在表面組織下面的次表面組織。結(jié)果，當(dāng)被捕獲時次表面組織的圖像可以是模糊的并且伸展開。調(diào)整相對亮度或去飽和水平可以用于補償模糊的圖像。顯示方法現(xiàn)在參考圖3，流程圖以增強的顯示模式圖示說明了成像方法的元素。在捕獲不同類型的增強圖像的情況下，圖3中顯示的一個或多個元素在執(zhí)行成像方法中是任選的。該方法在處理塊300處開始并且前往處理塊302。在處理塊302處，可將可激發(fā)的物質(zhì)引入病人體內(nèi)，它可以被處于上側(cè)不可見電磁譜或下側(cè)不可見電磁譜中的電磁(EM)輻射激發(fā)?？商娲?，引入的物質(zhì)可同時發(fā)射EM 輻射，例如Y射線，而無需外部激發(fā)。然后該過程可以前往處理塊304。在處理塊304處，用可見光或處于可見電磁譜中的電磁輻射例如白光照射病人體內(nèi)的外科手術(shù)位點。然后該過程前往處理塊306。在處理塊306處，響應(yīng)于可見電磁輻射用傳感器例如彩色CMOS (互補性金屬氧化物半導(dǎo)體)相機捕獲病人體內(nèi)外科手術(shù)位點的彩色臨床圖像。圖4A圖示說明了用彩色CMOS 相機捕獲的彩色臨床圖像400A。彩色臨床圖像400以彩色方式包括可見組織402，一對可見機器人外科手術(shù)工具404A-404B，以及反射處于可見電磁譜中的光線的可見針和縫線406。 然后該過程前往處理塊308。在處理塊308處，病人體內(nèi)的外科手術(shù)位點可使用上側(cè)不可見電磁譜和下側(cè)不可見電磁譜中的不可見電磁輻射照射或被暴露于其中。病人身體可被交替地或同時地用電磁輻射譜上可見電磁輻射和不可見電磁輻射兩者照射或被暴露于其中。然后該過程可前往處理塊310。在處理塊310處，用于用病人身體形成外科手術(shù)位點增強圖像的數(shù)據(jù)可響應(yīng)于不可見電磁輻射使用傳感器捕獲。捕獲的數(shù)據(jù)可稱為不可見光譜數(shù)據(jù)。外科手術(shù)位點的可見圖像和不可見光譜數(shù)據(jù)可被交替地或同時地捕獲。例如，可見圖像的幀以及用于形成增強圖像的數(shù)據(jù)可在外科手術(shù)位點被交替地捕獲。然后該過程前往處理塊311。在處理塊311處，增強的圖像響應(yīng)于不可見光譜數(shù)據(jù)由外科手術(shù)位點形成。圖5A 圖示說明了由從病人體內(nèi)捕獲的數(shù)據(jù)產(chǎn)生的外科手術(shù)位點的增強的圖像500A。增強的圖像 500A將被著色。增強的圖像500A包括特征性組織結(jié)構(gòu)502，例如組織表面下的血管，或其他標(biāo)記的、激發(fā)的、或同時發(fā)射的組織。然后該過程可前往處理塊312。在處理塊312處，用預(yù)定去飽和水平將彩色臨床圖像400A去飽和(朝向黑色和白色減少彩色)成為去飽和圖像。去飽和水平(彩色減少)可被改變。圖4B圖示說明了從圖4A的彩色臨床圖像400A中減少彩色的去飽和臨床圖像400B?？梢娊M織402'，可見工具404A' -404B'，以及可見針和縫線406‘在彩色上朝向黑色和白色或灰度減少。然后該過程前往處理塊314。在處理塊314處，用一種彩色將之前形成的增強圖像著色從而形成彩色增強圖像。圖5B圖示說明了彩色增強的圖像500B。在彩色增強圖像500B中該特征性組織結(jié)構(gòu) 502用綠色進行著色。然后該過程前往處理塊316。在處理塊316處，去飽和圖像400B和彩色增強圖像500B的亮度被設(shè)定為第一水平相對亮度。去飽和圖像的亮度和彩色增強圖像的亮度可被獨立地設(shè)定從而提供一個第一水平相對亮度。然后該過程前往處理塊318。在處理塊318處，彩色增強的圖像與去飽和的圖像組合(例如重疊到其上)從而形成合并圖像。合并圖像已經(jīng)在單獨的彩色臨床圖像添加了信息內(nèi)容。該彩色強調(diào)了合并圖像內(nèi)彩色增強圖像的信息。圖6圖示說明了合并圖像600。合并圖像600包括與去飽和組織特征402’結(jié)合的彩色增強圖像500B的彩色特征性組織結(jié)構(gòu)502'、工具404A' -404B'、以及去飽和圖像 400B的針和縫線406'?？蓪⒉噬鰪妶D像500B記錄為去飽和圖像400B，從而可以將它們組合在一起成為合并圖像600?？梢詧?zhí)行空間記錄用來將彩色增強圖像500B和去飽和圖像400B組合在一起。如果這些圖像具有不同的幀尺寸或方向，則可以計算不同數(shù)據(jù)源之間的坐標(biāo)轉(zhuǎn)換來提供空間記錄。如果它們是不同步，還可執(zhí)行時間記錄從而將彩色增強圖像500B和去飽和圖像400B組合在一起。相對于時間不同步的圖像幀可被同步到一起從而將彩色增強圖像 500B和去飽和圖像400B的幀相對時間適當(dāng)?shù)亟Y(jié)合到一起。在將圖像信息組合到一起之后， 則過程可前往處理塊320。在處理塊320處，將合并圖像600顯示在顯示裝置上例如外科醫(yī)生控制臺104的立體觀察器140和/或不同的監(jiān)視器或顯示裝置(例如，監(jiān)視器181)。然后該過程可前往處理塊322。在處理塊322處，在合并圖像600中去飽和圖像400B以及彩色增強圖像500B的亮度可被各自調(diào)整到一個相對亮度水平以便改變顯示設(shè)備上顯示的合并圖像中信息含量。 可以使用軟件和/或物理用戶界面來調(diào)整去飽和圖像400B和彩色增強圖像500B每個的亮度或它們之間的相對亮度。針對每一幀一個或多個過程可以重復(fù)多次，用來將合并圖像600連續(xù)地顯示在顯示設(shè)備上直至外科手術(shù)結(jié)束或不再需要彩色增強圖像500B。在這種情況下，可以將該成像系統(tǒng)的顯示方式切換返回至正常模式用來顯示外科手術(shù)位點的彩色臨床圖像400A，而沒有增強圖像。然后增強顯示模式過程可前往處理塊399。在處理塊399處，如果外科手術(shù)終止或這些過程不再重復(fù)，則該過程可以結(jié)束。相對于熒光圖像可更具體地地說明一種替代顯示方法。該替代顯示方法可包括獲得由可見光照射的外科手術(shù)位點的可視彩色圖像；將外科手術(shù)位點的可見彩色圖像去飽和成為可見灰色圖像；獲得外科手術(shù)位點中熒光組織的熒光圖像，其中該熒光組織以可見彩色顯示；并且產(chǎn)生一個可顯示的圖像，該圖像包括可見的熒光圖像和可見的灰色圖像的組合。用戶界面如前面提及的，可使用軟件和/或物理的用戶界面來支持增強的顯示模式用于將去飽和圖像和彩色增強圖像組合一起并顯示?？赏ㄟ^產(chǎn)生控制信號的用戶界面開關(guān)的預(yù)定順序選擇在外科醫(yī)生控制臺選擇性地進入增強的顯示模式，例如通過在外科醫(yī)生控制臺104的左側(cè)和右側(cè)主手柄和/或腳踏板中的選擇切換?？商娲?，能夠以MaMOiiasters-in-mice)模式通過主手柄選擇菜單列表中菜單條款，該模式可以用于產(chǎn)生控制信號用來選擇性進入增強顯示模式。例如，可以使用于2009年3月9日由Paul Mohr等人提交的名稱為“機器人外科手術(shù)系統(tǒng)中電子外科手術(shù)工具的用戶界面，，(USER INTERFACES FOR ELECTRO SURGICAL TOOLS IN ROBOTIC SURGICAL) 的申請?zhí)?2/400，738的申請中說明的主手柄開關(guān)來啟動該成像系統(tǒng)的增強顯示模式，其通過引用被并入本文?？梢酝ㄟ^進入用戶界面開關(guān)的預(yù)定順序選擇1秒鐘時間來選擇性啟動增強顯示模式，以產(chǎn)生控制信號以便返回外科手術(shù)位點彩色圖像的正常顯示模式。在增強顯示模式下，可以提供用戶界面來選擇性地控制其特征。在增強顯示模式中一些可控的特征包括彩色增強圖像與去飽和圖像之間相對亮度，和/或去飽和圖像的去飽和水平?，F(xiàn)在參考圖7，顯示器700被顯示包括用于增強顯示模式的用戶界面701。用戶界面701可包括增強顯示圖標(biāo)702用于向使用者指示成像系統(tǒng)正處在什么顯示模式下(正?；蛟鰪?。該用戶界面可進一步包括用于調(diào)整去飽和圖像與彩色增強圖像之間相對亮度的合并滑動件704。在圖7中，調(diào)整滑動件704用來顯示更少的白光這樣使得該彩色增強圖像在顯示器700中的去飽和圖像上被強調(diào)。可替代地，可以將一對滑動件開關(guān)706-707提供于用戶界面中用來分別地調(diào)整彩色增強圖像的亮度以及去飽和圖像的亮度從而實現(xiàn)各自之間希望的相對亮度。亮度調(diào)整設(shè)備可以產(chǎn)生控制信號用來針對在黑/白或灰度圖像中形成多少白光進行去飽和圖像的處理控制?？商娲?，亮度調(diào)整裝置可以產(chǎn)生控制信號用來控制照射裝置112以便調(diào)整所產(chǎn)生白光的亮度水平用來在圖像捕獲期間對外科手術(shù)位點進行照射。現(xiàn)在參考圖8，顯示器800被顯示包括類似于用戶界面701的用戶界面801，包括圖標(biāo)702以及相對亮度選擇器704。除了針對參考圖7中所描述的相對亮度的調(diào)整裝置之外(例如滑動件704)，該用戶界面801進一步包括針對彩色圖像去飽和的用戶界面調(diào)整裝置。用戶界面801可包括用于調(diào)整去飽和圖像402'的去飽和水平的滑動件開關(guān) 804A。去飽和調(diào)整裝置可產(chǎn)生控制信號用來控制從可見彩色圖像到去飽和圖像的處理，所述控制過程涉及通過減少每個像素中紅色、綠色、藍色(RGB)信息來從可見彩色圖像中去除多少彩色?；瑒蛹_關(guān)804A被設(shè)定使得圖8中的顯示器800用一些彩色但少于全色來顯示去飽和圖像402'。代替滑動件開關(guān)804A，可以使用上下按鈕開關(guān)804B來調(diào)整去飽和圖像402'中的去飽和水平。可替代地，可以使用可轉(zhuǎn)動的旋鈕804C來調(diào)整去飽和圖像 402'中的去飽和水平。在任何情況下，公開了一種顯示裝置，該裝置可以顯示從體腔中在可見電磁(EM) 譜內(nèi)捕獲的組織的去飽和圖像，以及與該去飽和圖像組合的第一彩色增強圖像。該第一彩色增強圖像表示從體腔中在可見電磁譜外捕獲的數(shù)據(jù)?？梢栽O(shè)定去飽和圖像和第一彩色增強圖像之間相對亮度用來在可見電磁(EM)譜內(nèi)捕獲的組織上強調(diào)捕獲數(shù)據(jù)從而為用戶提供了改進的信息內(nèi)容。結(jié)論公開的方法提供了白光圖像的足夠臨床細節(jié)用來允許用戶避免外科手術(shù)器械與組織的無意碰撞并且給出足夠的標(biāo)記用來防止外科醫(yī)生失去解剖信息同時以如下方式提供了在增強圖像中可供使用的信息的細節(jié)，即使得易于將增強的圖像信息與白光圖像中的細節(jié)區(qū)分開。本發(fā)明實施例的一個或多個元素可以在軟件中實現(xiàn)從而使得可以使用機器例如處理器自動地完成一個或多個任務(wù)。當(dāng)以軟件執(zhí)行時，本發(fā)明實施例的元素基本上是用于執(zhí)行在此公開的方法的一個或多個任務(wù)的程序指令或編碼區(qū)段。例如，機器可讀介質(zhì)可以在其上存儲多個指令，當(dāng)通過機器執(zhí)行時這些指令使機器自動地執(zhí)行多個操作包括減少病人體內(nèi)在外科手術(shù)位點在可見電磁(EM)譜內(nèi)捕獲的組織的彩色圖像中的彩色從而形成去飽和圖像；使在外科手術(shù)位點捕獲的不可見特征性組織結(jié)構(gòu)在彩色增強圖像中可見；以及將彩色增強圖像和去飽和圖像組合到一起從而形成組合的圖像用于至少一個顯示設(shè)備上顯不?？梢詫⑦@些程序指令或編碼區(qū)段存儲在處理器可讀取的介質(zhì)中用于被該處理器執(zhí)行，例如圖1中所示的處理器120或核心處理器116。該處理器可讀取的介質(zhì)可以包括可以存儲信息的任何介質(zhì)，例如圖1中圖示說明的存儲器122。處理器可讀介質(zhì)的示例包括電子電路、半導(dǎo)體存儲器器件、ROM、閃存、可擦除式ROM(EROM)、軟盤、CD-ROM、光盤、硬盤等。 這些程序指令或編碼區(qū)段可以通過計算機網(wǎng)絡(luò)例如互聯(lián)網(wǎng)、內(nèi)部網(wǎng)等來下載。雖然本說明書包括多種具體方式，但這些不應(yīng)被解釋成對本公開或所要求權(quán)利的范圍進行限制，而應(yīng)解釋成對本公開的具體實施方式
的特殊特征進行說明。在分離的實現(xiàn)方式的背景中在本說明書中說明的某些特征還能夠以組合方式在單個實現(xiàn)方式中執(zhí)行。相反地，在單個實施方式的背景中所述的多種特征還能夠分開地或以子組合方式在多個實施方式中實施。然而，雖然在上面這些特征可被描述為以某些組合起作用或甚至如最初地所要求保護的，但在一些情況下來自要求組合的一個或多個特征可以與該組合分離，并且要求的組合可以是針對子組合或子組合的變體。所要求的發(fā)明僅受隨附的專利權(quán)利要求的限制。
表
權(quán)利要求
1.一種用于微創(chuàng)外科手術(shù)系統(tǒng)的方法，所述方法包括將從病人體內(nèi)的外科手術(shù)位點在可見電磁(EM)譜內(nèi)捕獲的組織的可見彩色圖像去飽和成為去飽和圖像；用可見彩色為表示從所述外科手術(shù)位點在可見電磁(EM)譜外捕獲的數(shù)據(jù)的增強圖像著色，從而形成彩色增強圖像；以及將所述彩色增強圖像和所述去飽和圖像組合到一起，從而形成外科手術(shù)位點的合并圖像以用于在顯示設(shè)備上顯示。
2.如權(quán)利要求1所述的方法，進一步包括將生物標(biāo)記引入病人體內(nèi)，所述標(biāo)記能夠用在可見電磁(EM)譜外的電磁輻射來激發(fā)； 用可見電磁(EM)譜內(nèi)的可見光照射所述病人體內(nèi)的所述外科手術(shù)位點； 響應(yīng)于可見光捕獲所述病人體內(nèi)的所述外科手術(shù)位點的可見彩色圖像；以及響應(yīng)于將所述生物標(biāo)記引入到病人體內(nèi)，捕獲所述外科手術(shù)位點的數(shù)據(jù)。
3.如權(quán)利要求2所述的方法，進一步包括在捕獲數(shù)據(jù)之前，將所述病人體內(nèi)的所述外科手術(shù)位點暴露于可見電磁(EM)譜外的電磁輻射以激發(fā)所述生物標(biāo)記；以及其中進一步響應(yīng)于所述生物標(biāo)記的激發(fā)從所述外科手術(shù)位點捕獲所述數(shù)據(jù)。
4.如權(quán)利要求3所述的方法，其中被引入病人體內(nèi)的所述生物標(biāo)記是吲哚菁綠；以及在可見電磁(EM)譜外的電磁輻射是用于激發(fā)吲哚菁綠發(fā)熒光并且發(fā)射電磁輻射的近紅外線(NIR)。
5.如權(quán)利要求1所述的方法，進一步包括在組合之前，設(shè)定所述彩色增強圖像與所述去飽和圖像之間的第一相對亮度。
6.如權(quán)利要求4所述的方法，其中所述相對亮度是預(yù)定水平，以及所述可見彩色圖像的去飽和處于預(yù)定去飽和水平之下。
7.如權(quán)利要求6所述的方法，進一步包括將所述彩色增強圖像與所述去飽和圖像之間的相對亮度的設(shè)定改變成第二相對亮度， 以改變在所述合并圖像中的信息含量。
8.如權(quán)利要求6所述的方法，進一步包括改變?nèi)ワ柡退揭詫⑺鐾饪剖中g(shù)位點的可見彩色圖像去飽和，從而改變所述去飽和圖像中的信息含量。
9.如權(quán)利要求8所述的方法，其中所述外科手術(shù)位點的所述可見彩色圖像被完全去飽和從而去除全部彩色，以及所述去飽和圖像是黑白圖像。
10.如權(quán)利要求1所述的方法，其中所述增強圖像是所述外科手術(shù)位點的光譜特征的近紅外線(NIR)熒光圖像、可見光熒光圖像或光柵掃描中的一個，所述光譜特征包括具有空間變化的臨床信息。
11.如權(quán)利要求1所述的方法，其中所述增強圖像是由可測量的組織參數(shù)的點測量值形成。
12.如權(quán)利要求11所述的方法，其中所述可測量的組織參數(shù)是組織阻抗、癌細胞的點檢測、或預(yù)定細胞類型的點檢測。
13.如權(quán)利要求1所述的方法，其中所述彩色增強圖像和所述去飽和圖像的組合包括所述彩色圖像與去飽和圖像的時間和空間記錄。
14.一種設(shè)備，包括 顯示裝置，其顯示從體腔中在可見電磁(EM)譜內(nèi)捕獲的組織的去飽和圖像；與所述去飽和圖像組合的第一彩色增強圖像，所述第一彩色增強圖像表示從體腔中在可見電磁譜外捕獲的第一數(shù)據(jù)；以及其中，設(shè)定所述去飽和圖像和所述第一彩色增強圖像之間的相對亮度，用來強調(diào)在可見電磁(EM)譜內(nèi)捕獲的組織上的所述第一數(shù)據(jù)從而提供改進的信息內(nèi)容。
15.如權(quán)利要求14所述的設(shè)備，其中所述顯示裝置進一步顯示與所述第一彩色增強圖像以及所述去飽和圖像組合的第二彩色增強圖像，所述第二彩色增強圖像表示從體腔中在可見電磁譜外捕獲的第二數(shù)據(jù)，所述第二彩色增強圖像具有與所述第一彩色增強圖像不同的彩色；以及其中，設(shè)定所述去飽和圖像和所述第二彩色增強圖像之間的相對亮度，用來強調(diào)在可見電磁(EM)譜內(nèi)捕獲的組織上的所述第二數(shù)據(jù)。
16.如權(quán)利要求14所述的設(shè)備，進一步包括用戶界面，其包括用來調(diào)整在所述顯示裝置上顯示的所述去飽和圖像和所述第一彩色增強圖像之間的相對亮度的用戶可選擇裝置。
17.如權(quán)利要求14所述的設(shè)備，進一步包括用戶界面，其包括用于調(diào)整在所述顯示設(shè)備上顯示的所述去飽和圖像的亮度的第一用戶可選擇裝置以及用于調(diào)整在所述顯示設(shè)備上顯示的第二偽彩色圖像的亮度的第二用戶可選擇裝置。
18.如權(quán)利要求14所述的設(shè)備，其中用對可見電磁譜的波長范圍敏感的傳感器捕獲組織的所述去飽和圖像；以及用對可見電磁譜外的波長范圍敏感的傳感器捕獲由所述第一彩色增強圖像表示的數(shù)據(jù)。
19.如權(quán)利要求14所述的設(shè)備，其中所述去飽和圖像的一部分包括體腔內(nèi)外科手術(shù)工具的去飽和圖像。
20.如權(quán)利要求14所述的設(shè)備，其中由所述第一彩色增強圖像表示的數(shù)據(jù)響應(yīng)于引入組織中的生物標(biāo)記被捕獲。
21.如權(quán)利要求20所述的設(shè)備，其中所述生物標(biāo)記是吲哚菁綠(ICG)。
22.如權(quán)利要求14所述的設(shè)備，其中由所述第一彩色增強圖像表示的數(shù)據(jù)用表面組織下的骨組織的X射線捕獲。23.一種機器可讀取的介質(zhì)，其上已經(jīng)存儲了指令，當(dāng)通過機器執(zhí)行所述指令時導(dǎo)致所述機器執(zhí)行如下操作，包括減少在病人體內(nèi)在可見電磁(EM)譜內(nèi)捕獲的外科手術(shù)位點的組織的彩色圖像中的彩色，從而形成去飽和圖像；使在外科手術(shù)位點捕獲的不可見特征性組織結(jié)構(gòu)在彩色增強圖像中可見；以及將所述彩色增強圖像與所述去飽和圖像組合到一起，從而形成組合的圖像，用于在至少一個顯示設(shè)備上顯示。
23.如權(quán)利要求22所述的機器可讀介質(zhì)，其中 在可見電磁(EM)譜外捕獲所述外科手術(shù)位點的所述不可見特征性組織結(jié)構(gòu)。
24.如權(quán)利要求22所述的機器可讀介質(zhì)，其中通過偽彩色使得所述外科手術(shù)位點的所述不可見特征性組織結(jié)構(gòu)在去飽和圖像中捕獲的組織上可見。
25.一種方法，包括獲得被可見光照射的外科手術(shù)位點的可見彩色圖像；將所述外科手術(shù)位點的可見彩色圖像去飽和成為可見灰色圖像；獲得外科手術(shù)位點中的熒光組織的熒光圖像，其中所述熒光組織以可見彩色顯示；以及產(chǎn)生包括所述可見熒光圖像與所述可見灰色圖像的組合的可顯示圖像。
26.如權(quán)利要求25所述的方法，其中所述去飽和包括從所述可見彩色圖像基本去除所有彩色，從而形成所述可見灰色圖像。
27.如權(quán)利要求25所述的方法，其中獲得所述熒光圖像包括 將所述外科手術(shù)位點暴露于可見電磁譜外的電磁輻射下。
28.如權(quán)利要求25所述的方法，進一步包括用所述可見彩色將所述熒光圖像中的所述熒光組織著色。
29.如權(quán)利要求25所述的方法，進一步包括 在顯示裝置上顯示所述可顯示圖像；以及調(diào)整所述可見灰度圖像和所述熒光圖像中一者或兩者的亮度水平。
30.如權(quán)利要求25所述的方法，進一步包括 在顯示裝置上顯示所述可顯示圖像；以及調(diào)整所述可見彩色圖像的去飽和水平。
全文摘要
在本發(fā)明的實施例中，一種設(shè)備包括顯示裝置。該顯示裝置顯示從體腔中在可見電磁(EM)光譜內(nèi)捕獲的組織的去飽和圖像；以及與該去飽和圖像組合的第一彩色增強圖像。該第一彩色增強圖像表示從體腔中在可見電磁譜外捕獲的第一數(shù)據(jù)。設(shè)定去飽和圖像和第一彩色增強圖像之間的相對亮度，從而在可見電磁譜內(nèi)捕獲的組織上強調(diào)第一數(shù)據(jù)進而提供改進的信息內(nèi)容。
文檔編號G06T5/50GK102576457SQ201080044928
公開日2012年7月11日 申請日期2010年9月30日 優(yōu)先權(quán)日2009年10月7日
發(fā)明者C·J·莫爾, I·M·麥克度威爾, P·W·莫爾 申請人:直觀外科手術(shù)操作公司