圖像處理裝置、圖像處理方法和程序的制作方法
【技術領域】
[0001]本技術涉及圖像處理裝置、圖像處理方法和程序的技術領域，其對通過捕捉可見的透光物體(諸如透明的手術工具)的圖像而獲取的捕捉圖像執行圖像處理。
[0002]參考文獻列表
[0003]專利文獻
[0004]專利文獻1:JP2009-291358A
[0005]專利文獻2:JP2011-35853A
【背景技術】
[0006]已知的是所謂的微創外科手術用于減少患者的生理負擔。在微創外科手術中，夕卜科醫生在確認通過內窺鏡捕捉的體內圖像時進行外科手術，以便在不打開胸部或腹部的情況下進行外科手術并且減少外科手術中的患者的生理負擔。
【發明內容】
[0007]技術問題
[0008]當在微創外科手術中通過使用內窺鏡進行外科手術時，想到的是使用透明的手術工具作為手術工具，諸如，手術刀和鑷子。如果手術工具是透明的，則位于更深側的觀察物體(諸如，器官)的可見度有望提高。
[0009]然而，如果使用透明的手術工具，對于諸如外科醫生的觀察者來說難以確認手術工具在所捕捉的圖像中的位置，并且擔心外科手術變得更困難。
[0010]因此，本技術的目的是克服以上問題，并且提高關于使用諸如透明的手術工具的透明物體的工作的工作效率。
[0011]技術方案
[0012]第一，根據本技術，一種圖像處理裝置包括:目標檢測單元，被配置為當第一捕捉圖像是通過選擇性接收第一波段的光而獲取的捕捉圖像，并且第二捕捉圖像是通過選擇性接收第二波段的光而獲取的捕捉圖像時，基于所述第二捕捉圖像檢測其中存在目標物體的圖像區域作為目標區域，所述捕捉圖像通過捕捉對于所述第一波段的所述光是透明的并且對于所述第二波段的所述光是不透明的所述目標物體而獲取；以及輪廓疊加單元，被配置為基于由所述目標檢測單元檢測的所述目標區域的信息在所述第一捕捉圖像上疊加所述目標物體的輪廓。
[0013]如上所述，其中物體的更深側在視覺上是可確認的并且物體的位置在視覺上是可確認的捕捉圖像是通過在第一捕捉圖像上疊加物體的輪廓而獲取。
[0014]第二，在根據本技術的圖像處理裝置中，優選地，所述目標檢測單元基于所述第二捕捉圖像和所述第一捕捉圖像檢測所述目標區域。從而，基于透明地顯示物體的圖像以及不透明地顯示物體的圖像來檢測目標區域。
[0015]第三，在根據本技術的圖像處理裝置中，目標檢測單元優選通過關于所述第二捕捉圖像和所述第一捕捉圖像中的每一個執行邊緣提取，基于所述第二捕捉圖像生成第二邊緣圖像并且基于所述第一捕捉圖像生成第一邊緣圖像，使用所述目標物體的模板針對所述第二邊緣圖像和所述第一邊緣圖像中的每一個執行模板匹配，并且檢測圖像區域作為所述目標區域，該圖像區域是通過針對所述第二邊緣圖像的所述模板匹配所檢測，并且不與通過針對所述第一邊緣圖像的所述模板匹配所檢測的圖像區域重疊的圖像區域。從而，可以排除在用于第二捕捉的模板匹配中錯誤檢測的圖像區域。
[0016]第四，在根據本技術的圖像處理裝置中，目標檢測單元優選地針對所述第二捕捉圖像以及針對通過選擇性接收所述第一波段中的不同波段的光而獲取的多個第一捕捉圖像執行所述邊緣提取，并且基于所述第二捕捉圖像生成所述第二邊緣圖像以及基于所述多個第一捕捉圖像生成多個第一邊緣圖像，針對每一個所述生成的邊緣圖像執行所述模板匹配，并且檢測圖像區域作為所述目標區域，該圖像區域是通過針對所述第二邊緣圖像的所述模板匹配所檢測，并且不與通過針對所述多個第一邊緣圖像的所述模板匹配所檢測的圖像區域中的任一個重疊的圖像區域。通過針對選擇性接收第一波段中的不同波段的光而獲取的多個第一捕捉圖像執行模板匹配，在可見光圖像側中更容易地檢測與物體具有類似形狀的不同于物體的部分。
[0017]第五，在根據本技術的圖像處理裝置中，優選地，當左眼側第二捕捉圖像和右眼側第二捕捉圖像分別是通過借助于選擇性接收所述第二波段的光的圖像傳感器而立體捕捉所述目標物體的圖像從而而獲取的左眼圖像和右眼圖像時，所述目標檢測單元基于根據所述左眼側第二捕捉圖像與所述右眼側第二捕捉圖像之間的視差所計算的距離信息而檢測所述目標區域。如上所述，通過使用距離信息可以檢測目標區域。
[0018]第六，在根據本技術的圖像處理裝置中，優選地，所述目標檢測單元基于針對所述第二捕捉圖像和所述第一捕捉圖像中的每一個所計算的所述距離信息生成所述第二捕捉圖像的距離圖像以及所述第一捕捉圖像的距離圖像，生成所述第二捕捉圖像的所述距離圖像與所述第一捕捉圖像的所述距離圖像之間的差值圖像，并且基于所述差值圖像檢測所述目標區域。如上所述，通過在第二捕捉圖像的距離圖像與第一捕捉圖像的距離圖像之間生成差值圖像，在差值圖像中僅提取物體存在的圖像區域。
[0019]第七，在根據本技術的圖像處理裝置中，優選地，所述目標檢測單元基于針對多個幀圖像的所述目標區域的檢測結果，確定所述輪廓疊加單元進行的所述輪廓的疊加中使用的所述目標區域。從而，即使由于一時噪音的影響所造成的將不同于物體的顯示內容的部分錯誤地檢測為目標區域，該影響也不會反應在輪廓疊加中。
[0020]第八，根據本技術的圖像處理裝置優選地包括光學畸變校正單元，該光學畸變校正單元被配置為校正由所述目標物體關于所述第一捕捉圖像中的所述目標區域而產生的光學畸變。從而，校正在第一捕捉圖像中的目標區域中生成的光學畸變。
[0021 ]第九，在根據本技術的圖像處理裝置中，目標檢測單元優選地所述目標檢測單元基于所述第二捕捉圖像識別所述目標物體的類型，并且所述光學畸變校正單元利用根據所述目標檢測單元識別的所述目標物體的所述類型的校正特性來校正所述光學畸變。從而，通過根據物體的類型的適當的校正特性執行光學畸變校正。
[0022]第十，在根據本技術的圖像處理裝置中，優選地，當左眼側第二捕捉圖像和右眼側第二捕捉圖像分別是借助于選擇性接收所述第二波段光的圖像傳感器立體捕捉所述目標物體的圖像而獲取的左眼圖像和右眼圖像時，所述檢測單元基于所述左眼側第二捕捉圖像和所述右眼側第二捕捉圖像生成所述目標物體的三維位置信息，并且基于所述三維位置信息檢測所述目標物體的方位，并且所述光學畸變校正單元利用根據所述目標檢測單元檢測的所述目標物體的所述方位的校正特性來校正所述光學畸變。從而，通過根據物體的方位的適當的校正特性執行光學畸變校正。
[0023]第十一，在根據本技術的圖像處理裝置中，所述光學畸變校正單元優選地利用根據所述目標物體的距離的校正特性來校正所述光學畸變。從而，通過根據物體的距離的適當的校正特性執行光學畸變校正。
[0024]本發明的技術效果
[0025]根據本技術，提高關于使用透明物體(諸如，透明的手術工具)的工作的工作效率。應注意，本文中描述的效果不必是限制性的，而且可以是本公開內容中所描述的效果中的一個。
【附圖說明】
[0026][圖1]圖1是在實施方式中假定的微創外科手術和透明手術工具的說明性示圖。
[0027][圖2]圖2是用于描述第一實施方式的圖像捕捉裝置的內部構造的框圖。
[0028][圖3]圖3是第一實施方式的圖像捕捉裝置中包括的圖像傳感器的結構的說明性示圖。
[0029][圖4]圖4是用于描述第一實施方式的圖像捕捉裝置中包括的信號處理單元(圖像處理裝置)的內部構造的框圖。
[0030][圖5]圖5是示出了在疊加輪廓圖像之后的可見光圖像的示圖。
[0031][圖6]圖6是由第一實施方式的圖像處理裝置使用的光學畸變信息DB的信息詳情的說明性示圖。
[0032][圖7]圖7是當通過軟件執行根據第一實施方式的圖像處理裝置的操作時的構造和處理程序的說明性示圖。
[0033][圖8]圖8是用于描述第二實施方式的圖像捕捉裝置的內部構造的框圖。
[0034][圖9]圖9是使用紅外光圖像和可見光圖像檢測手術工具區域的意義的說明性示圖。
[0035][圖10]圖10是用于描述第三實施方式的圖像捕捉裝置的內部構造的框圖。
[0036][圖11]圖11是三維位置信息的說明性示圖。
[0037][圖12]圖12是由第三實施方式的圖像處理裝置使用的光學畸變信息DB的信息詳情的說明性示圖。
【具體實施方式】
[0038]在下文中，接下來將描述實施方式。
[0039]〈1.第一實施方式〉
[0040](1-1.假設)
[0041](1-2.圖像捕捉裝置的總體構造)
[0042](1-3.關于信號處理單元)
[0043](1-4.關于程序)
[0044](1-5.總結和效果)
[0045]〈2.第二實施方式〉
[0046](2-1.構造和操作)
[0047](2-2.總結和效果)
[0048]〈3.第三實施方式〉
[0049](3-1.構造和操作)
[0050](3-2.總結和效果)
[0051]〈4.示例性變形例〉
[0052]〈5.本技術〉
[0053]〈1.第一實施方式〉
[0054](1-1.假設)
[0055]圖1是在實施方式中假定的微創外科手術和透明手術工具的說明性示圖。如圖1A中所示，在本實施方式中假定的微創外科手術中，手術工具J和稍后描述的圖像捕捉裝置I的剛性內窺鏡(內窺鏡Ha被插入到患者H的身體的內部中。這個示圖示出了兩種類型的手術工具J被插入到身體的內部中的情況，這兩種手術工具是手術工具Jl和手術工具J2。手術工具J和剛性內窺鏡Ia插入到身體的內部中是分別通過在患者H中的微創口執行的。
[0056]手術工具J是諸如手術刀和鑷子的外科手術工具，并且在本實施方式中使用所謂的透明的手術工具。透明手術工具指的是對于可見光是透明的手術工具。
[0057]圖1B示意性地示出了當如圖1A中所示的將手術工具J和剛性內窺鏡Ia插入時，經由剛性內窺鏡Ia所獲取的捕捉圖像。在這種情況下，盡管手術工具Jl和手術工具J2存在于體內物體X(諸如圖像捕捉視野中的器官)的前側，但是這些手術工具Jl和手術工具J2在捕捉圖像中不能完全顯示，并且透過手術工具Jl和手術工具J2中的每一個的更深側看到體內物體X，這是因為手術工具Jl和手術工具J2是透明的手術工具。
[0058]盡管透過手術工具J的更深側察看以便提高體內物體X的可見度并且提高外科手術的容易度，但是如上所述，透明手術工具的位置在捕捉圖像中難以確認，并且擔心外科手術變得更困難。
[0059]因此，在本實施方式中，提供了使手術工具J的更深側在視覺上可確認的以及手術工具J的位置在視覺上可確認的捕捉圖像，以便提高關于使用透明手術工具的外科手術工作的工作效率，并且提高外科手術的容易度。
[0060]因此，在本實施方式中，對于可見光是透明的并且對于紅外光是不透明的手術工具被用作手術工具J。具體地，本實例中的手術工具J被透射可見光但是反射或吸收紅外光的膜所覆蓋。例如，該膜是3M公司等制成的“多層納米系列(Multi Layer Nano Series)”。應注意，手術工具J可以由透射可見光但是反射或吸收紅外光的玻璃材料制成。例如，該玻璃是以下網頁等中示出的產品(由Central Glass C0.,Ltd.生產)。
[0061 ].http://www.cg-glass.jp/pro/sub_technique/pdf/180_181.pdf
[0062](1-2.圖像捕