醫療用運動圖像記錄再現系統以及醫療用運動圖像記錄再現裝置的制造方法

醫療用運動圖像記錄再現系統以及醫療用運動圖像記錄再現裝置的制造方法
【專利摘要】為了提供一種在內窺鏡檢查中具有高操作性且能夠易于掌握到達患部的插入路徑的技術，醫療用運動圖像記錄再現系統(100)的圖像處理部(11)基于來自攝像部(3)的攝像信號來生成被攝體的運動圖像數據。特征點信息生成部(14)針對運動圖像數據的指定的幀生成特征點信息。服務器(4)將特征點信息與運動圖像數據相關聯地記錄。再現控制部(16)基于從服務器(4)讀出的一個以上的運動圖像數據來控制過去的運動圖像的再現。合成部(12)生成并輸出合成圖像數據，該合成圖像數據是將來自圖像處理部(11)的實時的運動圖像數據和來自再現控制部(16)的過去的運動圖像數據以使實時運動圖像和過去的運動圖像同時顯示的方式合成的圖像數據。監視器(2)顯示基于合成圖像數據的合成圖像。再現控制部(16)進行在過去的運動圖像數據的帶有特征點信息的幀使再現暫時停止的控制。
【專利說明】
醫療用運動圖像記錄再現系統以及醫療用運動圖像記錄再現裝置
技術領域
[0001]本發明涉及一種對用醫療設備拍攝到的醫療用的運動圖像進行記錄并再現所記錄的運動圖像、拍攝中的運動圖像的醫療用運動圖像記錄再現系統以及醫療用運動圖像記錄再現裝置。
【背景技術】
[0002]以往，在內窺鏡檢查中，為了再次確認前次的檢查中發現的患部而要從過去的檢查中拍攝到的內窺鏡影像中找出患部的圖像并將靜止圖像以PinP(畫中畫)顯示。或者，將用磁帶錄像機(VTR)記錄的內窺鏡影像以PinP顯示。手術操作者參照PinP顯示的患部的靜止圖像或過去的內窺鏡影像，來在本次的檢查中找出對應的位置，對與前次相比患部如何變化進行觀察來進行診斷等。
[0003]關于能夠以短時間且簡單的操作來顯示、再現有用的運動圖像的醫療圖像記錄裝置，公開了以下一種技術:從獲取到的醫療用的運動圖像中檢測特征點，在再現運動圖像時，從檢測出特征點的時間點起再現運動圖像(例如，專利文獻I)。
[0004]專利文獻1:日本特開2011-36370號公報

【發明內容】

[0005]發明要解決的問題
[0006]在一邊再現過去拍攝得到的影像一邊進行內窺鏡檢查、在過去的影像中的出現患部的位置使再現停止并與拍攝中的影像的對應的位置進行比較的方法中，使過去的影像停止的操作是經由與內窺鏡裝置連接的鍵盤等來進行的。因此，在滅菌區域進行檢查的手術操作者自己無法進行使過去的影像的再現停止的操作，需要處于非滅菌區域內的手術操作者以外的人來進行該操作。
[0007]另外，根據上述的專利文獻I所記載的技術，從過去的運動圖像中的檢測出特征點的位置起進行再現。由于并不是從檢查開始起再現影像，因此對手術操作者來說，有時難以掌握插入路徑，從而在內窺鏡檢查中為了尋找患部的位置而花費功夫。
[0008]這樣，對作為內窺鏡裝置的用戶的手術操作者來說，期望一種操作性高且能夠在內窺鏡檢查中容易想象到達患部的插入路徑的技術。
[0009]本發明的目的在于，提供一種在內窺鏡檢查中具有高操作性且能夠易于掌握到達患部的插入路徑的技術。
[0010]用于解決問題的方案
[0011]根據本發明的一個方式，是一種進行醫療用運動圖像數據的記錄和再現的醫療用運動圖像記錄再現系統，其特征在于，具備:攝像部，其拍攝被檢體來獲取攝像信號;運動圖像數據生成部，其基于所述攝像信號來生成所述被攝體的運動圖像數據;特征點信息生成部，其針對構成所述運動圖像數據的幀中的指定的幀生成特征點信息，該特征點信息表示作為所述被攝體的圖像是具有特征的圖像;記錄部，其將所述特征點信息與所述運動圖像數據的對應幀相關聯地記錄;再現控制部，其基于從所述記錄部讀出的一個以上的運動圖像數據來控制至少一個過去的運動圖像的再現;合成部，其生成合成圖像數據并輸出所得到的合成圖像數據，所述合成圖像數據是將所述運動圖像數據生成部中生成的實時的運動圖像數據和從所述再現控制部提供的過去的運動圖像數據以使基于所述實時的運動圖像數據的實時運動圖像和基于所述過去的運動圖像數據的過去的運動圖像同時顯示的方式合成的圖像數據；以及顯示部，其顯示基于從所述合成部輸出的所述合成圖像數據的合成圖像，其中，所述再現控制部進行以下控制:在所述過去的運動圖像數據的帶有所述特征點信息的幀使再現暫時停止。
[0012]另外，根據本發明的其它的一個方式，是一種進行醫療用運動圖像數據的記錄和再現的醫療用運動圖像記錄再現裝置，其特征在于，具備:攝像部，其拍攝被檢體來獲取攝像信號;運動圖像數據生成部，其基于所述攝像信號來生成所述被攝體的運動圖像數據;特征點信息生成部，其針對構成所述運動圖像數據的幀中的指定的幀生成特征點信息，該特征點信息表示作為所述被攝體的圖像是具有特征的圖像;再現控制部，其基于從將所述特征點信息與所述運動圖像數據的對應幀相關聯地記錄的記錄部讀出的一個以上的運動圖像數據來控制至少一個過去的運動圖像的再現；以及合成部，其生成合成圖像數據并將得到的合成圖像數據輸出到顯示部，所述合成圖像數據是將所述運動圖像數據生成部中生成的實時的運動圖像數據和從所述再現控制部提供的過去的運動圖像數據以使基于所述實時的運動圖像數據的實時運動圖像和基于所述過去的運動圖像數據的過去的運動圖像同時顯示的方式合成的圖像數據，其中，所述再現控制部進行以下控制:在所述過去的運動圖像數據的帶有所述特征點信息的幀使再現暫時停止。
[0013]發明的效果
[0014]根據本發明，在內窺鏡檢查中，具有高操作性，且手術操作者易于掌握到達患部的插入路徑。
【附圖說明】
[0015]圖1是醫療用運動圖像記錄再現系統的整體結構圖。
[0016]圖2是醫療用運動圖像記錄再現系統的整體框圖。
[0017]圖3是例示基于由合成部合成得到的合成圖像數據而在監視器中顯示的合成圖像的圖。
[0018]圖4是表示內窺鏡觀察裝置的視頻處理器中的合成部的詳細模塊的圖。
[0019]圖5是例示顯示模式的選擇畫面的圖。
[0020]圖6是表示顯示模式的具體例子的圖。
[0021]圖7是說明向監視器的顯示方式的變更例的圖。
【具體實施方式】
[0022]下面，參照附圖來詳細地說明本發明的實施方式。
[0023]〈第一實施方式〉
[0024]圖1是本實施方式所涉及的醫療用運動圖像記錄再現系統的整體結構圖。圖1所示的醫療用運動圖像記錄再現系統100具有內窺鏡觀察裝置1、監視器2、內窺鏡3、圖像歸檔服務器(以下簡稱為服務器)4、鍵盤5、無線LAN(Local Area Network:局域網)6以及平板PC(Personal Computer:個人計算機)7。
[0025]圖1的醫療用運動圖像記錄再現系統100在內窺鏡檢查中通過內窺鏡觀察裝置I對由內窺鏡3獲取到的攝像信號實施需要的處理，來得到運動圖像數據。所得到的運動圖像數據記錄到服務器4中。還能夠將已記錄在服務器4中的運動圖像數據讀取出來后通過內窺鏡觀察裝置I的視頻處理器進行處理，通過監視器2再現。能夠經由內窺鏡3的操作開關、鍵盤5、平板PC 7等各種輸入單元來進行內窺鏡檢查和運動圖像數據的記錄、再現所需的各種信息的輸入和設定。
[0026]在構成醫療用運動圖像記錄再現系統100的各裝置中，內窺鏡觀察裝置I是視頻處理器、光源裝置、監視器2等裝置組織成推車狀而形成的裝置，對由內窺鏡3獲取到的醫療用運動圖像實施需要的處理后輸出到監視器2來使監視器2進行顯示。
[0027]內窺鏡3的前端部被插入到被檢體的體腔內，內窺鏡3將獲取到的體腔內的攝像信號輸出到內窺鏡觀察裝置I。監視器2從內窺鏡觀察裝置I接收通過內窺鏡觀察裝置I的視頻處理器進行攝像信號處理而得到的運動圖像數據，來使運動圖像顯示在畫面上。
[0028]服務器4經由無線LAN路由器6接收在內窺鏡觀察裝置I中進行圖像處理后得到的運動圖像數據，并記錄所接收到的運動圖像數據。在本實施方式中，服務器4將患者信息、特征點信息與運動圖像數據相關聯地記錄，其中，患者信息用于識別被檢體即患者，特征點信息是表示運動圖像數據中的由手術操作者等指定的幀圖像的信息。關于特征點信息的詳細內容，參照圖2等在后面詳細地說明。
[0029]此外，如圖1所示，在本實施方式中，內窺鏡觀察裝置1、服務器4以及平板PC7是經由無線LAN而相互連接的結構，但是不限于此，也可以是經由有線LAN而連接的結構。另外，各裝置之間的網絡不限于LAN，也可以使用公知的各種網絡。
[0030]鍵盤5是用于對所連接的內窺鏡觀察裝置I輸入各種設定、指示的輸入單元之一。作為從鍵盤5輸入的設定、指示，除了與內窺鏡檢查有關的設定、指示以外，還包括運動圖像數據的再現、再現的停止等與運動圖像數據在監視器2中的再現有關的指示、特征點信息的賦予等指示。
[0031]平板PC7與鍵盤5同樣，是用于輸入與運動圖像數據在監視器2中的再現有關的指示、特征點信息的賦予等指示的輸入單元之一。
[0032]在本實施方式所涉及的醫療用運動圖像記錄再現系統100中，在內窺鏡檢查中，首先，內窺鏡觀察裝置I基于用于識別即將要進行檢查的患者的患者信息，來確認服務器4中是否已經記錄有患者信息一致的運動圖像數據。在服務器4中記錄有患者信息一致的運動圖像數據時，將該運動圖像數據經由無線LAN路由器6發送到內窺鏡觀察裝置I。內窺鏡觀察裝置I將從內窺鏡3接收到的運動圖像實時地顯示在監視器2中，與此同時，基于從服務器4接收并保存到本裝置的存儲器等中的運動圖像數據來將過去的運動圖像顯示在監視器2中。在監視器2中，再現過去的運動圖像，并且顯示由內窺鏡3進行拍攝中的實時運動圖像。手術操作者將內窺鏡3插入患者的體腔內，并參照過去的運動圖像來判斷需要精查的位置、即在過去的運動圖像中出現患部等的位置，并進行觀察。
[0033]運動圖像的再現、停止、快進以及倒回等操作構成為能夠經由內窺鏡3的位于手術操作者的手邊的操作開關或在圖1中未圖示的腳邊的腳踏開關、由處于非滅菌區域的工作人員等操作的鍵盤5來進行。除此以外，例如構成為還能夠在檢查后對服務器4中記錄的運動圖像進行再次確認時經由平板PC7等來進行運動圖像的再現、停止、快進以及倒回等操作。如上所述，關于對運動圖像數據賦予特征點信息的操作，也能夠使用這些手段來進行。
[0034]根據本實施方式所涉及的醫療用運動圖像記錄再現系統100，在內窺鏡檢查中，事先將出現了患部部等的幀圖像與上述的特征點信息相關聯地記錄。在日后再次進行內窺鏡檢查時，從服務器4讀出這些數據和信息，來在監視器2中再現、顯示過去的運動圖像，在賦予了特征點信息的幀圖像的位置使過去的運動圖像的再現暫時停止。以下，對醫療用運動圖像記錄再現系統100對運動圖像數據賦予特征點信息并在之后的檢查中利用該特征點信息的方法進行具體說明。
[0035]圖2是本實施方式所涉及的醫療用運動圖像記錄再現系統100的整體框圖。此外，在圖2中，作為醫療用運動圖像記錄再現系統100的結構，省略了圖1的鍵盤5、無線LAN路由器6，添加了腳踏開關8和USB(Universal Serial Bus:通用串行總線)存儲器9。另外，在圖2中，只記載了與本實施方式所涉及的醫療用運動圖像的記錄、再現的方法有關的結構，而省略了其它結構的記載。
[0036]內窺鏡3具有攝像部31、內窺鏡開關32以及處置器具插入探測部33。攝像部31具有透鏡、CCD(Charge Coupled Device:電荷親合元件)，獲取被檢體攝像信號。內窺鏡開關32配置于手術操作者在手邊所使用的操作部，對內窺鏡觀察裝置I的視頻處理器50施加內窺鏡檢查的各種操作、拍攝中的運動圖像的特征點信息的賦予的指示。處置器具插入探測部38例如包括在設置于內窺鏡3前端的鉗子孔處設置的傳感器，通過傳感器來探測作為用戶的手術操作者將鉗子穿過鉗子孔而利用了鉗子。在第一變形例的說明中詳細敘述處置器具插入探測部38的探測結果的利用方法。
[0037]腳踏開關8用于進行內窺鏡檢查或手術中的內窺鏡3的操作、與運動圖像的再現或特征點信息的賦予有關的各種操作的輸入。
[0038]平板PC7具有聲音輸入接收部71和聲音輸入發送部72。在本實施方式中，在平板PC 7中，當通過聲音輸入接收部71接收到用戶的聲音輸入時，聲音輸入發送部72將被輸入到平板PC 7的聲音數據向視頻處理器50發送。視頻處理器50經由平板通信部22來接收從平板PC 7的聲音輸入發送部72發送來的聲音數據。
[0039]此外，接收到聲音數據的視頻處理器50通過在圖2中未圖示的解析部解析聲音數據來獲取需要的信息，將獲取到的信息提供給構成視頻處理器50的各部。另外，平板PC 7與視頻處理器50之間的通信并不限定于圖2所例示的聲音數據的通信。
[0040]內窺鏡觀察裝置I的視頻處理器50具有圖像處理部11、合成部12、記錄用運動圖像數據生成部13、運動圖像記錄區域14、解碼器15、再現控制部16、觸發識別部17、觸發類型信息生成部18、幀序號數據生成部19、時間戳生成部20、插入長度數據生成部21、平板通信部22、插入長度探測部23、特征點信息生成部24、特征點信息記錄區域25以及處理器內部存儲器26。視頻處理器50對由內窺鏡3的攝像部31拍攝得到的攝像信號實施需要的處理來得到運動圖像數據，并將運動圖像數據輸出到監視器2。
[0041]在視頻處理器50中，圖像處理部11對從內窺鏡3輸入的攝像信號實施需要的圖像處理，來得到運動圖像數據。合成部12生成合成圖像數據，并將該合成圖像數據發送到監視器2，該合成圖像數據是將從圖像處理部11輸入的運動圖像數據、即實時運動圖像的數據和從服務器4、USB存儲器9讀出的過去的運動圖像數據以使基于實時運動圖像數據的實時運動圖像和基于過去的運動圖像數據的過去的運動圖像同時顯示在監視器2上的方式合成的圖像數據。
[0042]記錄用運動圖像數據生成部13例如包括編碼器，對從圖像處理部13輸入的運動圖像數據實施編碼等需要的處理。對于記錄用運動圖像數據，除了與上述的特征點信息相關聯地記錄以外，還可以與幀序號、時間戳、內窺鏡3的插入長度等各種信息相關聯地記錄。
[0043]運動圖像記錄區域14是用于暫時保持由記錄用運動圖像數據生成部13生成的記錄用的運動圖像數據或從服務器4、USB存儲器9讀出的運動圖像數據的區域。
[0044]解碼器15對運動圖像記錄區域14中保持的運動圖像數據進行解碼。解碼后的運動圖像數據被提供給再現控制部16。
[0045]再現控制部16基于在解碼器15中解碼后的運動圖像數據以及與該運動圖像數據相關聯的特征點信息來控制過去的運動圖像的再現。再現控制部16將正在被控制再現的過去的運動圖像的數據同特征點信息一起輸出到合成部12。
[0046]對視頻處理器50中的與特征點信息的生成有關的結構進行說明。
[0047]觸發識別部17對用戶的操作進行識別，該用戶的操作成為將特征點信息與同該特征點信息對應的幀圖像關聯時的觸發。成為觸發的用戶的操作是指內窺鏡開關32、腳踏開關8、平板PC 7以及圖2中未圖示的圖1的鍵盤5等的操作。如上所述，與平板PC 7之間的通信是經由平板通信部22進行的。
[0048]觸發類型信息生成部18生成表示由觸發識別部17識別出的用戶的操作是通過哪個單元輸入的操作的信息。具體地說，觸發類型信息例如是內窺鏡3(的內窺鏡開關32、處置器具插入探測部33)、腳踏開關8、平板PC 7、鍵盤5等。
[0049]當從內窺鏡3等進行特征點信息賦予的操作時，幀序號數據生成部19生成表示對應的幀圖像的幀序號的數據。時間戳生成部20檢測進行了特征點信息賦予操作的日期時間，來生成時間戳。插入長度數據生成部21基于由插入長度探測部23探測出的、進行了特征點信息賦予操作的時刻的內窺鏡3的插入長度來生成內窺鏡3的插入長度數據。關于在插入長度數據生成部21中根據插入長度探測部23的探測結果來生成插入長度數據的技術，使用了公知的技術。在第二變形例的說明中詳細敘述插入長度數據的具體的利用方法。
[0050]特征點信息生成部24根據從觸發類型信息生成部18、幀序號數據生成部19、時間戳生成部20以及插入長度數據生成部21輸入的數據來生成特征點信息。特征點信息包括與手術操作者、其它醫療用運動圖像記錄再現系統100的用戶對內窺鏡開關32等進行操作的時刻對應的幀圖像的幀序號、時間戳、內窺鏡3的插入長度等。特征點信息也可以包括除此以外的信息，還可以是包括其中的一部分的結構。被賦予了特征點信息的幀圖像表示是用戶從運動圖像中指定的出現了患部等的幀圖像。
[0051]特征點信息記錄區域25是用于事先保持視頻處理器50內生成的特征點信息的區域。在實施方式中，除了特征點信息以外，觀察模式(普通光觀察模式、窄頻帶光觀察模式、熒光觀察模式、紅外光觀察模式等)等拍攝條件也保持在特征點信息記錄區域25中。視頻處理器50將特征點信息記錄區域25的特征點信息等信息與上述的運動圖像記錄區域14中保持的運動圖像數據相關聯地記錄到服務器4、USB存儲器9中。
[0052]回到再現控制部16的動作的說明，再現控制部16參照特征點信息的幀序號，在過去的運動圖像數據中的與特征點信息對應的幀序號的幀使再現暫時停止。
[0053]合成部12基于從圖像處理部11輸入的實時運動圖像的數據和從再現控制部16輸入的過去的運動圖像的數據，來生成使監視器2顯示的合成圖像數據，并將生成的合成圖像數據輸出到監視器2。在通過再現控制部16暫時停止了過去的運動圖像的情況下，生成過去的運動圖像在賦予了特征點信息的幀靜止的狀態的合成圖像數據，并將合成圖像數據輸出到監視器2。監視器2基于從合成部12接收到的合成圖像數據來顯示合成圖像。
[0054]圖3是例示基于由合成部12合成得到的合成圖像數據而在監視器2上顯示的合成圖像的圖。
[0055]在圖3所示的例子中，在監視器2上并列地顯示實時運動圖像Pl和過去的運動圖像P2。另外，如圖3所示，也可以在過去的運動圖像P2的旁邊顯示進度條PB。
[0056]圖3的進度條PB顯示了過去的內窺鏡檢查的運動圖像的從開始到結束的期間內的被賦予了特征點信息的時刻在運動圖像中的相對位置以及其從運動圖像開始起的經過時間。具體地說，過去的運動圖像P2的拍攝時間T為20分鐘，在運動圖像P2中賦予了特征點信息f!、f2以及f3這三個特征點信息。而且，特征點信息fl、f2以及f3分別被賦予到從運動圖像的開始時間起“5分鐘”、“7分鐘”以及“12分鐘”的時刻，以對作為用戶的手術操作者等來說在視覺上容易掌握的方式顯示。
[0057]手術操作者參照進度條PB，來確認插入內窺鏡3開始檢查(開始運動圖像的拍攝)起到被賦予了特征點信息的位置、即到患部等為止的需要時間等。如上所述，在被賦予了特征點信息Π?f3的幀使過去的運動圖像P2暫時停止。手術操作者參照進度條PB來判斷患部等的位置，并將被賦予了特征點信息fl?f3的過去的患部等的幀圖像與實時運動圖像之間進行比較，來進行精查。
[0058]如前面也已敘述的那樣，圖2的視頻處理器50事先將通過合成部12而與實時運動圖像合成的過去的運動圖像的數據同特征點信息相關聯地記錄到服務器4、USB存儲器9中。
[0059]服務器4具有運動圖像記錄區域41、特征點信息記錄區域42以及特征點信息生成部43。運動圖像記錄區域41是用于記錄從內窺鏡觀察裝置I的視頻處理器50接收到的運動圖像數據的區域。特征點信息記錄區域42是用于記錄從視頻處理器50同運動圖像數據一起接收到的特征點信息的區域。特征點信息生成部43的動作與視頻處理器50的特征點信息生成部24同樣，根據直接或經由網絡而間接地輸入到服務器4的信息來生成特征點信息。
[0060]USB存儲器9具有運動圖像記錄區域91和特征點信息記錄區域92。運動圖像記錄區域91和特征點信息記錄區域92分別與服務器4的運動圖像記錄區域41和特征點信息記錄區域42同樣，分別是用于保持運動圖像數據的區域和用于保持特征點信息的區域。
[0061]此外，處理器內部存儲器26是設置于處理器50內的存儲單元。如圖2所示，處理器內部存儲器26具有運動圖像記錄區域27和特征點信息記錄區域28。運動圖像記錄區域27和特征點信息記錄區域28與服務器4、USB存儲器9同樣，分別是為了保持運動圖像數據而設置的區域和為了保持特征點信息而設置的區域。
[0062]這樣，根據本實施方式所涉及的醫療用運動圖像記錄再現系統100，在內窺鏡觀察裝置I的視頻處理器50中，使過去的同一患者(信息)的檢查的運動圖像同實時運動圖像即在內窺鏡檢查中進行拍攝中的影像一起顯示在監視器2上。過去的運動圖像從檢查開始起再現，在被賦予了特征點信息的位置暫時停止。由此，手術操作者不需要委托非滅菌區域的工作人員來在過去的檢查中賦予了特征點信息的患部等位置使過去的運動圖像暫時停止，就能夠容易地掌握到達患部的內窺鏡3的插入路徑來進行檢查。
[0063]此外，在上述中，對在一臺監視器2上并列顯示實時運動圖像和過去的運動圖像雙方的情況進行了說明，但是本實施方式所涉及的醫療用運動圖像的記錄再現方法并不限于此。例如，也可以使實時運動圖像和過去的運動圖像顯示在不同的監視器上。由此，能夠由用戶根據監視器2的使用環境等任意地決定各監視器的配置。
[0064]〈第一變形例〉
[0065]在上述中，通過內窺鏡3的操作開關等、或者通過與內窺鏡觀察裝置I連接的鍵盤5、能夠經由無線LAN路由器6與內窺鏡觀察裝置I進行無線通信的平板PC 7，來進行特征點信息的賦予。與此相對地，在本變形例中，由圖2的處置器具插入探測部33來確認鉗子等處置器具已被插入，將其判斷為特征點信息賦予的觸發。
[0066]內窺鏡觀察裝置I的視頻處理器50當探測出鉗子等處置器具已穿過內窺鏡3的鉗子孔插入時，判斷為在探測到插入時的內窺鏡3的位置處存在患部等。然后，對探測到鉗子的插入的時間點的幀圖像賦予特征點信息。
[0067]通過采取這種結構，能夠簡便地對運動圖像數據中的、在再次檢查等中要參照的幀圖像關聯特征點信息。
[0068]〈第二變形例〉
[0069]在上述中，當內窺鏡檢查開始時，與其一并開始過去的運動圖像的再現。與此相對地，在本變形例中，從與醫療用運動圖像記錄再現系統100的用戶經由鍵盤5、平板PC 7等輸入單元指定的內窺鏡3的插入長度相應的位置起再現過去的運動圖像。
[0070]如上所述，在特征點信息中包含內窺鏡3的插入長度。利用該情況，視頻處理器50根據多個特征點信息中的內窺鏡3插入長度數據來計算與用戶所指定的插入長度對應的幀序號，從此處開始過去的運動圖像的再現。
[0071]由此，在從檢查的開始起到最初的被賦予了特征點信息的幀為止的期間長這種情況、事前已判明只需要規定的位置的圖像這種情況等下，能夠使運動圖像從用戶需要再現的位置起再現。
[0072]〈第二實施方式〉
[0073]在上述實施方式中，如圖3那樣，采取將實時運動圖像和過去的運動圖像并列地顯示在監視器2上的結構。根據本實施方式所涉及的醫療用運動圖像記錄再現系統100，進一步采取考慮了手術操作者等用戶一邊將實時運動圖像與過去的運動圖像之間進行比較一邊進行檢查時的便利性的向監視器2的顯示方法。以下，參照圖4?圖7來具體地說明基于本實施方式所涉及的醫療用運動圖像記錄再現系統100的運動圖像向監視器2的顯示方法。
[0074]此外，在以下中，以與上述的實施方式不同的點為中心進行說明，與上述的實施方式相同的點省略說明。醫療用運動圖像記錄再現系統100的系統結構如之前參照圖1、圖2所說明的那樣。
[0075]圖4是表示內窺鏡觀察裝置I的視頻處理器50中的合成部12的詳細模塊的圖。參照圖4，首先，具體地說明怎樣將實時運動圖像與過去的運動圖像合成來生成監視器2上顯示的合成圖像。
[0076]如圖4所示，合成部12具有實時觀察用文字數據生成部51、實時觀察用文字數據重疊部52、實時觀察運動圖像用顯示框重疊部53、文字數據重疊位置設定部54、記錄運動圖像用文字數據生成部55、拍攝條件識別部56、記錄運動圖像用文字數據重疊部57、顯示框形狀設定部58、記錄運動圖像用顯示框重疊部59、加法部60、顯示內容存儲區域61、顯示內容選擇部62以及顯示內容選擇類型存儲區域63。
[0077]在分別根據從圖2的圖像處理部11輸入的實時運動圖像數據和從再現控制部16輸入的過去的運動圖像數據來將實時運動圖像和過去的運動圖像顯示在監視器2上時，文字數據重疊位置設定部54對表示各運動圖像是實時運動圖像和過去的運動圖像中的哪一個的文字等的位置進行設定。這些文字等的位置是基于用戶經由圖1的平板PC 7、鍵盤5等而設定的內容來決定的。
[0078]實時觀察用文字數據生成部51生成表示是監視器2上顯示的兩個運動圖像中的實時運動圖像的文字數據。實時觀察用文字數據重疊部52使實時觀察用文字數據生成部51中生成的文字數據重疊于從圖像處理部11輸入的實時運動圖像的數據。實時觀察運動圖像用顯示框重疊部53還使實時運動圖像用的顯示框重疊于由實時觀察用文字數據重疊部52將文字數據重疊到實時運動圖像而得到的數據。
[0079]拍攝條件識別部56根據從再現控制部16輸入的信息來獲取運動圖像的拍攝條件。作為拍攝條件，例如能夠例舉觀察模式、即基于普通光觀察和特殊光觀察(窄頻帶光觀察、熒光觀察、紅外光觀察等)中的哪一種等。記錄運動圖像用文字數據生成部55基于由拍攝條件識別部56獲取到的拍攝條件，來生成用于顯示是監視器2上顯示的兩個運動圖像中的過去的運動圖像及其拍攝條件的文字數據。記錄運動圖像用文字數據重疊部57使由記錄運動圖像用文字數據生成部55生成的文字數據重疊于從再現控制部16輸入的過去的運動圖像的數據。記錄運動圖像用顯示框重疊部59還使過去的運動圖像用的顯示框重疊于由記錄運動圖像用文字數據重疊部57將文字數據重疊到過去的運動圖像而得到的數據。
[0080]在本實施方式中，作為過去的運動圖像用的顯示框，設定與實時運動圖像用的顯示框不同的形狀等，以使用戶在監視器2上容易地與實時運動圖像之間進去區別。顯示框形狀設定部58按照用戶經由平板PC 7、鍵盤等輸入單元設定的顯示模式來設定過去的運動圖像的顯示框。記錄運動圖像用顯示框重疊部59使由顯示框形狀設定部58設定的過去的運動圖像用的顯示框重疊于過去的運動圖像及文字數據。
[0081]在加法部60中，將對實時運動圖像和過去的運動圖像的數據疊加了各自的文字數據和顯示框而得到的數據分別配置在畫面上的規定的位置，來生成使監視器2顯示的合成圖像數據，并將該合成圖像數據輸出到監視器2。
[0082]如上所述，在本實施方式所涉及的醫療用運動圖像記錄再現系統100中，關于對實時運動圖像和過去的運動圖像的數據使用什么、怎樣使用來作為被重疊的文字、顯示框，能夠由用戶來選擇期望的文字、顯示框。顯示內容選擇部62接受關于這些文字、顯示框的由用戶經由平板PC 7等上述的各種輸入單元選擇的內容。顯示內容選擇類型存儲區域63是用于事先存儲醫療用運動圖像記錄再現系統100所能夠提供的各種能夠顯示的文字、顯示框的類型的區域。顯示內容存儲區域63是用于事先存儲用戶從顯示內容選擇類型存儲區域63中存儲的各種的文字、顯示框的類型中選擇出的結果的區域。在以下中，將醫療用運動圖像記錄再現系統100能夠向用戶提供的文字、顯示框等的顯示方式的類型作為“顯示模式”。
[0083]在本實施方式中，用戶能夠經由顯示在監視器2上的模式選擇畫面而選擇顯示模式。參照圖5和圖6來對此進行說明。
[0084]圖5是例示顯示模式的選擇畫面的圖。圖5的(a)例示出顯示模式的設定變更畫面Wl，圖5的(b)例示出顯示用戶能夠設定的顯示模式的一覽的畫面W2。
[0085]在用戶經由平板PC7、鍵盤等在圖5的(a)的顯示模式設定變更畫面Wl中選擇了“圖像顯示選擇模式”的情況下，內窺鏡觀察裝置I的視頻處理器50按照顯示內容存儲區域61中保存的信息來在監視器2上顯示圖5的(b)的顯示模式一覽畫面W2。在用戶選擇了圖5的(a)的顯示模式設定變更畫面Wl的“通常模式”的情況下，當通常模式下顯示在監視器2上的文字、顯示框的信息保持在顯示內容選擇類型存儲區域63時，視頻處理器50例如將顯示切換到圖3所例示的畫面。
[0086]在圖5的(b)的顯示模式一覽畫面W2中，例示出8種顯示模式。用戶從圖5的(b)的畫面W2中選擇一種顯示模式。合成部12將與所選擇的顯示模式對應的文字、顯示框的信息保持在顯示內容選擇類型存儲區域63中，以后的運動圖像向監視器2的顯示是按照該顯示模式進行的。
[0087]此外，在圖5的(b)中，雖然由于篇幅的限制而省略了記載，但是也可以在畫面W2中表示各顯示模式的樣本畫面，并設定為用戶所選擇的顯示模式。在圖6的(a)?(h)中示出顯示模式的具體例。
[0088]在圖6的(a)、圖6的(b)的顯示模式下，在各運動圖像的顯示框內示出文字“實時”和“過去(AFI模式)”，文字“實時”表示運動圖像是實時運動圖像，文字“過去(AFI模式)”表示運動圖像是過去的運動圖像。其中，在圖6的(a)中，將文字顯示在顯示框內的上部，在圖6的(b)中，將文字顯示在顯示框內的下部。在本實施方式中，如圖所例示的那樣，使表示過去的運動圖像的觀察模式是AFI(熒光觀察)模式的文字也同表示是過去的運動圖像的文字一并顯示。
[0089]在圖6的(C)、圖6的(d)的顯示模式下，在各運動圖像的顯示框外示出表示運動圖像分別是實時運動圖像和過去的運動圖像的文字。在圖6的(c)中，在顯示框外的框附近中的上部顯示文字，在圖6的(d)中，在顯示框外的框附近中的下部顯示文字。
[0090]在圖6的(e)、圖6的(f)的顯示模式下，將過去的運動圖像的顯示框設為與實時運動圖像的顯示框不同的顏色、形狀，以避免用戶將監視器2上的實時運動圖像和過去的運動圖像混淆。在圖6的(e)中，以雙重的矩形包圍過去的運動圖像的顯示框，在圖6的(f)中，將過去的運動圖像的顯示框設為圓形，由此設為與實時運動圖像的單重的矩形的顯示框不同的形狀。
[0091]在圖6的(g)、圖6的(h)的顯示模式下，使多個過去的運動圖像同時顯示在監視器
2。在圖6的(g)中，使兩個過去的運動圖像同實時運動圖像一起顯示，過去的運動圖像是在本次的檢查中參照的影像，因此顯示得與實時運動圖像相比相對小。另外，在本實施方式中，還一并顯示過去的運動圖像的各自的拍攝條件，以使得用戶還能夠對過去的運動圖像之間進行識別。圖6的(h)是使三個過去的運動圖像同實時運動圖像一起顯示的情況。與圖6的(g)同樣，過去的運動圖像顯示得與實時運動圖像相比相對小。過去的運動圖像的顯示框設為圓形，以使用戶一看就能夠判斷出是過去的運動圖像。另外，與圖6的(g)同樣，還顯示過去的運動圖像的各自的拍攝條件。
[0092]此外，圖6所例示的顯示模式不限于圖示的顯示模式，也可以將這些顯示模式適當組合。
[0093]另外，在圖6中，例示了以文字顯示觀察模式來作為過去的運動圖像的拍攝條件的情況，但是以文字顯示的拍攝條件不限于此。在觀察模式的基礎上、或者除了觀察模式以夕卜，例如也可以顯示用于識別內窺鏡的信息、放大倍率等信息。還能夠是以下結構:使用戶還對是否顯示這些拍攝條件、以及在顯示的情況下顯示哪些信息進行選擇并基于用戶的選擇進行顯示。
[0094]另外，除了通過如圖5所例示那樣的顯示模式變更畫面來進行設定變更以外，要使畫面上顯示的文字的位置從默認位置移動，也可以設為能夠由用戶通過對觸摸面板監視器、平板PC 7進行操作等來進行變更的結構。由此，例如，從圖6的(a)的在顯示框內的上部顯示文字的顯示模式變更為如圖6的(b)那樣的在顯示框內的下部顯示文字的顯示模式、或者圖6的(c)的在顯示框外的框附近顯示文字的顯示模式。
[0095]此外，關于以文字顯示的拍攝條件，從服務器4、USB存儲器9或者視頻處理器50讀出與過去的運動圖像數據對應地記錄的信息，來顯示該拍攝條件。
[0096]并且，視頻處理器50的合成部12還能夠構成為根據運動圖像的圖像的狀態來變更顯示方式。參照圖7來對此進行說明。
[0097]圖7是說明向監視器2的顯示方式的變更例的圖。
[0098]關于內窺鏡觀察影像，根據觀察模式、體腔內的觀察位置的不同，有時圖像本身會變暗。在設定了將上述的各種文字顯示于顯示框內的顯示模式的情況下，當圖像發黑時，對用戶來說有時難以讀取顯示框內的文字。因此，還可以是以下結構:通過將圖7的陰影的區域的顏色值與規定的閾值之間進行比較等，來判定陰影區域內的圖像的顏色值接近了文字的顏色值并將文字顏色切換為例如白色。這樣，使文字顏色實時地自動切換以使文字顏色與作為背景的圖像之間的對比變得分明，由此有效地防止用戶由于圖像而難以讀取文字。
[0099]能夠設為用戶能夠對是否進行文字顏色的切換任意地進行設定的結構。即，在用戶進行了表示將文字顏色固定這種意思的設定的情況下，能夠有效地防止根據圖像的顏色值而頻繁地切換監視器2上顯示的文字顏色等。
[0100]如以上說明的那樣，根據本實施方式所涉及的醫療用運動圖像記錄再現系統100，在內窺鏡的操作中，用戶能夠設定期望的顯示模式，以使手術操作者等用戶易于識別監視器2上顯示的多個運動圖像中的哪一個是實時運動圖像。通過按照該顯示模式來顯示實時運動圖像和過去的運動圖像，用戶能夠將各運動圖像配置于期望的位置，從而能夠有效地防止用戶將實時運動圖像與過去的運動圖像混淆的情況。
[0101]另外，本發明并不被原樣地限定于上述的實施方式，能夠在實施階段在不脫離其主旨的范圍內對結構要素進行變形來具體化。另外，通過上述實施方式所公開的多個結構要素的適當組合，能夠形成各種發明。例如，也可以將實施方式所示的全部結構要素適當組合。并且，也可以將不同的實施方式中的結構要素適當組合。當然，能夠在這樣的不脫離發明的主旨的范圍內進行各種變形、應用。
[0102]附圖標記說明
[0103]1:內窺鏡觀察裝置;2:監視器;3:內窺鏡;4:圖像歸檔服務器(服務器)；5:鍵盤;6:無線LAN路由器;7:平板PC;50:視頻處理器;100:醫療用運動圖像記錄再現系統。
【主權項】
1.一種醫療用運動圖像記錄再現系統，進行醫療用運動圖像數據的記錄和再現，該醫療用運動圖像記錄再現系統的特征在于，具備: 攝像部，其拍攝被檢體來獲取攝像信號； 運動圖像數據生成部，其基于所述攝像信號來生成所述被攝體的運動圖像數據； 特征點信息生成部，其針對構成所述運動圖像數據的幀中的指定的幀生成特征點信息，該特征點信息表示作為所述被攝體的圖像是具有特征的圖像； 記錄部，其將所述特征點信息與所述運動圖像數據的對應幀相關聯地記錄； 再現控制部，其基于從所述記錄部讀出的一個以上的運動圖像數據來控制至少一個過去的運動圖像的再現； 合成部，其生成合成圖像數據并輸出所得到的合成圖像數據，所述合成圖像數據是將所述運動圖像數據生成部中生成的實時的運動圖像數據和從所述再現控制部提供的過去的運動圖像數據以使基于所述實時的運動圖像數據的實時運動圖像和基于所述過去的運動圖像數據的過去的運動圖像同時顯示的方式合成的圖像數據；以及 顯示部，其顯示基于從所述合成部輸出的所述合成圖像數據的合成圖像， 其中，所述再現控制部進行以下控制:在所述過去的運動圖像數據的帶有所述特征點信息的幀使再現暫時停止。2.根據權利要求1所述的醫療用運動圖像記錄再現系統，其特征在于， 所述合成部生成還合成了進度條的所述合成圖像并將所述合成圖像輸出到所述顯示部，所述進度條表示從所述記錄部讀出并再現的過去的運動圖像的再現狀況。3.根據權利要求1或2所述的醫療用運動圖像記錄再現系統，其特征在于， 所述合成部生成重疊了文字的所述合成圖像并將所述合成圖像輸出到所述顯示部，該文字表示所述顯示部中顯示的拍攝中的運動圖像和過去的運動圖像分別是拍攝中的運動圖像和過去的運動圖像。4.根據權利要求3所述的醫療用運動圖像記錄再現系統，其特征在于， 所述合成部生成針對所述顯示部中顯示的各個拍攝中的運動圖像和過去的運動圖像還重疊了所指定的顯示框的所述合成圖像，并將所述合成圖像輸出到所述顯示部。5.根據權利要求4所述的醫療用運動圖像記錄再現系統，其特征在于， 所述合成部生成還重疊了表示所顯示的所述過去的運動圖像的觀察模式的文字的所述合成圖像，并將所述合成圖像輸出到所述顯示部。6.根據權利要求5所述的醫療用運動圖像記錄再現系統，其特征在于， 所述顯示部顯示用戶能夠設定的重疊于所述運動圖像的文字和顯示框的類型，所述合成部使用用戶從所述顯示部所顯示的所述類型中選擇出的文字和顯示框來生成所述合成圖像。7.根據權利要求6所述的醫療用運動圖像記錄再現系統，其特征在于， 所述特征點信息生成部在經由內窺鏡裝置的操作開關、腳踏開關、所述醫療用運動圖像記錄再現系統的鍵盤以及與所述醫療用運動圖像記錄再現系統連接的終端裝置而指定的時刻生成所述特征點信息。8.根據權利要求6所述的醫療用運動圖像記錄再現系統，其特征在于， 所述特征點信息生成部在探測到鉗子穿過內窺鏡裝置的鉗子孔而插入的時刻生成所述特征點信息。9.根據權利要求6所述的醫療用運動圖像記錄再現系統，其特征在于， 還具備插入長度探測部，該插入長度探測部探測內窺鏡裝置的插入部向所述被攝體的體腔內插入的插入長度， 所述再現控制部使所述過去的運動圖像從與由用戶指定的所述插入部的插入長度對應的位置起再現。10.—種醫療用運動圖像記錄再現裝置，進行醫療用運動圖像數據的記錄和再現，該醫療用運動圖像記錄再現裝置的特征在于，具備: 攝像部，其拍攝被檢體來獲取攝像信號； 運動圖像數據生成部，其基于所述攝像信號來生成所述被攝體的運動圖像數據； 特征點信息生成部，其針對構成所述運動圖像數據的幀中的指定的幀生成特征點信息，該特征點信息表示作為所述被攝體的圖像是具有特征的圖像； 再現控制部，其基于從將所述特征點信息與所述運動圖像數據的對應幀相關聯地記錄的記錄部讀出的一個以上的運動圖像數據來控制至少一個過去的運動圖像的再現；以及合成部，其生成合成圖像數據并將得到的合成圖像數據輸出到顯示部，所述合成圖像數據是將所述運動圖像數據生成部中生成的實時的運動圖像數據和從所述再現控制部提供的過去的運動圖像數據以使基于所述實時的運動圖像數據的實時運動圖像和基于所述過去的運動圖像數據的過去的運動圖像同時顯示的方式合成的圖像數據， 其中，所述再現控制部進行以下控制:在所述過去的運動圖像數據的帶有所述特征點信息的幀使再現暫時停止。
【文檔編號】A61B1/04GK105848559SQ201480070403
【公開日】2016年8月10日
【申請日】2014年10月30日
【發明人】土屋范芳, 篠田徹
【申請人】奧林巴斯株式會社