圖像處理裝置、內窺鏡裝置、程序以及圖像處理方法
【技術領域】
[0001] 本發明涉及圖像處理裝置、內窺鏡裝置、程序以及圖像處理方法等。
【背景技術】
[0002] 在活體內部的觀察、診斷中，考慮使用活體表面的腺管構造（被稱作腺管開口形 態（pit pattern))。例如，在大腸的早期病變診斷中利用了腺管開口形態。該診斷方法被稱 作腺管開口形態診斷，針對根據從正常狀態到病變的種類而被分成6種類型（I型到V型） 的腺管開口形態形狀，通過被觀察的腺管開口形態與哪個分類類似進行判定。
[0003] 作為使該腺管開口形態形狀強調顯示的方法，在專利文獻1中記載了內窺鏡裝置 以及使用了光探頭的取得三維光斷層圖像的裝置，并公開了如下方法：根據該三維光斷層 圖像，針對多個深度位置，剪切出與活體組織的深度方向垂直的平面的XY畫面圖像，并根 據其平均圖像強調顯示腺管開口形態形狀。
[0004] 現有技術文獻
[0005] 專利文獻
[0006] 專利文獻1 :日本特開2010-68865號公報
【發明內容】
[0007] 發明所要解決的課題
[0008] 為了進行例如上述那樣的強調顯示等，考慮檢測圖像中所拍攝的活體的構造物， 并進行分類處理。在這樣的分類處理中從圖像中檢測構造物的情況下，例如如果由于活體 的脈動等而在圖像中產生運動模糊，則從圖像得到的信息不充分，因此存在誤檢測構造物 的課題。在檢測例如上述那樣的腺管開口形態的情況下，考慮對已知的腺管開口形態形狀 和圖像進行匹配處理的方法。如果存在運動模糊，則在實際存在腺管開口形態的場所，也無 法通過匹配處理檢測到腺管開口形態，從而成為錯誤的分類結果。
[0009] 根據本發明的若干方式，可提供一種能夠抑制進行基于錯誤的分類結果的處理的 圖像處理裝置、內窺鏡裝置、程序以及圖像處理方法等。
[0010] 用于解決課題的手段
[0011] 本發明的一個方式涉及一種圖像處理裝置，該圖像處理裝置包含：圖像取得部，其 按照時間序列取得包含被攝體的像的拍攝圖像；距離信息取得部，其取得基于在所述拍攝 時從攝像部到所述被攝體的距離的距離信息；運動檢測部，其根據所述時間序列的所述拍 攝圖像，檢測所述被攝體的局部的運動信息；分類部，其根據所述距離信息，進行所述被攝 體的構造物的分類處理；以及強調處理部，其根據所述分類處理的結果進行所述拍攝圖像 的強調處理，并根據所述局部的所述運動信息，進行所述強調處理的對象或強調量的控制。
[0012] 根據本發明的一個方式，根據距離信息進行被攝體的構造物的分類處理，根據該 分類處理的結果進行拍攝圖像的強調處理，并根據被攝體的局部的運動信息，控制該強調 處理的對象或強調量。由此，能夠抑制進行基于錯誤的分類結果的強調處理的情況。
[0013] 并且本發明的另一方式涉及一種圖像處理裝置，其包含：圖像取得部，其按照時間 序列取得包含被攝體的像的拍攝圖像；距離信息取得部，其取得基于在所述拍攝時從所述 攝像部到所述被攝體的距離的距離信息；運動檢測部，其根據所述時間序列的所述拍攝圖 像，檢測所述被攝體的局部的運動信息；以及分類部，其根據所述距離信息，進行所述被攝 體的構造物的分類處理，并根據所述局部的所述運動信息，控制所述分類處理的對象。
[0014] 根據本發明的一個方式，根據距離信息進行被攝體的構造物的分類處理，并根據 被攝體的局部的運動信息，控制該分類處理的對象。由此，能夠抑制進行基于錯誤的分類結 果的后級處理的情況。
[0015] 并且，本發明的又一方式涉及一種內窺鏡裝置，該內窺鏡裝置包含上述任意一個 圖像處理裝置。
[0016] 并且，本發明的又一方式涉及一種程序，該程序使計算機執行以下步驟：按照時間 序列取得包含被攝體像的拍攝圖像；取得基于在所述拍攝時從攝像部到所述被攝體的距離 的距離信息；根據所述時間序列的所述拍攝圖像，檢測所述被攝體的局部的運動信息；根 據所述距離信息，進行所述被攝體的構造物的分類處理；以及根據所述分類處理的結果進 行所述拍攝圖像的強調處理，并根據所述局部的所述運動信息，進行所述強調處理的對象 或強調量的控制。
[0017] 并且，本發明的又一方式涉及一種程序，該程序使計算機執行以下步驟：按照時間 序列取得包含被攝體像的拍攝圖像；取得基于在所述拍攝時從所述攝像部到所述被攝的距 離的距離信息，根據所述時間序列的所述拍攝圖像，檢測所述被攝體的局部的運動信息；以 及根據所述距離信息，進行所述被攝體的構造物的分類處理，并根據所述局部的所述運動 信息，控制所述分類處理的對象。
[0018] 并且，本發明的另一方式涉及一種圖像處理方法，按照時間序列取得包含被攝體 的像的拍攝圖像；取得基于在所述拍攝時從攝像部到所述被攝體的距離的距離信息；根據 所述時間序列的所述拍攝圖像，檢測所述被攝體的局部的運動信息；根據所述距離信息，進 行所述被攝體的構造物的分類處理；以及根據所述分類處理的結果進行所述拍攝圖像的強 調處理，并根據所述局部的所述運動信息，進行所述強調處理的對象或強調量的控制。
[0019] 并且，本發明的另一方式涉及一種圖像處理方法，按照時間序列取得包含被攝體 的像的拍攝圖像；取得基于在所述拍攝時從所述攝像部到所述被攝體的距離的距離信息， 根據所述時間序列的所述拍攝圖像，檢測所述被攝體的局部的運動信息；以及根據所述距 離信息，進行所述被攝體的構造物的分類處理，并根據所述局部的所述運動信息，控制所述 分類處理的對象。
【附圖說明】
[0020] 圖1的（A)是示出對異常部進行觀察時的攝像部與被攝體之間的關系的圖。圖1 的（B)是所取得的圖像的例子。
[0021] 圖2的（A)是示出產生了運動模糊的情況下的攝像部與被攝體之間的關系的圖。 圖2的（B)是所取得的圖像的例子。
[0022] 圖3是圖像處理裝置的第1結構例。
[0023] 圖4是圖像處理裝置的第2結構例。
[0024] 圖5是內窺鏡裝置的結構例。
[0025] 圖6是第1實施方式中的圖像處理部的詳細結構例。
[0026] 圖7是畸變校正處理前和畸變校正處理后的圖像例。
[0027] 圖8是有關分類處理的說明圖。
[0028] 圖9是圖像處理部進行的處理的流程圖的例子。
[0029] 圖10是第2實施方式中的圖像處理部的詳細結構例。
[0030] 圖11是第2實施方式的變形例中的圖像處理部的詳細結構例。
[0031] 圖12是第3實施方式中的圖像處理部的詳細結構例。
[0032] 圖13是第4實施方式中的圖像處理部的詳細結構例。
[0033] 圖14的（A)是示出第4實施方式中的攝像部與被攝體之間的關系的圖。圖14的 (B)、圖14的（C)是所取得的圖像的例子。
[0034] 圖15是將距離和光學系統的倍率進行了對應的表的例子。
[0035] 圖16是分類部的詳細結構例。
[0036] 圖17的（A)、圖17的（B)是有關表面形狀計算部進行的處理的說明圖。
[0037] 圖18的㈧是基本腺管開口的例子。圖18的⑶是修正腺管開口的例子。
[0038] 圖19是表面形狀計算部的詳細結構例。
[0039] 圖20是第1分類處理方法中的分類處理部的詳細結構例。
[0040] 圖21的（A)~圖21的（F)是有關分類處理的具體例的說明圖。
[0041] 圖22是第2分類處理方法中的分類處理部的詳細結構例。
[0042] 圖23是使用多個分類類型的情況下的分類類型的例子。
[0043] 圖24的（A)~圖24的（F)是腺管開口形態的例子。
【具體實施方式】
[0044] 下面，對實施方式進行說明。另外，以下說明的本實施方式并不對權利要求書中記 載的本發明的內容進行不恰當的限定。此外，本實施方式所說明的所有結構并非都是本發 明所必需的構成要件。
[0045] 1 ?本實施方式的概要
[0046] 以通過內窺鏡裝置進行腺管開口形態的分類處理的情況為例對本實施方式的概 要進行說明。
[0047] 圖1的（A)示出對異常部（例如早期病變）進行觀察時的攝像部200與被攝體之 間的關系。并且，圖1的（B)示出此時取得的圖像的例子。正常腺管40表示正常的腺管開 口形態，異常腺管50表示呈現不規整形狀的異常的腺管開口形態，腺管消失區域60表示腺 管開口形態由于病變而消失的異常區域。
[0048] 如圖1的（A)所示，當手術醫生發現異常部（異常腺管50、腺管消失區域60)時， 使攝像部200接近異常部，使攝像部200和異常部盡量正對。如圖1的（B)所示，在正常部 (正常腺管40)的腺管開口形態中，規則的構造以均勻的排列進行并列。
[0049] 為了通過圖像處理檢測這種正常部，事先登記或學習正常的腺管開口形態構造作 為已知特性信息（預見信息），由此能夠通過例如匹配處理等來檢測正常部。另一方面，異 常部的腺管開口形態呈現不規整形狀或消失，因此與正常部相比呈現多種形狀。因此，難以 根據事先的已知特性信息來檢測異常部。在本實施方式中，將未被檢測為正常部的區域分 類為異常部，由此將腺管開口形態分類為正常部和異常部。通過對這樣分類出的異常部進 行強調顯示，能夠防止異常部的漏看并提高定性診斷的精度。
[0050] 但是，在上述方法中，將未檢測為正常部的部分檢測為異常部，因此將早期病變以 外的部分也檢測為異常部的誤檢測成為課題。例如，在由于活體內的脈動等而被攝體相對 于攝像部運動那樣的情況下，圖像中的被攝體像產生運動模糊，由于該運動模糊而產生誤 檢測。這里，運動模糊是指由于被攝體或攝像部運動而在圖像的部分或整體中產生的模糊。
[0051] 圖2的（A)示出產生了運動模糊的情況下的攝像部200與被攝體之間的關系。并 且，圖2的⑶示出該情況下取得的圖像的例子。在如圖2的（A)所示那樣在活體的一部分 中產生運動MA時，如圖2的（B)的圖像下部所示，在圖像上產生運動模糊MB。在產生了該 運動模糊MB的區域RMB中，被攝體的構造變得不清楚，因此在匹配處理中不被檢測為正常 部，而被分類為異常部。該區域RMB是原本應顯示為正常部的區域，但被分類成了異常部， 因此顯示為異常部。
[0052] 因此如圖3所示，本實施方式的圖像處理裝置包含：圖像取得部305,其按照時間 序列取得包含被攝體像的拍攝圖像；距離信息取得部340,其取得基于在拍攝時從攝像部 200到被攝體的距離的距離信息；運動檢測部380,其根據時間序列的拍攝圖像，檢測被攝 體的局部的運動信息；分類部310,其根據距離信息，進行被攝體的構造物的分類處理；以 及強調處理部330,其根據分類處理的結果進行拍攝圖像的強調處理，并根據局部的運動信 息，進行強調處理的對象或強調量的控制。
[0053] 這樣，能夠通過檢測被攝體的局部的運動信息，檢測分類結果的可靠性由于圖像 的運動模糊而降低的區域RMB。然后，通過根據該局部的運動信息進行強調處理的對象或強 調量的控制，能夠抑制根據可靠性低的分類結果而被強調顯示的情況。
[0054] 例如在本實施方式中，作為基于距離信息的分類處理，根據距離信息求出被攝體 表面的形狀，對與該形狀一致地變形的基準腺管開口形態和圖像進行匹配處理，并根據該 匹配結果，對圖像上的腺管開口形態進行分類。在這樣的處理中，匹配處理的精度由于運動 模糊而下降，但在本實施方式中，能夠防止由于該精度下降而引起的誤顯示。
[0055] 此外，在進行腺管開口形態診斷的情況下，通常使攝像部200接近被攝體進行觀 察，因此被攝體上的微小的運動在圖像上成為大的運動模糊。因此，在腺管開口形態診斷中 排除運動模糊的影響來進行異常部檢測對誤檢測的抑制是有效的。
[0056] 并且如圖4所示，本實施方式的圖像處理裝置可以包含：圖像取得部305,其按照 時間序列取得包含被攝體像的拍攝圖像；距離信息取得部340,其取得基于在拍攝時從攝 像部200到被攝體的距離的距離信息；運動檢測部380,其根據時間序列的拍攝圖像，檢測 被攝體的局部的運動信息；以及分類部310,其根據距離信息，進行被攝體的構造物的分類 處