專利名稱:用于生物體觀測裝置的信號處理裝置的制作方法
技術領域:
本發明涉及用于生物體觀測裝置的信號處理裝置,該信號處理裝置利用拍攝生物體所得到的彩色圖像信號,通過信號處理在監視器上顯示分光圖像。
背景技術:
以往,作為生物體觀測裝置,廣泛使用照射照明光來得到體腔內的內窺鏡圖像的內窺鏡裝置。這種內窺鏡裝置中,使用具有攝像單元的電子內窺鏡,該攝像單元使用光導等將從光源裝置發出的照明光導入到體腔內,借助其返光拍攝被攝體,該電子內窺鏡通過視頻處理器對來自攝像單元的攝像信號進行信號處理,從而在觀察監視器上顯示內窺鏡圖像,以觀察患部等觀察部位。
在內窺鏡裝置中進行通常的生物體組織觀察時,作為一種方式,利用光源裝置發出可見光區域的白色光,經由例如RGB等的旋轉濾網(rotating-filter),對被攝體照射幀序光(frame sequential light),利用視頻處理器將該幀序光所產生的返光同步化,以進行圖像處理,從而得到彩色圖像。并且,在內窺鏡裝置中進行通常的生物體組織觀察時,作為其它方式,在內窺鏡的攝像單元的攝像面的前表面配置色卡(color chip),利用光源裝置發出可見光區域的白色光,借助色卡將該白色光所產生的返光按照各顏色成分分離,以進行拍攝,利用視頻處理器進行圖像處理,從而得到彩色圖像。
根據所照射的光的波長的不同,生物體組織對光的吸收特性以及散射特性也有所不同,因此,例如在日本特開2002-95635號公報中公開了一種窄頻帶光內窺鏡裝置,其將離散的分光特性的窄頻帶的RGB幀序光作為可見光區域的照明光照射到生物體組織,得到生物體組織的希望深部的組織信息。
并且,日本特開2003-93336號公報中公開了一種電子內窺鏡裝置,其對可見光區域的照明光所產生的圖像信號進行信號處理,生成離散的分光圖像,得到生物體組織的圖像信息。
但是,在例如上述日本特開2003-93336號公報所記載的裝置中,通過信號處理來得到分光圖像,從而無需用于生成窄頻帶RGB光的濾波器,但是由于單純地將所得到的分光圖像輸出到監視器,因此,監視器上顯示的圖像有可能無法成為適合于觀察生物體組織的希望深部的組織信息的色調的圖像。
并且,在日本特開2002-95635號公報所記載的裝置中,采用了使用光學上窄頻帶的帶通濾波器等的方式,但是在日本特開2003-93336號公報所記載的裝置中,不使用光學上窄頻帶的濾波器,而通過信號處理來生成窄頻帶的分光圖像信號(又稱為分光信號)。
但是,在日本特開2003-93336號公報所記載的裝置中,不使用光學上窄頻帶的帶通濾波器,而是進行如下處理,即,由以寬頻帶的波段拍攝到的彩色圖像信號,通過進行基于(相當于模擬帶通濾波器)矩陣運算的電運算處理,生成類似于使用窄頻帶帶通濾波器的情況下得到的分光信號,因此,受光源發出、照射到生物體組織的照明光的分光特性的影響較大,但是,在現有例中,僅公開了使用1個燈進行照明的情況。
因此,存在難以確保電生成的分光信號的精度或可靠性的缺點。
發明內容
本發明是鑒于上述情況而提出的,其目的在于,提供一種用于生物體觀測裝置的信號處理裝置,該信號處理裝置能夠將基于通過信號處理所得到的分光圖像的生物體組織的希望深部的組織信息調整成適合于觀察的色調的圖像信息。
此外,本發明的目的在于,提供一種生物體觀測裝置,其具有根據生物體信號電生成分光信號的功能,適合于獲得更高精度或更高可靠性的分光信號。
本發明的第一方式的用于生物體觀測裝置的信號處理裝置,其具備照明部,其向作為被檢體的生物體照射光;和/或信號處理控制部,其控制攝像部的動作,向顯示裝置輸出攝像信號,該攝像部對根據來自該照明部的照明光被所述生物體反射的光進行光電轉換,生成所述攝像信號,其中,所述信號處理裝置包括分光信號生成部,其通過信號處理,由所述攝像信號生成與光學波長窄頻帶的圖像對應的分光信號;以及調色部,其在將所述分光信號輸出到所述顯示裝置時,針對形成該分光信號的多個頻帶的每個頻帶調整色調。
本發明的第二方式的生物體觀測裝置,其控制攝像部的動作,向顯示裝置輸出攝像信號,該攝像部對根據向作為被檢體的生物體照射的照明光被所述生物體反射的光進行光電轉換,生成寬頻帶的所述攝像信號,其中,所述生物體觀測裝置具有分光信號生成部,其通過信號處理,由所述攝像信號生成與光學波長窄頻帶的圖像對應的分光信號;調色部,其在將所述分光信號輸出到所述顯示裝置時,針對形成該分光信號的多個頻帶的每個頻帶調整色調;以及多個光源,其射出分光特性互不相同的多個照明光作為所述照明光。
圖1是表示本發明的實施例1的根據彩色圖像信號制作分光圖像信號時的信號的流程的概念圖。
圖2是表示本發明的實施例1的分光圖像信號的積分運算的概念圖。
圖3是表示本發明的實施例1的電子內窺鏡裝置的外觀的外觀圖。
圖4是表示圖3的電子內窺鏡裝置的構成的框圖。
圖5是表示圖4的斬光器(chopper)的外觀的外觀圖。
圖6是表示圖3的CCD的攝像面上配置的濾色器的排列的圖。
圖7是表示圖6的濾色器的分光靈敏度特性的圖。
圖8是表示圖4的矩陣運算部的構成的構成圖。
圖9是本發明的實施例1的光源的光譜的光譜圖。
圖10是表示本發明的實施例1的生物體的反射光譜的光譜圖。
圖11是表示通過圖4的電子內窺鏡裝置觀察到的生物體組織的層方向結構的圖。
圖12是說明從圖4的電子內窺鏡裝置發出的照明光到達生物體組織的層方向的狀態的圖。
圖13是表示白色光的各波段的分光特性的圖。
圖14是表示圖13的白色光產生的各波段圖像的第1圖。
圖15是表示圖13的白色光產生的各波段圖像的第2圖。
圖16是表示圖13的白色光產生的各波段圖像的第3圖。
圖17是表示圖8的矩陣運算部所生成的分光圖像的分光特性的圖。
圖18是表示圖17的各分光圖像的第1圖。
圖19是表示圖17的各分光圖像的第2圖。
圖20是表示圖17的各分光圖像的第3圖。
圖21是表示圖4的調色部的構成的框圖。
圖22是說明圖21的調色部的作用的圖。
圖23是表示圖4的調色部的變形例的構成的框圖。
圖24是表示圖17的分光圖像的第1變形例的分光特性的圖。
圖25是表示圖17的分光圖像的第2變形例的分光特性的圖。
圖26是表示圖17的分光圖像的第3變形例的分光特性的圖。
圖27是表示本發明的實施例2的電子內窺鏡裝置的構成的框圖。
圖28是表示本發明的實施例3的矩陣運算部的構成的框圖。
圖29是表示本發明的實施例4的電子內窺鏡裝置的構成的框圖。
圖30是表示圖29的CCD的電荷累積時間的圖。
圖31是表示本發明的實施例5的CCD的電荷累積時間的圖。
圖32是表示本發明的實施例6的濾色器的排列的圖。
圖33是表示圖32中濾色器的分光靈敏度特性的圖。
圖34是本發明的變形例中的矩陣運算時的流程圖。
圖35是表示硬性鏡的外觀的圖。
圖36是表示口腔照相機的外觀的圖。
圖37是表示與生物體表面接觸來使用的照相機的外觀的圖。
圖38是表示本發明的實施例7的電子內窺鏡裝置的構成的框圖。
圖39是表示圖38的光源部的構成的框圖。
圖40是表示實施例7的動作的流程圖。
圖41是表示實施例7的變形例的電子內窺鏡裝置的構成的框圖。
圖42是表示實施例8的光源部的構成的框圖。
圖43是表示氙燈的發光的分光特性的特性圖。
圖44是表示汞燈的發光的分光特性的特性圖。
圖45是表示分光圖像觀察模式時的通過光混合部輸出的照明光的強度相對于波長的分布特性例的圖。
圖46是表示實施例9的電子內窺鏡裝置的構成的框圖。
圖47是表示圖46的光源部的構成的框圖。
圖48是表示圖47的LED部的多個LED產生的發光的分光特性例的圖。
圖49是表示實施例9的分光圖像觀察模式時的照明光的發光特性例的圖。
圖50是表示實施例9的變形例的光源部的構成的框圖。
圖51是表示實施例9的變形例的分光圖像觀察模式時的照明光的發光特性例的圖。
具體實施例方式 下面,參照附圖,說明本發明的實施例。
實施例1 圖1~圖26涉及本發明的實施例1,圖1是表示根據彩色圖像信號制作分光圖像信號時的信號的流程的概念圖,圖2是表示分光圖像信號的積分運算的概念圖,圖3是表示電子內窺鏡裝置的外觀的外觀圖,圖4是表示圖3的電子內窺鏡裝置的構成的框圖,圖5是表示圖4的斬光器的外觀的外觀圖,圖6是表示圖3的CCD的攝像面上配置的濾色器的排列的圖,圖7是表示圖6的濾色器的分光靈敏度特性的圖,圖8是表示圖4的矩陣運算部的構成的構成圖,圖9是光源的光譜的光譜圖,圖10是表示生物體的反射光譜的光譜圖。
圖11是表示通過圖4的電子內窺鏡裝置觀察到的生物體組織的層方向結構的圖,圖12是說明從圖4的電子內窺鏡裝置發出的照明光到達生物體組織的層方向的狀態的圖,圖13是表示白色光的各波段的分光特性的圖,圖14是表示圖13的白色光產生的各波段圖像的第1圖,圖15是表示圖13的白色光產生的各波段圖像的第2圖,圖16是表示圖13的白色光產生的各波段圖像的第3圖,圖17是表示圖8的矩陣運算部所生成的分光圖像的分光特性的圖,圖18是表示圖17的各分光圖像的第1圖,圖19是表示圖17的各分光圖像的第2圖,圖20是表示圖17的各分光圖像的第3圖。
圖21是表示圖4的調色部的構成的框圖,圖22是說明圖21的調色部的作用的圖,圖23是表示圖4的調色部的變形例的構成的框圖,圖24是表示圖17的分光圖像的第1變形例的分光特性的圖,圖25是表示圖17的分光圖像的第2變形例的分光特性的圖,圖26是表示圖17的分光圖像的第3變形例的分光特性的圖。
在本發明的實施例中的作為生物體觀測裝置的電子內窺鏡裝置中,從照明用光源向作為被檢體的生物體照射光,利用作為攝像部的固體攝像元件接收根據該照射光被生物體反射的光,進行光電轉換,從而生成作為彩色圖像信號的攝像信號,通過信號處理,由該攝像信號生成與光學波長窄頻帶的圖像對應的分光信號、即分光圖像信號。
下面,在說明本發明的實施例1之前,先說明作為本發明的基礎的矩陣計算方法。此處,矩陣是指從為生成彩色圖像(下面又稱為通常圖像)而取得的彩色圖像信號生成作為分光信號的分光圖像信號時使用的預定系數。
并且,接著該矩陣的說明,對用于求出更準確的分光圖像信號的校正方法、提高所生成的分光圖像信號的S/N比的S/N改善方法進行說明。另外,關于該校正方法、S/N改善方法,可以根據需要來使用。而且,下面向量和矩陣用粗字體或“”(例如,矩陣A表示為A的粗字體或者“A”),除此之外不進行字符修飾進行標記。
(矩陣計算方法) 圖1是由彩色圖像信號(此處,為了便于說明設為R·G·B,如后述的實施例所述,在補色型固體攝像元件中,可以是G·Cy·Mg·Ye的組合)生成相當于與光學上波長更窄頻帶的圖像對應的圖像的分光圖像信號時的信號的流程的概念圖。
首先,電子內窺鏡裝置對R·G·B的各個攝像部的作為分光靈敏度特性的彩色靈敏度特性進行數值數據化。此處,R·G·B的彩色靈敏度特性是指,使用白色光的光源,拍攝白色的被攝體時分別得到的相對于波長的輸出的特性。
另外,R·G·B的各個彩色靈敏度特性以簡略化的曲線圖的方式示于各圖像數據的右側。并且,將此時的R·G·B的彩色靈敏度特性分別設為n維的列向量“R”·“G”·“B”。
接著,電子內窺鏡裝置對想要提取的分光信號、例如3個分光信號的作為基本分光特性的用于分光圖像的窄頻帶帶通濾波器F1·F2·F3(電子內窺鏡裝置了解能夠有效提取結構的濾波器的特性作為預見信息。該濾波器的特性是指,將大致590nm~大致610nm、大致530nm~大致550nm、大致400nm~大致430nm的波段分別設為通過頻帶。)的特性進行數值數據化。
另外,此處“大致”是指波長包括大致10nm左右的概念。將此時的濾波器的特性分別設為n維的列向量“F1”·“F2”·“F3”。根據所得到的數值數據,求出將以下關系近似的最佳的系數組。即,只要求出滿足下述式的矩陣的要素即可。
上面的優化的命題的解可以以如下數學方式求得。將表示R·G·B的彩色靈敏度特性的矩陣設為“C”,將表示想要提取的窄頻帶帶通濾波器的分光特性的矩陣設為“F”,將執行主成分分析或正交展開(或者正交變換)時的、要求出的系數矩陣設為“A”,則得到下述式 C=(R G B)F=(F1 F2 F3)…(2) 因此,(1)式所示的命題相當于求出滿足以下關系的矩陣“A”。
CA=F ...(3) 此處,作為表示分光特性的光譜數據的點列數n,滿足n>3的關系,因此,(3)式不是作為一元聯立方程式的解,而是作為線性最小二乘法的解來求出。即,只要從(3)式求解偽逆矩陣即可。若將矩陣“C”的轉置矩陣設為“tC”,則(3)式如下 tCCA=tCF ...(4) “tCC”為n×n的正方矩陣,因此,(4)式可以看作是對矩陣“A”的聯立方程式,其解如下 A=(tCC)-1tCF …(5) 對于由(5)式求出的矩陣“A”,電子內窺鏡裝置通過進行(3)式左邊的變換,能夠將想要提取的窄頻帶帶通濾波器F1·F2·F3的特性近似。以上是對成為本發明的基礎的矩陣計算方法的說明。
使用以上述方式計算出的矩陣,后述的矩陣運算部436由通常彩色圖像信號生成分光圖像信號。
(校正方法) 下面,說明用于求出更準確的分光圖像信號的校正方法。
在上述的矩陣計算方法的說明中,CCD等固體攝像元件接收的光束完全是白色光(可見區域中,全部的波長強度相同)時,能夠更準確地應用。即,RGB的輸出均相同的情況下,成為最佳近似。
但是,在實際的內窺鏡觀察下,所照明的光束(光源的光束)不完全是白色光,生物體的反射光譜也不都是一樣的,因此,固體攝像元件所接收的光束也不是白色光(帶有顏色,因此RGB值也不相同)。
因此,在實際的處理中,為了更準確地解出(3)式所示的命題,除了作為攝像部的分光靈敏度特性的RGB的彩色靈敏度特性之外,優選還考慮作為照明部的分光靈敏度特性的照明光的分光特性、作為被檢體的分光特性數據的集合的生物體的反射特性。
此處,將彩色靈敏度特性(攝像部的分光靈敏度特性)分別設為R(λ)、G(λ)、B(λ),將照明光的分光特性(照明部的分光靈敏度特性)的一例設為S(λ),將生物體的反射特性(被檢體的分光特性數據的集合)的一例設為H(λ)。另外,該照明光的分光特性以及生物體的反射特性不必一定是進行檢查的裝置、被檢體的特性,也可以是例如預先取得的一般的特性。
若使用這些系數,則校正系數kR·kG·kB如下 kR=(∫S(λ)×H(λ)×R(λ)dλ)-1 kG=(∫S(λ)×H(λ)×G(λ)dλ)-1 kB=(∫S(λ)×H(λ)×B(λ)dλ)-1…(6) 若將靈敏度校正矩陣設為“K”,則可以以如下方式得到。
因此,對于系數矩陣“A”,對(5)式施加(7)式的校正,則得到如下狀態。
At=KA=K(tCC)-1tCF…(8) 并且,在實際進行最佳化時,利用當作為目標的濾波器的分光靈敏度特性(圖1中的F1·F2·F3基本分光特性)為負時圖像顯示上為0(即,僅使用濾波器的分光靈敏度特性之中具有正靈敏度的部分)的情況,附加允許最佳化的靈敏度分布的一部分為負。電子內窺鏡裝置為了從較寬的分光靈敏度特性生成窄頻帶的分光靈敏度特性,如圖1所示,在作為目標的F1·F2·F3的特性上附加負的靈敏度特性,從而能夠生成將具有靈敏度的頻帶近似的成分。
(S/N的改善方法) 接著,說明提高所生成的分光圖像信號的S/N以及精度的方法。通過對上述的處理方法附加該S/N比的改善方法,能夠進一步解決下面的課題。
(i)若假設前述的矩陣計算方法中的原始信號(R·G·B)的某一個處于飽和狀態,則處理方法中的濾波器F1~F3的特性有可能與能夠有效提取結構的濾波器的特性(理想特性)有較大不同(R·G·B之中,僅利用2個信號生成濾波器F1~F3的情況下,該2個原始信號均需要處于不飽和狀態)。
(ii)從彩色圖像信號變換為分光圖像信號時,從寬頻帶的濾波器生成窄頻帶濾波器,因此,發生靈敏度劣化,所生成的分光圖像信號的成分也減小,S/N比變差。
該S/N比改善方法是指,如圖2所示,在通常圖像(一般的彩色圖像)的1場(field)(1幀)中分幾次(例如n次,n為2以上的整數)照射照明光(可以在每次照射時改變照射強度。圖2中,示出I0~In。另外,這可以僅通過照明光的控制來實現。)。
從而,電子內窺鏡裝置能夠減小1次的照射強度,能夠抑制RGB信號均分別達到飽和狀態。并且,分割成幾次的圖像信號在后級進行n張的加法運算。從而,電子內窺鏡裝置能夠增大信號成分,提高S/N比。圖2中,累加部438a~438c起到改善S/N比的畫質調整部的作用。
以上是對成為本發明的基礎的矩陣運算方法、以及可以與矩陣運算方法共同實施的用于求出正確的分光圖像信號的校正方法、提高所生成的分光圖像信號的S/N比的方法的說明。
此處,說明上述的矩陣計算方法的變形例。
(矩陣計算方法的變形例) 將彩色圖像信號(攝像部的分光靈敏度特性)設為R,G,B,將要估計的分光圖像信號(基本分光特性)設為FI,F2,F3。另外,更嚴緊地說,彩色圖像信號R,G,B是圖像上的位置x,y的函數,因此,例如應標記為R(x,y),但此處省略。
以估計出從R,G,B計算F1,F2,F3的3×3的矩陣“A”為目標。
若估計出“A”,則可采用以下的(9)式,由R,G,B計算出F1,F2,F3。
此處,定義以下數據的表述。
被檢體的分光特性 H(λ)、「H」=(H(λ2),H(λ2),…,H(λn))t λ為波長,t表示矩陣運算中的轉置。同樣地,照明光的分光特性 S(λ)、「S」=(S(λ2),S(λ2),…,S(λn))t CCD的分光靈敏度特性 J(λ)、「J」=(J(λ2),J(λ2),…,J(λn))t 進行分色的濾波器的分光特性原色的情況下 R(λ)、「R」=(R(λ2),R(λ2),…,R(λn))t G(λ)、「G」=(G(λ2),G(λ2),…,G(λn))t B(λ)、「B」=(B(λ2),B(λ2),…,B(λn))t “R”、“G”、“ B”如(10)式所示,利用矩陣“C”匯總成1個。
利用矩陣如下表述圖像信號R,G,B、分光信號F1,F2,F3。
圖像信號“P”通過下式計算出。
P=CSJH ...(12) 再次,將用于求出“Q”的分色濾色器設為“F”,則與(12)式相同, Q=FSJH ...(13) 此處,作為重要的第一假設,若假設被檢體的分光反射率能夠以基本的多個(此處為3個)分光特性的線性和近似表示,則“H”可以如下表述。
H≈DW ...(14) 此處,“D”是列向量上具有3個基本光譜D1(λ)、D2(λ)、D3(λ)的矩陣,“W”是表示D1(λ)、D2(λ)、D3(λ)作用于“H”的權重系數。眾所周知,被檢體的色調沒有較大變動的情況下,該近似成立。
將(14)式代入到(12)式中,得到下述式。
P=CSJH=CSJDW=MW ...(15) 此處,3×3的矩陣“M”表示將矩陣“CSJD”的計算結果匯總成1個矩陣。
同樣地,將(14)式代入到(13)式,得到下述式。
Q=FSJH=FSJDW=M′W ...(16) 相同地,“M表示將矩陣“FSJD”的計算結果匯總成1個矩陣。
最后,從(15)式和(16)式除去“W”,得到下述式。
Q=M′M-1P ...(17) “M-1”表示矩陣“M”的逆矩陣。最后,“M’M-1”為3×3的矩陣,成為估計目標的矩陣“A”。
此處,作為重要的第2假設,假設在利用帶通濾波器進行分色的情況下,能夠將其波段內的被檢體的分光特性近似為1個數值。即, H=(h1,h2,h3)t …(18) 用于分色的帶通并不是完全的帶通,還可以考慮在其它頻帶上也具有靈敏度的情況,在該假設成立的情況下,若將(15)式、(16)式中的“W”考慮為上述“H”,則最后能夠估計出與(17)式相同的矩陣。
接著,參照圖3說明本發明的實施例1中的作為生物體觀測裝置的電子內窺鏡裝置的具體構成。另外,以下所示的其它實施例中也采用相同的構成。
如圖3所示,作為生物體觀測裝置的電子內窺鏡裝置100具有作為觀察部的內窺鏡101、內窺鏡裝置主體105、作為顯示裝置或顯示輸出裝置的顯示監視器106。并且,內窺鏡101主要由如下部分構成插入部102,其插入到被檢體的體內;前端部103,其設置于插入部102前端;以及彎曲操作部104,其設置在插入部102的與前端側相反一側,用于指示前端部103的彎曲動作等。
在內窺鏡裝置主體105中對作為軟性鏡的內窺鏡101所取得的被檢體的圖像進行預定的信號處理,在顯示監視器106上顯示處理后的圖像。
接著,參照圖4,詳細說明內窺鏡裝置主體105。另外,圖4是電子內窺鏡裝置100的框圖。
如圖4所示,內窺鏡裝置主體105主要由作為照明部的光源部41、控制部42、主體處理裝置43構成。控制部42和主體處理裝置43構成信號處理控制部,該信號處理控制部控制所述光源部41和/或作為攝像部的CDD 21的動作,向作為顯示裝置的顯示監視器106輸出攝像信號。
另外,本實施例中說明在作為1個單元的內窺鏡裝置主體105內具有光源部41和進行圖像處理等的主體處理裝置43的情況,但是,這些光源部41和主體處理裝置43也可以作為獨立于內窺鏡裝置主體105的單元,以可裝卸的方式構成。
作為照明部的光源部41與控制部42和內窺鏡101連接,根據來自控制部42的信號,以預定光量進行白色光(也包括并不完全是白色光的情況)照射。并且,光源部41具有作為白色光源的燈15、用于調整光量的斬光器16、以及用于驅動斬光器16的斬光器驅動部17。
如圖5所示,斬光器16具有如下構成以點17a為中心,在預定半徑r0的圓盤狀的結構體上沿圓周方向設置有具有預定長度的切口部。該中心點17a與設置于斬光器驅動部17上的旋轉軸連接。即,斬光器16以中心點17a為中心進行旋轉運動。并且,在每個預定的半徑上設置有多個該切口部。圖5中,該切口部在從半徑r0到半徑ra之間,最大長度=2πr0×2θ0度/360度、寬度=r0-ra。并且,同樣地在半徑ra~半徑rb之間,最大長度=2πra×2θ1度/360度、寬度=ra-rb;在半徑rb~半徑rc之間,最大長度=2πrb×2θ2度/360度、寬度=rb-rc(各個半徑設為r0>ra>rb>rc)。
另外,斬光器16中的切口部的長度、寬度為一例,不應該限于本實施例。
并且,斬光器16在該切口部的大致中央具有沿半徑方向延伸的突起部160a。另外,當借助該突起部160a遮蔽了光時,控制部42切換幀,從而將在1幀前和1幀后照射的光的間隔設到最小限度,將被檢體的運動等所引起的模糊設到最小限度。
而且,如圖4中的箭頭所示,斬光器驅動部17構成為可以在相對于燈15的方向上移動。
即,控制部42能夠改變圖5所示的斬光器16的旋轉中心17a與燈發出的光束(虛線圓所示)之間的距離R。例如,在圖5所述的狀態下,距離R相當小,因此,照明光量處于小的狀態。通過增大距離R(使斬光器驅動部17遠離燈15),則能夠使光束通過的切口部變長,照射時間增長,控制部42能夠增大照明光量。
如上所述,電子內窺鏡裝置中,在新生成的分光圖像有可能作為S/N不足、以及生成分光圖像所需的RGB信號的某一信號處于飽和狀態的情況下,不能進行正確的運算,因此,需要控制照明光量。由斬光器16和斬光器驅動部17負責該光量調節。
并且,經由連接器11與光源部41連接的內窺鏡101在前端部103上具有物鏡19和CCD等固體攝像元件21(下面簡稱為CCD)。本實施例中的CCD是單板式(用于同步式電子內窺鏡的CCD),為原色型。另外,圖6表示配置于CCD的攝像面上的濾色器的排列。配置于CCD的攝像面上的濾色器構成分色部。而且,圖7表示圖6的濾色器中的RGB的各個分光靈敏度特性。
并且,如圖4所示,插入部102具有光導14,其將從光源部41照射的光引導到前端部103;信號線,其用于將利用CCD得到的被檢體的圖像傳送到主體處理裝置43;以及鉗子通道28,其用于進行處置;等等。另外,用于向鉗子通道28插入鉗子的鉗子口29設置于操作部104附近。
而且,作為用于生物體觀測裝置的信號處理裝置的主體處理裝置43與光源部41同樣地經由連接器11與內窺鏡101連接。主體處理裝置43具備用于驅動CCD 21的CCD驅動器431。此外,主體處理裝置43具有亮度信號處理系統和彩色信號處理系統作為用于得到通常圖像的信號電路系統。
亮度信號處理系統具有輪廓校正部432,其與CCD 21連接,進行輪廓校正;以及亮度信號處理部434,其根據輪廓校正部432所校正的數據,生成亮度信號。而且,彩色信號處理系統具有采樣保持電路(S/H電路sample hold circuit)433a~433c,其與CCD 21連接,進行CCD 21所得到的信號的采樣等,生成RGB信號;以及彩色信號處理部435,其與S/H電路433a~433c的輸出連接,用于生成彩色信號。
而且,主體處理裝置43設置有通常圖像生成部437,該通常圖像生成部437由所述亮度信號處理系統的輸出和所述彩色信號處理系統的輸出生成1個通常圖像,從通常圖像生成部437經由切換部439向顯示監視器106輸送Y信號、R-Y信號、B-Y信號。
另一方面,作為用于得到分光圖像的信號電路系統,設置有矩陣運算部436,該矩陣運算部436中輸入有S/H電路433a~433c的輸出(RGB信號),對RGB信號進行預定的矩陣運算。矩陣運算部436構成分光信號生成部。矩陣運算是指對彩色圖像信號彼此進行加法運算處理等、并將通過上述的矩陣計算方法(或其變形例)求出的矩陣相乘的處理。
另外,本實施例中,作為該矩陣運算的方法,說明使用了電路處理(由使用了電路的硬件進行的處理)的方法,但如后所述的實施例,也可以采用使用了數值數據處理(由使用了程序的軟件進行的處理)的方法。并且,實施時,還可以將這些方法組合。
圖8表示矩陣運算部436的電路圖。RGB信號分別經由電阻組31a~31c輸入到放大器32a~32c。各個電阻組具有分別與RGB信號連接的多個電阻,各個電阻的電阻值為與矩陣系數對應的值。即,采用如下結構借助各個電阻改變RGB信號的放大率,利用放大器進行加法運算(也可以是減法運算)。各個放大器32a~32c的輸出成為矩陣運算部436的輸出。即,該矩陣運算部436進行所謂的加權加法運算處理。另外,此處所使用的各個電阻的電阻值可以設為可變。
矩陣運算部436的輸出分別與累加部438a~438c連接,進行積分運算之后,利用調色部440對各個分光圖像信號∑F1~∑F3進行后述的調色運算,通過分光圖像信號∑F1~∑F3生成分光顏色通道圖像信號Rch、Gch、Bch。所生成的分光顏色通道圖像信號Rch、Gch、Bch經由切換部439輸送到顯示監視器106的RGB的顏色通道R(ch)、G(ch)、B(ch)。另外,調色部440的構成將在后面敘述。
另外,切換部439用于進行通常圖像和分光圖像之間的切換,并且,還可以進行分光圖像彼此的切換顯示。即,操作者可以從通常圖像、顏色通道R(ch)的分光顏色通道圖像、顏色通道G(ch)的分光顏色通道圖像、顏色通道B(ch)的分光顏色通道圖像中選擇性地顯示到顯示監視器106上。并且,還可以構成為將任意2個以上的圖像同時顯示到顯示監視器106上。尤其是,將通常圖像和分光顏色通道圖像(下面稱為分光通道圖像)同時顯示的情況下,能夠簡單地對比進行一般觀察的通常圖像和分光通道圖像,在考慮了各個圖像的特征(通常圖像的特征在于色度接近通常的肉眼觀察而易于進行觀察。分光通道圖像的特征在于能夠觀察到通常圖像中不能觀察到的預定血管等。)的基礎上進行觀察,從而非常有利于診斷。
另外,對于本實施例中使用的、作為軟性鏡構成的內窺鏡即鏡體101,例如,也可以是圖35所示的內窺鏡101a那樣的作為硬性鏡構成的內窺鏡。
內窺鏡101a具有硬性的插入部102a,其插入到被檢體的體內;以及攝像機103a,其以可相對于插入部102a的基端部自由裝卸的方式構成。
插入部102a具有電纜112,該電纜112具有可相對于內窺鏡裝置主體105的光源部41自由裝卸的構成。并且,在插入部102a和電纜112的內部設置有未圖示的光導,該光導用于將來自光源部41的照明光引導到插入部102a的前端部。
此外,插入部102a的前端部具有未圖示的物鏡光學系統,該物鏡光學系統用于形成被檢體的像。插入部102a設置于所述物鏡光學系統的基端側,從前端部到基端部具有中繼透鏡(relay lens)(未圖示)。
插入部102a具有上述的構成,因此,被檢體的像借助所述物鏡光學系統在所述中繼透鏡的前端面成像之后,經由所述中繼透鏡組傳送。該傳送的被檢體的像的光在所述中繼透鏡組的后端面側上設置的攝像機103a的CCD(未圖示)上對焦。而且,所述CCD將對焦后的被檢體的像作為攝像信號輸出。
攝像機103a具有電纜111,該電纜111具有可自由裝卸于內窺鏡裝置主體105的主體處理裝置43上的構成。通過這樣的構成,攝像機103a經由電纜111向主體處理裝置43輸出攝像信號。
并且,本實施例中使用的內窺鏡101也可以構成為例如圖36所示的鏡體201那樣的口腔照相機。
鏡體201的前端部具有未圖示的LED等光源,其發出與光源部41大致相同的照明光;未圖示的物鏡光學系統,其形成所述光源所照明的被檢體的像;未圖示的CCD,其設置于所述物鏡光學系統的成像位置,將拍攝到的被檢體的像作為攝像信號輸出;以及未圖示的濾色器,其設置于所述CCD上,并且,鏡體201的基端部具有電纜201a,該電纜201a具有可相對于主體處理裝置43自由裝卸的構成。
并且,本實施例中使用的內窺鏡101也可以構成為例如圖37所示的鏡體301那樣的、與生物體表面接觸而使用的照相機。
鏡體301具有接觸部301a和電纜301b,該接觸部301a上設置有未圖示的LED等光源,其發出與光源部41大致相同的照明光;未圖示的物鏡光學系統,其形成所述光源所照明的被檢體的像;未圖示的CCD,其設置于所述物鏡光學系統的成像位置,將拍攝到的被檢體的像作為攝像信號輸出;以及未圖示的濾色器,其設置于所述CCD上,該電纜301b具有可相對于主體處理裝置43自由裝卸的構成,將來自接觸部301a的攝像信號傳送到主體處理裝置43。
接著,參照圖4,詳細說明本實施方式的電子內窺鏡裝置100的動作。
另外,下面首先說明觀察通常圖像時的動作,然后說明觀察分光圖像時的動作。
首先,說明光源部41的動作。根據來自控制部42的控制信號,斬光器驅動部17被設定在預定位置,使斬光器16旋轉。來自燈15的光束通過斬光器16的切口部,借助聚光透鏡匯聚在作為光纖束的光導14的入射端,該光導14設置在位于內窺鏡101和光源部41之間的連接部上的連接器11內。
匯聚后的光束通過光導14,從設置于前端部103的照明光學系統照射到被檢體的體內。所照射的光束在被檢體內反射,經由物鏡19,在CCD21中按照圖6所示的各個濾色器收集信號。
收集到的信號并行地輸入到上述的亮度信號處理系統和彩色信號處理系統。按照各個濾色器收集到的信號以每個像素進行相加之后輸入到亮度信號系統的輪廓校正部432,進行輪廓校正后,輸入到亮度信號處理部434。亮度信號處理部434中生成亮度信號,輸入到通常圖像生成部437。
并且,另一方面,CCD 21中收集的信號按照各個濾色器輸入到S/H電路433a~433c,分別生成R·G·B信號。此外,R·G·B信號在彩色信號處理部435中生成彩色信號,在通常圖像生成部437中由所述亮度信號和彩色信號生成Y信號、R-Y信號、B-Y信號,經由切換部439,在顯示監視器106上顯示被檢體的通常圖像。
接著,說明觀察分光圖像時的動作。另外,關于進行與通常圖像的觀察相同的動作的部分,在此省略說明。
操作者通過對設置于內窺鏡裝置主體105的鍵盤或設置于內窺鏡101的操作部104上的開關等進行操作,從而進行從通常圖像觀察分光圖像的指示。此時,控制部42變更光源部41以及主體處理裝置43的控制狀態。
具體地說,根據需要,變更從光源部41照射的光量。如上所述,不希望來自CCD 21的輸出達到飽和狀態,因此,與觀察通常圖像時相比,觀察分光圖像時要減小照明光量。并且,控制部42也可以將光量控制成不使來自CCD的輸出信號處于飽和狀態,并在不飽和的范圍內改變照明光量。
并且,作為由控制部42進行的向主體處理裝置43的控制變更,將從切換部439輸出的信號從通常圖像生成部437的輸出切換到調色部440的輸出。并且,S/H電路433a~433c的輸出被矩陣運算部436進行放大/加法運算處理,根據各個頻帶,輸出到累加部438a~438c,進行累加處理后,輸出到調色部440。即使在利用斬光器16減小了照明光量的情況下,也可以在累加部438a~438c中保存/累加,從而如圖2所示,能夠提高信號強度,并且,能夠得到提高了S/N的分光圖像。
下面敘述本實施例中的具體的矩陣運算部436的矩陣處理。本實施例中,想要由圖7中實線所示的RGB濾色器的分光靈敏度特性,制作接近圖7中所示的理想的窄頻帶帶通濾波器F1~F3(此處,將各個透過波長區域設為F1590nm~620nm、F2520nm~560nm、F3400nm~440nm)的帶通濾波器(下面稱為模擬帶通濾波器)時,通過前述的(1)式~(5)式所示的內容,使得以下的矩陣成為最佳矩陣。
此外,通過(6)式和(7)式所示的內容進行校正,則得到以下的校正系數。
另外,使用如下的預見信息(6)式所示的光源的光譜S(λ)如圖9所示、(7)式所示的要關注的生物體的反射光譜H(λ)如圖10所示。
因此,矩陣運算部436所進行的處理與以下的數學矩陣運算為同值。
通過進行該矩陣運算,能夠得到模擬濾波器特性(圖7中表示為濾波器模擬F1~F3的特性)。即,上述的矩陣處理中,使用以上述方式預先生成的模擬帶通濾波器(矩陣),對彩色圖像信號制作分光圖像信號。
使用該模擬濾波器特性生成的內窺鏡圖像的一例如下所示。
如圖11所示,體腔內組織4大多形成例如沿深度方向具有不同的血管等的吸收體分布結構。在粘膜表層附近主要分布有較多毛細血管46,并且,在比該層深的中層上除了毛細血管之外還分布有比毛細血管粗的血管47,進而在深層上分布有更粗的血管48。
另一方面,光對體腔內組織45的深度方向的侵入深度,取決于光的波長,如圖12所示,包括可見區域的照明光為藍(B)色光這類波長短的光時,由于生物體組織中的吸收特性以及散射特性,光只能侵入到表層附近,到該深度的范圍內被吸收、散射,可觀測到從表面發出的光。并且,包括可見區域的照明光為波長比藍(B)色光長的綠(G)色光時,侵入到藍(B)色光所侵入的范圍更深的地方,在該范圍內被吸收、散射,觀測到從表面發出的光。此外,對于波長比綠(G)色光長的紅(R)色光,光到達更深的范圍。
體腔內組織45的通常觀察時的RGB光如圖13所示各波段重疊,因此, (1)在借助B頻帶光利用CCD 21拍攝到的攝像信號中拍攝到圖14所示的具有包含較多淺層上的組織信息的淺層以及中層組織信息的波段圖像, (2)并且,在借助G頻帶光利用CCD 21拍攝到的攝像信號中拍攝到圖15所示的具有包含較多中層上的組織信息的淺層以及中層組織信息的波段圖像, (3)而且,在借助R頻帶光利用CCD 21拍攝到的攝像信號中拍攝到圖16所示的具有包含較多深層上的組織信息的中層以及深層組織信息的波段圖像。
此外,利用內窺鏡裝置主體105對這些RGB攝像信號進行信號處理,從而作為內窺鏡圖像可以得到希望或自然的顏色再現的內窺鏡圖像。
上述的矩陣運算部436中的矩陣處理中,使用以上述方式預先生成的模擬帶通濾波器(矩陣),對彩色圖像信號制作分光圖像信號。例如,使用圖17所示的可提取希望的深層組織信息的離散且窄頻帶的分光特性的模擬帶通濾波器F1~F3,得到分光圖像信號F1~F3。模擬帶通濾波器F1~F3如圖17所示,各波段未重疊,因此, (4)在模擬帶通濾波器F3產生的分光圖像信號F3中拍攝到圖18所示的具有淺層上的組織信息的波段圖像,并且, (5)在模擬帶通濾波器F2產生的分光圖像信號F2中拍攝到圖19所示的具有中層上的組織信息的波段圖像,而且, (6)在模擬帶通濾波器F1產生的分光圖像信號F1中拍攝到圖20所示的具有深層上的組織信息的波段圖像。
接著,針對這樣得到的分光圖像信號F1~F3,作為最單純的顏色變換的例,調色部440將分光圖像信號F1分配給顏色通道R(ch),將分光圖像信號F2分配給顏色通道G(ch),將分光圖像信號F3分配給顏色通道B(ch),經由切換部439輸出到顯示監視器106。
如圖21所示,調色部440由顏色變換處理電路440a構成,該顏色變換處理電路440a具有3×3矩陣電路61;設置于3×3矩陣電路61前后的3組LUT 62a,62b,62c,63a,63b,63c;以及系數變更電路64,其變更LUT 62a,62b,62c,63a,63b,63c的表數據和3×3矩陣電路61的系數。
通過LUT 62a,62b,62c按照各波段數據對輸入到顏色變換處理電路440a的分光圖像信號F1~F3進行反γ校正和非線性的對比度變換處理等。
然后,利用3×3矩陣電路61進行顏色變換之后,通過后級的LUT63a,63b,63c進行γ校正和適當的灰度變換處理。
可以利用系數變更電路64變更這些LUT 62a,62b,62c,63a,63b,63c的表數據和3×3矩陣電路61的系數。
系數變更電路64執行的變更根據來自設置于內窺鏡101的操作部等上的處理變換開關(未圖示)的控制信號進行。
接收到這些控制信號的系數變更電路64從預先記載于調色部440內的系數數據調出適當的數據,利用該數據改寫當前的電路系數。
接著,敘述具體的顏色變換處理內容。式(22)示出顏色變換式的一例。
基于該式(22)的處理是指以波長短的順序向分光通道圖像信號Rch、Gch、Bch分配分光圖像信號F1~F3的顏色變換。
以這些顏色通道R(ch)、G(ch)、B(ch)所產生的彩色圖像進行觀察的情況下,例如成為圖22所示的圖像。粗血管位于深的位置,反映出分光圖像信號F3,對于作為預定目標色的彩色圖像,顯示為藍色系的圖案。位于中層附近的血管網較強地反應出分光圖像信號F2,因此,對于作為預定目標色的彩色圖像,顯示為紅色系的圖案。血管網內存在于粘膜表面附近的部分表現為作為預定目標色的黃色系的圖案。
尤其是該粘膜表面附近的圖案的變化對于早期病變的發現鑒別診斷來說很重要。但是,作為預定目標色的黃色系的圖案與背景粘膜之間的對比度較弱,存在視覺辨認性低的傾向。
于是,為了更加清楚地再現該粘膜表面附近的圖案,進行式(23)所示的變換是很有效的。
基于該式(23)的處理是將分光圖像信號F1以一定比率混合到分光圖像信號F2中,將所生成的數據作為預定的目標色,重新設定分光G通道圖像信號Gch的變換例,可以更加明確血管網等的吸收散射體根據深度位置而有所不同的情況。
因此,經由系數變更電路64調整矩陣系數,從而用戶可以調整顯示效果。作為動作,與設置于內窺鏡101的操作部上的模式切換開關(未圖示)連動地在圖像處理部內以貫穿動作將矩陣系數設定為默認值。
此處,貫穿動作是指,3×3矩陣電路61上搭載單位矩陣、LUT62a,62b,62c,63a,63b,63c上搭載非變換表的狀態。默認值是指對矩陣系數的ωG、ωB賦予例如ωG=0.2、ωB=0.8這樣的設定值。
于是,用戶操作內窺鏡101的操作部等,將該系數調整成ωG=0.4、ωB=0.6等。根據需要,對LUT 62a,62b,62c,63a,63b,63c應用反γ校正表、γ校正表。
顏色變換處理電路440a利用由3×3矩陣電路61構成的矩陣運算器進行顏色變換,但是,不限于此,也可以利用數值運算處理器(CPU)或LUT構成顏色變換處理電路。
例如,在上述實施例中,通過以3×3矩陣電路61為中心的構成來示出了顏色變換處理電路30a,但是如圖23所示,即使采用與各波段對應的三維LUT 65替代顏色變換處理電路30a,也能得到同樣的效果。該情況下,系數變更電路64進行如下動作根據來自設置于內窺鏡101的操作部等上的處理變換開關(未圖示)的控制信號,變更表的內容。
另外,模擬帶通濾波器F1~F3的濾波器特性不限于可見光區域,作為模擬帶通濾波器F1~F3的第1變形例,可以將濾波器特性設為例如圖24所示的離散的分光特性的窄頻帶。該第1變形例的濾波器特性適合于如下情況為了觀察生物體表面的凹凸和極深層附近的吸收體,將F3設定在近紫外線區域,將F1設定在近紅外區域,從而得到在通常觀察中無法得到的圖像信息。
而且,作為模擬帶通濾波器F1~F3的第2變形例,如圖25所示,可以替代模擬帶通濾波器F2,設置濾波器特性在短波長區域相近的2個模擬帶通濾波器F3a、F3b。該情況適合于,利用該附近的波段只能侵入到生物體的極表層附近的特性,將吸收特性到散射特性的微小的差異影像化。可以想象在醫學上用于伴隨早期癌癥等粘膜表層附近的細胞排列的混亂所致的疾病的識別診斷。
此外,作為模擬帶通濾波器F1~F3的第3變形例,如圖26所示,可以利用矩陣運算部436生成可提取希望的層組織信息的離散的分光特性的2波段的窄頻帶的濾波器特性的2個模擬帶通濾波器F2、F3。
在圖26的模擬帶通濾波器F2、F3的情況下,在窄頻帶的分光圖像觀察時的圖像的彩色化中,作為分光通道圖像信號Rch←分光圖像信號F2、分光通道圖像信號Gch←分光圖像信號F3、分光通道圖像信號Bch←分光圖像信號F3,調色部440生成RGB三通道的彩色圖像。
即,針對分光圖像信號F2和分光圖像信號F3,調色部440通過以下的式(24)生成RGB三通道的分光顏色通道圖像信號(Rch、Gch、Bch)。
例如,設h11=1、h12=0、h21=0、h22=1.2、h31=0、h32=0.8。
例如,基本分光特性的分光圖像F3相當于中心波長主要為415nm的圖像,基本分光特性的分光圖像F2相當于中心波長主要為540nm的圖像。
并且,例如,即使運算為,基本分光特性的分光圖像F3作為相當于中心波長主要為415nm的圖像,基本分光特性的分光圖像F2作為相當于中心波長主要為540nm的圖像,基本分光特性的分光圖像F1作為相當于中心波長主要為600nm的圖像,調色部440也仍可以用F2、F3圖像構成彩色圖像,而不使用F1圖像。該情況下,可以替代式(24),應用以下的式(24’)的矩陣運算。
Rch=h11×F1+h12×F2+h13×F3 Gch=h21×F1+h22×F2+h23×F3 Bch=h31×F1+h32×F2+h33×F3 ...(24’) 在上述式(24’)的矩陣運算中,只要將h11、h13、h21、h22、h31、h32的系數設為0,將其它系數設為預定的數值即可。
根據這樣的本實施例,利用用于生成通常的電子內窺鏡圖像(通常圖像)的彩色圖像信號,生成模擬的窄頻帶濾波器,從而不使用用于分光圖像的光學波長為窄頻帶的帶通濾波器,也能夠得到具有血管圖案等的希望深部的組織信息的分光圖像,并且,根據分光圖像,設定調色部440的顏色變換處理電路440a的參數,從而可以實現活用了窄頻帶的分光圖像觀察時的侵入深度信息這樣的特征的表現方法,能夠有效分離生物體組織的組織表面附近的希望深部的組織信息,進行確認。
因此,調色部440進行信號變換,以便在顯示監視器106中作為亮度圖像再現多個分光信號之中包括想要以最高對比度輸出的被檢體的信息的通道。
并且,尤其是在調色部440中, (1)為2波段的分光圖像的情況下,將例如相當于415nm的圖像分配到顏色通道G(ch)、B(ch),將例如相當于540nm的圖像分配到顏色通道R(ch)時,或者, (2)為3波段的分光圖像的情況下,將例如相當于415nm的圖像分配到顏色通道B(ch),將例如相當于445nm的圖像分配到顏色通道G(ch),將例如相當于500nm的圖像分配到顏色通道R(ch)時,能夠得到如下的圖像效果。
·生物體組織的最表層的表皮、或者粘膜以低彩度的顏色再現,最表層的毛細血管以低亮度、即暗線再現,從而能夠得到最表層的毛細血管的高視覺辨認性。
·同時,位于比毛細血管深的位置的血管在色相方向上向藍色方向旋轉而再現,因此,更容易與最表層的毛細血管進行區別。
并且,根據所述通道的分配方法,在通常觀察下以黃色調觀察到的殘渣和膽汁在大腸內窺鏡檢查中以紅色色調觀察到。
實施例2 圖27是表示本發明的實施例2的電子內窺鏡裝置的構成的框圖。
實施例2與實施例1大致相同,因此,僅說明不同之處,對于相同構成,賦予相同符號,省略說明。
本實施例與實施例1的主要不同之處在于控制照明光量的光源部41。本實施例中,不是利用斬光器,而是通過燈15的電流控制來控制從光源部41照射的光量。具體地說,在圖27所示的燈15上設置有電流控制部18。
作為本實施例的動作,控制部42控制電流控制部18,以控制流入到燈15的電流,使得RGB的任意的彩色圖像信號都不處于飽和狀態。從而,對用于使燈15發光的電流進行控制,所以其光量根據電流的大小變化。
另外,關于其它動作,與實施例1相同,因此,在此省略。
根據本實施例,能夠與實施例1同樣地得到清楚顯示有血管圖案的分光圖像。并且,本實施方式中,與實施例1那樣的使用了斬光器的光量控制方法相比,具有控制方法簡單的優點。
實施例3 圖28是表示本發明的實施例3的矩陣運算部的構成的框圖。
實施例3與實施例1大致相同,因此,僅說明不同之處,對于相同構成,賦予相同符號,省略說明。
本實施例與實施例1的主要不同之處在于矩陣運算部436的構成。
實施例1中,通過電路、即所謂的硬件處理,進行矩陣運算,但在圖28的本實施例中,通過數值數據處理(基于使用了程序的軟件的處理)進行該矩陣運算。
將本實施例中的矩陣運算部436的具體構成示于圖28。該矩陣運算部436具有圖像存儲器50,該圖像存儲器50存儲RGB各自的彩色圖像信號。并且,具有系數寄存器51,該系數寄存器51中存儲有式(21)所示的矩陣“A的各值作為數值數據。
系數寄存器51和圖像存儲器50與乘法器53a~53i連接,而且乘法器53a、53d、53g與乘法器54a連接,乘法器54a的輸出與圖4中的累加部438a連接。并且,乘法器53b、53e、53h與乘法器54b連接,其輸出與累加部438b連接。而且,乘法器53c、53f、53i與乘法器54c連接,其輸出與累加部438c連接。
作為本實施例的動作,所輸入的RGB圖像數據暫時存儲在圖像存儲器50中。接著,通過保存在預定存儲裝置(未圖示的)的運算程序,利用乘法器將來自系數寄存器51的矩陣“A的各計數和圖像存儲器50中存儲的RGB圖像數據相乘。
另外,圖28中示出利用乘法器53a~53c將R信號和各矩陣計數相乘的例子。并且,如圖28所示,利用乘法器53d~53f將G信號和各矩陣計數相乘,利用乘法器53g~53i將B信號和各矩陣計數相乘。分別與矩陣計數相乘的數據利用乘法器54a將乘法器53a、53d、53g的輸出相乘,利用乘法器54b將乘法器53b、53e、53h的輸出相乘,并且,利用乘法器54c將乘法器53c、53f、53i的輸出相乘。乘法器54a的輸出發送到累加部438a。并且,乘法器54b、乘法器54c的輸出分別發送到累加部438b、438c。
根據圖28的本實施例,能夠與實施例1相同地得到清楚顯示有血管圖案的分光圖像。
并且,本實施例中,不是像實施例1那樣通過硬件進行矩陣處理,而是使用軟件進行矩陣處理,因此,例如能夠迅速地與各矩陣系數的變更等對應。
而且,對于矩陣計數,僅以結果的值、即不是矩陣“A、而是按照S(λ)、H(λ)、R(λ)、G(λ)、B(λ)存儲,根據需要進行運算,從而求出矩陣“A來使用的情況下,可以僅變更其中1個要素,從而方便性提高。例如,可以僅變更照明光的分光特性S(λ)等。
實施例4 圖29和圖30涉及本發明的實施例4,圖29是表示電子內窺鏡裝置的構成的框圖,圖30是表示圖29的CCD的電荷累積時間的圖。
實施例4與實施例1大致相同,因此,僅說明不同之處,對于相同構成要素,賦予相同符號,省略說明。
本實施例與實施例1的主要不同之處在于光源部41和CCD 21。實施例1中,CCD 21上設置有圖6所示的濾色器,通過該濾色器生成彩色信號,相對于這種所謂的同步式,本實施例中采用在1幀期間以RGB的順序照射照明光來生成彩色信號的場序式。
如圖29所示,本實施例中的光源部41中,燈15的前面設置有用于進行調光的光圈25,比光圈25更前面的位置設置有RGB濾波器23,該RGB濾波器23為了射出R,G,B的幀序光,1幀例如旋轉1次。RGB濾波器23構成分色部。并且,光圈25與作為光量控制部的光圈控制部24連接,根據來自光圈控制部24的控制信號,限制從燈15照射的光束之中透過的光束,改變光量,從而可進行調光。并且,RGB旋轉濾網23與RGB旋轉濾網控制部26連接,以預定的旋轉速度旋轉。
作為本實施例中的光源部的動作,從燈15輸出的光束被光圈25限制成預定的光量,透過了光圈25的光束經由RGB旋轉濾網23,從而每隔預定的時間,作為R·G·B各自的照明光從光源部輸出。并且,各個照明光在被檢體內反射,被CCD 21接收。CCD 21所得到的信號根據所照射的時間,利用設置于內窺鏡裝置主體105的切換部(未圖示)進行分配,分別輸入到S/H電路433a~433c。即,從光源部41照射了經由R濾波器的照明光的情況下,CCD 21所得到的信號輸入到S/H電路433a。另外,對于其它動作,與實施例1相同,因此,省略說明。
另外,本實施例中,經由R、G以及B的濾波器的照明光分別照射到被檢體時,輸出基于所述照明光各自的反射光的像的攝像信號的CCD21不限于以單板式構成,也可以以例如三板式等多板式構成。
根據本實施例,能夠與實施例1相同地得到清楚顯示有血管圖案的分光圖像。并且,本實施例中,與實施例1有所不同,可以享受由所謂的場序方式帶來的優點。另外,該優點是指例如后述的實施例5那樣的效果。
并且,上述的實施例中,為了避免RGB彩色信號飽和,控制/調節照明光量(來自光源部的光量)。相對于此,本實施例中,采用調整CCD21的電子快門的方法。CCD 21中在一定時間內累積與入射的光強度成正比的電荷,將該電荷量設為信號。所謂的電子快門就相當于該累積時間。利用CCD驅動器電路431調節該電子快門,從而能夠調整電荷的累積量、即信號量。如圖30所示,通過得到以每一幀依次改變電荷累積時間的狀態下的RGB彩色圖像,從而能夠得到同樣的分光圖像。即,在上述的各個實施例中,光圈25進行的照明光量的控制用于得到通常圖像,在得到分光圖像時,通過改變電子快門,從而可以避免RGB彩色信號飽和。
實施例5 圖31是表示本發明的實施例5的CCD的電荷累積時間的圖。
實施例5與實施例4大致相同,因此,僅說明與實施例4不同之處,對于相同的構成要素,賦予相同符號,省略說明。
本實施例與實施例4的主要不同之處在于利用了場序方式,并且,活用了該優點。通過對實施例4中的電子快門控制得到的電荷累積時間按照每個R,G,B加權,從而能夠簡化分光圖像數據的生成。即,本實施例中具有CCD驅動器431,該CCD驅動器431能夠在1幀期間內對每個R,G,B改變CCD 21的電荷累積時間。另外,其它與實施例4相同。
作為圖31的例子的動作,經由RGB旋轉濾網23分別照射照明光時,改變CCD 21中的電子快門產生的電荷累積時間。
此處,將照明光分別為R·G·B時的CCD 21的電荷累積時間設為tdr、tdg、tdb(另外,圖31中,B的彩色圖像信號沒有設定累積時間,因此省略tdb)。例如,對于進行(21)式所示的矩陣處理時的F3模擬濾波器圖像,由通常內窺鏡所得到的RGB圖像,進行下述的運算, F3=-0.050R-1.777G+0.829B ...(25) 因此,將圖30中的按照各個RGB的電子快門控制產生的電荷累積時間設定為 tdr:tdg:tdb=0.050:1.777:0.829 ...(26)。
并且,矩陣運算部中,將僅反轉了R和G成分的信號和B成分相加。由此,能夠得到與實施例1~實施例4相同的分光圖像。
根據本實施例,能夠與實施例4相同地得到清楚顯示有血管圖案的分光圖像。并且,本實施例中,與實施例4同樣地在彩色信號的制作中利用了場序方式,并且,使用電子快門,使每個彩色信號的電荷累積時間不同,因此,由此在矩陣運算部中,僅進行加法運算、差分處理即可,可以將處理簡化。
實施例6 圖32和圖33涉及本發明的實施例6的生物體觀察裝置,圖32是表示濾色器的排列的圖,圖33是表示圖32所示濾色器的分光靈敏度特性的圖。
實施例6與實施例1基本相同,因此,僅說明與實施例1的不同之處,對于相同的構成要素,賦予相同符號,省略說明。
本實施例與實施例1的主要不同之處在于設置在CCD 21上的濾色器。實施例1中如圖6所示使用了RGB原色型濾色器,相對于此,本實施例中使用補色型濾色器。
該補色型濾波器的排列如圖32所示,由G、Mg、Ye、Cy的各要素構成。另外,原色型濾色器的各要素與補色型濾色器的各要素的關系為Mg=R+B、Cy=G+B、Ye=R+G。
該情況下,讀出CCD 21的全部像素,對來自各濾色器的圖像進行信號處理或圖像處理。并且,對于原色型濾色器的(1)式~(8)式以及(19)式~(21)式,變形為補色型濾色器時,成為以下的(27)式~(33)式。其中,作為目標的窄頻帶的帶通濾波器的特性相同。
C=(G Mg Cy Ye)F=(F1 F2 F3)…(28) kG=(∫S(λ)×H(λ)×G(λ)dλ)-1 kMg=(∫S(λ)×H(λ)×Mg(λ)dλ)-1 kCy=(∫S(λ)×H(λ)×Cy(λ)dλ)-1 kYe=(∫S(λ)×H(λ)×Ye(λ)dλ)-1…(29) 并且,圖33示出使用了補色型濾色器時的分光靈敏度特性、設為目標的帶通濾波器以及通過上述(27)式~(33)式求出的模擬帶通濾波器的特性。
另外,使用補色型濾波器的情況下,自不必說,圖4中示出的S/H電路是分別針對G·Mg·Cy·Ye進行的,而不是分別針對R·G·B進行的。
而且,即使在使用了補色型濾色器的情況下,也能夠應用式(9)~(18)所示的矩陣估計方法。該情況下,補色濾波器的數量為4個時,以式(14)假設的生物體分光反射率能夠用3個基本分光特性近似的部分為4個或4個以下。因此,與此相對應,用于運算估計矩陣的維數由3變為4。
根據本實施例,能夠與實施例1相同地得到清楚顯示有血管圖案的分光圖像。并且,本實施例中,能夠享受使用了補色型濾色器時的優點。
根據以上說明的各實施例,具有如下效果能夠將基于通過信號處理得到的分光圖像的生物體組織的希望深部的組織信息調整成適合于觀察的色調的圖像信息。
以上,對本發明的各實施例進行了說明,但本發明可以以各種法方式組合上述實施例來使用,并且,可以在不脫離本發明宗旨的范圍內進行變形。
例如,對于以上說明的全部實施例,在臨床中,可以按照其它的定時由操作者親自制作新的模擬帶通濾波器,應用于臨床。即,若示于實施例1中,則在圖4中的控制部42上設置能夠運算/計算矩陣系數的設計部(未圖示)。
由此,經由圖3所示的內窺鏡主體上設置的鍵盤,輸入條件,從而新設計能夠適合得到操作者想要知道的分光圖像的模擬帶通濾波器,并且,計算出的矩陣系數(相當于(19)式和(31)式的矩陣“A”的各要素)上施加校正系數(相當于(20)式和(32)式的矩陣“K”的各要素)的最終矩陣系數(相當于(21)式和(33)式的矩陣“A的各要素)設定到圖4中的矩陣運算部436中,從而能夠即時應用于臨床。
圖34表示到應用為止的流程。詳細說明該流程。首先,操作者經由鍵盤等輸入作為目標的帶通濾波器的信息(例如波段等)。從而,與已經存儲于預定存儲裝置等中的光源/濾色器的特性等一起計算出矩陣“A,如圖32所示,作為光譜圖,在監視器上顯示作為目標的帶通濾波器的特性以及該矩陣“A的運算結果(模擬帶通濾波器)。
操作者確認到該運算結果之后,使用新制作的矩陣“A時,進行其設定,使用該矩陣“A生成實際的內窺鏡圖像。并且,與此同時,新制作的矩陣“A存儲到預定的存儲裝置中,可以根據操作者的預定操作,再次使用。
從而,操作者可以不采用既有的矩陣“A,而根據自己的經驗等生成新的帶通濾波器,尤其是在用于研究的情況下,能夠得到較高的效果。
實施例7 圖38~圖41涉及本發明的實施例7的生物體觀察裝置。實施例7與實施例1基本相同,因此,僅說明與實施例1的不同之處,對于相同的構成要素,賦予相同符號,省略說明。
圖38是表示本實施例的電子內窺鏡裝置的構成的框圖,圖39是表示圖38的光源部的構成的框圖,圖40是表示包括圖24等的分光圖像的生成功能的本實施例的動作的流程圖,圖41是表示變形例的電子內窺鏡的構成圖。
如圖3所示,電子內窺鏡裝置100具有電子內窺鏡(簡稱為鏡體)101,其具備照明部和攝像部;內窺鏡裝置主體105,其與內窺鏡101連接,控制照明部和攝像部;以及顯示監視器106,其顯示輸出從該內窺鏡裝置主體105輸出的生物體信號。
如圖38和圖39所示,光源部41與控制部42和內窺鏡101連接,根據來自控制部42的信號,以預定的光量照射白色光(也包括不完全是白色光的情況)的照射。
該光源部41具有作為第1光源的例如氙燈15;斬光器16,其用于調整光量;以及斬光器驅動部17,其用于驅動斬光器16。并且,來自該氙燈15的光通過斬光器16,透過了配置在其光路上的半反射鏡18A之后,在聚光透鏡中聚光,入射到內窺鏡101的光導14的入射端。
并且,本實施例中,在該光源部41上設置有作為第二光源的例如鹵燈25A,其分光特性不同于上述第一光源;光圈26b,其調整該鹵燈25A的光量;以及光圈驅動部27b,其驅動該光圈26b。
該鹵燈25A的照明光透過了光圈26b之后,被半反射鏡18A部分反射,通過聚光透鏡匯聚,入射到內窺鏡101的光導14的入射端。
并且,在該光源部41內設置光源驅動控制部30,該光源驅動控制部30進行兩個燈15、25A的點亮/熄滅、斬光器驅動部17、以及光圈驅動部27b的控制動作。
而且,該光源驅動控制部30還與控制部42連接,能夠經由控制部42,根據觀察模式等,對借助光源部41提供給內窺鏡101的光導14的照明光進行控制。另外,氙燈15的分光分布與后述的實施例8中采用的汞燈的情況相結合地示于圖中。此外,鹵燈25A在低于氙燈15的色溫下具有寬頻帶的分光分布。
本實施例中,在例如通常圖像觀察模式中,例如僅使氙燈15側點亮,進行照明,在分光圖像觀察模式中,點亮兩個燈15、25A,進行照明。
而且,通過采用后述的方式,能夠得到更優選的分光圖像信號。配置于氙燈15前面、進行光量調整的斬光器16可以采用例如日本特開2003-93336號公報中記載的斬光器,其詳細構成在該日本特開2003-93336號公報中已有記載,因此,省略說明。
并且,如圖39中的箭頭所示,斬光器驅動部17構成為可沿著與來自氙燈15的光的光路正交的方向移動。而且,若通過該移動來增大與光路之間的距離,則能夠使光束通過的切口部增長,因此,照射時間變長,能夠增大照明光量。
如上所述,當新生成的分光圖像作為S/N有可能不足、以及生成所需的某個信號處于飽和狀態時,不能進行正確的運算,因此,需要控制照明光量。該光量調節采用日本特開2003-93336號公報中的方式,僅利用1個燈負擔斬光器16以及斬光器驅動部17。
相對于此,本實施例中具有分光特性不同的2個光源,因此,尤其是設為分光圖像觀察模式,生成分光圖像信號,將該分光圖像顯示到顯示監視器106的情況下,使用2個光源,能夠生成更合適的分光圖像。
該情況下,例如設置于控制部42的EEPROM等非易失性的存儲器42a中存儲有從以分光圖像觀察模式進行照明時的兩個燈15、25A提供給光導14的照明光量之比和最大光量的信息。而且,設定為分光圖像觀察模式時,控制部42參照該信息,經由光源驅動控制部30,控制從光源部41提供給光導14的照明光。
并且,CCD 21的攝像面上設置有進行光學分色的濾色器22a,該濾色器22a的排列如上所述的圖6所示。而且,圖7中用實線示出構成該濾色器22a的R、G、B濾波器各自的分光靈敏度特性。
首先,說明觀察通常圖像時的光源部41的動作,根據來自控制部42的控制信號,光源驅動控制部30僅使光源部41的氙燈15側動作。該情況下,斬光器驅動部17設定在預定位置,使斬光器16旋轉。來自氙燈15的光束通過斬光器16的切口部,借助聚光透鏡匯聚在作為光纖束的光導14的入射端,該光導14設置在位于鏡體101和光源部41之間的連接部上的連接器11內。而且,通常圖像與上述的實施例1中的通常圖像的觀察動作相同。
接著,觀察分光圖像時,操作者通過操作設置于內窺鏡裝置主體105的鍵盤或設置于內窺鏡101的操作部104的未圖示的鏡體開關、主體處理裝置43的前面板等,指示從通常圖像觀察分光圖像。此時,控制部42變更光源部41和主體處理裝置43的控制狀態。
具體地說,控制部42參照存儲器42a的控制信息,向光源部41的光源驅動控制部30發送控制信號,還點亮鹵燈25A。并且,控制部42控制斬光器16和光圈26b的驅動,使得兩個燈15、25A產生的照明光量達到適當的光量。
如上所述,不希望來自CCD 21的輸出飽和,因此,與觀察通常圖像時相比,在觀察分光圖像時減小照明光量的最大值。并且,控制部42控制光量,使得來自CCD 21的輸出信號不飽和,將照明光量設定在不飽和的范圍內。
并且,作為控制部42進行的向主體處理裝置43的控制變更,將從切換部439輸出的信號從通常圖像生成部437的輸出切換到調色部440的輸出。并且,利用矩陣運算部436對S/H電路433a~433c的輸出進行放大/加法運算處理,根據各個頻帶,輸出到累加部438a~438c,進行累加處理后,輸出到調色部440。即使在利用斬光器16或光圈26b減小照明光量的情況下,也利用累加部438a~438c進行保存/累加,從而如圖2所示,能夠提高信號強度,并且能夠得到提高了S/N的分光圖像。
下面,對本實施例的具體的矩陣運算部436的矩陣處理進行記述。為了說明本實施例的使用分光特性不同的2個燈15、25B時的優先順位,首先,先以與僅使用1個燈15時的日本特開2003-93336號公報的情況相當的情況進行說明。
僅使用1個燈15時,由圖7中實線所示的RGB濾色器的分光靈敏度特性,制作與圖7中示出的理想的窄頻帶帶通濾波器F1~F3(此處,將各個透過波長區域設為F1590nm~620nm、F2520nm~560nm、F3400nm~440nm)接近的帶通濾波器(以下稱為模擬帶通濾波器)時,通過上述的(1)式~(5)式所示的內容,使上述的(19)式的矩陣成為最佳矩陣。
此外,通過(6)式和(7)式所示的內容進行校正,得到上述的(20)式的校正系數。
另外,使用了如下的預見信息(6)式所示的光源的光譜S(λ)在例如僅有氙燈1 5的情況下,為圖9所示,(7)式所示的要關注的生物體的反射光譜H(λ)如圖10所示。
因此,通過矩陣運算部436進行的處理在數學上與上述的(21)式的矩陣運算得到相同值。
通過進行該矩陣運算,能夠得到模擬濾波器特性(圖7中作為濾波器模擬F1~F3的特性示出)。即,上述的矩陣處理是指使用以上述方式預先生成的模擬帶通濾波器(矩陣),對彩色圖像信號制作分光圖像信號。
該情況下,圖7的用粗虛線所示生成的模擬帶通濾波器(矩陣)、尤其長波長側的模擬濾波器(F1)與理想中的情況有較大背離。
因此,本實施例中,分光圖像觀察模式時,還點亮色溫低于氙燈15、即發光特性偏向長波長側的鹵燈25A。使用由兩個燈15、25A發出的照明光,進行生成模擬帶通濾波器(矩陣)的處理。
即,通過提高照明光中的長波長側的亮度電平,能夠相對于增大長波長側的R信號的值,與僅使用1個氙燈15的情況相比,能夠進一步改善長波長側的模擬帶通濾波器(矩陣)的背離。
而且,像這樣使用模擬濾波器特性生成的內窺鏡圖像和將要觀察的生物體組織的結構如使用圖11~圖26進行的上述說明。
另外,例如可以在控制部42的存儲器42a中存儲與各個分光圖像觀察模式相適應的信息,以便能夠與上述的實施例、第1變形例、第2變形例、第3變形例的任意的分光圖像觀察模式對應。
而且,切換到分光圖像觀察模式時,例如設定為在以前最后使用的分光圖像觀察模式,通過用戶的選擇,能夠以其它分光圖像觀察模式選擇使用(切換使用)。
圖40表示在與該情況對應的分光圖像觀察模式下進行生物體觀察的動作。另外,在以下的說明中,將上述實施例的分光圖像觀察模式、第1~第3變形例的分光圖像觀察模式作為第1~第4分光圖像觀察模式進行說明。
接通電源,電子內窺鏡裝置100處于動作狀態時,如步驟S1所示,控制部42讀取存儲器42a的程序信息,開始該電子內窺鏡裝置100的控制動作。并且,讀取存儲器42a的各觀察模式時的針對光源部41的控制信息。
然后,如步驟S2所示,控制部42求出起動時的觀察模式的選擇。例如,顯示菜單畫面,在該菜單畫面上顯示求出起動時的觀察模式的選擇。接著,用戶選擇起動時的觀察模式。
而且,在選擇了通常圖像觀察模式的情況下,如步驟S3所示,控制部42根據從存儲器42a讀取的信息,向光源控制部30發送控制信號,僅點亮氙燈15,設定為通常圖像觀察模式。此外,用戶在該通常圖像觀察模式中,對作為被檢體的生物體組織進行觀察。
若處于該通常圖像觀察模式,則如步驟S4所示,控制部42處于等待觀察模式的切換指示的狀態。而且,若操作了設置于內窺鏡101等的觀察模式的切換開關等,進行觀察模式的切換指示,則如步驟S5所示,控制部42根據從存儲器42a讀取的信息,向光源驅動控制部30發送控制信號,點亮鹵燈25A。
并且,如步驟S6所示,控制部42求出在哪個分光圖像觀察模式進行觀察的選擇。用戶選擇想要觀察的分光圖像觀察模式。而且,設選擇了第k(k=1~4)分光圖像觀察模式。這樣,如步驟S7所示,控制部42參照與所選擇的第k分光圖像觀察模式對應的控制信息,設定氙燈15與鹵燈25A的光量比,并設定最大光量。
并且,控制部42與該第k個分光圖像觀察模式的選擇連動地選擇設定矩陣運算部436的系數,通過該連動的系數的選擇設定,能夠高精度地生成第k分光圖像觀察模式的情況下的分光圖像信號。
而且,用戶能夠在該第k分光圖像觀察模式下進行觀察。若設定為該第k分光圖像觀察模式,則如步驟S8所示,控制部42處于監視向其它分光圖像觀察模式的切換的狀態。而且,若進行了切換到第m(m≠k)分光圖像觀察模式的操作,則如步驟S7所示,參照與所選擇的第m分光圖像觀察模式對應的信息,設定氙燈15與鹵燈25A的光量比,并設定最大光量。
并且,步驟S8中若不進行向其它分光圖像觀察模式的切換操作,則如步驟S9所示,控制部42判斷是否進行了觀察模式的切換指示。
不進行觀察模式的切換指示時,返回到步驟S8,若進行觀察模式的切換指示,則如步驟S10所示,進行鹵燈25A的熄滅控制之后,返回到步驟S3。
另外,在上述的控制處理中,替代熄滅鹵燈25A,進行關閉光圈26b的控制,可以提高切換觀察模式時的響應性。
像這樣根據本實施例,能夠活用實施例1的效果,并且,為了得到分光圖像而利用發光特性不同的多個光源,因此,與1個光源的情況時相比,能夠得到高精度的分光圖像。
另外,本實施例中的矩陣運算部436可以采用圖28所示的結構作為變形例。
并且,實施例1的電子內窺鏡裝置100中,示出了發出照明光的光源部41和進行信號處理的主體處理裝置43形成為一體的構成,但是,也可以像圖41所示的電子內窺鏡裝置100B那樣,獨立構成光源部41和主體處理裝置43。圖41的構成例中,將控制部42設置于主體處理裝置43內,通過通信電纜,在其與光源部41內的光源驅動控制部30之間收發控制信號。
本變形例具有與圖4所示的實施例1的情況大致相同的作用效果。
實施例8 下面,參照圖42~圖45,說明本發明的實施例8。本實施例的電子內窺鏡裝置采用了將圖38的光源部41變更為圖42所示的光源部41B的構成。
替代圖39所示的光源部41中作為第二光源使用的鹵燈25,該光源部41B采用了具有亮線光譜的超高壓汞燈(下面簡稱為汞燈)35。
并且,本實施例中,在氙燈15和半反射鏡18A之間配置光圈26a,通過光圈驅動部27a可變驅動光圈26a的開口量。
而且,形成光混合部36,在該光混合部36中執行如下處理利用光圈26a對氙燈15的光進行光量調整之后,將光入射到半反射鏡18A,利用光圈26b對汞燈35的光進行光量調整,將光入射到半反射鏡18A而通過該半反射鏡18A與來自氙燈15的光進行混合。
并且,借助光源驅動控制部30經由氙燈15和汞燈35內部的點亮驅動電路,控制氙燈15和汞燈35的點亮和熄滅,光圈驅動部27a、27b也借助光源驅動控制部30控制其驅動動作。
圖43表示氙燈15的發光的分光特性,在可見區域上具有較寬的強度分布。并且,圖44表示汞燈35的發光特性,在可見區域上具有較寬的強度分布,并且具有多個亮線光譜。
而且,本實施例中,在通常圖像觀察模式下,僅點亮氙燈15,將通常圖像顯示到顯示監視器106上。
另一方面,在分光圖像觀察模式下,點亮氙燈15和汞燈35,設定此時兩個燈15、35的光量比,且將限制了所有光量的照明光、例如圖45所示利用光混合部36進行光混合的照明光提供給光導14,將分光圖像顯示到顯示監視器106上。
根據本實施例,在分光圖像觀察模式時,通過采用具有多個亮線光譜的照明光,從而能夠增大在各亮線光譜部分的信號強度,與不具有亮線光譜的情況相比,能夠高精度地計算出分光圖像信號。而且,能夠得到可靠性高的分光圖像。
實施例9 接著,參照圖46~圖51,說明本發明的實施例9。圖46所示的本實施例的電子內窺鏡裝置100的構成為將圖46的光源部41變更為圖47所示的光源部41C。
如圖47所示,替代圖42所示的光源部41B中使用的汞燈35,該光源部41C采用了作為半導體光源的發光二極管部(LED部)37。該LED部37由多個具體為4個具有多個發光光譜的LED38a~39d構成。
圖48表示這些LED 38a~39d的發光光譜(分光特性)。該情況下的發光光譜在將要生成的分光圖像信號的波長附近具有亮線光譜或將亮線光譜稍微放寬的光譜。另外,此處表示了4個的情況,但不限該數量。
并且,本實施例中,光源驅動控制部30C由如下部分構成LED驅動器39a~39d,其用于發光驅動構成LED部37的多個LED 38a~38d;燈點亮電路161,其用于點亮氙燈15;以及控制電路62,其控制這些LED驅動器39a~39d、燈點亮電路161和光圈驅動部27a、27b。
該控制電路62根據來自控制部42的控制信號控制從該光源部41C的光混合部36提供給光導14的照明光。
本實施例中,在通常圖像觀察模式下,僅點亮氙燈15,將通常圖像顯示到顯示監視器106上。
另一方面,在分光圖像觀察模式下,點亮氙燈15和LED 38a~38d,設定此時氙燈15、LED38a~39d所產生的光量比,且將限制了所有光量的照明光、例如圖49所示的通過光混合部36進行了光混合的照明光提供給光導14,將分光圖像顯示到顯示監視器106上。
根據本實施例,具有與實施例8類似的效果。即,在分光圖像觀察模式時,通過采用具有多個接近亮線光譜的強度分布的照明光,能夠增大生成分光圖像信號時的波長部分上的信號強度,與使用不具有這樣的特性的照明光時相比,能夠更高精度地計算出分光圖像信號。
并且,根據將要計算出的分光圖像信號的波長,選擇使用LED,從而能夠以該波長進行亮線光譜狀的發光,能夠得到高精度的分光圖像信號。
圖50表示變形例的光源部41D。本變形例中,在圖47的光源部41C中,替代LED部37,采用了激光二極管(下面略為LD)部67。
即,替代圖47中的LED 38a~38d,采用了LD 68a~68d。并且,在圖47的控制電路30C中,替代LED驅動器39a~39d,采用LD驅動器69a~69d。
LD68a~68d以例如比LED 38a~38d的發光光譜的寬度窄的光進行發光。而且,像實施例7那樣在通常圖像觀察模式時僅將氙燈15作為照明光使用,在分光圖像觀察模式時將LD 68a~68d和氙燈15一起點亮。
圖51(A)示出從光混合部36提供給光導14的照明光的分光特性例,在圖49的照明光中,具有如下特性;具有比LED 38a~38d產生的發光光譜的寬度窄的亮線光譜。
根據本變形例,具有與實施例7類似的效果。即,想要得到希望波長下的分光圖像信號時,通過使用在該波長部分亮度電平亮線狀地增大的照明光,從而能夠增大該波長下的信號電平,能夠更高精度地計算出希望的分光圖像信號。
并且,如圖51(B)、圖51(C)所示,用戶可以借助未圖示的鏡體開關等變更(選擇)從光混合部36提供給光導14的照明光的分光特性。
圖51(B)、圖51(C)中變更(選擇)了要點亮的LD的數量。圖51(B)表示僅變更圖51(A)中要點亮的LD的數量的例子,圖51(C)相當于僅實質地點亮LD,熄滅了氙燈15的情況。
圖51(B)的情況對于生成以2個亮線光譜部分的分光圖像信號的情況有效。并且,根據圖51(C),僅為2個亮線光譜部分的光,因此,能夠生成更高精度的分光圖像信號。圖51(C)對得到2個波長下的分光圖像信號有效,得到其它波長的分光圖像信號時,優選使在與該分光圖像信號對應的波長具有基線光譜的LD發光。另外,LD的情況下說明的內容也同樣地可以適用于LED的情況。
即,在分光圖像觀察模式下點亮使用多個LED 38a~38d、LD 68a~68d等(其數量可以更多)時,可以根據將要計算出的分光圖像信號,選擇要點亮的LED38a~38d、LD68a~68d等。這樣,能夠針對更廣范圍的波長,得到精度高且希望的分光圖像。
另外,上述的實施例中作為CCD 21的濾色器22a采用了圖6所示的濾色器,但作為變形例,可以采用圖32所示的濾色器。對于該情況下的電子內窺鏡裝置的構成,與實施例7基本相同,因此,省略說明,對于相同的構成要素,賦予相同符號,省略說明。
實施例7中如圖32所示使用了RGB原色型濾色器,相對于此,本變形例中使用補色型濾色器。
該情況下,讀出CCD 21的全部像素,對來自各濾色器的圖像進行信號處理或圖像處理。并且,對于針對原色型濾色器的(1)式~(8)式以及(19)式~(21)式,若變形為補色型濾色器的情況下,則成為上述的(27)式~(33)式。對于(27)式~(33)式,已在上面有所敘述,因此,省略說明。使用了補色型濾色器時的分光靈敏度特性、設為目標的帶通濾波器以及通過上述(27)式~(33)式求出的模擬帶通濾波器的特性如上述的圖33所示。
另外,本實施例中,使用補色型濾波器時,自不必說,圖4所示的S/H電路是分別針對G·Mg·Cy·Ye進行的,而不是分別針對R·G·B進行的。
而且,即使在使用了補色型濾色器的情況下,也能夠應用式(9)~(18)所示的矩陣估計方法。該情況下,補色濾波器的數量為4個時,以式(14)假設的生物體分光反射率能夠以3個基本分光特性近似的部分為4個或4個以下。因此,與此相對應,用于運算估計矩陣的維數由3變為4。
根據本實施例,能夠與實施例1相同地得到清楚顯示有血管圖案的分光圖像。并且,本實施例中,能夠享受使用補色型濾色器時的優點。
另外,通過將上述的各實施例部分組合等來構成的實施例等也屬于本發明。
如上所述,根據各實施例,具有如下效果能夠將基于通過信號處理得到的分光圖像的生物體組織的希望深部的組織信息調整成適合于觀察的色調的圖像信息。
另外,在以上所述的各實施例中,作為照明部說明了配置于內窺鏡裝置主體105內的光源部41、41B等,但本發明不限于此,照明部也可以采用例如在內窺鏡101前端設置LED(發光二極管)的結構。
如上所述,根據本發明的各實施例,能夠得到更高精度或高可靠性的分光信號。
本發明不限于上述的各實施例,在不改變本發明的宗旨的范圍內,可以進行各種變更、改變等。
產業上的可利用性 照射寬頻帶的照明光,得到通常圖像和窄頻帶的分光圖像,從而能夠以容易視覺辨認狀態觀察生物體組織的表面附近或更深部側的血管行進圖案等。
本申請是以2005年5月11日在日本申請的特愿2005-138929號、2005年5月11日在日本申請的特愿2005-138930號、2005年5月13日在日本申請的特愿2005-141539號為優先權主張的基礎,上述的公開內容被引用在本申請說明書、權利要求書中。
權利要求
1.一種用于生物體觀測裝置的信號處理裝置,該信號處理裝置具備照明部,其向作為被檢體的生物體照射光;和/或信號處理控制部,其控制攝像部的動作,向顯示裝置輸出攝像信號,該攝像部對根據來自該照明部的照明光被所述生物體反射的光進行光電轉換,生成所述攝像信號,所述信號處理裝置的特征在于,所述信號處理裝置包括
分光信號生成部,其通過信號處理,由所述攝像信號生成與光學波長窄頻帶的圖像對應的分光信號;以及
調色部,其在將所述分光信號輸出到所述顯示裝置時,針對形成該分光信號的多個頻帶的每個頻帶調整色調。
2.根據權利要求1所述的用于生物體觀測裝置的信號處理裝置,其特征在于,所述分光信號生成部通過電路處理生成所述分光信號。
3.根據權利要求1所述的用于生物體觀測裝置的信號處理裝置,其特征在于,所述分光信號生成部通過數值數據處理生成所述分光信號。
4.根據權利要求1所述的用于生物體觀測裝置的信號處理裝置,其特征在于,所述分光信號生成部使用根據所述照明部和/或所述攝像部的分光特性計算出的系數。
5.根據權利要求1所述的用于生物體觀測裝置的信號處理裝置,其特征在于,所述分光信號生成部使用根據所述被檢體的反射特性計算出的系數。
6.根據權利要求1所述的用于生物體觀測裝置的信號處理裝置,其特征在于,所述分光信號包括負信號。
7.根據權利要求1所述的用于生物體觀測裝置的信號處理裝置,其特征在于,所述分光信號包括相當于主要以400nm~440nm的波段照明或拍攝時的信號、或者相當于主要以520nm~560nm的波段照射或拍攝時的信號。
8.根據權利要求7所述的用于生物體觀測裝置的信號處理裝置,其特征在于,所述調色部將相當于主要以400nm~440nm的波段照明或拍攝時的信號輸出到顯示輸出裝置的B和G通道,將相當于主要以520nm~560nm的波段照明或拍攝時的信號輸出到顯示輸出裝置的R通道。
9.根據權利要求1所述的用于生物體觀測裝置的信號處理裝置,其特征在于,所述分光信號包括相當于主要以400nm~440nm的波段照明或拍攝時的信號、或者相當于主要以430nm~470nm的波段照射或拍攝時的信號、或者相當于主要以480nm~520nm的波段照射或拍攝時的信號。
10.根據權利要求9所述的用于生物體觀測裝置的信號處理裝置,其特征在于,所述調色部將相當于主要以400nm~440nm的波段照明或拍攝時的信號輸出到顯示輸出裝置的B通道,將相當于主要以430nm~470nm的波段照明或拍攝時的信號輸出到顯示輸出裝置的G通道,將相當于主要以480nm~520nm的波段照明或拍攝時的信號輸出到顯示輸出裝置的R通道。
11.根據權利要求1所述的用于生物體觀測裝置的信號處理裝置,其特征在于,假設所述被檢體的分光特性可以用多個基本分光特性的線性和來近似,以計算出用于生成所述分光信號的系數。
12.根據權利要求11所述的用于生物體觀測裝置的信號處理裝置,其特征在于,所述基本分光特性值的數量為所述反射的光的分色值的數量以下。
13.根據權利要求11所述的用于生物體觀測裝置的信號處理裝置,其特征在于,通過對所述被檢體的分光特性數據的集合進行主成分分析或正交擴展,計算出所述基本分光特性。
14.根據權利要求1所述的用于生物體觀測裝置的信號處理裝置,其特征在于,通過假設所述被檢體的分光特性、所述照明部的分光特性、以及攝像部的分光特性在預定的波段寬度中分別可以用一個數值近似,計算出用于生成所述分光信號的系數。
15.根據權利要求1所述的用于生物體觀測裝置的信號處理裝置,其特征在于,所述調色部對多個所述分光信號進行預定的輸出調整,以波長的長短順序,輸出到顯示輸出部的B、G、R顏色通道。
16.根據權利要求1所述的用于生物體觀測裝置的信號處理裝置,其特征在于,所述調色部進行信號變換,以便在顯示輸出裝置上作為亮度再現多個所述分光信號之中包含想要以最高對比度輸出的被檢體信息的通道。
17.根據權利要求1所述的用于生物體觀測裝置的信號處理裝置,其特征在于,所述調色部進行調整輸出,使得所述被檢體的特征在顯示輸出裝置上以預定的目標色再現。
18.根據權利要求1所述的用于生物體觀測裝置的信號處理裝置,其特征在于,所述被檢體具有血管和/或粘膜微細結構。
19.根據權利要求1所述的用于生物體觀測裝置的信號處理裝置,其特征在于,所述生物體觀測裝置是電子內窺鏡裝置。
20.根據權利要求1所述的用于生物體觀測裝置的信號處理裝置,其特征在于,所述攝像信號是經由分色部生成的。
21.根據權利要求1~20中的任意一項所述的用于生物體觀測裝置的信號處理裝置,其特征在于,所述攝像部包含在內窺鏡中。
22.根據權利要求21所述的用于生物體觀測裝置的信號處理裝置,其特征在于,所述內窺鏡為軟性鏡。
23.根據權利要求21所述的用于生物體觀測裝置的信號處理裝置,其特征在于,所述內窺鏡為硬性鏡。
24.根據權利要求1~20中的任意一項所述的用于生物體觀測裝置的信號處理裝置,其特征在于,所述攝像部包含在口腔照相機中。
25.根據權利要求1~20中的任意一項所述的用于生物體觀測裝置的信號處理裝置,其特征在于,所述攝像部包含在以與所述生物體的表面接觸的狀態拍攝所述生物體的照相機中。
26.根據權利要求20所述的用于生物體觀測裝置的信號處理裝置,其特征在于,所述分色部是設置于所述攝像部的濾色器。
27.根據權利要求20所述的用于生物體觀測裝置的信號處理裝置,其特征在于,所述分色部是設置于所述照明部的濾色器。
28.根據權利要求20所述的用于生物體觀測裝置的信號處理裝置,其特征在于,所述分色部的原色是RGB原色系。
29.根據權利要求20所述的用于生物體觀測裝置的信號處理裝置,其特征在于,所述分色部的原色包括CMY補色系。
30.一種生物體觀測裝置,該生物體觀測裝置控制攝像部的動作,向顯示裝置輸出攝像信號,該攝像部對根據向作為被檢體的生物體照射的照明光被所述生物體反射的光進行光電轉換,生成寬頻帶的所述攝像信號,所述生物體觀測裝置的特征在于,所述生物體觀測裝置具有
分光信號生成部,其通過信號處理,由所述攝像信號生成與光學波長窄頻帶的圖像對應的分光信號;
調色部,其在將所述分光信號輸出到所述顯示裝置時,針對要形成該分光信號的多個頻帶的每個頻帶調整色調;以及
多個光源,其射出分光特性互不相同的多個照明光作為所述照明光。
31.根據權利要求30所述的生物體觀測裝置,其特征在于,所述生物體觀測裝置具有包括所述分光信號生成部和所述調色部的信號處理控制部,該信號處理控制部進行要將所述多個光源的哪一個光源用于照明光的控制。
32.根據權利要求30或31所述的生物體觀測裝置,其特征在于,所述分光信號生成部從所述多個光源生成具有希望的分光特性的多個照明光。
33.根據權利要求30~32中的任意一項所述的生物體觀測裝置,其特征在于,所述多個光源之中的至少一個光源是半導體光源。
34.根據權利要求30~33中的任意一項所述的生物體觀測裝置,其特征在于,所述多個光源之中的至少一個光源具有亮線光譜。
全文摘要
本發明涉及用于生物體觀測裝置的信號處理裝置,該信號處理裝置能夠將基于通過信號處理所得到的分光圖像的生物體組織的希望深部的組織信息調整成適合于觀察的色調的圖像信息。矩陣運算部(436)的輸出分別與累加部(438a~438c)連接,進行累加運算之后,利用調色部(440)對各個分光圖像信號(∑F1~∑F3)進行顏色變換運算,由分光圖像信號(∑F1~∑F3)生成分光顏色通道圖像信號(Rch、Gch、Bch),經由切換部(439),將分光顏色通道圖像(Rch、Gch、Bch)的圖像發送到顯示監視器(106)。
文檔編號A61B1/04GK101163438SQ200680013670
公開日2008年4月16日 申請日期2006年3月7日 優先權日2005年5月11日
發明者后野和弘, 天野正一, 高橋智也, 大島睦巳 申請人:奧林巴斯醫療株式會社