本發明涉及攝像裝置和分析裝置,特別涉及在生物體物質的觀察中使用的攝像裝置和分析裝置。
背景技術:
近年來,用于測定農畜產品、植物、人體等生物體物質的成分、狀態的光譜學的手法被大量開發,應用于農業、醫療、美容等各種領域。生物體物質對于近紫外到近紅外的波長的光具有特有的吸收波長。如果在作為觀察對象的生物體物質(以下稱為觀察對象物質)中特有的吸收波長處于可見光的范圍內,則能夠利用肉眼或通常的彩色攝像機根據顏色觀察該物質的狀態。作為這樣的例子,能夠舉出基于紅葉、果實的成熟度而變化的顏色、肌膚的由日曬、斑等引起的變色等。
另一方面,在觀察對象物質的吸光波長處于可見光區域以外的情況下,或多個觀察對象物質的各吸光波長包含于彩色攝像機的1個彩色濾光片的透射波段的情況下,不能夠根據顏色區別出觀察對象物質的狀態地進行觀察。
作為將這樣的觀察對象物質可視化的技術,已知有接收任意波長的光進行圖像化的高光譜攝像機(參照Shippert,P.“Why use Hyperspectral Imagery,”Photogrammetric Engineering and Remote Sensing,377-380(2004),和Gowen,A.A.,O’Donnell,C.P.,Cullen,P.J.,Downey,G.,Frias,J.M.,“Hyperspectral imaging-an emerging process analytical tool for food quality and safety control.”,Trends in Food Science and Technology 18,590-598(2007))。高光譜攝像機具有使用棱鏡、音響光學元件、液晶LEO濾光片等的分光光學系統,以5~10nm程度的波長分辨率從廣范圍的波段中將特定的波長成分的反射強度圖像化。此外,也提案了使光學系統中的光源的波段與觀察對象物質的吸光波長配合地進行拍攝的技術(參照Tatsuya Yoshida,Haruhiro Inoue,MD,Shinsuke Usui,MD,Hitoshi Satodate,Norio Fukami,Shin-ei Kudo,MD,“Narrow-band imaging system with magnifying endoscopy for superficial esophageal lesions”,Gastrointestinal Endoscopy,Vol.59,Issue2,February 2004,page 288)、在攝像機的濾光片側安裝使觀察對象物質的吸光波長透射的光學濾光片而進行可視化的技術(參照日本特開2010-217882號公報)等。
技術實現要素:
高光譜攝像機能夠確定觀察對象物質的光的吸收特性,觀察其成分和狀態,但是由于機構復雜且高價而僅限于在研究用途中使用。此外,上述非專利文獻3和專利文獻1的技術著重研究光源、安裝于攝像機的外部的彩色濾光片,但是作為成像設置,使用利用R(Red(紅))、G(Green(綠))、B(Blue(藍))一般的彩色濾光片的彩色攝像機。因此,僅能夠觀察到RGB濾光片的透射波段內的觀察對象物質的吸收光譜的變化。此外,多個觀察對象物質的各吸光波長包含于一個彩色濾光片的透射波段時,不能夠根據顏色區別各觀察對象物質的狀態。
本發明的目的在于提供與現有技術相比通用性高且能夠將觀察對象物質的狀態可視化的技術。
本發明的攝像裝置包括:濾光片部,其使在顯示裝置中可顯示的可見光波段的一部分或上述可見光波段外的波段中的、與觀察對象物質的吸光光譜或熒光光譜對應的特定波段的光透射;受光部,其具有接受由上述濾光片部透射的光,將接受的光轉換為電信號的攝像元件;和圖像處理部,其將由上述受光部轉換后的電信號的信號成分轉換為上述可見光波段中的可見光信號,向上述顯示裝置輸出。
根據本發明的結構,能夠使得與現有技術相比通用性高且能夠使觀察對象物質的狀態可視化。
附圖說明
圖1是表示第一實施方式的攝像裝置的結構例的示意圖。
圖2是圖1所示的攝像裝置的功能框圖。
圖3A是表示圖2所示的攝像部的截面的示意圖。
圖3B是表示第一實施方式的濾光片的配置例的示意圖。
圖4是表示第一實施方式的攝像裝置的光譜特性的圖。
圖5A是表示灰塵和細菌的熒光光譜的圖。
圖5B是表示杉花粉的熒光光譜的圖。
圖6A是表示第二實施方式的攝像部的截面的示意圖。
圖6B是表示第二實施方式的濾光片的配置例的示意圖。
圖7是表示第二實施方式的攝像裝置的光譜特性的圖。
圖8是表示葉綠素的吸光光譜的圖。
圖9是表示第二實施方式的應用例的攝像裝置的結構例的示意圖。
圖10A是表示第三實施方式的攝像部的截面的示意圖。
圖10B是表示第三實施方式的濾光片的配置例的示意圖。
圖11是表示第三實施方式的攝像裝置的光譜特性的圖。
圖12是第四實施方式的攝像裝置1的功能框圖。
圖13A是表示第四實施方式的攝像部的截面的示意圖。
圖13B是表示第四實施方式的濾光片的配置例的示意圖。
圖14是表示第四實施方式的電介質多層膜的結構例的圖。
圖15A是表示第四實施方式的濾光片的光譜透射特性的圖。
圖15B是表示第四實施方式的攝像裝置的光譜特性的圖。
圖16是表示第四實施方式的應用例1的攝像裝置的結構例的示意圖。
圖17是表示第四實施方式的應用例2的攝像裝置的結構例的示意圖。
圖18A是表示變形例(1)的攝像部的截面的示意圖。
圖18B是表示變形例(1)的濾光片的配置例的示意圖。
圖19A是表示變形例(2)的攝像部的截面的示意圖。
圖19B是表示變形例(2)的濾光片的配置例的示意圖。
圖20是表示氧合血紅蛋白和還原血紅蛋白的吸光光譜的圖。
具體實施方式
本發明的一實施方式的攝像裝置包括:濾光片部,其使在顯示裝置中可顯示的可見光波段的一部分或上述可見光波段外的波段中的、與觀察對象物質的吸光光譜或熒光光譜對應的特定波段的光透射;受光部,其具有接受由上述濾光片部透射的光,將接受的光轉換為電信號的攝像元件;和圖像處理部,其將由上述受光部轉換后的電信號的信號成分轉換為上述可見光波段中的可見光信號,向上述顯示裝置輸出(第一結構)。
根據第一結構,濾光片部使顯示裝置的可見光波段的一部分或可見光波段外的波段中的、與觀察對象物質的吸光或熒光特性對應的特定波段的光透射。透過濾光片部的光的電信號的信號成分,通過圖像處理部,作為顯示裝置的可見光波段的信號成分被輸出向顯示裝置。即,觀察對象物質的吸光或熒光波長即使是可見光波段的一部分的波段或可見光波段外的波段也能夠以可見光波段的可見光信號的形式顯示于顯示裝置。因此,不需要具有高光譜攝像機那樣的復雜的光學系統就能夠使各觀察對象物質的狀態可視化。
第二結構可以在第一結構中還包括對上述觀察對象物質照射包含上述特定波段的波長的光的光源。
根據第二結構,與不使用光源的情況相比,能夠更明確地使觀察對象物質對特定波段的光的吸收的變化可視化。
第三結構可以在第一結構中還包括對上述觀察對象物質照射激勵光的光源。
根據第三結構,與不使用光源的情況相比,能夠更明確地使觀察對象物質對特定波段的熒光的吸收的變化可視化。
第四結構可以是,在第一~第三的任一結構中,上述濾光片部具有光譜透射特性不同的多個濾光片,上述多個濾光片包括:R(紅)、G(綠)、B(藍)的彩色濾光片中任意的多個彩色濾光片;和層疊R(紅)、G(綠)、B(藍)的彩色濾光片中的任意的2個彩色濾光片而得的層疊濾光片,上述圖像處理部將透過上述層疊濾光片的光的信號成分,以及透過上述多個彩色濾光片中的各個彩色濾光片的光的信號成分分別與透過上述層疊濾光片的光的信號成分的差轉換為上述可見光信號。
根據第四結構,能夠輸出以下可見光信號:從透過R(紅)、G(綠)、B(藍)的彩色濾光片中的多個彩色濾光片的波長成分中,分離了層疊濾光片的波長成分即R(紅)、G(綠)、B(藍)的彩色濾光片中任意2個彩色濾光片的透射波段所重疊的波長成分而得到的可見光信號。因此,能夠更明確地使在2個彩色濾光片的透射波段中具有吸光或熒光特性的觀察對象物質的狀態可視化。
第五結構可以是,在第一~第三的任一結構中,上述濾光片部具有光譜透射特性不同的多個濾光片,上述多個濾光片包括:R(紅)、G(綠)、B(藍)的彩色濾光片中任意的多個彩色濾光片;和層疊折射率不同的多個電介質而得的層疊濾光片,上述層疊濾光片的透射波段包括近紅外波段。
根據第五結構,層疊濾光片能夠使近紅外波段的光透射,因此,即使觀察對象物質的吸光波長為近紅外波段,也能夠使觀察對象物質的狀態在顯示裝置中可視化。此外,在作為彩色濾光片使用有機材料的情況下,透射波長依據選擇了的有機材料被限定,但通過使用電介質,由于電介質的材料、層疊構造,相比于有機材料,能夠有選擇地產生透射波長。
第六結構可以在第一~第五中任一個結構中還包括顯示基于從上述圖像處理部輸出的上述可見光信號的彩色圖像的顯示部。根據第六結構,能夠根據彩色圖像確認觀察對象物質的狀態。
第七結構可以是,在第四結構中,上述任意的多個彩色濾光片包括G(綠)和B(藍)的彩色濾光片,上述任意的2個彩色濾光片是G(綠)和B(藍)的彩色濾光片。根據第七結構,能夠輸出從透過G(綠)和B(藍)的彩色濾光片的波長成分分離了G(綠)和B(藍)的彩色濾光片的透射波段所重疊的波長成分而得的可見光信號。結果,能夠提高G(綠)和B(藍)的波長的分辨率,使在G(綠)和B(藍)的波段具有吸光或熒光特性的觀察對象物質的狀態明確地可視化。
第八結構可以是,在第四結構中,上述任意的多個彩色濾光片包括R(紅)和G(綠)的彩色濾光片,上述任意的2個彩色濾光片是R(紅)和G(綠)的彩色濾光片。根據第八結構,能夠輸出從透過R(紅)和G(綠)的彩色濾光片的波長成分分離了R(紅)和G(綠)的彩色濾光片的透射波段所重疊的波長成分而得的可見光信號。結果,能夠提高R(紅)和G(綠)的波長的分辨率,使在R(紅)和G(綠)的波段具有吸光或熒光特性的觀察對象物質的狀態明確地可視化。
第九結構可以是,在第四結構中,上述任意的多個彩色濾光片包括R(紅)、G(綠)和B(藍)的彩色濾光片,上述任意的2個彩色濾光片是R(紅)和B(藍)的彩色濾光片。根據第九結構,能夠使R(紅)和B(藍)的波段重疊的波段以及R(紅)、G(綠)和B(藍)的各波段的光透射,因此能夠使觀察對象物質的狀態和觀察對象物質本身可視化。
第十結構可以是,在第五結構中,上述任意的多個彩色濾光片包括R(紅)和B(藍)的彩色濾光片,而且在上述濾光片部之前設置有可見光截止濾光片。根據第十結構,濾光片部僅使近紅外波段的光透過,因此能夠更明確地使在近紅外波段具有吸光波長的觀察對象物質的狀態可視化。
本發明的一實施方式的分析裝置包括:第一~第十中任一結構的攝像裝置;和顯示基于從上述攝像裝置輸出的可見光信號的圖像的顯示裝置。(第十一結構)
根據第十一結構,攝像裝置使顯示裝置中的可見光波段的一部分或可見光波段外的波段中的、與觀察對象物質的吸光或熒光特性對應的特定波段的光透射,將透射的光的電信號的信號成分以可見光波段的可見光信號的形式輸出至顯示裝置。顯示裝置基于從攝像裝置輸出的可見光信號來顯示圖像。因此,即使觀察對象物質的吸光或熒光波長處于可見光波段的一部分的波段或可見光波段外的波段,也能夠以可見光波段的信號成分的形式顯示于顯示裝置。因此,能夠不設置高光譜攝像機那樣復雜的光學系統地使觀察對象物質的狀態可視化,來觀察觀察對象物質的狀態。
以下,參照附圖詳細說明本發明的實施方式。對圖中相同或相當部分標注相同的附圖標記而省略重復說明。
<第一實施方式>
(結構)
圖1是表示本實施方式的攝像裝置的結構例的示意圖。圖2是圖1所示的攝像裝置1的功能框圖。以下,使用圖1和圖2說明攝像裝置的結構。
如圖1和圖2所示,攝像裝置1包括攝像部11、光源12和圖像處理部13。攝像部11按像素接受與觀察對象物質3的吸光光譜或熒光光譜對應的特定波段的光,并將其轉換為電信號。光源12對觀察對象物質3照射特定波段的光。圖像處理部13與攝像部11和顯示裝置2電連接。圖像處理部13將從攝像部11輸出的每個像素的電信號轉換為在顯示裝置2中可顯示的可見光波段的信號(可見光信號)而輸出至顯示裝置2。
顯示裝置2例如由液晶顯示器、有機EL顯示器等構成。顯示裝置2包括具有多個R、G、B的各像素的顯示面板和用于驅動各像素的驅動電路(均省略圖示)。顯示裝置2從攝像裝置1接收可見光信號,基于該可見光信號驅動各像素來顯示彩色圖像。
接著,具體說明攝像裝置1的各部分。在圖2中,攝像部11按像素具有濾光片部111和受光部112。濾光片部111具有有機濾光片111a。有機濾光片111a由以有機顏料作為顏色材料的R、G、B彩色濾光片中的任意2個彩色濾光片構成。
受光部112具有信號處理部112a和光電轉換元件112b。光電轉換元件112b由光二極管等構成,蓄積與入射的光的受光量對應的電荷。信號處理部112a將與在光電轉換元件112b蓄積的電荷的量對應的電信號輸出至圖像處理部13。另外,在本實施方式中,按像素設置信號處理部112a,按像素輸出與電荷對應的電信號,但信號處理部112a也可以不是對每個像素設置。例如,信號處理部112a將由多列的各像素的光電轉換元件112b轉換后的電荷并行傳送,將與各列的電荷對應的電信號依次輸出至圖像處理部13。
圖3A是示意性表示攝像部11的截面的截面圖。如圖3A所示,攝像部11在各個像素11p_1、11p_2、11p_3層疊有機濾光片111a、信號處理部112a和光電轉換元件112b而構成。另外,在有機濾光片111a的上部,配置有對來自觀察對象物質3的光聚光的微攝鏡(省略圖示),在圖3A中省略了圖示。
有機濾光片111a使由微攝鏡(省略圖示)聚光的光中的與觀察對象物質3的吸光光譜或熒光光譜對應的特定波段的光透射。本實施方式中,觀察對象物質3在400~550nm具有吸光或熒光波長。
有機濾光片111a包括彩色濾光片111a_G和111a_B以及層疊濾光片111a_BG,使350~650nm的波段的光透射。以下,將彩色濾光片111a_G和111a_B和層疊濾光片111a_BG稱為濾光片111a_G、111a_B、111a_BG。
濾光片111a_G使450~600nm的綠色波段的光透射。濾光片111a_B使350~500nm的藍色波段的光透射。濾光片111a_BG在濾光片111a_G上層疊濾光片111a_B而構成。濾光片111a_BG使濾光片111a_G和濾光片111a_B的透射波段重疊的450~500nm的波段的光透射。
由微攝鏡(省略圖示)聚集的光由濾光片111a_G、111a_B和濾光片111a_BG分光,入射至受光部112。
另外,在圖3A中為了方便說明,表示了將濾光片111a_G、111a_B、111a_BG橫向排列配置的像素的例子,但濾光片111a_G、111a_BG、111a_B是對應于拜耳陣列(R×1,G×2,B×1)而配置的。即,如圖3B所示,在攝像部11的像素組中,在與拜耳陣列的R對應的像素11p_R配置濾光片111a_G,在與拜耳陣列的G對應的像素11p_G配置濾光片111a_BG。此外,在與拜耳陣列的B對應的像素11p_B配置濾光片111a_B。
回到圖2繼續進行說明。光源12例如由LED(Light Emitting Diode,發光二極管)構成,照射在濾光片部111的透射波段(350~600nm)具有峰值波長的光。
圖像處理部13例如由PC(Personal Computer,個人計算機)等構成,具有未圖示的CPU(Central Processing Unit,中央處理器)、包括RAM(Random Access Memory,隨機存取存儲器)和ROM(Read Only Memory,只讀存儲器)的存儲器。圖像處理部13通過執行在ROM存儲的控制程序,實現信號轉換部131和顯示控制部132的各功能。
信號轉換部131以圖3B所示的4個像素為1組,對像素11p_R、11p_G、11p_B的信號成分根據以下的式子(1)~(3)進行轉換。
Ib-Ibg=B……式(1)
Ibg=G……式(2)
Ig-Ibg=R……式(3)
另外,上述Ib是從配置有濾光片111a_B的像素11p_B輸出的信號成分。上述Ibg是從配置有濾光片111a_BG的像素11p_G輸出的信號成分。此外,上述Ig是從配置有濾光片111a_G的像素11p_R輸出的信號成分。
即,將從透過濾光片111a_B的藍色的波長成分減去透過濾光片111a_BG的波長成分即與藍色的波段重疊的綠色的波長成分而得的結果,作為顯示裝置2的B信號成分輸出。此外,將從透過濾光片111a_G的綠色的波長成分減去透過濾光片111a_BG的波長成分即與綠色的波段重疊的藍色的波長成分而得的結果,作為顯示裝置2的R信號成分輸出。將透過濾光片111a_BG的波長成分即藍色和綠色的波段重疊的波長成分作為顯示裝置2的G信號成分輸出。
圖4是表示上述轉換處理后的各信號成分的光譜特性的圖。在圖4中,以虛線表示的波形是R信號成分,以點劃線表示的波形是G信號成分,以實線表示的波形是B信號成分。
如圖4所示,B信號成分的光譜特性具有420nm附近的峰值波長,具有400~480nm和630~680nm的波段。G信號成分的光譜特性具有500nm附近的峰值波長,具有450~550nm的波段。此外,R像素的光譜特性具有550nm附近的峰值波長,具有500~700nm的波段。
在現有的使用RGB彩色濾光片的彩色攝像機的情況下,在450~500nm中,B和G的透射波段重疊,因此該波段中存在與觀察對象物質3的狀態對應的吸光或熒光特性時,不能夠根據顏色來區別觀察對象物質3的狀態。在本實施方式中,如圖4的光譜特性所示,在450~500nm的波段中,與B的透射率相比,G的透射率較高,因此即使在該波段存在與觀察對象物質3的狀態對應的吸光或熒光特性,也能夠根據顏色來區別觀察對象物質3的狀態。另外,在圖4所示的光譜特性中,在400~600nm的波段之外,在630nm以后的波段具有透射特性。因此,可以根據需要,例如將紅外線截止濾光片配置在攝像部11之前,使得630nm以后的波段的光不透過。
回到圖2繼續進行說明。顯示控制部132將由信號轉換部131轉換后的各個R、G、B的信號成分分配給顯示裝置2的R、G、B的各波段。顯示控制部132將分配后的R、G、B的各信號成分作為顯示裝置2的R、G、B各像素的信號輸出。
(應用例)
接著,說明本實施方式的攝像裝置1的應用例。在本應用例中,說明將由紫外光激發的灰塵、大腸菌或沙門桿菌等細菌、杉花粉作為觀察對象物質3,區分灰塵、細菌、杉花粉進行可視化的例子。
圖5A是表示灰塵和細菌的熒光光譜的圖,在圖5A中,雙點劃線表示灰塵的熒光光譜,虛線和實線表示沙門桿菌和大腸菌的熒光光譜。此外,圖5B表示杉花粉的熒光光譜。
在本應用例中,作為光源12,使用照射在350~370nm附近具有峰值波長的紫外光的LED。由此,能夠激勵上述各觀察對象物質3。
杉花粉的熒光特性如圖5B所示,在480nm附近具有峰值波長,具有450~700nm的波段。由此,杉花粉由攝像裝置1的G信號和R信號表示,帶紅色的綠色的杉花粉的圖像顯示于顯示裝置2。
此外,灰塵的熒光特性如圖5A所示,具有450nm附近的峰值波長,具有400~470nm的波段。由此,灰塵在攝像裝置1中由B信號成分和G信號成分表示,帶藍色的綠色的灰塵的圖像顯示于顯示裝置2。
此外,大腸菌、沙門桿菌等細菌如圖5A所示,峰值波長在480~500nm附近,具有450~550nm的波段。由此,細菌由G信號成分表示,綠色的細菌的圖像顯示于顯示裝置2。
另外,在上述應用例中,說明了對灰塵、細菌、杉花粉攝像的例子,但例如也可以作為觀察對象物質3對稻子進行攝像,使稻子的成熟狀態可視化。稻子根據其成熟程度的不同,蛋白質的含有量有變化。已知蛋白質的含有量在400~460nm附近的葉綠素的反射率與460~510nm附近的胡蘿卜素的反射率的比之間具有高相關性。
因此,通過用攝像裝置1對稻子進行攝像,在顯示裝置2中,能夠將稻子中含有葉綠素的狀態以藍色表示,將稻子中含有的胡蘿卜素的狀態以綠色表示。通過使稻子中的葉綠素和胡蘿卜素可視化,能夠觀察稻子中含有的蛋白質的狀態,能夠根據蛋白質的狀態推測稻子的成熟程度。
<第二實施方式>
在上述第一實施方式中,說明了將有機濾光片111a由B和G的彩色濾光片構成的例子。在本實施方式中,說明與第一實施方式不同的有機濾光片111a的結構例。以下,對本實施方式的攝像裝置,主要說明與第一實施方式不同的結構。
圖6A是示意性地表示本實施方式的攝像部的截面的截面圖。在該圖中對與第一實施方式相同的結構標注與第一實施方式同樣的附圖標記。
本實施方式中,觀察對象物質3在450~700nm具有吸光或熒光波長,攝像部的濾光片部使450~700nm的波段的光透射。具體地說,如圖6A所示,本實施方式的攝像部11A作為有機濾光片111a具有層疊濾光片111a_GR、彩色濾光片111a_G和111a_R。以下,將層疊濾光片111a_GR和彩色濾光片111a_G和111a_R稱為濾光片111a_GR、111a_G、111a_R。
濾光片111a_G使450~600nm的波段的光透射。濾光片111a_R使550~700nm的波段的光透射。濾光片111a_GR在濾光片111a_R之上層疊濾光片111a_G而構成。濾光片111a_GR中,濾光片111a_G和濾光片111a_R的透射波段重疊,使550~600nm的波段的光透射。由此,該例中濾光片部111的透射波段為450~700nm。
圖6A中,為了方便說明,表示了將濾光片111a_GR、111a_G、111a_R橫向排列配置的像素的例子,濾光片111a_GR、111a_G、111a_R與拜耳陣列(R×1,G×2,B×1)對應地配置。即,如圖6B所示,在與拜耳陣列的R對應的像素11p_R配置濾光片111a_R,在與拜耳陣列的G對應的像素11p_G配置濾光片111a_GR,在與拜耳陣列的B對應的像素11p_B配置濾光片111a_G。
本實施方式的光源12(參照圖2)照射在濾光片部111的透射波段(450~700nm)具有峰值波長的光。
此外,圖像處理部13的信號轉換部131(參照圖2),以圖6B所示的4像素為1組,對像素11p_R、11p_G、11p_B的信號成分根據以下的式子(4)~(6)進行轉換。
Ig-Igr=B……式(4)
Igr=G……式(5)
Ir-Igr=R……式(6)
另外,上述Ir是從配置有濾光片111a_R的像素111a_R輸出的信號成分。上述Igr是從配置有濾光片111a_GR的像素11p_G輸出的信號成分。上述Ig是從配置有濾光片111a_G的像素11p_B輸出的信號成分。
即,本實施方式中,將從透過濾光片111a_G的綠色的波長成分中減去透過濾光片111a_GR的波長成分即與綠色的波段重疊的紅色的波長成分而得的結果作為顯示裝置2的B信號成分。此外,將從透過濾光片111a_R的紅色的波長成分中減去透過濾光片111a_GR的波長成分即與紅色的波段重疊的綠色的波長成分而得的結果作為顯示裝置2的R信號成分。將透過濾光片111a_GR的波長成分即紅色和綠色的波段重疊的波長成分作為顯示裝置2的G信號成分。
圖7是表示上述轉換處理后的信號成分的光譜特性的圖。圖7中,以虛線表示的波形為R信號成分,以點劃線表示的波形為G信號成分,以實線表示的波形為B信號成分。
如圖7所示,B信號成分的光譜特性具有560nm附近的峰值波長,具有480~600nm的波段。G信號成分的光譜特性具有590nm附近的峰值波長,具有460~630nm的波段。此外,R信號成分的光譜特性是峰值波長在660nm附近,具有580~700nm的波段。
(應用例)
本實施方式的攝像裝置1能夠應用于植物的葉子的變化的觀察。圖8是表示植物的葉子中所含的葉綠素的吸光光譜的圖。如圖8所示,葉綠素的吸光光譜在420nm附近和680nm附近具有峰值波長。葉綠素的峰值波長680nm如圖7所示,包含于R信號的光譜范圍,因此能夠將葉綠素的變化以R信號成分表示。以肉眼或通常的彩色攝像機觀察與植物的狀態、果實的生育狀態對應而發生微小變化的顏色是困難的,但通過使葉綠素可視化,能夠觀察到植物的狀態、果實的生育狀態的微小變化。
另外,為了進一步強調與植物的葉綠素的含有量對應的顏色的變化,可以將與葉綠素的吸光波長對應的光照射至觀察對象物質3而進行攝像。圖9是表示此時的攝像裝置的結構例的示意圖。
在圖9中,攝像裝置1A作為光源12具有由白色LED構成的光源12A_1和在660~680nm具有峰值波長的光源12A_2。此外,在攝像裝置1A中,在光源12A_1的前方設置有例如使580nm以下的光透射的長波長截止濾光片14。
通過設置長波長截止濾光片14,光源的紅色成分被限制于光源12A_2所發出的光的波長成分。葉綠素的吸收波長和光源12A_2的波長重疊,因此根據R信號成分,能夠捕捉葉綠素帶來的紅色成分的光的吸收的變化,能夠更明確地顯示植物的狀態的變化。
<第三實施方式>
上述第一實施方式和第二實施方式中,說明了使可見光波長區域的一部分波長的光透射的有機濾光片111a的結構例。但本實施方式中,說明使近紅外的波段的光透射的有機濾光片111a的結構例。以下,對本實施方式的攝像裝置主要說明與第二實施方式不同的結構。
圖10A是示意性地表示本實施方式的攝像部的截面的截面圖。在該圖中對與第二實施方式相同的結構標注與第一實施方式同樣的附圖標記。
本實施方式中,觀察對象物質3在500~1000nm具有吸光或熒光波長,攝像部的濾光片部使500~1000nm的波段的光透射。具體地說,如圖10A所示,本實施方式的攝像部11B作為有機濾光片111a具有層疊濾光片111a_BR和彩色濾光片111a_G和111a_R。層疊濾光片111a_BR是在濾光片111a_R之上層疊濾光片111a_B的濾光片,使透過濾光片111a_B和濾光片111a_R這兩者的800~1000nm的波段的光透射。以下,將層疊濾光片111a_BR以及彩色濾光片111a_G和111a_R稱為濾光片111a_BR、111a_G、111a_R。
圖10A中,為了方便說明,表示了將濾光片111a_BR、111a_G、111a_R橫向排列配置的像素的例子,但濾光片111a_BR、111a_G、111a_R為與拜耳陣列(R×1,G×2,B×1)對應的配置。即,如圖10B所示,在與拜耳陣列的R對應的像素11p_R配置濾光片111a_BR,在與拜耳陣列的G對應的像素11p_G配置濾光片111a_R,在與拜耳陣列的B對應的像素11p_B配置濾光片111a_G。
此外,圖像處理部13的信號轉換部131(參照圖2),以圖10B所示的4像素為1組,對像素11p_R、11p_G、11p_B的信號成分根據以下的式子(7)~(9)進行轉換。
Ig-Ibr=B……式(7)
Ir-Ibr=G……式(8)
Ibr=R……式(9)
另外,上述Ibr表示從配置有濾光片111a_BR的像素11p_R輸出的信號成分。
即,在本實施方式中,將從透過濾光片111a_G的綠色的波長成分中減去透過濾光片111a_BR的波長成分即與綠色的波段重疊的紅色和藍色的層疊波長成分而得的結果作為顯示裝置2的B信號成分。此外,將從透過濾光片111a_R的紅色的波長成分減去透過濾光片111a_BR的波長成分即與紅色的波段重疊的紅色和藍色的層疊波長成分而得的結果作為顯示裝置2的G信號成分。將透過濾光片111a_BR的波長成分即紅色和藍色的波段重疊的波長成分作為顯示裝置2的R信號成分。
圖11是表示上述轉換處理后的各信號成分的光譜特性的圖。在圖11中,以虛線表示的波形表示R信號成分,以點劃線表示的波形表示G信號成分,以實線表示的波形表示B信號成分。
如圖11所示,在該例中,B信號成分的光譜特性具有540nm附近的峰值波長,具有460~620nm的波段。G信號成分的光譜特性具有600nm附近的峰值波長,具有580~780nm的波段。此外,R信號成分的光譜特性具有800nm附近的峰值波長,具有400~1000nm的波段。
(應用例)
本實施方式的攝像裝置1能夠應用于植物的活性度的觀察。與植物的色素相關的葉綠素吸收紅色的波段的光,反射綠色的波段的光。此外,構成植物的葉子和果實的海綿狀的組織體反射近紅外的波段的光。即,根據植物中的葉綠素的含有量的變化,紅色的波段的光的反射率發生變化,根據構成植物的葉子和果實的海綿狀的組織體的狀態的變化,近紅外的波段的光的反射率發生變化。因此,通過由攝像裝置1對植物進行攝像,能夠根據G信號成分觀察植物中的葉綠素的含有量的變化,且能夠根據R信號成分觀察組織體的狀態的變化。
此外,在攝像裝置1中,也可以顯示表示植被指數NDVI(Normalized Difference Vegetation Index)的圖像。植被指數表示葉綠素所吸收的紅色的波段的光的反射率和構成植物的葉子和果實的組織體所反射的近紅外的波段的光的反射率的標準化差。由此,此時圖像處理部13使用從攝像部11輸出的電信號,進行以下的式(10)的運算。在顯示控制部132中,將表示其運算結果的圖像顯示于顯示裝置2。
NDVI=(Ibr-Ir)÷(Ibr+Ir)……式(10)
(-1≤NDVI≤1)
在NDVI的運算中使用的信號成分(Ibr,Ir)是從像素11p_R和像素11p_G(參照圖10B)輸出的信號成分。在圖像處理部13中,對像素11p_R和像素11p_G計算進行了上述式(10)的運算的植被指數NDVI。此外,對像素11p_B,可以進行使用像素11p_R和像素11p_G的植被指數NDVI的內插處理,設定規定的值。
顯示控制部132可以將進行上述運算得到的各像素的植被指數(-1≤NDVI≤1)的值進行模擬轉換所得的白黑的圖像數據向顯示裝置2輸出。或者,顯示控制部132可以將對各像素的植被指數NDVI以與其值對應的綠色或紅色的灰度等級表示的圖像數據向顯示裝置2輸出。
此外,可以代替紅色的波段的光的反射率,顯示表示使用由植物中含有的花青甙吸收的綠色的波段的光的反射率的綠色NDVI的圖像。此時,信號轉換部131使用從攝像部11輸出的電信號,對像素11p_R和像素11p_B進行以下式(11)的運算。像素11p_G可以使用像素11p_R和像素11p_B的綠色NDVI進行內插處理,也可以設定為規定的值。
綠色NDVI=(Ibr-Ig)÷(Ibr+Ig)……式(11)
顯示控制部132可以在顯示裝置2對各像素的植被指數NDVI和綠色NDVI的一方進行模擬或灰度等級顯示,也可以分別顯示植被指數NDVI和綠色NDVI。由此,植物中的葉綠素、花青甙的含有量的變化可視化,能夠觀察變化的植物的狀態。
<第四實施方式>
在上述第三實施方式中,說明了以使用有機濾光片111a來使紅色和近紅外的波段的光透射的方式構成濾光片部111的例子。本實施方式中,說明使紅外區域的光透射的濾光片部的結構例。
圖12是本實施方式的攝像裝置1的功能框圖。如圖12所示,攝像部11C的濾光片部111C,除了有機濾光片111a還具有電介質多層膜111b。
圖13A是示意性地表示攝像部11C的截面的截面圖。該圖中對與第三實施方式相同的結構標注與第三實施方式同樣的附圖標記。
本實施方式中,觀察對象物質3在400~1000nm具有吸光或熒光波長,攝像部使400~1000nm的波段的光透射。具體地說,如圖13A所示,在像素11p_31和像素11p_33分別配置了有機濾光片111a(111a_R,111a_B),在像素11p_32配置有電介質多層膜(無機濾光片)111b。以下,將有機濾光片111a_R、111a_B、電介質多層膜111b稱為濾光片111a_R、111a_B、111b。
電介質多層膜111b交替地層疊低折射率的電介質膜和高折射率的電介質膜而構成。作為低折射率的電介質膜和高折射率的電介質膜的材料的組合,例如能夠舉出氧化硅(SiO2)和氧化鈦(TiO2)、或SiO2和氮硅(Si2N4)。
圖14是例示SiO2膜とSi2N4膜的折射率和膜厚的圖。在圖14中,L0、L1、……L4表示SiO2膜,H1、H2、……H4表示Si2N4。電介質多層膜111b使550~650nm的可見光波段和900nm以上的近紅外波段的光透射。
圖13A中,為了方便說明,表示了將濾光片111a_R、111b、111a_B橫向排列配置的像素的例子,但濾光片111a_R、111b、111a_B與拜耳陣列(R×1,G×2,B×1)對應配置。即,如圖13B所示,在與拜耳陣列的R對應的像素11p_R配置濾光片111b,在與拜耳陣列的G對應的像素11p_G配置濾光片111a_R,在與拜耳陣列的B對應的像素11p_B配置濾光片111a_B。
圖15A是表示濾光片部111C的光譜透射特性的圖。在圖15A中,點劃線表示像素11p_R的光譜透射特性,虛線表示像素11p_G的光譜透射特性,實線表示像素11p_B的光譜透射特性。如圖15A所示,配置有濾光片111b的像素11p_R使500~600nm、900~1000nm的波段的光透射。配置有濾光片111a_R的像素11p_G使550~1000nm的波段的光透射。此外,配置有濾光片111a_B的像素11p_B使400~550nm和800~1000nm的波段的光透射。
此外,圖像處理部13的信號轉換部131(參照圖12)以圖13B所示的4像素為1組,對像素11p_R、11p_G、11p_B的信號成分根據以下的式子(12)~(14)轉換。
Ir-Ib=B……式(12)
Ib-Idm=G……式(13)
Idm=R……式(14)
上述Idm是從配置有濾光片111b的像素11p_R輸出的信號成分。
即,本實施方式中,將從透過濾光片111a_R的紅色的波長成分減去透過濾光片111a_B的波長成分而得的結果作為顯示裝置2的B信號成分。此外,將從透過濾光片111a_B的波長成分減去透過濾光片111b的波長成分而得的結果作為顯示裝置2的G信號成分。將透過濾光片111b的近紅外的波長成分作為顯示裝置2的R信號成分。
進而,在本實施方式中,在攝像裝置1為了觀察到觀察對象物質3對紅外波段的光的吸收,可以在攝像部11C設置截止700nm以下的可見光的波段的光的可見光截止濾光片。或者,可以在暗處從光源12照射近紅外波段的光,對觀察對象物質3進行攝像。只要構成為使得可見光的波段的光不入射至攝像部11C即可。
圖15B是表示在設置有可見光截止濾光片的狀態下對觀察對象物質3進行攝像,進行了上述轉換處理后的信號成分的光譜特性的圖。在圖15B中,虛線表示R信號成分,點劃線表示G信號成分,實線表示B信號成分。
如圖15B所示,在該例中,B信號成分的光譜特性具有700nm附近的峰值波長,具有700~820nm的波段。G信號成分的光譜特性具有820nm附近的峰值波長,具有750~900nm的波段。此外,R信號成分的光譜特性具有920nm附近的峰值波長,具有850~1000nm的波段。
本實施方式的攝像裝置1以R、G、B的信號成分表示觀察對象物質3對紅色~近紅外的波段的光的吸收,通過將R、G、B的各信號成分輸出至顯示裝置2,能夠在紅色~近紅外的波段中使具有吸光特性的觀察對象物質3的狀態可視化。以下說明這樣的攝像裝置1的應用例。
(應用例1)
本應用例中說明通過以攝像裝置對食用肉(豬肉)進行攝像,將表示食用肉的素質的圖像顯示于顯示裝置2的例子。
圖16是表示本應用例的攝像裝置的結構例的示意圖。如圖16所示,本應用例的攝像裝置1D作為光源12具有光源12_1~12_4。光源12_2由以750nm為峰值波長的LED構成。光源12_3由以800nm為峰值波長的LED構成。光源12_4由以930nm為峰值波長的LED構成。此外,光源12_1由白色LED構成。
豬肉根據其油酸的含有量,750nm、800nm、930nm的各波長附近的光的吸收有所變化。因此,本應用例中,將各個光源12_2~12_4同時點亮對豬肉進行攝像。由此,能夠將以R、G、B的各信號成分表示豬肉對上述各波長的吸收的圖像顯示于顯示裝置2。即,能夠顯示以B信號表示750nm附近的光的吸收、以G信號表示800nm附近的光的吸收、以R信號表示930nm附近的光的吸收的豬肉的油酸的含有量的圖像。
此外,也可以通過使光源12_2~12_4熄滅、使光源12_1點亮而對豬肉進行攝像,能夠在表示上述油酸的含有量的圖像的基礎上,將以R、G、B的各信號成分表示豬肉對光源12_1的光的吸收的圖像即豬肉的彩色圖像顯示于顯示裝置2。
(應用例2)
本應用例中,說明通過以攝像裝置對果實進行攝像,將表示果實的糖度的圖像顯示于顯示裝置2的例子。
一直以來,在果實的糖度的計測中,使用基于果實的紅外光的吸收光譜和使用其2次微分光譜制作出的檢量線來計測糖度的非破壞性計測法。本應用例中,通過將對2次微分光譜的峰值波長的信號成分和該峰值波長的前后的波長的信號成分進行運算而得的結果圖像化,使果實的糖度可視化。
例如,梨的糖度與梨的紅外光的吸收所產生的2次微分光譜的峰值波長918nm、996nm、882nm、700nm存在很強的相關關系。圖17是表示本應用例的攝像裝置1的結構例的示意圖。在本應用例中,如圖17所示,作為光源12,具有以918nm、996nm、882nm、700nm為各個峰值波長的光源12_1~12_4(以下稱為基準光源組)。
進而,光源12包括具有峰值波長比基準光源組短10~50nm的波長的光源12_11、12_21、12_31、12_41。即,光源12_11的峰值波長中比光源12_1的峰值波長918nm短10~50nm,光源12_21的峰值波長比光源12_2的峰值波長996nm短10~50nm。此外,光源12_31的峰值波長比光源12_3的峰值波長882nm短10~50nm,光源12_41的峰值波長比光源12_4的峰值波長700nm短10~50nm。
此外,進一步,光源12包括具有峰值波長比基準光源組長10~50nm的波長的光源12_12、12_22、12_32、12_42。即,光源12_12的峰值波長比光源12_1的峰值波長918nm長10~50nm,光源12_22的峰值波長比光源12_2的峰值波長996nm長10~50nm。此外,光源12_32的峰值波長比光源12_3的峰值波長882nm長10~50nm,光源12_42的峰值波長比光源12_4的峰值波長700nm長10~50nm。
本變形例中,首先進行使光源12_1、光源12_3、光源12_4(以下稱為第一光源組)點亮而攝像的第一攝像處理。之后,進行使峰值波長比第一光源組短的光源12_11、光源12_31、光源12_41(以下稱為第二光源組)點亮而攝像的第二攝像處理。接著,進行使峰值波長比第一光源組長的光源12_12、光源12_32、光源12_42(以下稱為第三光源組)點亮而攝像的第三攝像處理。進而,依次進行使光源12_2點亮而攝像的第四攝像處理、使光源12_21點亮而攝像的第五攝像處理和使光源12_22點亮而攝像的第六攝像處理。
將分別由第一~第三攝像處理得到的每個像素的電信號使用上述式(12)~(14)進行轉換,將轉換后的信號作為第一圖像信號、第二圖像信號、第三圖像信號。此外,將分別由第四~第六攝像處理得到的每個像素的電信號使用上述式(12)~(14)進行轉換,將轉換后的信號作為第一圖像信號、第二圖像信號、第三圖像信號。
圖像處理部13使用分別由第一~第三攝像處理得到的每個像素的第一~第三圖像信號,進行以下的式(15)的運算。進而,使用分別由第四~第六攝像處理得到的每個像素的第一~第三圖像信號進行以下的式(15)的運算。
(第一圖像信號)-2×(第二圖像信號)+(第三圖像信號)……式(15)
如圖15B所示,882nm附近的光的波長成分作為像素11p_G的信號被輸出,700nm附近的光的波長成分作為像素11p_B的信號被輸出。此外,918nm附近和996nm附近的光的波長成分作為像素11p_R的信號被輸出。對于像素11p_R的上述運算結果與果實的紅外光的吸收光譜的918nm和996nm的2次微分光譜的信號成分對應。此外,對于像素11p_G的上述運算結果與果實的紅外光的吸收光譜的882nm的2次微分光譜的信號成分對應。此外,對于像素11p_B的上述運算結果與果實的紅外光的吸收光譜的700nm的2次微分光譜的信號成分對應。
另外,918nm附近和996nm附近的光的波長成分由像素11p_R受光,因此關于像素11p_R,能夠得到基于由第一~第三攝像處理得到的第一~第三圖像信號的運算結果和基于由第四~第六攝像處理得到的第一~第三圖像信號的運算結果。因此,圖像處理部13對像素11p_G和像素11p_B按每個像素將1個運算結果存儲于RAM,對于像素11p_R將每個波長的運算結果存儲于RAM。
圖像處理部13將918nm、996nm、882nm、700nm的運算結果中與3個波長分別對應的像素的運算結果輸出至顯示裝置2。圖像處理部13例如在攝像裝置1中從上述4個波長接收3個波長的選擇,將與接收的3個波長分別對應的各像素的運算結果輸出至顯示裝置2。此外,在圖像處理部13中,可以根據與各波長對應的每個像素的運算結果的大小選擇3個波長,將與選擇的波長對應的像素的運算結果輸出至顯示裝置2。此外,可以使用對2次微分光譜的各峰值波長進行重回歸分析而得到的系數,計算與上述4個波長對應的各像素的上述運算結果的線形和,將對計算結果進行模擬或灰度等級轉換而得的信號輸出至顯示裝置2。
<變形例>
以上說明了本發明的實施方式,但上述實施方式僅是用于實施本發明的例示。由此,本發明并不限定于上述實施方式,在不脫離其主旨的范圍內能夠將上述實施方式適當變形而實施。以下說明本發明的變形例。
(1)上述第三實施方式的應用例中,顯示了表示植被指數NDVI的圖像,但葉綠素的吸光光譜由于大氣中的煙霧等的影響而變化。因此,本變形例中,說明使減小煙霧的影響,比植被指數NDVI靈敏度高的增強植被指數EVI(Enhanced Vegetation Index)可視化的例子。
本變形例中,如圖18A所示,作為上述第三實施方式的有機濾光片111a,代替彩色濾光片111a_G而具有彩色濾光片111a_B。此時,如圖18B所示,以在像素11p_G配置彩色濾光片111a_R、在像素11p_B配置彩色濾光片111a_B的方式構成即可。
信號轉換部131使用從圖18B所示的各像素輸出的電信號,進行以下的式(16)的運算,計算增強植被指數EVI。顯示控制部132可以將對每個像素的增強植被指數EVI以與其值對應的對比度或灰度等級顏色表示的圖像顯示于顯示裝置2。
EVI=(Ibr-Ir)÷(Ibr+C1×Ir-C2×Ib+1)……式(16)
C1、C2:煙霧修正系數
(2)此外,可以將上述第三實施方式的應用例的濾光片部111構成為圖19A所示的方式。如圖19A所示,本變形例中,作為有機濾光片111a,還具有彩色濾光片111a_B。此時,如圖19B所示,在像素11p_R配置濾光片111a_R,在像素11p_B配置濾光片111a_B。此外,濾光片111a_G和濾光片111a_BR分別配置于像素11p_G。
通過這樣構成,濾光片部111能夠使近紅外和R、G、B的各波段的光透射,因此能夠將基于透過配置有濾光片111a_R、111a_G、111a_B的像素11p_R、11p_G、11p_B的電信號的彩色圖像顯示于顯示裝置2。
(3)作為上述第三實施方式的其它應用例,可以使蘋果有無摔碰損傷可視化。根據蘋果有無摔碰損傷,740~810nm波段的蘋果的分光反射率的回歸直線的傾角不同。本變形例中,作為攝像裝置1的光源12,使用以810nm為峰值波長的LED和以740nm為峰值波長的LED對蘋果的反射光進行攝像。由此,740nm的吸光光譜以G信號成分表示,810nm的吸光光譜以R信號表示(參照圖11),因此能夠根據紅色和綠色的圖像的比例確認蘋果有無摔碰損傷。
另外,上述內容中使用具有740nm和810nm的峰值波長的光源,但也可以組合有機濾光片111a和無機多層膜而構成濾光片部111。例如,濾光片部111由彩色濾光片111a_G、層疊彩色濾光片111a_R和第一無機多層膜而得的層疊濾光片、層疊彩色濾光片111a_B和第二無機多層膜而得的層疊濾光片構成。第一無機多層膜以使810nm的光透射的方式構成,第二無機多層膜以使740nm的光透射的方式構成。由此,在使用照射紅外波段的光的光源時,也能夠使蘋果有無摔碰損傷可視化。
(4)此外,作為上述第三實施方式的其它應用例,可以使血液中含有的氧合血紅蛋白和還原血紅蛋白的吸收圖像化,觀察血液的氧飽和濃度。圖20是表示氧合血紅蛋白和還原血紅蛋白的吸光光譜的圖。圖20中,以虛線所示的波形表示氧合血紅蛋白的吸光光譜,以實線所示的波形表示還原血紅蛋白的吸光光譜。
如圖20所示,600~800nm的波段中,與氧合血紅蛋白相比,還原血紅蛋白的吸收較大,800nm以上的波段中,與還原血紅蛋白相比,氧合血紅蛋白的吸收較大。因此,此時作為光源12,使用峰值波長為660nm的光源和峰值波長為850nm的光源。
如圖11所示,660nm附近的吸收以G信號成分表示,850nm的吸收以R信號成分表示。即,氧合血紅蛋白以綠色的圖像顯示于顯示裝置2,還原血紅蛋白以紅色的圖像顯示于顯示裝置2。結果,能夠根據紅色和綠色的圖像確認還原血紅蛋白和氧合血紅蛋白的比例,來觀察血中的氧飽和濃度的狀態。
(5)上述第一實施方式到第四實施方式中,將濾光片部的各濾光片按照濾光片的透射波長由大到小的順序分別配置于像素11p_R、像素11p_G、像素11p_B,但濾光片的配置并不限定于此。例如,也可以按照濾光片的透射波長由小到大的順序分別配置于像素11p_R、像素11p_G、像素11p_B,也可以不受限于濾光片的透射波長的大小,配置于像素11p_R、像素11p_G、像素11p_B中的任意確定的任一像素。只要將濾光片部111的各濾光片配置于與拜耳陣列的R、G、B中的任一個對應的像素即可。
(6)上述第一實施方式到第四實施方式中,說明了通過將從圖像處理部13的顯示控制部132輸出的R、G、B的各信號成分輸出至顯示裝置2,對觀察對象物質3的狀態進行彩色顯示的例子,但在攝像裝置1設置有顯示部的情況下,也可以向其顯示部輸出R、G、B的各信號成分。
(7)上述第一實施方式到第四實施方式中,說明了將使用式(1)~(9)和式(12)~(14)運算出的結果作為顯示裝置2的R、G、B的信號成分進行R、G、B顏色的分配的例子,但例如也可以對該運算結果實施規定的運算處理而進行顯示裝置2的R、G、B的顏色的分配。此外,式(1)~(9)和式(12)~(14)中,從濾光片部的透射波段中的短波長成分依次分配B、G、R的信號成分,但并不限定于此。例如,也可以從短波長成分依次分配R、B、G的信號成分等根據容易理解的程度進行顯示裝置2的顏色的分配。只要將濾光片部的透射波段的波長成分分配于顯示裝置2的R、G、B的任意的信號成分即可。
(8)此外,本發明也可以是一種分析裝置,其包括:具有上述第一實施方式到第四實施方式的濾光片部和受光部和圖像處理部的攝像裝置1;和顯示裝置2。