圖像獲取裝置、圖像獲取方法以及程序的制作方法
【技術領域】
[0001 ] 本申請涉及圖像獲取裝置、圖像獲取方法以及程序。
【背景技術】
[0002] 對于攝像裝置所使用的攝像元件，采用的是多個光電變換部在攝像面內被排列為 行以及列狀的二維圖像傳感器。光電變換部典型的是形成于半導體層或者半導體基板的光 電二極管，接受入射光來生成電荷。二維圖像傳感器的分辨率（resolution)依賴于攝像面 上的光電變換部的排列間距或者排列密度。各個光電變換部的排列間距已短至可見光的波 長程度，因此使得分辨率進一步提升極為困難。
[0003] 由攝像元件獲取的圖像通過多個像素來規定。各像素通過包含一個光電變換部的 單位區域來劃分。在攝像面上，由于存在布線所占有的區域，因此一個光電變換部的受光面 積S2小于一個像素的面積S1。受光面積S2相對于像素的面積Sl的比率（S2/S1)被稱作 "開口率"。開口率（S2/S1)例如可取25%左右的值。若開口率小，則用于光電變換的入射 光量少，因此攝像元件所輸出的像素信號的質量下降。如果采用以與攝像面對置的方式配 置微透鏡陣列，各個微透鏡與各個光電變換部對置來進行聚光的構成，則實際上能夠有效 地擴大受光面積S2,提高開口率（S2/S1)以接近于1。但是，即便如此提高開口率（S2/S1)， 像素的排列間距以及排列密度也不會增加，因此分辨率不變化。
[0004] 專利文獻1公開了基于超分辨率技術的高分辨率化。其中，為了在這種高分辨率 化中進行去卷積的恢復，需要求出點擴展函數（Point Spread Function :PSF)。例如，實際 決定PSF時需要利用點狀的光源，提出了使用量子點、熒光珠來求出PSF的方案。
[0005] 在先專利文獻
[0006] 專利文獻
[0007] 專利文獻1 :日本特開2006-140885號公報
【發明內容】
[0008] 發明要解決的課題
[0009] 準確地求出PSF較為困難。此外，PSF的大小與攝影倍率成比例，因此PSF的測定 誤差與攝影倍率成比例地增大，其結果導致高分辨率圖像的畫質與分辨率成比例地劣化。 [0010] 用于解決課題的手段
[0011] 本公開的一形態的圖像獲取裝置具備：照明系統，其以被攝體為基準而從多個不 同的照射方向依次射出照明光，以所述照明光來照射所述被攝體；攝像元件，其被配置在透 過了所述被攝體的所述照明光所入射的位置，并根據所述不同的照射方向來獲取不同的多 個圖像；圖像處理部，其基于所述多個圖像來形成分辨率比所述多個圖像的各個圖像有提 升的所述被攝體的高分辨率圖像；和存儲器，其保存針對所述多個照射方向的各個照射方 向來表示通過所述攝像元件的各像素中所含的多個子像素的上表面的光線入射至所述像 素的光電變換部的比例的數據，所述圖像處理部將構成所述多個圖像的各個圖像的像素值 的、與所述多個照射方向相應的組設為向量，基于從所述存儲器讀出的所述數據來形成所 述被攝體的高分辨率圖像。
[0012] 本公開的一形態的圖像獲取方法被設定為包括：以被攝體為基準而從多個不同的 照射方向依次射出照明光，以所述照明光來照射所述被攝體的步驟；利用被配置在透過了 所述被攝體的所述照明光所入射的位置處的攝像裝置，根據所述不同的照射方向來獲取不 同的多個圖像的步驟；基于所述多個圖像來形成分辨率比所述多個圖像的各個圖像有提升 的所述被攝體的高分辨率圖像的步驟；和在存儲器中保存針對所述多個照射方向的各個照 射方向來表示通過所述攝像元件的各像素中所含的多個子像素的上表面的光線入射至所 述像素的光電變換部的比例的數據的步驟，將構成所述多個圖像的各個圖像的像素值的、 與所述多個照射方向相應的組設為向量，基于從所述存儲器讀出的所述數據，將以所述比 例為系數的矩陣的逆矩陣與所述像素值的向量進行運算，來形成所述被攝體的高分辨率圖 像。
[0013] 本公開的一形態的圖像獲取裝置具備：照明裝置、攝像元件和計算機，所述計算機 被設定為：利用所述照明裝置，以被攝體為基準而從多個不同的照射方向依次射出照明光， 以所述照明光來照射所述被攝體，利用被配置在透過了所述被攝體的所述照明光所入射的 位置處的攝像裝置，根據所述不同的照射方向來獲取不同的多個圖像，基于所述多個圖像 來形成分辨率比所述多個圖像的各個圖像有提升的所述被攝體的高分辨率圖像，在存儲器 中保存針對所述多個照射方向的各個照射方向來表示通過所述攝像元件的各像素中所含 的多個子像素的上表面的光線入射至所述像素的光電變換部的比例的數據，所述圖像處理 部將構成所述多個圖像的各個圖像的像素值的、與所述多個照射方向相應的組設為向量， 基于從所述存儲器讀出的所述數據，將以所述比例為系數的矩陣的逆矩陣與所述像素值的 向量進行運算，來形成所述被攝體的高分辨率圖像。
[0014] 本公開的一形態的程序是具備照明裝置、攝像元件和計算機的圖像獲取裝置用的 程序，該程序被構成為：利用所述照明裝置，以被攝體為基準而從多個不同的照射方向依次 射出照明光，以所述照明光來照射所述被攝體，利用被配置在透過了所述被攝體的所述照 明光所入射的位置處的攝像裝置，根據所述不同的照射方向來獲取不同的多個圖像，基于 所述多個圖像來形成分辨率比所述多個圖像的各個圖像有提升的所述被攝體的高分辨率 圖像，在存儲器中保存針對所述多個照射方向的各個照射方向來表示通過所述攝像元件的 各像素中所含的多個子像素的上表面的光線入射至所述像素的光電變換部的比例的數據， 所述圖像處理部將構成所述多個圖像的各個圖像的像素值的、與所述多個照射方向相應的 組設為向量，基于從所述存儲器讀出的所述數據，將以所述比例為系數的矩陣的逆矩陣與 所述像素值的向量進行運算，來形成所述被攝體的高分辨率圖像。
[0015] 本公開的一形態的圖像獲取裝置具備：光源，其向被攝體照射光，并且姿勢以及位 置被固定；傾斜機構，其使所述被攝體傾斜為多個傾斜角度；攝像元件，其被配置在透過了 所述被攝體的所述光所入射的位置，并且利用所述傾斜機構而與所述被攝體一體地傾斜， 根據所述多個傾斜角度來獲取多個圖像；圖像處理部，其基于所述多個圖像來形成分辨率 比所述多個圖像的各個圖像有提升的所述被攝體的高分辨率圖像；和存儲器，其針對所述 多個傾斜角度的各個傾斜角度來表示通過所述攝像元件的各像素中所含的多個子像素的 上表面的光線入射至所述像素的光電變換部的比例的數據，所述圖像處理部將構成所述多 個圖像的各個圖像的像素值的、與所述多個傾斜角度相應的組設為向量，并基于從所述存 儲器讀出的所述數據來形成所述被攝體的高分辨率圖像。
[0016] 發明效果
[0017] 根據本公開的實施方式，能夠通過對由一個攝像元件獲得的多個低分辨率圖像進 行合成來實現高分辨率化。
【附圖說明】
[0018] 圖1是示意性地表示攝像元件中的光電二極管的排列例的俯視圖。
[0019] 圖2是示意性地表示攝像元件中的一個像素和開口區域的關系的俯視圖。
[0020] 圖3是示意性地表示攝像元件中的一個像素和開口區域的關系的剖視圖。
[0021] 圖4A是用于說明本公開的圖像獲取裝置的構成以及動作的剖視圖。
[0022] 圖4B是用于說明本公開的圖像獲取裝置的構成以及動作的剖視圖。
[0023] 圖5A是表示本公開的圖像獲取裝置中的照明的示例的圖。
[0024] 圖5B是表示本公開的圖像獲取裝置中的照明的示例的圖。
[0025] 圖5C是表示本公開的圖像獲取裝置中的照明的示例的圖。
[0026] 圖6是表示本公開的圖像獲取裝置中的照明的其他示例的圖。
[0027] 圖7是表示本公開之中的攝像元件中的光線入射的示例的剖視圖。
[0028] 圖8是表示本公開之中的攝像元件中的光線入射的其他示例的剖視圖。
[0029] 圖9是表示本公開之中的攝像元件中的光線入射的進一步的其他示例的剖視圖。
[0030] 圖10是表示本公開之中的攝像元件中的光線入射的進一步的其他示例的剖視 圖。
[0031] 圖11是表示本公開之中的攝像元件中的通過了被攝體的光線入射的示例的剖視 圖。
[0032] 圖12A是表示針對照射方向Jl~J4的各個照射方向而通過拍攝獲得的光電二極 管40的輸出值A 4和透過率Sl~S4的關系的表格。
[0033] 圖12B是表示針對N個像素且針對照射方向Jl~J4的各個照射方向而通過拍攝 獲得的光電二極管40的輸出值和透過率Sl~S4的關系的表格。
[0034] 圖13A是表示針對照射方向Jl~J5的各個照射方向而通過拍攝獲得的光電二極 管40的輸出值A 5和透過率Sl~S4的關系的表格。
[0035] 圖13B是表示針對N個像素且針對照射方向Jl~J5的各個照射方向而通過拍攝 獲得的光電二極管40的輸出值和透過率Sl~S4的關系的表格。
[0036] 圖14是表示針對照射方向Jl~J3的各個照射方向而通過拍攝獲得的光電二極 管40的輸出值Al~A3和透過率Sl~S2的關系的表格。
[0037] 圖15是對圖14的表格所示的關系進行規定的條件式。
[0038] 圖16是在橫軸為Sl、縱軸為S2的二維坐標平面上繪制了由圖15的3個條件式所 表不的3條直線的圖表。
[0039] 圖17是表示第一實施方式所涉及的圖像獲取裝置的簡要構成的框圖。
[0040] 圖18是表示第一實施方式所涉及的圖像獲取裝置中的光源的位置偏離所引起的 光線入射位置的誤差的剖視圖。
[0041] 圖19是表示第一實施方式所涉及的圖像獲取裝置中的從點光源射出的光束的擴 展所引起的光線入射位置的偏移的剖視圖。
[0042] 圖20是表示可設為利用了矩陣的運算的對象的計算范圍的示例的圖。
[0043] 圖21是表示設有遮光部的攝像元件的一例的立體圖。
[0044] 圖22是表示設有遮光部的攝像元件的一例的剖視圖。
[0045] 圖23是表示第一實施方式所涉及的圖像獲取裝置的動作的流程圖。
[0046] 圖24是表示第二實施方式所涉及的圖像獲取裝置的簡要構成的框圖。
[0047] 圖25是表示第二實施方式所涉及的圖像獲取裝置的動作的流程圖。
[0048] 圖26是表示用于獲取放大率為2倍的高分辨率圖像的放大圖像2801的獲取方法 的圖。
[0049] 圖27是表示具備以能裝卸的方式保持作為攝像對象的被攝體以及攝像元件的保 持裝置的改變例的圖。
[0050] 圖28是表示具備以能裝卸的方式保持作為攝像對象的被攝體以及攝像元件的保 持裝置的其他改變例的圖。
[0051] 圖29是表示具備以能裝卸的方式保持作為攝像對象的被攝體以及攝像元件的保 持裝置的進一步的其他改變例的圖。
[0052] 圖30是表示具備以能裝卸的方式保持作為攝像對象的被攝體以及攝像元件的保 持裝置的進一步的其他改變例的圖。
[0053] 圖31是表示具備以能裝卸的方式保持作為攝像對象的被攝體以及攝像元件的保 持裝置的進一步的其他改變例的圖。
[0054] 圖32是表示具備以能裝卸的方式保持作為攝像對象的被攝體以及攝像元件的保 持裝置的進一步的其他改變例的圖。
[0055] 圖33是表示具備以能裝卸的方式保持作為攝像對象的被攝體以及攝像元件的保 持裝置的進一步的其他改變例的圖。
[0056] 圖34是表示具備以能裝卸的方式保持作為攝像對象的被攝體以及攝像元件的保 持裝置的進一步的其他改變例的圖。
[0057] 圖35是表示具備以能裝卸的方式保持作為攝像對象的被攝體以及攝像元件的保 持裝置的進一步的其他改變例的圖。
[0058] 圖36是表示具備以能裝卸的方式保持作為攝像對象的被攝體以及攝像元件的保 持裝置