圖像拾取裝置、圖像處理裝置、圖像處理方法和非暫時性計算機可讀存儲介質的制作方法
【技術領域】
[0001] 本發明涉及能夠根據原始圖像產生恢復圖像的圖像拾取裝置和圖像處理裝置。
【背景技術】
[0002] 由圖像拾取裝置獲得的原始圖像由于其中包含的圖像模糊分量而劣化，這些圖像 模糊分量是由在圖像拾取光學系統中發生的不利影響所引起的。這些不利影響包括各種類 型的像差，諸如球面像差、彗形像差、場彎曲、像散以及光衍射。由這些類型的像差所引起的 這種圖像模糊成分的存在指的是，當從一點發射的光束不遭受任何像差或者衍射時，該光 束不能會聚到另一點，而是細微地圍繞該另一點擴散。這種細微擴散分布被以點擴散函數 (PSF)表示。
[0003] 通過PSF的傅里葉變換獲得的光學傳遞函數（0TF)是關于像差的頻率分量信息并 且被以復數表示。分別地，0TF的絕對值（即，幅度分量）被稱為"調制傳遞函數"(MTF)，并 且相位分量被稱為"相位傳遞函數"（PTF)。調制分量MTF和相位分量PTF分別是由像差所 引起的圖像劣化的幅度分量以及相位分量的頻率特性，并且被以下面的表達式表示，其中 相位分量被定義為相位角。
[0004]PTF=tarT1(Im(OTF)/Re(0TF))
[0005] 在這個表達式中，符號Re(0TF)和Im(OTF)分別表示0TF的實部和虛部。如上所 述，因為圖像拾取光學系統的0TF使得圖像的幅度分量和相位分量劣化，所以，如在彗形像 差的情況下所見的，對象的每個點在劣化圖像中不對稱地模糊。在形成圖像的位置由于取 決于每個光波長的形成比率的差異而偏移，并且例如根據圖像拾取裝置的譜特性所形成的 圖像被獲得作為RGB顏色分量的情況下，發生放大倍率的色差。這指的是R、G和B分量的 成像位置彼此偏移，導致取決于波長的每個顏色分量的成像位置偏移，即，由于相移導致的 圖像擴散。
[0006] 作為校正幅度分量MTF和相位分量PTF的劣化的方法，已知使用關于圖像拾取光 學系統的0TF的信息進行校正。該方法一般被稱為圖像恢復或者圖像重構。相應地，其中通 過使用關于圖像拾取光學系統的0TF的信息來校正劣化的拍攝的圖像的處理在下文中被 稱為"圖像恢復處理"。作為一種圖像恢復方法，已知相對于輸入圖像將光學傳遞函數（0TF) 的逆特性與圖像恢復濾波器進行卷積的方法，在后面將描述該方法。
[0007] 對恢復圖像的有效使用需要獲得關于圖像拾取光學系統的0TF更準確的信息。典 型的圖像拾取光學系統的0TF根據像高（圖像中的位置）而極大地不同。另外，因為0TF 是由復數表示的二維數據，所以0TF具有實部與虛部。當將針對包括三種顏色分量（即，紅 (R)、綠（G)和藍（B))的彩色圖像執行圖像恢復處理時，由以下表達式表示具有單個像高的 0TF數據：垂直方向的抽頭數X水平方向的抽頭數X2(實部/虛部）X3 (RGB)。在該表達 式中，"抽頭數"指的是0TF數據的垂直和水平尺寸。針對包括像高、F數（光圈值）、變焦 (焦距）和物距的圖像拾取條件的所有項目而保持的這些抽頭數導致大的數據量。為了改 變取決于圖像中的位置的恢復特性，希望不是以批方式在頻空間中執行圖像恢復處理，而 是在切換恢復濾波器的同時在實空間中執行圖像恢復處理。
[0008]圖像模糊的一個原因是取決于圖像拾取光學系統的F數的光的衍射現象。在示出 了衍射界限曲線的圖9中，水平軸和垂直軸分別指示空間頻率和MTF。如圖9所示，F數指 示越深的顏色，截止頻率向越低的頻率側偏移。例如，具有4ym像素尺寸的圖像拾取元件 的奈奎斯特頻率是1251ineS/mm。因此，當F數，例如F2. 8,指示亮色時，由這種衍射現象所 引起的不利影響的程度是小的。相反，當F數，例如F16或者F32指示暗色時，這種不利影 響的程度是大的。因為如同像差的情況，可以用0TF或者PSF來表示衍射現象，所以上述圖 像恢復處理可以校正由衍射引起的模糊。
[0009]PTL1公開了在保持被轉換為系數的用于圖像恢復的0TF的同時，根據圖像拾取 裝置的各種圖像拾取條件來執行圖像恢復處理的方法。
[0010] 參考文獻列表
[0011] 專利文獻
[0012] [PTL1]日本專利公開No. 2012-73691
【發明內容】
[0013] 技術問題
[0014] 然而，0TF根據光圈值、物距和變焦鏡頭的焦距而不同。此外，0TF還根據畫面中的 像高而不同。這些事實導致相當大量的全高清晰度0TF數據。
[0015] 類似地，針對單個圖像執行的圖像恢復處理帶來了大的計算量。這是因為使用了 根據每個像高而調整的〇TF。PTL1中公開的方法通過保持被轉換為系數的用于圖像恢復 的0TF來減小數據量。然而，需要數據量和計算量的進一步減少，因為它們影響圖像拾取裝 置的圖像處理電路的運算速度和圖像拾取裝置的存儲器的成本。
[0016] 因此，本發明提供了圖像拾取裝置、圖像處理裝置、圖像處理方法和非暫時性計算 機可讀存儲介質，其能夠在減少數據量和計算量的同時執行高度準確的圖像恢復處理。
[0017] 問題的解決方案
[0018] 作為本發明的一個方面的圖像拾取裝置能夠根據原始圖像產生恢復圖像，并且包 括圖像拾取元件，被配置為對經由圖像拾取光學系統形成的對象圖像進行光電轉換以獲得 原始圖像；存儲單元，被配置為存儲第一光學傳遞函數和圖像恢復濾波器，第一光學傳遞函 數根據圖像拾取條件和原始圖像中的位置而不同，圖像恢復濾波器的二維濾波器值的分布 相對于原始圖像中的位置恒定并且根據光圈值或者被設計為產生第二光學傳遞函數的函 數而不同；數據獲得單元，被配置為當所述光圈值小于預定值時獲得第一光學傳遞函數，以 及當所述光圈值不小于所述預定值時獲得所述圖像恢復濾波器或者基于被設計為產生第 二光學傳遞函數的函數而產生的第二光學傳遞函數；濾波器產生單元，被配置為當所述數 據獲得單元獲得第一光學傳遞函數或者第二光學傳遞函數時，基于第一光學傳遞函數或者 第二光學傳遞函數產生圖像恢復濾波器；和圖像處理單元，被配置為通過使用存儲在所述 存儲單元中的圖像恢復濾波器或者由所述濾波器產生單元產生的圖像恢復濾波器，根據原 始圖像產生恢復圖像。
[0019] 作為本發明的另一方面的圖像處理裝置能夠根據原始圖像產生恢復圖像，并且包 括獲得單元，被配置為獲得原始圖像和原始圖像的圖像拾取條件；存儲單元，被配置為存儲 第一光學傳遞函數和圖像恢復濾波器，第一光學傳遞函數根據圖像拾取條件并且根據原始 圖像中的位置而不同，并且圖像恢復濾波器的二維濾波器值的分布相對于原始圖像中的位 置是恒定的并且根據光圈值或者被設計為產生第二光學傳遞函數的函數而不同；數據獲得 單元，被配置為當所述光圈值小于預定值時獲得第一光學傳遞函數，并且當所述光圈值不 小于所述預定值時，獲得所述圖像恢復濾波器或者基于被設計為產生所述第二光學傳遞函 數的函數而產生的第二光學傳遞函數；濾波器產生單元，被配置為當所述數據獲得單元獲 得第一光學傳遞函數或者第二光學傳遞函數時，基于第一光學傳遞函數或者第二光學傳遞 函數，產生圖像恢復濾波器；和圖像處理單元，被配置為通過使用存儲在所述存儲單元中的 圖像恢復濾波器或者由所述濾波器產生單元產生的圖像恢復濾波器，根據原始圖像產生恢 復圖像。
[0020] 作為本發明的另一方面的圖像處理方法是一種根據原始圖像產生恢復圖像的方 法，并且包括步驟：獲得原始圖像和原始圖像的圖像拾取條件，從存儲單元獲得第一光學 傳遞函數，所述存儲單元存儲當所述圖像拾取條件的光圈值小于預定值時將被使用的第一 光學傳遞函數，第一光學傳遞函數根據圖像拾取條件以及原始圖像中的位置而不同，并且 所述存儲單元存儲當所述光圈值不小于所述預定值時將被使用的圖像恢復濾波器，圖像恢 復濾波器的二維濾波器值的分布相對于原始圖像中的位置是恒定的并且根據光圈值或者 被設計為產生第二光學傳遞函數的函數而不同，當所述光圈值不小于所述預定值時，從所 述存儲單元獲得所述圖像恢復濾波器或者基于被設計為產生第二光學傳遞函數的函數而 產生的第二光學傳遞函數，當數據獲得單元獲得第一光學傳遞函數或者第二光學傳遞函數 時，基于第一光學傳遞函數或者第二光學傳遞函數產生圖像恢復濾波器，以及通過使用存 儲在所述存儲單元中的圖像恢復濾波器或者由濾波器產生單元產生的圖像恢復濾波器，根 據所述原始圖像產生恢復圖像。
[0021] 作為本發明的另一方面的非暫時性計算機可讀存儲介質存儲圖像處理程序，以便 根據原始圖像產生恢復圖像，并且所述圖像處理程序被配置為使得信息處理裝置執行步 驟：獲得原始圖像和原始圖像的圖像拾取條件，從存儲單元獲得第一光學傳遞函數，所述存 儲單元存儲當所述圖像拾取條件的光圈值小于預定值時將被使用的第一光學傳遞函數，第 一光學傳遞函數根據圖像拾取條件并且根據原始圖像中的位置而不同，并且所述存儲單元 存儲當所述光圈值不小于所述預定值時將被使用的圖像恢復濾波器，圖像恢復濾波器的二 維濾波器值的分布相對于原始圖像中的位置是恒定的并且根據光圈值或者被設計為產生 第二光學傳遞函數的函數而不同，當所述光圈值不小于預定值時，從所述存儲單元獲得所 述圖像恢復濾波器或者基于被設計為產生第二光學傳遞函數的函數而產生的第二光學傳 遞函數，當數據獲得單元獲得第一光學傳遞函數或者第二光學傳遞函數時，基于第一光學 傳遞函數或者第二光學傳遞函數產生圖像恢復濾波器，以及通過使用存儲在所述存儲單元 中的圖像恢復濾波器或者由濾波器產生單元產生的圖像恢復濾波器，根據所述原始圖像產 生恢復圖像。
[0022] 作為本發明的另一方面的圖像拾取裝置能夠根據原始圖像產生恢復圖像，并且包 括圖像拾取元件，被配置為對經由圖像拾取光學系統形成的對象圖像進行光電轉換以便獲 得原始圖像；存儲單元，被配置為存儲多個圖像恢復濾波器，所述圖像恢復濾波器的二維濾 波器值的分布根據光圈值而不同；確定單元，被配置為確定拍攝原始圖像時設置的光圈值 是否不小于預定值；和圖像處理單元，被配置為當所述光圈值不小于所述預定值時根據光 圈值從圖像恢復濾波器選擇圖像恢復濾波器，以便通過使用選擇的圖像恢復濾波器，根據 原始圖像產生恢復圖像。
[0023] 作為本發明的另一方面的圖像處理裝置能夠根據原始圖像產生恢復圖像，并且包 括獲得單元，被配置為獲得原始圖像和拍攝所述原始圖像時設置的光圈值；存儲單元，被配 置為存儲多個圖像恢復濾波器，所述圖像恢復濾波器的二維濾波器值的分布根據光圈值而 不同；確定單元，被配置為確定拍攝原始圖像時設置的光圈值是否不小于一個預定值；和 圖像處理單元，被配置為當所述光圈值不小于所述預定值時根據光圈值從圖像恢復濾波器 選擇圖像恢復濾波器，以便通過使用選擇的圖像恢復濾波器根據原始圖像產生恢復圖像。
[0024] 作為本發明的另一方面的圖像處理方法是一種根據原始圖像產生恢復圖像的方 法，并且包括步驟：獲得原始圖像和拍攝原始圖像時設置的光圈值，確定所述光圈值是否不 小于一個預定值，以及當所述光圈值不小于所述預定值時，從根據光圈值而不同的多個圖 像恢復濾波器中選擇對應于所述光圈值的圖像恢復濾波器，并且通過使用選擇的圖像恢復 濾波器，根據所述原始圖像產生恢復圖像。
[0025] 作為本發明的另一方面的非暫時性計算機可讀存儲介質存儲圖像處理程序，以便 根據原始圖像產生恢復圖像，并且所述圖像處理程序被配置為使得信息處理裝置執行：獲 得原始圖像和當拍攝所述原始圖像時設置的光圈值，確定所述光圈值是否不小于一個預定 值，當所述光圈值不小于所述預定值時，從根據光圈值而不同的多個圖像恢復濾波器中選 擇對應于所述光圈值的圖像恢復濾波器，和通過使用選擇的圖像恢復濾波器，根據所述原 始圖像產生恢復圖像。
[0026] 作為本發明的另一方面的圖像拾取裝置能夠通過相對于原始圖像使用圖像恢復 濾波器來產生恢復圖像，并且包括圖像拾取元件，被配置為對經由圖像拾取光學系統形成 的對象圖像進行光電轉換來獲得原始圖像；確定單元，被配置為確定拍攝所述原始圖像時 設置的光圈值是否不小于一個預定值；存儲單元，被配置為存儲對應于光圈值而準備的多 個圖像恢復濾波器；選擇單元，被配置為當拍攝原始圖像時設置的光圈值不小于所述預定 值時，從圖像恢復濾波器中選擇對應于所述光圈值的圖像恢復濾波器；和圖