進行圖像恢復處理的圖像處理設備和圖像處理方法
【技術領域】
[0001]本發明涉及進行圖像恢復處理的圖像處理設備和圖像處理方法，尤其涉及用于校正劣化圖像的處理。
【背景技術】
[0002]通常，在通過使用諸如數字照相機等的攝像設備拍攝被攝體來獲得圖像的情況下，該圖像例如由于攝像光學系統的像差而大幅劣化(即，圖像變模糊)。圖像的模糊通常是由攝像光學系統的球面像差、彗星像差、像場彎曲或像散像差等所引起的。在無任何衍射影響的消球差狀態中，來自被攝體的一點的光束在攝像裝置的攝像面上再次收斂于一點。另一方面，如果存在任何上述像差，則應當在攝像面上再次收斂于一點的光發散而導致在如此形成的圖像上產生模糊成分。
[0003]圖像上產生的模糊成分是通過點擴散函數(PSF)光學地進行定義的。盡管失焦的圖像也變模糊，但這里，將即使在圖像聚焦的情況下攝像光學系統的像差所引起的圖像的模糊也稱為“模糊”。關于彩色圖像上的滲色，可以將由攝像光學系統的軸向色像差、顏色的球面像差和顏色的彗星像差所引起的滲色稱為依賴于光的波長的不同方式的模糊。此外，關于圖像的水平方向上的顏色偏移，可以將攝像光學系統的倍率色像差(lateralchromatic aberrat1n)所引起的顏色偏移稱為由依賴于光的波長的不同的攝像倍率所弓I起的位置偏移或相位偏移。
[0004]通過對上述PSF進行傅立葉變換所獲得的光學傳遞函數(OTF)是像差的頻率成分，并且由復數來表示。將光學傳遞函數(OTF)(以下將“光學傳遞函數”適當簡稱為“0TF”)的絕對值、即振幅成分稱為調制傳遞函數(MTF)，并且將相位成分稱為相位傳遞函數(PTF) ο
[0005]這些MTF和PTF分別是像差所引起的圖像的劣化的振幅成分和相位成分的頻率特性。通過以下的等式(I)來將相位成分表示為相位角。注意，Re (OTF)和Im(OTF)分別表示OTF的實部和虛部:
[0006]PTF = tan 1 {Im (OTF) /Re (OTF)}...(I)
[0007]攝像光學系統中的OTF使圖像的振幅成分和相位成分劣化，因而在劣化圖像中，例如在由彗星像差引起劣化的情況下，被攝體的各點以非對稱的方式變模糊。此外，在由倍率色像差引起劣化的情況下，成像位置由于光學波長之間不同的成像倍率而偏移，并且在根據從被攝體所反射的光的光譜特性而接收到光作為RGB顏色成分的情況下，這導致在這些顏色成分之間產生不同的圖像倍率。
[0008]這導致不僅在紅色、綠色和藍色(RGB)的成分之間產生成像位置的偏移，而且在各顏色成分中在各波長之間也產生成像位置的偏移。也就是說，圖像因相位偏移而發散。確切地說，倍率色像差不會產生簡單的平行顏色偏移。然而，除非另外說明，否則以下將假定顏色偏移具有與倍率色像差相同的含義來進行說明。
[0009]作為校正振幅(MTF)的劣化和相位(PTF)的劣化的方法，例如，已知有使用攝像光學系統的OTF來校正劣化的方法。將該方法稱為圖像恢復或圖像復原。在以下說明中，將用于使用攝像光學系統的OTF來校正圖像的劣化的處理稱為圖像恢復處理或簡稱為恢復處理。
[0010]現在將說明圖像恢復處理的概述。假定利用g(x，y)表示劣化圖像、利用f (X，y)表示原始圖像，并且利用h(x，y)表示通過對OTF進行逆傅立葉變換所獲得的PSF。在這種情況下，以下等式⑵成立。注意，*表示卷積，并且(x，y)表示圖像上的坐標。
[0011]g(x,y) = h(x,y)*f(x,y)…(2)
[0012]在通過傅立葉變換將等式(2)轉換成基于頻率的形式的情況下，如通過以下的等式(3)所示，這樣給出了針對各頻率的積的形式。注意，H表示PSF的傅立葉變換的結果、即0TF，并且G和F分別表示劣化圖像g和原始圖像f的傅立葉變換的結果。(U，V)的值表示二維頻率面上的點的坐標、g卩頻率。
[0013]G (U，V) =H (U，V).F (u, v) …(3)
[0014]為了根據通過拍攝所獲得的劣化圖像獲得原始圖像，如通過以下的等式(4)所示，僅需將等式⑶的兩側除以H。
[0015]G (u, v) /H (u, v) = F (u, v)...(4)
[0016]通過對等式(4)中的F(u，v)進行逆傅立葉變換而返回至實面，可以獲得原始圖像f(x, y)作為恢復圖像。
[0017]這里，在假定利用R來表示通過對等式(4)中的1/H進行逆傅立葉變換所得到的結果的情況下，通過在實面上對圖像進行卷積處理，如通過以下的等式(5)所示，可以同樣獲得原始圖像。
[0018]g(x, y)*R(x, y) = f (x, y)…(5)
[0019]將等式(5)中的R(x，y)稱為圖像恢復濾波器。實際圖像具有噪聲成分，因而如果如上所述使用通過OTF的倒數所生成的圖像恢復濾波器，則噪聲成分連同劣化圖像一起被放大，結果無法獲得良好圖像。
[0020]為了防止噪聲成分被放大，例如，提出了如Wiener濾波器那樣、用于根據圖像和噪聲之間的強度比來抑制圖像中的高頻成分的恢復率的方法。此外，作為用于校正圖像中的由滲色成分所引起的劣化的方法，提出了用于通過對上述模糊成分進行校正以使得模糊量針對圖像的各顏色成分變均勻來校正滲色成分的方法。
[0021]OTF根據諸如變焦位置的狀態和光圈直徑的狀態等的拍攝狀態而改變。因此，還要求圖像恢復處理中所使用的圖像恢復濾波器根據拍攝狀態而改變。例如，在用于觀察生物體內部的內窺鏡中，提出了用于使用與熒光波長相對應的PSF來在攝像部的聚焦范圍外的范圍中消除圖像模糊的方法(參見日本特開平10-165365)。在該方法中，由于熒光微弱，因此需要F值小的物鏡光學系統。然而，如果使用F值小的物鏡光學系統，則焦深變淺，因而通過針對被攝體失焦的范圍進行圖像恢復處理來獲得聚焦圖像。
[0022]如上所述，對通過拍攝所獲得的圖像進行圖像恢復處理，以由此校正上述的各種類型的像差，由此可以提高圖像質量。然而，在進行拍攝時，拍攝狀態和圖像恢復濾波器的狀態并非始終最佳地一致。例如，在拍攝三維被攝體的情況下，發生這種問題。
[0023]在攝像設備中，通過使用自動調焦或手動調焦聚焦于被攝體空間的一個面來進行拍攝。如此，在被攝體為三維的情況下，被攝體距離根據視角而不同。聚焦物體以相對清晰的狀態被拍攝，但失焦物體伴隨有依賴于距離的模糊量而被拍攝。在僅針對聚焦點獲取到與被攝體距離有關的信息的情況下，選擇或生成最適合該被攝體距離中的各視角的圖像恢復濾波器以供使用。
[0024]在經過圖像恢復處理之后的圖像中，圖像恢復濾波器最適合聚焦物體，因而可以獲得期望的銳度。另一方面，圖像恢復濾波器不是最適合失焦物體，因而盡管獲得了某種程度的恢復效果，但圖像仍模糊。
[0025]另一方面，傳統上，已知如下:依賴于被攝體距離的模糊程度在表現被攝體的三維感或與背景隔離地表現所觀看物體方面產生良好效果。例如，通過使用景深淺的遠攝透鏡，以主被攝體聚焦但背景有意變模糊的方式來表現圖像。在這種情況下，同樣在經過圖像恢復處理之后的圖像中，期望使聚焦物體變清晰，但失焦物體仍保持模糊，并且通過使用上述的圖像恢復方法來進行模糊表現。
[0026]然而，如果使用并非最適合失焦物體的距離的圖像恢復濾波器來對失焦物體進行圖像恢復處理，則在圖像上有時發生著色。注意，術語“著色”是指:由于失焦物體的邊緣部上的各顏色成分之間的模糊關系在執行圖像恢復處理之前和之后有所不同，因此在經過圖像恢復處理之后的圖像上產生顏色未包括在被攝體中的缺陷。
[0027]此外，這種著色有時不僅僅發生在三維被攝體的拍攝中。更具體地，如果例如由于攝像光學系統的制造偏差或拍攝時的光源光譜的變化因而實際拍攝狀態中的像差狀態和圖像恢復濾波器作為對象的像差狀態不同，則發生著色，而與被攝體是否聚焦無關。
[0028]作為抑制上述著色的方法，例如，提出了用于基于進行了圖像恢復處理之前的圖像中的顏色信息來校正進行了圖像恢復處理之后的圖像的顏色的方法。在該方法中，針對圖像的各像素判斷由圖像恢復處理所引起的顏色的變化，由此抑制由圖像恢復處理所引起的著色。
[0029]例如，提出了用于在經過圖像恢復處理之后的圖像中的色差變得大于進行圖像恢復處理之前的色差的情況下對信號值進行校正以減少色差量的方法(例如，參見日本特開2010-86138)。
[0030]如上所述，通過對拍攝所獲得的圖像進行圖像恢復處理以減輕例如在失焦物體的圖像上發生的著色、并且校正各種類型的像差，可以提高圖像質量。
[0031]然而，在進行拍攝時，在攝像裝置所進行的光電轉換期間產生噪聲，由此在圖像中包含噪聲成分。通常，攝像裝置的感光度被設置得越高，該噪聲越大。在根據恢復處理之前和之后的色差來對包含光電轉換期間所產生的大量噪聲的圖像進行著色抑制處理的情況下，圖像的被攝體的色感有時改變或不準確。
[0032]圖20A?20E是用于說明在包含攝像裝置所進行的光電轉換期間所產生的噪聲的圖像中在經過恢復處理之前和之后沿一條線的G信號和R信號的像素值以及G信號和R信號之間的色差的圖。圖20A示出恢復處理之前的像素值的變化，而圖20B示出恢復處理之后的像素值的變化。圖20C示出恢復處理之前的色差的變化，而圖20D示出恢復處理之后的色差的變化。此外，圖20E示出恢復處理之前和之后的色差的比較。
[0033]在該示例中，盡管被攝體的亮度和顏色的變化小，但如圖20A所示，像素值由于圖像恢復處理之前所產生的噪聲而改變。如上所述，期望通過考慮到噪聲的放大來形成圖像恢復處理中所使用的圖像恢復濾波器。
[0034]然而，難以將因攝像光學系統的像差而發生劣化的劣化圖像與噪聲成分完全分開，因而噪聲因圖像恢復處理而被放大。也就是說，如圖20B所示，在圖像恢復處理之后，像素值的變化沒有減小。注意，在圖20B中，“R”表示應用圖像恢復濾波器之后的R信號值，并且“R’”表示進行了用于抑制著色的校正的信號值。
[0035]圖20C示出圖像恢復處理之前的色差，并且這里色差是指G信號和R信號之間的差(R-G)。圖20D示出圖像恢復處理之后的色差，其中“Cr”表示應用圖像恢復濾波器之后的色差，并且“Cr’ ”表示進行了用于抑制著色的校正的色差。在該示例中，針對相比圖像恢復處理之前、在經過圖像恢復處理之后色差變大的像素對R信號進行校正，使得減小了色差量。
[0036]圖20E示出以在圖像恢復