專利名稱：圖像拾取裝置和修復增益數據產生方法
技術領域：
本公開的主題涉及到的圖像拾取(pickup)裝置和修復增益數據產生方法，更具體地，涉及用于省略用于機械調焦的調焦機構并且獲得高質量的圖像信號的技術。
背景技術：
已經提出一種圖像修復裝置，其成像光學系統具有通過在成像光學系統的光路中插入用于相位調制的相位板(光學波前調制元件)而擴展的焦深，并且通過使用修復濾色器使模糊圖像經過濾色處理來將因擴展的焦深而模糊的圖像(較大的點像(point image))修復到高分辨率的圖像(較小的點像)(日本專利申請特許公開號2009-89082)。在圖9A至9C所示，在日本專利申請特許公開號2009-89082中描述的圖像修復裝置使用為R、Gr、B和( 的各種顏色制備的、用于從彩色圖像拾取元件(圖9A的部分A)輸出的R(紅色)、G(綠色)和B(藍色)顏色的RAW數據塊(圖9A的B部分)的修復濾色器，該修復濾色器具有以Bayer排列(Bayer pattern)配置的濾色片，以采用修復濾色器中的對應于所關注像素(圖9B)的顏色的一個逐個像素地進行濾色處理(去卷積處理)，并且更具體地，在將經受Bayer排列插值的RAW數據塊上執行修復處理。該圖像修復裝置被配置為通過在Bayer排列中的一個圖像上執行修復處理代替在R，G和B三個圖像上執行修復處理而減少工作量。
發明內容
然而，由于在日本專利申請特許公開號2009-89082中描述的圖像修復裝置在根據色彩切換將被使用的濾色器的同時對從彩色圖像拾取元件輸出的R、Gr、B和( 彩色信號執行修復處理，因此產生彩色信號雜波或彩色噪聲(color noise) 0更具體地說，為每種顏色使用不同的修復濾色器導致使用最適合每種顏色的修復增益數據，并且因而允許改善用于每種顏色的修復精度。然而，由于去卷積處理是執行卷積計算的過程，包括用增益乘以像素值(修復增益數據塊)，為每種顏色使用不同的修復濾色器(不同修復增益數據塊)導致彩色信號雜波的產生。此外，為每種顏色使用不同的修復濾色器增加了電路規模和處理成本。在考慮以上所述的情況下取得本公開的主題。本公開的主題的目的是提供圖像拾取裝置和修復增益數據產生方法，其能夠將具有擴展焦深的彩色圖像修復成高分辨率的彩色圖像，且更具體地，其能夠減少由修復處理引起的彩色信號雜波，能夠實現與電路規模減少相關的成本降低。為了實現上述目的，根據本公開的主題的一個方面的圖像接收裝置包括成像鏡頭，配置為執行相位調制功能以擴展景深；彩色圖像拾取元件，配置為將通過成像鏡頭并且形成在該圖像拾取元件上的光學圖像轉換成電信號，該圖像拾取元件具有以預定排列為對應的像素配置的三基色的基色濾色器；和修復處理裝置，配置為采用單個修復濾色器對從彩色圖像拾取元件輸出的對應于三基色的基色濾色器的彩色信號執行濾色處理，該修復濾色器是當由成像鏡頭執行相位調制時獲得的點擴散函數的反函數。根據第一方面，由于單個修復濾色器共同用于三基色的彩色信號，在修復處理之后經過插值處理(對與基色濾色器的布置有關的彩色信號的空間位移進行插值并將彩色信號轉換成同步彩色信號的過程)的彩色圖像信號中產生的彩色信號雜波可以被減少。此外，單個修復濾色器的使用也實現了與電路規模減小相關的成本降低。優選地，修復處理裝置采用所述單個修復濾色器對從彩色圖像拾取元件輸出的三基色的彩色信號中的位于圖像拾取屏幕內設為每個采用信號執行濾色處理，而不管每個彩色信號的圖像高度。與其中不同修復濾色器用于每個圖像的情況相比，可以實現電路規模 (成本)的較大減小。優選地，修復處理裝置包括存儲裝置，該存儲裝置配置為存儲具有對應于預定內核尺寸的修復增益數據塊的修復過濾器，并且在對各個像素處的從彩色圖像拾取元件輸出的彩色信號進行修復處理時，修復處理裝置采用存儲在存儲裝置中的修復濾色器的修復增益數據塊執行在將被處理的所關注像素處的彩色信號和在以所述所關注像素為中心的預定區域內的其顏色與所關注像素的顏色相同的像素處的彩色信號的卷積計算，并用通過卷積計算獲得的值取代所關注像素處的彩色信號。優選地，存儲在存儲裝置中的對應于預定內核尺寸的修復增益數據塊圍繞內核中心旋轉對稱。使用這種配置，實現在整個屏幕上的分辨能力的一致性或均勻性。根據本公開的主題的一個方面的修復增益數據產生方法，用于產生將被存儲在該圖像拾取裝置的存儲裝置中的對應于預定內核尺寸的修復增益數據塊，該方法包括通過彩色圖像拾取元件和對應于該彩色圖像拾取元件的用于檢查的彩色圖像拾取元件中的一個以及成像鏡頭拾取點像的步驟；基于從彩色圖像拾取元件獲得的對應于三基色的基色濾色器的一種顏色或多種顏色的彩色信號的實際測量值，計算點擴散函數的步驟；基于對應于所述一種顏色或多種顏色的計算出的點擴散函數的平均值計算點擴散函數的反函數的步驟；以及基于所述反函數產生對應于計算出的反函數的修復增益數據塊的步驟。根據該方法，基于來自具有擴展景深的相位調制功能的成像鏡頭和該成像鏡頭與彩色圖像拾取元件的組合中的一種的實際測量值計算點擴散函數。交集可以被更充分地考慮，并且與根據鏡頭設計值計算點擴散函數的情況相比，可以計算更準確的點擴散函數。這允許改善圖像質量。注意到，可以基于從彩色圖像拾取元件獲得的三基色的任意一種的實際測量值來計算點擴散函數。此外，可以基于三基色的多種顏色的實際測量值計算用于三基色的多種顏色的點擴散函數的平均值。優選地，三基色是R(紅)、G(綠)和B(藍)三基色，并且實際測量值是從對應于彩色圖像拾取元件的G基色濾色器的G像素獲得的。由于在G像素處的彩色信號接近于亮度信號，使用單個修復濾色器允許最小化缺點(分辨能力降低)。此外，在具有以Bayer排列布置的R、G和B濾色器的彩色圖像拾取元件的情況下，G像素的數量較大(是R像素的數量的兩倍和B像素的數量的兩倍)，并且使用單個修復濾色器最小化缺點。優選地，在拾取點像的步驟中，點像被拾取為使得點像的中心在圖像拾取屏幕的中心處。這使得能夠實現成本的降低，同時保持在屏幕中心處的圖像質量(在屏幕的中心處的點像容易測量)。
優選地，在拾取點像的步驟中，點像被拾取為使得點像的中心在圖像拾取屏幕的 30%圖像高度處。采用這種配置，可以實現成本的降低，同時保持在30%圖像高度處的圖像質量。注意到，保持在30%圖像高度的圖像質量允許保持在從屏幕中心到接近60%圖像高度范圍內的圖像質量，在該范圍內存在重要目標中的大多數。優選地，在拾取點圖像的步驟中，以其中點像的中心偏離彩色圖像拾取元件的像素的中心的異相模式拾取點像。與以同相模式(其中，在同相模式中，點像的中心與彩色圖像拾取元件的像素的中心重合)拾取點像時使用從實際測量值而獲得的修復濾色器的情況相比，執行較高水平的修復處理。這可以改善圖像質量。注意到，由于在同相模式中較少的目標的圖像被拾取，因此使用基于同相點像產生的修復增益數據塊(修復濾色器)的修復處理引起不充分的修復(邊緣模糊)。優選地，在產生對應于反函數的修復增益數據塊的步驟中，產生對應于NXN內核尺寸的修復增益數據塊以使每個修復增益數據塊關于內核中心旋轉對稱。更具體地，如果基于旋轉不對稱點像(例如，實際測量點圖像、在30%圖像高度處的點圖像、或異相點圖像)產生修復增益數據，該修復增益數據塊是旋轉不對稱修復增益數據塊，并且分辨能力不一致或不均勻。因此，修復增益數據塊被產生(調整)為旋轉對稱增益數據，以使分辨能力一致或均勻，從而實現圖像質量的改善。根據本公開的主題，通過共同采用單個修復濾色器對經由具有擴展景深的相位調制功能的成像鏡頭和彩色圖像拾取元件獲得的三基色的彩色信號執行修復處理。這可以減少彩色信號雜波。使用單個修復濾色器可以實現與電路規模減小相關的成本降低。
圖1是說明根據本公開主題的圖像拾取裝置的實施例的框圖；圖2是說明具有擴展景深的相位調制功能的成像鏡頭示例的視圖；圖3是說明以Bayer排列設置在彩色圖像拾取元件上的濾色器的視圖；圖4是說明存儲在修復處理塊的存儲部中的內核尺寸(kernel size)的7X7個修復增益數據塊的示例的視圖；圖5是說明在修復處理部分中如何通過去卷積處理修復點像的視圖；圖6是說明根據本公開的主題的修復增益數據產生方法的實施例的流程圖；圖7是說明屏幕和圖像高度之間關系的視圖；圖8是包括用來解釋同相模式和異相模式的視圖；和圖9A至9C是用來解釋修復由于聚焦深度的擴展而模糊的圖像的常規方法的視圖。
具體實施例方式以下將參考附圖描述根據本公開的主題的圖像拾取裝置和修復增益數據產生方法的實施例。〈圖像拾取裝置〉圖1是說明根據本公開的主題的圖像拾取裝置的實施例的框圖。如圖1所示，圖像拾取裝置100包括圖像拾取頭部1，圖像拾取頭部1包括成像鏡頭10、彩色圖像拾取元件12、AD轉換(模擬到數字轉換)部14和修復處理塊20。除了圖像拾取頭部1之外，圖像拾取裝置100具有與普通數碼相機相同的配置。圖2是說明成像鏡頭10的配置的視圖。如圖2所示，成像鏡頭10包括固定的單視覺鏡頭部(single-vision lens section) IOA和濾光片11，濾光片11插入在鏡頭部IOA的光瞳位置處。濾光片11的目的是用于相位調制，并且使鏡頭部IOA具有擴展焦深(EDoF)。請注意，光圈(未顯示)靠近濾光片11設置。可使用一個濾光片11或可組合使用多個濾光片11。可替換地，代替使用濾光片11，鏡頭部IOA中的一個或多個透鏡可以設置有濾光片U的功能(相位調制功能)，而不是使用。從成像鏡頭10中可以省略執行機械調焦的對焦機構，并且成像鏡頭10的尺寸可以減小。成像鏡頭10適合于安裝在配備有照相機的移動電話或個人數字助理上。已經通過EDoF成像鏡頭10的光學圖像形成在彩色圖像拾取元件12處，其中光學圖像在彩色圖像拾取元件12處被轉換成電信號。彩色圖像拾取元件12是彩色圖像傳感器，具有以對應于各個像素的預定排列(例如，Bayer排列、G條紋R/G全方格排列或蜂窩式排列)配置的紅(R)、綠(G)、藍(B)三基色的基色濾色器。彩色圖像拾取元件12由CMOS (互補金屬氧化物半導體)圖像傳感器或者 CCD(電荷耦合器件)圖像傳感器組成。根據這個實施例的彩色圖像拾取元件12具有以Bayer排列布置的濾色器，如圖3 所示。更具體地說，在彩色圖像拾取元件12的奇數行中的濾色器以6、8、6、8、6、8....的順序排列，偶數行中的濾色器以R、G、R、G、R、G....的順序排列。經由成像鏡頭10入射在彩色圖像拾取元件12的光接收表面上的光學圖像由布置在光接收表面處的光電二極管轉換成電荷，電荷的量對應于入射光的量。每個光電二極管中積累的電荷作為電壓信號(圖像信號)按順序輸出。AD轉換部14將從彩色圖像拾取元件12輸出的模擬圖像信號轉換成數字圖像信號。通過AD轉換部14中的轉換得到的數字圖像信號(R、G和B彩色信號)被添加到修復處理塊20。修復處理塊20包括修復處理部22和非易失性存儲部24。用于單個修復濾色器的濾色器值(filter valve)(修復增益數據塊)存儲在存儲部M中。圖4是說明存儲在存儲部M中的7X7內核尺寸的修復增益數據塊的示例的視圖。修復增益數據用于通過成像鏡頭10(濾光片11)對相位調制進行去卷積處理。在產品裝運前產生用于對應的圖像拾取裝置100的多個修復增益數據塊，并且將所產生的多個修復增益數據塊寫入到對應的圖像拾取裝置100的存儲部24。用于產生修復增益數據塊的方法的細節(根據本公開的主題的修復增益數據產生方法)將在后面介紹。修復處理部22通過采用存儲在存儲部M中的7X7內核尺寸的修復增益數據塊執行在修復處理前從AD轉換部14輸出的R、G和B彩色信號(即，以所關注像素為中心的 7X7個像素處的彩色信號和以在以所關注像素為中心的指定區域內的其顏色與所關注像素的顏色相同的像素為中心的7X7個像素處的彩色信號)的去卷積處理(卷積計算)而進行修復處理，所述指定區域以所關注像素為中心。通過此操作，輸出修復處理后的彩色信號，而不是輸出所關注像素處的處理前的彩色信號。修復處理塊20以對應于彩色圖像拾取元件12的配置成Bayer排列的濾色器的方式接收彩色信號，即，當奇數行被讀取時以G、B、G、B、G、B...的順序接收彩色信號，和當偶數行被讀取時以1 、6、1 、6、1 、6...的順序接收彩色信號。修復處理塊20使用與存儲在存儲部M中的相同修復增益數據塊執行修復處理，而不管在待處理的所關注像素處的彩色信號是否是R、G或B彩色信號。如圖5所示(A部分)，已經通過EDoF成像鏡頭10的點像(光學圖像)在彩色圖像拾取元件12處形成為較大的點像(模糊圖像)。較大的點像通過在修復處理部22中的去卷積處理而被修復到小點像(高分辨率圖像)，如圖5所示(B部分)。通過將像素值乘以增益來執行在修復處理過程中使用的去卷積。為R、G和B彩色信號中的每一個采用相同的修復增益數據塊的修復處理允許減少在后續的插值處理后在像素處發生的彩色信號雜波。已經以上述方式經受修復處理的R、G和B彩色信號作為普通RAW數據塊輸出。從修復處理塊20輸出的RAW數據塊相當于沒有通過EDoF成像鏡頭10和修復處理塊20的圖像信號(即，從包括成像鏡頭、彩色圖像拾取元件和AD轉換部的普通圖像拾取頭部輸出的RAW數據塊)。圖像拾取頭部下游的信號處理系統具有與普通數碼相機或類似物相同的配置。中央處理單元(CPU) 102是按照來自操作部104的操作輸入和預定程序以集中方式控制整個裝置的部分，并且起執行如自動曝光(AF)計算和白平衡(WB)調節計算之類的各種計算的計算裝置的作用。CPU 102通過總線103和存儲接口(存儲器I/F) 106連接到RAM 108 (隨機存取存儲器)和ROM 110(只讀存儲器)。RAM108用作用于CPU 102的程序擴展區域和計算工作區域，并且還用作用于暫時存儲圖像數據的區域。ROM 110存儲將由CPU102執行的程序、用于控制所需要的各類數據、以及與圖像拾取操作相關的各種常量和信息。圖像拾取頭部1按照來自CPU 102的命令執行成像操作或類似操作，并且如上文所述，通過修復處理塊20輸出用于R、G和B的RAW數據塊。RAW數據塊通過總線103和存儲器I/F (接口)106暫時存儲在RAM 108中。存儲在RAM 108中的用于R、G和B的RAW數據塊輸入到數字信號處理部112，其中在數字信號處理部112，RAW數據塊經受圖像處理，如降噪處理、混色校正(color mixing correction)、圖象斑點調整、白平衡校正、伽瑪校正、插值處理和RGB-YC轉換處理。如果選擇RAW數據記錄方法，則上面所述的RAW數據塊以RAW文件格式通過外部存儲器接口(外部存儲器I/F) 114記錄在存儲卡116上。操作部104包括快門按鈕、用于選擇成像模式或播放模式的模式選擇開關、用于在顯示部118 (LCD 液晶顯示器)上顯示菜單屏幕上的菜單按鈕、以及用于在菜單屏幕上選擇所需的項目的多功能十字鍵(cross key)。來自操作部104的輸出信號通過總線103輸入到CPU 102。CPU 102根據來自操作部104的輸入信號執行適當的處理，如成像或播放。圖像拾取裝置100還包括閃光燈120，用于提供(發射)閃光到目標。當接收到來自CPU 102的光發射命令時，閃光燈120接收來自充電部122的電力并且提供閃光。由數字信號處理部112處理的圖像數據塊(亮度信號Y和色差信號Cr和Cb)提供給壓縮/擴展處理電路124，在壓縮/擴展處理電路124中以預定的壓縮格式(例如， JPEG(聯合圖像專家組)格式)壓縮圖像數據塊。被壓縮的圖像數據塊經由外部存儲器I/F 114以圖像文件(如JPEG文件)格式記錄在存儲卡116上。在準備拾取圖像過程中，基于通過IXD接口(IXD I/F)U6添加的圖像信號將圖片 (實時取景圖像)顯示在IXD 118上。在回放模式中，讀取記錄在存儲卡116上的JPEG文件或RAW文件，并且圖像顯示在IXD 118上。以JPEG文件存儲的壓縮后的圖像數據在壓縮 /擴展處理電路1 中經過解壓縮處理，并且輸出到IXD 118。以RAW文件存儲的RAW數據在數字信號處理部112中經受RAW顯像(development)，并且然后輸出到IXD 118。數字信號處理部112的插值處理部是從在像素處的點連續制(dot sequential) R、G、B彩色信號產生同步R、G、B彩色信號的部分。插值處理部對與基色濾色器的布置相關的彩色信號的空間位移進行插值，并且在對應R像素的位置處產生G和B彩色信號，在對應G像素的位置處產生R和B彩色信號，在對應B像素的位置處產生R和G彩色信號。由于通過采用相同修復濾色器的修復處理獲得插值處理處理之前的R，G和B彩色信號，因此在由此產生的同步R，G和B彩色信號中發生的彩色信號雜波減少。<修復增益數據產生方法>將描述上文所述的將被存儲在修復處理塊20的存儲部M中的修復增益數據的產生方法。圖6是說明根據本公開的主題的修復增益數據產生方法的實施例的流程圖。首先，在調整圖像拾取裝置100時(例如，在圖像拾取裝置100裝運前)，點像(點光源的圖像)由圖像拾取裝置100的成像鏡頭10拾取，并且獲得具有擴展景深(已調制相位)的模糊圖像(步驟Sio)，以測量成像鏡頭10的點擴散函數(point spread function, PSF)。此時，可以使用專用于測量的圖像拾取元件或可以使用實際上結合在圖像拾取裝置100中的彩色圖像拾取元件12。前一種情況適于測量只對應于成像鏡頭10的PSF。后一種情況適于測量考慮到彩色圖像拾取元件12 (如濾色器和光圈)的影響的PSF。設g(x，y)是通過點像的拾取獲得的圖像，f (X，y)是原始的點像，以及h(x，y)是點擴散函數(PSF)，則模糊圖像g(x，y)可以表達如下[表達式1]g(x, y) = h(x, y)*f(x, y),其中*表示卷積運算。基于通過在步驟SlO中拾取的點像獲得的模糊圖像g(x，y)計算[表達式1]中的函數h(x，y)(即點擴散函數(PSF))(步驟S12)。計算計算出的點擴散函數(PSF)的反函數(步驟S14)。設R((x，y)是反函數，通過采用R(x，y)對已被相位調制的圖像g(x，y)進行卷積處理，獲得對應于原始圖像f(x，y) 的修復圖像，如下所示[表達式2]g (x，y)*R(x，y) = f(x，y)。函數R(x，y)將被稱為修復濾色器。修復濾色器由7X7濾色器值(修復增益數據塊)組成，如圖4所示。在步驟S16中，產生修復增益數據塊。注意，最小化原始圖像和修復圖像的均方誤差的最小二乘方濾色器(維納(Wiener)濾色器)、有限去卷積濾色器、遞歸濾色器、同態濾色器或類似物可以作為這個類型的修復濾色器使用。例如，在1984年11月的"IEICETransactions” (Vol. J67-D，No. 10)和 1986 年 11 月的“0 plus Ε” (特刊，Extra Issue)(見日本專利申請號8-329549(日本專利申請特許公開號10-165365)的第
和W024]段)中描述了修復處理。在步驟S16中產生的修復增益數據塊存儲在修復處理塊20的存儲部M中(步驟 S18)。以上述方式產生并存儲在存儲部M中的修復增益數據用于所有R，G和B彩色信號的修復處理，而不管屏幕中的圖像的高度。只準備一塊(套)修復增益數據。[對應于G像素的PSF的測量]當將產生修復增益數據塊時，拾取點像使得點像的中心與彩色圖像拾取元件的G 像素重合，獲得該G像素處的彩色信號和以該G像素為中心的預定區域內的多個G像素處的多個彩色信號，并且測量PSF。在濾色器以Bayer排列布置的彩色圖像拾取元件12中，G像素的數量是R像素數量的兩倍和B像素數量的兩倍，并且在G像素處的彩色信號接近亮度信號。因此，將基于在 G像素處的彩色信號產生的修復增益數據塊用于在R像素和B像素處的彩色信號的修復處理只引起最少的劣勢(分辨能力(resolving power)降低)。[在軸線上的PSF的測量]當點像將被拾取使得點像的中心與彩色圖像拾取元件的G像素重合時，拾取點像以使該中心與彩色圖像拾取元件的屏幕的中心(在成像鏡頭10的光軸上)或者最接近屏幕中心的G像素重合，并且測量PSF。這優化了在屏幕中心處的圖像的修復。此外，由于在屏幕中心處的點像容易測量， 可實現成本的降低。[在屏幕的30%圖像高度處的PSF的測量]圖7是說明屏幕和圖像高度之間關系的視圖。在上面的實施例中，在軸線上測量 PSF0在另一個實施例中，拾取點像以使點像的中心在圖像拾取屏幕的30%圖像高度處，并且測量PSF。這優化了在屏幕的30%圖像高度處的圖像的修復。此外，保持在30%圖像高度處的圖像質量允許保持在其中存在大多數重要目標的從屏幕中心延伸到近60%圖像高度的范圍內的圖像質量。[在異相模式中點像的拾取]當點像將被拾取使得點圖像的中心與彩色圖像拾取元件的G像素重合時，拾取點像使得所述中心偏離G像素的中心，并且測量PSF。如圖8所示(A部分)，根據彩色圖像拾取元件的像素(G像素)之間的間隔獲得作為離散圖像信號的原始點像。有兩種情況點像被拾取為使得原始圖像的中心與G像素的中心重合(以同相模式拾取點像)的情況(如圖8所示(B部分))，以及點像被拾取為使得原始圖像的中心偏離G像素的中心(以異相模式拾取點像)的情況(如圖8所示(C部分))。在此實施例中，以異相模式拾取點像，其中原始點像的中心偏離彩色圖像拾取元件的G像素的中心。根據本實施例，與在下述情況中相比，進行了更高水平的修復處理在該情況中，當以其中原始點像的中心與彩色圖像拾取元件的像素中心重合的同相模式拾取點像時，采用從實際測量值獲得的修復濾色器。可以改善圖像質量。由于在同相模式中較少目標的圖像被拾取(按照概率)，因此使用基于同相點像產生的修復增益數據塊(修復濾色器)的修復處理引起不充分的修復(邊緣模糊)。相比之下，以異相模式拾取的圖像解決了該問題。圖8(C部分)圖示的以異相圖模式拾取的圖像的示例說明原始點像的中心最遠離彩色圖像拾取元件的像素中心的情況。優選地，執行圖像拾取使得原始點像的中心以位于圖8B中圖示的同相模式的量和圖8(C部分)中說明的異相模式的量之間的量偏離彩色圖像拾取元件的像素中心(這個優選情況也是異相模式情況)。[旋轉對稱化]當在圖6中的步驟S16中將產生修復增益數據塊時，從PSF的反函數計算的修復增益數據塊被調整，從而每個修復增益數據塊關于內核中心旋轉對稱，如圖4所示。通過實際使用的成像鏡頭10實際測量的點像、在30%圖像高度處的點像和異相點像是旋轉不對稱點像。基于這種旋轉不對稱點像的PSF產生的修復增益數據塊是旋轉不對稱修復增益數據塊，分辨能力不均勻。因此，在此實施例中，修復增益數據塊被產生(調整)為旋轉對稱增益數據塊，以使在屏幕內的分辨能力均勻或一致，從而實現圖像質量的改善。在相對于圖像拾取屏幕的中心垂直對稱和水平對稱的位置處測量30%圖像高度處的四個點像的PSF，并且計算PSF 的平均數，從而計算接近旋轉對稱的PSF。基于計算出的PSF產生的修復增益數據塊被進一步地調整以產生旋轉對稱修復增益數據塊。在旋轉地對稱修復增益數據塊的情況中，可以減少將存儲在存儲部M中的數據的量。例如，在如圖4所示的7X7內核情況下，可以存儲4X4個修復增益數據塊。4X4塊修復增益數據的對稱性的使用允許產生7X 7個修復增益數據塊。[其他]在此實施例中，基于從彩色圖像拾取元件的G像素獲得的點像測量PSF。然而本公開的主題并不局限于此。可以基于從R、G和B像素獲得的點像計算PSF的平均值(例如， 加權平均)。彩色圖像拾取元件的濾色器的不限于以Bayer排列布置的那些。可使用以任何其他排列(如G條紋R/G全方格排列或蜂窩式排列)布置的濾色器。此外，本公開的主題不僅限于上面所述的實施例。當然，應理解，在不違背本公開主題的精神的情況下可以做出各種修改。
權利要求
1.一種圖像拾取裝置，包括成像鏡頭，配置為執行相位調制功能以擴展景深；彩色圖像拾取元件，配置為將通過成像鏡頭并且形成在該圖像拾取元件上的光學圖像轉換成電信號，該圖像拾取元件具有以預定排列為對應的像素配置的三基色的基色濾色器；和修復處理裝置，配置為采用單個修復濾色器對從彩色圖像拾取元件輸出的對應于三基色的基色濾色器的彩色信號執行濾色處理，該修復濾色器是當由成像鏡頭執行相位調制時獲得的點擴散函數的反函數。
2.根據權利要求1所述的圖像拾取裝置，其中修復處理裝置采用所述單個修復濾色器對從彩色圖像拾取元件輸出的三基色的彩色信號中的位于圖像拾取屏幕內的每個彩色信號執行濾色處理，而不管每個彩色信號的圖像尚度。
3.根據權利要求1或2所述的圖像拾取裝置，其中修復處理裝置包括存儲裝置，該存儲裝置配置為存儲具有對應于預定內核尺寸的修復增益數據塊的修復過濾器，并且在對各個像素處的從彩色圖像拾取元件輸出的彩色信號進行修復處理時，修復處理裝置采用存儲在存儲裝置中的修復濾色器的修復增益數據塊執行在將被處理的所關注像素處的彩色信號和在以所述所關注像素為中心的預定區域內的其顏色與所關注像素的顏色相同的像素處的彩色信號的卷積計算，并用通過卷積計算獲得的值取代所關注像素處的彩色信號。
4.根據權利要求3所述的圖像拾取裝置，其中存儲在存儲裝置中的對應于預定內核尺寸的修復增益數據塊圍繞內核中心旋轉對稱。
5.一種修復增益數據產生方法，用于產生將被存儲在根據權利要求3的圖像拾取裝置的存儲裝置中的對應于預定內核尺寸的修復增益數據塊，該方法包括通過彩色圖像拾取元件和對應于該彩色圖像拾取元件的用于檢查的彩色圖像拾取元件中的一個以及成像鏡頭拾取點像的步驟；基于從彩色圖像拾取元件獲得的對應于三基色的基色濾色器的一種顏色或多種顏色的彩色信號的實際測量值，計算點擴散函數的步驟；基于對應于所述一種顏色或多種顏色的計算出的點擴散函數的平均值計算點擴散函數的反函數的步驟；以及基于所述反函數產生對應于計算出的反函數的修復增益數據塊的步驟。
6.根據權利要求5所述的修復增益數據產生方法，其中三基色是R(紅)、G(綠)和B(藍)三基色，并且所述實際測量值是從對應于彩色圖像拾取元件的G基色濾色器的G像素獲得的。
7.根據權利要求5所述的修復增益數據產生方法，其中在拾取點像的步驟中，點像被拾取為使得點像的中心在圖像拾取屏幕的中心處。
8.根據權利要求5所述的修復增益數據產生方法，其中在拾取點像的步驟中，點像被拾取為使得點像的中心在圖像拾取屏幕的30%圖像高度處。
9.根據權利要求5所述的修復增益數據產生方法，其中在拾取點像的步驟中，以其中點像的中心偏離彩色圖像拾取元件的像素的中心的異相模式拾取點像。
10.根據權利要求5所述的修復增益數據產生方法，其中在產生對應于反函數的修復增益數據產生的步驟中，產生對應于NXN內核尺寸的修復增益數據塊以使每個修復增益數據塊關于內核中心旋轉對稱。
全文摘要
根據本發明一個方面的圖像拾取裝置，包括配置為執行相位調制功能以擴展景深的成像鏡頭；配置以將通過成像鏡頭并且形成在圖像拾取元件上的光學圖像轉換成電信號的色彩圖像拾取元件，圖像拾取元件具有以預定的模式布置用于各自像素的三基色的基色濾色器；和修復處理裝置，配置以在響應于從色彩圖像拾取元件輸出的三基色的基色濾色器的色彩信號上使用單修復濾色器執行過濾處理，修復濾色器是當通過成像鏡頭執行相位調制時獲得的點擴散函數的反函數。
文檔編號H04N9/04GK102404580SQ20111027535
公開日2012年4月4日 申請日期2011年9月16日 優先權日2010年9月16日
發明者岸根慶延 申請人:富士膠片株式會社