圖像拾取裝置、圖像拾取系統和信號處理方法

圖像拾取裝置、圖像拾取系統和信號處理方法
【專利摘要】公開了圖像拾取裝置、圖像拾取系統和信號處理方法。通過使用由第一像素組輸出的信號生成分辨率數據。通過使用由第二像素組輸出的信號生成顏色數據。分辨率數據和顏色數據組合以生成第一數據。對第一數據執行上轉換處理以生成第二數據，并且對第二數據執行馬賽克處理以生成預定陣列的數據。
【專利說明】
圖像拾取裝置、圖像拾取系統和信號處理方法
技術領域
[0001]實施例的一個所公開方面涉及圖像拾取裝置、圖像拾取系統、用于圖像拾取裝置 的信號處理方法、以及信號處理方法。更具體而言，實施例的一個所公開方面涉及用于利用 分辨率數據和顏色數據進行圖像拾取的裝置、系統和信號處理方法。
【背景技術】
[0002] 特定波長分量(諸如像具有紅、綠和藍的相應顏色的光)通過其透射的濾色器(在 下文，將被稱為CF)在圖像拾取元件中的每個像素單元的元件表面上提供以獲得彩色圖像。 在下文中，紅、綠和藍將被稱為R、G和B 13R的CF布置在其上的像素將被稱為R像素。G的CF布置 在其上的像素將被稱為G像素。B的CF布置在其上的像素將被稱為B像素。在R像素、G像素和B 像素被共同提及的情況下，這些像素將被稱為RGB像素。
[0003] 提出了一種構造，其中便于獲得亮度信息的像素的比例增大以提高圖像拾取元件 的靈敏度。靈敏度是通過使用白像素(在下文，將被稱為W像素)來提高的，通過其可見光范 圍內的光在那些像素之間被廣泛透射，并且能夠獲得具有高信噪(S/N)比的圖像。
[0004] 日本專利特許公開No. 2011-55038公開了一種圖像拾取元件，其中布置了RGB像素 和W像素。在下文中，RGB像素和W像素被共同提到，這些像素將被稱為RGBW像素。日本專利特 許公開No. 2011-55038公開了一種構造，其中圖像處理單元對包括RGBW像素的圖像拾取元 件的輸出信號執行模糊校正處理。

【發明內容】

[0005] 實施例的一個所公開方面是鑒于上述問題產生的，并且提供了一種圖像拾取裝 置，包括:包括多個像素的第一像素組，每個像素包括光電轉換單元;包括多個像素的第二 像素組，每個像素包括光電轉換單元;及信號處理單元，該圖像拾取裝置將數據輸出到被配 置為根據預定陣列的數據生成圖像的圖像處理單元，其中包括在第一像素組中的每個光電 轉換單元與包括在第二像素組中的每個光電轉換單元具有要被光電轉換的光的相互不同 的波長帶(wavelength band)，信號處理單元通過使用由包括在第一像素組中的像素輸出 的信號生成分辨率數據，通過使用由包括在第二像素組中的像素輸出的信號生成顏色數 據，并且通過組合分辨率數據和顏色數據來生成第一數據，通過對第一數據執行上轉換處 理來生成第二數據，并且執行將第二數據設置為預定陣列的數據的處理。
[0006] 本公開內容的更多特征將參照附圖從以下示例性實施例的描述變得清楚。
【附圖說明】
[0007] 圖1示出了圖像拾取裝置的信號處理。
[0008] 圖2示出了圖像拾取元件的構造。
[0009] 圖3A至圖3D示出了圖像拾取元件的CF陣列。
[0010]圖4A至圖4D示出了圖像拾取元件的CF陣列。
[0011] 圖5示出了圖像拾取元件的構造。
[0012] 圖6示出了圖像拾取裝置的信號處理。
[0013]圖7示出了圖像拾取裝置的信號處理。
[0014]圖8示出了圖像拾取裝置的信號處理。
[0015]圖9示出了圖像拾取裝置的信號處理。
[0016]圖10示出了圖像拾取裝置的信號處理。
[0017]圖11示出了圖像拾取裝置的信號處理。
[0018]圖12示出了被拾取圖像的評估結果。
[0019]圖13示出了圖像拾取裝置的信號處理。
[0020]圖14示出了被拾取圖像的評估結果。
[0021]圖15示出了圖像拾取裝置的信號處理。
[0022]圖16示出了圖像拾取裝置的信號處理。
[0023]圖17示出了圖像拾取系統。
【具體實施方式】
[0024]根據在日本專利特許公開No. 2011-55038中描述的技術，關于在通過使用由圖像 拾取元件輸出的信號生成的圖像中引起的顏色噪聲（color noise)的降低的討論已經不 夠，其中圖像拾取元件包括RGBW像素。
[0025] 下面的例子涉及用于降低顏色噪聲的技術。
[0026] 在下文中，將參照附圖描述示例性實施例。
[0027]除了提供到圖像拾取裝置外部的圖像處理單元203以及由圖像拾取裝置執行的信 號處理，圖1還示出了圖像拾取裝置的構造。圖像拾取裝置包括圖像拾取元件201和信號處 理單元202。信號處理單元202包括上游處理單元204、插值單元205和轉換單元206。信號處 理單元202生成通過對由圖像拾取元件201輸出的輸出信號執行插值處理和上轉換處理所 獲得的數據。信號處理單元202還對所生成的數據執行馬賽克處理(mosaic processing)以 生成馬賽克圖像并將數據輸出到圖像處理單元203。根據本示例性實施例，輸入到圖像處理 單元203的預定數據具有拜耳(Bayer)陣列。圖1還示出了由插值單元205、轉換單元206和圖 像處理單元203當中每一個生成的數據。圖1中所示的數據是作為由每個單元執行的處理的 結果而生成的數據。例如，在圖像處理單元203中示出的數據是當圖像處理單元203對由轉 換單元206輸出的數據執行去馬賽克處理時所生成的數據。
[0028] 互補金屬氧化物半導體(CMOS)圖像傳感器或電荷耦合器件(CCD)圖像傳感器可以 被用作圖像拾取元件201。在那些當中，根據本示例性實施例，CMOS圖像傳感器被使用。
[0029]根據本示例性實施例的圖像拾取元件201包括多個像素。這多個像素中每個像素 包括光透射部分。這多個像素中的部分像素包括濾色器(CF)，具有對應于包括紅(R)、綠(G) 和藍(B)的顏色之一的波長的光通過其透射。多個像素中每個像素包括被配置為生成基于 入射光的電荷的光電轉換單元。在光電轉換單元中，光譜特性對于多個像素中每個像素變 化，這是因為通過CF透射的光的波長對于每個像素變化。應當注意的是，被提供從而生成基 于入射光的電荷的像素將被稱為有效像素。根據本示例性實施例，關于提供給圖像拾取元 件201的有效像素的數目，1920個像素排列在水平方向并且1080個像素被排列在垂直方向。
[0030] 在圖1的圖像拾取元件201中，相應的像素被示出同時由R、G、B和W表示。這指示對 應于通過每個像素的光透射部分透射的光的波長的顏色。R表示紅色，G表示綠色，B表示藍 色，并且W表示白色。應當注意的是，W像素的光透射部分可以單獨由樹脂制成。
[0031] 根據本示例性實施例的圖像拾取元件201具有被稱為RGBW 12陣列的CF陣列。應當 注意的是，沒有CF布置在W像素中，但是，當提到多個像素的光透射部分的陣列模式時，這被 稱為CF陣列。在RGBW 12陣列中，相應的像素在4X4 = 16個像素當中按由比例R:G:B:W=1: 2:1:12表示的數目比布置。根據RGBW 12陣列，在平面圖中，包括對應于顏色像素的R像素 、G 像素和B像素的任何像素被布置成在垂直方向、水平方向和對角線方向當中任何一個方向 與W像素相鄰。即，在平面圖中，顏色像素在垂直方向、水平方向和對角線方向被W像素包圍。 此外，根據RGBW 12陣列，W像素的比例是像素總數的3/4。即，W像素作為第一像素被提供，并 且顏色像素(RGB像素)作為第二像素被提供。第一像素組中的像素的數目是第二像素組中 的像素的數目的三倍(多于兩倍）。應當注意的是，圖像拾取元件201在一些情況下可以包括 除有效像素之外的其它像素，諸如光學黑色像素和虛設像素，這些像素不直接輸出到圖像， 但這些像素不包括在上述第一像素組和第二像素組中任何一個當中。應當注意的是，W像素 被構成為不包括CF的像素。根據這種構造，在W像素中具有靈敏度的波長帶包括在R像素 、G 像素和B像素每一個當中具有靈敏度的所有波長帶。因此，由于W像素具有比RGB像素寬的光 譜靈敏特性，因此W像素具有比RGB像素高的靈敏度。
[0032]在上述RGBW 12陣列被使用的情況下，由于顏色像素被W像素包圍，因此在顏色像 素的位置對W的值進行插值時的精度得到提高。
[0033]信號處理單元202對由圖像拾取元件201輸出的輸出信號執行信號處理。信號處理 單元202包括上游處理單元204、插值單元205和轉換單元206。
[0034]來自圖像拾取元件201的輸出信號被輸入到信號處理單元202的上游處理單元 204。上游處理單元204對相應信號執行校正，諸如偏移量校正和增益校正。
[0035] 插值單元205對由上游處理單元204輸出的數據執行插值處理。插值單元205還執 行去馬賽克處理。根據本示例性實施例的去馬賽克處理是通過雙線性方法根據R、G和B像素 的信號獲得R數據、G數據和B數據的處理。在根據本示例性實施例的去馬賽克處理中，對應 于被估計為要在假定R像素位于W像素的位置的情況下獲得的值的R分量關于R數據被插值。 類似地，在根據本示例性實施例的去馬賽克處理中，還執行插值以分別關于B分量和G分量 當中每一個生成B數據和G數據，這與R分量中類似。
[0036] RGBW 12陣列中可以獲得分辨率信息的地方的W像素的每單位面積的像素的數目 多于在W像素以棋盤格圖案布置的情況下的像素的數目。根據這種構造，與W像素以棋盤格 圖案布置的情況相比，可以獲得具有更高空間頻率(即，更精細節距）的分辨率信息。即，與W 像素的像素以棋盤格圖案布置的情況下由圖像拾取元件輸出的輸出信號相比，通過利用由 RGBW 12陣列中的圖像拾取元件201輸出的輸出信號，信號處理單元202可以生成具有更高 分辨感(sense of resolution)的數據。
[0037]轉換單元206通過使用由插值單元205輸出的數據執行上轉換處理和馬賽克處理。 上轉換處理指的是通過根據在處理之前具有第一分辨率的數據生成具有比第一分辨率高 的第二分辨率的數據來增大分辨率的處理。根據本示例性實施例，從圖像拾取元件201輸出 的輸出信號具有1920 X 1080分辨率，這是所謂的2K1K分辨率。與這種2K1K輸入數據形成對 比，由信號處理單元202輸出的數據具有3840 X 2160的上轉換分辨率，這是所謂的4K2K分辨 率。即，根據本示例性實施例的轉換單元206執行通過使用由插值單元205輸出的一個像素 信號生成四個像素信號的處理。
[0038] 最近鄰法、雙線性法、雙三次法等可以用作用于上轉換處理的方法。應當注意的 是，根據本示例性實施例的轉換單元206在執行上轉換處理之后執行馬賽克處理，這將在下 面描述。在這種情況下，數據處理誤差的累積可以通過采用最近鄰法來避免。
[0039] 根據本示例性實施例的轉換單元206執行馬賽克處理。由根據本示例性實施例的 轉換單元206執行的馬賽克處理是通過使用R數據、G數據和B數據的相應顏色數據生成拜爾 數據的處理。這種拜耳數據是在RGB像素被布置在單個圖像傳感器中的拜耳陣列中的情況 下所獲得的數據。
[0040] 圖像處理單元203通過使用由信號處理單元202輸出的預定陣列數據生成被拾取 圖像。圖像處理單元203適當地執行去馬賽克處理、顏色矩陣計算、白平衡處理、數字增益、 伽馬處理、噪聲降低處理等等。在這些處理當中，去馬賽克處理與其它處理相比顯著更與被 拾取圖像的分辨率信息相關。根據本示例性實施例，轉換單元206執行上轉換處理，然后執 行馬賽克處理。出于這個原因，在由轉換單元206輸出的2X2個數據(一個R信號，兩個G信 號，以及一個B信號）當中，通過使用這一個R信號，圖像處理單元203可以生成R數據的這一 個R信號。對應于圖像處理單元203的其它顏色的G數據和B數據也可以由與生成R數據相同 的處理生成。
[0041] 通過實驗，轉換單元206執行馬賽克處理而不執行上轉換處理的情況將參照圖8來 描述。
[0042]如圖8中所示，轉換單元206將通過對由插值單元205輸出的數據執行馬賽克處理 所獲得的數據輸出到圖像處理單元203。圖像處理單元203在R數據的生成中通過使用周圍R 信號的值對對應于G信號和B信號的部分執行插值處理。由于這種插值處理被執行，因此在 圖8所示的處理中分辨率的降低在輸出數據中發生。關于G數據和B數據的其它顏色，分辨率 的降低也發生，這與R數據中類似。因此，在由圖像處理單元203通過使用由轉換單元206經 由圖8的處理輸出的數據生成的被拾取圖像中，分辨率的降低關于由圖像拾取元件201輸出 的數據發生。此外，由于圖像處理單元203執行插值處理，因此偽色在被拾取圖像中生成，其 中生成與被攝體的原始顏色不同的顏色。
[0043]另一方面，在根據本示例性實施例的處理中，圖像處理單元203可以生成R數據、G 數據和B數據當中每一個，而不對由轉換單元206輸出的數據執行插值處理。根據這種構造， 由于去馬賽克處理造成的分辨率降低和偽色的生成幾乎不發生，其中去馬賽克處理是為了 由圖像處理單元203生成被拾取圖像而執行的。
[0044]此外，根據本示例性實施例的信號處理中圖像處理單元203的設計可以與其中由 RGB像素的拜耳陣列中圖像拾取元件201輸出的輸出信號被處理的設計相同，該圖像拾取元 件201代替像本示例性實施例中包括W像素的圖像拾取元件201。因此，根據本示例性實施例 的信號處理可以降低單獨設計用于包括W像素的圖像拾取元件201的圖像處理單元203的成 本。即，根據本示例性實施例的信號處理抑制圖像拾取裝置與圖像處理單元203之間兼容性 的減小。因此，能夠在根據本示例性實施例的信號處理中生成其中顏色噪聲降低同時圖像 拾取裝置與圖像處理單元203之間兼容性的減小被抑制的被拾取圖像。
[0045] 根據本示例性實施例描述的信號處理單元202和圖像處理單元203可以是硬件，諸 如執行信號處理方法在其中被編程的軟件的計算機。由根據本示例性實施例的信號處理單 元202和圖像處理單元203執行的信號處理可以在通過諸如⑶-ROM或DVD-ROM的記錄介質或 者通信分發的程序中編程。
[0046] 示例 1
[0047] 在下文中，根據本例的圖像拾取裝置將參照附圖來描述。應當注意的是，描述將參 照圖1的圖像拾取裝置適當地給出。
[0048]圖2示出了根據本例的圖像拾取元件201的例子。根據本例的圖像拾取元件201包 括具有其中像素 I00按行和列布置的像素陣列的圖像拾取區域1、垂直掃描電路2、列放大單 元3、水平掃描電路4以及輸出單元5。垂直掃描電路2向像素100的晶體管供給接通(導通狀 態)或關斷（不導通狀態)像素100的晶體管的控制信號。用于對每一列從像素100讀出信號 的垂直信號線6布置在圖像拾取區域1中。水平掃描電路4包括每一列中列放大單元3的開關 以及供給用于執行接通或關斷開關的控制的控制信號的水平掃描電路4。通過由水平掃描 電路4執行的掃描，信號從列放大單元3的各個列順序地輸出到輸出單元5。從列放大單元3 經由輸出單元5輸出的信號被輸入到位于圖像拾取元件201的外面的信號處理單元202,如 參照圖1所描述的。
[0049]應當注意的是，已經描述了其中由圖像拾取元件201輸出的輸出信號是模擬信號 的例子，但是圖像拾取元件201可以輸出數字信號。在那種情況下，由信號處理單元202執行 的模數轉換可以被省略。
[0050] 在下文中，圖2的圖像拾取裝置將參照圖5來描述。垂直掃描電路2控制供給像素 1 〇〇的信號PTX、信號PRES和信號PSEL的信號電平，以便對圖像拾取區域1中的像素100執行 對應于按行為單位的掃描的垂直掃描。通過由垂直掃描電路2執行的垂直掃描，每個像素 100從ro〇UT端子向垂直信號線6輸出光電轉換信號。電流源7經由垂直信號線6向像素100供 給電流。開關8控制到列放大單元3的輸入。
[0051] 列放大單元3包括確定列放大單元3的放大因子的電容C0、電容CU電容C2、開關9、 開關10、開關11以及放大電路12。列放大單元3還包括執行采樣和保持的開關13、開關14、保 持電容CTN和保持電容CTS，以及建立到水平傳送線的連接的開關15和開關16。
[0052] 水平掃描電路4順序地對其中布置放大電路12的每一列控制開關15和開關16的導 通狀態和非導通狀態。根據這種構造，水平掃描電路4執行對應于列放大單元3的按列為單 位的掃描的水平掃描。
[0053]當水平掃描電路4將開關15和開關16置成導通狀態時，保持電容CTN和保持電容 CTS中所保持的信號被輸入到輸出放大器17。輸出放大器17將通過放大輸入信號所獲得的 信號輸出到圖像拾取元件的外部。
[0054]圖像拾取元件201的細節將參照圖5進一步描述。像素100包括光電二極管18、晶體 管19、浮動擴散電容20、晶體管21、晶體管22和晶體管23。
[0055]光電二極管（在一些情況下也可以被稱為Π)) 18是被配置為累積基于入射光的電 荷的光電轉換單元。
[0056]光電二極管18連接到晶體管19的一個端子，并且浮動擴散電容20連接到晶體管19 的另一個端子。浮動擴散電容(在一些情況下也可以被稱為ro)2〇具有還充當晶體管19的漏 極端子的結構并且可以保持經由晶體管19(在一些情況下也可以被稱為TX)從光電二極管 18傳送的電荷。當從垂直掃描電路2輸入到晶體管19的柵極端子的信號PTX變成高電平(在 一些情況下也可以被稱為H電平)時在光電二極管18中累積的電荷被保持。
[0057]當從垂直掃描電路2輸入的信號PRES變為H電平時，晶體管21將浮動擴散電容20的 電位復位到基于電源電壓VDD的電位(在一些情況下也可以被稱為RES)。
[0058]晶體管22的輸入節點電連接到浮動擴散電容20。構成源極跟隨器(在一些情況下 也可以被稱為SF)，其中偏置電流從經由垂直信號線6連接的電流源7供給晶體管22的一個 主節點，并且電源電壓VDD供給晶體管22的另一個主節點。
[0059]當從垂直掃描電路2輸入的信號PSEL變為H電平時，晶體管23將由晶體管22輸出的 信號輸出到垂直信號線6。晶體管23從其將信號輸出到垂直信號線6的節點是節點ro〇UT。由 晶體管22輸出的信號是基于由浮動擴散電容20保持的電荷的信號。
[0060] 接下來，將描述列放大單元3的操作。
[0061] 開關8執行控制以便將由像素100輸出的信號輸入到放大電路12。
[0062] 電容C0、電容Cl和電容C2是被用來對放大電路12進行放大的電容。當開關9和開關 I 〇被控制時，輸入電壓的放大以C0/C1、C0/C2或CO/ (C1+C2)的電容比執行。
[0063] 開關11執行控制以復位電容Cl和電容C2。
[0064]當開關13和開關14被控制時，從放大電路12輸出的信號被采樣并保持在保持電容 CTN和CTS中。當開關13接通時，在由像素100輸出的信號當中的當浮動擴散電容20處于復位 電平時的輸出信號(在一些情況下也可以被稱為N信號)被采樣并保持在保持電容CTN中。當 開關14接通時，在來自像素100的輸出信號當中，當電荷被傳送至浮動擴散電容20時的輸出 信號(在一些情況下也可以被稱為S信號)被采樣并保持在保持電容CTS中。
[0065]當來自水平掃描電路4的信號φΗη變為H電平時，開關15和開關16順序地將被采 樣并保持在保持電容CTN和保持電容CTS中的輸出連接到輸出放大器17。
[0066]通過使用上述圖像拾取元件，能夠將輸入到圖像拾取元件的光學信號作為電信號 讀出。
[0067] 圖3Α至圖3D每個示出像素 100的CF陣列。
[0068]圖3A中所示的CF陣列是其中紅(R)、綠(G)和藍(B)被布置的所謂拜耳陣列。
[0069]圖3B中所示的CF陣列是RGBW 12陣列。圖3B的陣列與圖1中所示圖像拾取元件201 的CF陣列是相同的陣列。
[0070] 圖3C中所示的CF陣列是RGBW 8陣列。根據這種陣列，4X4像素陣列中的相應CF按 R:G:B:W = 2:4:2:8的比率布置。作為該陣列的特征，W像素以棋盤格圖案布置，并且所布置 的W像素的比例是全部像素的1/2。由于W像素以棋盤格圖案布置，因此將拜耳陣列中的G信 號插值到相鄰的R像素和B像素中的方法可以被采用，作為將W像素的信號插值到相鄰B像 素、G像素和R像素中的方法。
[0071] 圖3D中所示的CF陣列是RGBG 12陣列。這個陣列是通過用G像素替換RGBW 12陣列 中的W像素所獲得的陣列。根據這個RGBG 12陣列，4 X 4像素陣列中的相應CF按R:G:B = 2: 12:2的比率布置。G像素的比例是全部像素的3/4。在該RGBG 12陣列中，在平面圖中，每個R 像素和B像素分別在垂直方向、水平方向和對角線方向每個方向上被G像素包圍。由于每個R 像素和B像素被G像素包圍，因此在將G信號插值到R像素和B像素時的精度得以提高。此外， 由于與R和B像素相比具有相對高靈敏度的G像素的比例高，因此靈敏度提高。
[0072] 圖4A至圖4D每個示出使用對應于互補色的C(青色）、M(品紅）和Y(黃色）作為顏色 像素的CF陣列。圖4A示出了互補色中的拜爾陣列，并且CF的比率為C:M:Y=1:1:2。為什么在 這里更多Y像素被布置的原因在于，人類視覺性能關于Y的波長比其它C和M的波長具有更高 的靈敏度(這類似于在G的波長中）并且還具有分辨率。通過使用比C像素和M像素更多的Y像 素，能夠增強分辨感。
[0073]圖4B中所示的CF陣列是CMYW 12陣列。根據這個陣列，4 X 4像素陣列中的相應CF按 C:M: Y: W= 1:1:2:12的比率布置。作為該陣列的特征，對應于顏色像素的C像素、M像素和Y像 素當中每一個在水平方向、垂直方向和對角線方向當中每個方向被W像素包圍。所布置的W 像素的比例是全部像素的3/4。此外，由于顏色像素是被W像素包圍，因此，與例如圖4C中所 示W像素不位于顏色像素的對角線方向的情況相比，將W像素的值插值到顏色像素中的精度 提尚。
[0074]圖4C中所示的CF陣列是CMYW8陣列。根據這個陣列，4 X 4像素陣列中的相應CF按C: M:Y:W=2:2:4:8的比率布置。作為該陣列的特征，W像素以棋盤格圖案布置，并且所布置的W 像素的比例是全部像素的1/2。由于W像素被以棋盤格圖案布置并且變得類似于拜耳陣列中 G的布置，因此用于拜耳陣列中G的插值的方法可以照原樣被采用。此外，由于W像素被布置， 因此靈敏度提高。
[0075]圖4D中所示的CF陣列是CMYY12陣列。在這個陣列中，CYMW12陣列中的W像素被Y像 素替換。根據這個陣列，4X4像素陣列中的相應CF按C:M:Y = 2: 2:12的比率布置。根據該 CMYY12陣列，在平面圖中，C像素和M像素在垂直方向、水平方向和對角線方向當中每個方向 上被Y像素包圍。Y像素的比例是全部像素的3/4。由于每個^!像素和M像素被Y像素包圍，因 此，與圖4A所示互補色的拜耳陣列相比，將Y信號插值到C像素和M像素中的精度提高。
[0076]如上所述，圖像拾取元件201可以采用各種CF陣列，但是為了通過使用單個圖像傳 感器創建具有更高分辨率的圖像，主要生成分辨率信息的更多像素被優選地布置。即，優選 地采用如圖3B和圖4B中所示顏色像素被W像素包圍的陣列以及如圖3D和圖4D中所示其中主 要生成分辨率信息的G像素或Y像素被布置成包圍其它顏色的像素的陣列。在那些當中，圖 3B和圖4B中所示其中顏色像素被W像素包圍的陣列被優選地采用，這是因為，與其中其它顏 色的像素被布置的情況相比，靈敏度通過布置W像素而提高。
[0077]圖6示出了由圖1所示的插值單元205執行的處理。應當注意的是，圖6示出了圖像 拾取元件201的CF陣列是RGBW 12陣列的情況。
[0078]圖6中（a)示出了從上述上游處理單元204輸入的數據。執行分別將這種數據分離 成W數據和顏色數據(G信號、R信號和B信號）的"數據分離"處理。
[0079]在W數據中，4X4像素中RGB像素布置在其中的像素的信號不清楚(在圖中用符號 "?"表示），如圖6中（b)中所示。顏色數據對應于4 X 4個像素中的2 X 2個像素并且變成具有 低分辨率的(空間上粗糙的)數據，如圖6中（d)中所示。
[0080]接下來，插值單元執行通過利用周圍信號插值由"?"表示的信號的處理。各種方法 可以被用作插值處理。作為例子，在執行八個周圍像素求平均的情況下，采用對左邊、右邊、 頂部和底部的四個像素執行平均的方法(雙線性法），檢測周圍像素的邊并在垂直于邊的方 向執行插值的方法，檢測諸如精細線條的圖案并在其方向上執行插值的方法，等等。在本文 中，插值處理按以下方式執行。
[0081] 為了描述插值方法，X和Y坐標在圖6中（c)中提到。例如，由iWb表示的信號是W數據 中在坐標(3,3)的信號，這相應地由1113(3,3)表示。因為1113在輸入信號的狀態下是不清楚 的，所以需要執行插值。例如，在iWb(3,3)通過八個周圍像素求平均被插值的情況下，如下 獲得 iWb(3,3)。
[0082]
[0083]根據本例，以這種方式執行根據周圍像素的信號值插值信號值不清楚的像素的信 號的處理。應當注意的是，雖然示出了4X4像素組，但是，由于這種模式是重復的，因此iWr、 iWg等可以從周圍八個像素的信息被插值。
[0088]此外，也可以采用獲得顏色數據與插值的iWr、iWg和iWb的比的方法。在這種情況 下，顏色比通過以下表達式計算。
[0084]接下來，插值單元205通過使用被插值W數據和所提取的顏色數據生成R數據、G數 據和B數據的顏色數據。為了在R數據、G數據和B數據的生成中計算顏色，可以采用各種方 法。作為例子，采用通過規格化顏色數據來獲得顏色比的方法。根據這種方法，顏色比通過 以下表達式計算。
[0085]
[0086]
[0087]
[0089]
[0090]根據本例，采用獲得顏色數據與插值的iWr、iWgr、iWgb和iWb的比的方法。
[0091] 通過使用對應于這樣獲得的顏色比的RGB_ratio以及W信號或插值的值iWr、iWgr、 iWgb和iWb的信號，能夠按以下方式獲得對應于相應像素中各個顏色R、G和B的信號值。
[0092] RGB=[R_ratio · ff G_ratio · ff B_ratio · ff](5)
[0093] 其中以下表達式被設置。
[0094] RGB_ratio = [R_ratio G_ratio B_ratio](6)
[0095] 使用先前獲得的顏色計算數據。
[0096] 每個包括4 X 4= 16個像素的1?數據、G數據和B數據是通過插值單元205的處理而獲 得的。由插值單元205生成的R數據、G數據和B數據是通過組合分辨率數據和顏色數據生成 的第一數據。
[0097]接下來，由轉換單元206執行的處理將參照圖7來描述。
[0098]圖7示出了對顏色數據執行上轉換處理和馬賽克處理以便輸出拜耳數據的信號處 理。
[0099]圖7中（a)示出了從上述插值單元205輸入的數據。首先，這個數據分別被分離成R 數據、G數據和B數據，如圖7中(b)中所示。
[0100] 顏色分離之后的每個顏色數據片段通過上轉換處理被轉換成在垂直方向和水平 方向當中每個方向上具有兩倍的分辨率。為了描述用于上轉換的方法，X和Y坐標在圖7中 (b)、（c)和(d)中提到。例如，由于左上方由R表示的像素是在坐標（1，1)的R數據，因此該數 據被表示為R(l，l)。圖7中（b)中的像素 R(l，l)照原樣被用作圖7中（c)中的像素 R(l，l)。在 圖7中（c)中，像素（1，2)、（2，1)和(2,2)的信號值都不清楚。根據本例，最近鄰方法被用作插 值不清楚的信號值的方法。因此，圖7中（c)中（2,1)、（1，2)和（2,2)的信號值被設置為與R (1，1)相同的值。
[0101] 以這種方式，如圖7中（d)中所示，生成在垂直方向和水平方向當中每個方向具有 提高至兩倍的分辨率的每個R數據、G數據和B數據。通過上轉換處理獲得的這種數據是通過 對由插值單元205生成的第一數據執行上轉換處理所獲得的第二數據。
[0102] 接下來，為了執行馬賽克處理，圖7中（d)中的像素當中的陰影線像素被提取。在圖 7中（d)的R數據中，使用2 X 2個信號中具有最低X坐標值和最低Y坐標值的信號。即，R( I，1)、 以3，1)、以5，1)、以7，1)、以3，1)~的信號被使用。在6數據中，與拜耳陣列中類似，數據以棋 盤格圖案被提取。在B數據中，使用2X2個信號中具有最高X坐標值和最高Y坐標值的信號。 即，B(2,2)、B(4,2)、B(6,2)、B(8，1)、B(4,2)…的信號被使用。
[0103]以這種方式，轉換單元206獲得圖7中（e)中所示的馬賽克數據。轉換單元206將馬 賽克數據輸出到圖像處理單元203。這種馬賽克數據是具有預定陣列的數據，其被圖像處理 單元203用來創建圖像。根據本例，輸入到圖像處理單元203的數據的預定陣列是拜耳陣列。
[0104] 圖像處理單元203執行參照圖1描述的操作。根據這種構造，圖像處理單元203生成 被攝體的被拾取圖像。
[0105] 評估圖像拾取由執行上述處理的圖像拾取裝置執行。為了評估分辨感，TV分辨率 的評估通過使用分辨率圖表來執行。此外，作為比較例，如圖8中所示，在圖7的處理操作當 中，轉換單元206生成馬賽克數據而不執行上轉換處理。隨后，在比較例中，圖像處理單元 203通過使用這種馬賽克數據生成被拾取圖像。
[0106] 作為通過上述方法進行比較的結果，在通過由根據本例在圖7中所示的處理獲得 的被拾取圖像中，TV水平分辨率大于或等于1000。另一方面，在根據比較例的被拾取圖像 中，TV水平分辨率是900。
[0107] 在一些情況下，上述像素信號的數目可以是圖像拾取元件的像素的數目，但是，在 一些情況下，通過限制圖像拾取元件的信號輸出的區域(其在一些情況下可以被稱為部分 讀出、修剪等等)或者在圖像拾取元件201內部執行相加(其在一些情況下可以被稱為混合 (binning))，數目低于像素的數目的像素信號可以被輸出。根據本例所描述的處理是通過 對輸出像素信號執行上轉換來實現的，并且不依賴于圖像拾取元件201的像素的總數。
[0108] 根據本例的信號處理單元202和圖像處理單元203當中每一個可以是安裝到半導 體基板的集成電路。
[0109] 此外，根據本例的圖像拾取裝置可以被用作堆疊傳感器，其中信號處理單元202在 其上形成的半導體基板堆疊在圖像拾取元件201在其上形成的半導體基板上。
[0110]應當注意的是，其中圖像處理單元203在圖像拾取裝置的外部提供的例子已經根 據本例進行了描述。作為另一個例子，圖像拾取裝置可以包括圖像處理單元203。
[0111]示例2
[0112] 將主要關于根據本例的圖像拾取裝置給出與示例1的差別的描述。
[0113] 根據本例，執行在從圖像拾取元件201輸出的信號的數目不同于布置在圖像拾取 元件201上的像素的數目的情況下的處理。具體而言，將作為例子描述其中圖像拾取元件 201通過僅從圖像拾取元件201的部分像素讀出像素信號而按低于布置在圖像拾取元件201 上的像素的數目的數目輸出信號的情況。
[0114] 當從其讀出像素信號的像素 100的數目增大時，用來從圖像拾取元件201的像素 100讀出像素信號的時間變長。因此，當從其讀出像素信號的像素100的數目增大時，在視頻 的情況下幀速率下降，而在靜止圖像的情況下每秒連續拍攝的數目降低。因此，為了處理視 頻的幀速率的增大以及靜止圖像的連續拍攝的數目的增大，由圖像拾取元件201輸出的信 號數目可以在一些情況下被設置為低于布置在圖像拾取元件201上的像素的數目。
[0115]此外，如同在像面中的相位差AF(自動對焦)和對比度AF，在通過使用像素信號實 現對焦的情況下，可以執行部分圖像拾取，并且幀速率也增大以便在一些情況下增大對焦 操作的速度。
[0116]根據本例的圖像拾取元件201包括分別在水平方向和垂直方向對應于1920 X 1080 的數目的像素100。在根據本例的圖像拾取裝置中，圖像拾取元件201被包括在位于布置在 圖像拾取元件201中的像素100中的中心區域的區域當中，并且像素信號是從分別在水平方 向和垂直方向對應于480 X 270的數目的像素100讀出的。
[0117]根據本例的處理可以被設置為與根據示例1的處理相同。評估是通過使用由這種 處理獲得的分辨率圖表的被拾取圖像來執行的。在根據本例的被拾取圖像中，TV水平分辨 率大于或等于250。另一方面，在根據比較例的輸出數據中，TV水平分辨率是200。因此，根據 本例的圖像拾取裝置也可以獲得與示例1相同的效果。
[0118] 示例3
[0119] 將主要關于根據本例的圖像拾取裝置給出與示例1的差別的描述。
[0120]根據本例，與示例1的相比，包括RGBW 12陣列的圖像拾取元件201的圖像拾取裝置 可以生成具有進一步降低的顏色噪聲的被拾取圖像。在RGBW 12陣列中，由于R像素和B像素 每個對應于4 X 4像素中的一個像素并且G像素對應于兩個像素，因此顏色像素的數目是在 拜爾陣列的情況下的1/4。因此，在RGBW 12陣列中，與拜耳陣列相比，顏色噪聲在低亮度條 件下進行圖像拾取時趨于顯著。這種顏色噪聲是隨機散粒噪聲和光子散粒噪聲的總稱。這 種顏色噪聲可以通過執行空間平均處理和時間平均處理當中至少一個以生成平均數據來 減少。具體地，由于與分辨率信息(亮度信息)相比，人類視覺特性關于顏色信息的靈敏度在 空間上和時間上都低，因此，即使當執行空間平均處理或時間平均處理時，圖像質量的減小 也幾乎不被人眼識別。
[0121] 圖9示出了由根據本例的圖像拾取裝置執行的信號處理。與示例1的區別在于，插 值單元205執行顏色幀間處理。插值單元205還具有幀存儲器。
[0122] 圖10示出了在圖9中示出的信號處理當中由插值單元205和轉換單元206執行的處 理的細節。
[0123] 插值單元205的幀存儲器在一幀中保持基于由圖像拾取元件201輸出的輸出信號 的顏色數據。應當注意的是，由圖像拾取元件201輸出的一幀的信號是指當垂直掃描電路2 在像素陣列1中執行像素100的垂直掃描一次時由圖像拾取元件201輸出的信號。當垂直掃 描電路2執行垂直掃描多次時，圖像拾取元件201輸出多幀的信號。在關注單個像素100的情 況下，多個幀的相應幀周期是指其中累積基于入射光的電荷的電荷累積周期彼此不同的周 期。插值單元205利用基于由圖像拾取元件201在不同幀中輸出的輸出信號的顏色數據以及 由幀存儲器保持的顏色數據執行幀間處理。這種幀間處理是通過利用多個幀的顏色數據執 行空間平均處理和時間平均處理當中至少一個來獲得平均數據的處理。
[0124] 在幀間處理中，移動平均處理、順序循環處理(無限脈沖響應：IIR)或者非順序循 環處理(有限脈沖響應:FIR)可以被適當地使用。根據這種構造，插值單元205關于顏色數據 實現低通濾波器并且減小對每一幀波動的顏色噪聲。以這種方式，根據本例的圖像拾取裝 置可以獲得具有降低的顏色噪聲的顏色數據。
[0125] 其后，對應于分辨率數據的W數據和顏色數據組合。在此時，執行處理，同時假設顏 色比被維持基本上恒定或者在局部區域中存在強色彩相關性。即，由于在顏色像素的一部 分中插值的分辨率數據的顏色比接近其周圍顏色的顏色比，因此顏色數據是通過用顏色比 乘以分辨率數據來創建的。
[0126] 圖11示出了根據本例在對應于CF陣列的RGBW 12陣列的情況下的信號處理的細 -K- To
[0127] 圖11中（a)示出了輸入到插值單元205的數據。在這里，對應于圖3B中所示的CF陣 列中重復單位的4X4像素被切出并進行說明。對這個數據執行數據分離處理。根據這種構 造，獲得圖11中(b)中所示的分辨率數據和圖11中（d)中所示的顏色數據。
[0128] 對圖11中(b)中所示的分辨率數據執行的插值處理與示例1的相同。
[0129] 接下來，將描述顏色數據的幀平均處理。
[0130] 首先，第一幀的顏色數據被提前存儲在幀存儲器中。對第一幀的這種顏色數據不 執行將在下面描述的乘法或除法處理。
[0131] 接下來，將描述第二幀的顏色數據。如圖11中所示，插值單元205首先用系數1/n乘 以第二幀的顏色數據。η是在其中執行幀間處理的幀數。根據本例，η被設置為2。因此，第二 幀的R像素、G像素和B像素的信號值當中每一個變成1/2。接下來，插值單元205用系數(η-1)/η乘以在幀存儲器中保持的第一幀的顏色數據。由于η為2,因此第一幀的顏色數據的R像 素、G像素和B像素的信號當中每一個都變成1/2。隨后，插值單元205將乘以1/2的第一幀的 信號加到乘以1/2的第二幀的信號。根據這種構造，能夠獲得顏色平均數據，其中第一幀的 顏色數據和第二幀的顏色數據被平均。
[0132] 應當注意的是，在其中η是3或更大的情況下，插值單元205將通過用2/3乘以其中 第一幀的顏色數據和第二幀的顏色數據被平均的顏色數據的信號所獲得的信號加到通過 用1/3乘以第三幀中所包括的顏色數據所獲得的信號。根據這種構造，能夠獲得的顏色平均 數據，其中包括在三幀中的顏色數據片段被平均。
[0133] 圖11中的nrR、nrG和nrB表示在執行幀間處理(噪聲降低)之后R像素、G像素和B像 素的顏色數據。
[0134] 隨后，插值單元205將圖11中（c)的插值之后的W數據與圖11(e)的噪聲降低后的顏 色數據組合。根據該組合，在RGB像素最初布置的位置的W的插值數據iW與在這些位置的 nrR、nrG和nrB的相應RGB的顏色比被計算，并且通過用相應像素的W或iW乘以顏色比所獲得 的值變成用于相應像素的RGB的值。以這種方式，形成要被輸出的圖11(f)的顏色數據。該輸
[0136] 出將由以下表達式描述。[0135] 在這個像素是W的情況下，以下表達式成立。
[0137]
[0138]
[0139] 其中iWr、iWg和iWb表示R像素、G像素和B像素的部分的iW值。
[0140] 其他的插值單元205的信號處理以及轉換單元206和圖像處理單元203的信號處理 與示例1的那些相同。
[0141] 圖12示出了關于通過執行上述信號處理生成的被拾取圖像的噪聲降級程度和圖 像滯后程度的評估結果。在圖12的噪聲評估和圖像滯后評估當中每一個中，從優良的評估 開始，按降序指定〇、Δ和X。
[0142] 此外，作為評估的條件，圖像拾取環境的亮度以及作為用于顏色數據處理的幀數 的上述系數[1/n]和[(H-I)Ai]中η的值被改變以執行評估。
[0143] 作為條件No. 1，圖像拾取場景的亮度被設置為lOlux，并且顏色數據的平均處理幀 數η被設置為n=l。在這種條件下拾取的圖像幾乎沒有噪聲，并且也觀察不到圖像滯后。因 此，噪聲評估和圖像滯后評估都是〇。
[0144] 作為條件No. 2,圖像拾取場景的亮度被設置為lOlux，并且設置n = 4。在這種條件 下拾取的圖像幾乎沒有噪聲。此外，由于設置了 ri = 4,與其中設置n=l的條件No. 1相比，存 在其中觀察到顏色模糊的圖像滯后的區域，但它在容許范圍內。因此，噪聲評估是?，圖像 滯后評估是A。
[0145] 作為條件No.3,圖像拾取場景的亮度被設置為llux，并且設置n = l。在這種條件下 拾取的圖像中，由于圖像拾取場景中光量的減少，稍微觀察到由于分辨率數據和顏色數據 的S/N比的減小所造成的噪聲。在這種條件下拾取的圖像中，沒有觀察到圖像滯后。因此，噪 聲評估是A，并且圖像滯后評估是〇。
[0146] 作為條件No.4,圖像拾取場景的亮度被設置為llux，并且n = 4。在這種條件下，通 過對多個幀中的顏色數據執行平均處理，獲得其中與在條件No.3下拾取的圖像相比噪聲降 低的圖像。此外，圖像滯后與在條件No. 2下拾取的圖像處于相同水平，并且在容許范圍內。 因此，噪聲評估是?，并且圖像滯后評估是A。
[0147] 作為條件No. 5，圖像拾取場景的亮度被設置為0.1 Iux，并且設置η = 1。在這種情況 下，由于與條件No. 3相比，分辨率數據和顏色數據的S/N比的進一步減小發生，因此具有顯 著噪聲的圖像被拾取。另一方面，由于設置了n=l，因此沒有觀察到圖像滯后。因此，噪聲評 估是X，并且圖像滯后評估是〇。
[0148] 作為條件No.6,圖像拾取場景的亮度被設置為O.llux，并且設置n = 4。在這種條件 下，通過對多個幀中的顏色數據執行平均處理，獲得其中與在條件No.5下拾取的圖像相比 噪聲降低的圖像。此外，設置了對于顏色數據的處理幀數n = 4,但圖像滯后程度在容許范圍 內。因此，在圖12中，噪聲評估是Δ，并且圖像滯后評估是Δ。
[0149] 以這種方式，通過執行包括在多個幀中的顏色數據的平均處理，根據本例的圖像 拾取裝置可以生成在噪聲降低的同時具有被抑制的圖像滯后的圖像。
[0150] 根據本例的圖像拾取裝置通過使用顏色平均數據和包括在少于η幀的一幀中的W 像素的數據生成圖像，其中顏色平均數據是通過對包括在η個幀中的RGB像素的數據執行平 均處理獲得的。當光入射到其上的所有像素的數目當中W像素的數目的比例被設置為X時，η 的值優選地設置為高于或等于1/Χ的數。根據這種構造，能夠抑制偽色的生成，其中偽色隨 著W像素的數目增大而增大。
[0151] 應當注意的是，根據本例的圖像拾取裝置可以根據被攝體的環境(諸如像亮度、對 比度或移動速度)適當地改變η的值。
[0152] 示例4
[0153] 將主要關于根據本例的圖像拾取裝置給出與根據示例3的圖像拾取裝置的差別的 描述。根據本例的圖像拾取設備通過使用顏色數據和分辨率數據生成一個圖像，其中顏色 數據是通過處理包括在多個幀中的顏色數據獲得的，而分辨率數據是通過處理包括在少于 顏色數據處理中使用的幀數的多個幀中的分辨率數據獲得的。
[0154] 圖13是示出根據本例的圖像拾取裝置的操作的流程圖。
[0155] 插值單元205將由圖像拾取元件201輸出的信號分離成分辨率數據和顏色數據。其 后，關于分辨率數據，通過處理包括在m個幀中的分辨率數據而生成分辨率數據。此外，關于 顏色數據，通過處理包括在多于m個幀的η個幀中的顏色數據而生成顏色數據。
[0156] 讓人眼識別關于顏色的圖像滯后比關于分辨率的圖像滯后更困難。出于這個原 因，用于單個圖像的生成的分辨率數據的平均處理幀數被設置為比用于顏色數據的平均處 理幀數少。根據這種構造，根據本例的圖像拾取裝置能夠生成具有降低的噪聲的圖像，同時 使得在圖像中引起的圖像滯后難以被人眼識別。
[0157] 其他的插值單元205的信號處理以及轉換單元206和圖像處理單元203的信號處理 與示例1的那些相同。
[0158] 圖14示出了根據本例的評估結果。在圖14的噪聲評估和圖像滯后評估當中每一個 中，從優良的評估開始，按降序指定〇、△、涂黑的△和X。
[0159] 作為條件No.l，圖像拾取場景的亮度被設置為lOlux，并且設置m=l和η = 1。在這 種條件下拾取的圖像的噪聲評估和圖像滯后評估都是〇。
[0160]作為條件如.2，圖像拾取場景的亮度被設置為111^，并且設置!11=1和11 = 4。在這種 條件下拾取的圖像的噪聲評估是?，并且圖像滯后評估是A。
[0161]作為條件如.3，圖像拾取場景的亮度被設置為111^，并且設置!11=2和11 = 4。在這種 條件下拾取的圖像的噪聲評估是?，并且圖像滯后評估是涂黑的A。在條件No.3下獲得的 圖像中，與在條件No.2下獲得的圖像相比，觀察到在允許范圍內的圖像滯后的增大。
[0162] 作為條件如.4，圖像拾取場景的亮度被設置為0.111^，并且設置!11=1和11=1。在這 種條件下拾取的圖像的噪聲評估是X，并且圖像滯后評估是〇。
[0163] 作為條件如.5，圖像拾取場景的亮度被設置為0.111^，并且設置!11=1和11 = 4。在這 種條件下拾取的圖像的噪聲評估是涂黑的A，并且圖像滯后評估是△。與在條件No.4下拾 取的圖像相比，在條件No.5下拾取的圖像是其中噪聲降低同時圖像滯后在允許范圍內增大 的圖像。
[0164] 作為條件如.6，圖像拾取場景的亮度被設置為0.111^，并且設置!11 = 2和11 = 4。在這 種條件下拾取的圖像的噪聲評估是A，并且圖像滯后評估是涂黑的△。與在條件No.5下拾 取的圖像相比，在條件No.6下拾取的圖像是其中噪聲降低同時圖像滯后在允許范圍內增大 的圖像。
[0165] 作為條件如.7，圖像拾取場景的亮度被設置為0.0111?，并且設置111=1和11 = 4。在 這種條件下拾取的圖像的噪聲評估是X，并且圖像滯后評估是A。
[0166] 作為條件如.8，圖像拾取場景的亮度被設置為0.0111?，并且設置111 = 2和11 = 4。在 這種條件下拾取的圖像的噪聲評估是涂黑的A，并且圖像滯后評估是涂黑的A。與在條件 No.7下拾取的圖像相比，在條件No.8下拾取的圖像是其中噪聲降低同時圖像滯后在允許范 圍內增大的圖像。
[0167] 作為條件No . 9，圖像拾取場景的亮度被設置為0.01 Iux，并且設置m = 4和η = 4。在 這種條件下拾取的圖像的噪聲評估是A，并且圖像滯后評估是X。與在條件No.8下拾取的 圖像相比，在條件No.9下拾取的圖像中噪聲降低，圖像滯后增大至超出允許的范圍。
[0168] 以這種方式，如可以從例如條件No . 5與條件No. 6之間的比較理解的，根據本例的 圖像拾取裝置可以在通過對包括在多個幀中的分辨率數據執行平均處理所獲得的分辨率 平均數據被用于單個圖像的生成的同時，生成具有降低的噪聲的圖像。在條件No.9下，其中 用于單個圖像生成的分辨率數據的幀數與顏色數據的幀數彼此匹配，圖像滯后增大至超出 允許的范圍。當用于單個圖像的生成的分辨率數據的幀數被設置為低于顏色數據的幀數 時，根據本例的圖像拾取裝置能夠在圖像滯后的增大被抑制的同時生成具有降低的噪聲的 圖像。
[0169] 另一方面，當通過對包括在多個幀中的分辨率數據執行平均處理所獲得的分辨率 平均數據被用于單個圖像的生成時，圖像滯后在一些情況下會增大。因此，在被攝體保持靜 止的情況下，具有幀數nl的顏色平均數據和具有幀數ml的分辨率平均數據被用于單個圖像 的生成，其中ml是小于nl的數。另一方面，在被攝體處于運動的情況下，具有比被攝體保持 靜止的情況下的幀數少的幀數的分辨率平均數據可以用于單個圖像的生成。在被攝體處于 運動的情況下，對于單個圖像的生成，可以優選地使用包括在僅一幀中的分辨率數據。
[0170] 此外，TV分辨率的評估關于分辨率執行。在根據本例的輸出數據中，TV水平分辨率 大于或等于1000。
[0171] 應當注意的是，雖然已經根據本例給出了在用于分辨率數據的處理幀數nl被設置 為1并且用于顏色數據的處理幀數n2被設置為4時的描述，但是nl和n2的這些值可以優選地 根據被攝體的環境(亮度、對比度或移動速度)適當地改變。
[0172] 示例5
[0173] 將主要關于根據本例的圖像拾取裝置給出與示例3的差別的描述。根據本例，CF陣 列使用圖3D中所示的RGBG 12陣列。當使用RGBG 12陣列時，由于W像素被G像素替換，因此， 與RGBW 12陣列相比，靈敏度降低。但是，由于W像素相對于RGB像素具有大體上高的靈敏度， 因此W像素的飽和依賴于被攝體而早發生，并且動態范圍在一些情況下會降低。因此，當CF 陣列使用RGBG 12陣列時，飽和度和靈敏度得以平衡。
[0174] 圖15是根據本例在用于對應于CF陣列的RGBG 12陣列的數據的插值單元205中的 流程圖。
[0175] 圖15中（a)示出了輸入數據。在這里，對應于圖3D中所示的CF陣列中重復單位的4 X4像素被切出并說明。這個數據被分離成圖15中（b)中示出的分辨率數據和圖15中（d)中 示出的顏色數據。
[0176] 在其中圖15中（c)中所示的G像素的數據被用作基礎的分辨率數據中，圖15中（c) 中所示的R和B像素的數據是不清楚的（在圖中用"?"表示）。插值處理對這種不清楚的數據 部分執行，并且創建在圖15中（c)中所示的插值后的分辨率數據。插值像素的值被表示為 iG〇
[0177] 由于RGB像素的數目僅僅是總像素的1/2,因此在圖15中（c)中所示的顏色數據變 成具有低分辨率的數據。其后，顏色數據的噪聲降低根據多個幀中被執行。根據本例，在設 置η = 2的同時執行處理。圖15中（e)中所示的nr R、nrG和nrB表示噪聲降低之后RGB像素的數 據。
[0178] 在已經在上述過程中描述的圖15中（c)中所示的插值之后的分辨率的數據與圖15 中（e)中所示的噪聲降低之后的顏色數據組合，以形成圖15中（f)中所示的要輸出的RGB數 據。
[0179] 評估圖像拾取是通過利用執行上述處理的圖像拾取裝置執行的。作為圖像拾取的 結果，能夠獲得這樣的圖像拾取裝置，其中RGB像素的飽和被平衡，但是與根據示例3的圖像 拾取裝置相比靈敏度降低。
[0180] 示例6
[0181] 將主要關于根據本例的圖像拾取裝置給出與示例3的差別的描述。根據本例，圖4B 中所示的CMYW 12陣列被用作CF陣列。由于具有高靈敏度的互補色(C、M和Y)濾色器被使用 并且還使用W像素，因此靈敏度提高。
[0182] 圖16是根據本例在用于對應于CF陣列的CMYW 12陣列的數據的插值單元205中的 流程圖。
[0183] 圖16中的(a)示出了輸入數據。在這里，對應于圖4B中所示的CF陣列中重復單位的 4X4像素被切出并說明。這個數據被分離成圖16中（b)中示出的分辨率數據和圖16中（d)中 示出的顏色數據。
[0184] 在其中圖16中（c)中所示的W像素的數據被用作基礎的分辨率數據中，在圖16中 (c)中所示的CMY像素的部分的W數據是不清楚的(在圖中用"?"表示）。插值處理對這種不清 楚的數據部分執行，并且創建在圖16中（c)中所示的插值后的分辨率數據。被插值的像素的 值表示為iW。
[0185] 由于RGB像素的數目僅僅是總像素的1/4,因此在圖16中（c)中所示的顏色數據變 成具有低分辨率的數據。其后，顏色數據的噪聲降低根據多個幀中被執行。根據本例，在設 置η = 4的同時執行處理。圖16中（e)中的nrC、nrM和nrY表示噪聲降低之后RGB像素的數據。
[0186] 與示例5中類似，在已經在上述過程中描述的圖16中（c)中所示的插值之后的分辨 率的數據與圖16中（e)中所示的噪聲降低之后的顏色數據組合，其后執行CMY到RGB轉換以 形成圖16中（f)中所示的要輸出的RGB數據。
[0187] 評估圖像拾取是通過利用執行上述處理的圖像拾取裝置執行的。作為圖像拾取的 結果，能夠獲得這樣的圖像拾取裝置，其中與根據示例3的圖像拾取裝置相比靈敏度更高， 但是在圖像的一部分當中顏色再現性降低。
[0188] 此外，TV分辨率的評估是關于分辨率執行的。在根據本例的輸出數據中，TV水平分 辨率大于或等于1000。
[0189] 示例7
[0190] 根據本例，將描述根據示例性實施例和示例1至6的圖像拾取裝置應用到其的圖像 拾取系統。圖像拾取系統是被配置為通過使用圖像拾取裝置獲得圖像、視頻等的裝置，并且 其例子包括數字靜態相機、數字攝像機、監視相機等。圖17是作為根據示例性實施例和示例 1至6的圖像拾取裝置應用到其的圖像拾取系統的例子的數字靜態相機的情況的框圖。
[0191] 在圖17中，圖像拾取系統包括將被攝體的光學圖像對焦在圖像拾取裝置301上的 透鏡302、保護透鏡302的擋板303以及調整穿過透鏡302的光量的光圈304。圖像拾取系統還 包括被配置為對由圖像拾取裝置301輸出的輸出信號執行處理的輸出信號處理單元305。輸 出信號處理單元305還包括根據示例性實施例和示例1至6的圖像處理單元203。輸出信號處 理單元305在與其上形成圖像拾取裝置301的半導體基板不同的半導體基板上形成。
[0192] 輸出信號處理單元305包括數字信號處理單元并執行操作，該操作在必要時對從 圖像拾取裝置301輸出的信號執行各種校正和壓縮并輸出信號。
[0193] 圖像拾取系統還包括臨時存儲圖像數據的緩沖存儲器單元306和被配置為關于記 錄介質執行記錄或讀出的存儲介質控制接口（I/F)單元307。圖像拾取系統還包括可分離安 裝或內置在圖像拾取系統中的記錄介質309,諸如被配置為執行圖像拾取數據的記錄或讀 出的半導體存儲器。圖像拾取系統還包括被配置為與外部計算機等通信的外部接口（I/F) 單元308和被配置為控制各種計算和整個數字靜態相機的整體控制/計算單元310。圖像拾 取系統還包括被配置為向輸出信號處理單元305輸出各種定時信號的定時發生器311。應當 注意的是，諸如定時信號的控制信號可以從外部單元而不是定時發生器311輸入。即，如果 圖像拾取系統至少包括圖像拾取裝置301和處理從圖像拾取裝置301輸出的輸出信號的輸 出信號處理單元305,那就足夠了。
[0194] 如上所述，通過根據本示例性實施例和示例1至6描述的圖像拾取裝置301的應用， 根據本例的圖像拾取系統可以執行圖像拾取操作。
[0195] 雖然本公開內容已經參照示例性實施例進行了描述，但是應當理解，本公開內容 不限于所公開的示例性實施例。以下權利要求的范圍應當被賦予最廣泛的解釋，以涵蓋所 有這類修改以及等同結構和功能。
【主權項】
1. 一種圖像拾取裝置，其特征在于，包括： 包括多個像素的第一像素組，每個像素包括光電轉換單元； 包括多個像素的第二像素組，每個像素包括光電轉換單元;及 信號處理單元， 圖像拾取裝置將數據輸出到被配置為根據預定陣列的數據生成圖像的圖像處理單元， 其中 包括在第一像素組中的每個光電轉換單元與包括在第二像素組中的每個光電轉換單 元具有要被光電轉換的光的相互不同的波長帶， 信號處理單元 通過使用由包括在第一像素組中的像素輸出的信號來生成分辨率數據，通過使用由包 括在第二像素組中的像素輸出的信號來生成顏色數據，并且通過組合分辨率數據和顏色數 據來生成第一數據， 通過對第一數據執行上轉換處理來生成第二數據，及 執行將第二數據設置為預定陣列的數據的處理。2. 如權利要求1所述的圖像拾取裝置，其中 包括在第一像素組中的每個像素和包括在第二像素組中的每個像素具有光透射部分， 透射通過第一像素組的光透射部分的光的波長帶包括在從藍到紅的范圍內的波長帶， 及 透射通過第二像素組的光透射部分的光的波長帶比透射通過第一像素組的光透射部 分的光的波長帶窄。3. 如權利要求1所述的圖像拾取裝置， 其中第一數據是包括以下項的數據： 在具有要被包括在第二像素組中的光電轉換單元光電轉換的波長帶的光被包括在第 一像素組中的光電轉換單元光電轉換的情況下生成的信號，以及在具有要被包括在第一像 素組中的光電轉換單元光電轉換的波長帶的光被包括在第二像素組中的光電轉換單元光 電轉換的情況下生成的信號。4. 如權利要求2所述的圖像拾取裝置， 其中第一數據是包括以下項的數據： 在具有要被包括在第二像素組中的光電轉換單元光電轉換的波長帶的光被包括在第 一像素組中的光電轉換單元光電轉換的情況下生成的信號，以及在具有要被包括在第一像 素組中的光電轉換單元光電轉換的波長帶的光被包括在第二像素組中的光電轉換單元光 電轉換的情況下生成的信號。5. 如權利要求1所述的圖像拾取裝置，還包括： 圖像拾取元件，包括第一像素組和第二像素組以及被配置為通過掃描第一像素組和第 二像素組來從第一像素組和第二像素組輸出信號的垂直掃描電路，其中 當垂直掃描電路掃描第一像素組和第二像素組一次時，圖像拾取元件輸出一幀的信 號， 當垂直掃描電路掃描第一像素組和第二像素組多次時，圖像拾取元件輸出多幀的信 號， 通過對于每個像素執行包括在多幀的信號中的每個信號中的顏色數據的平均處理，信 號處理單元生成顏色平均數據，及 用于第一數據的生成的顏色數據被設置為顏色平均數據。6. 如權利要求2所述的圖像拾取裝置，還包括： 圖像拾取元件，包括第一像素組和第二像素組以及被配置為通過掃描第一像素組和第 二像素組來從第一像素組和第二像素組輸出信號的垂直掃描電路，其中 當垂直掃描電路掃描第一像素組和第二像素組一次時，圖像拾取元件輸出一幀的信 號， 當垂直掃描電路掃描第一像素組和第二像素組多次時，圖像拾取元件輸出多幀的信 號， 通過對于每個像素執行包括在多幀的信號中的每個信號中的顏色數據的平均處理，信 號處理單元生成顏色平均數據，及 用于第一數據的生成的顏色數據被設置為顏色平均數據。7. 如權利要求3所述的圖像拾取裝置，還包括： 圖像拾取元件，包括第一像素組和第二像素組以及被配置為通過掃描第一像素組和第 二像素組來從第一像素組和第二像素組輸出信號的垂直掃描電路，其中 當垂直掃描電路掃描第一像素組和第二像素組一次時，圖像拾取元件輸出一幀的信 號， 當垂直掃描電路掃描第一像素組和第二像素組多次時，圖像拾取元件輸出多幀的信 號， 通過對于每個像素執行包括在多幀的信號中的每個信號中的顏色數據的平均處理，信 號處理單元生成顏色平均數據，及 用于第一數據的生成的顏色數據被設置為顏色平均數據。8. 如權利要求5所述的圖像拾取裝置， 其中信號處理單元不對由第一像素組輸出的信號執行平均處理，而對由第二像素組輸 出的信號執行平均處理。9. 如權利要求5所述的圖像拾取裝置，其中 通過對于每個像素對包括在多幀的信號中的每個信號中的分辨率數據執行平均處理， 信號處理單元生成分辨率平均數據， 用于第一數據的生成的分辨率數據被設置為分辨率平均數據，及 用于分辨率平均數據的生成的幀數比用于顏色平均數據的生成的幀數少。10. -種圖像拾取裝置，其特征在于，包括： 包括多個像素的第一像素組，每個像素包括光電轉換單元； 包括多個像素的第二像素組，每個像素包括光電轉換單元;及 信號處理單元， 圖像拾取裝置將數據輸出到被配置為根據預定陣列的數據生成圖像的圖像處理單元， 其中 包括在第一像素組中的每個光電轉換單元與包括在第二像素組中的每個光電轉換單 元具有要被光電轉換的光的相互不同的波長帶， 包括在第一像素組中的像素的數目是比包括在第二像素組中的像素的數目的兩倍還 多的數目， 包括在第一像素組中的每個像素和包括在第二像素組中的每個像素具有光透射部分， 透射通過第一像素組的光透射部分的光的波長帶包括在從藍到紅的范圍內的波長帶， 透射通過第二像素組的光透射部分的光的波長帶比透射通過第一像素組的光透射部 分的光的波長帶窄， 信號處理單元 通過使用由包括在第一像素組中的像素輸出的信號來生成分辨率數據，通過使用由包 括在第二像素組中的像素輸出的信號來生成顏色數據，及 通過使用分辨率數據和顏色數據來生成第一數據，第一數據包括在具有要被包括在第 二像素組中的光電轉換單元光電轉換的波長帶的光被包括在第一像素組中的光電轉換單 元光電轉換的情況下生成的信號，以及在具有要被包括在第一像素組中的光電轉換單元光 電轉換的波長帶的光被包括在第二像素組中的光電轉換單元光電轉換的情況下生成的信 號，及 信號處理單元通過對第一數據執行上轉換處理來生成第二數據，及 執行將第二數據設置為預定陣列的數據的處理。11. 一種圖像拾取裝置，其特征在于，包括： 包括多個像素的第一像素組，每個像素包括光電轉換單元； 包括多個像素的第二像素組，每個像素包括光電轉換單元;及 信號處理單元，其中 包括在第一像素組中的每個光電轉換單元與包括在第二像素組中的每個光電轉換單 元具有要被光電轉換的光的相互不同的波長帶， 信號處理單元 通過使用由包括在第一像素組中的像素輸出的信號來生成分辨率數據，通過使用由包 括在第二像素組中的像素輸出的信號來生成顏色數據，并且通過組合分辨率數據和顏色數 據來生成第一數據， 通過對第一數據執行上轉換處理來生成第二數據，及 對第二數據執行馬賽克處理。12. -種圖像拾取系統，其特征在于，包括： 如權利要求1至11中任一項所述的圖像拾取裝置;及 圖像處理單元。13. -種處理由圖像拾取元件輸出的信號的信號處理方法，其特征在于， 圖像拾取元件包括第一像素組和第二像素組，其中第一像素組包括多個像素，每個像 素包括光電轉換單元，并且第二像素組包括多個像素，每個像素包括光電轉換單元， 包括在第一像素組中的每個光電轉換單元與包括在第二像素組中的每個光電轉換單 元具有要被光電轉換的光的相互不同的波長帶， 該信號處理方法包括： 通過使用由包括在第一像素組中的像素輸出的信號來生成分辨率數據，通過使用由包 括在第二像素組中的像素輸出的信號來生成顏色數據，并且通過組合分辨率數據和顏色數 據來生成第一數據， 通過對第一數據執行上轉換處理來生成第二數據，及 對第二數據執行馬賽克處理。
【文檔編號】H04N5/232GK106067935SQ201610216800
【公開日】2016年11月2日
【申請日】2016年4月8日 公開號201610216800.6, CN 106067935 A, CN 106067935A, CN 201610216800, CN-A-106067935, CN106067935 A, CN106067935A, CN201610216800, CN201610216800.6
【發明人】大西智也, 海部紀之, 川野藤雄, 高堂壽士
【申請人】佳能株式會社