專利名稱：具有帶有全色棋盤圖案的彩色濾光器陣列的圖像傳感器的制作方法
技術領域：
本發明涉及帶有具有改善的光靈敏度的全色像素的二維彩色圖像傳感器。
背景技術：
電子成像系統依賴于電子圖像傳感器來創建視覺圖像的電子表示。這樣的電子圖 像傳感器的實例包括電荷耦合器件(CCD)圖像傳感器和有源像素傳感器(APS)裝置(APS 裝置因為能夠以互補金屬氧化物半導體工藝來制造它們而通常被稱為CMOS傳感器)。典型 地，這些圖像傳感器包括通常以行和列的規則圖案布置的多個光敏像素。為了捕獲彩色圖 像，通常將濾光器的圖案制造在像素的圖案上，其中使用不同濾光器材料來使各個像素僅 對一部分可見光譜敏感。彩色濾光器必定會降低到達每個像素的光量，并且因此降低每個 像素的光靈敏度。持續需要改善電子彩色圖像傳感器的光靈敏度或照相速度以便準許在較 低光級下捕獲圖像或者允許以較短的曝光時間來捕獲較高光級的圖像。
圖像傳感器或者是線性的或者是二維的。 一般來說，這些傳感器具有兩種不同類 型的應用。二維傳感器通常適合于諸如數字照相機、蜂窩電話的圖像捕獲設備和其它應用。 線性傳感器通常用于掃描文件。在任何一種情況下，當采用彩色濾光器時，圖像傳感器都具 有降低的靈敏度。 由Eastman Kodak公司制造的線性圖像傳感器KLI-4104包括四個線性、單像素寬 的像素陣列，其中將彩色濾光器應用于它們中的三個陣列以使得每個陣列完全對紅色、綠 色或藍色敏感，并且沒有彩色濾光器陣列應用于第四陣列；此外，這三個彩色陣列具有較大 的像素以補償因為彩色濾光器而導致的光靈敏度的降低，并且第四陣列具有較小的像素以 捕獲高分辨率亮度圖像。當使用這樣的圖像傳感器捕獲圖像時，圖像被表現為高分辨率、高 照相靈敏度亮度圖像，伴隨有三個具有大致相同的照相靈敏度的較低分辨率的圖像，并且 這三個圖像中的每一個對應于來自圖像的紅光、綠光或者藍光；因此，電子圖像上的每個點 都包括亮度值、紅色值、綠色值和藍色值。然而，因為這是線性圖像傳感器，所以它需要圖像 傳感器和圖像之間的相對機械運動，以便跨越四個線性像素陣列掃描圖像。這限制了掃描 圖像的速度，并且排除了在手持照相機中或在捕獲包括運動物體的場景時使用該傳感器。
本領域還已知Akira Muramatsu的美國專利4， 823， 186中所描述的包括兩個傳感 器的電子成像系統，其中每個傳感器都包括二維像素陣列，但是一個傳感器不具有彩色濾 光器而另一個傳感器包括彩色濾光器的圖案(所述彩色濾光器是像素所具有的)，并且還 包括有光學分束器以便為每個圖像傳感器提供圖像。因為彩色傳感器具有所應用的彩色濾 光器圖案，所以彩色傳感器中的每個像素僅提供單一顏色。當利用該系統捕獲圖像時，電 子圖像中的每個點都包括亮度值和一個顏色值，并且彩色圖像在從附近的顏色被插值的每 個像素位置處肯定有遺漏的顏色。盡管該系統相比于單個傳統的圖像傳感器改善了光靈敏 度，但是系統的整體復雜性、大小和成本都因為需要兩個傳感器和分束器而較大。此外，分 束器僅將一半的光從圖像引導到每個傳感器，從而限制了照相速度的改善。
除了上面提到的線性圖像傳感器之外，本領域還已知具有二維像素陣列的圖像傳
3感器，其中像素包括沒有將彩色濾光器應用于其上的像素。例如，見Sato等人的美國專利 4， 390， 895、 Yamagami等人的美國專利5， 323， 233、 Gindele等人的美國專利6， 476， 865以 及Frame的美國專利申請2003/0210332。在所引用的每個專利中，與亮度或未濾光的像素 的采樣布置相比，彩色像素的采樣布置有利于亮度圖像超過有利于彩色圖像，或者反之，或 者以其它方式提供彩色和亮度像素的次優布置。 因此，存在對改善使用具有二維像素陣列的單個傳感器的電子捕獲設備的光靈敏 度的不斷需求。
發明內容
本發明致力于提供具有二維彩色和全色像素陣列的圖像傳感器，所述二維彩色和 全色像素陣列提供高靈敏度并且在產生全顏色圖像方面是有效的。 簡言之，根據本發明的一個方面，本發明提供用于捕獲彩色圖像的圖像傳感器，所 述圖像傳感器包括具有多個最小重復單元的二維像素陣列，其中每個重復單元由八個像素 構成，這八個像素包括四個全色像素、兩個具有相同顏色響應的像素以及兩個具有不同顏 色響應，所述具有不同顏色響應的像素與具有相同顏色響應的像素不同，其中平鋪最小重 復單元以使得圖像傳感器的每一行或每一列具有單色的彩色像素。 本發明的另一個方面是用于捕獲彩色圖像的圖像傳感器，所述圖像傳感器包括具 有多個最小重復單元的二維像素陣列，其中每個重復單元由八個像素構成，這八個像素包 括四個全色像素、兩個具有相同顏色響應的像素以及兩個具有不同顏色響應，所述具有不 同顏色響應的像素與具有相同顏色響應的像素不同，其中平鋪最小重復單元以使得圖像傳 感器的每一行和每一列具有僅兩種顏色的彩色像素。 根據本發明的圖像傳感器特別適合于低水平照明條件，其中這樣的低水平照明條
件是低場景照明、短曝光時間、小孔徑或對到達傳感器的光的其它限制的結果。它們具有廣
泛的應用并且許多類型的圖像捕獲設備可以有效地使用這些傳感器。此外，根據本發明的
圖像傳感器便于處理所捕獲的圖像以便產生最終的完全彩色渲染的圖像。 通過下面對優選實施例的詳細描述和所附權利要求的評述，并且通過參考附圖，
將會更清楚地理解和認識本發明的這些和其它方面、目標、特征和優點。
圖1是可以使用傳統傳感器和處理方法或本發明的傳感器和處理方法的傳統數 字靜止照相機系統的框圖； 圖2(現有技術)是示出最小重復單元和非最小重復單元的傳統Bayer彩色濾光 器陣列圖案； 圖3提供紅色、綠色和藍色像素的代表性光譜量子效率曲線以及更寬光譜全色量 子效率，所有都乘以了紅外截止濾光器的傳輸特性； 圖4(現有技術)是具有全色像素和彩色像素的彩色濾光器陣列圖案的最小重復 單元； 圖5A-5B示出了本發明的彩色濾光器陣列圖案的變形的最小重復單元；
圖6A-6B示出了平鋪圖5A的最小重復單元的兩種方式；
圖7A-7B示出了本發明的包括具有兩個靈敏度的全色像素的最小重復單元；以及
圖8A-8C示出了圖5A的最小重復單元以及旋轉四十五度的圖6A-6B的平鋪布置；
圖9A-9C示出紅色、綠色和藍色像素的不同布置。
具體實施例方式
因為已公知使用用于信號捕獲和校正以及用于曝光控制的相關電路和成像設備 的數字照相機，所以本說明書將特別涉及形成根據本發明的方法和裝置的一部分或者更直 接地與根據本發明的方法和裝置合作的元件。在此處沒有具體示出或描述的元件是從本領 域中已知的那些中選擇的。要描述的實施例的某些方面以軟件提供。假定在下列材料中根 據本發明所示和所述的系統，在此處沒有具體示出、描述或建議的對實施本發明有幫助的 軟件是常規的并且處于該領域的普通技術內。 現在轉向圖l，示出了被示出為體現本發明的數字照相機的圖像捕獲設備的框圖。 盡管現在將解釋數字照相機，但是本發明可以清楚地應用于其它類型的圖像捕獲設備。在 所公開的照相機中，來自對象場景的光IO被輸入到成像級ll，在成像級11處，光由透鏡12 聚焦以在固態圖像傳感器20上形成圖像。圖像傳感器20將入射光轉換成用于每個圖像元 素(像素)的電信號。優選實施例的圖像傳感器20是電荷耦合器件(CCD)類型或有源像 素傳感器(APS)類型(APS裝置因為能夠以互補金屬氧化物半導體工藝來制造它們而通常 被稱為CMOS傳感器)。如果其它類型的具有二維像素陣列的圖像傳感器采用本發明的圖 案，則可以使用這樣的圖像傳感器。本發明還使用具有二維彩色和全色像素陣列的圖像傳 感器20，如在圖1的描述之后稍后在本說明書中將變得清楚的那樣。盡管可以在圖5A-5B、 圖6A-6B、圖7A-7B和圖8A-8C中看到用于圖像傳感器20的本發明的彩色和全色像素的圖 案的實例，但是在本發明的精神內可以使用其它圖案。 改變孔徑的虹彩光圈(iris)塊14和包括插入光路中的一個或多個中性密度(ND) 濾光器的ND濾光器塊13調節到達傳感器20的光量。而且，調節整體光級的是快門塊18打 開的時間。到達傳感器20的光量還由快門塊18打開的時間來調節。曝光控制器塊40響 應于由亮度傳感器塊16計量的場景中可用的光量并且控制所有這三個調節功能。
對于本領域的技術人員來說對特定照相機配置的該描述將是熟悉的，并且顯而易 見的是存在許多變形和附加特征。例如，添加自動聚焦，或者透鏡是可拆卸的并且可互換。 應當理解，本發明適用于任何類型的數字照相機，其中相似的功能有可替換的部件提供。例 如，數字照相機是相對簡單的傻瓜(point and shoot)數字照相機，其中快門18是相對簡 單的可移動葉片快門等等，而不是更復雜的焦平面布置。本發明還可以在包括在非照相機 設備(例如移動電話和機動車輛)中的成像部件上實行。 來自圖像傳感器20的模擬信號被模擬信號處理器22處理，并且被施加到模數(A/ D)轉換器24。定時生成器26產生用以選擇行和像素的各種時鐘信號，并且使模擬信號處 理器22與A/D轉換器24的操作同步。圖像傳感器級28包括圖像傳感器20、模擬信號處理 器22、 A/D轉換器24和定時生成器26。圖像傳感器級28的部件是分別制造的集成電路， 或者它們被制造成單一集成電路，像通常利用CMOS圖像傳感器所完成的那樣。來自A/D轉 換器24的所得到的數字像素值流被存儲在與數字信號處理器(DSP)36相關聯的存儲器32 中。
除了系統控制器50和曝光控制器40之外，數字信號處理器36是本實施例中的三
個處理器或控制器中的一個。盡管在多個控制器和處理器之間的照相機功能控制的這樣的
劃分是典型的，但是可以在不影響照相機的功能操作和本發明的應用的情況下以各種方式
來組合這些控制器或處理器。這些控制器或處理器可以包括一個或多個數字信號處理器設
備、微控制器、可編程邏輯器件或其它數字邏輯電路。盡管已經描述了這樣的控制器或處理
器的組合，但是顯而易見的是，可以指定一個控制器或處理器來執行所有所需的功能。所有
這些變形可以執行相同的功能并且都落入本發明的范圍中，并且術語"處理級"將根據需要
被用來將所有這樣的功能包括在一個短語中，例如圖1中的處理級38中。 在所說明的實施例中，DSP 36根據永久存儲在程序存儲器54中并且復制到存儲
器32以便在圖像捕獲期間執行的軟件程序來處理其存儲器32中的數字圖像數據。DSP 36
執行實行圖l所示的圖像處理所必需的軟件。存儲器32包括任何類型的隨機存取存儲器，
諸如SDRAM。包括用于地址和數據信號的通道的總線30將DSP 36連接到其相關的存儲器
32、 A/D轉換器24和其它相關的設備。 系統控制器50基于存儲在程序存儲器54中的軟件程序控制照相機的整個操作， 該程序存儲器54可以包括閃速電可擦寫可編程只讀存儲器(Flash EEPROM)或其它非易失 性存儲器。該存儲器還可以被用來存儲圖像傳感器校準數據、用戶設置選擇和在照相機關 閉時必須被保存的其它數據。系統控制器50通過引導曝光控制器40操作之前描述的透鏡 12、ND濾光器13、虹彩光圈14和快門18，引導定時生成器26操作圖像傳感器20和相關的 元件，以及引導DSP 36處理所捕獲的圖像數據，來控制圖像捕獲序列。在圖像被捕獲和處 理之后，存儲在存儲器32中的最終圖像文件經由主機接口 57傳輸到主機計算機，存儲在移 動存儲卡64或其它存儲設備上，并且為用戶顯示在圖像顯示器88上。
總線52包括用于地址、數據和控制信號的通道，并且將系統控制器50連接到DSP 36、程序存儲器54、系統存儲器56、主機接口 57、存儲卡接口 60和其它相關設備。主機接 口 57提供到個人計算機(PC)或其它主機計算機的高速連接以便傳輸圖像數據用于顯示、 存儲、處理或打印。該接口是IEEE1394或USB2.0串行接口或任何其它適合的數字接口。 存儲卡64通常是插入到插口 62中和經由存儲卡接口 60連接到系統控制器50的緊湊閃存 (Compact Flash，CF)。所使用的其它類型的存儲裝置包括但不限于PC卡、多媒體卡(匪C) 或安全數字(SD)卡。 所處理的圖像被復制到系統存儲器56中的顯示緩沖器，并且經由視頻編碼器80 被連續地讀出以產生視頻信號。直接從照相機輸出該信號以便在外部監視器上顯示，或者 由顯示控制器82處理該信號且呈現在圖像顯示器88上。該顯示器通常是有源矩陣彩色液 晶顯示器(LCD)，但是也可以使用其它類型的顯示器。 用戶控制和接口狀態68包括取景器顯示器70、曝光顯示器72、狀態顯示器76和 圖像顯示器88以及用戶輸入74的所有或任何組合，并且由在曝光控制器40和系統控制器 50上執行的軟件程序的組合來控制。用戶輸入74通常包括按鈕、搖桿式開關、操縱桿、旋轉 式撥盤或觸摸屏的某組合。曝光控制器40操作測光、曝光模式、自動聚焦和其它曝光功能。 系統控制器50管理呈現在一個或多個顯示器上(例如在圖像顯示器88上)的圖形用戶界 面(GUI)。 GUI通常包括用于進行各種選項選擇的菜單和用于檢查所捕獲的圖像的回看模 式。
曝光控制器40接受選擇曝光模式、透鏡孔徑、曝光時間(快門速度)和曝光指數 或ISO速度等級的用戶輸入，并且相應地引導透鏡和快門以便進行隨后的捕獲。使用亮度 傳感器16來測量場景的亮度并且為用戶提供曝光計功能以便指出何時手動設置ISO速度 等級、孔徑和快門速度。在這種情況下，當用戶改變一個或多個設置時，呈現在取景器顯示 器70上的光度計指示器告訴用戶圖像將被過度曝光或曝光不足到什么程度。在自動曝光 模式中，用戶改變一個設置，則曝光控制器40自動改變另一個設置以便維持正確的曝光， 例如對于給定的IS0速度等級來說，當用戶減小透鏡孔徑時，曝光控制器40自動增加曝光 時間以便維持相同的整體曝光。 ISO速度等級是數字靜止照相機的重要屬性。曝光時間、透鏡孔徑、透鏡透射比、場 景照明的等級和光譜分布以及場景反射系數確定數字靜止照相機的曝光等級。當使用不足 曝光從數字靜止照相機獲得圖像時，通常可以通過增大電子或數字增益來維持正確的色調 重現，但是圖像將包含不能接受的噪聲量。當曝光增加時，增益降低，并且因此圖像噪聲通 常可以被減小到可接受的等級。如果過度地增加曝光，則在圖像的明亮區域中的所產生的 信號可以超過圖像傳感器或照相機信號處理的最大信號電平容量。這可以使圖像高亮被削 減從而形成均一明亮的區域，或者使圖像高亮發展到圖像的周圍區域。指導用戶設置正確 的曝光很重要。ISO速度等級旨在作為這樣的指導。為了使攝影師容易地理解，數字靜止照 相機的ISO速度等級應該直接與照相膠片照相機的ISO速度等級相關。例如，如果數字靜 止照相機具有ISO 200的ISO速度等級，則相同的曝光時間和孔徑應該適合于ISO 200標 定膠片(film)/處理系統。 ISO速度等級旨在與膠片ISO速度等級相協調。然而，排除精確相等的電子成像
系統和基于膠片的成像系統之間存在差異。數字靜止照相機可以包括可變增益，并且可
以在圖像數據被捕獲之后提供數字處理，從而使得能夠在照相機曝光范圍上獲得色調重
現。因此數字靜止照相機具有速度等級范圍是有可能的。該范圍被定義為ISO速度范圍
(latitude)。為了防止混淆，信號值被指定為固有ISO速度等級，其中ISO速度范圍上限和
下限指示速度范圍，即包括不同于固有ISO速度等級的有效速度等級的范圍。要記住，固有
ISO速度是根據在數字靜止照相機的焦平面處提供以產生特定照相機輸出信號特性的曝光
而計算出的數值。固有速度通常是對于常規場景的給定照相機系統產生最高圖像質量的曝
光指數值，其中曝光指數是與提供給圖像傳感器的曝光成反比的數值。 前面對數字照相機的描述對本領域技術人員來說是熟悉的。顯而易見的是，存在
該實施例的許多可能的變形，并且選擇許多變形來降低成本、添加特征或改善照相機的性
能。下面的描述將詳細公開根據本發明的用于捕獲圖像的該照相機的操作。盡管該描述是
參考數字照相機而進行的，但是將會理解本發明適用于帶有具有彩色和全色像素的圖像傳
感器的任何類型的圖像捕獲設備。 圖1中示出的圖像傳感器20通常包括制造在硅襯底上的二維光敏像素陣列，其提 供將每個像素處的入射光轉換成被測電信號的方式。當傳感器暴露于光時，自由電子被生 成并且被捕獲在每個像素處的電子結構內。捕獲這些自由電子一定時間段，并且然后測量 所捕獲的電子的數目或者測量生成自由電子的速率，從而測量每個像素處的光級。在前面 的情況中，所累積的電荷被移出像素陣列到電荷到電壓(charge tovoltage)測量電路(如 在電荷耦合器件(CCD)中)，或者靠近每個像素的區域包含電荷到電壓測量電路(如在有源像素傳感器(APS或CMOS傳感器)中)的元件。 當在下面的描述中對圖像傳感器進行統一指代時，應該理解為表示圖1的圖像傳 感器20。進一步應該理解，在該說明書中公開的本發明的圖像傳感器體系結構和像素圖案 的所有實例和它們的等同物都用于圖像傳感器20。 在圖像傳感器的背景中，像素("圖像元素"的縮寫)指的是離散光感測區域和與 該光感測區域相關聯的電荷移位或電荷測量電路。在數字彩色圖像的背景中，術語像素通 常指的是具有相關顏色值的圖像中的特定位置。 為了產生彩色圖像，圖像傳感器中的像素陣列通常具有置于它們之上的彩色濾光 器圖案。圖2示出了通常使用的紅色、綠色和藍色彩色濾光器的圖案。如在US 3， 971， 065 中所公開的，該特定圖案因為其發明人Bryce Bayer而通常被稱為Bayer彩色濾光器陣列 (CFA)。該圖案在具有二維彩色像素陣列的圖像傳感器中被有效地使用。結果，每個像素具 有特定的顏色光響應，在這種情況下，該特定的光響應是對紅色、綠色或藍色光的主要靈敏 度。另一些有用的各種顏色光響應是對品紅色、黃色或青色光的主要靈敏度。在每種情況 下，特定的顏色光響應對可見光譜的某部分具有高靈敏度，而且同時對可見光譜的其它部 分具有低靈敏度。術語彩色像素是指具有顏色光響應的像素。 所選擇的用于傳感器中的一組顏色光響應通常具有三種顏色，如在Bayer CFA中 所示的那樣，但是它還可以包括四種或更多的顏色。如此處所使用的那樣，全色光響應指具 有比在所選擇的那組顏色光響應中所表現出的那些光譜靈敏度更寬的光譜靈敏度的光響 應。全色光響應可以具有跨越整個可見光譜的高靈敏度。術語全色像素將指具有全色光響 應的像素。盡管全色像素通常具有比那組顏色光響應更寬的光譜靈敏度，但是每個全色像 素可以具有相關聯的濾光器。這樣的濾光器或者是中性密度濾光器或者是彩色濾光器。
當彩色和全色像素的圖案在圖像傳感器的表面上時，每個這樣的圖案都具有重復 單元，所述重復單元是作為基本構建塊的鄰近像素子陣列。通過將重復單元的多個副本并 列布置，產生整個傳感器圖案。在對角線方向以及水平和垂直方向來完成重復單元的多個 副本的并列布置。 最小重復單元是使得沒有其它的重復單元具有更少的像素的重復單元。例如，圖 2中的CFA包括最小重復單元，該最小重復單元是由圖2中的像素塊100示出的兩個像素 乘以兩個像素。該最小重復單元的多個副本被平鋪以覆蓋圖像傳感器中的整個像素陣列。 最小重復單元被示為在右上角具有綠色像素，但是通過使粗線勾勒的區域向右移動一個像 素、向下移動一個像素或者沿對角線向右和向下移動一個像素可以容易地識別三個可替換 的最小重復單元。盡管像素塊102是重復單元，但是它不是最小重復單元，因為像素塊100 是重復單元并且塊100具有比塊102少的像素。 使用具有帶有圖2的CFA的二維陣列的圖像傳感器捕獲的圖像在每個像素處僅具 有一種顏色。為了產生全顏色圖像，存在許多在每個像素處推斷或插值缺少的顏色的技術。 這些CFA插值技術是本領域中熟知的并且參考下面的專利US 5， 506， 619、 US 5， 629， 734 和US 5,652,621。 圖3示出了在典型照相機應用中具有紅色、綠色和藍色彩色濾光器的像素的相對 光譜靈敏度。圖3的X軸表示以納米計的光波長，并且Y軸表示效率。在圖3中，曲線110 表示用于阻擋紅外光和紫外光到達圖像傳感器的典型濾光器的光譜透射特性。需要這樣的濾光器是因為用于圖像傳感器的彩色濾光器通常不會阻擋紅外光從而像素不能區別紅
外光和在它們相關的彩色濾光器的通帶內的光。曲線iio示出的紅外截止特性防止紅外光 破壞可見光信號。具有所應用的紅色、綠色和藍色濾光器的典型硅傳感器的光譜量子效率 (即被捕獲并且轉換成可測量的電信號的入射光子的比例)被乘以由曲線110表示的紅外 截止濾光器的光譜透射特性，以產生由用于紅色的曲線114、用于綠色的曲線116以及用于 藍色的曲線118表示的組合的系統量子效率。從這些曲線可以理解，每個顏色光響應僅對 可視光譜的一部分敏感。與此相對照，曲線112示出了不具有所應用的彩色濾光器(但是 包括紅外截止濾光器特性)的相同硅傳感器的光響應；這是全色光響應的實例。通過將顏 色光響應曲線H4、116和118與全色光響應曲線112進行比較，顯然全色光響應對寬光譜 光要比任何一種顏色光響應更靈敏度三到四倍。盡管不同類型的另一種傳感器可以具有不 同于圖3示出的光響應，但是顯然更寬闊的全色響應將總是比任何一種顏色光響應對寬光 譜光更靈敏。 在圖3中示出的更大的全色靈敏度準許通過混合包括彩色濾光器的像素和不包 括彩色濾光器的像素來改善圖像傳感器的整體靈敏度。然而，彩色濾光器像素比全色像素 明顯較不靈敏。在這種情況下，如果全色像素被適當地暴露于光而使得來自場景的光強范 圍覆蓋全色像素的全部測量范圍，則彩色像素將明顯曝光不足。因此，調整彩色濾光器像素 的靈敏度以使得他們具有與全色像素大致相同的靈敏度是有利地。例如通過增加彩色像素 相對于全色像素的大小，來增加彩色像素的靈敏度，其中空間像素具有相關的減少。
在包括全色像素和彩色像素的圖像捕獲設備中，像素陣列中的全色和彩色像素的 布置影響圖像捕獲設備的空間采樣特性。在全色像素代替彩色像素的情況下，顏色采樣的 頻率被減小。例如，如果將圖2的最小重復單元100中的一個綠色像素用全色像素來代替， 如在Gindele等人的美國專利6， 476， 865中那樣，則綠色采樣頻率被減小，這是因為，存在 如圖2示出的原始圖案中的一半之多的綠色像素。在該特定的情況下，全色像素的采樣頻 率和每個彩色像素的采樣頻率相同。 因為全色像素通常比彩色像素更靈敏，所以期望全色像素比任何一個彩色像素具 有更高的采樣頻率，由此提供圖像的魯棒的、更高靈敏度的全色表示，以便為隨后的圖像處 理和在每個像素處插值缺少的顏色提供基礎。例如，Yamagami等人在美國專利5， 323， 233 中示出了具有50 %的全色像素、25 %的綠色像素以及紅色像素和藍色像素各12. 5 %的圖 案。在圖4中示出了該圖案的最小重復單元。使綠色像素為兩種彩色像素中的任何一種彩 色像素的兩倍之多是與廣泛使用的Bayer圖案一致的，但是這在與如Yamagami所示的魯棒 全色采樣布置組合時并不一定提供優點。減小綠色采樣布置以能和其它顏色相比，將不會 對完全處理的圖像產生顯著的不利影響。 圖5A示出了本發明的最小重復單元，該最小重復單元具有被均勻的布置在整個 最小重復單元上的四個全色像素以及一個紅色像素(R)、兩個綠色像素(G)和一個藍色像 素。 圖5B示出了本發明的另一個最小重復單元。除了分別用品紅色、黃色和青色像素 來代替紅色、綠色和藍色像素之外，圖5B與圖5A相似，從而表明本發明可以用于任何一組 四個不同的光譜靈敏度。 圖5A的最小重復單元被平鋪以便以一些方式提供更大的像素陣列而沒有缺少的
9像素。圖6A示出了以下平鋪布置其中圖5A的最小重復單元按行和列被均勻地平鋪。圖 6B示出了以下平鋪布置其中最小重復單元的每一行相對于上面的行向右移位兩個像素； 換句話說，圖5B的最小重復單元按行被均勻地平鋪，其中每行相對于上面相鄰的行向右移 位最小重復單元的一半。 在圖6A示出的圖5A的平鋪布置提供其中每一列具有全色像素和單色的彩色像素 的像素陣列。將圖6A的布置旋轉90度提供了本發明的可替換像素陣列。在該旋轉的情況 下，像素陣列的每一行具有全色像素和單色的彩色像素。 在圖6B示出的圖5A的平鋪布置提供其中每一列和每一行具有全色像素和兩種顏 色的彩色像素的像素陣列。將圖6B的布置旋轉90度提供了本發明的可替換像素陣列。在 該旋轉的情況下，像素陣列的每一行和每一列具有全色像素和兩種顏色的彩色像素。
圖6A和6B的平鋪布置是本發明的兩個實施例。注意，這兩個平鋪布置都提供像素 的全色棋盤，其中每個全色像素與四個其它全色像素對角相鄰。還注意，彩色像素的這兩個 布置提供不同的顏色采樣特性。例如，圖6A的顏色采樣具有比水平頻率更高的垂直頻率。 可替換地，圖6B的顏色采樣具有相等的垂直頻率和水平頻率。在像素為矩形并且長且窄的 情況下，圖6A的不同的顏色采樣頻率是有用的；在像素是方形的情況下，圖6B的相等的顏 色采樣頻率是有用的。 —般來說，根據本發明的圖像傳感器可以具有下面的最小重復單元
P B P C
A P B P 其中P表示全色像素，并且A、B和C表示具有不同顏色響應的像素。在一個布置 中，A、B和C表示具有分別從紅色、綠色或藍色顏色響應中選擇的顏色響應的像素。在特定 的布置中，A表示具有紅色顏色響應的像素，B表示具有綠色顏色響應的像素，并且C表示具 有藍色顏色響應的像素。可替換地，A、B和C可以表示具有分別從青色、黃色或品紅色響應 中選擇的顏色響應的像素。在特定的布置中，A表示具有青色顏色響應的像素，B表示具有 黃色顏色響應的像素，并且C表示具有品紅色顏色響應的像素。 本發明的圖案中的全色像素在靈敏度上沒必要一樣。例如，圖7A示出了與圖5A
相似的最小重復單元，其中所述兩個全色像素被用具有不同于原始全色像素的照相速度的
全色像素代替。具有不同全色靈敏度的全色像素被用來捕獲更寬范圍的光級。圖7B示出
了帶有具有兩個不同照相速度的全色像素的可替換布置的另一最小重復單元。 注意，旋轉圖5A、圖7A、圖7B中的任何陣列或旋轉任何其它之前描述的本發明實
施例都完全落在本發明的范圍內。例如，圖8A示出了等同于將圖5A的最小重復單元逆時
針方向旋轉四十五度的八角形像素的布置的最小重復單元。圖8B示出了平鋪圖8A的最小
重復單元以形成等同于圖6A的四十五度逆時針方向旋轉的圖案。圖8C示出了平鋪圖8A
的最小重復單元以形成等同于圖6B的四十五度逆時針方向旋轉的圖案。在這些旋轉布置
的情況下，并且以與最小重復單元和平鋪布置的旋轉一致的方式，像素的行和列被認為是
經旋轉的。 為了某些目的，從傳感器產生較低分辨率的圖像是有利的，例如以便為視頻捕獲 提供更高的幀速率或者在顯示屏上提供活動的預覽圖像。在圖1中，DSP 36提供從由傳感 器和成像子系統提供的未處理圖像的經處理的圖像。為了以視頻幀速率提供經處理的圖像
10系列，在很多情況下DSP 36提供硬連線的圖像處理路徑(與可編程的圖像處理路徑相反)。 這樣的硬連線圖像處理路徑通常需要傳感器數據與圖2的Bayer濾光器圖案一致。因此， 有利的是提供從本發明的傳感器便利地讀取降低分辨率的Bayer圖像的能力。
參考圖9A，示出了本發明的彩色和全色像素的布置。圖9A與圖6B類似，其中添 加了每個像素的指數以幫助示出從本發明的圖像傳感器產生降低分辨率的Bayer圖像。在 圖9A中，最小重復單元120被示出為與圖5A示出的最小重復單元相同。圖9B示出了僅包 括來自圖9A的彩色像素的像素布置。這與Bayer布置接近，除了奇數和偶數行像素被水平 偏移之外。圖9C的降低分辨率的Bayer布置是從圖9B的彩色像素產生的，如下所示。在 沒有修改的情況下，在圖9C中使用圖9B中的藍色像素(B14、B18、B34、B38、B54、B58、B74、B78)和 圖9B中在前述藍色像素的相同行上的綠色像素(G12、G16、G32、G36、G52、G56、G72、G76)。從圖9B 的對應行中的綠色像素和紅色像素插值圖9C中剩余的綠色像素(G24' 、G28' 、G44' 、G48' 、G84'、 G88，)和紅色像素(R22， 、 R26， 、 R42， 、 R46， 、 R62， 、 R66， 、 R82， 、 R86， ) 。 R22，的示例插值被給出為: R22'= (3*R21+l*R25)/4。可以使用本領域技術人員熟知的其它形式的插值，例如雙三次插值 和自適應性插值。圖9C的Bayer圖像具有圖9A的原始圖像的1/2的水平分辨率和全垂直 分辨率。另外，該結果圖像可以進一步被抽取以用于VGA(640行乘以480列)輸出或任何 其它尺寸的形式的輸出。 例如可以通過組合像素中的電荷、通過平均所采樣的電壓或通過組合像素信號的
數字表示來完成圖9B中示出的像素的插值以便獲得圖9C中示出的像素。 部件列表 IO來自對象場景的光 ll成像級 12透鏡 13中性密度濾光器 14虹彩光圈 16亮度傳感器 18快門 20圖像傳感器 22模擬信號處理器 24模數(A/D)轉換器 26定時生成器 28圖像傳感器級 30數字信號處理器(DSP)總線 32數字信號處理器(DSP)存儲器 36數字信號處理器(DSP) 38處理級 40曝光控制器 50系統控制器 52系統控制器總線 54程序存儲器
11
56系統存儲器57主機接口60存儲卡接口62存儲卡插口64存儲卡68用戶控制和狀態接口70取景器顯示器72曝光顯示器74用戶輸入76狀態顯示器80視頻編碼器82顯示控制器88圖像顯示器100Bayer圖案的最小重復單元102Bayer圖案的不是最小的重復單元110紅外截止濾光器的光譜透射曲線112傳感器的未濾光的光譜光響應曲線114傳感器的紅色光響應曲線116傳感器的綠色光響應曲線118傳感器的藍色光響應曲線120本發明的最小重復單元
權利要求
一種用于捕獲彩色圖像的圖像傳感器，包括具有多個最小重復單元的二維像素陣列，其中每個重復單元由八個像素構成，這八個像素包括四個全色像素、兩個具有相同顏色響應的像素以及兩個具有不同顏色響應的像素，所述具有不同顏色響應的像素與具有相同顏色響應的像素不同，其中所述最小重復單元被平鋪以使得像素陣列的每一行或每一列具有單色的彩色像素。
2. 根據權利要求1所述的圖像傳感器，其中所述全色像素為棋盤圖案的形式。
3. 根據權利要求1所述的圖像傳感器，具有下面的最小重復單元<formula>formula see original document page 2</formula>其中P表示全色像素，并且A、 B和C表示具有不同顏色響應的像素。
4. 根據權利要求3所述的圖像傳感器，其中A、 B和C表示具有分別選自紅色、綠色或藍色顏色響應的顏色響應的像素。
5. 根據權利要求3所述的圖像傳感器，其中A表示具有紅色顏色響應的像素，B表示具有綠色顏色響應的像素，并且C表示具有藍色顏色響應的像素。
6. 根據權利要求3所述的圖像傳感器，其中A、 B和C表示具有分別選自青色、黃色或品紅色響應的顏色響應的像素。
7. 根據權利要求3所述的圖像傳感器，其中A表示具有青色顏色響應的像素，B表示具有黃色顏色響應的像素，并且C表示具有品紅色顏色響應的像素。
8. —種用于捕獲彩色圖像的圖像傳感器，包括具有多個最小重復單元的二維像素陣列，其中每個重復單元由八個像素構成，這八個像素包括四個全色像素、兩個具有相同顏色響應的像素以及兩個具有不同顏色響應的像素，所述具有不同顏色響應的像素與具有相同顏色響應的像素不同，其中所述最小重復單元被平鋪以使得像素陣列的每一行和每一列具有僅兩種顏色的彩色像素。
9. 根據權利要求8所述的圖像傳感器，其中所述全色像素為棋盤圖案的形式。
10. 根據權利要求8所述的圖像傳感器，具有下面的最小重復單元<formula>formula see original document page 2</formula>其中P表示全色像素，并且A、 B和C表示具有不同顏色響應的像素。
11. 根據權利要求10所述的圖像傳感器，其中A、B和C表示具有分別選自紅色、綠色或藍色顏色響應的顏色響應的像素。
12. 根據權利要求IO所述的圖像傳感器，其中A表示具有紅色顏色響應的像素，B表示具有綠色顏色響應的像素，并且C表示具有藍色顏色響應的像素。
13. 根據權利要求10所述的圖像傳感器，其中A、 B和C表示具有分別選自青色、黃色或品紅色響應的顏色響應的像素。
14. 根據權利要求10所述的圖像傳感器，其中A表示具有青色顏色響應的像素，B表示具有黃色顏色響應的像素，并且C表示具有品紅色顏色響應的像素。
全文摘要
一種用于捕獲彩色圖像的圖像傳感器，包括具有多個最小重復單元的二維像素陣列，其中每個重復單元由八個的像素構成，這八個像素包括四個全色像素、兩個具有相同顏色響應的像素以及兩個具有不同顏色響應的像素，所述具有不同顏色響應的像素與具有相同顏色響應的像素不同，其中平鋪所述最小重復單元以使得圖像傳感器的每一行或每一列具有單色的彩色像素或者使得每一行或每一列具有僅兩種顏色的彩色像素。
文檔編號H04N9/07GK101785319SQ200880104051
公開日2010年7月21日 申請日期2008年8月20日 優先權日2007年8月23日
發明者C·帕克斯, E·O·莫雷爾斯, J·T·坎普頓, M·奧布賴恩 申請人:伊斯曼柯達公司