照相機傳感器校正的制作方法

專利名稱：照相機傳感器校正的制作方法
照相機傳感器校正背景技術
數字照相機包括至少一個照相機傳感器，諸如電荷耦合器件或“CCD”或互補金屬 氧化物半導體(CM0Q傳感器。數字照相機包括多個光敏電池，每個光敏電池響應于曝光而 積累或積聚電荷。針對任何給定像素的積聚電荷與曝光的強度和持續時間成比例，并用來 生成數字照片。
設計緊湊的高分辨率照相機的最有挑戰性的方面之一是照相機的總體積的限制。 在典型的目標高度小于6mm的情況下，必須使用非常緊湊的傳感器。這些傳感器要求表現 出降低的靈敏度、增大的噪聲、增大的色彩串擾以及增大的色彩不均衡性的小型像素設計。 這些緊湊設計常常由于撞擊照相機傳感器的中心(可能直接位于照相機透鏡的后面)的光 線對比撞擊照相機傳感器邊緣的光線(其以高度傾斜的角度撞擊)的入射角變化而表現出 過度漸暈。
除了非色彩相關漸暈之外，數字照相機還可能表現出色彩相關漸暈。例如，當捕捉 到被均勻照亮的中性表面(例如，白墻)的圖像時，結果得到的數字圖像可能不期望地被粉 紅色、綠色、或藍色色調著色。這些區域的準確顏色和形狀隨照明器類型和被拍照的場景而 變化。取決于光學系統、傳感器、電子裝置及其相互作用，這些觀察到的色調偏移存在許多 原因。


圖Ia是示出在沿著成像傳感器的不同位置處色差的位置相關性的圖示。
圖Ib是示例性照相機系統的部件圖。
圖2是示例性照相機傳感器的高級圖示。
圖3示出在示例性傳感器上的不同空間位置處傳感器和透鏡光譜響應的示例性 圖表。
圖4示出在歸一化并繪制在一起之后的圖3的針對示例性傳感器的傳感器和透鏡 光譜響應的示例性圖表。
圖5示出關于另一示例性傳感器的在傳感器上的不同空間位置處傳感器和透鏡 光譜響應的圖表。
圖6示出在歸一化并繪制在一起之后的圖5的針對示例性傳感器的傳感器和透鏡 光譜響應的示例性圖表。
圖7是示出可以實現以進行照相機傳感器校正的示例性操作的流程圖。
具體實施方式
本文公開了用于數字照相機傳感器的色彩相關和非色彩相關漸暈的校正的系統 和方法。由于這些效應跨越傳感器的區域在空間上變化，可以使用圖像處理算法來校正這 些不期望的效應。這些算法可以利用數學模型來擬合校正掩模(多邊形、橢圓形、圓形等 等)或者可能由于存儲器約束而以較小的分辨率存儲實際校正掩模。
照相機傳感器校正的某些方法可以假設可以從已知參考色溫下的平場圖像獲取 單個校正因數。雖然這種方法可以為未展示出色彩串擾的傳感器和透鏡組合及為光學串擾 不隨著來自不同類型的表面的反射光的波長而變化的傳感器提供充分的校正，但這些假設 可能不適用于超緊湊的設備(例如，在移動成像設備中所使用的)。也就是說，如本文將描 述的，單個線性乘法常數可能不產生重疊的光譜效應。
用于數字成像設備的緊湊透鏡系統通常由三個至四個透鏡元件和用來限制透射 過透鏡的光的光學通帶的紅外截止濾光器構成。此類透鏡具有非常陡的射線角，其在圖像 上引起兩種不期望的效應光學串擾和光譜串擾。
用于許多成像設備中的區域傳感器通常包括布置成Bayer模式的彩色濾光器的 馬賽克。Bayer模式被構造為具有包含交替的紅色和綠色像素(R和Gr)的一排傳感器，第 二排傳感器包含交替的藍色和綠色像素(B和( )。因此，當目的地是紅色、綠色或藍色像素 的光被不同顏色的相鄰像素收集時，發生光學串擾。由光學串擾引起的色調偏移的量沿成 像傳感器的水平和垂直軸變化。光學串擾具有降低被每個像素收集的光的量以及使得用于 處理圖像中的色彩信息產生像差的效應。因此，在本發明的示例性實施例中，如下文更詳細 地解釋的，當紅色排的綠色通道和藍色排的綠色通道的光譜響應存在差異時，實施四色彩 空間變化校正方案。
光學串擾還可能受到IR(紅外)截止濾光器的影響，所述頂截止濾光器限制圖像 傳感器所捕捉的光的波長。當入射在濾光器上的光不垂直于傳感器的涂層表面時，存在截 止波長朝向較短波長的空間變化的光譜透射偏移。此空間變化的光譜透射引起跨越傳感器 的空間變化的色調偏移。有時將彩色濾光器的不均衡色彩分離稱為光譜串擾。
圖Ia是示出在沿著成像傳感器的不同位置處色差的位置相關性的圖示10。圖Ia 包括成像透鏡12、包括離軸微型透鏡14和16的傳感器陣列、同軸像素18、同軸微型透鏡 20、入射光線角22。當光針對角22的小值(Θ 0)在同軸微型透鏡20處入射時，來自成 像透鏡12的基本上所有的光被同軸像素18收集。相反，當光例如在離軸微型透鏡14處以 傾斜的角度22(θ 0)入射時，入射光的相當一部分未被下面的像素捕捉而被損失。因此， 隨著光的角度22 ( θ )的增大，從而光向同軸微型透鏡20的右側或左側移動，更多的入射光 被損失。因此，像素所捕捉的光量取決于其相對于成像陣列的中心的位置，并且發生位置相 關的色差。
圖Ib是示例性照相機系統100的部件圖。雖然對特定的數字靜止照片照相機系統 100進行了參考，但應注意的是可以用現在已知或稍后可能開發的、用于多種應用中的任何 一種(例如照相機電話、數字照相機、視頻攝像機、掃描儀、醫學成像及其它電子成像設備) 的各類傳感器中的任何一種來實現本文所述的系統和方法。
存在可以在示例性照相機系統100中使用的許多不同類型的圖像傳感器。將圖像 傳感器分類的一種方式是按照其色彩分離機制。數字成像系統中的典型圖像傳感器由馬賽 克型傳感器組成，在該傳感器上形成有包括加成的色彩紅色、綠色、和藍色的濾光器陣列。 傳感器的每個像素包括以重復兩行的模式布置的相應紅色、綠色或藍色濾光器區域。第一 行包括交替的紅色和綠色像素，第二行包含交替的藍色和綠色像素。然后，將由每個像素形 成的圖像的單獨色彩陣列組合以在適當的處理之后產生全色圖像。
還可以有其它馬賽克彩色濾光器模式。本發明的實施例可以包括具有青色、品紅色、黃色和關鍵色(CMYK)；或紅色、綠色、藍色、鳧藍色(RGBT)；紅色、白色、藍色、綠色 (RWBG)等等的彩色濾光器。在馬賽克傳感器的一個變體中，可以使用包含被布置成跨越陣 列的條帶的彩色濾光器的傳感器。另一類型的傳感器依賴于光的不同波長穿透到硅的不同 深度的現象。此類傳感器可以使用照片站點(site)陣列，每個照片站點由被組織成二維網 格的三個垂直堆疊的光電二極管組成。在此類實施例中，三個堆疊光電二極管中的每一個 對光的不同顏色進行響應。處理來自這三個光電二極管的信號以形成圖像。然而，本文所 述的所有實施例將適用于任何上述傳感器。
現在返回圖Ib，示例性照相機系統100可以包括位于照相機系統100中以將從場 景145中的一個或多個對象140反射的光130聚焦到照相機傳感器150上的透鏡12。示例 性透鏡12可以是將從場景145反射的光130聚焦到照相機傳感器150上的任何適當的透^Ml O
照相機系統100還可以包括模數轉換器(“A/D”)160。在數字照相機中，模數轉 換器160將來自照相機傳感器150的模擬信號數字化并將其輸出到被連接到圖像處理管線 170和曝光/聚焦/WB分析模塊164的空間變化色彩校正模塊162。A/D 160生成表示在暴 露于場景145期間捕捉的光130的圖像數據信號。傳感器控制器155向圖像傳感器提供信 號，其可以通過照相機來實現，用于進行自動聚焦、自動曝光、預閃計算、圖像穩定和/或檢 測白平衡，這僅是幾個示例。
可以為照相機系統100提供與傳感器控制器155可操作地相關聯的圖像處理管線 或模塊170并可選地提供照相機設置180。圖像處理模塊170可以從空間變化色彩校正模 塊162接收圖像數據信號作為輸入。可以將圖像處理模塊170實現為對所述圖像數據信號 執行各種計算或處理，例如以便在顯示器190上輸出。
在示例性實施例中，可以將空間變化色彩校正模塊162實現為校正由光學串擾、 光譜串擾或傳感器光譜靈敏度的變化引起的數字圖像中的缺陷。空間變化色彩校正模塊 162可以基于照相機傳感器150上的像素或像素組的位置對每個像素(或像素組)應用校 正因數。
應注意的是由于多種因素中的任何一種(例如，測試條件、光波長、海拔、溫度、背 景噪聲、傳感器損壞、變焦、聚焦、光圈等)，照相機傳感器150的輸出在各種條件下可以是 不同的。改變成像系統的光學特性的任何事物都可能影響色差。因此，在示例性實施例中， 可以針對每個數字圖像或在各種時間(例如各種季節、地理位置，或基于照相機設置或用 戶選擇)“即時”校正傳感器，而不是使校正基于由研究和開發團隊或制造商進行的照相機 傳感器150的初始校準。參照圖2所示的示例性照相機傳感器和圖3 6所示的圖示，可 以更好地理解照相機傳感器校正的示例性實施例。
圖2是示例性照相機傳感器150的高級圖，諸如用于圖Ib所示的照相機系統100 的上文所述的照相機傳感器。出于此圖示的目的，照相機傳感器150被實現為隔行CCD。然 而，照相機傳感器150不限于行間CCD。例如，照相機傳感器150可以被實現為幀傳輸CCD、 交織CCD、CMOS傳感器或現在已知或稍后開發的各類其它照相機傳感器中的任何一種。例 如，雖然本文的討論意在校正照相機中的色彩相關的色差，但是還可以在計算機上對未處 理的(“原始的”)圖像執行這些操作。
在行間CXD中，每隔一列的硅傳感器基板被掩蔽以形成有源光電池(或像素)200和與每個有源光電池200相鄰的用作移位寄存器(未示出)的非活性區域。雖然示出了 η 列和i行的光電池，但應注意的是照相機傳感器150可以包括任何數目的光電池200 (和相 應的移位寄存器)。光電池200(和移位寄存器)的數目可以取決于許多考慮因素，諸如，例 如圖像大小、圖像質量、工作速度、成本等。
在操作期間，有源光電池200在暴露于從場景反射的光期間變得帶電。然后，此電 荷積聚(“像素數據”)在期望的曝光時間之后被傳輸到移位寄存器，并且可以被從移位寄 存器讀出。
在示例性實施例中，可以如光電池窗口 210a i所示的那樣對照相機傳感器進行 采樣。出于圖示的目的，示出了九個窗口 210a i，它們基本上對應于照相機傳感器的拐 角、邊緣和中間部分。
可以將圖像描述為具有寬度DimX和圖像高度DimY。然后，使用以下坐標來描述每 個窗口的中心的空間位置(從左到右且從上到下)
權利要求
1.一種用于校正傳感器的光學串擾和光譜串擾的方法，包括在傳感器上的不同空間位置處針對多個色彩通道對光譜響應進行采樣； 在由所述傳感器捕捉的圖像中的不同空間位置處應用4X4色彩校正矩陣；以及 轉換每個空間位置處的光譜響應以匹配圖像上的任何一個位置處的光譜響應。
2.權利要求1的方法，其中，針對圖像上的多個窗口來確定光譜響應。
3.權利要求1的方法，其中，針對圖像上的每個像素來確定光譜響應。
4.權利要求1的方法，還包括首先確定光譜響應是否根據空間位置而變。
5.權利要求1的方法，還包括首先確定給定空間位置處的色彩通道的光譜響應是否不 是線性可縮放的。
6.權利要求1的方法，還包括確定色彩通道的光譜響應是否根據空間位置而重疊。
7.權利要求1的方法，還包括對色彩通道的光譜響應進行歸一化。
8.權利要求1的方法，還包括對未被采樣的其它空間位置進行內插。
9.權利要求1的方法，還包括在不需要附加校準圖像的情況下找到傳感器的光譜響應。
10.一種用于校正傳感器的光學串擾和光譜串擾的系統，包括 傳感器，其被配置為輸出與被拍照的場景相對應的像素值；以及信號處理邏輯，其執行以確定在所述傳感器上的不同空間位置處多個色彩通道的光譜 響應，在由所述傳感器捕捉的圖像中的不同空間位置處應用色彩校正矩陣，并轉換每個空 間位置處的光譜響應以匹配圖像上任何一個位置處的光譜響應。
11.權利要求10的系統，其中，所述色彩校正矩陣是4X4矩陣。
12.權利要求10的系統，其中，所述色彩校正矩陣被定義為RKOOKOlK02K03R
13.權利要求10的系統，其中，所述信號處理邏輯還確定針對圖像上的多個窗口的光 譜響應。
14.權利要求10的系統，其中，所述信號處理邏輯還確定針對圖像上的每個像素的光 譜響應。
15.權利要求10的系統，其中，所述信號處理邏輯還確定光譜響應是否根據空間位置 而變化。
16.權利要求10的系統，其中，所述信號處理邏輯還歸一化色彩通道的光譜響應。
17.權利要求16的系統，其中，所述信號處理邏輯還確定給定空間位置處色彩通道的 光譜響應是否不是線性可縮放的。
18.權利要求16的系統，其中，所述信號處理邏輯還確定色彩通道的光譜響應是否根據空間位置而重疊。
19.一種用于照相機傳感器校正的系統，包括用于在傳感器上的不同空間位置處針對多個色彩通道對光譜響應進行采樣的裝置，以及用于轉換每個空間位置處的光譜響應以匹配圖像上的中心處傳感器的光譜響應以便 校正照相機傳感器的光學串擾和光譜串擾的裝置。
20.權利要求19的系統，還包括用于在由所述傳感器捕捉的圖像中的不同空間位置處 應用4X4色彩校正矩陣的裝置。
21.一種用于校正色彩相關漸暈的方法，包括 將未校正的色彩通道數據輸入到矩陣；通過所述矩陣對所述未校正的色彩通道數據進行操作；以及 輸出色差校正后的數據集。
22.權利要求21的方法，其中，在去馬賽克過程之前通過mXη校正矩陣對未校正的色 彩通道數據進行操作，所述mXn校正矩陣返回色彩通道的校正后的矢量。
23.權利要求21的方法，其中，在通過校正矩陣對所述未校正的色彩通道數據進行操 作之前對所述未校正的色彩通道數據進行去馬賽克，所述校正矩陣返回去馬賽克后的傳感 器值的色差校正后的矢量。
24.權利要求21的方法，其中，對未校正的色彩通道值進行去馬賽克并校正空間變化 色彩相關漸暈作為去馬賽克過程的一部分。
25.權利要求對的方法，還包括從一個色彩空間到另一個色彩空間的變換。
全文摘要
本發明公開了用于照相機傳感器校正的系統和方法。在示例性實施例中，一種方法可以包括在傳感器上的不同空間位置處針對多個色彩通道對光譜響應進行采樣。該方法還可以包括在由傳感器捕捉的圖像中的不同空間位置處應用4×4色彩校正矩陣。該方法還可以包括轉換每個空間位置處的光譜響應以匹配圖像上的任何一個位置處傳感器的光譜響應。
文檔編號H04N9/67GK102037734SQ200880129381
公開日2011年4月27日 申請日期2008年5月22日 優先權日2008年5月22日
發明者K·馬瑟森, R·索波爾, Y·王 申請人:惠普開發有限公司