用于圖像處理的設備、方法和程序、存儲介質以及圖像拾取設備的制作方法

用于圖像處理的設備、方法和程序、存儲介質以及圖像拾取設備的制作方法
【專利摘要】本發明的方面的圖像處理方法包括：獲得由包括在水平方向和垂直方向上重復地部署基本陣列樣式的圖像拾取元件的圖像拾取裝置拾取的馬賽克圖像；以及存儲第一校正數據和第二校正數據，所述第一校正數據包含圖像拾取元件中的缺陷像素的坐標和與基本陣列樣式中的缺陷像素的位置有關的校正信息，并且所述第二校正數據包含與校正信息相對應并且指示相對于缺陷像素具有與缺陷像素相同的顏色并且用于校正缺陷像素的多個周圍像素的位置。然后，基于包含在第一校正數據中的校正信息，讀出校正樣式，基于第一校正數據和所讀出的校正樣式來計算將用于校正缺陷像素的周圍像素的坐標，從馬賽克圖像提取與位于所計算的坐標處的周圍像素相對應的像素值，以及通過內插所提取的像素值來計算缺陷像素的像素值。
【專利說明】用于圖像處理的設備、方法和程序、存儲介質以及圖像拾取設備
【技術領域】
[0001]本發明涉及用于圖像處理的設備、方法、程序和存儲介質，以及圖像拾取設備，更具體地說，涉及用于校正圖像拾取元件像素中的缺陷像素的技術。
【背景技術】
[0002]已知當圖像拾取元件中的像素有故障時，在圖像中出現與該故障相對應的缺陷的事實。作為解決該問題的技術，已知一種缺陷校正處理(所謂的地址登記型缺陷校正處理)，其中，在圖像拾取設備(相機)中預先記錄圖像拾取元件中的像素故障的位置，作為缺陷的坐標，以及圖像拾取設備中的圖像處理單元用周圍像素的值或平均值替換所記錄的坐標處的像素。
[0003]PTLl公開了一種圖像校正方法，其中，預先確定指示在待校正的缺陷像素的周圍像素中存在或不存在缺陷的校正樣式(16種校正樣式指示可用于內插的像素的布置)，以及與缺陷像素的地址一起，存儲用于選擇校正樣式的4比特信息(校正樣式編號)。由此，可以使用由對應于與缺陷像素的地址一起存儲的校正樣式編號的校正樣式指定的無缺陷周圍像素，來計算缺陷像素的像素值。
[0004]PTL2公開了一種彩色圖像拾取元件，其顏色濾光器陣列是除拜耳陣列外的陣列，特別是隨機陣列。
[0005]該彩色圖像拾取元件的顏色濾光器陣列是滿足感興趣的像素的四側的任何一個鄰接具有與該感興趣的像素相同的顏色的像素的約束條件的紅(R)、綠(G)、藍(B)的三種顏色隨機陣列。由此，即使亮度定期改變的被攝體，也可以防止出現彩色莫爾條紋。此外，可以基本上阻止由于孤立的像素故障的存在而引起的分辨率劣化。
[0006]引用清單
[0007]專利文獻
[0008]PTLl日本專利申請特開N0.2005-311732
[0009]PTL2日本專利申請特開N0.2000-308080

【發明內容】

[0010]技術問題
[0011]PTLl中描述的圖像校正方法被應用于其顏色濾光器陣列為拜耳陣列的圖像拾取元件。在拜耳陣列的情況下，取決于缺陷像素的顏色(G，或R/B)來固定可用于缺陷校正的周圍像素的位置關系。因此，在PTLl中所述的圖像校正方法不能應用于具有復雜顏色濾光器陣列的圖像拾取元件，特別是，缺陷像素和處于缺陷像素的周圍并且具有與缺陷像素相同的顏色的像素之間的位置關系變化的圖像拾取元件。
[0012]在PTL2中所述的彩色圖像拾取元件具有作為三種顏色隨機陣列的顏色濾光器陣列。該顏色濾光器陣列需要滿足感興趣的像素的四側的任何一個鄰接具有與該感興趣的像素相同的像素的約束條件。當校正缺陷像素時，鄰接缺陷像素的四側的任何一個的相同顏色像素的像素值被用作補充物(替換物)，以及不能執行內插處理以用于使用多個像素估
算像素值。
[0013]鑒于這種情況做出的本發明的目的是提供一種用于圖像處理的設備、方法、程序和記錄介質，以及圖像拾取設備，它們不受顏色濾光器陣列限制、能通過最少校正數據校正具有復雜顏色濾光器陣列的圖像拾取元件的缺陷像素，以及能適當地校正缺陷像素而不改變用于具有不同顏色濾光器陣列的圖像拾取元件的硬件。
[0014]問題的解決方案
[0015]為實現上述目的，根據本發明的第一方面的一種圖像處理設備包括:圖像獲取裝置，該圖像獲取裝置被配置成獲取由圖像拾取裝置拍攝的馬賽克圖像，圖像拾取裝置包括具有在水平方向和垂直方向上重復布置的預定基本陣列樣式的圖像拾取元件，基本陣列樣式由水平mX垂直η像素(m，η:—個是2或以上的整數，以及另一個是3或以上的整數)組成并且包括其中排列三種基色的顏色濾光器；第一存儲裝置，該第一存儲裝置被配置成存儲第一校正數據，第一校正數據包含圖像拾取元件中的缺陷像素的坐標和與基本陣列樣式中的缺陷像素的位置相關聯的校正信息；第二存儲裝置，該第二存儲裝置被配置成存儲第二校正數據，第二校正數據包含用于缺陷像素的校正處理的校正樣式，校正樣式指示相對于缺陷像素的多個周圍像素的位置，周圍像素中的每個具有與缺陷像素相同的顏色，校正樣式對應于校正信息；以及缺陷校正處理裝置，該缺陷校正處理裝置被配置成基于相應地在第一存儲裝置和第二存儲裝置中存儲的第一校正數據和第二校正數據，通過內插具有相同的顏色的周圍像素的像素值，計算每個缺陷像素的像素值，對缺陷像素確定周圍像素，缺陷校正處理裝置包括:被配置成基于包含在第一校正數據中的校正信息，從第二存儲裝置讀取校正樣式，以及基于包含在第一校正數據中的缺陷像素的坐標和所讀取的校正樣式，計算具有相同的顏色并且在缺陷像素的校正處理中使用的多個周圍像素的坐標的裝置；被配置成從馬賽克圖像提取與所計算的多個周圍像素的坐標相對應的像素值的裝置；以及被配置成通過內插與多個周圍像素的坐標相對應的所提取的像素值，來計算缺陷像素的像素值的裝置。
[0016]根據本發明的第一方面，通過使用周圍像素的內插，校正與mXn (m，η:—個是2或以上的整數，以及另一個是3或以上的整數)像素的基本陣列樣式的重復相對應的馬賽克圖像(圖像拾取元件)中的缺陷像素。作為與圖像拾取元件中的每個缺陷像素相對應的數據，存儲第一校正數據和第二校正數據，所述第一校正數據包含缺陷像素的坐標和與基本陣列樣式中的缺陷像素的位置有關的校正信息，所述第二校正數據包含相對于缺陷像素指示具有相同的顏色的多個周圍像素的位置并且用在缺陷像素的校正處理中的校正樣式，并且對應于校正信息。用于每個缺陷像素的第一校正數據包括缺陷像素的坐標和校正信息，以及校正信息是與基本陣列樣式中的缺陷像素的位置有關的信息。另一方面，第二校正數據是用在校正所有缺陷像素中的共用信息。由此，可以最小化這些第一校正數據和第二校正數據的數據量。然后，基于這些第一校正數據和第二校正數據，通過內插對缺陷像素確定的相同顏色的周圍像素的像素值，來計算每個缺陷像素的像素值。在此，即使基本陣列樣式的大小很大以及顏色濾光器陣列復雜，第一校正數據的大小也不會改變。第一校正數據和第二校正數據是不受顏色濾光器陣列約束的數據。[0017]在根據本發明的進一步替代方面的圖像處理設備中，優選的是，第二存儲裝置存儲用于處于基本陣列樣式中的相同位置的缺陷像素的第一候選校正樣式至第η候選校正樣式，并且包含在第一存儲裝置中存儲的第一校正數據中的校正信息具有與一個候選校正樣式至第η候選校正樣式中的每個相對應的校正信息。在該方面中，不限制將用于缺陷像素的內插的校正樣式(周圍像素)，并且選擇第一候選校正樣式至第η候選校正樣式的任何一個校正樣式。由此，可以將最佳校正樣式用于缺陷像素的校正來執行內插。
[0018]根據本發明的進一步替代方面的圖像處理設備包括樣式分析裝置，該樣式分析裝置被配置成基于缺陷像素的周圍像素，分析待校正的缺陷像素附近的被攝體樣式；以及校正樣式確定裝置，該校正樣式確定裝置被配置成基于樣式分析裝置的被攝體樣式的分析結果，確定與校正信息相對應的一個候選校正樣式至第η候選校正樣式中的任何一個校正樣式，其中，缺陷校正處理裝置基于包含在第一校正數據中的缺陷像素的坐標和所確定的校正樣式，計算缺陷像素的像素值。在這一方面中，通過執行待校正的缺陷像素的周圍像素的樣式分析，確定一個候選校正樣式至第η候選校正樣式的任何一個校正樣式，以及基于所確定的校正樣式，執行內插處理。由此，可以執行不留下校正痕跡的最佳內插處理。
[0019]在根據本發明的進一步替代方面的圖像處理設備中，優選地，樣式分析裝置基于待校正的缺陷像素的周圍像素，分析水平方向、垂直方向、右上對角方向和右下對角方向上的哪一個方向是缺陷像素附近的像素的像素值的相關方向。由此，可以使用待校正的缺陷像素附近、具有相同顏色的像素的像素值或亮度的相關方向上的周圍像素來執行內插處理，以及執行不留下校正痕跡的最佳內插處理。
[0020]根據本發明的進一步替代方面的圖像處理設備優選地包括判別裝置，該判別裝置被配置成判別缺陷像素是否存在于具有與待校正的缺陷像素相同的顏色的周圍像素中，以及校正樣式確定裝置，該校正樣式確定裝置被配置成基于判別裝置的判別結果，確定與校正信息相對應的一個候選校正樣式至第η候選校正樣式中的一個校正樣式，該一個校正樣式不包含缺陷像素，其中，缺陷校正處理裝置基于包含在第一校正數據中的缺陷像素的坐標和所確定的校正樣式來計算缺陷像素的像素值。由此，作為將用在內插處理中的周圍像素，可以使用不包含缺陷像素的周圍像素。
[0021]在根據本發明的進一步替代方面的圖像處理設備中，優選的是，缺陷校正處理裝置通過加權平均具有相同顏色的周圍像素的像素值來計算缺陷像素的像素值，以及在第二存儲裝置中存儲的校正樣式包含用于通過加權平均來計算缺陷像素的像素值的加權系數。由此，即使通過顏色濾光器陣列，不對稱地布置待校正的缺陷像素的周圍像素，也可以適當地執行內插。
[0022]在根據本發明的進一步替代方面的圖像處理設備中，加權系數的總和被設定成2的乘方，以及缺陷校正處理裝置在具有相同顏色的周圍像素的像素值和指配給各個周圍像素的加權系數之間執行積和運算，此后，將其結果除以加權系數的總和。在除以加權系數的總和的除法中，總和被設置成2的乘方。由此，可以簡單地通過比特移位來執行除法。
[0023]在根據本發明的進一步替代方面的圖像處理設備中，在第一存儲裝置中存儲的第一校正數據具有用于每個缺陷像素的4字節數據，校正信息具有預定比特長度，將4個字節中的2個字節指配給缺陷像素的X坐標數據和校正信息的一些比特，以及將4個字節中的另外2個字節指配給缺陷像素的Y坐標數據和校正信息的其他比特。由此，可以減少用于每個缺陷像素的第一校正數據。此外，還可以將上述缺陷校正處理應用于具有大的圖像大小并且具有大的X和Y坐標數據的圖像，以及應用于要求大量校正信息的基本陣列樣式。
[0024]在根據本發明的進一步替代方面的圖像處理設備中，優選的是，在第一存儲裝置和第二存儲裝置中，第一校正數據和第二校正數據中的每個是可重寫的。由此，可以通過重寫第一校正數據和第二校正數據來處理任何圖像拾取元件。
[0025]根據本發明的進一步替代方面的一種圖像處理方法包括:圖像獲取步驟，該圖像獲取步驟獲取由圖像拾取裝置拍攝的馬賽克圖像，圖像拾取裝置包括具有在水平方向和垂直方向上重復布置的預定基本陣列樣式的圖像拾取元件，基本陣列樣式由水平mX垂直η像素(m，η:一個是2或以上的整數，以及另一個是3或以上的整數)組成并且包括其中排列至少三種顏色的顏色濾光器；使第一存儲裝置存儲包含圖像拾取元件中的缺陷像素的坐標和與基本陣列樣式中的缺陷像素的位置相關聯的校正信息的第一校正數據的步驟；使第二存儲裝置存儲包含用于缺陷像素的校正處理的校正樣式的第二校正數據的步驟，校正樣式指示相對于缺陷像素的多個周圍像素的位置，周圍像素的每個具有相同的顏色，校正樣式對應于校正信息；以及缺陷校正處理步驟，基于相應地在第一存儲裝置和第二存儲裝置中存儲的第一校正數據和第二校正數據，通過內插具有相同顏色的周圍像素的像素值，來計算每個缺陷像素的像素值，對缺陷像素確定周圍像素，缺陷校正處理步驟包括:基于包含在第一校正數據中的校正信息，從第二存儲裝置讀取校正樣式，以及基于包含在第一校正數據中的缺陷像素的坐標和所讀取的校正樣式，計算具有相同顏色并且在缺陷像素的校正處理中使用的多個周圍像素的坐標的步驟；從馬賽克圖像提取與所計算的多個周圍像素的坐標相對應的像素值的步驟；以及通過內插與多個周圍像素的坐標相對應的所提取的像素值，計算缺陷像素的像素值的步驟。
[0026]根據本發明的進一步替代方面的一種圖像處理程序使計算機執行:圖像獲取功能，該圖像獲取功能獲取由圖像拾取裝置拍攝的馬賽克圖像，圖像拾取裝置包括具有在水平方向和垂直方向上重復布置的預定基本陣列樣式的圖像拾取元件，基本陣列樣式由水平mX垂直η像素(m，η:—個是2或以上的整數，以及另一個是3或以上的整數)組成并且包括其中排列至少三種顏色的顏色濾光器；使第一存儲裝置存儲包含圖像拾取元件中的缺陷像素的坐標和與基本陣列樣式中的缺陷像素的位置相關聯的校正信息的第一校正數據的功能；使第二存儲裝置存儲包含用于缺陷像素的校正處理的校正樣式的第二校正數據的功能，校正樣式指示相對于缺陷像素的多個周圍像素的位置，周圍像素的每個具有相同的顏色，校正樣式對應于校正信息；以及缺陷校正處理功能，該缺陷校正處理功能基于相應地在第一存儲裝置和第二存儲裝置中存儲的第一校正數據和第二校正數據，通過內插具有相同顏色的周圍像素的像素值來計算每個缺陷像素的像素值，對缺陷像素確定周圍像素，缺陷校正處理功能包括:基于包含在第一校正數據中的校正信息來從第二存儲裝置讀取校正樣式，以及基于包含在第一校正數據中的缺陷像素的坐標和所讀取的校正樣式來計算具有相同顏色并且在缺陷像素的校正處理中使用的多個周圍像素的坐標的功能；從馬賽克圖像提取與所計算的多個周圍像素的坐標相對應的像素值的功能；以及通過內插與多個周圍像素的坐標相對應的所提取的像素值，計算缺陷像素的像素值的功能。
[0027]根據本發明的進一步替代方面的一種圖像拾取設備包括:圖像拾取裝置，該圖像拾取裝置包括拍攝光學系統，以及通過拍攝光學系統在其上形成被攝體圖像的圖像圖像拾取元件；圖像獲取裝置，該圖像獲取裝置被配置成獲取從圖像拾取裝置輸出的圖像；以及前述的任何圖像處理設備。
[0028]發明有益效果
[0029]根據本發明，可以通過使用周圍像素的內插，適當地校正與比拜耳陣列更復雜的基本陣列樣式的重復相對應的馬賽克圖像(圖像拾取元件)中的缺陷像素。本發明不限于任何特定的顏色濾光器陣列并且能適用于各種馬賽克圖像。此外，可以最小化校正缺陷像
素所需的信息量。
【專利附圖】

【附圖說明】
[0030]圖1是圖示根據本發明的圖像拾取設備的實施例的框圖。
[0031]圖2是圖示在圖像拾取元件中布置的新穎的馬賽克顏色濾光器陣列的圖。
[0032]圖3是圖示將圖1中所示的基本陣列樣式分成3X3像素的四個集合的狀態的圖。
[0033]圖4是圖示第一校正數據的數據結構的例子的圖。
[0034]圖5是用于解釋包含在第一校正數據中的校正信息的圖。
[0035]圖6是圖示與圖5所示的校正信息η (O≤η≤8)相對應的像素和將用在像素的校正中的周圍像素之間的位置關系的圖。
[0036]圖7是圖示表示校正信息η和校正樣式之間的關系的校正樣式表(第二校正數據)的第一實施例的圖。
[0037]圖8是圖示缺陷校正處理方法的第一實施例的流程圖。
[0038]圖9是圖示表示校正信息η和校正樣式之間的關系、并且被應用于缺陷校正處理方法的第二實施例的校正樣式表的圖。
[0039]圖10是圖示表示校正信息η和校正樣式之間的關系、并且被應用于缺陷校正處理方法的第三實施例的校正樣式表的圖。
[0040]圖1lA是圖示布置在圖像拾取元件中的根據第二實施例的顏色濾光器陣列的圖。
[0041]圖1lB是圖示布置在圖像拾取元件中的根據第二實施例的顏色濾光器陣列的圖。
[0042]圖12是圖示與將應用于根據第二實施例的顏色濾光器陣列的校正信息η相對應的像素和將在像素的校正中使用的周圍像素之間的位置關系的圖。
[0043]圖13是圖示說明將在缺陷像素的校正中使用的第一校正數據的替代實施例的數據結構的圖。
[0044]圖14Α是圖示與第二候選校正信息相對應的校正樣式的例子的圖。
[0045]圖14Β是圖示與第三候選校正信息相對應的校正樣式的例子的圖。
[0046]圖14C是圖示與第四候選校正信息相對應的校正樣式的例子的圖。
[0047]圖14D是圖示與第五候選校正信息相對應的校正樣式的例子的圖。
[0048]圖15是圖示像素校正處理方法的第四實施例的流程圖。
[0049]圖16是將用于解釋缺陷像素附近的相關方向的判別方法的圖。
[0050]圖17是圖示缺陷校正處理方法的第五實施例的流程圖。
[0051]圖18是圖示關聯和存儲在第一校正數據中包含的校正信息和第二候選校正樣式至第五候選校正信息的表的圖。
[0052]圖19是圖示布置在圖像拾取元件中的根據第三實施例的顏色濾光器陣列的圖。【具體實施方式】
[0053]在下文中，將參考附圖，詳細地描述根據本發明的用于圖像處理的設備、方法、程序和存儲介質，以及圖像拾取設備的優選實施例。
[0054][圖像拾取設備的實施例]
[0055]圖1是圖示根據本發明的圖像拾取設備的實施例的框圖。
[0056]該圖像拾取設備10是將所拾取的圖像存儲在內部存儲器(存儲器單元26)或外部存儲介質(圖中未示出)中的數碼相機。以綜合方式，由中央處理單元(CPU) 12控制圖像拾取設備10的整個操作。
[0057]圖像拾取設備10配備有操作單元14，操作單元14包括快門按鈕、模式旋鈕、重放按鈕、菜單/OK鍵、十字鍵、變焦按鈕、返回鍵等等。將來自操作單元14的信號輸入到CPU12，以及基于該輸入信號，CPU12控制圖像拾取設備10的每個電路。例如，CPU12通過設備控制單元16來控制鏡頭單元18、快門20和圖像拾取元件22，以及執行拍攝操作控制、圖像處理控制、圖像數據記錄/重放控制、顯示單元25的顯示控制等等。
[0058]鏡頭單元18包括對焦鏡頭、變焦鏡頭、虹膜等等。經過鏡頭單元18和快門20的光通量在圖像拾取元件22的受光面上形成圖像。
[0059]在圖像拾取元件22中，按二維方式排列多個受光元件(光電二極管)。將在每個光電二極管的受光面上形成的被攝體圖像轉換成具有與入射光量相對應的數量的信號電壓(或電子電荷)。
[0060]<圖像拾取元件的第一實施例>
[0061]圖2是圖示上述圖像拾取元件22的第一實施例的圖，并且特別地圖示布置在圖像拾取元件22的受光面上的新穎的顏色濾光器陣列。
[0062]該圖像拾取元件22的顏色濾光器陣列包含作為與6X6像素相對應的方形陣列樣式的基本陣列樣式P (由粗邊框所示的樣式)。在圖像拾取元件22的受光面上，在水平方向和垂直方向上重復地布置該基本陣列樣式P。即，在該顏色濾光器陣列中，通過預定周期排列用于紅(R)、綠(G)和B (藍)顏色的濾波器(R濾波器、G濾波器和B濾波器)。因此，通過預定周期排列R濾波器、G濾波器和B濾波器，因此，當執行從圖像拾取元件22讀取的基于RGB的RAW數據(馬賽克數據)的圖像處理等等時，可以根據重復樣式執行該過程。
[0063]在圖2所示的顏色濾光器陣列中，在顏色濾光器陣列的水平、垂直、右上對角和右下對角(NE，NW)線的每個上，布置與最有助于獲得亮度信號的顏色(在本實施例中，G顏色)相對應的G濾波器。
[0064]如上所述，在顏色濾光器陣列的水平、垂直、NE和N線的每個上，布置與亮度像素相對應的G濾波器。因此，可以在高頻區域中增強同步處理(色彩內插處理)(也稱為去馬賽克處理)的可再現性，而與高頻出現在哪一方向無關。
[0065]此外，在圖2所示的顏色濾光器陣列中，在顏色濾光器陣列的水平和垂直線的每個上，布置除上述G顏色外，與兩個或多個其他顏色(在本實施例中，R和B顏色)相對應的R濾波器和B濾波器。
[0066]由于在顏色濾光器陣列的水平和垂直線上的每個上布置R濾波器和B濾波器，因此可以抑制彩色莫爾條紋(假色)出現。[0067]圖3圖示將圖2中所示的基本陣列樣式P分成3X3像素的四個集合的狀態。
[0068]如圖3所示，在基本陣列樣式P中，在水平和垂直方向上，交替地布置由實線框包圍的3 X 3像素的A陣列和由虛線框包圍的3X3像素的B陣列。
[0069]在A陣列和B陣列的每個中，在布置在兩條對角線上的四角和中心處布置G濾波器。在A陣列中，橫跨中心處的G濾波器，在水平方向上排列R濾波器，以及在垂直方向上排列B濾波器。另一方面，在B陣列中，橫跨中心處的G濾波器，在水平方向上排列B濾波器，以及在垂直方向上排列R濾波器。即，在A陣列和B陣列中，R濾波器和B濾波器之間的位置關系是相反的，以及其他布置是共同的。
[0070]由于在水平和垂直方向上交替地布置A陣列和B陣列，所以A陣列和B陣列的四個角處的G濾波器構成與2X2像素相對應的G濾波器方形陣列。
[0071]基于從設備控制單元16給出的讀取信號，將在具有上述配置的圖像拾取元件22中累積的信號電子電荷讀取為與信號電子電荷相對應的電壓信號。將從圖像拾取元件22讀取的電壓信號提供給A/D轉換器24，以及由A/D轉換器24依序地轉換成與顏色濾光器陣列相對應的R、G和B數字信號。將上述R、G和B數字信號保存在存儲器單元26中。
[0072]存儲器單元26包括作為易失存儲器的SDRAM(同步動態隨機存取存儲器)、作為可重寫非易失存儲器的EEPR0M(電可擦可編程只讀存儲器)等等。當CPU12執行程序時，SDRAM用作工作區，并且用作用于臨時地持有已經拾取和獲取的數字圖像信號的存儲區。另一方面，在EEPROM中，例如，存儲包括根據本實施例的圖像處理程序的相機控制程序、圖像拾取元件22的像素的故障信息、將在圖像處理中使用的各種參數和表等等。
[0073]圖像處理單元28對臨時存儲在存儲器單元26中的數字圖像信號，執行預定信號處理，諸如根據本實施例的缺陷校正處理、白平衡校正、伽馬校正處理、同步處理和YC處理。稍后描述用于圖像拾取元件22的故障像素(缺陷像素)的缺陷校正處理的細節。
[0074]由編碼器38將由圖像處理單元28處理的圖像數據編碼成圖像顯示數據，并且通過驅動器32，輸出到在相機的背面上設置的顯示單元25。由此，在顯示單元25的圖像屏幕上連續地顯示被攝體圖像。
[0075]通過操作單元14的快門按鈕的第一步下壓(半壓)，CPU12開始自動對焦(AF)操作和自動曝光調整(AE)操作，以及通過設備控制單元16，在光軸方向上移動鏡頭單元18的對焦鏡頭，以執行對焦鏡頭到達對焦位置的控制。
[0076]在半壓快門按鈕時，CPU12基于從A/D轉換器24輸出的圖像數據來計算被攝體的亮度(照相Ev值)，以及從該照相Ev值確定曝光條件(F值，快門速度)。
[0077]在完成AE操作和AF操作后，通過快門按鈕的第二步下壓(全壓)，基于所確定的曝光條件來控制虹膜、快門20和圖像拾取元件22中的電子電荷累積時間，以及執行實際的圖像拾取。在實際圖像拾取時從圖像拾取元件22讀取并由A/D轉換器24A/D轉換的RGB馬賽克圖像的圖像數據臨時存儲在存儲器單元26中。
[0078]由圖像處理單元28適當地讀取臨時存儲在存儲器單元26中的圖像數據，以及執行預定信號處理，包括缺陷校正處理、白平衡處理、伽馬校正處理、同步處理、YC處理等等。根據預定壓縮格式(例如，JPEG(聯合圖像專家組)格式)來壓縮YC處理過的圖像數據(YC數據)。以預定圖像文件(例如，Exif (可交換圖像文件格式)文件)格式，將壓縮的圖像數據存儲在內部存儲器或外部存儲器中。[0079][缺陷校正處理]
[0080][將在缺陷像素校正中使用的第一校正數據和第二校正數據]
[0081]接著，描述將在缺陷像素校正中使用的第一校正數據和第二校正數據。
[0082]在存儲器單元26中包括的非易失存儲器(EEPROM)中，對圖像拾取元件22的每個缺陷像素，存儲由缺陷像素的坐標數據和與基本陣列樣式中的缺陷像素的位置相關聯的校正信息組成的第一校正數據。在此，通過在圖像拾取元件22出廠前在像素基礎上評估圖像拾取元件22的輸出數據和判別缺陷像素，對判別為缺陷像素的每個缺陷像素，生成第一校正數據，并記錄在EEPROM中。[0083]如圖4所示，對每個缺陷像素，第一校正數據具有4字節數據。關于4個字節中的2個字節，將低13比特指配給缺陷像素的X坐標數據，以及將高3比特指配給一些校正信息。關于4個字節中的另外兩個字節，將低12比特指配給缺陷像素的Y坐標數據，以及將高4比特指配給剩余的校正信息。
[0084]由此，在能由13比特所示的O至8191范圍中設置X坐標數據，以及在能由12比特圖示的O至4095范圍中，設置Y坐標數據。當分成3比特和4比特時記錄的校正信息能具有總共7比特(=128)信息。
[0085]接著，描述上述校正信息。
[0086]校正信息是與圖像拾取元件的基本陣列樣式中的缺陷像素的位置相關聯的信息，以及在圖像拾取元件22的基本陣列樣式的情況下，能由O至8的數字表示，如圖5所示。
[0087]即，圖像拾取元件22的基本陣列樣式是6X6像素的方形陣列樣式，如圖2所示，以及具有在水平和垂直方向上交替地布置3X3像素的A陣列和B陣列的陣列。A陣列和B陣列對G像素具有相同的位置，并且盡管R像素和B像素之間的位置關系是相反的，但其他配置是共同的。
[0088]在圖5中，通過數字0、2、4、6和8圖示基本陣列樣式中的G像素的位置。當指定
0、2、4、6和8中的任何一個時，也能指定該指定的G像素周圍的G像素的位置關系。
[0089]通過數字1、3、5和7圖示基本陣列樣式中的R像素和B像素的位置。當指定1、3、5和7中的任何一個時，也能指定該指定的R像素或B像素的周圍的R像素或B像素的位置關系。
[0090]因此，基本陣列樣式中的上述數字O至8使得可以通過數字指定該基本陣列樣式中的像素位置。這導致使得可以指定具有與該指定像素相同顏色的周圍像素的信息(校正信息)。
[0091]圖6是圖示與圖5中所示的校正信息(O < η < 8)相對應的像素和將在像素的校正中使用的周圍像素之間的位置關系的圖。
[0092]當5X5像素的圖像大小(區域)中的中心像素是待校正的缺陷像素時，圖6的例子圖示作為具有與缺陷像素相同的顏色并且與圖5所示的校正信息η(0 ^η^8)相對應的像素、并且最接近5X5像素的區域中的缺陷像素的三個像素或四個像素的位置關系。
[0093]當通過(00)，(01)，(02)，(03)，(04)，(10)，....，(44)圖示5 X 5 像素的區域中的位置時，中心像素的位置是(22)。
[0094]例如，當與圖5所示的校正信息O相對應的G像素是缺陷像素時，如由圖6中的校正信息O所示，在(11)，(12)，(21)和(33)的4個位置處的G像素是最接近中心G像素的位置(22)的四個像素。當與圖5所示的校正信息I相對應的像素(在A陣列的情況下為B像素，以及在B陣列的情況下為R像素)是缺陷像素時，如圖6中的校正信息I所示，
(01)，(03)和(42)的3個位置處的像素是最接近中心像素的位置(22)的3個相同顏色的像素。因此，可以取決于校正信息η (O < η < 8)，指定將在缺陷校正中使用的相同顏色周圍像素的位置關系(在缺陷像素的位置(22)的基礎上的校正樣式)。
[0095]圖7是圖不表不校正信息η(0 < η < 127)和校正樣式之間的關系的校正樣式表(第二校正數據)的第一實施例的圖。在該校正樣式表中，“I”被指配給在校正中使用的周圍的5X2像素的像素，以及“O”被指配給不在校正中使用的像素。
[0096]如前所述，該實施例中的校正信息η是7比特(O至127)個數字，因此，可以指定128種校正樣式。圖7圖示了 9種校正樣式O至8。
[0097]圖7中所示的校正樣式表存儲在存儲器單元26的EEPROM中，作為第二校正數據。
[0098]在此，取決于圖像拾取元件的基本陣列樣式確定的第二校正數據是與圖像拾取元件的缺陷像素的位置無關的數據。圖6和圖7中所示的校正樣式僅是一個例子，并且即使當校正相同位置處的缺陷像素時，多個校正樣式也是可能的。
[0099]<缺陷校正處理方法的第一實施例>
[0100]接著，描述在馬賽克圖像中包含的缺陷像素的缺陷校正處理方法的第一實施例。
[0101]圖8是圖示缺陷校正處理方法的第一實施例的流程圖。
[0102]在圖8中，首先，讀取存儲在存儲器單元26中并且與某一缺陷像素相對應地存儲的第一校正數據。如圖4所示，第一校正數據是4字節數據。由該第一校正數據，讀取缺陷像素的X坐標數據X和Y坐標數據Y，以及將相應地表示缺陷像素的坐標的自變量K_x，K_y設置成K_x=X和K_y=Y (步驟S10)。
[0103]隨后，從上述第一校正數據讀取校正信息P。即，如圖4所述，讀取7比特校正信息P，該7比特校正信息P由四個字節中、存儲X坐標數據的2個字節的高3個比特和存儲Y坐標數據的2個字節的高4個比特組成。然后，將表示校正樣式的自變量Pat設置成Pat=p (步驟 S12) ο
[0104]接著，將在步驟SIO和S12中設置的自變量K_x=X、K_y=Y、Pat=p傳遞到函數Hosei [Pat, K_x, K_y],以及計算作為缺陷校正處理被攝體的缺陷像素的像素值Data[X, Y](步驟S14)。
[0105]S卩，函數Hosei [Pat, K_x, K_y]通過自變量K_x=X、K_y=Y,指定作為校正被攝體的缺陷像素的坐標，以及通過自變量Pat=P指定校正樣式。然后，基于缺陷像素的坐標和校正樣式，指定作為將在缺陷校正中使用的周圍像素的多個相同顏色像素的坐標。讀取這些指定像素的像素值，以及執行利用所讀取的像素值的內插運算。由此，計算像素值Data[X，Y]。
[0106]對在存儲器單元26中預先登記的所有缺陷像素，執行上述步驟SlO至S14中的缺陷校正處理。
[0107]<缺陷校正處理方法的第二實施例>
[0108]根據圖7所示的校正樣式，選擇將在校正中使用的多個周圍像素，以及通過這些像素的像素值的算術平均，計算缺陷像素的像素值。
[0109]在缺陷校正處理方法的第二實施例中，改進校正樣式表(第二校正數據)，以及執行加權平均，以便將計算的像素的重心與待校正的缺陷像素的位置重合，或大致重合。[0110]圖9是圖不表不應用于缺陷校正處理方法的第二實施例的校正信息η和校正樣式之間的關系的校正樣式表的圖。
[0111]在圖9所示的校正樣式中，對將在缺陷像素的校正中使用的周圍像素，添加加權系數。設置這些加權系數的值，以便基于這些加權系數加權平均的像素的重心與待校正的缺陷像素的位置重合或大致重合。
[0112]即使通過顏色濾光器陣列，不對稱地布置待校正的缺陷像素的相同顏色的周圍像素，也可以通過使用上述校正樣式表，利用加權執行算術平均，來適當地內插缺陷像素的像素值。
[0113]<缺陷校正處理方法的第三實施例>
[0114]圖10是圖示第三實施例的圖，并且圖示表示將應用于缺陷校正處理方法的第三實施例的校正信息η和校正樣式之間的關系的校正樣式表(第二校正數據)。
[0115]與圖9所示的實施例類似，在圖10所示的校正樣式中，對將在缺陷像素的校正中使用的周圍像素，添加加權系數。此外，在該實施例中，設置用于每個校正樣式的加權系數，使得總和為64，其是2的乘方。
[0116]當通過加權平均周圍像素的像素值來計算缺陷像素的像素值時，執行根據校正樣式選擇的周圍像素的像素值和指配給各個周圍像素的加權系數之間的積和運算，并且此后，執行除以加權系數的總和的除法。在該實施例中，由于加權系數的總和為64(2的6次方)，所以可以通過使積和運算后的值向低側移位6比特來執行除以加權系數的總和的除法。這簡化了用于計算缺陷像素的像素值的電路。
[0117]在此，加權系數的總`和不限于64，只是必須是2的乘方。
[0118]圖7、圖9和圖10所示的校正樣式表(第二校正數據)包含多個“0”，因此，在EEPROM中，可以將這些表記錄為壓縮數據，以及壓縮數據可以當實際使用這些表時解壓縮以及可以保持在諸如SDRAM的工作區中。
[0119]〈圖像拾取元件的第二實施例〉
[0120]作為圖示圖像拾取元件的第二實施例的圖的圖1lA特別地圖示在圖像拾取元件的受光面上布置的顏色濾光器陣列。
[0121]該圖像拾取元件的顏色濾光器陣列包含作為與6X6像素相對應的方形陣列樣式的基本陣列樣式。在水平方向和垂直方向上，該基本陣列樣式重復地布置在上述受光面上。
[0122]圖1lA所示的顏色濾光器陣列是在水平和垂直方向上交替地布置3X3像素的A陣列和3X3像素的B陣列的陣列。
[0123]在A陣列中，G濾波器被布置在中心，以及黃色Y顏色濾光器被布置在四個角。橫跨中心處的G濾波器，在水平方向上排列B濾波器，以及在垂直方向上排列R濾波器。另一方面，B陣列具有相對于A陣列，G和Y顏色濾光器的位置相反以及R和B濾波器的位置相反的配置。在B陣列中，Y顏色濾光器被布置在中心，以及G濾波器被布置在四個角。橫跨中心處的Y顏色濾光器，在水平方向上排列R濾波器，以及在垂直方向上排列B濾波器。
[0124]圖1lB圖示與上述基本陣列樣式中的缺陷像素的位置相關聯的校正信息η(0 < η < 8)。作為該校正信息η，指配與根據圖5所示的第一實施例的基本陣列樣式相同的數字。
[0125]圖12是圖示與圖1lB中所示的校正信息η (O ^ n ^ 8)相對應的像素和將在像素的校正中使用的周圍像素之間的位置關系的圖。
[0126]與具有圖2和圖3所示的三種原色R、G和B的顏色濾光器陣列的圖像拾取元件類似，具有圖1lA和圖1lB所示的四色R、G、B和Y的顏色濾光器陣列的圖像拾取元件使得可以配置第一校正數據和第二校正數據，以及根據本發明的每個實施例來執行缺陷校正處理。
[0127]<第一校正數據的替代實施例>
[0128]圖13是圖示將在缺陷像素的校正中使用的第一校正數據的替代實施例的數據結構的圖。
[0129]如圖13所示，第一校正數據具有用于每個缺陷像素的8字節數據。8個字節中的4個字節具有與圖4所示的第一校正數據相同的數據配置。在一個字節的基礎上，可以將剩余4個字節指配給第二候選至第五候選校正信息。
[0130]上述第二候選至第五候選校正信息能用作說明缺陷像素附近的像素的像素值的相關方向的信息，即，用作相應地說明垂直方向(縱向)、水平方向(橫向)、右上(NE)對角方向和右下(NW)對角方向的信息。
[0131]關于當與X坐標數據和Y坐標數據一起，相應地記錄在2個字節中的校正信息(第一候選)為O的校正樣式，用于第二候選至第五候選校正信息的校正樣式可以是圖14A至圖14D所不的縱向樣式、橫向樣式、NE對角樣式和NW對角樣式。
[0132]與第一候選校正樣式一起，將這些第二候選至第五候選校正樣式存儲在EEPROM中，作為第二校正數據。然后，當執行缺陷校正處理時，選擇上述第一候選至第五候選校正樣式的最佳校正樣式，以及使用被選校正樣式。
[0133]<缺陷校正處理方法的第四實施例>
[0134]圖15是圖示缺陷校正處理方法的第四實施例的流程圖。
[0135]在圖15中，首先，從存儲器單元26讀取與缺陷像素相對應地存儲的第一校正數據(步驟S20)。如圖13所示，第一校正數據是8字節數據，以及從第一校正數據讀取缺陷像素的X坐標數據、Y坐標數據和第一候選至第五候選校正信息。
[0136]隨后，從存儲器單元26讀取與第一候選至第五候選校正信息相對應的第二校正數據(校正樣式)(步驟S22)。
[0137]接著，分析所讀取的缺陷像素的周圍像素中的被攝體樣式，以及檢測具有與缺陷像素相同顏色的周圍像素的相關方向(步驟S24)。
[0138]S卩，基于在步驟S20讀取的缺陷像素的坐標數據和在步驟S22讀取的第二候選至第五候選校正樣式，指定用于檢測具有相同顏色的像素的相關方向的像素。例如，關于當校正信息(第一候選)為O時的校正樣式，如果如圖14A所示，缺陷像素的位置為(0，0)，則通過作為第二候選的縱向樣式指定像素位置(-3,0), (-1,0), (2,0)和(3，O)，然后，從這些像素的像素值的相關性，檢測縱向方向上的相關性。類似地，如圖14B至圖14D所示，從作為第三候選至第五候選的橫向樣式、NW對角樣式和NW對角樣式,指定用于檢測各個方向上的相關性的像素，然后，基于指定像素的像素值來檢測相關性。
[0139]然后，在步驟S24中，通過樣式分析檢測的相關方向是縱向樣式的方向的情況下，設置第二候選校正樣式(步驟S26，S28)。在橫向樣式的方向的情況下，設置第三候選校正樣式(步驟S30，S32)。在NE對角樣式的方向的情況下，設置第四候選校正樣式(步驟S34，S36)。在NW對角樣式的方向的情況下，設置第五候選校正樣式(步驟S38，S40)。
[0140]在不能判別上述四個方向的哪一方向展現出高相關性的情況下，設置第一候選校正樣式(步驟S42)。
[0141]在步驟S44中，基于在步驟S20讀取的缺陷像素的X坐標數據和Y坐標數據，以及由步驟S28、S32、S36、S40和S42的一個設定的校正樣式，指定作為將用在缺陷校正中的相同顏色周圍像素的多個像素的坐標。然后，讀取這些像素的像素值，以及執行利用所讀取的像素值的內插運算。由此，計算缺陷像素的像素值。
[0142]對先前登記在存儲器單元26中的所有缺陷像素，執行上述步驟S20至S44中的缺陷校正處理。
[0143]<樣式分析的替代實施例>
[0144]圖16是用于解釋缺陷像素附近的相關方向的判別方向的圖。
[0145]如圖16所示，從缺陷像素附近的馬賽克圖像挑選2X2像素的G像素。然后，按從左上到右下的順序，將G像素的像素值定義為Gl、G2、G3和G4，以及在這種情況下，將差絕對值計算為相關方向的判別方法。
[0146]S卩，縱向方向上的差絕對值為(|Gl-G3| + |G2_G4|)/2，橫向方向上的差絕對值為(IG1-G2 I +1G3-G4 I) /2，NE對角方向上的差絕對值為IG2-G3 |，以及NW對角方向上的差絕對值為 Gl-G4|。
[0147]判定相關性(相關方向)處于這四個差絕對值中具有最小差分絕對值的方向上。
[0148]對于R像素或B像素的缺陷像素，當從第一候選至第五候選校正樣式選擇高相關方向上的校正樣式時，也能應用以該方法判別的相關方向。
[0149]<缺陷校正處理方法的第五實施例>
[0150]圖17是圖示缺陷校正處理方法的第五實施例的流程圖。在此，對與圖16所示的第四實施例共同或類似的步驟，指配相同的步驟編號，以及省略其詳細描述。
[0151]在圖17中，基于在步驟S20讀取的缺陷像素的坐標數據和在步驟S22中讀取的第一候選至第五候選校正樣式，在步驟S50中，對第一候選至第五候選校正樣式的每個，判別與該校正樣式相對應的像素是否包含缺陷像素。基于缺陷像素的坐標數據和校正樣式，導出將在缺陷校正中使用的像素的坐標數據，然后，通過坐標數據是否與所登記的缺陷像素的坐標數據相符來執行該判別。
[0152]然后，基于步驟S50中，對每個校正樣式，像素中存在缺陷像素的判別結果，在第一候選校正樣式不包含缺陷像素的情況下，設置第一候選校正樣式(步驟S52，S28)。在第二候選校正樣式不包含缺陷像素的情況下，設置第二候選校正樣式(步驟S54，S32)。在第三候選校正樣式不包含缺陷像素的情況下，設置第三候選校正樣式(步驟S56，S36)。在第四候選校正樣式不包含缺陷像素的情況下，設置第四候選校正樣式(步驟S58，S40)。
[0153]在所有上述第一候選至第四候選校正樣式均包含缺陷像素的情況下，設置第五候選校正樣式(步驟S60)。在此，包含許多缺陷像素的圖像拾取元件可以宣布為缺陷產品，因此，通常，不使用第五候選校正樣式。如果將所有第一候選至第五候選校正樣式均包含缺陷像素的情形添加為缺陷產品條件，那么可以使用校正樣式中的一個來執行缺陷校正。
[0154]在上述實施例中，如圖13所示，將第二候選至第五候選校正信息添加到第一校正數據，但本發明不限于此。例如，如圖4所示，第一校正數據可以僅具有一個校正信息，以及如圖18所示，可以與在第一校正數據中包含的校正信息關聯地單獨存儲第二候選至第五候選校正信息。這使得可以具有多個候選校正信息，而不增加第一校正數據的數據量。
[0155][附加內容]
[0156]在上述實施例中，已經描述了圖像拾取元件的顏色濾光器陣列的基本陣列樣式具有6X6像素的情形，但本發明不限于此。例如，可以將基本陣列樣式為圖3所示的3X3像素的A陣列或B陣列應用于圖像拾取元件。而且，本發明能應用于顏色濾光器陣列包含如圖19所示與8X8像素相對應的基本陣列樣式(由粗邊框所示的樣式)，以及在水平方向和垂直方向上在受光面上重復地布置該基本陣列樣式的圖像拾取元件。當將圖19所示的基本陣列樣式分成4X4像素的四個集合時，對角4X4圖像具有相同的陣列。關于鄰接水平方向或垂直方向的4X4像素集合的陣列，R濾波器和B濾波器之間的位置關系是相反的，但其他布置是共同的。因此，當準備了 16(=4X4)種校正樣式時，即使基本陣列樣式的任何一個像素有故障，也可以執行校正。
[0157]關于圖像拾取元件的顏色濾光器陣列的基本陣列樣式，具有復雜顏色濾光器陣列的各種樣式是可能的。例如，在包括水平mX垂直η像素(m，η:—個是2或以上的整數，另一個是3或以上的整數)以及排列包括三原色的顏色濾光器的基本陣列樣式中，即使隨機地布置各個顏色濾光器，也能應用本發明。在這種情況下，當準備了 mXn種校正樣式時，SP使基本陣列樣式的任何一個像素有故障，也可以執行校正。
[0158]在圖像處理中，優選的是，水平mX垂直η像素的基本陣列樣式是在水平方向和垂直方向上具有相同周期的方形陣列樣式(m=n)。在這種情況下，m和η是3或以上的整數。水平mX垂直n (m, η:一個是2或以上的整數，以及另一個是3或以上的整數)的基本陣列樣式可以具有各種大小。優選地，考慮到圖像處理，諸如攝像時的同步處理(去馬賽克處理)和細化處理的方便，m和η應當為10或以下。
[0159]此外，根據本發明，可以簡單地通過重寫在諸如EEPROM的非易失存儲器中存儲的第一校正數據和第二校正數據，適當地校正具有不同顏色濾光器陣列的圖像拾取元件中的缺陷像素，而不改變硬件。
[0160]在本實施例中，已經描述了具有包括缺陷校正處理的圖像處理設備的圖像拾取設備。然而，可以通過外部圖像處理設備來執行包括缺陷校正處理的圖像處理。在這種情況下，圖像拾取設備可以記錄不執行包括缺陷校正處理的圖像處理的馬賽克圖像(RAW數據)，以及在RAW數據的RAW顯影時，外部圖像處理設備可以根據本發明執行缺陷校正處理。在這種情況下，有必要將在缺陷校正中使用的第一校正數據和第二校正數據傳遞到外部圖像處理設備。此外，包括根據本發明的缺陷校正處理的圖像處理程序(包括第一校正數據和第二校正數據)可以嵌入在用于圖像拾取設備的專用RAW開發軟件中。
[0161]不必說，本發明不限于上述實施例，以及在不背離本發明的精神的情況下可以在該范圍中進行各種修改。
[0162]{參考符號清單}
[0163]10圖像拾取設備
[0164]12中央處理單元(CPU)
[0165]14操作單元
[0166]18鏡頭單元[0167]22圖像拾取元件
[0168]26存儲器單元
[0169]28圖像處理單元
【權利要求】
1.一種圖像處理設備，包括: 圖像獲取裝置，所述圖像獲取裝置被配置成:獲取由圖像拾取裝置拍攝的馬賽克圖像，所述圖像拾取裝置包括圖像拾取元件，所述圖像拾取元件具有在水平方向和垂直方向上重復布置的預定基本陣列樣式，所述基本陣列樣式由水平mx垂直η像素組成并且包括排列在其中的至少三個顏色的顏色濾光器，m、η:一個是2或以上的整數，以及另一個是3或以上的整數； 第一存儲裝置，所述第一存儲裝置被配置成:存儲第一校正數據，所述第一校正數據包含所述圖像拾取元件中的缺陷像素的坐標和與所述基本陣列樣式中的所述缺陷像素的位置相關聯的校正信息； 第二存儲裝置，所述第二存儲裝置被配置成:存儲第二校正數據，所述第二校正數據包含用于所述缺陷像素的校正處理的校正樣式，所述校正樣式指示了相對于所述缺陷像素的多個周圍像素的位置，所述周圍像素的每個具有與所述缺陷像素相同的顏色，所述校正樣式對應于所述校正信息；以及 缺陷校正處理裝置，所述缺陷校正處理裝置被配置成:基于相應地在所述第一存儲裝置和所述第二存儲裝置中存儲的所述第一校正數據和所述第二校正數據，通過內插具有相同顏色的所述周圍像素的像素值，來計算每個缺陷像素的像素值，所述周圍像素是針對所述缺陷像素而確定的， 其中，所述缺陷校正處理裝置包括: 坐標計算裝置，所述坐標計算裝置被配置成:基于包含在所述第一校正數據中的所述校正信息，來從所述第二存儲裝置讀取所述校正樣式，以及基于包含在所述第一校正數據中的所述缺陷像素的所述坐標和所讀取的校正樣式，來計算具有相同顏色并且在所述缺陷像素的所述校正處理中使用的所述多個周圍像素的坐標； 像素值提取裝置，所述像素值提取裝置被配置成:從所述馬賽克圖像提取與所計算的所述多個周圍像素的坐標相對應的所述像素值；以及 像素值計算裝置，所述像素值計算裝置被配置成:通過內插與所述多個周圍像素的所述坐標相對應的所提取的像素值，來計算所述缺陷像素的所述像素值。
2.根據權利要求1所述的圖像處理設備， 其中，所述第二存儲裝置存儲第一候選校正樣式至第η候選校正樣式，用于所述基本陣列樣式中的相同位置的所述缺陷像素，以及 在所述第一存儲裝置中存儲的所述第一校正數據中包含的所述校正信息具有與所述一個候選校正樣式至第η候選校正樣式中的每個相對應的校正信息。
3.根據權利要求2所述的圖像處理設備，進一步包括: 樣式分析裝置，所述樣式分析裝置被配置成:基于所述缺陷像素的周圍像素，來分析待校正的所述缺陷像素附近的被攝體樣式；以及 校正樣式確定裝置，所述校正樣式確定裝置被配置成:基于由所述樣式分析裝置對所述被攝體樣式的分析結果，確定與所述校正信息相對應的所述一個候選校正樣式至第η候選校正樣式中的任何一個校正樣式， 其中，所述缺陷校正處理裝置基 于包含在所述第一校正數據中的所述缺陷像素的所述坐標和所確定的校正樣式，來計算所述缺陷像素的所述像素值。
4.根據權利要求3所述的圖像處理設備， 其中，所述樣式分析裝置基于待校正的所述缺陷像素的所述周圍像素，來分析所述水平方向、所述垂直方向、右上對角方向和右下對角方向上的哪一方向是所述缺陷像素附近的像素的像素值的相關方向。
5.根據權利要求2所述的圖像處理設備，進一步包括: 判別裝置，所述判別裝置被配置成:判別缺陷像素是否存在于具有與待校正的所述缺陷像素相同顏色的周圍像素中；以及 校正樣式確定裝置，所述校正樣式確定裝置被配置成:基于由所述判別裝置的判別結果，確定與所述校正信息相對應的所述一個候選校正樣式至第η候選校正樣式中的一個校正樣式，所述一個校正樣式不包含缺陷像素， 其中，所述缺陷校正處理裝置基于包含在所述第一校正數據中的所述缺陷像素的所述坐標和所確定的校正樣式，來計算所述缺陷像素的所述像素值。
6.根據權利要求1至5中的任何一個所述的圖像處理設備， 其中，所述缺陷校正處理裝置通過將具有相同顏色的所述周圍像素的所述像素值進行加權平均，來計算所述缺陷像素的所述像素值，以及 在所述第二存儲裝置中存儲的所述校正樣式包含加權系數，用于通過所述加權平均來計算所述缺陷像素的所述像素值。
7.根據權利要求6所述的圖像處理設備， 其中，所述加權系數的總和被設定成2的乘方，以及 所述缺陷校正處理裝置在具有相同顏色的所述周圍像素的所述像素值和指配給相應周圍像素的所述加權系數之間執行積和運算，此后，將其結果除以所述加權系數的所述總和。
8.根據權利要求1至7中的任何一個所述的圖像處理設備， 其中，在所述第一存儲裝置中存儲的所述第一校正數據具有用于每個缺陷像素的4字節數據， 所述校正信息具有預定比特長度， 將所述4字節中的兩個字節指配給所述缺陷像素的X坐標數據和所述校正信息的一些比特，以及 將所述4字節中的另外兩個字節指配給所述缺陷像素的Y坐標數據和所述校正信息的其他比特。
9.根據權利要求1至8中的任何一個所述的圖像處理設備， 其中，在所述第一存儲裝置和所述第二存儲裝置中，所述第一校正數據和所述第二校正數據中的每個是可重寫的。
10.一種圖像處理方法，包括: 圖像獲取步驟:獲取由圖像拾取裝置拍攝的馬賽克圖像，所述圖像拾取裝置包括圖像拾取元件，所述圖像拾取元件具有在水平方向和垂直方向上重復布置的預定基本陣列樣式，所述基本陣列樣式由水平mx垂直η像素組成并且包括排列在其中的至少三種顏色的顏色濾光器，m、η:一個是2或以上的整數，以及另一個是3或以上的整數； 使第一存儲裝置存儲第一校正數據的步驟，所述第一校正數據包含所述圖像拾取元件中的缺陷像素的坐標和與所述基本陣列樣式中的所述缺陷像素的位置相關聯的校正信息； 使第二存儲裝置存儲第二校正數據的步驟，所述第二校正數據包含用于所述缺陷像素的校正處理的校正樣式，所述校正樣式指示了相對于所述缺陷像素的多個周圍像素的位置，所述周圍像素的每個具有與所述缺陷像素相同的顏色，所述校正樣式對應于所述校正/[目息;以及 缺陷校正處理步驟:基于相應地在所述第一存儲裝置和所述第二存儲裝置中存儲的所述第一校正數據和所述第二校正數據，通過內插具有所述相同顏色的所述周圍像素的像素值，來計算每個缺陷像素的像素值，所述周圍像素是針對所述缺陷像素而確定的， 其中，所述缺陷校正處理步驟包括: 坐標計算步驟:基于包含在所述第一校正數據中的所述校正信息，從所述第二存儲裝置讀取所述校正樣式，以及基于包含在所述第一校正數據中的所述缺陷像素的所述坐標和所讀取的校正樣式，來計算具有所述相同顏色并且在所述缺陷像素的所述校正處理中使用的所述多個周圍像素的坐標； 像素值提取步驟:從所述馬賽克圖像提取與所計算的所述多個周圍像素的坐標相對應的所述像素值；以及 像素值計算步驟:通過內插與所述多個周圍像素的所述坐標相對應的所提取的像素值，來計算所述缺陷像素的所述像素值。
11.一種圖像處理程序，所述圖像處理程序使計算機執行: 圖像獲取功能，所述圖像獲取·功能獲取由圖像拾取裝置拍攝的馬賽克圖像，所述圖像拾取裝置包括圖像拾取元件，所述圖像拾取元件具有在水平方向和垂直方向上重復布置的預定基本陣列樣式，所述基本陣列樣式由水平mx垂直η像素組成并且包括排列在其中的至少三種顏色的顏色濾光器，m、n:—個是2或以上的整數，以及另一個是3或以上的整數； 使第一存儲裝置存儲第一校正數據的功能，所述第一校正數據包含所述圖像拾取元件中的缺陷像素的坐標和與所述基本陣列樣式中的所述缺陷像素的位置相關聯的校正信息； 使第二存儲裝置存儲第二校正數據的功能，所述第二校正數據包含用于所述缺陷像素的校正處理的校正樣式，所述校正樣式指示了相對于所述缺陷像素的多個周圍像素的位置，所述周圍像素的每個具有與所述缺陷像素相同的顏色，所述校正樣式對應于所述校正/[目息;以及 缺陷校正處理功能，所述缺陷校正處理功能基于相應地在所述第一存儲裝置和所述第二存儲裝置中存儲的所述第一校正數據和所述第二校正數據，通過內插具有所述相同顏色的所述周圍像素的像素值，來計算每個缺陷像素的像素值，所述周圍像素是針對所述缺陷像素而確定的， 其中，所述缺陷校正處理功能包括: 坐標計算功能，所述坐標計算功能基于包含在所述第一校正數據中的所述校正信息，從所述第二存儲裝置讀取所述校正樣式，以及基于包含在所述第一校正數據中的所述缺陷像素的所述坐標和所讀取的校正樣式，來計算具有所述相同顏色并且在所述缺陷像素的所述校正處理中使用的所述多個周圍像素的坐標；像素值提取功能，所述像素值提取功能從所述馬賽克圖像提取與所計算的所述多個周圍像素的坐標相對應的所述像素值；以及 像素值計算功能，所述像素值計算功能通過內插與所述多個周圍像素的所述坐標相對應的所提取的像素值，來計算所述缺陷像素的所述像素值。
12.—種非臨時性計算機可讀存儲介質，被配置成使得當由處理器讀取和執行在所述存儲介質中存儲的指令時，所述處理器執行: 圖像獲取步驟:獲取由圖像拾取裝置拍攝的馬賽克圖像，所述圖像拾取裝置包括圖像拾取元件，所述圖像拾取元件具有在水平方向和垂直方向上重復布置的預定基本陣列樣式，所述基本陣列樣式由水平mX垂直η像素組成并且包括排列在其中的至少三種顏色的顏色濾光器，m、η:一個是2或以上的整數，以及另一個是3或以上的整數； 使第一存儲裝置存儲第一校正數據的步驟，所述第一校正數據包含所述圖像拾取元件中的缺陷像素的坐標和與所述基本陣列樣式中的所述缺陷像素的位置相關聯的校正信息； 使第二存儲裝置存儲第二校正數據的步驟，所述第二校正數據包含用于所述缺陷像素的校正處理的校正樣式，所述校正樣式指示了相對于所述缺陷像素的多個周圍像素的位置，所述周圍像素的每個具有與所述缺陷像素相同的顏色，所述校正樣式對應于所述校正/[目息;以及 缺陷校正處理步驟:基于相應地在所述第一存儲裝置和所述第二存儲裝置中存儲的所述第一校正數據和所述第二校正數據，通過內插具有所述相同顏色的所述周圍像素的像素值，來計算每個缺陷像素的像素值，所述周圍像素是針對所述缺陷像素而確定的， 其中，所述缺陷校正處理步驟包括: 坐標計算步驟:基于包含在所述第一校正數據中的所述校正信息，來從所述第二存儲裝置讀取所述校正樣式，以及基于包含在所述第一校正數據中的所述缺陷像素的所述坐標和所讀取的校正樣式，來計算具有所述相同顏色并且在所述缺陷像素的所述校正處理中使用的所述多個周圍像素的坐標； 像素值提取步驟:從所述馬賽克圖像提取與所計算的所述多個周圍像素的坐標相對應的所述像素值；以及 像素值計算步驟:通過內插與所述多個周圍像素的所述坐標相對應的所提取的像素值，來計算所述缺陷像素的所述像素值。
13.一種圖像拾取設備，包括: 圖像拾取裝置，所述圖像拾取裝置包括拍攝光學系統和圖像拾取元件，通過所述拍攝光學系統在所述圖像拾取元件上形成被攝體圖像； 圖像圖像獲取裝置，所述圖像獲取裝置被配置成:獲取從所述圖像拾取裝置輸出的圖像；以及 根據權利要求1至9中的任何一個的圖像處理設備。
【文檔編號】H04N5/367GK103828345SQ201280047885
【公開日】2014年5月28日 申請日期:2012年6月21日 優先權日:2011年9月29日
【發明者】河合智行, 矢村豪彥 申請人:富士膠片株式會社