專利名稱：透鏡和顏色過濾器布置、超分辨率相機系統及方法
技術領域：
本發明涉及電子照相術領域。一個實施例涉及采用超分辨率技術的具有多個透鏡單元的相機系統。另一實施例涉及用于這樣的相機系統的透鏡和顏色過濾器的布置。進一步的實施例涉及操作采用超分辨率的相機系統的方法以及涉及制造這樣的相機系統的方法。
背景技術：
常規的數字相機使用布置在傳感器陣列上方的顏色過濾器陣列，使得每個圖像像素與特定的顏色過濾器相關聯，每個圖像像素信號涉及一種顏色(例如紅色、綠色或藍色)。因此，指派給每種顏色的像素數量僅僅是全部可用圖像像素的一部分。為了對于每種過濾器顏色獲得完全分辨率圖像，逆馬賽克(demosaic)方法對于每個過濾器顏色由周圍像素的像素值估計或內插丟失的像素值。Xin Li; “ Demosaicing by SuccessiveApproximation" ；IEEE Transactions on Image Processing，Vol. 14，No. 3， March 2005中描述了采用連續近似的逆馬賽克方法。此外，在電子照相術領域中，已知復眼相機，其包括透鏡陣列以獲得在相片探測器上獲得多個低分辨率圖像，每個低分辨率圖像表示同一場景的偏移版本。EP1，699，233A1涉及由多個低分辨率圖像估計單個高分辨率圖像的方法。Sina Farsiu et al. ， 〃 Multi-Frame Demosaicing and Super-Resolution ofColour Images “，IEEE Transactions on Image Processing，Vol. 15，No. 1， PP. 141-159, Jan. 2006涉及用于將超分辨率和逆馬賽克合并到一種方法中的成像系統的一般模式。
發明內容
本發明的一個目的在于提供合并超分辨率和逆馬賽克處理的改善的相機系統。獨立權利要求的技術方案實現了該目的。在從屬權利要求中分別限定了進一步的實施例。由下面結合附圖對于實施例的描述，本發明的細節和優點將變得更清楚。不同實施例的特征可以被組合，除非它們彼此不相容。
圖IA是用于討論本發明的效果的包含透鏡單元、顏色過濾器單元和像素單元的布置的示意性橫截面圖。圖IB是圖IA的布置的示意性頂視圖。圖IC是圖示了對圖IA和IB的布置所得到的低分辨率圖像進行逆馬賽克處理的示意圖。圖ID是圖示了基于由圖IC的逆馬賽克處理所得到的低分辨率圖像的超分辨率處理的示意圖。
圖IE是測試場景的參考圖像。圖IF是通過用于合并如參照圖IC和ID描述的逆馬賽克和超分辨率處理的常規方法由圖IE的測試場景得到的圖像，用于討論本發明的效果。圖2A是根據本發明的實施例的包含透鏡和顏色過濾布置的布置的示意性橫截面圖。圖2B是圖2A的布置的示意性頂視圖。圖2C是圖示了基于圖2A和2B的布置所得到的單色低分辨率圖像獲得馬賽克化圖像的處理的示意圖。圖2D是圖示了對圖2C的馬賽克化圖像進行逆馬賽克處理以獲得多色高分辨率圖像的示意圖。圖3示出了通過如圖2C和2D所示的處理由圖IE的測試場景所得到的多色高分
辨率圖像。圖4是根據另一實施例的相機系統的示意性框圖。圖5A是涉及操作相機系統的方法的簡化流程圖。圖5B是涉及根據本發明的另一實施例的制造相機系統的方法的簡化流程圖。圖6是用于圖示根據本發明的實施例的偏移補償和交錯的處理的示意圖。
具體實施例方式圖IA涉及具有若干圖像傳感器單元905的圖像傳感器裝置900。每個圖像傳感器單元905包括透鏡單元910，該透鏡單元910將場景或對象的圖像聚焦在各個圖像傳感器單元910的像素單元930上。每個像素單元930包括多個像素傳感器935。顏色過濾器單元920被布置在每個透鏡單元910和相應的像素單元930之間。顏色過濾器單元920包括多個顏色過濾器區925，其中，每個顏色過濾器區925具有過濾器顏色，例如綠色、紅色或藍色。每個顏色過濾器區925被分配給一個像素傳感器935，使得每個像素傳感器935接收特定顏色的圖像信息。圖IB示出了過濾器顏色R、G、B向顏色過濾器區的典型分配以及相應的像素傳感器935。四個圖像傳感器單元905a-905d(分別包含透鏡單元910、顏色過濾器單元920和像素單元930)可以被布置成形成矩陣，其中每個圖像傳感器單元905a-905d接收原始場景的偏移版本。現在參考圖1C，四個圖像傳感器單元905a-905d中的每一者對于每個過濾器顏色 R、G、B生成低分辨率圖像980a-980d。每個低分辨率圖像980a-980d由比在每個像素單元中可用的像素傳感器更低數量的像素值來描述。利用逆馬賽克技術，對于每個圖像傳感器單元905a-905d和對于每個過濾器顏色，基于例如周圍像素值的估計分配給另一過濾器顏色的圖像像素的像素值。結果，對于每個圖像傳感器單元905a-905d和每個過濾器顏色，得到向上取樣(up-sampled)的單色圖像，所述向上取樣的單色圖像的像素值的數量例如與每個像素單元具有的像素傳感器相同。圖IC的下半部分示出了單色的、“膨脹的”圖像的四個所得的組982a-982d。這些單色圖像組982a_982d表示同一場景的偏移版本。如圖ID所示，單色圖像組982a_982d通過超分辨率技術被合并，以對于每個過濾器顏色得到高分辨率圖像，由該高分辨率圖像，通過根據所使用的過濾器顏色選擇的適當的疊加技術可以獲得多色高分辨率圖像984。圖IE示出了原始圖像，而圖IF示出了通過由一組低分辨率圖像重建全色高分辨率圖線得到的圖像，其中所述一組低分辨率圖像是由具有布置成Bayer馬賽克圖案的顏色過濾器的透鏡陣列相機捕獲的。圖IF示出了將超分辨率方法應用于經逆馬賽克處理的低分辨率圖像所產生的典型贗象(artefact)。例如，在區域993，992中的柵欄中的垂直樁(在原始的測試場景中顯現亮米色)發生顏色相差，并且部分顯現黃色和部分顯現藍色。區域 995中的水平格柵顯現為由黃色和藍色對角線條疊加。在區域991和994中，格柵和細護欄桿出現拉鏈狀贗象和失真(aliasing)，其中沿邊緣的像素顯現為交替地位于或離開邊緣。 像素傳感器面積越小，在低分辨率圖像中導致的失真效果越強。低分辨率圖像中的失真效果導致在逆馬賽克處理之后的贗象，如圖IF所示。圖2A涉及根據本發明的實施例的透鏡和顏色過濾器組件100。透鏡和顏色過濾器組件100包括多個透鏡單元110和顏色過濾器單元120，其中，每個顏色過濾器單元120被分配給透鏡單元110中的一個。每個顏色過濾器單元120包括多個顏色過濾器區125。顏色過濾器區125可以由分隔結構彼此分隔，或者可以彼此直接相鄰以形成連續的、均一結構或層。每個顏色過濾器區125按波長范圍過濾光，其中描述通過的光的波長范圍限定了顏色過濾器區235的過濾器顏色。根據本發明的一些實施例，透鏡和顏色過濾器組件100包括至少三種不同過濾器顏色的顏色過濾器區235，其中，每個顏色過濾器單元120是單一顏色的并且僅僅包含同一過濾器顏色的顏色過濾器區125。根據一種實施例，每個透鏡單元110可以被實現為由多個微透鏡115形成的微透鏡陣列，其中，每個微透鏡115被分配給一個顏色過濾器區125。垂直入射并通過一個微透鏡115的光通過一個顏色過濾器區125。例如，微透鏡陣列可以由氧化硅來形成。圖2A進一步涉及具有多個圖像傳感器單元405的圖像傳感器裝置400。每個圖像傳感器單元405包括一個透鏡單元110、一個顏色過濾器單元120和一個像素單元230，使得每個像素單元230被分配給一個透鏡單元110和一個顏色過濾器單元120。每個像素單元230包括多個像素傳感器235，其中，每個像素傳感器235包含用于將來自入射光的光信號轉變為電信號的光傳感器。像素傳感器235可以被形成在半導體襯底中，并且透明層可以將顏色過濾器單元120與像素單元230和透鏡單元110分隔。每個圖像傳感器單元405 包含具有相同過濾器顏色的顏色過濾器區125，使得每個圖像傳感器單元405傳輸單色的場景圖像。具有透鏡和顏色過濾器組件100的圖像傳感器裝置400包含至少三個具有三種不同過濾器顏色的圖像傳感器單元405。顏色過濾器單元120是單一顏色的，使得它們中的每個將單色圖像分別投射在像素單元230上。根據一種實施例，透鏡和顏色過濾器組件100包含偶數個布置成矩陣的透鏡單元 110和顏色過濾器單元120。例如，透鏡和顏色過濾器組件100可以包含四個透鏡單元110 和四個顏色過濾器單元120，其中，顏色過濾器單元120被布置成形成Bayer馬賽克圖案，其中包含具有過濾器顏色“綠色”的顏色過濾器區125的顏色過濾器單元120被布置在第一對角線上，而包含具有過濾器顏色“紅色”的顏色過濾器區125的一個顏色過濾器單元120 和包含具有過濾器顏色“藍色”的顏色過濾器區125的一個顏色過濾器單元120被布置在矩陣的另一對角線上。利用Bayer馬賽克圖案，考慮到綠色顏色承載了用于人眼而言大部分的發光信息，過濾器顏色“綠色”的取樣速率是過濾器顏色“紅色”和“藍色”的取樣速率的兩倍。根據另一實施例，過濾器單元120被布置以形成具有"Emerald"作為第四過濾器顏色的RGBE-馬賽克圖案，具有一個青色、兩個黃色和一個品紅色顏色過濾器單元120的 CYYM馬賽克圖案，或者具有一個青色、一個黃色、一個綠色和一個品紅色顏色過濾器單元的 CYGM馬賽克圖案。根據另一實施例，透鏡和顏色過濾器布置100包括三個顏色過濾器單元 120和沒有顏色過濾性能并對于所有顏色透明的透明單元。例如，透明單元和顏色過濾器單元120可以被布置以形成RGBW Bayer馬賽克圖案，或4X4或2X4RGBW馬賽克圖案。圖2B涉及具有布置成2X2矩陣的四個圖像傳感器單元405a-405d的實施例， 其中，分配給各個顏色過濾器單元的過濾器顏色形成Bayer圖案。此外，圖像傳感器單元 405a-405d中的相應像素傳感器235參考被成像的場景中的參考點彼此相對偏移，使得每個圖像傳感器單元405a-405d成像來自稍微偏移的位置的場景。例如，由圖像傳感器單元 405a-405d捕獲的圖像彼此之間具有亞像素的偏移。圖4涉及包含透鏡和顏色過濾器布置100和像素單元230的相機系統450。探測單元220從每個像素單元230獲得單色的、低分辨率的圖像，其中，不同像素單元230的單色低分辨率圖像是同一場景或對象的偏移版本。例如，對于包含布置成MXN矩陣的多個圖像傳感器單元的實施例，從同一列的圖像傳感器單元獲得的圖像可以相對于從分配給相鄰列的圖像傳感器單元獲得的圖像沿第一方向偏移相同的偏移值。相應地，從分配給同一行的圖像傳感器單元獲得的圖像可以相對于從分配給相鄰行的圖像傳感器單元獲得的圖像沿第二方向(其可以垂直于第一方向)偏移相同的量。偏移量可以是相應方向上的半個像素寬度，或相應半個像素寬度的奇數倍。第一計算單元240通過偏移補償并交錯像素單元的像素傳感器輸出的像素值，將從像素單元230獲得的單色低分辨率圖像合并為馬賽克化圖像。例如，從兩個沿第一方向偏移的單色低分辨率圖像，可以獲得第一向上取樣的圖畫，其中，每個奇數列從第一低分辨率圖像得到，每個偶數列從第二低分辨率圖像得到。從這樣的沿垂直于第一方向垂直的第二方向偏移的低分辨率圖像對中的兩個，可以獲得另一向上取樣的圖像，其中，每個奇數列由第一對的第一向上取樣的圖畫提供，每個偶數列可由第二對初始圖像的第一向上取樣的圖畫定義。圖6圖示了例如涉及從四個矩陣狀布置的像素單元獲得的四個單色、低分辨率圖像602的交錯處理。四個圖像602之間的偏移對應于上方和下方的圖像602之間的半個像素位移，以及左手側和右手側的圖像602之間的半個像素位移。四個圖像602被示意性地示出在附圖的頂部，其中，數字1-16被用于在下面標識相應的像素值。在第一步中，從每個低分辨率圖像602，通過插入零值行和零值列，獲得向上取樣的圖像604。例如，每個偶數列是只包含零值的零值列，每個偶數行是只包含零值的零值行。 其余的值從原始低分辨率圖像602獲得，其中，這些值得彼此相對位置被保持。在第二步中，對應其各自的偏移值偏移向上取樣的圖像604中的三個中的像素值，從而得到向上取樣的偏移圖像606。例如，像素值被從一列移到相鄰的列，和/或從一行移動相鄰的行。最終，向上取樣的偏移圖像606被疊加或迭加，從而獲得向上取樣的經偏移補償的圖像608。
圖2C涉及由圖4的第一計算單元204執行的處理。圖2C在上半部分中示出了從圖2B的四個圖像傳感器單元405a-405d獲得的四個單色圖像984a_984d。交錯相應的像素值可以包括如在超分辨率技術所使用的偏移補償。例如，單色低分辨率圖像中的相應像素值985a-985d可以對應于馬賽克化圖像986的像素簇987。根據偏移量度由所有的像素單元的相應像素傳感器輸出到像素簇的成組像素值可以考慮周圍像素傳感器的像素值。像素簇987被分組成與像素傳感器的矩陣對應的矩陣。在每個像素簇987中，分配給某一過濾器顏色的像素值被分組成一個矩陣，其馬賽克圖案可以對應于由顏色過濾器單元形成的顏色過濾器圖案。例如，在顏色過濾器單元被布置形成Bayer馬賽克圖案的情況下，像素簇 987的像素值可也形成Bayer馬賽克圖案。回到圖4，相機系統450還包括第二計算單元205，用于對圖2C的馬賽克化圖像 986進行逆馬賽克處理。逆馬賽克處理可以包含對于每個過濾器顏色，基于相鄰像素傳感器的像素值內插丟失的像素值。所得的圖像可以被存儲在存儲單元260中，例如作為表示三個高分辨率單色圖像的值。圖2D示出了逆馬賽克處理。馬賽克化圖像987被轉換為一組高分辨率單色圖像 988，其中，圖像再現單元可以通過根據選定過濾器顏色的疊加處理由該組高分辨率單色圖像988得到圖像對象的高分辨率多色圖像。圖3示出了由圖4的相機系統450輸出的圖像。所得圖像沒有顏色誤差，并且減少了失真和拉鏈狀贗象的發生。可以使用任何逆馬賽克方法來得到完整向上取樣的高分辨率多色圖像，例如使用雙線性插值、中間過濾或統計建模。較之用于將逆馬賽克技術與超分辨率技術組合的已知方法，計算誤差要求更低。用于顏色過濾器單元的制造方法被顯著簡化， 因為所有顏色過濾器單元是單色的，這也使得由與馬賽克顏色過濾器相關的制造問題導致的色差更小。上述的實施例的要素，例如圖4的相機系統450的第一計算單元240和第二計算單元250可以以各種形式實現，例如僅僅由硬件實現，如集成電路、現場可編程門陣列 (FPGA)、專用集成電路(ASIC)，或僅僅由軟件實現(該軟件可以實現為例如計算機程序或在微控制器存儲器中實現)，或者由硬件和軟件的組合實現。圖5A涉及操作相機系統的方法。該方法包括引導光通過被分配給至少三個不同顏色的三個單色顏色過濾器單元的至少三個透鏡單元，從而得到不同顏色的至少三個單色低分辨率圖像(502)。該至少三個單色低分辨率圖像被融合成多色高分辨率圖像(504)。透鏡單元被布置成使得所述至少三個單色低分辨率圖像被彼此偏移。將至少三個單色低分辨率圖像合并成多色高分辨率圖像可以包括通過包含偏移補償的超分辨率技術將單色低分辨率圖像融合成馬賽克化圖像。該方法可以還包括通過對于每個過濾器顏色基于相鄰像素傳感器的像素值來內插虛擬的像素值，對馬賽克化多色圖像進行逆馬賽克處理。圖5B涉及制造透鏡和顏色過濾器組件的方法。該方法包括布置至少三個透鏡單元和至少三個單色顏色過濾器單元，其中，所述多個顏色過濾器單元包括具有至少三個不同過濾器顏色的顏色過濾器區(552)。顏色過濾器單元是單色的，使得每個透鏡單元被分配給至少三個過濾器顏色中的一個。計算單元被設置來利用偏移補償和逆馬賽克處理將來自顏色過濾器單元的至少三個單色低分辨率圖像融合為多色高分辨率圖像(554)。
權利要求
1.一種透鏡和顏色過濾器組件(100)，包括至少三個透鏡單元(110)；以及至少三個顏色過濾器單元(120)，每個顏色過濾器單元(120)被分配給所述至少三個透鏡單元(110)中的一個并且包含多個顏色過濾器區(125)，其中，這些顏色過濾器區(125)具有至少三個不同的過濾器顏色，并且每個顏色過濾器單元 (120)是單色的。
2.如權利要求1所述的透鏡和顏色過濾器組件，其中，每個透鏡單元(110)包括微透鏡陣列，所述微透鏡陣列包含多個布置成矩陣的微透鏡 (115)。
3.如權利要求1所述的透鏡和顏色過濾器組件，其中，分配給所述透鏡單元(Iio)中的一個透鏡單元的每個顏色過濾器區(125)被布置成使得垂直入射在所述透鏡單元(110)中的所述一個透鏡單元上并經過所述透鏡單元(110)中的所述一個透鏡單元的光經過這個顏色過濾器區(125)。
4.如權利要求1所述的透鏡和顏色過濾器組件，其中，透鏡單元(110)的數量是偶數，并且所述透鏡單元(110)被布置成矩陣。
5.一種相機系統，包括根據前述權利要求中任一項所述的透鏡和顏色過濾器組件(100)；至少三個像素單元(230)，每個像素單元(230)被分配給所述透鏡單元(110)中的一個透鏡單元并包含多個被布置成矩陣的像素傳感器(235)，其中，每個像素傳感器(235)被分配給所述顏色過濾器區(125)中的一個顏色過濾器區。
6.如權利要求5所述的相機系統，其中，不同像素單元(230)中的相應像素傳感器(235)彼此偏移。
7.如權利要求5所述的相機系統，其中，分配給所述顏色過濾器區(125)中的一個顏色過濾器區的每個像素傳感器(235)被布置成使得垂直入射在這個顏色過濾器(125)上并通過這個顏色過濾器區(125)的光入射在這個像素傳感器(235)上。
8.如權利要求6所述的相機系統，還包括第一計算單元(240)，其被配置來通過以常規方式對由所述像素單元(230)的所述像素傳感器(235)輸出的像素值進行偏移補償，而將從所述像素單元(210)獲得的單色低分辨率圖像合并為馬賽克化圖像。
9.如權利要求8所述的相機系統，還包括第二計算單元(250)，其被配置來通過對于每個過濾器顏色基于相鄰像素傳感器 (235)的像素值來內插虛擬像素值，而對所述多色圖像進行逆馬賽克處理。
10.一種用于操作相機系統的方法，所述方法包括引導光通過至少三個透鏡單元(110)，每個透鏡單元(110)被分配給一個單色顏色過濾器單元(120)，每個單色顏色過濾器單元(120)具有不同的過濾器顏色，以獲得至少三個不同顏色的單色低分辨率圖像；以及將所述至少三個單色低分辨率圖像融合為多色高分辨率圖像。
11.如權利要求10所述的方法，其中，所述透鏡單元(110)被布置成使得所述至少三個單色低分辨率圖像彼此偏移。
12.如權利要求11所述的方法，其中，將所述至少三個單色低分辨率圖像融合成多色高分辨率圖像的步驟包括通過對由所述像素傳感器(235)輸出的像素值進行交錯，將從所述像素單元(230)獲得的所述單色低分辨率圖像合并為馬賽克化多色圖像，其中，所述像素值受到偏移補償。
13.如權利要求12所述的方法，其中，交錯所述像素值的步驟包括將所有像素單元(230)的相應像素傳感器(235)輸出的像素值分組為像素簇(987)，其中，每個像素簇(987)包含的像素值的數目對應于像素單元(230)的數目，并且其中，每個像素簇(987)的每個像素值由另一像素單元(230)得到，以及將所述像素簇(987)分組成與所述像素矩陣對應的矩陣。
14.如權利要求12所述的方法，其中，將所述至少三個單色低分辨率圖像融合為多色高分辨率圖像的步驟包括通過對于每個過濾器顏色基于相鄰像素傳感器(235)的像素值來內插或估計虛擬像素值，而對所述馬賽克化多色圖像進行逆馬賽克處理。
15.一種制造透鏡和顏色過濾器組件(100)的方法，所述方法包括布置至少三個透鏡單元(110)和至少三個顏色過濾器單元(120)，每個顏色過濾器單元(120)包含具有至少三個不同過濾器顏色的多個顏色過濾器區(125)，使得每個顏色過濾器單元(120)是單色的并被分配給所述至少三個透鏡單元(110)中的一個；以及設置計算單元(240，250)，用于將所述至少三個單色低分辨率圖像融合為多色高分辨率圖像。
全文摘要
本發明涉及透鏡和顏色過濾器布置、超分辨率相機系統及方法。透鏡和顏色過濾器組件包括透鏡單元(110)，其中每個透鏡單元(110)被分配給單色顏色過濾器單元(120)。透鏡和顏色過濾器組件(100)可以與像素單元(230)組合，從而可以獲得多個單色低分辨率圖像，其中，該單色圖像涉及同一圖像對象的偏移版本。通過包括偏移補償的超分辨率技術，獲得馬賽克化圖像，然后該馬賽克化圖像被逆馬賽克處理。在所得的圖像中，僅僅出現少量的贗象。簡單的顏色過濾器陣列允許簡化的制造方法并以較小的計算量提供較小的色差。
文檔編號H04N5/335GK102457683SQ201110348499
公開日2012年5月16日 申請日期2011年11月3日 優先權日2010年11月3日
發明者曼弗雷德·曼茨, 瑪利克·瓦卡斯, 穆罕默德·西迪奎, 馬庫斯·凱姆 申請人:索尼公司