專利名稱：減少彩色圖像中的噪聲的制作方法
技術領域：
本發明涉及減少彩色圖像中的噪聲，并且，特別地但不是專門地，涉及用于提供低噪聲的彩色圖像的方法和系統、用于這樣的系統中的圖像處理設備和圖像傳感器、以及使用這樣的方法的計算機程序產品。
背景技術：
為了再現與真實場景盡可能匹配的彩色圖像，傳統的數字照相機使用濾波器，例如，插入透鏡和圖像傳感器之間的濾色器陣列(CFA)和透鏡之前的紅外阻擋濾波器。但是，使用濾波器減少了到達圖像傳感器的光的量，因而基本上降低了照相機的信噪比(SNR)。此夕卜，數字照相機技術中的當前趨勢，諸如通過減少像素尺寸來増加傳感器分辨率以及希望以用于在低光條件下捕獲圖像的更高的ISO靈敏度來獲得提高的圖像質量，會導致SNR的進ー步的降低。諸如通過使用更長的曝光時間或更大的光圈來將圖像傳感器暴露于更多的光下的提聞SNR的措施會導致運動ネ旲糊和/或減小的景深(DOF),因此不能提供真實的提尚。另一種選擇是增加ISO速度(即，増加圖像傳感器的増益)。但是，増加ISO速度顯著地増加圖像噪聲。因此，為了在低光條件下和/或在使用具有減小的像素尺寸的圖像傳感器時將SNR提高或至少保持在期望的水平，減小噪聲的技術變得越來越重要。一種提高數字照相機的SNR的方法可以是使用具有擴展的光譜靈敏性的圖像傳感器。例如US2007/0153335描述了包含RGB像素和非濾波的(透明的)像素的圖像傳感器的使用。透明像素的信號被用于噪聲減少方案，其中，基于透明像素信號中包含的邊緣信息來對相對較高的噪聲RGB像素信號進行濾波。但是，噪聲減少方案相當復雜并且依賴于邊緣保持濾波(edge-preserving filtering)。與邊緣保持濾波器(例如，中值濾波器、雙邊濾波器等)的使用有關的問題在于對于與鋭利或清晰的邊緣無關的細節，這樣的濾波器最終不能確定噪聲與實際的圖像細節之間的不同。因此，在本領域中，需要提供以提高的SNR提供彩色圖像的簡單和有效的方式的方法和系統。
發明內容
本發明的目的在于減少或消除至少ー個現有技術中已知的缺點。在第一方面中，本發明可以涉及一種處理彩色圖像的方法。該方法可以包含下列步驟將圖像傳感器暴露于可見光譜能量和不可見光譜能量下，所述圖像傳感器包含用于獲得與所述可見光譜能量相關聯的第一圖像數據的像素和用于獲得與所述不可見光譜能量相關聯的第二圖像數據的像素；產生第一和第二圖像數據；使所述第一圖像數據經過低通濾波器，并且使所述第二圖像數據經過高通濾波器；以及通過將所述第二圖像數據的高頻分量的至少一部分與所述第一圖像數據的低頻分量的至少一部分相加來形成彩色圖像。
可以使用用于產生與可見光譜能量相關聯的第一圖像數據和與不可見光譜能量相關聯的第二圖像數據的各種圖像傳感器。在一個實施例中，用于獲得所述第一圖像數據的所述像素可以包含ー個或多個彩色像素濾波器，該ー個或多個彩色像素濾波器被配置為透射所述可見光譜能量的至少一部分。在另ー個實施例中，用于獲得所述第二圖像數據的所述像素可以包括一個或多個紅外透射像素濾波器，該ー個或多個紅外透射像素濾波器被配置為透射所述不可見光譜能量的實質部分并阻擋所述可見光譜能量的實質部分。在又一個實施例中，用于獲得第一和第二圖像數據的所述像素包含兩個或多個垂直堆疊的光傳感器，所述光傳感器中的至少ー個對所述可見光譜能量的預定部分作出響應，并且所述光傳感器的所述至少ー個對所述不可見光譜的預定部分作出響應。因此，與已知的噪聲降低方案形成對比，根據本發明的噪聲降低處理產生“合成的”低噪聲彩色圖像，其中，彩色信息由RGB像素產生的RGB圖像數據的低頻分量提供，并且其中，圖像細節信息由紅外像素產生的紅外圖像數據的高頻分量提供。彩色圖像可以通過簡單地將低頻RGB圖像數據與高頻紅外圖像數據相加來獲得。本發明依賴于這樣的事實，即圖像傳感器將產生相對低噪聲的紅外像素信號，從而能夠實現彩色圖像中的有效的噪聲抑制并基本上提高彩色圖像的SNR。
在一個實施例中，可以至少使用第一光圈將圖像傳感器暴露于所述可見光譜能量下并至少使用第二光圈將圖像傳感器暴露于所述不可見光譜能量下。在另ー個實施例中，所述第一光圈可以適合于控制將圖像傳感器暴露于所述不可見光譜能量的至少一部分下，并且其中，所述第二光圈可以適合于控制將所述圖像傳感器暴露于所述可見光譜能量的至少一部分下。在另ー個實施例中，該方法還包含與第一光圈相對于第二光圈之比成比例地放大所述第二圖像數據的濾波的高頻分量的步驟。雙光圈的使用提供了具有定焦透鏡的成像系統(例如，在移動電話中的照相機)以具有寬的孔徑，因此在更低光條件下有效地操作，而同時具有更大的DOF和SNR，從而導致更銳利的圖片。在一個變型例中，該方法還可以包含這樣的步驟即，根據至少第一 ISO速度放大與所述可見光譜能量相關聯的一個或多個圖像傳感器信號，以及根據至少第二 ISO速度放大與所述不可見光譜能量相關聯的一個或多個圖像傳感器信號，其中所述第一 ISO速度大于所述第二 ISO速度。在一個實施例中，所述第一 ISO值和第二 ISO值之間的比例可以被設置為大約在2與8之間。通過使用雙ISO設置，可以在低光條件下獲得提高的彩色圖像。在另ー個變型例中，該方法還可以包含這樣的步驟即，將用于曝光與所述不可見光譜能量相關聯的一個或多個像素的曝光時間設置為比用于曝光與所述可見光譜能量相關聯的一個或多個像素的曝光時間低的值。對紅外像素使用相對較短的曝光時間可以導致具有減少的模糊的彩色圖像。在另ー個變型例中，該方法還可以包含這樣的步驟，S卩，從所述第一數據的至少ー部分減去所述第二圖像數據的至少一部分，以便形成校正的彩色圖像數據。因此，紅外圖像數據可以用于有效地消除由彩色像素產生的信號中的紅外分量。在另ー個實施例中，該方法還可以包含下列步驟提供由所述圖像傳感器產生的馬賽克圖像數據(mosaic image data),使用去馬賽克算法(demosaicing algorithm)基于所述圖像數據產生至少ー個或多個與ー個或多個彩色像素相關聯的第一彩色圖像數據以及與所述紅外像素相關聯的第二圖像數據。
在另ー個方面中，本發明可以涉及ー種圖像處理設備，該圖像處理設備包括輸入端，用于接收通過將圖像傳感器暴露于可見和不可見光譜能量下產生的圖像數據，所述圖像數據包含與可見光譜能量相關聯的第一圖像數據和與不可見光譜能量相關聯的第二圖像數據；噪聲降低単元，被配置為使所述第一圖像數據經過低通濾波器并使所述第二圖像數據經過高通濾波器；以及混合単元，用于將所述高通濾波的紅外圖像數據與所述低通濾波的彩色圖像數據相加。在一個實施例中，該設備還可以包括用于接收由圖像傳感器產生的馬賽克圖像數據的去馬賽克處理單元，所述馬賽克數據包含與ー個或多個彩色像素濾波器相關聯的第一馬賽克圖像數據和與一個或多個紅外像素濾波器相關聯的第二馬賽克圖像數據。在另ー個實施例中，該處理設備還可以包括被配置為接收來自所述去馬賽克處理單元的輸入的顏色校正単元，所述顏色校正單元被配置為從與ー個或多個彩色像素濾波器相關聯的所述第一去馬賽克圖像數據減去與一個或多個紅外像素濾波器相關聯的第二去馬賽克圖像數據。
在另ー個方面中，本發明可以涉及ー種成像系統，該成像系統包括圖像傳感器，被配置為暴露于可見光譜能量和不可見光譜能量下，所述圖像傳感器包含用于獲得與所述可見光譜能量相關聯的第一圖像數據的像素和用于獲得與所述不可見光譜能量相關聯的第二圖像數據的像素；光圈系統，該光圈系統適合于控制將圖像傳感器暴露于可見和不可見光譜能量下；以及如上所述的圖像處理設備。在一個實施例中，所述光圈系統包含至少第一光圈和至少第二光圈，所述第一光圈適合于控制將圖像傳感器暴露于所述不可見光譜能量的至少一部分下，所述第二光圈適合于控制將所述圖像傳感器暴露于所述可見光譜能量的至少一部分下。本發明還涉及在以上描述的成像系統中使用的圖像傳感器，其中該傳感器包括像素陣列，優選地為ニ維像素陣列，其限定對可見光譜能量敏感的ー個或多個彩色像素以及對不可見光譜能量敏感的一個或多個紅外像素；以及至少ー個與所述彩色像素的至少ー部分相關聯的第一放大器和與所述紅外像素的至少一部分相關聯的第二放大器，所述第一放大器用于將與所述彩色像素相關聯的ISO速度設置為第一 ISO速度值，所述第二放大器用于將與所述紅外像素相關聯的ISO速度設置為第二 ISO速度值，所述第一 ISO速度值大于所述第二 ISO速度值，優選地，所述第一放大器和第二放大器被配置為使得所述第一 ISO速度值和第二 ISO速度值之間的比例可以被控制為大約在2和8之間。在另ー個實施例中，該圖像傳感器還可以包含與所述彩色像素的至少一部分相關聯的第一電子快門和與所述紅外像素的至少一部分相關聯的第二電子快門，所述第一電子快門用于將與所述彩色像素相關聯的曝光時間設置為第一曝光值，所述第二電子快門用于將與所述紅外像素相關聯的曝光時間設置為第二曝光值。因此，在本實施例中，該圖像傳感器尤其適合干與圖像處理設備一起使用，用于使用由紅外像素產生的紅外信號的高頻分量來有效地降低彩色圖像中的噪聲。此外，該圖像傳感器可以為彩色像素和紅外像素獨立地設置信號増益(ISO速度)和曝光時間，從而使得成像系統可以使用雙ISO和/或雙曝光模式，用于在低光條件下提高SNR和/或降低運動模糊。本發明還可以涉及ー種用于處理彩色圖像的計算機程序產品，其中，所述計算機程序產品包含計算機代碼部分，該計算機代碼部分被配置為當在計算機系統的存儲器中運行時執行如上所述的方法步驟；本發明還可以涉及一種數據信號，該數據信號以在通過計算機系統的傳輸線和/或連接到計算機系統的數據網絡傳播的載波的形式實現，其中，所述數據信號包含對上述計算機程序產品的至少一部分進行編碼的數據；本發明還可以涉及一種計算機程序存儲介質，其可以由計算機系統讀取，并且對用于管理對如上所述的計算機系統的ー個或多個資源的安全訪問的計算機程序產品進行編碼。將參考附圖對本發明進行進ー步的圖示，這些附圖示意性地示出根據本發明的實施例。應當理解，本發明決不局限于這些特定實施例。
圖I描繪了根據本發明的一個實施例的成像系統。圖2描繪了沒有紅外阻擋濾波器的數字照相機的典型的顔色響應。
圖3描繪了硅和紅外阻擋濾波器的光響應。圖4描繪了㈧紅外/彩色濾波器陣列和⑶堆疊的光電ニ極管結構的示意圖。圖5描繪了根據本發明的一個實施例的噪聲降低方案的流程圖。圖6描繪了用于根據本發明的一個實施例的成像系統中的雙光圏。圖7描繪了提高使用雙光圈的成像系統中的DOF的原理。
具體實施例方式圖I示出了根據本發明的一個實施例的成像系統100。該成像系統包含圖像傳感器102、透鏡系統104、快門106和光圈系統108，透鏡系統104用于將場景中的物體聚焦在圖像傳感器的成像平面上，光圈系統108包含至少ー個允許電磁光譜的可見部分(例如RGB)和不可見部分(例如，紅外)的光(電磁輻射)進入成像系統的光圏。該成像系統可以是數字照相機的一部分，或者被集成在需要圖像捕獲功能的移動電話、網絡攝像機和另ー種多媒體裝置中。由快門和光圈來控制將圖像傳感器暴露于光下。當快門打開時，光圈控制光的量和對圖像傳感器進行曝光的光的準直度。快門可以是機械快門，或者，可替換地，快門可以是集成在圖像傳感器中的電子快門。該圖像傳感器包含形成ニ維像素陣列的感光位點(像素)的行和列。該圖像傳感器可以是CMOS(互補金屬氧化物半導體)有源像素傳感器或CXD(電荷耦合器件)圖像傳感器。當光被透鏡系統投射到圖像傳感器上吋，每ー個像素都產生電信號，該電信號與入射到該像素上的電磁輻射(能量)成比例。為了獲得顔色信息并將投射到圖像傳感器的成像平面上的圖像的顔色分量分開，通常將濾色器陣列120(CFA)插入在透鏡與圖像傳感器之間。濾色器陣列可以與圖像傳感器集成在一起，從而使得圖像傳感器的每ー個像素都具有對應的像素濾波器。每ー個濾色器都適合于使預定顏色帶的光穿過而進入到像素中。通常使用紅色、緑色和藍色(RGB)濾波器的組合，但是其它濾波器方案也是可能的，例如，CYGM (青色、黃色、綠色、品紅色)、RGBE (紅色、綠色、藍色、翠綠色)等。曝光的圖像傳感器的每ー個像素都產生與穿過與該像素相關的濾色器的電磁輻射成比例的電信號。這樣，像素的陣列產生表示穿過濾色器陣列的電磁能量(輻射)的空間分布的圖像數據(幀)。從像素接收到的信號可以使用一個或多個芯片上放大器(on-chipamplifier)來放大。在一個實施例中，圖像傳感器的姆個顏色通道都可以通過使用分開的放大器來放大，從而允許分開地控制針對不同顔色的ISO速度。此外，使用ー個或多個模擬到數字(A/D)轉換器110，像素信號可以被采樣、量化和變換為數字格式的字(word)，該模擬到數字(A/D)轉換器110可以被集成在圖像傳感器的芯片上。數字化的圖像數據由耦合到圖像傳感器的數字信號處理器112(DSP)處理，該數字信號處理器112被配置為執行諸如內插、濾波、白平衡、亮度校正、數據壓縮技術(例如，MPEG或JPEG類型的技術)等的信號處理功能。DSP被耦合到中央處理器114、存儲存儲器116和程序存儲器118 (諸如EEPROM或另ー種類型的非易失性存儲器)，存儲存儲器116用于存儲捕獲的圖像，程序存儲器118包含由DSP用于處理圖像數據或由中央處理器用于管理成像系統的操作的一個或多個軟件程序。為了提高成像系統的靈敏度，透鏡系統被配置為允許可見光和紅外輻射二者或紅外輻射的至少一部分進入成像系統。為此，成像系統不包含在透鏡系統之前的濾波器，該濾波器阻擋所有紅外輻射進入。這樣，經由透鏡系統進入成像系統的電磁波輻射122可以包含與光學光譜的可見部分和紅外部分相關聯的兩種輻射，從而將圖像傳感器的光響應擴展 到紅外。在傳統CFA彩色圖像傳感器上的紅外阻擋濾波器(沒有紅外阻擋濾波器)的效果在圖2中示出。在曲線圖A和B中的曲線202表示沒有紅外阻擋濾波器(熱鏡式濾波器)的數字照相機的典型的顔色響應。曲線圖A示出使用熱鏡式濾波器的效果。熱鏡式濾波器210的響應將圖像傳感器的光譜響應限制到可見光譜，從而基本上限制了圖像傳感器的總靈敏度。如果熱鏡式濾波器被取走，那么某些紅外輻射將穿過彩色像素濾波器。這種效果由曲線圖B描繪，曲線圖B示出包含藍色像素濾波器204、緑色像素濾波器206和紅色像素濾波器208的彩色像素的光響應。彩色像素濾波器，尤其是紅色像素濾波器，(部分地)透射紅外輻射，從而使得一部分像素信號可以被歸因于紅外輻射。這些紅外貢獻可以使顏色平衡產生畸變，從而導致包含所謂的偽顏色(false color)的圖像。圖3描繪了包含熱鏡式濾波器302的響應和硅(即，在數字照相機中使用的圖像傳感器的主要半導體成分)304的響應的曲線圖。該曲線圖清晰地示出了，硅圖像傳感器對紅外輻射的靈敏度大約是其對可見光的靈敏度的四倍。因此，為了利用由圖像傳感器提供的光譜靈敏度，圖I中的成像系統中的圖像傳感器102包含ー個或多個像素，用于取回與紅外光譜能量相關聯的像素信號，從而允許成像系統產生RGB彩色圖像和相對低噪聲的紅外圖像。這樣的圖像傳感器的例子在圖4中描繪。圖4(A)描繪了ー個實施例，其中，圖像傳感器包含與彩色像素結合的一個或多個紅外
(I)像素。這樣的紅外像素可以通過使用基本上阻擋可見光井基本上透射紅外輻射(優選地是在大約700到IlOOnm的范圍內的紅外輻射)的濾波材料覆蓋光位點來實現。在這樣的紅外/彩色濾波器陣列(ICFA)中的紅外透射像素濾波器可以使用熟知的對光譜的紅外帶中的波長具有高透射率的濾波材料來實現，該濾波材料例如為由Brewer Science銷售的商標為“DARC 400”的黑色聚酰亞胺材料。實現這樣的濾波器的方法在US2009/0159799中描述。ICFA可以包含例如2X2像素的像素塊，其中，每ー個塊包含紅色、緑色、藍色和紅外像素。當被曝光時，這樣的圖像ICFA彩色圖像傳感器可以產生包含RGB顔色信息和紅外信息的原始的馬賽克圖像。通過使用熟知的去馬賽克算法對原始的馬賽克圖像進行處理后，可以獲得RGB彩色圖像和紅外圖像。這樣的ICFA彩色圖像傳感器對紅外輻射的靈敏度可以通過增加塊中的紅外像素的數量來提高。在ー種配置(未示出)中，圖像傳感器濾波器陣列可以例如包含由十六個像素構成的塊，十六個像素包含四個彩色像素RGGB和十二個紅外像素。在另ー個實施例中，圖像傳感器可以包含光位點的陣列，其中，每ー個光位點都包含大量的堆疊的光電ニ極管。優選地，堆疊的光電ニ極管至少包含四個堆疊的光電ニ極管，這些光電ニ極管至少分別對原色RGB和紅外進行響應。這些堆疊的光電ニ極管可以被集成到圖像傳感器的硅基板中。圖4(B)描繪了這樣的堆疊的光位點的示意圖。光電ニ極管404、406、408、410位于圖像傳感器的硅基板中的不同深度處，從而使得每ー個光電ニ極管響應于光譜的不同部分。波長越長，光穿透入硅中得越深。因此，最接近圖像傳感器的光接收表面402的光電ニ極管404將具有對藍色的光譜響應，從而形成藍色(彩色)像素，然而，距離表面402最遠的光電ニ極管410將具有對紅外的光譜響應，從而形成紅外(I)像素。這樣的包含垂直堆疊的光電ニ極管的RGBI圖像傳感器提供這樣的優點在不需要去馬賽克的情況下，彩色像素的信號允許直接形成RGB彩色圖像和紅外圖像。
圖像傳感器可以包含用于放大彩色像素和紅外像素和/或透明像素的像素信號的ー個或多個放大器、以及用于將像素曝光預定曝光時間的一個或多個電子快門。典型地，放大器和快門電子器件可以被集成在圖像傳感器芯片上。在一個實施例中，彩色像素可以具有用于設置與彩色像素相關聯的ISO速度和/或曝光時間的電子快門和/或放大器。類似地，紅外像素可以具有用于設置與紅外像素相關聯的ISO速度和/或曝光時間的電子快門和/或放大器。如圖4所示的由圖像傳感器的紅外像素產生的紅外圖像數據可以用于產生具有提高的SNR特性的彩色圖像。這樣的處理的一個實施例在圖5中進行了更詳細的描繪。在該實施例中，使用包含IFCA彩色圖像傳感器的成像系統。在該處理的第一步驟中，圖像傳感器產生包含馬賽克的原始圖像數據，該馬賽克表示入射到圖像傳感器的光接收區域的彩色(RGB)和紅外光譜中的光子能量的分布(步驟502)。隨后，使用熟知的去馬賽克算法將馬賽克圖像數據在三種(R’ G’ B’ )彩色圖像和一種紅外圖像中被去馬賽克(步驟S504)。R’ G’ B’彩色圖像仍然可能包含不想要的紅外信息，該紅外信息可以通過將紅外圖像從彩色圖像減去來去除，從而產生補償的(真實的)RGB彩色圖像(步驟506)。可替換地，R’G’B’彩色圖像可以使用熟知的白平衡技術來得以校正。其后，使RGB彩色圖像經過低通濾波器(諸如有限輸入響應濾波器或邊緣保持濾波器)，從而有效地產生模糊的或至少部分模糊的圖像，其中對比度信息和高頻噪聲被抑制(步驟508)。為了提取包含紅外圖像的對比度信息的紅外圖像像素信號的高頻分量，使紅外圖像數據經過高通濾波器(步驟510)。在一個實施例(未示出)中，可以使紅外圖像進ー步經過邊緣保持濾波步驟。這樣的邊緣保持濾波步驟還可以加強紅外圖像數據中的對比度信息。為了形成全彩色RGB圖像，隨后，將經過高通濾波的紅外圖像數據和經過低通濾波的彩色圖像數據相加(混合)(步驟512)。因此，與已知的噪聲降低方案形成對比，根據本發明的噪聲降低處理產生“合成的”低噪聲彩色圖像，其中，彩色信息由通過RGB像素產生的RGB圖像數據的低頻分量提供，并且其中，圖像細節信息由通過紅外像素產生的紅外圖像數據的高頻分量提供。彩色圖像可以通過簡單地將低頻RGB圖像數據與高頻紅外圖像數據相加來獲得。本發明依賴于圖像傳感器將產生相對低噪聲的紅外像素信號的事實。該方法允許彩色圖像中的有效的噪聲抑制，并且可以基本上提高彩色圖像的SNR。在一個變型例中，RBG彩色圖像可以被進一步變換到合適的色空間，例如 LAB色空間，該LAB色空間基于由 Commission International de Il eclairage定義的CIE 1931 XYZ色空間并且被設計為近似于人類的視覺。其后，將高頻紅外分量與LAB彩色圖像的L(明度對比)分量相加。該方法可以作為成像系統的DSP中的噪聲抑制功能來實現。典型地，該方法將作為軟件程序或者作為硬件電路和軟件程序的組合來實現。
盡管在圖5中描繪的方法是使用用于獲得紅外圖像數據的ICFA類型的圖像傳感器來描述的，但是本發明還可以與其它的圖像傳感器一起使用。在一個實施例中，在圖5中描繪的方法還可以與包括如參考圖4(B)描述的垂直堆疊的光電ニ極管的RGBI圖像傳感器一起使用。使用這樣的圖像傳感器提供如下優點不需要參考圖5所描述的去馬賽克步驟504和顏色補償步驟506。在另ー個實施例(未示出)中，可以使用包含一個或多個全色或透明像素的彩色圖像傳感器。例如，這樣的彩色圖像傳感器從US2007/0153335、US2007/0145273或W02007/015982獲知，并且包含RGB像素(的塊)和ー個或多個透明(T)或全色像素，該透明(T)或全色像素對可見光譜和不可見(紅外)光譜都敏感。在使用這樣的圖像傳感器捕獲了原始圖像數據后，捕獲的RGB數據的顏色平衡可以首先使用例如US2007/0153335中公開的已知的白平衡技術來得以恢復。其后，使用低通濾波器對RGB圖像數據進行濾波，并且使用高通濾波器對與透明像素相關聯的圖像數據(包含RGB部分和紅外部分兩者)進行濾波。為了形成具有提高的SNR的彩色圖像，隨后，將透明像素信號的高頻分量與低通濾波的RGB圖像數據相加。噪聲降低方法可以允許在低(可見)光條件下對圖像質量的進ー步提高。出于這一目的，在另ー個實施例中，為了在低光條件下提供高噪聲彩色圖像，圖像傳感器的彩色像素可以被設置為高ISO速度(例如，由ISO標準12232 :2006定義的)，例如在3200與6400之間。將彩色像素設置為更高的ISO等級有效地表明，増加了與彩色像素相關聯的放大器的信號増益。為了產生低噪聲紅外圖像，圖像傳感器的紅外像素可以被設置為低ISO速度，例如，在400與1600之間。在一個實施例中，高ISO值和低ISO值之間的比例可以設置為在2與8之間。使用如參考圖5所描述的方法對由在雙ISO模式下的圖像傳感器在低光條件下捕獲的原始圖像數據的后續處理將導致具有提高的SNR的彩色圖像。該方法允許圖像傳感器的固有紅外靈敏性的最佳使用，并且不需要復雜的處理。在另ー個實施例中，圖5中的方法可以用于降低照相機抖動的影響，特別是當使用相對較長的曝光時間吋。在這種情況下，對紅外敏感的像素可以被設置為與彩色像素相同的靈敏度(相同的ISO速度)。但是，相對于彩色像素的曝光時間，用于紅外像素的曝光時間可以顯著地減少。例如，如果用于彩色像素的曝光時間被設置為1/4秒，那么用于紅外像素的曝光時間被設置為1/60秒，從而提供高對比度的紅外圖像。使用在圖5中描繪的方法對由圖像傳感器產生的原始的圖像數據的后續處理將導致具有降低的模糊的彩色圖像。對于彩色像素和紅外像素的曝光時間可以通過使用用于彩色像素的第一電子快門和用于紅外像素的第二電子快門來控制。可替換地，可以通過按時間捕獲兩個連續的圖像(即，與相對較長的曝光時間相關聯的第一圖像和與相對較短的曝光時間相關聯的第二圖像)來獲得彩色圖像和紅外圖像。因此，與圖像傳感器結合使用噪聲降低方法允許成像系統使用雙ISO和/或雙曝光模式，以便在低光條件下増加SNR和/或降低運動模糊，該圖像傳感器被配置為分別獨立地控制彩色像素和紅外像素的信號増益(ISO速度)和曝光時間。在另ー個實施例中，噪聲降低方法可以被用于包含雙光圈的成像系統中。這樣的雙光圈可以用于提高照相機的景深(DOF)。DOF確定當捕獲圖像時離處于對焦的照相機的距離的范圍。光圈越寬(接收的光越多)，DOF被限制得越多。在圖6中示意性地描繪這樣的雙光圈的一個實施例。雙光圈系統600包括在中間具有開ロ 604(例如，圓形孔)的基板602。基板材料可以是至少對可見輻射透明的，并且可以被諸如電介質濾波器的薄膜濾波材料606所涂敷。在一個實施例中，基板被ニ向色濾波器涂敷，該ニ向色濾波器反射紅外光譜中的輻射，并透射可見光譜中的輻射。也稱為干涉濾波器的ニ向色濾波器在本領域中是 熟知的，并且通常包含大量的特定厚度的薄膜電介質層，該薄膜電介質層被配置為反射紅外輻射(例如，具有在大約750與1250納米之間的波長的輻射)并透射光譜的可見光部分中的輻射。可以使用不透明材料的保持器604將該基板置于成像系統中的透鏡之前。該保持器包含圓形開ロ 608，并被配置為接納和定位基板，從而使得基板中的開ロ位于保持器的圓形開ロ的中心。由于保持器開ロ的直徑大于基板開ロ的直徑，因此被濾波器涂敷的基板的一部分經由透鏡暴露于進入成像系統的輻射下。暴露的部分在基板孔的周圍形成同心環610。多光圈可以通過使用若干個分開的光圈元件來形成，例如，包含第一圓形濾波器涂層的第一透明基板與包含第二圓形濾波器的第二透明基板光學和光學系統的ー個或多個透鏡光學對準，從而有效地提供與關于圖6所描述的雙光圈系統相同的效果。可替換地，該光圈系統可以通過使用作為用于形成光圈系統的第一和第二濾波器涂層的基板的透鏡來與透鏡集成在一起。在變型例中，雙光圈系統可以通過兩個或多個透鏡系統(例如，具有相關聯的第一光圈系統的第一透鏡系統和具有相關聯的第二光圈系統的第二透鏡系統)形成。可見和不可見(紅外)光譜能量經由雙光圈系統進入成像系統。由于在光圈系統中使用的紅外阻擋濾波器對可見光是透明的，因此進入成像系統的可見光譜中的輻射的量由保持器開ロ的直徑來控制。另ー方面，由于濾波器阻擋紅外輻射的全部或者至少實質部分，因此進入成像系統的紅外光譜中的輻射的量由基板中的開ロ的直徑來控制，該直徑小于保持器開ロ的直徑。因此，與包含單個光圈的成像系統相反，雙光圈成像系統使用包含兩個(或更多)不同尺寸的光圈，用于控制對圖像傳感器進行曝光的光譜的不同帶中的輻射的量和準直度。雙光圈允許具有典型的f數為7 (例如，焦距f為7mm并且直徑為Imm)的簡單的移動電話照相機經由具有第二光圈來提高其D0F，該第二光圈的f數例如在針對O. 5mm的直徑的14直到針對等于或小于O. 2mm的直徑的70或更大之間改變，其中f數被定義為光圈的焦距f和有效直徑之比。優選的實施方式包括這樣的光學系統，該光學系統包含與用于提高遠處物體的銳度的大約16到22的紅外光圈的f數結合的用于提高近處的物體的銳度的大約2到4的可見輻射的f數。光圈系統可以包含具有如下兩個不同薄膜濾波器的透明基板在基板中心的第一圓形薄膜濾波器，形成透射光譜中的第一帶中的輻射的第一光圈；以及在第一濾波器周圍(例如，以同心環的形式)形成的第二薄膜濾波器，透射光譜中的第二帶中的輻射。第一濾波器可以被配置為透射可見和紅外輻射兩者，并且第二濾波器可以被配置為反射紅外輻射并透射可見輻射。外同心環的外直徑可以由不透明光圈保持器中的開ロ來限定，或者，可替換地，由沉積在阻擋紅外輻射和可見輻射兩者的基板上的不透明薄膜層中限定的開ロ來限定。如圖6中描繪的雙光圈系統可以用于提高成像系統的D0F。提高DOF的原理在圖7中示意性地示出。可見和紅外光譜能量經由雙光圈系統進入成像系統，該雙光圈系統包含具有預定直徑的圓形孔702的被濾波器涂敷的透明基板700。濾波器涂層704可以透射可見輻射并反射紅外輻射。不透明覆蓋層706可以包含具有大于孔702的直徑的直徑的圓形開ロ。該覆蓋層可以包含反射紅外和可見輻射兩者的薄膜涂層，或者可以是用于將基板 700保持并定位在光學系統中的保持器的一部分。可見和紅外光譜能量穿過光圈系統并隨后由透鏡712投射到下述圖像傳感器或包含堆疊的RGBI光位點的圖像傳感器的成像平面714上，該圖像傳感器包含用于獲得與可見光譜能量相關聯的圖像數據的像素和用于獲得與不可見(紅外)光譜能量相關聯的圖像數據的像素，諸如ICFA彩色圖像陣列。這樣，圖像傳感器的像素可以接收與具有有限的DOF的可見光譜能量相關聯的第一(相対)寬光圈圖像信號716，該第一寬光圈圖像信號716同與具有大DOF的紅外光譜能量相關聯的第二小光圈圖像信號718重疊。因此，靠近透鏡的焦點f的平面的物體714通過可見輻射以相對較小的散焦模糊投射到圖像平面上，而距離焦點的平面較遠處的物體716通過紅外輻射以相對較小的散焦模糊投射到圖像平面上。在曝光吋，圖像傳感器在一個圖像幀中同時捕獲可見和紅外圖像信號兩者。如果使用ICFA彩色圖像傳感器，那么DSP可以使用例如去馬賽克算法來將捕獲的原始馬賽克圖像中的彩色和紅外像素信號分開(未示出)。其后，使(可見)彩色圖像數據和(不可見)紅外圖像數據可以經過參考圖5所描述的噪聲降低方法，從而產生具有提高的DOF和SNR的彩色圖像。據認為，技術人員可以容易地將圖7中示出的原理擴展到多光圈系統，該多光圈系統可以被配置為將在距離焦平面不同距離處的物體以小的散焦模糊投射到圖像傳感器的圖像平面上。當使用如參考圖6和圖7描述的包括雙光圈的成像系統時，由圖像傳感器接收的紅外輻射主要由紅色和紅外像素濾波器透射。因此，捕獲的圖像幀的紅色分量包含高振幅的可見的紅色信號和鋭利的低振幅的不可見紅外信號。典型地，紅外分量將為可見紅色分量的1/8到1/16倍。紅色平衡可以被調整，以補償由于紅外的出現而產生的輕微的畸變。鋭利的小光圈紅外圖像信號可以從紅外像素信號和紅色像素的高通濾波的分量獲得。該信號可以用于提聞彩色圖像的DOF和SNR兩者。由圖像傳感器的紅外像素產生的紅外圖像信號可以被用于通過從彩色圖像信號的每ー種顔色分量中減去這些信號來有效地去除由紅外輻射產生的彩色像素中的顏色畸變。這樣，與多光圈系統結合使用具有RGBI濾波器陣列的圖像傳感器或堆疊的RGBI圖像傳感器允許產生具有提高的DOF和SNR以及顏色平衡的彩色圖像。
在另ー個實施例中，如參考圖6和圖7描述的雙光圈成像系統還可以使用包含彩色像素和透明或全色像素的彩色圖像傳感器。由于與大光圈顏色信號相比小光圈紅外信號是相對較低振幅的信號，因此在彩色像素信號中紅外的貢獻將相對較小。為了去除由透明像素產生的圖像數據中的主導顏色分量，可以使用由彩色像素產生的彩色圖像數據。將彩色圖像數據從由透明像素產生的圖像數據中減去將提供紅外圖像數據，該紅外圖像數據適合于在如參考圖5所描述的噪聲降低方法中使用。此外，由于紅外光圈的相對較小的尺寸產生了相對較小的紅外圖像信號，因此可以與可見光光圈相對于紅外光圈之比成比例地放大濾波的高頻分量。將如參考圖6和圖7所描述的雙光圈與如參考圖5所描述的噪聲降低方案結合提供了具有定焦透鏡的成像系統(例如，在移動電話中的照相機)，從而具有寬的光圈，因此在低光條件下有效地操作，而同時具有更大的DOF和SNR，因此實現更銳利的圖片。
應該理解，關于任何一個實施例描述的任何特征都可以單獨地使用或者與描述的其它特征結合使用，并且還可以與任何其它實施例或任何其它實施例的任何組合的ー個或多個特征結合使用。此外，在不脫離本發明的范圍的情況下，也可以采用在上面沒有描述的等同物和修改，本發明的范圍在所附權利要求書中限定。
權利要求
1.一種提供低噪聲彩色圖像的方法，該方法包括下述步驟 將圖像傳感器暴露于可見光譜能量和不可見光譜能量下，所述圖像傳感器包含用于獲得與所述可見光譜能量相關聯的第一圖像數據的像素和用于獲得與所述不可見光譜能量相關聯的第二圖像數據的像素； 產生第一和第二圖像數據； 使所述第一圖像數據經過低通濾波器，并且使所述第二圖像數據經過高通濾波器；以及 通過將所述第二圖像數據的高頻分量的至少一部分與所述第一圖像數據的低頻分量的至少一部分相加來形成彩色圖像。
2.根據權利要求I所述的方法，其中，用于獲得所述第一圖像數據的所述像素包含被配置為透射所述可見光譜能量的至少一部分的一個或多個彩色像素濾波器。
3.根據權利要求I或2所述的方法，其中，用于獲得所述第二圖像數據的所述像素包括一個或多個紅外透射像素濾波器，所述一個或多個紅外透射像素濾波器被配置為透射所述不可見光譜能量的實質部分并阻擋所述可見光譜能量的實質部分。
4.根據權利要求I所述的方法，其中，用于獲得第一和第二圖像數據的所述像素包含兩個或更多個垂直堆疊的光傳感器，所述光傳感器中的至少一個對所述可見光譜能量的預定部分作出響應，并且所述光傳感器中的至少一個對所述不可見光譜的預定部分作出響應。
5.根據權利要求I到4中的任何一項所述的方法，其中，通過使用至少第一光圈將所述圖像傳感器暴露于所述可見光譜能量下，并通過使用至少第二光圈將所述圖像傳感器暴露于所述不可見光譜能量下。
6.根據權利要求5所述的方法，其中，所述第一光圈適合于控制將所述圖像傳感器暴露于所述不可見光譜能量的至少一部分下，并且其中，所述第二光圈適合于控制將所述圖像傳感器暴露于所述可見光譜能量的至少一部分下。
7.根據權利要求5或6所述的方法，其中，所述方法還包括與第一光圈相對于第二光圈之比成比例地放大所述第二圖像數據的濾波的高頻分量的步驟。
8.根據權利要求I到7中的任何一項所述的方法，其中，所述方法還包括下述步驟根據至少第一 ISO速度放大與所述可見光譜能量相關聯的一個或多個圖像傳感器信號，以及根據至少第二 ISO速度放大與所述不可見光譜能量相關聯的一個或多個圖像傳感器信號，其中所述第一 ISO速度大于所述第二 ISO速度，優選地，所述第一 ISO值和所述第二 ISO值之間的比例大約在2與8之間。
9.根據權利要求I到8中的任何一項所述的方法，所述方法還包括將用于曝光與所述不可見光譜能量相關聯的一個或多個像素的曝光時間設置為比用于曝光與所述可見光譜能量相關聯的一個或多個像素的曝光時間低的值的步驟。
10.根據權利要求I到3中的任何一項所述的方法，所述方法還包括下述步驟 提供由所述圖像傳感器產生的馬賽克圖像數據， 使用去馬賽克算法，基于所述圖像數據產生與一個或多個彩色像素相關聯的至少一個或多個第一彩色圖像數據以及與所述紅外像素相關聯的第二圖像數據。
11.一種圖像處理設備，包括輸入端，用于接收通過將圖像傳感器暴露于可見和不可見光譜能量下而產生的圖像數據，所述圖像數據包含與可見光譜能量相關聯的第一圖像數據和與不可見光譜能量相關聯的第二圖像數據； 噪聲降低單元，被配置為使所述第一圖像數據經過低通濾波器并使所述第二圖像數據經過高通濾波器； 混合單元，用于將所述高通濾波的紅外圖像數據與所述低通濾波的彩色圖像數據相加。
12.一種成像系統，包括 圖像傳感器，被配置為暴露于可見光譜能量和不可見光譜能量下，所述圖像傳感器包含用于獲得與所述可見光譜能量相關聯的第一圖像數據的像素、以及用于獲得與所述不可見光譜能量相關聯的第二圖像數據的像素；光圈系統，該光圈系統適合于控制將圖像傳感器暴露于可見和不可見光譜能量下，以及根據權利要求11所述的圖像處理設備。
13.根據權利要求12所述的成像系統，其中，所述光圈系統包含至少第一光圈和至少第二光圈，該第一光圈適合于控制將圖像傳感器暴露于所述不可見光譜能量的至少一部分下，該第二光圈適合于控制將所述圖像傳感器暴露于所述可見光譜能量的至少一部分下。
14.一種用于根據權利要求12或13所述的成像系統中的圖像傳感器，該傳感器包括 像素陣列，優選地為二維像素陣列，其限定對可見光譜能量敏感的一個或多個彩色像素以及對不可見光譜能量敏感的一個或多個紅外像素； 至少一個與所述彩色像素的至少一部分相關聯的第一放大器和與所述紅外像素的至少一部分相關聯的第二放大器，所述第一放大器用于將與所述彩色像素相關聯的ISO速度設置為第一 ISO速度值，所述第二放大器用于將與所述紅外像素相關聯的ISO速度設置為第二 ISO速度值，所述第一 ISO速度值大于所述第二 ISO速度值，優選地，所述第一放大器和所述第二放大器被配置為使得所述第一 ISO速度值和所述第二 ISO速度值之間的比例能夠被控制為大約在2和8之間。
15.一種處理彩色圖像的計算機程序產品，所述計算機程序產品包含軟件代碼部分，該軟件代碼部分被配置為當在計算機系統的存儲器中運行時執行根據權利要求I到10中的任何一項所述的方法步驟。
全文摘要
描述了一種用于提供低噪聲彩色圖像的方法和成像系統。該方法可以包含下列步驟將圖像傳感器暴露于可見光譜能量和不可見光譜能量下，所述圖像傳感器包含用于獲得與所述可見光譜能量相關聯的第一圖像數據的像素和用于獲得與所述不可見光譜能量相關聯的第二圖像數據的像素；產生第一和第二圖像數據；使所述第一圖像數據經過低通濾波器，并使所述第二圖像數據經過高通濾波器；以及通過將所述第二圖像數據的高頻分量的至少一部分與所述第一圖像數據的低頻分量的至少一部分相加來形成彩色圖像。
文檔編號H04N9/04GK102687502SQ200980161922
公開日2012年9月19日 申請日期2009年8月25日 優先權日2009年8月25日
發明者A·A·瓦伊斯 申請人:Ip鏈有限公司