信號處理方法和設備、計算機程序產品、計算系統和攝影機的制作方法

專利名稱：信號處理方法和設備、計算機程序產品、計算系統和攝影機的制作方法
技術領域：
本發明涉及信號處理方法，其中，提供圖像傳感器的傳感器信號作為輸入，并且該輸入在一個濾波器中被重構，以建立一個用于進一步處理的輸出，其中，所述濾波器包含至少一個從由亮度重構濾波器、紅-綠-藍顏色重構濾波器和輪廓重構濾波器組成的組中選擇的重構濾波器，其中，該輸入包含多個像素，并且一個像素提供被賦予紅色、綠色或藍色中至少之一的一個顏色值。本發明也涉及一種特別適合于執行所述方法的信號處理設備，包含一個用于提供傳感器信號作為輸入的圖像傳感器和一個用于重構該輸入以建立用于進一步處理的輸出的濾波器，其中，所述濾波器包含至少一個從由亮度重構濾波器、紅-綠-藍顏色重構濾波器、輪廓重構濾波器組成的組中選擇的重構濾波器，其中，該輸入包含多個像素，并且一個像素提供被賦予紅色、綠色或藍色中至少之一的一個顏色值。本發明進一步涉及適于信號處理的計算機程序產品、計算系統和攝影機。
背景技術：
基于例如對視頻和靜止圖像的數字信號圖像傳感的數字攝影機可有利地配備一個包含一個紅-綠-藍(RGB)拜爾(Bayer)顏色濾波器陣列的圖像傳感器。在這樣一個RGB拜爾顏色濾波器陣列中，每個像素檢測一個預先確定的圖案(pattern)中的紅、綠或藍原色(primarycolor)。這個圖案是由交錯的綠/紅列和綠/藍列構成的。這樣一個傳感器與對于每個原色使用一個單獨的圖像傳感器的攝影機相比，可能具有有限的分辨率。然而，一個帶有三個圖像傳感器的攝影機具有三倍于單一的RGB拜爾傳感器的對分辨率有貢獻的像素。由于應用的成本和大小要求，使用三個傳感器對多數應用來說是不利的。另一方面，當使用一個單一的圖像傳感器檢測一個單一的陣列內的(有利地是RGB拜爾顏色濾波器陣列中的)所有紅、綠、藍三原色時，有必要重構某些顏色的缺失的(missing)像素，以處理一個一致的完整畫面。由于RGB拜爾結構，分別對應于綠、紅和藍色的不同的奈奎斯特域(Nyquist-domains)導致依賴顏色的分辨率并且可能導致混疊的(aliasing)圖案。不過，RGB拜爾結構是表現最佳的信號顏色陣列之一。
可以提供幾種插值(interpolation)方案來提高信號質量。W099/39504中相當概括地描述了一種常規的插值方法，其中，在不存在給定顏色的信號的位置處插值一個中間顏色信號，并生成一個給定顏色的平均。
另一個信號處理方法使用一個如在WO99/04555中和在尚未公布的申請號為EP 01 200 422.2的歐洲專利申請中描述的更有利的插值方案。然而，這樣的方法仍然遭受例如自由亮度信號的混疊或進一步的信號失真(distortion)。這樣的信號失真尤其導致虛假顏色(false colors)在圖像中的錯誤生成。
在WO 99/04555中已經描述了一種用于RGB拜爾圖像傳感器的綠色重構方法，該方法只涉及綠顏色的重構。紅色和藍色依然被以傳統方式重構。僅僅是缺失的綠色像素被重構。對缺失的綠色像素的重構，是通過一個分類(sorting)三個特定變量的中值(median)濾波器執行的其中兩個變量得自綠色，第三個變量得自紅色或藍色。這個方法的一個缺點是，對于高度飽和的彩色邊緣來說，引入了看起來像郵票邊沿的假象(artifacts)。在WO99/04555中公開的算法將被稱作smartgreen1算法。該算法所根據的概念是，在靠近白色場景的部分，分辨率損失在高頻下被最好地觀察到，在靠近彩色部分則不太好觀察。記住這一點，紅色和藍色像素的貢獻被用來幫助確定缺失的綠色像素的重構值。Smartgreen1重構的目的，是最大化綠色的分辨率。為此，以下述方式應用中值濾波器算法自然地，由一個紅色(R)或藍色(B)像素占據的位置，是一個缺失的綠色像素的位置。在smartgreen1重構算法中，一個3×3像素陣列的中心值(也稱中值(median value))被應用于缺失的綠色像素的重構。因此，用于綠色的簡單的中值濾波器僅僅代替傳統的綠色重構插值概念，而傳統的紅色和藍色重構方法被保持為簡單的插值。亮度濾波、顏色濾波和輪廓(contour)濾波也被限于對綠色的濾波。此外，虛假顏色檢測僅僅根據傳統的綠色重構插值概念，同樣，傳統的紅色和藍色重構方法被保持為簡單的插值。
這樣的smartgreen1重構方法借助一個紅色和/或藍色像素的信息改善水平方向和垂直方向上的綠色的分辨率。這個傳統的方法依賴于插值顏色樣本，所述顏色樣本要依賴于相同顏色的相鄰的顏色樣本和僅僅來自相同位置的不同顏色的樣本被插值。因此，重構的信號遭受紅和/或藍色的混疊。垂直和水平的彩色邊緣在相應的方向上遭受像郵票的邊沿一樣的綠色強度調制。
在EP 01200422.2中概述的進一步的改進(這里稱作smartgreen2重構算法)能顯著改善分辨率，但是不能除去所提到的信號失真和信號混疊的缺點。特別地，在邊緣和高頻率下，仍然可見一些信號失真，諸如與鄰近像素交替的顏色。假象的黑點和白點也被錯誤地生成。
這是本發明的切入點，本發明的目的是規定一種信號處理方法和設備，用于信號處理的計算機程序產品、計算系統和適于進行信號處理以改善信號質量的攝影機。特別地，應當針對信號失真和混疊而改善信號，但是該信號仍然提供足夠的分辨率。
關于所述方法，其目的是通過在介紹部分提及的方法實現的，其中，按照本發明，該方法進一步包含以下步驟—把重構濾波器應用于一個具有預定陣列大小的、包含多個像素的像素陣列，其中，所述多個像素中的至少一個是由一個被賦予紅色的紅色像素構成的，所述多個像素中的至少一個是由一個被賦予藍色的藍色像素構成的，所述多個像素中的至少一個是由一個被賦予綠色的綠色像素構成的；以及—用一個綠色參數加權紅色和/或藍色像素；以及—把陣列的像素總合成一個輸出像素；以及—把輸出-像素在陣列中居中；以及關于所述設備，其目的是通過在介紹部分提及的設備實現的，其中，按照本發明，提出—重構濾波器適于被應用于一個具有預定陣列大小的、包含多個像素的像素陣列，其中，所述多個像素中的至少一個是由一個被賦予紅色的紅色像素構成的，所述多個像素中的至少一個是由一個被賦予藍色的藍色像素構成的，所述多個像素中的至少一個是由一個被賦予綠色的綠色像素構成的，該設備進一步包含—用于用一個綠色參數加權紅色和/或藍色像素的裝置；—用于把陣列的像素總合成一個輸出像素的裝置；以及—用于把輸出像素在陣列中居中的裝置。
術語像素在這里特別是指信號中的一個顏色樣本值。
本發明來自為圖像重構提供靈活的設計的概念、并且基于白補償的亮度重構的構思。該構思基本上是通過用一個綠色參數加權紅色和/或藍色像素來實現的，而現有技術的概念僅僅依賴于缺失的綠色像素的重構。所提出的重構濾波器被設計成要被應用于一個預定陣列大小的像素陣列。因此以有利的方式對這個陣列進行濾波。傳統的方法依賴于根據相鄰樣本或相同位置的樣本的簡單插值，而所提出的概念提供特別適配的考慮了陣列的所有像素的重構濾波器。即使在沒有光學低通濾波器的攝影機的情況下，在樣本頻率的各倍數下，所提出的白補償的概念也有益地導致無混疊的亮度信號。此外，這個往白補償的亮度信號沒有信號失真。所提出的基本方法和設備適于提供一個寬而靈活的擴展。有可能提供例如可根據光學系統的光學傳輸和/或圖像傳感器的傳感器矩陣而被選擇和調整的若干不同的重構濾波器。所提出的方法和設備能夠保持與光學低通濾波器的相當的獨立性。這是特別有益的，因為潛在客戶的攝影機設計可能不同。所提出的方法和設備能夠如下文所概述的那樣以各種方式簡單地實現可調整的虛假顏色濾波器。
在從屬方法權利要求中描述了所述方法的繼續開發的配置。所提出的設備可以利用用于執行該方法的對應裝置得到改善。
特別地，優選地將第一濾波器之后的第二濾波器的中央輸出像素定位成與輸出像素同相，特別是將該中央輸出像素居中在與輸出像素相同的陣列中央位置。這最好通過一個附加的后置濾波器進行，特別是通過一個如下文進一步描述的后置濾波器進行。
在一個優選配置中，重構濾波器是由一個亮度重構濾波器構成的，陣列的像素一起被相加在一個作為輸出像素的白像素中。最優選的是根據圖像傳感器的傳感器矩陣選擇所述綠色參數或多個綠色參數。最優選的是提供兩個綠色參數。此外，可以根據一個向圖像傳感器提供圖像信號的光學系統的光學傳輸選擇所述綠色參數或多個綠色參數。由此，用可以作為攝影機的光學傳輸的函數而被選擇的濾波器權重與傳感器陣列的重量相組合地有益地重構RGB顏色信號。由此實現特定于應用和圖像的質量改善。
如上利用一個或多個優選配置所描述的亮度重構的基本概念，在下文中被稱作RGB拜爾圖像傳感器的″白補償的亮度重構″，或簡稱″RGB重構″。綠色參數也被稱作″smartgreen參數″。如所提出的方法及其進一步開發的配置所定義的那樣還與紅色和/或藍色像素一起使用smartgreen參數，將被稱作″smartgreen3″重構方法。確定綠色參數的具體方式也在WO 99/04555和EP 01200422.2中描述，并且也可在smartgreen3內被應用和使用。
所提出的方法對濾波器和濾波器大小的特定種類的安排導致無混疊的信號，特別是也導致無綠-綠差異(green-green differences)的信號。在詳細說明的第2和第3章中將結合優選實施例并參照附圖對細節作進一步概述。具體來說，將一個亮度重構濾波器應用于一個具有2×2或4×4或6×6或優選的話更大的陣列大小的陣列的像素。在一個特定的優選配置中，將亮度重構濾波器應用于2×2或4×4的陣列大小。濾波器的大小可以作為光學傳輸的一個函數而被選擇。相應濾波器的權重也可以不同地選擇。有利地提供各種亮度重構濾波器以用于應用，特別地，在沒有光學低通濾波或者只有輕微的光學低通濾波的情況下，把亮度重構濾波器應用于2×2的陣列大小，另外，在更重的低通濾波后，把相應的亮度重構濾波器應用于增加了的4×4或6×6的陣列大小。
此外，可以通過分別向4×4或6×6的陣列大小應用一個低通濾波器而有益地生成一個低通亮度信號。在一個有益的配置中，將4×4或6×6低通濾波器分別與2×2或4×4亮度重構濾波器組合，以建立一個單一的濾波器。所生成的信號都沒有遭受由傳感器引起的綠色不均勻性假象。
然而，取決于光學傳輸和矩陣，按照奈奎斯特法則，重構的RGB信號仍然可遭受剩余量的彩色混疊。為了再減少剩余的混疊量，除了亮度重構濾波器外還可應用顏色重構濾波器和/或輪廓重構濾波器。因此，特別地，可以應用虛假顏色濾波器來消除輸入中的虛假顏色。優選地，顏色重構濾波器包含虛假顏色濾波器。
另外有利地實現一個具有與總的RGB傳輸盡可能相等的傳輸特性的低通亮度信號，如在詳細說明的第3.3章中、特別是參照附圖15、16和17、18所述的那樣。優選地用一個2×2后置濾波器實現4×4或6×6低通亮度濾波器分別與3×3或5×5綠色重構濾波器的匹配。這參照附圖和詳細說明的第3章中的一個優選實施例作詳細說明。
在另一個優選配置中，根據向圖像傳感器提供圖像信號的光學系統的光學傳輸應用一個高頻亮度濾波器。由此，可以把一個高頻無混疊的亮度分量加到低頻重構的顏色信號，以屏蔽顏色假象。對應的優選實施例在詳細說明中參照附圖2和12作說明。
所提出的方法被適配成使得攝影機的光學傳輸不限制適當的濾波器的應用。換言之，可以有益地應用任意的光學低通濾波器，這僅僅取決于客戶的應用。甚至根本不應用光學低通濾波器也是可以接受的。特別地，這是通過應用所提出的虛假顏色濾波器而實現的，該虛假顏色濾波器特別是可根據攝影機的光學傳輸或根據傳感器矩陣調整的。特別地，虛假顏色濾波器能在像素頻率的一半下作為攝影機的光學傳輸的一個函數被調整。同樣，可以根據光學傳輸和傳感器矩陣提供一個顏色重構濾波器。作為光學傳輸和傳感器矩陣的函數的顏色重構濾波器的系數的適當選擇，最大化對于一般場景來說似乎是最重要的引人注目的部分的接近白色的顏色的分辨率。特別是在信號失真量被最小化的同時提供足夠的分辨率。這將在詳細說明的第4章中特別加以概述。
在上述的整個處理鏈(即RGB重構中)，特別是包含-用于相位匹配的后置濾波器的實現；-亮度信號處理；-特別包含虛假彩色濾波器以及進一步的后置濾波器的實現的顏色重構信號處理；以及-輪廓信號處理。
這對最終的JPEG轉換(JPEG-conversion)也成立。在一個優選的配置中，也可以進行按列或按行的處理，以按照所提出的方法執行smartgreen3重構算法。這樣的處理有益地減少內部存儲器的存儲量以及向外部存儲器或從外部存儲器的數據交換量。這將支持處理效率和速度。即使所有數據傳輸被旋轉90°，這樣的措施也成立。
所提出的方法有益地被在上文所提出的設備上執行，特別是在計算系統和/或半導體器件上執行。這樣的系統可有益地包含一個位于圖像傳感器和處理芯片之間的中間存儲器接口。由此有利地不再限制要被濾波的像素陣列的行長度和行數，向外部存儲器或從外部存儲器的數據交換量當然也不應太多地延遲處理時間。因此實時處理仍然是可能的。所述計算系統可以是任何種類的處理器單元或系統或計算機。
在沒有任何作為中間接口的存儲器的情況下優選地也可以進行實時處理。然而，在這種情況中，出于成本的原因，可以限制可用的行延遲的總數量，特別地限制到兩個。這可導致只有三個垂直抽頭(taps)可用于RGB重構以及用于輪廓信號的實現。
本發明進一步導致一個可存儲在一個可由計算系統讀取的介質上的計算機程序產品，其包含一個軟件代碼段，當所述程序產品在計算系統上、特別是在攝影機的計算系統上被執行時，該軟件代碼段使所述計算系統執行所提出的方法。
現在將參照


本發明。詳細說明將例示和說明被認為是本發明的優選實施例的內容。當然應當明白，在不偏離本發明的精神的情況下可以在形式上或細節上作出各種修改和改變。因此不應把本發明限制于這里所展示和說明的精確形式和細節，也不應將其限制于少于如本文這里所公開的和此后所要求保護的本發明的整體的任何局部。另外，在說明書和附圖以及權利要求書中所描述的公開本發明的特征，無論單獨地還是組合地考慮，對本發明來說都是本質性的。
伴隨附圖的詳細說明提供以下章節1.白補償的亮度重構方法的處理流程2.經白補償的亮度信號3.經低通濾波的亮度信號YIf3.1在矩陣和白平衡后增加高頻分量3.2在彩色邊緣的飽和度降低3.3定義YIf濾波器傳輸3.4簡化電路4.定義Smartgreen3作為光學傳輸和傳感器矩陣的函數5.結論

附圖表示本發明的各優選實施例，列舉如下圖1RGB重構和輪廓重構在基于存儲器的體系結構中的位置；圖2smartgreen3重構的基本框圖；(關于用smartgreen參數與紅色和藍色相乘的方框的特定信息可從WO 99/04555中獲得。)
圖3經白補償的亮度像素Yn的實現；圖4原始場景(左上方)和傳感器信號(右下方)的例子；圖5沒有白補償的(左上方)和有白補償的(右下方)2×2濾波的亮度的例子；圖6幾個白補償的亮度重構濾波器；圖7第一2×2Yn濾波器的傳輸值；圖8第二Yn濾波器的傳輸值；圖9第三Yn濾波器的傳輸值；圖10在4×4Yn濾波器中消除綠-綠差異的方案；圖11消除彩色區域中的調制的方案；(圖3至11表示一個優選實施例的有益地沒有綠-綠差異的經白補償的亮度信號。綠-綠差異可以通過恢復拜爾圖像的綠色均勻性而被去除，這允許在保持拉普拉斯(即smartgreen)RGB重構方法且沒有可見的分辨率損失的情況下消除傳感器的綠色信號中的綠-綠差異。綠-綠差異也可以通過防止RGB拜爾圖像傳感器的并行輪廓信號中的綠色不均勻性而去除，這可以通過開發一種用來消除由圖像傳感器引起的綠-綠差異的二維并行輪廓濾波器而進行。)圖12作為一個優選實施例的使用來自外部存儲器的按列的包傳輸的2×2后置濾波的基本框圖；圖13在矩陣和白平衡之后增加了(Yn-Ylf)的傳感器信號(左上方)和在之前增加了(Yn-YIf)的傳感器信號(右下方)的例子；圖14作為Rlf、Glf、Ylf和Yn的傳輸特性的函數的顏色飽和度降低；圖15后面緊跟2×2后置濾波器的3×3RGB傳輸特性的總值；圖164×4亮度Ylf低通濾波器的匹配；圖17后面緊跟2×2后置濾波器的5×5G傳輸特性的總值；圖186×6亮度Ylf低通濾波器的匹配；圖193×3RGB顏色重構的帶寬，包括用于統一矩陣(右方)的(Yn-4×4Ylf)的和沒有的情況(左方)；圖205×5RGB顏色重構的帶寬，包括用于統一矩陣(右方)的(Yn-6×6Ylf)的和沒有的情況(左方)；(圖15至20表示一個優選實施例，即無混疊的低頻亮度信號的實現。)圖21三個組合的(Yn-Ylf)濾波器的例子；圖22通過組合(Yn-Ylf)濾波器權重的smartgreen3的簡化框圖；圖232×2Yn濾波器和4×4Ylf的高通傳輸特性；(圖21至23表示一個優選實施例，即把4×4或6×6低通亮度信號與經白補償的亮度信號組合。)圖24使用來自外部存儲器的按列的包傳輸的2×2RGB和Ylf后置濾波的基本框圖；(圖24表示一個特別是關于后置濾波的優選實施例。)1.白補償的亮度重構方法的處理流程在圖1中，表示了一個帶有中央總線和外部存儲器接口的集成電路的總體體系結構的一部分。通過中央總線向外部存儲器提供一個傳感器信號。為了RGB顏色重構和并行輪廓重構的實現，通過中央總線從外部存儲器檢索傳感器數據以用于重構。在重構之后，數據被直接發送到處理塊或發送回外部存儲器。
處理塊或多或少含有一些如矩陣、白平衡(white balance)、拐點調整(knee)和伽馬(gamma)之類的標準化的攝影機功能。向所述處理發送重構的數據是一個重要的問題，因為為了獲得對靜止畫面或對視頻數據的快速的執行時間，應當限制向存儲器或從存儲器的耗時的數據交換量。
在圖2中，表示了所提出的方法的一個優選實施例的更詳細的框圖，以下稱該方法為″smartgreen3″信號重構。通過中央總線，傳感器數據被以小包(packets)的形式從外部存儲器發送到重構塊中的小內部存儲器陣列。從圖2中的這個[1S×64H×6V]陣列(例如含有1個信號(16位)和64水平×6垂直像素(768字節))，原始傳感器數據能被隨機地檢索以供重構。特別地，一行傳感器數據能按(64-2*ho)的倍數的像素被處理，其中，ho是濾波器陣列的水平偏移量(horizontaloffset)。對于一個n×m重構陣列(其中″n″是水平的像素、″m″是垂直的像素)，偏移量是ho＝n div 2，″div″的意思是在朝零的方向上取整到最接近的整數。因此，成立以下關系n＝3則ho＝1，n＝4或n＝5則ho＝2，n＝6則ho＝3。第一個能被重構的像素位于位置1+ho，最后一個位于位置N-ho，其中N是一個傳感器行中的像素的總數。重構一個完整的傳感器行需要把N/(64-2*ho)個包發送到重構塊。在圖2的下部，RGB顏色信號被用原始傳感器數據重構。通過對濾波器權重的選擇，(低)頻率傳輸取決于攝影機的光學傳輸。是否使用虛假顏色消除器和2×2后置濾波器也取決于光學傳輸。在圖2的上部，將R和B像素與smartgreen參數相乘。Smartgreen參數例如可按照在WO99/04555或EP 01 200 422.2中公開的方法檢索。利用這個特定的信號，三個無混疊的亮度信號被重構輪廓信號、經白補償的亮度信號Yn和低頻亮度信號Ylf。后一個具有與重構的RGB信號大致相同的傳輸特性。通過從經白補償的亮度信號Yn中減去低頻亮度信號Ylf，生成一個高頻亮度分量(Yn-Ylf)。認識這樣的事實是重要的，即在此優選實施例中，為了防止高頻下的不想要的虛假顏色，如果可能的話，不應當比在處理塊中的矩陣和白平衡功能之后更早地將(Yn-Ylf)信號加到每個顏色信號。對輪廓信號來說這也完全一樣。防止所提及的不想要的虛假顏色，是重構塊的總輸出由四個或分別地三個信號組成的原因。除了盡可能最快的執行時間之外，這是為什么優選地直接向處理塊發送所有信號的第二個原因。第三個原因可能是這讓兩倍的[4S×64H×1V]內部存儲器成為多余，其中一個在重構塊中用于向外部存儲器發送四個信號，一個在處理塊中用于再次檢索所述信號。[4S×64H×1V]內部存儲器代表對一個垂直行的(64-2*ho)個水平像素的四個(16位)信號的存儲，其在湊整到64個像素是含有總共640個字節。
如果例如對于通過CPU利用特定的軟件進行的耗時的重構和/或處理需要設計的最大靈活性，則應當應用兩個[4S×64H×1V]內部存儲器，一個用于重構，一個用于處理。
在圖2的上部，實現無混疊的輪廓，緊接著是過沖(overshoot)控制處理器，其防止在較低頻率下的過沖和下沖(undershoot)。使用二維分步瞬時信號(step transient signal)的二維清晰度改善，是通過一個適于控制過沖的二維檢測信號的實現而達成的。這個所謂的分步瞬時信號能被用于若干過沖(和下沖)控制方法，并導致非常吸引人的清晰度改善，而沒有夸大的、看起來不自然的過沖。允許把輪廓信號和(Yn-Ylf)信號相加到一個單一的信號，并向內部[4S×64H×1V]存儲器發送。
可以對以下章節概括如下。
在第2章中，描述用2×2和4×4濾波器陣列實現無混疊和零失真的亮度信號Yn。接著是低頻RGB重構的實現。在內部文件號為ID606638-I的專利申請中公開了顏色重構濾波器的細節，該申請與本申請同日提交，在此引用作為參考。在第3章中將解釋利用一個4×4和一個6×6低通濾波器陣列的低頻亮度信號。作為對5×5無混疊輪廓重構濾波器的替代或補充，也可以使用4×4和6×6無混疊輪廓信號。在內部文件號為ID505538-III的專利申請中公開了輪廓重構濾波器的細節，該申請與本申請同日提交，在此引用作為參考。所提出的概念可作為光學傳輸和傳感器矩陣的一個函數而被靈活地適配，這在第4章中做了詳細說明。
2.經白補償的亮度信號經白補償的亮度是基于smartgreen參數的計算。在WO 99/04555和EP 01 200 422.2中給出了例子。SmartGcntrlR和SmartGcntrlB參數被分別稱作wbr和wbb。圖3顯示，紅色和藍色像素被乘以smartgreen參數。然后，四個像素被相加在一起，得到一個經白補償的亮度像素Yn。考慮作為第一個像素的R像素，Yn像素的中央被向右和向下移位半個像素。結果是，必須被重構的所有其它信號(即紅-綠-藍和輪廓)都應當獲得與這個Yn信號相同的中央位置。
經白補償的亮度信號Yn的優點與5×5無混疊輪廓信號的完全相同。RGB拜爾圖像傳感器的一個無混疊的輪廓信號是基于一個獨有的5×5并行輪廓濾波器，其在不需要光學低通濾波器的情況下，在第一RGB樣本頻率下有一個零通量。它的信號失真幾乎是零，導致一個沒有可見的假象的輪廓信號。迄今已知的輪廓濾波器也放大傳感器的奈奎斯特域以外的反折的和不希望有的頻率。這將導致失真并因此導致多余的混疊分量在畫面中更好的能見度。這個獨有的5×5輪廓濾波器防止那些混疊的假象，此外還消除在圖像傳感器的綠色通道中引起的綠-綠差異。具體優點是1.在不需要OLPF(光學低通濾波器)的情況下，Yn信號在第一RGB樣本頻率下有一個零通量，因此它在這些點將不引起混疊。在樣本頻率的第二和更高的倍數下通量低，但是透鏡的低通和傳感器的調制傳輸函數(MTF)在這里也將是有效的。
2.信號失真幾乎是零，導致一個沒有可見的假象的亮度信號Yn。
以下將解釋為什么2×2白補償的亮度濾波器特別有益。
1.在圖像傳感器的順序RGB拜爾顏色信號中的調制顏色信息的消除和由圖像傳感器引起的綠色不均勻性的消除，需要2×2統一(unity)。防止RGB拜爾圖像傳感器的并行輪廓信號中的綠色不均勻性，是通過一個開發用來消除由由圖像傳感器引起的綠-綠差異的二維并行輪廓濾波器的方法實現的。對拜爾圖像傳感器的并行輪廓處理，允許使用來自圖像傳感器的綠色信號以用于與RGB顏色重構并行地生成二維輪廓信號。
其優點是不像在串行輪廓處理中那樣需要額外的行延遲。應當注意的是，無論使用了什么OLPF類型，它既不影響大的飽和顏色區域中的這個顏色調制，又不影響綠色不均勻性。
2.為了消除矩陣的和/或環境色溫影響，需要乘以smartgreen參數，其中，矩陣的系數的總和不等于統一。
這是為什么計算smartgreen參數的兩個原因。如果這些參數不統一，顏色傳感器將不起黑白傳感器的作用。
圖4中，在左上部分表示一個測試圖像的原始場景，而在右下部分則表示如用一個理論上的FT33矩陣實現的來自圖像傳感器的圖像的一個信號。顯然可以看到彩色場景部分中的調制，當然還有RGB奈奎斯特域外的混疊。
圖5中，在左上部分表示沒有經白補償的2×2濾波的亮度信號，而在右下部分則表示應用了白補償后的亮度信號。這兩部分都是用理論上的FT33矩陣模擬的，該矩陣的samrtgreen參數是與統一不相等的。這清楚地表明這些參數對于實現所想要的無混疊和零失真亮度信號Yn來說的好處。
經2×2白補償的亮度信號Yn的微小缺點可能是當應用光學低通濾波器(OLPF)時分辨率將降低。然而，這可通過應用4×4濾波器重構Yn而得到補償。根據OLPF的低通傳輸的量，可選擇具有更重權重的Yn濾波器。在圖6的左手端，表示了已經描述過的2×2Yn濾波器。在中間和右手端，表示了兩個4×4Yn濾波器。右邊的那個是“最重的”濾波器。除了用于補償OLPF的傳輸損失，它們也能被應用于補償透鏡的傳輸損失。
在圖7、8和9中，顯示了圖6的亮度濾波器的對應的3D圖。這些3D圖顯示了垂直方向上的絕對傳輸值。視最終想要的傳輸特性而定，當然可以把第二和第三濾波器的權重改變為其它值。
4×4Yn濾波器恢復綠色不均勻性，也消除彩色區域中的調制。綠色不均勻性恢復，可以通過防止RGB拜爾圖像傳感器的并行輪廓信號中的綠色不均勻性而實現，這可以通過開發一種用來消除由圖像傳感器引起的綠-綠差異的二維并行輪廓濾波器而進行。對拜爾圖像傳感器的并行輪廓處理，允許使用來自圖像傳感器的綠色信號以用于與RGB顏色重構并行地生成一個二維的輪廓信號。其優點是不需要額外的行延遲，而在串行輪廓處理中這是需要的。作為規則可以說相鄰對角線濾波器系數的相減應導致零貢獻。這將平均相鄰綠色像素的綠-綠差異，并因此消除綠-綠差異。
圖10中表示如何按照該規則消除綠-綠差異。
圖11中表示消除彩色區域中的調制的兩種方式。中間的帶有正系數的圓圈，總是把兩個綠色像素和一個紅色和一個藍色像素相加。所顯示的負系數的組合總是導致兩個綠色像素和一個紅色和一個藍色像素的相加，該組合也有對于彩色調制的零傳輸的優點。要注意的是，視總的光學傳輸和一個任意4×4Yn濾波器的重量的組合而定，最終可能發生不想要的過沖和下沖。僅當光學傳輸是已知的，才能例如通過拍攝(shooting)和處理一個波帶片場景而對系數進行選擇。
3.經低通濾波的亮度信號YIf圖12是另一個顯示包括2×2后置濾波所需的內部存儲器的按列的包傳輸的基本框圖，其中存儲器只有64像素寬。
優選地在與3×3或5×5RGB重構濾波器匹配的附近實現一個經低通濾波的亮度信號Ylf。經白補償的亮度信號Yn與經低通濾波的信號Ylf之間的差(即信號(Yn-Ylf))將起低通重構的RGB顏色信號的補充的高通濾波器的作用。這個高通信號被增加到每個RGB顏色信號。首先將解釋為什么在矩陣和白平衡之后優選地必須這樣做的理由。
3.1在矩陣和白平衡后增加高頻成分圖13的左上部分表示在矩陣和白平衡之后把高頻亮度分量Yhf加到RGB顏色信號的結果。這里的Yhf等于(Yn-Ylf)，但是對于象輪廓信號一樣的其它被增加的高頻信號，這一點完全相同。右下部分表示在當在矩陣之前增加Yhf時的不想要的虛假顏色。把一個相等的高頻分量Yhf加到RGB顏色，意味著把一個黑白(即灰色)分量加到現有的彩色邊緣。如果由于矩陣和白平衡，所增加的灰色分量被干擾，則在更高的頻率下出現虛假顏色。如果在矩陣和白平衡之前加上Yhf，則以下關系成立Ro′＝(a11*(Ri+Yhf)+a12*(Gi+Yhf)+a13*(Bi+Yhf))*awbRGo′＝(a21*(Ri+Yhf)+a22*(Gi+Yhf)+a23*(Bi+Yhf))Bo′＝(a31*(Ri+Yhf)+a32*(Gi+Yhf)+a33*(Bi+Yhf))*awbBRo′、Go′和Bo′是矩陣和白平衡之后的輸出信號。參數″axx″是傳感器矩陣值。(Ri+Yhf)、(Gi+Yhf)和(Bi+Yhf)是矩陣之前的顏色輸入信號，其中增加了一個相等的Ylf分量。白平衡參數是awbR和awbB。如果分離輸出信號的高頻分量則變成Ro′＝(a11l*Ri+a12*Gi+a13*Bi)*awbR+Yhf*(a11+a12+a13)*awbRGo′＝(a21*Ri+a22*Gi+a23*Bi)+Yhf*(a21+a22+a23)Bo′＝(a31(Ri+a32*Gi+a33*Bi)*awbB+Yhf*(a31+a32+a33)*awbB矩陣系數中的每一個與白平衡參數awbR和awbB相組合的和是統一(unity)的機會非常小。只有在這個非常不可能的情況中，在更高頻率下的顏色平衡才不受干擾，而在所有其它情況中，則都會受到干擾。為了防止干擾，應當在矩陣和白平衡之后加上高頻分量Yhf。這將有益地導致Ro′＝(a11*Ri+a12*Gi+a13*Bi)*awbR+YhfGo′＝(a21*Ri+a22*Gi+a23*Bi)+YhfBo′＝(a31(Ri+a32*Gi+a33*Bi)*awbB+Yhf3.2在彩色邊緣的飽和度降低通過把(Yn-Ylf)信號加到每個RGB顏色信號，顏色信號的帶寬將增加，但是被增加的頻率分量越高，顏色飽和度就越低。在邊緣處的顏色飽和度降低的量，取決于被重構的RGB信號與(Yn-Ylf)信號的傳輸特性之間的差異。在(Yn-Ylf)信號的最高頻率處，飽和度將變成零，導致黑白的RGB顏色信號。在圖14中，給出了由于Yn信號與顏色和亮度低頻信號Rolf、Glf、Blf和Ylf的傳輸特性之間的差異而導致的飽和度降低的例示。假設Rolf、Glf、Blf和Ylf在理想情況下都具有相同的傳輸特性。在這個特例中低頻Yif和Yn傳輸曲線之間的區域是被加到每個顏色的亮度分量(Yn-Ylf)。
增加Yn信號的帶寬(如圖6的濾波器有益地實現的那樣)或者通過增益控制增加(Yn-Ylf)高頻分量(如圖2中所示的優選實施例)，也將增加作為頻率函數的飽和度降低。對于輪廓濾波器來說，適用與(Yn-Ylf)信號的相同的飽和度降低的規則。
3.3定義YIf濾波器傳輸比飽和度降低方面更重要的是通過把(Yn-Ylf)加到一個顏色信號而獲得的清晰度。在實踐中，Ylf與顏色濾波器傳輸特性的匹配不是關鍵的。然而這里提出兩個良好匹配的低通亮度濾波器，一個用于3×3顏色重構濾波器，一個用于5×5顏色重構濾波器的，二者都包括2×2后置濾波。
由于濾波器權重相等，總的R、G和B傳輸特性完全相等。″總的″意思是，包括2×2后置濾波器在內的一個顏色的全部濾波器權重都被用于獲得Ylf濾波器必須要與其匹配的基準傳輸特性。圖15中表示了總的RGB傳輸特性，圖16中顯示了很好地匹配的Ylf傳輸。這些4×4濾波器權重已經被選擇為使得調制的顏色信息(如在第2章的開頭中所解釋的那樣)以及綠色不均勻性將被消除。在圖15和16的左上角，表示了濾波器權重。
因為5×5顏色重構濾波器的紅色/藍色和綠色傳輸特性一般不完全匹配，必須選擇綠色傳輸作為基準。對人眼來說，綠光有最大的亮度貢獻。在圖17中，表示了總的5×5綠色傳輸特性，包括2×2后置濾波。圖18表示精密匹配的6×6低通Ylf傳輸曲線。這個濾波器也消除調制的顏色信息和綠色不均勻性。
在圖19的右手端，表示在把(Yn-4×4Ylf)高頻信號加到左手端的經3×3RGB重構和2×2后置濾波的信號時的清晰度改善。已經應用了一個2×2Yn信號和一個統一矩陣。圖20中顯示一個類似的結果。在右手端，可以看到在把(Yn-6×6Ylf)高頻信號加到左手端的經5×5 3×3RGB重構和2×2后置濾波的信號時的清晰度改善。這里已經應用了一個2×2Yn信號和FT19矩陣。
如果低通濾波的亮度信號的帶寬相對于顏色信號來說太大，則高頻分量(Yn-Ylf)將給出較小的貢獻。如果該帶寬太低，則(Yn-Ylf)的貢獻將更大。視優選較小的還是較大的帶寬而定，優選地可以像圖12中所示的那樣用增益控制來改變(Yn-Ylf)的幅度，而不是試驗所有類型的其它Ylf濾波器。控制高頻傳輸的另一個可能性是通過對一個4×4Yn信號的選擇(如圖6中所示)而提供的。圖12是包括2×2后置濾波器需要的內部存儲器的按列的包傳輸的基本框圖，其中存儲器只有64像素寬。
以下表示Ylf和顏色傳輸特性的完全匹配的一個可能性有可能用與圖15和17的總的3×3和5×5顏色濾波器的完全相同的系數實現一個低通Ylf濾波器。通過增加如圖24中所示的某個附加的內部存儲器，可以實現一個2×2后置濾波器。Ylf傳輸特性現在將完全與顏色傳輸曲線完全匹配。后置濾波器也將消除5×5綠色濾波器的綠色不均勻性。因為匹配并不是那么關鍵并且能排除簡化電路的可能性(見第3.4章)，這個完全匹配不是優選的選項，但是也是可能的。
3.4簡化電路定義了Yn和Ylf濾波器權重后，就有可能如圖12的框圖中所示的那樣組合Yn和Ylf濾波器。
作為第一個例子，組合圖6的2×2Yn濾波器和圖16的4×4Ylf濾波器。兩個濾波器的總的權重因子應變得相等。通過把Yn濾波器的權重乘以11，對于二者來說，總的權重已變成44。為了用一個而不是兩個濾波器獲得(Yn-Ylf)信號，必須要從Yn權重中減去Ylf權重。這得到如圖21的左手端所示的濾波器權重。為了保持幅度，必須把這個濾波器的輸出信號除以因數22。在圖23中表示了對應的高通傳輸特性。
作為第二個例子，把圖6的中間的Yn濾波器和圖16的Ylf濾波器組合。它們的權重的和分別是28和44。通過把它們除以4，獲得最小的和因子7和11。現在把Yn濾波器的所有的權重乘以因數11，把Ylf濾波器的所有權重乘以因數7，得到二者相同的總的權重308，它需要9位比特。通過從Yn濾波器的被相乘的權重因子中減去Ylf濾波器的被相乘的權重因子，獲得如圖21的中間所示的組合的濾波器。為了保持輸出幅度，需要除以因數308。
作為最后一個例子，把圖6的中間的Yn濾波器和圖18的Ylf濾波器組合。它們的權重的和分別是28和84。通過把它們除以28，獲得最小的和因子1和3。現在把Yn濾波器的所有的權重乘以因數3，把Ylf濾波器的所有權重乘以因數1，得到二者相同的總的權重84。通過從Yn濾波器的被相乘的權重因子中減去Ylf濾波器的被相乘的權重因子，獲得如圖21的右手端所示的組合的濾波器。為了保持輸出幅度，需要除以因數84。
圖22中表示smartgreen3的一個簡化框圖，這是從圖12中衍生的。對于做實驗來說，這個配置與圖12的相比略為不夠靈活，但是對于最終的芯片設計來說這不是一個真正的缺點。為此，芯片面積的減小和復雜性的降低以及增加速度可能更加重要。取消這個簡化建議的另一個理由在過沖控制處理器中對Yn信號的需要。
4.定義Smartgreen3作為光學傳輸和傳感器矩陣的函數至此對smartgreen3的說明使得有可能把它的配置定義為傳感器矩陣的重量和光學傳輸的一個函數。
·如果是重矩陣，則獨立于光學傳輸，總是應當應用一個5×5顏色重構濾波器。必須應用圖6的第一、第二還是第三Yn濾波器，取決于光學傳輸。如果光學傳輸高，則應當使用第一2×2Yn信號，如果光學傳輸較低，則應當使用第二個或者可能應當第三個。為了消除紅色/藍色奈奎斯特頻率周圍的虛假顏色，即時在重OLPF的情況中，也應當開通虛假顏色消除器。
·如果是輕矩陣以及從紅色/藍色樣本頻率開始的通量幾乎是零的重OLPF，則可以選擇一個3×3顏色重構濾波器。因此選擇圖16的3×3彩色濾波器和4×4Ylf濾波器。為了獲得某一分辨率，可以應用圖6的第二、甚至第三Yn濾波器。虛假顏色消除器可以被開通，但是如果它幾乎沒有效果則可以將其關閉(switched off)。如果幾乎沒有或根本沒有OLPF，也可以使用圖16的3×3顏色重構濾波器、4×4Ylf濾波器以及2×2Yn信號。虛假顏色消除器應當被開通。顯然，對圖6中的左邊、中間或右邊的Yn濾波器的選擇，將取決于光學低通濾波的量。如果幾乎沒有或根本沒有OLPF則選擇2×2Yn信號，否則，如果使用更重的OLPF，則選擇4×4Yn濾波器。對于smartgreen3顏色重構，虛假顏色消除器的調整的重要性大大低于對于現有技術的smartgreen1/2方法的重要性。也可以應用一個調整程序。
對輪廓濾波器的選擇和調整，取決于個人愛好。唯一的指示是在3×3顏色重構的情況下應用4×4輪廓濾波器，在5×5顏色重構的情況下應用6×6輪廓濾波器。在這些情況下也要特別注意彩色邊緣的飽和度降低。
5.結論以下的特定優點是通過與smartgreen1-和smartgreen2-2方法相比用smartgreen3重構方法達成的·這是一個靈活的設計。視傳感器矩陣的重量而定，能在兩個顏色重構濾波器之間作出一個選擇。結果，(低通)亮度濾波器能被定義為特定于應用的。可以按攝影機的光學傳輸的一個函數選擇和調整幾個高頻亮度濾波器。
·如果需要虛假顏色消除器，則視所選擇的顏色重構而定，信號幾乎沒有或者根本沒有可見的假象(黑白點)。理由是與smartgreen1和smartgreen2相比使用了更強的低通濾波的顏色重構。
·通過與濾波器權重相組合的所謂亮度白補償，所有生成的亮度信號都沒有混疊和失真。
·這里所提出的smartgreen3設計的所有濾波器消除由傳感器引起的綠色不均勻性。5×5綠色重構濾波器最后借助2×2后置濾波器消除該綠色不均勻性。
總之，由于其靈活性、沒有信號失真以及由于其可選的虛假顏色消除器，smartgreen3很適合對數字圖像的重構和處理，以及對具有拜爾顏色濾波器陣列的傳感器的毗鄰視頻像素的重構和處理。
權利要求
1.一種信號處理方法，其中，提供圖像傳感器的傳感器信號作為輸入，并且該輸入在一個濾波器中被重構，以建立一個用于進一步處理的輸出，其中，所述濾波器包含至少一個從由亮度重構濾波器、紅-綠-藍顏色重構濾波器和輪廓重構濾波器組成的組中選擇的重構濾波器，其中，—該輸入包含多個像素，一個像素提供被賦予紅色、綠色或藍色中至少之一的一個顏色值，其特征在于—把重構濾波器應用于一個具有預定陣列大小的、包含多個像素的像素陣列，其中，所述多個像素中的至少一個是由一個被賦予紅色的紅色像素構成的，所述多個像素中的至少一個是由一個被賦予藍色的藍色像素構成的，所述多個像素中的至少一個是由一個被賦予綠色的綠色像素構成的；和—用一個綠色參數加權紅色和/或藍色像素；—把陣列的像素總合成一個輸出像素；以及—把輸出像素在陣列中居中。
2.如權利要求1中所要求的方法，其特征在于，把第一濾波器之后的第二濾波器的中央輸出像素定位成與所述輸出像素同相位，特別是把中央輸出像素居中在陣列中與該輸出像素相同的中央位置。
3.如權利要求1或2中所要求的方法，其特征在于，所述重構濾波器是亮度重構濾波器，所述陣列的像素在一個作為輸出像素的白色像素中被相加在一起。
4.如前述權利要求的任何一項中所要求的方法，其特征在于，根據圖像傳感器的傳感器矩陣選擇所述綠色參數。
5.如前述權利要求的任何一項中所要求的方法，其特征在于，根據向圖像傳感器提供圖像信號的光學系統的傳輸特性選擇所述綠色參數。
6.如前述權利要求的任何一項中所要求的方法，其特征在于，把所述亮度重構濾波器應用到一個2×2或4×4或6×6的陣列大小。
7.如權利要求6中所要求的方法，其特征在于，把低通濾波器應用到一個4×4或6×6的陣列大小。
8.如權利要求6或7中所要求的方法，其特征在于，把所述亮度重構濾波器與低通濾波器組合成單一的濾波器。
9.如前述權利要求的任何一項中所要求的方法，其特征在于，在所述亮度重構濾波器之后應用顏色重構濾波器，其中，該顏色重構濾波器特別包含一個用于從輸入中消除虛假顏色的虛假顏色濾波器。
10.如前述權利要求的任何一項中所要求的方法，其特征在于，應用一個后置濾波器，以在其輸出中保持相對于在先應用的重構濾波器的輸出的一個相位，特別是在一個虛假顏色濾波器之后應用一個后置濾波器，以保持相對于在先應用的亮度重構濾波器一個相位。
11.如權利要求10中所要求的方法，其特征在于，在一個虛假顏色濾波器之后應用一個2×2陣列大小的后置濾波器，以把一個預定的小綠色像素陣列的一個中央輸出像素定位成與一個白色像素同相位，該白色像素被相對于已經被應用過一個亮度重構濾波器的相同的矩陣居中。
12.如前述權利要求的任何一項中所要求的方法，其特征在于，提供各種亮度重構濾波器以用于應用，特別地，如果沒有光學低通濾波或者只有輕微的光學低通濾波，則把亮度重構濾波器應用于一個2×2的陣列大小，以及/或者在更重的光學低通濾波后，把相應的亮度重構濾波器應用于一個增加了的4×4或6×6的陣列大小。
13.如前述權利要求的任何一項中所要求的方法，其特征在于，提供各種顏色重構濾波器以用于應用，特別地，在4×4亮度重構濾波器的情況下應用一個3×3顏色重構濾波器，以及/或者在6×6亮度重構濾波器的情況下應用一個5×5顏色重構濾波器。
14.一種信號處理設備，特別適于執行如權利要求1至13中所要求的方法，包含一個用于提供傳感器信號作為輸入的圖像傳感器和一個用于重構該輸入以建立用于進一步處理的輸出的濾波器，其中，所述濾波器包含至少一個從由亮度重構濾波器、紅-綠-藍顏色重構濾波器和輪廓重構濾波器組成的組中選擇的重構濾波器，其中—該輸入包含多個像素，一個像素提供被賦予紅色、綠色或藍色中的至少之一的一個顏色值，其特征在于—重構濾波器適于被應用于一個具有預定陣列大小的、包含多個像素的像素陣列，其中，所述多個像素中的至少一個是由一個被賦予紅色的紅色像素構成的，所述多個像素中的至少一個是由一個被賦予藍色的藍色像素構成的，所述多個像素中的至少一個是由一個被賦予綠色的綠色像素構成的，并且該設備進一步包含—用一個綠色參數加權紅色和/或藍色像素的裝置；—用于把該陣列的像素總合成一個輸出像素的裝置；和—用于把該輸出像素在該陣列中居中的裝置。
15.一個可存儲在一個可由計算系統、特別是攝影機的計算系統讀取的介質上的計算機程序產品，該程序產品包含一個軟件代碼段，當所述程序產品在計算系統、特別是攝影機的計算系統上被執行時，所述軟件代碼段使所述計算系統執行如權利要求1至13的任何一項中所要求的方法。
16.一種計算系統和/或半導體器件、特別是攝影機的計算系統，用于在其上執行和/或存儲如權利要求15中所要求的計算機程序產品。
17.一種包含一個光學系統、一個圖像傳感器和一個如權利要求12中所要求的設備或一個如權利要求16中所要求的計算系統的攝影機。
全文摘要
提出一種基于白補償的亮度重構并使用被稱作smartgreen參數的濾波器權重的重構方法。即使在攝影機沒有光學低通濾波器的情況下，在樣本頻率的各倍數下也能實現無混疊的亮度信號。此外，這個經白補償的亮度信號還沒有信號失真。所提出的方法允許增加或者組合一個適當的低通濾波器，并且特別適于實現各種無混疊的顏色和輪廓濾波器。利用可作為傳感器矩陣的重量以及攝影機的光學傳輸的函數而被選擇的濾波器權重來重構RGB顏色信號。
文檔編號G06T3/40GK1666229SQ03815897
公開日2005年9月7日 申請日期2003年6月24日 優先權日2002年7月4日
發明者C·A·M·賈斯佩斯 申請人:皇家飛利浦電子股份有限公司