用于圖像幀的降噪方法和單元的制作方法

專利名稱：用于圖像幀的降噪方法和單元的制作方法
技術領域：
本發明涉及用于當前圖像幀中的降噪方法以及用于降低當前圖像幀中的噪聲的降噪單元。本發明還涉及圖像捕獲裝置。本發明還涉及圖像顯示裝置以及計算機程序產品。
背景技術：
現今，在許多電子裝置和消費者裝置中，使用成像技術以便提供信息或多媒體娛樂。為了確保所傳送的圖像信息的高質量再現，通常使用降噪方法。常規技術會遇到運動偽影的問題，尤其是在低對比度的圖像區域中更是如此。在那些區域中，這些算法不能區別期望的圖像內容和
噪聲干擾。結果，由時間(temporal)降噪濾波器造成運動偽影。噪聲水平越高，常規技術所遇到的問題越嚴重。
除了運動偽影之外，還可能面臨如何保持所討論圖像的自然印象(impression)的才兆戰。

發明內容
本發明的目標是避免這樣的問題。
該目標是通過分別根據權利要求1、 27、 37、 38和39的方法、降噪單元、圖像捕獲裝置、圖像顯示裝置和計算機程序產品而實現的。進一步的實施例被限定在從屬權利要求中。
本發明的進一步細節將通過考慮附圖和隨后描述而變得顯而易見。


圖1示出了本發明的一個實施例的主要步驟，圖2示出了本發明的進一步實施例的框圖，圖3示出了本發明的進一步實施例的框圖，圖4示出了本發明的進一步實施例的框圖，
圖5示出了用于確定像素的像素權重因子(weight factor)的實施
例，圖6示出了用于確定像素的像素權重因子的進一步實施例，
圖7到ll是用于說明根據本發明實施例的堆積(piling)過程的圖
示，
圖12A、 12B示例性地示出了用于根據像素值確定像素閾值的曲線
圖，
圖13A-C關于不同取心(coring)結構說明了本發明的實施例。
圖14A、 B是用于關于塊權重因子說明本發明實施例的示意框圖。
圖15是用于關于顏色權重因子說明本發明實施例的示意框圖。
圖16是用于關于累積權重因子說明本發明實施例的示意圖。
圖17A、 17B示出了用于確定堆積值的實施例的框圖。
圖18示出了根據本發明實施例的降噪單元的框圖。
圖19A-19D是用于關于所謂的噪聲掩蓋(noise concealment )的子
過程說明本發明實施例的示意框圖，
圖20是用于關于其整體結構進一步說明本發明實施例的示意框圖。圖21是用于在圖像處理方法和系統的意義上說明本發明實施例的
更詳細示意框圖。
圖22A、B是用于關于預處理方面說明本發明實施例的進一步細節的示意框圖。
具體實施例方式
下面描述本發明的實施例。重要的是注意，下面所有描述的實施例以及其性質和技術特征可以任何方式進行組合，即不存在某些描述的實施例、性質和技術特征不能與其他實施例、性質和技術特征進行組合的限制。
在圖1中，在步驟SIOO,將當前圖像幀內的像素的當前像素值與至少一個相鄰圖像幀中的像素的對應像素值進行比較，所述至少一個相鄰圖像幀在圖像幀的序列或集合中在時域上與當前圖像幀相鄰。所述圖像幀被布置成序列或集合并且可能被作為圖像捕獲裝置的用于靜止圖像的數字照相機或攝像機獲取。圖像幀還可能被稱為"圖像"或"幀"。相鄰圖像幀是在該序列中相對于當前圖像幀的先前圖像幀或接下來(nex t )的圖像幀。在該序列中在當前圖像幀之前或當前圖像幀之后的、但不必是該圖像幀序列或集合中的直接鄰居的圖像幀也可能被稱為"相
8鄰"圖像幀。
像素的對應像素值被視為是具有與該像素的當前像素值相同類型信息的像素值，例如對應像素值以及當前像素值都可能表示亮度或色度或者另一用于描述相同測量類別的值。
在步驟S102,確定當前像素值和對應像素值之間的像素差。更進一步，檢查該像素差是否低于像素閾值。所述像素閾值取決于對應像素值和/或當前像素值。
在步驟S104,根據當前像素值和對應像素值確定堆積值。
措辭"堆積值(piled-up value)"指的是根據當前像素值和對應像素值計算的值，該值可能是例如當前像素值和對應像素值的平均值或加權平均值或加權中值。還可能使用其他統計算符，其中當前像素值和對應像素值兩者的影響都存在。
換言之，當來自不同圖像幀的像素值差異不太大時，對像素值進行平均。利用這種方法，能夠避免因連續圖像幀之間的運動所致的偽影。如果對象在圖像幀的區域內移動，則對象區中的連續圖像幀的像素值會顯著不同。在這種情況下，如果應用堆積值操作或平均值操作，則該運動會極大地影響堆積值操作。這還可能導致移動對象在最終圖像中不再可見的后果，原因在于不移動的背景會對堆積值具有強得多的影響。如果在用于堆積值操作的某個時間間隔期間，例如移動對象在該像素處僅存在該時間間隔的十分之 一 ，則背景的像素值可能用于最終堆積值的9/10而移動對象的像素值僅用于最終平均像素值的1/10。在這個實施例中，在這種情況下將不存在堆積值計算，使得具有移動對象的當前圖像將保持與其最初被拍攝的一樣。所述闊值可以被存儲在查找表(LUT)中。堆積值的確定在本說明書中也被稱為"堆積(piling)"。
用于區分圖像內容與噪聲的閾值可以對應于圖像噪聲水平(noiselevel)。因而，當選擇閾值時可以把噪聲統計量考慮在內。例如，圖像噪聲可能不是高斯分布的，即噪聲方差或其他類似統計量不是恒定的而是泊松分布的，即其方差與圖像像素值成比例。因而，可能自適應地選擇閾值。然而，閾值還可能被選擇為對于所有像素值是恒定的，在TV傳輸中所出現的才莫擬高斯白噪聲(Analog WhiteGaussian Noise, AWGN)的情況下尤其如此。
在進一步的實施例中，確定像素權重因子，其取決于像素差；其中在確定堆積值的步驟中，像素權重因子被用來減小對應像素值對堆積值的影響。在本說明書內，"像素權重因子"還被稱為"來自像素的堆積因子"。
所謂的取心技術有時候被用來分離噪聲與圖像內容。輸入通常是差信號，將該輸入與閾值進行比較。根據比較結果，取心過程的輸出將支
持(in favour of)噪聲或者圖像內容。邏輯或硬取心是取心技術的其中一種變型。其實施簡單。其輸出具有兩種狀態真(l)或假(O)。軟取心或模糊取心是取心技術的另一種變型。其輸出具有在真(1)和假(G)之間的過渡狀態以致通常能夠很好地避免脈沖噪聲。此外，由于過渡狀態，對閾值的要求通常不像硬取心技術那樣苛刻。存在其他種類的也能夠應用于相同目的的取心技術。
取心技術可能還被用來識別失效的運動補償。
在進一步的實施例中，把當前圖像幀和該至少一個相鄰圖像幀劃分成多個塊；基于包括該像素的相應塊的當前像素值確定當前塊堆積值；基于所述相應塊的對應像素值確定對應塊堆積值；將當前塊堆積值與對應塊堆積值進行比較；并且如果當前塊堆積值和對應塊堆積值之間的塊
差低于預定塊閾值，則確定該堆積值。通過這個實施例，可以有效地降低圖像幀內的脈沖噪聲，原因在于脈沖噪聲不會導致大的塊差。
對應塊堆積值被視為是具有與當前塊堆積值相同類型信息的塊堆積值，例如對應塊堆積值以及當前塊堆積值都可能表示亮度或色度或者另一用于描述相同測量類別的值。塊堆積值可能是塊平均值或塊中值或者另 一描述塊中像素值的平均的統計值。
逐塊處理與逐像素處理相比通常對噪聲不那么敏感，因為它傾向于評估所討論的兩個塊的所有像素，例如對兩個塊的所有像素的絕對差一起進行相加。同時，降低了單個像素的影響。
該塊可以從圖像的左上部移到右下部。為了避免塊偽影(blockingartefact),可以疊加這些塊。為了節省計算負荷，可以^吏用中間運動估計結果，例如匹配準則的SAD (SAD-絕對差之和)(若適用的話)。優選的是根據通過空間降噪濾波器所預先濾波的圖像來計算SAD。代替SAD，還能夠應用其他中間運動估計結果，例如MSE (均方誤差)或互相關系數。
如果運動估計沒有被應用于幀堆積系統，或者中間運動估計結果由于與數據傳輸有關的ASIC設計問題而不便于從前端傳輸到后端，則能夠在單獨的步驟中計算SAD值。即，根據輸入數據或其他類似度量來直接計算SAD。
在進一步的實施例中，根據塊差來確定塊權重因子；其中在確定堆積值的步驟中，塊權重因子被用來減小對應像素值對堆積值的影響。該塊權重因子在本說明書內也被稱為來自塊的堆積因子。塊堆積值可能是該塊的像素的像素值的絕對差之和。如同逐像素處理，逐塊處理結果還經過取心技術。
在進一步的實施例中，當前像素值和對應像素值描述像素的亮度。在進一步的實施例中，當前像素值和對應像素值描述像素的色度。在進一步的實施例中，為每個像素提供多個像素值，所述多個像素值描述像素在色空間模型中的色值，其中如果像素的該多個像素值的每個像素值之間的色差低于相應閾值，則確定該多個像素值的每個像素值的堆積值。
像素的對應色值被視為是具有與該像素的當前色值相同類型信息的色值，例如對應色值以及當前色值都可能表示特殊的測量類別，例如HSV(色調、飽和度、值)的色調值或飽和度值或者YUV色空間的Cb-或Cr-色度值或者另 一用于描述相同測量類別的值。
在進一步的實施例中，根據色差來確定顏色權重因子；其中在確定堆積值的步驟中，顏色權重因子被用來減小對應像素值對堆積值的影響。該顏色權重因子在本說明書內也^R稱為來自顏色的堆積因子。
可以利用顏色信息來幫助區別期望的圖像內容和噪聲干擾。為了這個目的，能夠利用顏色恒常性原理或色差度量，例如CIEAE'簡寫為dE',即在由CIE Lab/Luv坐標表示的兩個顏色之間的歐幾里德距離或直線距離[注意CIE-國際照明委員會]。可以對顏色分量進行強的濾波以降低顏色噪聲的影響，其中利用對人類視覺系統的知識。區別決策是借助于對人類視覺系統的知識而做出的，并且與圖像素材無關。根據所討論的兩個顏色像素(color pixel)計算的"色差，，與"閾值"之間的比較結果被應用來區別期望的圖像內容和噪聲干擾。
在進一步的實施例中，色空間(例如YUV色空間)的亮度值、第一色度值和笫二色度值被用作所述多個像素值的相應像素值。通過使用YCba色空間，與在RGB和HSV空間中相比能夠更有效地降低噪聲。因而，"色差"是從YCbCr色空間計算的。
在進一步的實施例中，基于像素值之差、基于塊堆積值之差以及基 于色值之差確定累積權重因子，其中在確定堆積值的步驟中，累積權重 因子被用來減小對應像素值對堆積值的影響。累積權重因子在本說明書 內也被稱為"總堆積因子"。
在進一步的實施例中，如果顏色權重值的分辨率低于像素權重值的 分辨率，則顏色權重因子被上采樣至像素權重因子的分辨率。"上采樣"
必須處理不同的輸入圖像格式，例如4:2:2。根據輸入圖像格式，累積 權重因子例如就U分量和V分量進行下采樣，例如在4: 2: 2格式的情況 下按2進行下采樣(dow雄mple by 2 )。
在進 一 步的實施例中，不移動對象的圖像幀的前序列 (pre-sequence)被存儲，通過對圖像幀的前序列的一個像素的像素值 進行平均而生成降噪圖像，通過比較圖像幀的前序列的像素的像素值來 確定像素值的方差，并且根據該方差確定像素閾值。利用這個實施例， 確定簡單可靠的像素閾值，該閾值取決于像素值。
在進一步的實施例中，估計該序列的圖像幀之間的運動并且補償該 運動以便空間對準該序列中的連續圖像，由于像素調整到圖像中的對 象，這導致更好的降噪。這可能通過利用關于當前幀的運動內插/傳播 來執行。在另一種情形下，可能關于當前幀在該序列中的每個幀之間估 計該運動。通過使用這個直接估計，運動補償的質量可能得以提高，并 且因此降噪圖像的整體質量也可能得以提高。這種情形例如可以應用于 軟件實施例中，其中用戶可以選擇該序列中的任何幀進行降噪并且一旦 完成了此就能夠應用空間對準。對于硬件實施方式而言，由于諸如幀存 儲器等之類的硬件限制，第一情形(即空間對準連續圖像)可能是可應 用的。
在進一步的實施例中，在比較當前像素值和對應像素值的步驟之前， 對像素值進行空間濾波。
在進一步的實施例中，確定圖像幀的像素的堆積值的差值，并且如 果該差值低于差異閾值，則在圖像幀的相鄰像素的堆積值之間執行空間 降噪。該差值可能是方差值。空間降噪在本說明書中也被稱為"噪聲掩 蓋(noise concealment)"。噪聲掩蓋意指對非堆積或4支少堆積區域 的空間降噪。空間降噪能夠由任何邊緣保持濾波器來實現。然而，已知
12的空間降噪方法會造成圖像銳度損失。期望的是掩蓋噪聲并且使圖像銳 度損失保持盡可能小。
通常，僅在高頻區域中遇到圖像銳度損失問題。因此，可能檢測高 頻信號區域。
一種方法是檢查方差值或本領域技術人員已知的類似度 量。如果方差值很大，則斷定所討論的圖像區域含有高頻信號。否則， 所討論的圖像區域僅含有低頻信號。
能夠在重疊或非重疊窗口中計算該方差或類似度量。為了提高高頻
信號區域檢測的可靠性，能夠根據按比例縮小(down-scaled)的圖像 計算方差或類似度量。
空間降噪可以僅;故應用于低頻區域。在高頻信號的區域中，不應用 或應用較少的空間降噪，這起到銳度保持乃至增強的作用。
在進一步的實施例中，空間降噪量是基于差值的。
在進一步的實施例中，確定當前圖像幀中的紋理區域和均勻區域； 并且紋理區域的累積權重因子是基于兩個差(即像素差和塊差)的。
在進一步的實施例中，確定當前圖像幀中的紋理區域和均勻區域并 且均勻區域的累積權重因子是基于像素差、塊差和色差的。
可能造成顏色才莫式干4尤(color pattern disturbance )。這才羊的l貞
色模式干擾通常僅在平坦圖像區域中才明顯。為了糾正這個問題，可以 識別均勻區域或紋理區域。從像素差和塊差導出均勻區域的堆積因子， 而從像素差、SAD和色度差導出紋理區域的堆積因子。
在進一步的實施例中，存儲該序列的多個圖像幀的權重因子并且確 定堆積值的步驟Sl04是基于該多個圖像幀的像素值和權重因子。
在進一步的實施例中，存儲在前圖像幀的堆積值，并且確定當前圖 像幀的堆積值的步驟S104是基于在前圖像幀的堆積值。因此不必存儲 整個參考幀使得能夠降低存儲器要求。
在進一步的實施例中，在比較當前像素值和對應像素值的步驟之前，
生成具有參照像素值的參考幀，該參考幀被視為該序列的第 一圖像幀。 在進 一 步的實施例中，確定堆積值的步驟S1 0 4是基于參考幀的參考
像素值。所謂的"遞歸方法"不要求保存所有幀，這就導致低存儲器要 求。對于遞歸方法，先前堆積結果凈皮保存并且將^皮應用于與當前幀的幀 堆積。遞歸幀堆積方法具有兩種變型。開始時，參考幀被用來初始化先 前堆積結果。在進一 步的實施例中，像素閾值基于參考幀的參考像素值。 在進 一 步的實施例中，像素閾值基于在前圖像幀的堆積值。
在圖2中，描繪了用于降低當前圖像幀中的噪聲的降噪單元200。 該降噪單元包括像素比較器202,被配置成比較當前圖像幀內的像素 的當前像素值與至少 一 個相鄰圖像幀中的該像素的對應像素值；以及處 理器204,被配置成如果當前像素值和對應像素值之間的像素差低于像 素閾值則確定當前像素值和對應像素值的堆積值，其中像素閾值取決于 對應像素值和/或當前像素值。
降噪單元200可能被實現為數字或模擬電路。換言之，當來自不同 圖像幀的像素值相差不太大時，如關于圖1已經討論的，對像素值進行 平均。能夠避免因連續圖像幀之間的運動引起的偽影。
根據進一步的實施例，像素比較器202被進一步配置成根據像素差 來確定像素權重因子；并且處理器204被進一步配置成基于像素權重因 子來確定堆積值以便減小對應像素值對堆積值的影響。
根據進一步的實施例，降噪單元200包括塊比較器，該塊比較器被 配置成將當前圖像幀和該至少一個相鄰圖像幀劃分成多個塊、并且根據 包括該像素的當前圖像幀的相應塊的當前像素值確定當前塊堆積值以 及根據包括該像素的相鄰圖像幀的該相應塊的對應像素值確定對應塊 堆積值、并且比較當前塊堆積值和對應塊堆積值。
根據進一步的實施例，降噪單元200可以包括塊比較器，該塊比較 器被配置成接收當前圖像幀的當前塊堆積值、接收相鄰圖像幀的對應塊 堆積值并且被進一步配置成比較當前塊堆積值和對應塊堆積值。
根據進一步的實施例，塊比較器被進一步配置成根據當前塊堆積值 和對應塊堆積值之間的塊差來確定塊權重因子；并且處理器被進一步配 置成基于塊權重因子來確定堆積值以便減小對應像素值對堆積值的影 響。
根據進一步的實施例，降噪單元200包括顏色比較器，該顏色比較 器被配置成將當前圖像幀內的像素的當前色值和至少一個相鄰圖像幀 中的該像素的對應色值進行比較；其中該處理器被進一步配置成如果當 前色值和對應色值之間的色差低于顏色閾值則確定堆積值。
根據進一步的實施例，顏色比較器被進一步配置成根據當前色值和 對應色值之間的色差來確定顏色權重因子；并且該處理器被進一步配置成基于顏色權重因子來確定堆積值以便減小對應像素值對堆積值的影 響。
根據進一步的實施例，降噪單元200包括查找表，該查找表被配置 成存儲與像素值相關的閾值。
根據進一步的實施例，降噪單元20G包括運動估計及運動補償機構。
根據進一步的實施例，降噪單元200包括噪聲掩蓋機構，該噪聲掩 蓋機構被配置成確定圖像幀的像素的堆積值的差值并且如果該差值低 于差異閾值則執行圖像幀的相鄰像素的堆積值之間的空間降噪。
在圖3中，描繪了圖像顯示裝置300，例如電視機或監視器，其包 括顯示器302和如上所描述的降噪單元200。例如在視頻游戲應用中或 在顯示影片中，圖像顯示裝置300能夠使用降噪單元的降噪來顯示具有 較少噪聲的圖像。
在圖4中，描繪了圖像捕獲裝置400,例如視頻圖像捕獲裝置，其 包括被配置成生成圖像幀序列的光學設備402以及如上所描述的降噪單 元200。圖像捕獲裝置400可以使用降噪單元200的降噪來在存儲芯片 404上存儲降噪圖像。
根據進一步的實施例，提供包括程序代碼的計算機程序產品，所述 程序代碼當被加載到處理器內時被配置成執行上面描述的方法。
圖5和6示出了逐像素處理。"像素1"和"像素2"是來自待堆積 的兩個幀的兩個像素。將它們差的絕對值與閾值/LUT值進行比較。然后， 使比較結果經受取心處理500。這意味著對參考幀的每個像素做出模糊 決策。使用選定的色空間YUV (可選地可以使用HSV色空間[色調、飽和 度、值]的V分量)，基于像素的決策是基于YUV色空間的亮度通道的。 亮度通道代表圖像集合中所描繪的場景的黑到白(black-to-white)表 示(典型地為8位；覆蓋從0到255的值范圍)。由于大多數信號信息 被存儲在Y通道中(色度通道含有低范圍的值)的事實；將使用這個數 據來解釋實際的處理。
圖6示出了兩個圖像(兩者均來自圖像集合 一個是參考圖像(例 如圖像Yn被視為參考圖像))的基于像素的處理。
假設運動補償獲得了 "完美結果"(整體和局部運動都被完美補償)， 則在這種情況下兩個信號被完全對準。圖7描繪了在'通過運動估計和 補償而完全對準，的假設下的這種情況。
15兩者的差
分信號的絕對值(參見圖6;信號III),能夠假設留在信號III中的 僅有信號分量代表噪聲。差分信號示于圖8中。
使用基于對應信號處的亮度值的自適應閾值(查找表；LUT)。降噪 能力的總性能很大程度取決于這個LUT的精確設計。如圖6中可見，將 被用來選擇與亮度相關的閾值的亮度值是參考幀的空間濾波(降噪)版 本。這樣做的目的是為了對LUT被應用在其上的亮度值進行空間平滑。 通過應用這個濾波器，能夠避免LUT閾值的局部不連續性。
如果在圖9中取決于亮度值的閾值被應用于剩余噪聲分量，則所有 這些值應當小于自適應閾值。(根據亮度值的)自適應閾值也示于圖9 中。
可以看到，與亮度值無關，剩余噪聲分量小于這些閾值。這意味著 所有那些像素可以被完全'堆積，。在這種情況下，所有那些像素的基 于像素的決策準則為1 (權重=1 )。在根據圖6所描繪的信號路徑的正 確處理之后，將從噪聲分量中減去與亮度相關的閾值。由于所有值都低 于自適應閾值，所以這個減去的結果是負的。即使它未示于圖9中，但 是低于零的那些逐像素結果(減去之后為負值)將被截取(clip)到零 (并且因此在應用'軟取心，塊之后這個基于像素的決策的最終決策值仍 將為1，即"全堆積，，那些像素)。
在基于像素的準則的第 一示例中已經假設待堆積的這兩個圖像是完 全對準的(任何整體和/或局部的運動都已被補償)。第二示例示例性 示出了如果這兩個圖像是'未完全對準的，(例如由于上面提及的原因； 例如不正確的運動估計和補償或者根本沒有補償)時基于像素的準則的 性能。
對于第二示例，圖10B示出'未對準圖像，。由于閾值取決于經過 空間濾波的參考幀的亮度值的事實，它們具有已經用于圖IOA所示的第 一示例的相同值。
通過應用圖6所描繪的信號路徑，圖11中能夠看到差分信號的絕對值。
示出了由于非對準信號(在一些像素位置上的一些非對準信號)， 差分值高于LUT閾值(由偏移e表示；還參見圖6,信號IV)。這進而 指示空間對準不足并且這些位置和像素值應小心處理。如果'全堆積，那些像素(兩個亮度值的加權平均)，則效果是邊緣變得模糊和/或運 動偽影可能出現在結果中。
使用硬取心技術，逐像素的決策將不堆積那些像素(這將由權重=0
表示)。但如圖6中可見，存在軟取心塊600。軟取心負責將剩余差分 信號s (還參見圖6,信號IV)映射到例如從O到1的整個范圍。
為了合并已經用來獲得( 一個或多個)圖像的傳感器和/或人類視覺 系統(HVS)的噪聲敏感度的一些先驗知識，與值相關的閾值可以被建 模/設計/指定以便合并這個附加信息，其效果是就可靠區分噪聲和期望 的信號而言決策會更加精確、魯棒得多。
可以應用以下步驟從而獲得與強度相關的先驗方差。穩定光源被用 于成像。選擇成像對象以使得所得到的圖像能夠代表整個值范圍，例如 對于8位數據范圍而言該值從0到255。數字圖像捕獲裝置可以被安裝 到三腳架上并且拍攝大量的無運動圖像，例如20幅以上圖像。每個單 獨圖像可能表現出某種嚴重噪聲。這些單獨圖像被平均以獲得其噪聲水 平可忽略的參考圖像。參考圖像可以用于兩個目的作為用于噪聲方差 估計的無噪聲圖像以及其像素值被用作與值相關的閾值的索引 (index)。利用這種方法，像素值閾值可能關于用于對應系統的實際 圖像捕獲裝置(例如傳感器特性)進行適配。
用參考圖像和噪聲圖像估計噪聲方差(或其它統計結果，像例如絕 對差的標準偏差)。在大圖像尺寸的情況下，存在許多具有相同像素值 的像素。對于每個像素值，計算其噪聲水平。對于8位數據范圍，總共 生成256個噪聲水平(從0到255 )。在圖12A中，描繪了對應曲線圖。
在下一步驟，與數據值相關的曲線(也稱作查找表LUT)通過使用 低通濾波器(優選地為遞歸濾波器)進行平滑。平滑后的方差曲線示于 圖12B中。還可能使用與數據值相關的曲線而無需低通濾波。
由于遞歸濾波器的性質，在數據范圍邊界處的方差值缺失了 (數據 范圍的上邊界)。即使低通濾波器不造成缺失值，在數據范圍邊界處的 方差值仍可能較小，因為與其它種類的像素相比存在更少的極暗或極亮 像素。例如，標準電視信號的像素值從16變化到235。為了在數據范圍 的邊界區處獲得可靠的方差值，能夠使用外插技術來生成這些值。
在應用外插技術之后，獲得整個數據范圍的與數據值相關的閾值。 也能夠使用其它噪聲水平估計方法和后處理技術。圖13A到13C示出了如何可以應用映射的一些示例性特性曲線。通 過在應用自適應閾值后使用軟取心，能夠避免二元決策'全堆積，和'不 堆積'之間的突變，這尤其就降噪能力而言產生結果的更加平滑的總印象。
在利用以下方程應用軟取心之后，能夠總結基于像素的處理的最終 決策，而軟取心曲線的實際形狀由殘差s的函數(f (s))根據比率的定 義方程(1 )來建模
"0 :=1
(1)
在圖14A和14B中描繪逐塊處理的實施例。逐塊處理與逐^象素處理 相比通常對噪聲不那么敏感，因為它傾向于評估所討論的兩個塊的所有 像素，例如對兩個塊的所有像素的差一起進行相加。同時，降低了單個 像素的影響。
該塊通常從圖像的左上部移到右下部。為了避免塊偽影，應當疊加 這些塊(例如滑動窗口)。為了節省計算負荷，可以使用中間運動估計 結果，例如匹配準則的SAD (SAD—色對差之和)(若適用的話)，并且 運動估計已經成為預處理塊的一部分。優選的是根據由空間降噪濾波器 所預先濾波的圖像來計算SAD,因為SAD對噪聲干擾很敏感。代替SAD, 還能夠應用其他中間運動估計結果，例如MSE (均方誤差)或互相關系 數或者兩個塊之間的DC偏移。
如果沒有運動估計被作為預處理步驟應用于幀堆積系統，或者中間 運動估計結果由于與數據傳輸有關的ASIC設計問題而不便于從前端傳 輸到后端，則能夠在單獨的步驟中計算SAD值。即，根據輸入數據或本 領域技術人員已知的其他類似度量來直接計算SAD。
如同逐像素處理，逐塊處理結果也經受取心技術，如圖14A所描繪 的取心塊1400。關于軟取心塊1410 (圖14B)的^f吏用的細節在討論逐4象 素處理的部分中進行解釋。
圖15以示意方式說明了用于顏色的特征/堆積因子pc的構成。可以 看出，對于兩個不同的圖l象或幀，組合兩個相應顏色通道(例如b和r )。生用于顏色的特征/堆積因子pc。
可以利用顏色信息來幫助區別期望的圖像內容和噪聲干擾。為了這
個目的，能夠利用顏色恒常性原理或色差度量-CIE AE'簡寫為dE',即在由CIE Lab/Luv坐標表示的兩個顏色之間的歐幾里德距離或直線距離[注意CIE=國際照明委員會]。可以對顏色分量進行強的濾波以降低顏色噪聲的影響，其中再次利用對人類視覺系統的知識。區別決策是借助于對人類一見覺系統的知識而做出的，并且與圖像素材(imagematerial )無關。根據所討論的兩個顏色像素計算的"色差，，與"閾值"之間的比較結果被應用來區別期望的圖像內容和噪聲干擾。
使用YCb"色空間，與在RGB和HSV空間中相比能夠更有效地降低噪多。因而，"色差，，是從YCbCr色空間計算的。
根據本發明的實施例，用于圖像處理的方法和系統可以基于堆積因子p的概念，該堆積因子p可以被稱為總或整體堆積因子。圖16以示意方式說明了堆積因子P或整體或總堆積因子P的構成。如圖16所示，總堆積因子p形成為組合，例如形成為一組特征因子或"局部"堆積因子的值的乘積。這些特征因子可以是來自像素的特征/堆積因子pp、來自塊的特征/堆積因子pb、以及來自顏色的特征/堆積因子pc。然而，根據本發明的其它實施例，提及的特征/堆積因子PP、 pb、 pc或圖16的任何子集都可能足以構成總或整體堆積因子P。然而，根據本發明的其它實施例，可以擴大這組特征/堆積因子。
為了實際確定堆積值或為了堆積幀，不同的結構是可能的。
這樣的結構的實施例是堆積圖(piling map)方法。這種方法尤其與硬取心技術有關，因為僅需要對1和0進行計數。對于每個像素，對堆積因子進行計數。這種計數從通常在參考幀(幀0)和其直接鄰近幀(幀1 )之間的第一個分離結果開始，而止于最后幀。所計數的數量意指能夠堆積多少幀而不造成運動偽影。如果該數量等于1,則其意味著沒有其它幀能夠與參考幀進行堆積。對于這種方法，必須為每個像素存儲計數結果，因為計數結果可能隨像素而不同。
這樣的結構的進一步實施例是堆積圖的后處理的方法。它也被稱為決策圖方法，其類似于上面描述的堆積圖方法。代替簡單計數，對于每個幀，首先由排序(rank-order)濾波器(優選地是遞歸中值濾波器)處理為1或0的堆積因子，以使得能夠將脈沖噪聲保持得盡可能不可見。然后對處理后的堆積決策進行計數。
在借助于堆積圖方法或決策圖方法進行計數之后，所有幀被加權并且被一起相加。如果所討論的兩個像素不應當被堆積，則加權因子等于
0;相反，加權因子等于l。將相加結果除以計數數量，所述計數數量已經從堆積圖或決策圖中導出。
這樣的結構的另 一個實施例是遞歸方法。該遞歸方法不要求所有幀都被保存。因此，與堆積圖和決策圖方法相比其對存儲器的要求更低。對于遞歸方法，先前堆積結果被保存并且^皮應用于與當前幀的幀堆積。遞歸幀堆積方法具有兩種變型。開始時，參考幀被用來初始化先前的堆
積結果。
在圖17A所示的第一變型中，可以^吏用通過加權相加三個輸入的遞歸方法。該第一變型使用參考幀ref (通常為幀0，并且標記為x( 0))、標記為x( t )的實際幀圖像或者實際運動補償的圖像、以及標記為y( t-1 )的先前堆積結果。加權因子等于堆積因子。在圖17A中，n代表當前幀的號，ref代表參考幀。參考幀被用來初始化y (t)。
在圖17B所示的第二變型中，可以使用通過加權相加兩個輸入的遞歸方法。它需要兩個輸入實際圖像或者實際運動補償的圖像、以及先前堆積結果。符號具有與圖17A中的相同意義。
從第二幀起，第二變型不堆積通常有噪聲的參考幀。因而，對于第二變型而言能夠預期更有效的降噪。此外，不需要存儲參考幀以致與第一變型相比能夠降低存儲器要求。
圖18示出了降噪單元2 00的實施例的簡化整體結構。這個框圖描繪了單獨的三個模塊1802、 18(M和1806以及NC (噪聲掩蓋)系數估計塊1810的互連。這些模塊群是堆積因子/權重塊1802、亮度處理塊1804以及顏色處理塊1806。
堆積因子/權重塊1802確定累積的權重因子或堆積因子。'堆積因子，具有與Y分量(亮度)相同的空間分辨率，即使色度分量已經被空間子采樣也是如此。非常普遍的是使用YUV色空間的YUV 4: 2: 2表示，而色度分量按因子二進行空間(水平)子采樣。為了提供與Y分量相同的分辨率，必須上采樣那些顏色堆積因子。
亮度處理塊1804可以包括兩個功能模塊。第一功能模塊是遞歸濾波1820而第二功能模塊是噪聲掩蓋1822。
20顏色處理塊1806中的顏色處理類似于亮度處理。在這個實施例中，'下采樣，塊1830已經被添加到該信號路徑并且噪聲掩蓋的方式是不同的。下采樣塊1830可能用于4:2:2或4:2:0格式，但不會用于4:4:4格式。
在噪聲掩蓋塊1810中計算將用于處理亮度和/或色度信號的噪聲掩蓋量，即噪聲掩蓋系數(NC系數)。
噪聲掩蓋意味著對非堆積或堆積較少區域的空間降噪。空間降噪能夠通過任何邊緣保持濾波器實現。然而，已知的空間降噪方法造成圖像銳度損失。期望的是掩蓋噪聲并且將圖像銳度損失保持得盡可能小。
通常，僅在高頻區域中遇到圖像銳度損失問題。因而，應當檢測高頻信號區域。 一種方法是檢查方差值或本領域技術人員已知的類似度量。如果方差值很大，則斷定所討論的圖像區域含有高頻信號。否則，所討論的圖像區域僅含有低頻信號。
能夠在重疊或非重疊窗口中計算該方差或類似度量。為了提高高頻信號區域檢測的可靠性，能夠從按比例縮小的圖像中計算方差或類似度量。
空間降噪僅被應用于低頻區域。在高頻信號的區域中，不應用或應用較少的空間降噪，這起到銳度保持乃至增強的作用。
如果對于在"實施噪聲掩蓋(1)"或"不實施噪聲掩蓋(0)，，之間的轉換而言沒有過渡狀態，即采用硬取心塊1900,則排序濾波器(優選地為中值濾波器1910)應當被應用以便盡可能地防止造成脈沖噪聲。如果平滑曲線被用來決定由高頻信號度量(例如方差)所控制的噪聲掩蓋量(軟取心)，則能夠省略這樣的非線性濾波。
圖19A示出了利用硬取心技術的噪聲掩蓋方法。
雖然圖19A描繪了三個輸入，但是這三個輸入通常并且也優選地為相同的從而使得能夠降低圖像存儲器要求。
利用軟取心技術的噪聲掩蓋方法示于圖19B中。它類似于利用硬取心技術的噪聲掩蓋方法，除了硬取心由軟取心替代以及省略了中值濾波器。
圖19A所示的方法能夠更好地保持圖像銳度。然而，它造成脈沖干擾的印象。圖19B所示的方法與圖19A所示的相比具有較低復雜度，并且能夠抑制脈沖干擾。然而，它造成銳度損失的印象。關于如何計算該系數的詳細描述可以從圖19C中看到。NC系數計算純粹基于亮度分量Y并且與噪聲掩蓋閾值thresholdNC進行比較。圖19D描繪了噪聲掩蓋塊1822的進一步實施例。與圖18的整體功能視圖對應的實施例的更詳細視圖示于圖20中。Y(n)和Y(n+l)代表所討論的兩個圖像的Y分量，其中n為幀號。類似地，Cr (n)和。(n+l)代表所討論的兩個圖像的RMY (V)分量；Cb (n)和Cb (n+l)代表所討論的兩個圖像的BMY (U)分量。索引"n，，被用來除以堆積系數，該堆積系數指的是圖16的右部分。
開始時，即11=1,還沒有中間幀堆積結果。因而，LUT由應當通過空間降噪濾波器預先濾波的參考幀圖像尋址。從11 = 2起，LUT由中間幀堆積結果尋址。
nc (n)代表噪聲掩蓋結果。fp (n)和"堆積系數"來自幀堆積部分。
使用非二元(實際上該決策能夠被視為是'模糊的，，覆蓋從O...l的范圍)權重的原因在于以下事實二元決策/權重可能導致結果中'椒鹽，類的噪聲。使用最終二元準則可能起因于以下事實對于給定的像素，所有單獨準則可能都指示不滿足單獨的條件(=〉不堆積這個像素)，但唯獨因為該準則被應用于其上的值稍微大于準則閾值。在這個幀堆積系統中使用的所有閾值都已經被非常精確地選擇。
幀堆積系統的 一個方面是抑制圖像噪聲并且同時防止造成運動偽影。所公開的幀堆積系統集成了不同技術。它可以由運動估計過程(作為前端部)和幀堆積過程(作為后端部)組成。這例證于圖21、 22A、22B中，示出了前端和后端結構。
圖21借助于示意框圖說明了本發明從方法的角度以及從系統的角度看的進一步實施例，其中分別增加了附加預處理步驟SO和單元0、以及預處理步驟S4和單元4。預處理步驟SO或單元Q接收圖像II，或幀的集合、系列或序列S，作為原始數據。在預處理之后，根據步驟SO或單元0，輸入圖像或幀II的集合、系列或序列S被獲得，其被供應到幀堆積步驟S2或單元2，步驟S2或單元2的產物是幀堆積的圖像或幀，作為后續步驟S3或單元3中的輸出圖像或幀01，所述幀堆積的圖像或幀然后根據圖21的實施例可以被供應到后處理步驟S4或單元4以便生成經過后處理的輸出圖像或幀or。
22圖22A和22B說明了包含運動估計S0-1和運動補償SO-2的概念的后處理步驟SO和單元0。應當注意，可選地或附加地，可以包含其它預處理步驟或單元。然而，還應當注意，預處理步驟或單元不是必需的，因為本發明的概念在其可以被使用而沒有預處理的意義上例如在運動估計/補償的意義上來說是有利的。
該預處理可以是例如
* 色空間轉換，或者
*關于參考幀的運動估計和補償系統，或者
*所有/單獨信號分量的空間濾波(降噪)(參見主題來自顏色的堆積因子)
*根本不處理，或者
*任何其它種類的典型預處理步驟/技術
*和/或上述的任何組合。
權利要求
1、用于當前圖像幀中的降噪方法，其中所述當前圖像幀是圖像幀序列的一部分，該方法包括比較所述當前圖像幀內的像素的當前像素值與至少一個相鄰圖像幀中的該像素的對應像素值；如果所述當前像素值和所述對應像素值之間的像素差低于像素閾值，則確定所述當前像素值和所述對應像素值的堆積值，其中所述像素閾值取決于所述對應像素值和/或所述當前像素值。
2、 根據權利要求l的方法，進一步包括根據像素差確定像素權重因子；其中在確定堆積值的步驟中，所述像素權重因子被用來減小所述對應像素值對所述堆積值的影響。
3、 根據權利要求1或2中任一項的方法，進一步包括將當前圖像幀和該至少 一 個相鄰圖像幀劃分成多個塊；基于包括該像素的相應塊的當前像素值，確定當前塊堆積值；基于所述相應塊的對應像素值，確定對應塊堆積值；比較所述當前塊堆積值和所述對應塊堆積值；如果所述當前塊堆積值和以前的塊堆積值之間的塊差低于預定塊閾<直，則確定該堆積i直。
4、 根據權利要求3的方法，進一步包括根據塊差確定塊權重因子；其中在確定堆積值的步驟中，所述塊權重因子被用來減小所述對應像素值對所述堆積值的影響。
5、 根據權利要求3或4中任一項的方法，其中所述塊堆積值是該塊的像素的像素值的絕對差之和。
6、 根據權利要求1-5中任一項的方法，其中當前像素值和對應像素值描述該像素的亮度。
7、 根據權利要求1-5中任一項的方法，其中當前像素值和對應像素值描述該像素的色度。
8、 根據權利要求1-7中任一項的方法，其中為每個像素提供多個像素值，所述多個像素值描述該像素在色空間模型中的色值，其中如果像素的所述多個像素值的每個像素值之間的色差低于相應闊值，則確定所述多個像素值的每個像素值的堆積值。
9、 根據權利要求8的方法，進一步包括根據色差確定顏色權重因子；其中在確定堆積值的步驟中，所述顏 色權重因子被用來減小所述對應像素值對所述堆積值的影響。
10、 根據權利要求9的方法，其中色空間的亮度值、第一色度值和第二色度值被用作所述多個像素值的相應像素值。
11、 根據權利要求8-10中任一項的方法，進一步包括 基于像素值之差、基于塊堆積值之差以及基于色值之差，確定累積權重因子；其中在確定堆積值的步驟中，所述累積權重因子被用來減小 所述對應像素值對所述堆積值的影響。
12、 根據權利要求9-11中任一項的方法，進一步包括如果顏色權重值的分辨率低于像素權重值的分辨率，則將顏色權重 因子上采樣至像素權重因子的分辨率。
13、 根據權利要求1-12中任一項的方法，進一步包括 存儲不移動對象的圖像幀的前序列；通過對所述圖像幀的前序列的 一個像素的像素值進行平均來生成 降噪圖像；通過比較所述圖像幀的前序列的像素的像素值來確定像素值的方差；并且根據所述方差確定像素閾值。
14、 根據權利要求1-13中任一項的方法，進一步包括 在比較當前像素值和對應像素值的步驟之前，估計和補償該序列的圖像幀之間的運動。
15、 根據權利要求1-14中任一項的方法，進一步包括 在比較當前像素值和對應像素值的步驟之前，對像素值進行空間濾波。
16、 根據權利要求1-15中任一項的方法，進一步包括 確定圖像幀的像素的堆積值的差值；如果該差值低于差異閾值，則在圖像幀的相鄰像素的堆積值之間執 行空間降噪。
17、 根據權利要求16的方法，其中該差值是方差值。
18 、根據權利要求16或17中任一項的方法，其中空間降噪量是基 于該差值的。
19、 根據權利要求1-18中任一項的方法，進一步包括 確定當前圖像幀中的紋理區域和均勻區域；基于紋理區域的像素差和塊差來確定累積權重因子。
20、 根據權利要求1-19中任一項的方法，進一步包括 確定當前圖像幀中的紋理區域和均勻區域；基于像素差、塊差以及色差來確定均勻區域的累積權重因子。
21、 根據權利要求1-20中任一項的方法，進一步包括 存儲該序列的多個圖像幀的權重因子；其中確定堆積值的步驟基于所述多個圖像幀的像素值和權重因子。
22、 根據權利要求1-20中任一項的方法，進一步包括存儲在前圖像幀的堆積值；其中確定當前圖像幀的堆積值的步驟是 基于所述在前圖像幀的堆積值的。
23、 根據權利要求1-22中任一項的方法，進一步包括 在比較當前像素值和對應像素值的步驟之前，生成具有參照像素值的參考幀，該參考幀被視為該序列的第一圖像幀。
24、 根據權利要求2 3的方法，其中確定堆積值的步驟基于參考幀 的參考像素值。
25、 根據權利要求1-24中任一項的方法，其中像素閾值基于參考 幀的參考像素值。
26、 根據權利要求22-25中任一項的方法，其中像素閾值基于在前 圖像幀的堆積值。
27、 用于降低當前圖像幀中的噪聲的降噪單元，包括像素比較器，其被配置成比較所述當前圖像幀內的像素的當前像素 值與至少 一 個相鄰圖像幀中的該像素的對應像素值；處理器，其被配置成如果所述當前像素值和對應像素值之間的像素 差低于像素闊值則確定所述當前像素值和所述對應像素值的堆積值，其 中所述像素閾值取決于所述對應像素值和/或所述當前像素值。
28、 根據權利要求27的降噪單元，其中像素比較器被進一步配置 成根據像素差來確定像素權重因子；并且處理器被進一步配置成基于像 素權重因子來確定所述堆積值以便減小所述對應像素值對所述堆積值 的影響。
29、 根據權利要求27-28中任一項的降噪單元，進一步包括塊比較器，其被配置成將所述當前圖像幀和所述至少一個相鄰圖像 幀劃分成多個塊，并且根據包括該像素的所述當前圖像幀的相應塊的當 前像素值確定當前塊堆積值以及根據包括該像素的相鄰圖像幀的該相 應塊的對應像素值確定對應塊堆積值，并且比較所述當前塊堆積值和所 述對應塊堆積值。
30、 根據權利要求27-28中任一項的降噪單元，進一步包括 塊比較器，其被配置成接收當前圖像幀的當前塊堆積值，接收相鄰圖像幀的對應塊堆積值并且被進一步配置成比較當前塊堆積值和對應 塊堆積值。
31、 根據權利要求29-30中任一項的降噪單元，其中所述塊比較器 被進一步配置成根據當前塊堆積值和對應塊堆積值之間的塊差來確定 塊權重因子；并且所述處理器被進一步配置成基于塊權重因子來確定堆 積值以便減小所述對應像素值對所述堆積值的影響。
32、 根據權利要求27-31中任一項的降噪單元，進一步包括顏色比較器，其被配置成將當前圖像幀內的像素的當前色值和至少 一個相鄰圖像幀中的該像素的對應色值進行比較；其中該處理器被進一 步配置成如果所述當前色值和所述對應色值之間的色差低于顏色閾值 則確定所述堆積值。
33、 根據權利要求32的降噪單元，其中所述顏色比較器被進一步 配置成根據當前色值和對應色值之間的色差來確定顏色權重因子；并且 該處理器被進一步配置成基于顏色權重因子來確定所述堆積值以便減 小所述對應像素值對所述堆積值的影響。
34、 根據權利要求27-33中任一項的降噪單元，進一步包括 查找表，其被配置成存儲與像素值相關的閾值。
35、 根據權利要求27-34中任一項的降噪單元，進一步包括 運動估計及運動補償一幾構。
36、 根據權利要求27-25中任一項的降噪單元，進一步包括 噪聲掩蓋機構，其被配置成確定該圖像幀的像素的堆積值的差值并且如果該差值低于差異閾值則執行該圖像幀的相鄰像素的堆積值之間 的空間降噪。
37、 圖像捕獲裝置，包括光學設備，其被配置成生成圖像幀序列；以及根據權利要求27-36中任一項的降噪單元。
38、 圖像顯示裝置，包括 顯示器；以及根據權利要求27-36中任一項的降噪單元。
39、 包括程序代碼的計算機程序產品，所述程序代碼當被加載到處 理器中時被配置成執行根據權利要求1-26中任一項的方法。
全文摘要
用于當前圖像幀中的降噪的方法，其中當前圖像幀是圖像幀序列的一部分，包括比較當前圖像幀內的像素的當前像素值與至少一個相鄰圖像幀中的該像素的對應像素值；如果當前像素值和對應像素值之間的像素差低于像素閾值，則確定當前像素值和對應像素值的堆積值，其中像素閾值取決于對應像素值和/或當前像素值，還提供了用于塊和顏色處理的對應方法以及降噪單元。
文檔編號H04N5/21GK101658027SQ200880011153
公開日2010年2月24日 申請日期2008年3月20日 優先權日2007年3月31日
發明者C·昂魯, M·西迪奎, Z·雷 申請人:索尼德國有限責任公司