3維區塊匹配的圖像去噪的方法與裝置的制造方法
【技術領域】
[0001] 本發明關于圖像處理，特別是關于3維區塊匹配（three-dimensional block-matching)的圖像去噪（去噪）方法。
【背景技術】
[0002] 由攝影機或者其他視頻以及圖像系統獲得的圖像通常包含由模擬裝置引入的或 者在模擬信號轉換成數字信號時引入的噪聲（noise)。在低光條件下，噪聲可能是一個嚴重 的問題。因此需要圖像去噪的技術來增進捕獲圖像的信號質量。依據使用的數據，圖像去 噪方法被分為空間去噪方法、時間去噪方法以及結合的去噪方法，其中空間去噪方法僅僅 使用幀內信息，時間去噪方法使用幀間信息以及運動補償，以及結合的去噪方法結合使用 幀內信息以及幀間信息。
[0003] 3維區塊匹配（以下簡稱為BM3D)方法被發展來執行圖像去噪。通過區塊匹配（以 下也可簡稱為BM)，每一 2維（two-dimensional, 2D)參考圖像片（patch)的相似的2維圖 像片被識別來執行去噪。從靜態圖像或者包含參考圖像片的視頻幀中通過空間去噪方法來 選擇相似的2D圖像片。對于時間去噪方法來說，相似的圖像片可以從一列數字視頻幀中找 到。依據分組的圖像片的相似性，參考圖像片以及匹配圖像片可以組成一個圖像片集合。圖 像片集合被轉換以及去噪。參考圖像片以及其相似圖像片（也可以稱為匹配圖像片）的加 權平均可用來減少參考圖像片中所有像素的噪聲。
[0004] 圖1是通過區塊匹配分析圖像，來識別相似圖像片以及分組多個圖像片為多個圖 像片集合，每一個圖像片集合可以代表一個數據陣列（data array)。如圖1所示，通過區 塊匹配來處理一個噪聲圖像，并且每一個處理的圖像片以及相似圖像片被分組為3D陣列。 每一個通過區塊匹配處理的圖像片也被認為是一個參考圖像片。參考圖像片R10以及匹配 圖像片Mil與M12被分為一組，來組成3D數據陣列110。參考圖像片R20具有4個具有相 似的圖像內容的匹配圖像片M21、M22、M23與M24。這5個圖像片進棧至3D數據陣列120。 圖像片R30與匹配圖像片M31、M32以及M33被分組至3D數據陣列130。圖像片R40與其 匹配圖像片M41、M42以及M43-同被分組至3D數據陣列140。在每一個3D數據陣列中， 使用每一個3D數據陣列中圖像片之間的關聯（correlation)來增強圖像處理的性能。
[0005] 依據使用區塊匹配去噪的結果，一個圖像的在轉換域的噪聲減弱。圖2是通過 BM3D方法執行圖像去噪的流程圖的舉例說明。在具有噪聲的圖像210上去噪是通過兩個去 噪流程來執行。第一個去噪流程是流程220,其通過硬閾值處理（hard-thresholding)執 行圖像去噪，第二個去噪流程是流程230,其通過實證維納濾波（Wiener filtering)執行圖 像去噪。在流程220中，在噪聲圖像210上執行通過區塊匹配分組，來通過流程221尋找當 前圖像片的相似圖像片。原始噪聲圖像的當前圖像片被用作一個參考圖像片，以R1表示。 通過流程222,參考圖像片R1與其相似圖像片一同被分組為一個3D數據陣列。接著，從3D 轉換223開始，3D數據陣列通過轉換域收縮（transform-domain shrinkage)處理。3D轉 換對應一個單一轉換，其以2D離散余弦轉換（2D discrete cosine transform DCT)連接 一個ID哈達瑪轉換（by ID Hadamard transform)來實現。3D陣列中的多個圖像片之間 的相似性或者關聯性是通過應用3D單一轉換來產生一個3D轉換域的真實信號的空間代表 來實現。接著，通過在3D域中的轉換系數的硬閾值處理224,減弱噪聲，并且獲得對應的權 重。執行硬閾值處理224之后的反3D轉換（Inverse 3D transform) 225,來產生所有圖像 片的估計。噪聲圖像的所有圖像片以一個滑動的方式來處理，以產生所有圖像片的逐塊估 計。針對每一個參考區塊的重疊的逐塊估計形成了一個真實信號的冗余估計（redundant estimate)。為了獲得噪聲圖像的一個非冗余估計，在逐塊估計以及硬閾值處理224產生的 權重上執行聚集（aggregation) 226。通過聚集226,在去噪流程220,獲得噪聲圖像的基本 估計（basic estimate) 〇
[0006] 噪聲圖像的基本估計（即所有圖像片的加權平均）在第二去噪流程230中被使 用。第二去噪流程230使用維納濾波，而不是硬閾值處理，來減弱噪聲。R1基本估計被標示 為參考圖像片R2。在基本估計內，而并非是在噪聲圖像210內，執行通過區塊匹配231的分 組，來找到參考圖像片R2的多個相似圖像片。R2以及其相似圖像片一同進棧，來通過流程 232形成一個3D數據陣列。通過包含2D離散余弦轉換以及1D哈達瑪轉換的3D轉換233 來處理3D數據。通過維納濾波234來處理轉換系數，以減弱轉換域（transform domain) 中的噪聲并且產生每一個圖像片的權重。接著執行3D反轉換235,來獲得所有圖像片的估 計。圖像的所有圖像片以滑動的方式被處理，以產生逐塊估計。通過聚集236完成最后的 維納估計240。最后的維納估計240是依據維納濾波234獲得權重以及反3D轉換235獲得 逐塊估計來計算。
[0007] 在通過硬閾值處理的BM3D圖像去噪的過程中（例如圖2所示的流程220)，在轉 換系數收縮上利用噪聲方差（Noise variance)來實現去噪。
[0008] 圖3是通過在具有區塊匹配的3D轉換域中使用硬閾值處理來去噪的流程圖的 舉例說明。依據輸入的噪聲圖像估計噪聲方差。如圖3所示，首先通過方差估計311來 估計方差〇 2,以處理噪聲圖像310。依據估計結果，在程序312中計算標準差（standard deviation) 〇。標準差〇輸出至區塊匹配程序320以及去噪程序330,其通過硬閾值處理 收縮轉換系數。區塊匹配程序320在噪聲圖像310上執行區塊匹配，以產生區塊匹配結果 S XK。區塊匹配結果SXK包含匹配圖像片的系數，匹配圖像片與參考圖像片（表示為R)相 似。通過在3D轉換域的硬閾值處理，去噪程序330使用區塊匹配結果以及標準差〇來執 行去噪。
[0009] 依據區塊匹配的結果，每一個參考圖像片以及匹配圖像片被分組，以形成3D數據 陣列Z SXK。通過在3D轉換域的硬閾值處理實現的去噪程序在3D陣列ZSXK上執行。在3D 轉換域的去噪程序包含3個步驟，其分別是3D轉換、硬閾值處理以及反3D轉換。3D轉換依 據分組的圖像片的相似性，產生真實信號在轉換域的空間代表。通過硬閾值處理轉換系數， 產生每一個分組圖像片的對應的權重，并且依據標準差 〇的值來減弱分組圖像片的噪聲。 在硬閾值處理之后的反3D轉換重新構建每一個圖像片的估計。在3D轉換域的去噪程序 332輸出重新構建的圖像片估計的權重《SXK以及3D陣列fSxR。通過相乘程序341，凱賽窗 (Kaiser window)Wwin2D乘以權重c〇SxK來產生具有權重W(xR)的圖像片。通過程序343,分 母的總和，以wbuff來表示，累積至權重緩沖器（weights buffer)。通過使用凱賽窗Wwin2D, 減少在圖像片的邊界上的偽像的影響（邊界影響）。另一個相乘程序342被用來將具有權 重W(xR)的圖像片與每一個重新構建的圖像片的估計相乘。通過程序344,相乘程序342 的結果累積至估計緩沖器（estimate buffer)。分子的總和以"ebuff"表示。程序345通 過將ebuff除以wbuff來計算噪聲圖像的中間估計（intermediate estimate)或者基本估 計，以產生估計的圖像。中間估計在通過維納濾波實現的去噪程序中被用作基本估計。
[0010] 在傳統的BM3D方法的硬閾值處理中，許多相關技術估計輸入噪聲圖像的用來去 噪的圖像噪聲方差，并且其他一些相關的技術假設輸入圖像的噪聲方差是已知的。噪聲方 差在輸入圖像或者在轉換域中定義。然而，所有的傳統的去噪方法具有相同的缺陷，即無論 噪聲方差是如何估計的，相同的噪聲方差應用至整個圖像。舉例來說，使用相同的噪聲方差 來減少輸入圖像的所有圖像片的噪聲。另外一個舉例說明是，轉換輸入圖像至一個新的圖 像域，例如頻率域。接著，在新的圖像域執行BM3D方法，并且使用相同的噪聲方差來處理輸 入圖像的所有圖像片。在去噪程序中，相同的方差也應用在空間域或者轉換域的整體圖像。
[0011] 實際