圖像去噪方法以及使用該方法的裝置的制造方法【
技術領域:
】[0001]本發明涉及一種圖像處理技術,特別涉及一種圖像去噪方法以及使用該方法的裝置。【
背景技術:
】[0002]圖像噪聲指圖像中亮度及色度信息的隨機變異,通常是一種電子噪聲,可能產生自傳感器以及掃描器(scanner)或數字相機的電路。圖像噪聲可能源于底片顆粒(filmgrain)以及光檢測器(photondetector)中無法避免的散粒噪聲(shotnoise)。圖像噪聲是捕捉圖像時不想要的副產品,增加了偽多余信息。因此,需要一種圖像去噪方法以及使用該方法的裝置,用以減少圖像噪聲。【
發明內容】[0003]本發明的實施例提出一種由處理單元執行的圖像去噪方法。通過相機模塊控制器控制相機模塊用以取得第一幀,依據相機噪聲模型、第一幀的每一像素值以及第二幀的相應像素值,產生相應于第一幀的每一像素值的融合比值;以及依據融合比值融合第一幀中的每一像素值及第二幀中的相應像素值,用以產生第三幀。依據上述融合比值調整第一幀的每一像素值的消噪強度,以及使用每一調整后消噪強度調整第三幀的相應像素值。[0004]本發明的實施例提出一種圖像去噪裝置,至少包含幀緩存器以及處理單元。處理單元耦接于幀緩存器,提供相機噪聲模型;通過相機模塊控制器控制相機模塊用以取得第一幀;依據上述相機噪聲模型、上述第一幀的每一像素值以及一第二幀的相應像素值,產生相應于上述第一幀的每一上述像素值的融合比值;依據上述融合比值融合第一幀中的每一像素值及第二幀中的相應像素值,用以產生第三幀;依據上述融合比值調整第三幀的每一像素值的消噪強度;使用每一調整后消噪強度調整第三幀的相應像素值;以及將調整后第三幀存儲幀緩存器。[0005]本發明的圖像去噪方法和裝置,利用相機的噪聲模型和第一幀相對于第二幀的像素值差異決定是否進行時域去噪及時域去噪的強度(如前述融合比值),并且根據時域去噪的強度(如前述融合比值)調整空域去噪的消噪強度,降低將運動(motion)誤判為噪聲所帶來的影響。【附圖說明】[0006]圖1是依據本發明實施例的運算裝置的系統架構圖。[0007]圖2是依據本發明實施例由處理單元執行的相機噪聲模型產生方法的方法流程圖。[0008]圖3是依據本發明實施例的R-、Gr-、Gb-及B-塊的取得示意圖。[0009]圖4A是依據本發明實施例的第一模式示意圖。[0010]圖4B是依據本發明實施例的第二模式示意圖。[0011]圖4C是依據本發明實施例的第三模式示意圖。[0012]圖5是依據本發明實施例的相機噪聲模型不意圖。[0013]圖6是依據本發明實施例的圖像去噪裝置的系統方塊圖。[0014]圖7是依據本發明實施例的由處理單元載入及執行時域去噪模塊的相關指令的時域去噪方法流程圖。[0015]圖8是依據本發明實施例的由處理單元載入及執行空域去噪模塊的相關指令的時域去噪方法流程圖。[0016]【符號說明】[0017]110處理單元;130幀緩存器;[0018]140非易失性存儲器;150易失性存儲器;[0019]170相機模塊控制器;190相機模塊;[0020]S211~S293方法步驟;310貝爾格式圖像;[0021]330R-塊;350Gr-塊;[0022]370Gb-塊;390B-塊;[0023]610噪聲估計模塊;630時域去噪模塊;[0024]650空域去噪模塊;S711~S753方法步驟;[0025]S811~S853方法步驟。【具體實施方式】[0026]以下說明為完成發明的優選實現方式,其目的在于描述本發明的基本精神,但并不用以限定本發明。實際的【
發明內容】必須參考之后的權利要求范圍。[0027]必須了解的是,使用于本說明書中的"包含"、""包括"等詞,用以表示存在特定的技術特征、數值、方法步驟、作業處理、元件和/或組件,但并不排除可加上更多的技術特征、數值、方法步驟、作業處理、元件、組件,或以上的任意組合。[0028]在權利要求中使用如"第一"、"第二"、"第三"等詞用來修飾權利要求中的元件,并非用來表示之間具有優先權順序,先行關系,或者是一個元件先于另一個元件,或者是執行方法步驟時的時間先后順序,僅用來區別具有相同名字的元件。[0029]圖1是依據本發明實施例的運算裝置的系統架構圖。此系統架構可實施于桌上型計算機、筆記型計算機、平板計算機、手機、數字相機、數字攝像機等,至少包含處理單元110。處理單元110可使用多種方式實施,例如以專用硬件電路或通用硬件(例如,單一處理器、具并行處理能力的多處理器、圖形處理器或其他具運算能力的處理器),并且在執行固件或軟件時,提供之后所描述的功能。處理單元110可整合于圖像信號處理器(ISP,ImageSignalProcessor)中,并且可通過相機模塊控制器170控制相機模塊190用以捕捉多個幀。相機模塊190可包含圖像傳感器,例如,互補式金屬氧化物半導體(complementarymetal-oxide-semiconductor,CMOS)、電荷親合元件(charge-coupleddevice,CCD)等傳感器,用以感測由紅、綠、藍光強度所形成的圖像,以及包含讀取電子電路,用以從圖像傳感器搜集感測到的數據。相機噪聲模型不只受到圖像傳感器工藝的影響,也會受到一些環境因素影響,例如溫度、濕度甚至所拍攝對象本身等。離線方式產生的預先校準過相機噪聲模型并無法消除由環境因素產生的噪聲。所以,處理單元110可依據捕捉到的一個幀產生相機噪聲模型,并且使用相機噪聲模型修正之后捕捉到的幀,并將修正后結果存儲在幀緩存器(framebuffer)130。易失性存儲器150,例如動態隨機存取存儲器(DRAM,DynamicRandomAccessMemory),用以存儲執行過程中需要的數據,例如,變量、數據表(datatables)等。本發明的相機噪聲模型產生及使用方法由處理單元110執行:首先通過相機模塊控制器170控制相機模塊190取得一個幀(frame)。依據該幀的內容在線產生一相機噪聲模型,其中,相機噪聲模型為像素值與標準差之間的關系,這里的"像素值"是指一個像素在各色彩通道(如R-、Gr-、Gb-及B-通道)下亮度值或強度值。再通過相機模塊控制器170控制相機模塊190取得下一幀,并使用上一幀實時計算得來的相機噪聲模型調整下一幀的內容并且將其存儲至幀緩存器130。即是說,本發明是用上一幀的數據在線產生實時的相機噪聲模型用于下一幀數據的去噪處理,實現流水線形式的作業。與離線方式產生的預先校準過相機噪聲模型相比,本發明充分考慮了圖像傳感器所處的實時環境因素。在一實施例中,相機模塊190取得的幀均包含多個塊(block),處理單元110在目前幀中全局地搜尋平坦塊(flatblock),每一平坦塊對應于一個像素值區間,且平坦塊為對應該像素值區間的所有塊中,像素值的標準差和海森值(Hessianvalue)趨向于最小的塊,至于如何搜集平坦塊,后面會詳述。之后,再以搜尋出的多個平坦塊擬合出該相機噪聲模型。在此須注意的是,下述實施例中基于貝爾格式(Bayerblockbased)的塊進行處理,在各個色彩通道(如R-、Gr-、Gb-及B-通道)分別建立前述相機噪聲模型。但本發明并不限于此,本領域技術人員還可以基于其他格式和單位的數據進行處理。[0030]圖2是依據本發明實施例由處理單元執行的相機噪聲模型產生及使用方法流程圖。此流程開始于提供R-、Gr-、Gb-及B-通道對照表(步驟S211)。每一個通道對照表包含多筆記錄,每一筆記錄存儲相應于一段像素值區間的代表值、標準差及海森值。以12位表示的R-通道來說,每個像素的R-值可為0~4095中的任一值。假設每段像素值區間包含32個像素值,則R-通道對照表包含128筆記錄,第一筆記錄關聯于R-值0~31,第二筆記錄關聯于R-值32~63,依此類推。R-、Gr-、Gb-及B-通道對照表中所存儲的標準差及海森值,可視為當前處理過的塊中落入該段像素值區間的標準差及海森值趨向于最小的塊的標準差及海森值。在此須注意的是,本領域技術人員可將每段像素值區間所包含的數目設為任意的整數,例如,16、32或64等。處理單元110通過相機模塊控制器170控制相機模塊190取得一個幀(步驟S213),接著,反復執行一個循環來根據幀中的信息更新R-、Gr-、Gb-及B-通道對照表(步驟S231至S251)。當處理完幀中的所有信息后(步驟S251中"是"的路徑),根據當前第1頁1 2