專利名稱：全自動的實時數字圖像處理增強系統的制作方法
技術領域：
本發明涉及的是一種數字圖像技術領域的圖像處理系統，具體地說，是一 種全自動的實時數字圖像處理增強系統。
背景技術：
隨著數碼相機的普及，數字圖像在生產和生活中占有了越來越重要的地位。 特別是在生產自動化中，數字圖像在目標識別和目標跟蹤等方面起到了重要作 用。然而由于成像技術本身的缺陷，影響了數字圖像的質量，使數字圖像的應用 受到了限制。
現實生活中的亮度動態范圍非常大，主要受環境光照的影響，陽光直射下 和陰影中的亮度往往相差幾個數量級。相比之下數碼相機的動態范圍則小得多， 最長用的8位圖像深度只能表示256個亮度階數。在不同光照條件下，人類的視 覺系統可以通過調整瞳孔大小以及視網膜與大腦皮層的處理消除光照的影響，以 正確識別物體。而照相機不具備這種自我調節的功能，因此在光照條件不佳的情 況下(過暗或過亮)，感興趣的物體在圖像上難以識別，圖像的質量也就下降了 很多。
針對這個問題一般的處理方法往往是灰度均衡化或者伽馬校正，然而這兩 種處理方法都是一種全局的處理方法，而忽視了局部的信息，因此用上述方法增 強圖像后雖然光照得到了改善，局部圖像的細節卻可能丟失。相比之下，本發明 基于Retinex模型，通過將圖像分解為光照圖像和反射圖像，將光照的影響從輸 入圖像中剝離，在改善輸出圖像中光照效果的同時較好地保護了輸入圖像中局部 的圖像細節。
經對現有技術的文獻檢索發現，Ron. Kimmel， Michael Elad等在 《International Journal of Computer Vision》(i十算豐幾視覺國際期刊，2003
年第52期第1巻第7~23頁) 一文"A Variational Framework for Retinex" (Retinex的一種變分架構)，該文中提出一種基于Retinex模型的圖像增強系 統，具體的結構為首先采集一張輸入圖像，然后將輸入圖像分解為光照圖像和 反射圖像。這個圖像分解的方法是通過以下方式完成的根據Retinex模型，任 何圖像可以分解為光照圖像和反射圖像的乘積，圖像分解的核心為光照圖像的估 計，即對環境光照的預測。環境光照的預測基于Retinex變分模型中提到的3 個約束光照圖像在空間域平滑、光照圖像的像素值大于輸入圖像的像素值、以 及光照圖像和輸入圖像足夠接近，對環境光照成分加以估算，得到一幅很平滑的 圖像作為光照圖像的預測，然后由輸入圖像與光照圖像、反射圖像的關系推得反 射圖像。將圖像分解為光照圖像和反射圖像以后，對輸入圖像的光照成分進行單 獨處理，通過對光照圖像的像素值根據應用的要求做非線性映射校正改善原圖中 光照不佳區域的可見度，如圖l所示的"Retinex的一種變分架構"中的圖像增 強系統示意框圖。
上述系統的不足在于該系統雖然可以改善輸入圖像的光照效果，但是在 圖像細節內容得到了增強的同時輸入圖像中的噪聲也被增強了，因此對含原本包 含較多噪聲的輸入圖像，輸出圖像的質量有可能比輸入圖像還要差。不能解決在 增強圖像細節的同時，避免噪聲對輸出圖像質量的影響。
發明內容
本發明的目的在于克服現有技術中對于環境光照條件對數字圖像的影響的 技術存在不足，提供一種全自動的實時數字圖像處理增強系統，使其根據輸入圖 像自動估計環境光照條件并根據光照對圖像進行自動調節以改善輸出圖像中的 光照效果并增強局部圖像細節，可以應用于提高數碼相機的成像質量以及基于數 字圖像的工業自動化的圖像預處理階段。
本發明是通過以下技術方案實現的，本發明包括五個模塊輸入模塊，圖
像分解模塊，光照圖像處理模塊，反射圖像處理模塊，合并和輸出模塊。輸入模
塊負責采集數字圖像作為系統輸入，所獲得的數字圖像輸入到圖像分解模塊；圖 像分解模塊將輸入圖像分解為光照圖像L和反射圖像R，分別輸入光照圖像處理 模塊和反射圖像處理模塊；光照圖像處理模塊對輸入圖像的光照成分L進行非線
性校正后輸出經過校正的光照成分L';反射圖像處理模塊則對反射圖像R中與
輸入圖像過暗區域相對應的像素進行去噪處理，輸出去噪后的反射成分R'，輸
入圖像的過暗區域可由光照圖像信息來確定；合并輸出模塊則將前兩個模塊中輸 出的L'和R'重新合并到輸出圖像并顯示到輸出設備上。
所述的輸入模塊，是指負責采集數字圖像，所述的數字圖像是數碼相機
和數字掃描儀所能獲取的圖像以及數碼攝像機所提供序列圖像中的一幀。
所述的圖像分解模塊，是指對輸入圖像實時分解，提供兩個輸出，分別 為對應于輸入圖像光照成分的光照圖像和對應于輸入圖像反射成分的反射圖像。所述的輸入圖像實時分解是對Retinex模型的實現，根據Retinex模型，任何圖 像可以分解為光照圖像和反射圖像的乘積，圖像分解的核心為光照圖像的估計， 即對環境光照的預測環境光照的預測基于Retinex變分模型中提到的3個約束 光照圖像在空間域平滑、光照圖像的像素值大于輸入圖像的像素值、以及光照圖 像和輸入圖像足夠接近，對環境光照成分加以估計，應用多解析度技術，即在每 個解析度層應用高斯平滑得到圖像的低頻信息，應用拉普拉斯銳化得到圖像的高 頻信息，通過不斷地去除圖像中的高頻信息，保留低頻信息，得到一幅很平滑的 圖像作為光照圖像的估計，然后由輸入圖像與光照圖像、反射圖像的關系推得反 射圖像。
所述的光照圖像處理模塊，是指對輸入圖像的光照成分進行單獨處理。 光照不佳的輸入圖像往往光照圖像的灰度分布集中在圖像動態范圍的某一小部 分，對光照圖像的處理是采用一種非線性的映射關系來提高處于動態范圍低端和 高端的像素的對比度，從而使這一部分的細節能夠顯現出來。該非線性的映射關 系可以根據具體的應用要求來確定。
所述的反射圖像處理模塊，是指從光照圖像中識別出輸入圖像的過暗區
域，對輸入圖像的反射圖像相應的區域做去噪處理。反射圖像中包含的是圖像的 高頻信息，圖像的噪聲大部分在經過圖像分解后大部分集中到了反射圖像中，光 照圖像中基本不包含噪聲，因此對輸入圖像的反射成分進行去噪濾波。所述的去
噪濾波，是指反射圖像中包含的是圖像的高頻信息，圖像的噪聲大部分在經過 圖像分解后大部分集中到了反射圖像中，光照圖像基本不包含噪聲，因此對輸入
圖像的反射成分進行去噪處理，通過對光照圖像的灰度分析識別輸入圖像的過暗 區域，在反射圖像上對這些區域進行濾波。所述的識別輸入圖像的過暗區域，是 指:根據實驗選取一個效果最佳的閾值，針對光照圖像的像素灰度做二值化處理， 灰度小于閾值的標1，灰度大于閾值的標0,這樣標1的區域即是需要做去噪處 理的過暗區域。
本發明在去噪處理中，采用局部濾波的方法。實驗分析可以確定輸出圖像 的絕大部分噪聲對應于輸入圖像的過暗區域，因此通過對光照圖像的灰度分析可 以識別這些區域，在反射圖像上對這些區域進行去噪濾波，可以在僅增加少量處 理時間的條件下，有效去除大部分的噪聲以滿足實時處理的要求。
所述的合并和輸出模塊將單獨經過處理的光照成分和反射成分重新根據已 知關系合并到同一張輸出圖像中。輸出圖像可以經過照片打印機輸出為圖片或直 接在電腦顯示器等其他顯示設備上顯示。
本發明輸入模塊負責采集數字圖像作為系統輸入，所獲得的數字圖像輸入 到圖像分解模塊；圖像分解模塊將輸入圖像分解，得到兩個輸出光照圖像L 和反射圖像R，將這兩個輸出分別輸入光照圖像處理模塊和反射圖像處理模塊； 光照圖像處理模塊對輸入圖像的光照成分L進行非線性校正得到校正后的光照 成分L';反射圖像處理模塊則首先根據光照圖像來確定去噪區域，然后對反射 圖像去噪區域內的像素進行去噪處理，輸出去噪后的反射成分R';合并輸出模 塊則將前兩個模塊中輸出的L'和R'重新合并到輸出圖像并顯示到輸出設備 上。
本發明不僅能夠改善在光照不佳的環境下拍攝圖像的質量，調整輸入圖像 中的光照效果，提高輸入圖像內容的可見度，而且能夠滿足實時處理的要求。與 一般的全局圖像增強方法如伽馬校正和灰度均衡化方法相比，能夠更好地保留局 部的圖像細節，增加圖像中有效的特征點個數，使其在日常生活和生產中都有廣 泛的應用前景。并且本發明在基于Retinex模型的圖像增強系統的基礎上加入了 對反射圖像噪聲集中區域的去噪操作，在不影響系統實時性的條件下大大改善了 Retinex算法在圖像增強過程中造成噪聲量提高的問題。
圖l現有技術中的"Retinex的一種變分架構"圖像增強系統示意框圖
圖2本發明系統示意框圖
具體實施例方式
下面結合附圖對本發明的實施例作詳細說明本實施例在以本發明技術方 案為前提下進行實施，給出了詳細的實施方式，但本發明的保護范圍不限于下述 的實施例。
如圖2所示，本實施例包含五個模塊輸入模塊、圖像分解模塊、光照圖 像處理模塊、反射圖像處理模塊、合并輸出模塊。這五個模塊是由一個輸入設備 (數碼相機)、 一個計算機軟件處理程序和一個輸出設備(照片打印機或計算機 顯示器等)實現的。輸入模塊采集數字圖像，輸入模塊的輸出與圖像分解模塊的
輸入相連；圖像分解模塊的兩個輸出光照圖像和反射圖像分別是另外兩個模塊 光照圖像處理模塊和反射圖像處理模塊的輸入；光照圖像處理模塊和反射圖像處 理模塊的輸出是合并輸出模塊的兩個輸入。
輸入模塊可以由一般的數碼照相機、數碼攝像機或者掃描儀等輸入設備實
現，輸入模塊的輸出是一幅通用格式的數字圖像(如binp、 jpeg等)。
圖像分解模塊將輸入模塊獲取的數字圖像分解為兩幅圖像光照圖像和反
射圖像。根據Retinex模型，任何圖像可以分解為光照圖像和反射圖像的乘積， 對輸入圖像進行分解的核心問題在于光照圖像的估計。本發明中對光照圖像的估 計是基于Retinex模型，用多解析度技術，在各個解析度層，保留圖像的高斯模 糊結果，去除圖像的拉普拉斯銳化結果，經過若干次迭代，得到一幅非常平滑的 圖像，作為輸入圖像的光照圖像的估計。反射圖像由輸入圖像除以光照圖像獲得。 光照圖像處理模塊主要是對輸入圖像的光照條件進行調節，以達到改善輸出 圖像光照效果的目的。對光照圖像的處理本發明采用的是用非線性映射曲線拉升 輸入圖像中過暗區域和過亮區域的對比度，提高這兩部分光照不佳區域的光照效 果和可見度。
反射圖像處理模塊主要是對反射圖像的局部區域進行去噪處理。去噪處理根 據Retinex處理圖像的噪聲主要集中在輸入圖像中的過暗區域，首先根據實驗經 驗選擇一個最佳的閾值，對輸入圖像的光照圖像進行二值化處理，灰度小于閾值
的標l，灰度大于閾值的標0，這樣標1的區域即是需要做去噪處理的過暗區域。 然后根據2值圖像對反射圖像每個像素判斷是否在過暗區域內，如果在則進行濾 波以去除噪聲。此方法與一般的全局濾波相比可以節省大量的時間。
合并輸出模塊根據輸入圖像是光照圖像和反射圖像的乘積的關系，將經過光 照圖像處理模塊和反射圖像處理模塊分別處理后的光照圖像和反射圖像相乘合 并得到輸出圖像，然后將輸出圖像輸出到輸出設備上。輸出設備可以是數碼照片 的打印機、計算機的顯示器等設備。
本實施例與現有技術圖像增強系統(如圖l所示)相比，增加了應用局部濾 波對反射圖像的去噪處理，有效抑制了噪聲在圖像增強過程中對輸出圖像質量的 不良影響，同時由于局部濾波技術的采用，節省了大量處理時間，使本實施例能 夠滿足實時處理的要求。
權利要求
1、一種全自動的實時數字圖像處理增強系統，其特征在于，包括五個模塊輸入模塊，圖像分解模塊，光照圖像處理模塊，反射圖像處理模塊，合并和輸出模塊，其中輸入模塊負責采集數字圖像作為系統輸入，所獲得的數字圖像輸入到圖像分解模塊，圖像分解模塊將輸入圖像分解為光照圖像L和反射圖像R，分別輸入光照圖像處理模塊和反射圖像處理模塊，光照圖像處理模塊對輸入圖像的光照成分L進行非線性校正后輸出經過校正的光照成分L’，反射圖像處理模塊則對反射圖像R中與輸入圖像過暗區域相對應的像素進行去噪處理，輸出去噪后的反射成分R’，輸入圖像的過暗區域可由光照圖像信息來確定，合并輸出模塊則將前兩個模塊中輸出的L’和R’重新合并到輸出圖像并顯示到輸出設備上。
2、 根據權利要求1所述的全自動的實時數字圖像處理增強系統，其特征是，所述的輸入模塊，是指負責采集數字圖像，所述的數字圖像是數碼相機和數字 掃描儀所能獲取的圖像以及數碼攝像機所提供序列圖像中的一幀。
3、 根據權利要求1所述的全自動的實時數字圖像處理增強系統，其特征是，所述的圖像分解模塊，是指對輸入圖像實時分解，提供兩個輸出，分別為對應 于輸入圖像光照成分的光照圖像和對應于輸入圖像反射成分的反射圖像。
4、 根據權利要求3所述的全自動的實時數字圖像處理增強系統，其特征是， 所述輸入圖像實時分解，是指環境光照的預測基于Retinex變分模型的3個約束光照圖像在空間域平滑、光照圖像的像素值大于輸入圖像、以及光照圖像和輸入圖像足夠接近對輸入圖像的光照成分加以估計，應用多解析度技術，在每個 解析度層，保留高斯平滑結果，去除拉普拉斯銳化結果，得到一幅平滑的圖像作 為光照圖像的估計，然后由輸入圖像與光照圖像、反射圖像的關系推得反射圖像。
5、 根據權利要求1所述的全自動的實時數字圖像處理增強系統，其特征是， 所述的光照圖像處理模塊，是指對輸入圖像的光照成分進行單獨處理。光照不佳的輸入圖像往往光照圖像的灰度分布集中在圖像動態范圍的某一小部分，對光 照圖像的處理是采用一種非線性的映射關系來提高處于動態范圍低端和高端的 像素的對比度，從而使這一部分的細節能夠顯現出來。
6、 根據權利要求5所述的全自動的實時數字圖像處理增強系統，其特征是， 所述的非線性的映射關系，根據具體的應用要求來確定。
7、 根據權利要求1所述的全自動的實時數字圖像處理增強系統，其特征是， 所述的反射圖像處理模塊，是指從光照圖像中識別出輸入圖像的過暗區域，對輸 入圖像的反射圖像相應的區域進行局部去噪濾波。
8、 根據權利要求7所述的全自動的實時數字圖像處理增強系統，其特征是， 所述的去噪濾波，是指反射圖像中包含的是圖像的高頻信息，圖像的噪聲大部 分在經過圖像分解后大部分集中到了反射圖像中，光照圖像基本不包含噪聲，因 此對輸入圖像的反射成分進行去噪處理，通過對光照圖像的灰度分析識別輸入圖 像的過暗區域，在反射圖像上對這些區域進行濾波。
9、 根據權利要求l或者8所述的全自動的實時數字圖像處理增強系統，其特征是，所述的識別輸入圖像的過暗區域，是指根據實驗選取一個效果最佳的 閾值，針對光照圖像的像素灰度做二值化處理，灰度小于閾值的標1，灰度大于閾值的標0，這樣標1的區域即是需要做去噪處理的過暗區域。
10、 根據權利要求l所述的全自動的實時數字圖像處理增強系統，其特征是，所述的合并和輸出模塊，是指將單獨經過處理的光照成分和反射成分重新 根據已知關系合并到同一張輸出圖像中。
全文摘要
本發明是一種數字圖像技術領域的全自動的實時數字圖像處理增強系統，其中輸入模塊負責采集數字圖像作為系統輸入，所獲得的數字圖像輸入到圖像分解模塊，圖像分解模塊將輸入圖像分解為光照圖像L和反射圖像R，分別輸入光照圖像處理模塊和反射圖像處理模塊，光照圖像處理模塊對輸入圖像的光照成分L進行非線性校正輸出校正后的光照成分L’，反射圖像處理模塊則對與輸入圖像過暗區域相對應的反射成分R進行局部去噪濾波處理，輸出去噪后的反射成分R’，合并輸出模塊則將前兩個模塊中輸出的L’和R’重新合并到輸出圖像并顯示到輸出設備上。本發明能實時地改善輸入圖像的光照效果，并有效去除圖像噪聲，保留物體細節特征，視覺效果自然。
文檔編號H04N1/40GK101102398SQ20071004421
公開日2008年1月9日 申請日期2007年7月26日 優先權日2007年7月26日
發明者劉家朋, 來海雅俊, 豐 沈, 肖燕蜂, 諏訪正樹, 趙宇明 申請人:上海交通大學;歐姆龍株式會社