專利名稱：基于場景統計的神經網絡非均勻性校正方法
技術領域：
本發明涉及圖像探測處理技術領域，具體屬于紅外焦平面探測技術 中圖像校正方法。
背景技術：
紅外焦平面陣列成像系統由于具有靈敏度高，體積小，結構緊湊，作 用距離遠、抗干擾性好、穿透煙霧能力強、可全天候、全天時工作等優 點，已成為紅外成像技術發展的趨勢，而凝視型紅外焦平面陣列已成為 未來紅外熱成像系統發展的主流探測器件。但由于受材料和工藝水平的
限制，紅外焦平面陣列(IRFPA)各探測單元響應特性之間普遍存在著非均 勻性，它將導致紅外成像系統的溫度分辨率等性能顯著下降，以至使其 難以滿足工程應用要求，因而工程中使用的紅外焦平面陣列幾乎毫無例 外地都采用非均勻性校正技術。
目前國內外已出現多種多樣的紅外焦平面陣列非均勻性校正方法，
但歸納起來大致可以分為兩類 一類是基于標定的校正方法，主要包括
兩點溫度標定法(TPC)和多點溫度標定法(ETPC)。該類校正方法擁有算法 簡單靈活，運算速度快，易于硬件實現等優點，是目前工程應用的主要 方法。但由于受紅外焦平面陣列工作時間和環境變化的影響，其響應參 數會發生緩慢漂移，進而影響校正精度，因此，標定類校正方法通常需 要進行周期性標定校正。這樣，不僅需要中斷實時成像過程，而且操作 復雜。另一類是基于場景的校正方法，主要包括恒定統計平均法(CSC)、 時域高通濾波法(THPFC)和人工神經網絡法(A麗C)。該類方法能有效地消除紅外焦平面陣列隨工作時間和環境變化而發生的響應參數漂移，不需
要定標，只需根據場景信息實現IRFPA非均勻性自適應校正。在基于場景 的校正方法中，以神經網絡校正方法最具代表性。
傳統神經網絡校正法(Scribner)雖然在理論上完全不需要對紅外焦 平面陣列進行定標，對探測器參數的線性和穩定性要求也不高。但傳統 神經網絡校正法也存在明顯的不足，特別是對低頻空間噪聲無能為力。 究其原因是簡單地以四鄰域均值作為期望輸出，參與計算的像素太少， 特別是沒有考慮當前像素值，導致期望值與實際值可能存在較大的偏差。 當場景中同一區域內信號變化緩慢，四鄰域均值計算期望值是合理的； 當信號在空間上存在劇烈變化時，窗口橫跨多個不同的區域，這時用四 鄰域均值作為期望值便存在著較大的誤差。當目標運動時，這種誤差不 會累積，對校正效果影響不明顯；當目標長時間趨于靜止時，這種誤差 會迅速累積，迭代步長越大，誤差累積越快，則會出現明顯的目標退化。 而當目標由靜止變為突然運動時就會在原來位置留下一個反像的校正虛 影。
張天序、石巖等人在《紅外焦平面非均勻性噪聲的空間頻率特性及 空間自適應非均勻性校正方法改進》 一文中，分析了紅外焦平面陣列非 均勻性噪聲的空間頻率特性，指出空間低頻噪聲為其主要成分。針對傳 統空域自適應校正方法去除低頻空間噪聲存在的不足，提出采用一點校 正和空域自適應校正相結合的方法。該方法中的一點校正是通過對連續 有限幀且不含目標的背景進行時間均值得到的。如果在相機工作期間圖 像背景保持不變時，通過對連續不含目標的有限幀背景進行時間均值得到背景圖像與實際背景是接近的，這時可以得到較好的校正效果。但在 背景圖像實時變化的情況下，按照這種方法得到的背景圖像與實際背景 存在較大的誤差，這樣預處理校正的結果必然會影響最終的校正結果。
由于紅外焦平面陣列盲元的存在，導致紅外圖像模糊不清，而目前 主要是通過信號處理技術檢測出盲元，并通過鄰域像素進行有效補償以 提高紅外焦平面陣列成像質量。盲元的處理包括盲元檢測和補償兩個方 面。傳統的盲元處理方法難以實現盲元的在線檢測和補償。在代少升、 張天騏《一種新的紅外焦平面陣列盲元處理算法》 一文中，提出了一種
IRFPA盲元即時檢測和補償的新算法。該算法實現簡單，通用性強，能 對隨機產生的盲元進行即時檢測和補償，但僅僅涉及到盲元的檢測和補 償，未涉及對圖像信號偏置進行非均勻性校正及增益非線性校正。
紅外焦平面陣列所受的空間噪聲有如下兩個性質 性質一由非均勻性引起的空間噪聲其主要呈現為低頻成分。 性質二由增益非均勻性單獨引起的空間噪聲，主要呈現為高頻成 分。然而傳統神經網絡校正方法的前提假設是非均勻性所導致的空間 噪聲，其空間頻率主要是高頻或白噪聲。正是基于該前提，傳統的神經 網絡校正方法采用像素的4鄰域均值作為該像素輸出的校正期望值來更 新校正系數，使其呈現空間低通的頻率特性。因此，當實際紅外焦平面 陣列空間噪聲以低頻為主時，傳統的神經網絡校正方法顯得無能為力。
如一點校正和空域自適應校正相結合的算法(onepoint—nn_nuc)， 其背景圖像的變化會對校正的效果產生影響，背景相對變化較少的部分 校正效果較好，背景變化較大的部分校正效果較差。如果我們預先采用某種預處理校正，消除空間低頻部分噪聲，只剩 下由增益非均勻性所導致的空間高頻噪聲，然后再采用神經網絡方法進 行后續校正，便能獲得較好的校正效果。正是基于上述原因，本發明提 出了基于場景統計的神經網絡非均勻性校正方法，即首先通過場景統計
消除由IRFPA偏置非均勻性引起的空間低頻噪聲，然后再采用神經網絡方
法進行后續校正。
發明內容
本發明針對復雜多變的環境條件下引起紅外焦平面陣列響應特性和 穩定性的變化，以及傳統神經網絡校正方法難以消除低頻空間噪聲的不 足，提出一種基于場景統計和神經網絡非均勻性校正方法。該方法包括， 進行盲元檢測及補償，采用場景統計法對圖像偏置進行非均勻性校正， 采用神經網絡校正法對場景統計校正后且不含低頻空間噪聲的圖像進行 增益非線性校正。
盲元檢測及補償。在對紅外焦平面陣列非均勻性進行校正之前，首 先需要進行盲元檢測與補償。以連續k幀圖像序列的時域均值作為當前幀
各個像素的響應率B,，即& =("),;判斷像素^是否為有效像元，首 先在以像素5,為中心大小為(2"l)x(2A + l)的窗口內查詢最大和最小的像 素灰度值^^、^^;然后去掉^_、萬^，計算窗口內剩余像素灰度平均值
i+A 乂+A
》，即L':f 二、:；對各像素點進行盲元判定，當滿足條件
^^^^9或者A-^—^9時，可判定為盲元，否則為有效像素。如果像素^為盲元，則將盲元矩陣中相應位置(即第i行第j列)置l;對當前 幀原始圖像中檢測出的盲元位置用盲元像素4鄰域均值代替補償，得到去 除盲元的圖像。
采用場景統計法對圖像偏置進行非均勻性校正。根據原始圖像的時 域均值計算原始圖像輸入均值M義J，及校正輸出均值可U，得到不包 含低頻空間噪聲的各像素的灰度值(")。
利用第l幀到第n幀原始圖像時域均值作為紅外焦平面陣列的輸入，
可采用遞歸的方式計算五[《,]:即耿,]《=}"'" + (" —D.I"、"-'。可采用
5的空間平均作為紅外焦平面陣列第n幀像素的平均輸出五K
<formula>formula see original document page 8</formula>
當前幀的原始圖像;^.(")減去紅外焦平面陣列第(i， j)像素在時間上
的平均輸入^;，便可得到不含低頻空間噪聲的各像素灰度值z"w)。
采用神經網絡校正法對場景統計校正，對不含低頻空間噪聲的圖像 進行增益非線性校正。如采用自適應加權平均濾波器，確定輸出的期望 信號。根據校正誤差的標準差閾值來判斷像素的區域屬性，對同一區域 的像素分配較大的權值，對不同區域的像素分配較小的權值，由加權平 均濾波器的權值『M (")確定輸出的期望值《,(")。
其中，權值由下式確定
<formula>formula see original document page 8</formula> 其中，7為權值系數。加權濾波器的輸出即為期望值巧，,(")，根據下式計算期望值化(")
W J"
本發明與傳統神經網絡方法和一點校正與神經網絡相結合的方法相 比，具有較強的非均勻性校正能力，從而能夠獲得理想的圖像校正效果。 在場景連續變化的實時校正中，既能消除低頻空間噪聲，又能消除目標 退化和鬼影，提高了算法的運算速度。
圖1為本發明校正方法流程示意圖。
圖2為盲元檢測示意圖。其中，圖2(a)為k幀運動場景示意圖；圖 2(b)為3X3盲元檢測窗口。
具體實施例方式
下面首先從原理上分析算法的實現過程
對紅外焦平面陣列采用線性模型進行校正，校正模型為
]^(") = (^(").義"(")+ 0,、乂(") (1) 其中^.表示校正輸出，X"表示原始圖像輸入，C^.表示校正增 益，《,表示校正圖像偏置。
對上式兩邊取期望可得到如下形式的表達式
五[^] = ^(").￡[義"乂] + 0"(") (2) 其中E[]為期望算子，可^.]為校正輸出均值，五[XJ為原始圖像輸入均值，
將(1)式與(2)式相減后得到下式
(")—]=《(").(X^ (")—]) ( 3 )式(3)與式(1)相比較可以看出，式(3)中增加了 ]項，少了偏置項。 將原算法中對偏置O"的計算估計轉化為對輸入信號均值五[XJ及校正輸出均值艱]的計算。如果令、■ (") = ^ (") _ ] ， Z" (") = (") - ,7 ]那么可得、(")=( ,,7(").^(") (4) (4)式中已不再含有低頻的空間噪聲，此時再用神經網絡方法即可對由增益非均勻性引起的高頻空間噪聲進行校正。校正輸出為l (") = (") (《，(")—])+ ] ( 5 )下面進一 步討論輸入信號均值￡[^]和校正輸出均值￡[1^]的計算。由于圖像序列的時間相關性，利用前n幀原始圖像的灰度均值作為紅 外焦平面陣列時域平均輸入值。用X^表示第K幀圖像的(i， j)像素原始 值，用5表示紅外焦平面陣列的第(i， j)像素的時間平均輸入，貝U:_ 2^",* _S = ^^。用S來代替可X,J，得到下式<formula>formula see original document page 10</formula> (6)由于原始圖像的^;在空間上的相關性將隨著累積幀數的增加而不斷增強，因此可以用^;的空域均值^來代替第(i， j)像素的校正平均輸出五[^]:即<formula>formula see original document page 10</formula> (7)m、 n為焦平面陣列行數和列數。將(6)式和(7)式代入(5)式得到最終的校正輸出為l (") = Gw (") (、 (") - & + 7 ( 8 )其中&和i分別為(6)式和(7)式計算的結果。以下針對附圖和實例對本發明的實施進行具體描述，圖1為本發明校正方法流程示意圖，具體包括以下步驟初始化、盲元檢測及補償、 場景統計以及神經網絡校正。(1) 初始化過程首先進行初始化，初始化圖像二維矩陣及參數。初始化各個像素的增益校正系數G為全1矩陣，盲元存儲矩陣為全0矩陣，時域輸入均值 矩陣為全0矩陣，空域輸出均值為0，待校正原始圖像序列號fmme二l， 誤差閾值th=0. 2，設定用于盲元檢測計算的原始圖像幀數k為自然數。(2) 盲元檢測及補償根據圖像像素灰度值計算像素的響應率，以響應率為中心，對確定 窗口內的像素灰度均值進行査詢，找出最大和最小的像素灰度值B皿、An^;去掉^nax、^n，計算窗口內剩余像素灰度平均值^ ，由此確定盲元的位置，并將盲元矩陣相應位置的像素置l;對檢測出的盲元位置用 盲元像素4鄰域均值代替補償，得到去除盲元的圖像。本發明采用基于場景的實時盲元檢測算法對紅外焦平面陣列工作過 程中產生的隨機盲元進行即時檢測。采用當前幀及其之前的連續k-l幀圖 像，對各個像素的灰度值進行時域平均來求解其響應率，并記為A。則&可表示為 & ——如圖2所示為盲元檢測示意圖。圖中用包含當前幀在內的連續10幀(從n-9幀到n幀)原始圖像像素灰度值進行時域平均作為相應像素的響 應率。為了提高運算效率，我們采用迭代方法計算A:<formula>formula see original document page 12</formula>再利用基于場景的實時盲元檢測算法對得到的響應率進行盲元檢 測，并將盲元矩陣相應位置的元素置為l。 其盲元檢測過程如下(a)以響應率^為中心，對(2/z + l)x(2/z + l)窗口內的像素灰度均值進 行查詢，找出最大和最小的像素灰度值5_、 5min。0))在窗口內去掉萬_、 S^，并求出窗口內剩余像素灰度的平均值^，<formula>formula see original document page 12</formula>(C)比較&M、 L與》差的百分比，即令A:^^或"^^。根據國標GB/T1744421998《紅外焦平面驗收測試技術標準》中規定，當A^9時， 則認為該像素為盲元，并記錄下盲元的位置，將盲元矩陣中相應位置的 元素置為l。(d)盲元補償。對當前幀原始圖像中檢測出的盲元位置用盲元像素4鄰域均值來代替補償，得到去除盲元的圖像。<formula>formula see original document page 12</formula>(2)場景統計步驟采用場景統計法對圖像偏置進行非均勻性校正，其目的是根據原始圖像的時域均值計算原始圖像輸入均值五/Z,J，及校正輸出均值廚^]，得 到不包含低頻空間噪聲的各像素的灰度值Z^W)。由于圖像序列存在時間相關性，利用前n幀原始圖像灰度值的時域均 值作為紅外焦平面陣列(IRFPA)的平均輸入。紅外焦平面陣列第(i， j)像 素在時間上的平均輸入由公式(6)給出。為了提高運算效率和占用較少的存儲空間，本發明采用一種遞歸的 方式進行計算原始圖像輸入均值五/XJ，艮P-攀,,]《=I"'"+(" — ".^"-' (9)由圖像在空間上的相關性可以計算出紅外焦平面陣列像素的平均輸出即校正輸出均值可乙]:w」 Mxiv臺^r ''」 當前幀的原始圖像《,(n)減去紅外焦平面陣列第(i， j)像素在時間上的平均輸入^;(原始圖像輸入均值E/x口)，便可得到不含低頻空間噪聲的各像素灰度值Zi,(w)。々(")^(")-s(4)神經網絡校正采用神經網絡校正法對場景統計校正后且不含低頻空間噪聲的圖像 進行增益非線性校正。D. A. Scribner等人提出的傳統神經網絡校正算法只是簡單的利用當 前像素的4鄰域均值來計算其期望值化.(w)。這種方法對場景同一區域內部，計算當前像素的期望值是合理的，但在區域邊緣處，利用這種方法計算期望值將存在明顯不足。同時，在使用四鄰域均值計算當前像素的期望值時，由于參與計算的像素數少，對空間低頻噪聲大的IRFPA不能 獲得最接近真實的期望值。為此，本發明采用自適應加權平均濾波器， 使用較多的像素參與平均運算，根據校正誤差的標準差閾值來判斷像素 的區域，對與中心像素(第i行j列像素)同一區域的像素分配較大的 權值，對不同區域的像素分配較小的權值。對于以第ij像素為中心的(2h+l)濾波窗口內的像素pq，其權值由下式確定<formula>formula see original document page 14</formula>;7為權值系數。加權濾波器的輸出即為期望值《,(")<formula>formula see original document page 14</formula>求得期望值&,(")后，再利用下式進行逐幀迭代校正-<formula>formula see original document page 14</formula> 其中K")為第n幀校正輸出，GJ")為第n幀增益校正系數，義為迭 代步長。對于以像素i, j為中心的3X3濾波窗口內的像素pq，其4鄰域權 值(Wl代表像素i-l， j的權值，稱上權值；W2代表像素i + l， j的權值， 稱下權值；W3代表像素i， j-l的權值，稱左權值；W4代表像素i， j + l的權值，稱右權值)由下式確定
<formula>formula see original document page 15</formula>"為權值系數,
加權濾波器的輸出即為期望值化W:
F 二『1. Z (")+『2. Z,+1(") +『3. Z",, (") +『4 Z,J+1 (") + Z,,y (")
求得期望值后，再利用下式進行逐幀迭代校正
^( ) = Gw(")-Z;J(") + I (") = j (" -1) - 2; (") 乂 (")-《v ("》 其中~(")為第n幀校正輸出，Gw.(")為第ri幀增益校正系數，義為迭 代步長。
傳統的神經網絡校正方法采用原始圖像計算期望信號，本發明的神 經網絡校正中采用校正輸出圖像計算期望信號，而且還增加了當前像素 用于期望估計，并且采用自適應加權濾波的方法計算期望值，因而本發 明能夠有效地克服傳統神經網絡校正存在的目標退化、鬼影等缺陷。本 發明提出的基于場景統計和神經網絡校正相結合的方法與一點校正和神 經網絡相結合的方法都能夠很好地消除空間低頻噪聲。但當圖像背景不斷變化時， 一點校正與神經網絡相結合的方法就會因為初始采樣背景圖 像與運動背景圖像存在差異而使校正效果變差，當這種誤差增加時，校 正誤差也隨之增加，甚至目標會被淹沒在背景中。本發明基于場景統計 和神經網絡相結合的校正方法，是利用場景相關性不斷地進行統計，實 時地更新背景圖像。在場景連續變化的實時校正中，本發明的方法校正 效果好，抑制了目標退化和鬼影，背景圖像的變化對校正效果幾乎沒有 影響。
權利要求
1.一種基于場景統計的神經網絡非均勻性校正方法，其特征在于，具體包括以下步驟初始化圖像相關矩陣及參數；根據圖像像素灰度值進行盲元檢測及補償；采用場景統計法對圖像偏置進行非均勻性校正；采用神經網絡校正法，根據校正誤差的標準差閾值判斷圖像像素的區域屬性，對場景統計校正后且不含低頻空間噪聲的圖像進行增益非線性校正，獲得圖像的期望輸出值。
2. 根據權利要求1所述的神經網絡非均勻性校正方法，其特征在于，所述盲元檢測及補償具體包括根據圖像像素灰度值計算像素響應率； 以響應率為中心，査找最大和最小的圖像像素灰度均值4^、 A"去掉Aax、萬，，再計算窗口內剩余圖像像素灰度平均值^;對各像素點進行盲 元判定，由此確定盲元的位置，并將盲元矩陣中相應位置的圖像像素置l; 最后，對檢測出的盲元位置用盲元像素4鄰域均值代替補償，得到去除盲 元的圖像。
3. 根據權利要求l所述的神經網絡非均勻性校正方法，其特征在于所 述場景統計法具體為根據原始圖像的時域均值計算原始圖像的輸入均 值￡[《，,]，由圖像在空間上的相關性計算圖像像素的校正輸出均值五[^]， 用當前幀的原始圖像;^.( )減去原始圖像輸入均值^^"，得到不包含低 頻空間噪聲的圖像像素灰度值(w)。
4. 根據權利要求l所述的神經網絡非均勻性校正方法，其特征在于， 所述判斷圖像像素的區域屬性具體包括，采用自適應加權平均濾波器， 對同一區域的像素分配較大的權值，對不同區域的像素分配較小的權值， 由加權平均濾波器的權值『^(")確定輸出的圖像期望值i^(")。
5. 根據權利要求2所述的神經網絡非均勻性校正方法，其特征在于，確定盲元位置的具體方法為當滿足條件A-^^^9或者A-^^^9^ 5譲時，該位置為盲元，否則為有效像素。
6. 根據權利要求2所述的神經網絡非均勻性校正方法，其特征在于， 所述計算像素響應率的具體步驟為以連續k幀圖像序列像素灰度值的時 域均值作為當前幀各像素響應率^。
全文摘要
本發明請求保護一種基于場景統計的神經網絡非均勻性校正方法，屬于紅外焦平面探測領域。針對傳統神經網絡校正方法難以消除低頻空間噪聲的不足，提出一種基于場景統計的神經網絡非均勻性校正方法。該方法包括，初始化圖像相關矩陣及參數；根據圖像像素灰度值進行盲元檢測及補償；采用場景統計法對圖像偏置進行非均勻性校正；采用神經網絡校正法，根據校正誤差的標準差閾值判斷像素的區域屬性，對場景統計校正后且不含低頻空間噪聲的圖像進行增益非線性校正。本發明獲得圖像期望信號的校正效果好，抑制了目標退化及鬼影，背景圖像的變化對校正效果幾乎沒有影響。該方法可廣泛應用于圖像探測處理中。
文檔編號G01J5/00GK101666682SQ20091010455
公開日2010年3月10日 申請日期2009年8月6日 優先權日2009年8月6日
發明者代少升, 吳傳璽, 將清平, 張天騏 申請人:重慶郵電大學