一種多幀超分辨圖像重建方法及系統(tǒng)與流程

本發(fā)明涉及圖像處理
技術(shù)領(lǐng)域：
，特別涉及一種多幀超分辨圖像重建方法及系統(tǒng)。
背景技術(shù)：
：當(dāng)前，多幀超分辨率重建可以分為兩個部分：圖像配準(zhǔn)與圖像重建。圖像配準(zhǔn)是超分辨率重建的關(guān)鍵技術(shù)之一，配準(zhǔn)的精度將直接影響到重建圖像的質(zhì)量。由于配準(zhǔn)時只能利用低分辨率圖像中的信息，因此很難達(dá)到比較精確的估計。多幀圖像超分辨重建是建立在準(zhǔn)確的亞像素級運動估計的基礎(chǔ)上的。目前，圖像配準(zhǔn)方法主要包括頻率域法和空間域法兩大類，超分辨重建采用最多的是空域方法中基于光流的方法，即在亮度不變假設(shè)下的基于像素特征的運動估計方法，但是光流法利用略去泰勒級數(shù)展開的高階項而建立的光流約束方程，對于大幅度的運動位移的誤差相對較大，配準(zhǔn)的魯棒性相對較差，從而直接影響最終的超分辨重建效果，而且，許多配準(zhǔn)算法的精度有待提高而且適用場合也非常有限，大多是在假設(shè)圖像之間的運動為微運動的前提條件下進(jìn)行的小倍數(shù)重建。傳統(tǒng)圖像配準(zhǔn)方法的弊端如下：基于光流場內(nèi)灰度變化的配準(zhǔn)算法在假定圖像間只存在仿射變化(平移+旋轉(zhuǎn))的前提下，通過計算仿射變換參數(shù)來計算圖像的整體偏移量，即配準(zhǔn)參數(shù)，沒有考慮場景內(nèi)因某些目標(biāo)的移動或生長或在景深方向的變化而引起的不同于整體位移的局部位移，而仿射變換是一種二維坐標(biāo)到二維坐標(biāo)之間的線性變換，保持二維圖形的“平直性”，即變換后直線還是直線不會打彎，圓弧還是圓弧，二維圖形間的相對位置關(guān)系不變，直線上點的位置順序不變，因此決定了該算法只能適用于具有整體偏移且在二維平面勻速運動的靜態(tài)圖像配準(zhǔn)和重建，例如，遙感圖像，醫(yī)學(xué)圖像等，對于視頻監(jiān)控系統(tǒng)的場景，例如，大部分靜止場景下只有少量目標(biāo)移動的停車場、高速公路卡口等則顯得力不從心。常用的仿射變換:旋轉(zhuǎn)、傾斜、平移、縮放。仿射變換的配準(zhǔn)參數(shù)雖然能精確到亞像素級，但是，在超分辨重建過程中對亞像素的配準(zhǔn)參數(shù)進(jìn)行了四舍五入，削弱了配準(zhǔn)精度，使亞像素配準(zhǔn)沒能完全真正地發(fā)揮作用?；诨叶鹊呐錅?zhǔn)對光照變化和噪聲非常敏感，當(dāng)光照度發(fā)生變化時，配準(zhǔn)參數(shù)不穩(wěn)定。實際的情況是，多幀序列圖像之間不但有仿射變化，還會有深度方向的旋轉(zhuǎn)、變形、遮擋等，顯然，單純的仿射變化已不足以表示一般的序列圖像之間的變化。在圖像獲取的過程中，序列中各幀圖像通常會受到各種因素的干擾而造成圖像質(zhì)量的退化，具體的干擾因素包括：由成像系統(tǒng)帶來的光學(xué)散焦、目標(biāo)運動引起的模糊、圖像下采樣、隨機噪聲的影響。圖像重建的目的就是利用低分辨率觀測序列圖像數(shù)據(jù)、配準(zhǔn)參數(shù)、已知的或通過估計得到的圖像模糊模型參數(shù)以及關(guān)于圖像平滑的假設(shè)和噪聲類型等相關(guān)先驗信息，借助一定的數(shù)學(xué)方法來獲取最終的高分辨率圖像的估計結(jié)果。超分辨率重建方法可以分為兩大類：頻域重建方法和空域重建方法，目前以空域重建方法為主，其中，正則化方法和凸集投影方法用的比較多。由于圖像在成像過程中噪聲就像電腦病毒一樣始終無法避免地存在著，無論哪一種重建方法都無法做到準(zhǔn)確估計成像過程中的噪聲模型以及去噪方法，因而也就無法徹底消噪，而且低分辨圖像經(jīng)過插值放大后，噪聲也隨之被放大，進(jìn)一步加大了噪聲影響，降低了超分辨圖像的質(zhì)量，這是超分辨重建方法的另一個需要改進(jìn)的地方。所以，創(chuàng)造一種改進(jìn)的多幀超分辨重建方法，一方面采用了先進(jìn)的圖像配準(zhǔn)算法提高圖像配準(zhǔn)精度，同時應(yīng)用起來更靈活方便，另一方面在圖像重建之后增加了去噪環(huán)節(jié)，以去掉超分辨過程被放大的噪聲，提高超分辨圖像的清晰度，成為一個亟待解決的問題。技術(shù)實現(xiàn)要素：本發(fā)明提供一種多幀超分辨圖像重建方法及系統(tǒng)，一方面采用了先進(jìn)的圖像配準(zhǔn)算法提高圖像配準(zhǔn)精度，同時應(yīng)用起來更靈活方便，另一方面在圖像重建之后增加了去噪環(huán)節(jié)，以去掉超分辨過程被放大的噪聲，提高超分辨圖像的清晰度。本發(fā)明提供一種多幀超分辨圖像重建方法，包括：讀入多幀圖像，并選取其中一幀圖像作為配準(zhǔn)的參考幀；選定一幀低分辨率圖像，計算所述低分辨率圖像相對于所述參考幀的亞像素位移；根據(jù)多幀低分辯圖像像素及其相對于所述參考幀的亞像素位移關(guān)系計算高分辨率重建圖像；重建一幅或一序列的高分辨率圖像；輸出所述高分辨率圖像。根據(jù)圖像局部特征描述算子SIFT計算所述低分辨率圖像相對于所述參考幀的亞像素位移，具體包括：SIFT特征提??；SIFT特征匹配；消除錯誤匹配和透視變換。所述方法具體包括：SIFT特征提?。涸诟咚共罘殖叨瓤臻g檢測極值點；精確定位極值點；為關(guān)鍵點分配方向；生成關(guān)鍵點描述子；SIFT特征匹配：經(jīng)過上述提取SIFT特征提取之后，每個SIFT特征以128維的向量描述子表示；SIFT特征匹配時，對一幀圖像中每個SIFT特征關(guān)鍵點描述子，從另一幀圖像的所有特征關(guān)鍵點描述子集合中運用最近鄰查詢BBF搜索算法進(jìn)行向量匹配，距離最短的向量即為匹配的特征向量；消除錯配：用隨機抽樣一致性RANSAC算法去掉錯誤匹配，尋找兩個匹配圖像之間的最優(yōu)變換矩陣；透視變換：根據(jù)RANSAC算法的計算結(jié)果，從所述匹配圖像中選定一個參考圖像，對另一幅圖像做透視變換，經(jīng)過逆向雙線性插值。所述方法還包括：融合多幀低分辨率圖像的信息到高分辨率網(wǎng)格上；通過去噪、去模糊重建一幅或一序列的高分辨率圖像。所述去噪方法，還包括：對含噪聲信號進(jìn)行小波變換；對變換得到的小波系數(shù)進(jìn)行處理，以去除其中包含的噪聲；對處理后的小波系數(shù)進(jìn)行小波逆變換，得到去噪后的信號。所述方法還包括:將含噪信號在各尺度上進(jìn)行小波分解，設(shè)定一個閾值，幅值低于該閾值的小波系數(shù)置為0，高于該閾值的小波系數(shù)或者完全保留，或者做相應(yīng)的收縮處理；將處理后獲得的小波系數(shù)用逆小波變換進(jìn)行重構(gòu)，得到去噪后的圖像。所述對變換得到的小波系數(shù)進(jìn)行處理，包括：在閾值去噪中，閾值函數(shù)體現(xiàn)了對超過和低于閾值的小波系數(shù)不同處理策略；設(shè)w表示小波系數(shù)，T為給定閾值，sign(*)為符號函數(shù)，根據(jù)如下閾值函數(shù)計算：硬閾值函數(shù)：wnew=w,|w|≥T0,|w|<T]]>軟閾值函數(shù)：wnew=sgn(w)(|w|-T),|w|≥T0,|w|<T]]>其中，σn是噪聲標(biāo)準(zhǔn)方差，N是信號的長度。一種多幀超分辨圖像重建系統(tǒng)，包括參考幀獲取單元，用于讀入多幀圖像，并選取其中一幀圖像作為配準(zhǔn)的參考幀；位移計算單元，用于選定一幀低分辨率圖像，計算所述低分辨率圖像相對于所述參考幀的亞像素位移；重建圖像單元，用于根據(jù)多幀低分辯圖像像素及其相對于所述參考幀的亞像素位移關(guān)系計算高分辨率重建圖像；重建一幅或一序列的高分辨率圖像；輸出圖像單元，用于輸出所述高分辨率圖像。所述位移計算單元還包括：SIFT特征提取子單元，用于在高斯差分尺度空間檢測極值點；精確定位極值點；為關(guān)鍵點分配方向；生成關(guān)鍵點描述子；SIFT特征匹配子單元，用于經(jīng)過上述提取SIFT特征提取之后，每個SIFT特征以128維的向量描述子表示；SIFT特征匹配時，對一幀圖像中每個SIFT特征關(guān)鍵點描述子，從另一幀圖像的所有特征關(guān)鍵點描述子集合中運用最近鄰查詢BBF搜索算法進(jìn)行向量匹配，距離最短的向量即為匹配的特征向量；消除錯配子單元，用于用隨機抽樣一致性RANSAC算法去掉錯誤匹配，尋找兩個匹配圖像之間的最優(yōu)變換矩陣；透視變換子單元，用于根據(jù)RANSAC算法的計算結(jié)果，從所述匹配圖像中選定一個參考圖像，對另一幅圖像做透視變換，經(jīng)過逆向雙線性插值。所述重建圖像單元，還包括：融合子單元，用于融合多幀低分辨率圖像的信息到高分辨率網(wǎng)格上；去噪子單元，用于通過去噪、去模糊重建一幅或一序列的高分辨率圖像。本發(fā)明實施例中，由于采用了上述技術(shù)方案，與現(xiàn)有技術(shù)相比，一方面采用了先進(jìn)的圖像配準(zhǔn)算法提高圖像配準(zhǔn)精度，同時應(yīng)用起來更靈活方便，另一方面在圖像重建之后增加了去噪環(huán)節(jié)，以去掉超分辨過程被放大的噪聲，提高超分辨圖像的清晰度。本發(fā)明的其它特征和優(yōu)點將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點可通過在所寫的說明書、權(quán)利要求書、以及附圖中所特別指出的結(jié)構(gòu)來實現(xiàn)和獲得。下面通過附圖和實施例，對本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。附圖說明附圖用來提供對本發(fā)明的進(jìn)一步理解，并且構(gòu)成說明書的一部分，與本發(fā)明的實施例一起用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的限制。在附圖中：圖1為本發(fā)明實施例1提供的多幀超分辨圖像重建方法原理流程圖。圖2為本發(fā)明實施例2提供的多幀超分辨圖像重建系統(tǒng)結(jié)構(gòu)示意圖。圖3為本發(fā)明實施例2提供的位移計算單元22結(jié)構(gòu)示意圖。圖4為本發(fā)明實施例2提供的重建圖像單元23結(jié)構(gòu)示意圖。具體實施方式以下結(jié)合附圖對本發(fā)明的優(yōu)選實施例進(jìn)行說明，應(yīng)當(dāng)理解，此處所描述的優(yōu)選實施例僅用于說明和解釋本發(fā)明，并不用于限定本發(fā)明。如圖1所示，為本發(fā)明實施例1提供的一種多幀超分辨圖像重建方法原理流程圖，其中，步驟11，讀入多幀圖像，并選取其中一幀圖像作為配準(zhǔn)的參考幀；步驟12，選定一幀低分辨率圖像，計算所述低分辨率圖像相對于所述參考幀的亞像素位移；步驟13，根據(jù)多幀低分辯圖像像素及其相對于所述參考幀的亞像素位移關(guān)系計算高分辨率重建圖像；重建一幅或一序列的高分辨率圖像；步驟14，輸出所述高分辨率圖像。其中，SIFT算子(ScaleInvariantFeatureTransform)是DavidLowe提出的一種基于尺度空間的、對圖像縮放、旋轉(zhuǎn)甚至仿射變換保持不變性的圖像局部特征描述算子。所述SIFT圖像配準(zhǔn)系統(tǒng)包括四個部分：SIFT特征提取，SIFT特征匹配，消除錯誤匹配和透視變換；SIFT特征提取包含以下四個過程：在高斯差分尺度空間檢測極值點；精確定位極值點；為關(guān)鍵點分配方向；生成關(guān)鍵點描述子。SIFT特征匹配：經(jīng)過上述提取SIFT特征提取之后，每個SIFT特征以128維的向量描述子表示。特征匹配時，對一副圖像中每個SIFT特征描述子，從另一幅圖像的所有特征描述子集合中運用BBF搜索算法進(jìn)行向量匹配，距離最短的向量即為匹配的特征向量。BBF(BestBinFirst)是一種改進(jìn)的k-d樹最近鄰查詢算法。BBF是一種改進(jìn)的k-d樹最近鄰查詢算法。從前兩篇標(biāo)準(zhǔn)的k-d樹查詢過程可以看出其搜索過程中的“回溯”是由“查詢路徑”來決定的，并沒有考慮查詢路徑上數(shù)據(jù)點本身的一些性質(zhì)。BBF的查詢思路就是將“查詢路徑”上的節(jié)點進(jìn)行排序，如按各自分割超平面(稱為Bin)與查詢點的距離排序?；厮輽z查總是從優(yōu)先級最高的(BestBin)的樹節(jié)點開始。另外BBF還設(shè)置了一個運行超時限制，當(dāng)優(yōu)先級隊列中的所有節(jié)點都經(jīng)過檢查或者超出時間限制時，算法返回當(dāng)前找到的最好結(jié)果作為近似的最近鄰。采用了best-bin-firstsearch方法就可以將k-d樹擴(kuò)展到高維數(shù)據(jù)集上。消除錯配：用RANSAC算法去掉錯誤匹配，尋找兩個匹配圖像之間的最優(yōu)變換矩陣。RANSAC為RANdomSampleConsensus的縮寫，隨機抽樣一致性算法。RANSAC算法的基本假設(shè)是樣本中包含正確數(shù)據(jù)(inliers，可以被模型描述的數(shù)據(jù))，也包含異常數(shù)據(jù)(outliers，偏離正常范圍很遠(yuǎn)、無法適應(yīng)數(shù)學(xué)模型的數(shù)據(jù))，即數(shù)據(jù)集中含有噪聲。這些異常數(shù)據(jù)可能是由于錯誤的測量、錯誤的假設(shè)、錯誤的計算等產(chǎn)生的。同時RANSAC也假設(shè)，給定一組正確的數(shù)據(jù)，存在可以計算出符合這些數(shù)據(jù)的模型參數(shù)的方法。透視變換：根據(jù)上述變換矩陣的計算結(jié)果，從匹配圖像中選定一個參考圖像，對另一幅圖像做透視變換，經(jīng)過逆向雙線性插值，得到配準(zhǔn)后圖像。圖像重建過程中，根據(jù)多幀低分辯圖像像素及其相對位移關(guān)系計算高分辨率重建圖像；序列圖像的超分辨率重建需要融合多幅低分辨率圖像的信息到高分辨率網(wǎng)格上，然后通過去噪步驟、去模糊步驟來重建一幅或一序列的高分辨率圖像。所述去噪步驟為：對含噪聲信號進(jìn)行小波變換；對變換得到的小波系數(shù)進(jìn)行處理，以去除其中包含的噪聲；對處理后的小波系數(shù)進(jìn)行小波逆變換，得到去噪后的信號。具體處理過程為：將含噪信號在各尺度上進(jìn)行小波分解，設(shè)定一個閾值，幅值低于該閾值的小波系數(shù)置為0，高于該閾值的小波系數(shù)或者完全保留，或者做相應(yīng)的“收縮”處理.最后將處理后獲得的小波系數(shù)用逆小波變換進(jìn)行重構(gòu)，得到去噪后的圖像。小波閾值收縮法是Donoho和Johnstone提出的，其主要理論依據(jù)是，小波變換具有很強的去數(shù)據(jù)相關(guān)性，它能夠使信號的能量在小波域集中在一些大的小波系數(shù)中；而噪聲的能量卻分布于整個小波域內(nèi)。因此，經(jīng)小波分解后，信號的小波系數(shù)幅值要大于噪聲的系數(shù)幅值。可以認(rèn)為，幅值比較大的小波系數(shù)一般以信號為主，而幅值比較小的系數(shù)在很大程度上是噪聲。于是，采用閾值的辦法可以把信號系數(shù)保留,而使大部分噪聲系數(shù)減小至零。所述對變換得到的小波系數(shù)進(jìn)行處理，指的是在閾值去噪中，閾值函數(shù)體現(xiàn)了對超過和低于閾值的小波系數(shù)不同處理策略，是閾值去噪中關(guān)鍵的一步；設(shè)w表示小波系數(shù)，T為給定閾值，sign(*)為符號函數(shù)，常見的閾值函數(shù)有：硬閾值函數(shù)：wnew=w,|w|≥T0,|w|<T---(1)]]>軟閾值函數(shù)：wnew=sgn(w)(|w|-T),|w|≥T0,|w|<T---(2)]]>其中，σn是噪聲標(biāo)準(zhǔn)方差，N是信號的長度。本發(fā)明實施例，一方面采用了先進(jìn)的圖像配準(zhǔn)算法提高圖像配準(zhǔn)精度，同時應(yīng)用起來更靈活方便，另一方面在圖像重建之后增加了去噪環(huán)節(jié)，以去掉超分辨過程被放大的噪聲，提高超分辨圖像的清晰度。如圖2所示，為本發(fā)明實施例2提供的一種多幀超分辨圖像重建系統(tǒng)結(jié)構(gòu)示意圖，具體如下：參考幀獲取單元21，用于讀入多幀圖像，并選取其中一幀圖像作為配準(zhǔn)的參考幀；位移計算單元22，用于選定一幀低分辨率圖像，計算所述低分辨率圖像相對于所述參考幀的亞像素位移；重建圖像單元23，用于根據(jù)多幀低分辯圖像像素及其相對于所述參考幀的亞像素位移關(guān)系計算高分辨率重建圖像；重建一幅或一序列的高分辨率圖像；輸出圖像單元24，用于輸出所述高分辨率圖像。具體的，如圖3所示，為本實施例中位移計算單元22結(jié)構(gòu)示意圖，其中還包括：SIFT特征提取子單元221，用于在高斯差分尺度空間檢測極值點；精確定位極值點；為關(guān)鍵點分配方向；生成關(guān)鍵點描述子；SIFT特征匹配子單元222，用于經(jīng)過上述提取SIFT特征提取之后，每個SIFT特征以128維的向量描述子表示；SIFT特征匹配時，對一幀圖像中每個SIFT特征關(guān)鍵點描述子，從另一幀圖像的所有特征關(guān)鍵點描述子集合中運用最近鄰查詢BBF搜索算法進(jìn)行向量匹配，距離最短的向量即為匹配的特征向量；消除錯配子單元223，用于用隨機抽樣一致性RANSAC算法去掉錯誤匹配，尋找兩個匹配圖像之間的最優(yōu)變換矩陣；透視變換子單元224，用于根據(jù)RANSAC算法的計算結(jié)果，從所述匹配圖像中選定一個參考圖像，對另一幅圖像做透視變換，經(jīng)過逆向雙線性插值。進(jìn)一步的，如圖4所示，為本實施例中重建圖像單元23的結(jié)構(gòu)示意圖，其中還包括：融合子單元231，用于融合多幀低分辨率圖像的信息到高分辨率網(wǎng)格上；去噪子單元232，用于通過去噪、去模糊重建一幅或一序列的高分辨率圖像。綜上所述，本發(fā)明實施例中，由于采用了上述技術(shù)方案，與現(xiàn)有技術(shù)相比，一方面采用了先進(jìn)的圖像配準(zhǔn)算法提高圖像配準(zhǔn)精度，同時應(yīng)用起來更靈活方便，另一方面在圖像重建之后增加了去噪環(huán)節(jié)，以去掉超分辨過程被放大的噪聲，提高超分辨圖像的清晰度。本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本發(fā)明的實施例可提供為方法、系統(tǒng)、或計算機程序產(chǎn)品。因此，本發(fā)明可采用完全硬件實施例、完全軟件實施例、或結(jié)合軟件和硬件方面的實施例的形式。而且，本發(fā)明可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(zhì)(包括但不限于磁盤存儲器和光學(xué)存儲器等)上實施的計算機程序產(chǎn)品的形式。本發(fā)明是參照根據(jù)本發(fā)明實施例的方法、設(shè)備(系統(tǒng))、和計算機程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計算機程序指令實現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個機器，使得通過計算機或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。這些計算機程序指令也可存儲在能引導(dǎo)計算機或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。這些計算機程序指令也可裝載到計算機或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計算機或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計算機實現(xiàn)的處理，從而在計算機或其他可編程設(shè)備上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。顯然，本領(lǐng)域的技術(shù)人員可以對本發(fā)明進(jìn)行各種改動和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動和變型在內(nèi)。當(dāng)前第1頁1 2 3