專利名稱：從因隔行采樣引起降質的圖像中重建超分辨率圖像的方法
技術領域：
本發明涉及一種從因隔行采樣引起降質的圖像中重建超分辨率圖像的方法。
背景技術：
隨著各種成像傳感器的廣泛使用，圖像質量成為實際應用中的關健。隔行采樣成像(采集)技術是為獲得更加高速的視頻采集頻率而形成的技術，在大量的應用中使用的都是隔行采樣成像的傳感器或者隔行采樣的采集卡。但這種技術的缺點是當場景中的景物和成像平臺之間出現較大的運動時，隔行采樣會導致圖像中出現柵格狀的降質，稱為“隔行采樣柵格”。如圖1所示，圖像中出現了明顯的“隔行采樣柵格”，嚴重影響了圖像的質量。
圖像隔行采樣的工作原理，如圖2所示，在示意圖的左側的一列是輸入的原始圖像，經過隔行采樣，得到了中間列的奇/偶數行圖像序列，隔行采樣的輸出是右側的一列由相鄰的奇數和偶數行圖像合成的完整圖像。當被拍攝的場景中存在較大的運動時(如圖2示出的一輛運動的汽車)，會出現明顯的隔行采樣柵格，這種結果導致了圖像質量的下降。隔行采樣的雖然能夠以比較高的幀速率進行記錄和顯示，但隔行采樣柵格導致了圖像質量的下降，這種現象是不容忽視的。目前還沒有有效的方法能夠克服隔行采樣帶來的這種缺陷。
發明內容
本發明旨在提供一種從因隔行采樣引起降質的圖像中重建超分辨率圖像的方法，以保證隔行采樣圖像最終消除“隔行采樣柵格”，并提高圖像的分辨率。
本發明提供的這種從因隔行采樣引起降質的圖像中重建超分辨率圖像的方法，包括以下步驟a、將隔行采樣獲得的大小為N1×N2的低分辨率圖像序列{Yi|i＝0，...，P}中每幀圖像的奇數和偶數行分別提出，并分別組成大小為N1×N2/2的奇數行圖像和偶數行圖像；b、將步驟a獲得的大小為N1×N2/2的奇數行圖像和偶數行圖像組成新的圖像序列{Si|i＝0，...，2P}；c、對新序列{Si|i＝0，...，2P}進行超分辨率處理得到高分辨率結果圖像。
根據隔行采樣的原理，從本發明的步驟a到步驟b完成的新圖像序列{Si}的建立{Si}中，已經不存在“隔行采樣柵格”，再利用現有的超分辨率技術進行處理，因此能得到消除“隔行采樣柵格”的高分辨率圖像。圖4是發明人對圖1利用本發明方法進行了處理的圖像，比較這兩幅圖，圖1明顯存在“隔行采樣柵格”，而圖4卻沒有，圖像非常清淅，體現了本發明顯著的有益效果。這對民用安防監視、軍事偵察、航天對地觀測等領域具有重要的實用價值。
圖1是用隔行采樣獲取的低分辨率圖像序列中的一幀圖像(一艘船)；圖2是圖像隔行采樣的工作原理示意圖；圖3是用本發明的方法對圖像隔行分解的工作原理圖；圖4是本發明的方法對圖1所示的圖像序列恢復重建的高分辨率圖像。
具體實施例方式
實施方式一當運動是由于相機的抖動等因素導致的成像圖像的整體運動，即當圖像中只存在一種運動時，新序列{Si}中的場景的運動是一致的。這種情況下，從因隔行采樣引起降質的圖像中重建超分辨率圖像的方法，只需按下述三個步驟順次進行超分辨率重建處理即可a、將隔行采樣獲得的大小為N1×N2的低分辨率圖像序列{Yi|i＝0，...，P}中每幀圖像的奇數和偶數行分別提出，并分別組成大小為N1×N2/2的奇數行圖像和偶數行圖像；b、將步驟a獲得的大小為N1×N2/2的奇數行圖像和偶數行圖像組成新的圖像序列{Si|i＝0，...，2P}；c、對新序列{Si|i＝0，...，2P}進行超分辨率處理得到高分辨率結果圖像。
實施方式二當新圖象序列{Si}中存在著景物的運動，除了上述三個步驟外，在執行完b步驟后，應將步驟b獲得的圖像序列進行運動檢測和分割，將{Si}中的場景分割為若干一致運動的區域；通過上述步驟c，對各一致運動區域進行超分辨率處理；最后將獲得的各區域高分辨率圖像進行拼合，恢復到與原始場景一致的高分辨率圖像。
下面是用本發明方法針對從隔行采樣成像的低分辨率(N1×N2)圖像序列{Yi}進行重建超分辨率圖像的詳細步驟首先對每個圖像進行單個圖像的隔行分解。將圖像Yi的奇數行取出并按照順序組成一張高度為原始尺寸一半(N1×N2/2)的圖像記為Voi；同樣，將圖像Yi的偶數行取出并按照順序組成一張高度為原始尺寸一半(N1×N2/2)的圖像記為Yei。記圖像序列{Yoi；Yei/i＝0，..，P}為{Si/i＝0，..，2P}，{Si}作為新的圖像序列。后續的處理都是針對{Si}進行的。根據隔行采樣的原理，在{Si}中已經不存在隔行采樣柵格。如圖3所示。
接著對得到的新序列{Si}進行運動檢測和分割(當運動是由于相機的抖動等因素導致的成像圖像的整體運動，即當圖像中只存在一種運動時，這個步驟可以省去)。
如果新序列{Si}中存在著景物的運動，在連續的幾幀圖像的采樣間隔內，每個獨立運動的景物的圖像區域可以近似為是具有一致性運動的，不同的獨立運動景物的運動存在差異。后續的超分辨率重建是針對具有一致仿射變換運動的區域進行的，因此，需要對獨立運動的景物(圖像區域)進行分割，以便后續進行超分辨率處理。運動檢測與分割的方法在現有技術中很多，例如，可以使用幀間差運動檢測和分割方法。
運動分割將整個場景分割為若干一致運動的區域{Rk|k＝0，...，K}。超分辨率重建是對每個運動一致區域進行的。當處理區域Rk時，首先將隔行分解的新序列{Si}的每幀圖像中與Rk對應的區域保留，并將圖像中其它部分統一置為0。這樣，得到只包含區域Rk的序列{SRk|k＝0，...，2P}。以每個區域的{SRi}進行超分辨率處理得到該區域的高分辨率的高分辨率結果圖像，將這些圖像組合后得到整個場景的高分辨率結果圖像。
本發明使用的超分辨率技術是現有技術，本發明對于超分辨率處理包括兩個基本步驟首先需要對圖像序列進行準確的運動估計。圖像序列運動估計的基礎是兩幀圖像間的運動估計。本實施方式采用一階泰勒展開的運動估計方法。
假設參考圖像f1(x，y)與圖像fk(x，y)之間的關系表示為[式1]fk(x，y)＝f1(x cos(θk)-y sin(θk)+hk，x sin(θk)+y cos(θk)+vk)當兩幀圖像間運動較小時，進行泰勒展開，并進行近似。得到[式2]fk(x，y)＝f1(x，y)+(hk-yθk)gx(x，y)+(vk+xθk)gy(x，y)式中gx(x，y)，gy(x，y)這f1(x，y)的偏微分。
使用最小二乘方法可以求解以上方程得到平移量h，v，和旋轉角θ，上式只能在偏移量和旋轉角較小的時候求解，對于較大的偏移量和旋轉角，可以通過迭代的方法求解。
得到了精確的運動估計后，就可以進行超分辨率重建了。高分辨率圖像重建方法已經發展了多種。這些方法的共同特征是通過最優化方法近似求解使誤差函數最小化的高分辨率圖像。這些方法均適用于本發明，例如，如下的目標函數[式3]E(z)=Σm=1PM(fm-Σr=1NWm,rZr)2+λΣi=1N(Σj=1NαijZj)2]]>其中fi是序列中圖像序列中的第i個像素；PM是圖像序列的總像素數；Wm，r是高分辨率圖像Z的第r個像素對fm的貢獻，是由運動估計得到的；N是Z中的總像素數；λ是經驗常量；參數α是正則化參數，定義如下 使用梯度下降法，可以求解使得目標函數最小的高分辨率圖像Z。
通常的超分辨率處理中高分辨率圖像的x方向放大倍數N1和y方向的放大倍數N2是一致的。本發明中使用了N2＝2×N1，這樣將保證恢復出的圖像與原始圖像具有一致的和寬比。
參見圖4，這是圖1所示的圖像經本發明方法處理后得到的圖像，已經消除了采樣柵格，恢復到與原始場景一致的高分辨率圖像。
本發明就每個步驟所涉及技術來說，都是可以用本技術領域的常識做到的，但這些步驟組合起來形成一種從隔行采樣的圖像捕獲設備獲得的帶有隔行采樣柵格效應的低分辨率圖像中恢復和重建超分辨率圖像的技術方法，的確對本領域作出了重要貢獻，它可以保證隔行采樣圖像最終消除“隔行采樣柵格”，而恢復到與原始場景一致的高分辨率圖像。
權利要求
1.一種從因隔行采樣引起降質的圖像中重建超分辨率圖像的方法，包括以下步驟a、將隔行采樣獲得的大小為N1×N2的低分辨率圖像序列{Yi|i＝0，...，P}中每幀圖像的奇數和偶數行分別提出，并分別組成大小為N1×N2/2的奇數行圖像和偶數行圖像；b、將步驟a獲得的大小為N1×N2/2的奇數行圖像和偶數行圖像組成新的圖像序列{Si|i＝0，...，2P}；c、對新序列{Si|i＝0，...，2P}進行超分辨率處理得到高分辨率結果圖像。
2.根據權利要求1所述從因隔行采樣引起降質的圖像中重建超分辨率圖像的方法，其特征在于對所述步驟b獲得的圖像序列進行運動檢測和分割，將{Si}中的場景分割為若干一致運動的區域；通過所述步驟c，對各一致運動區域進行超分辨率處理；最后將獲得的各區域高分辨率圖像進行拼合，恢復到與原始場景一致的高分辨率圖像。
全文摘要
本發明公開了一種從因隔行采樣引起降質的圖像中重建超分辨率圖像的方法，該方法包括以下步驟a、將隔行采樣獲得的大小為N
文檔編號H04N7/015GK1889631SQ200610031779
公開日2007年1月3日 申請日期2006年6月6日 優先權日2006年6月6日
發明者王程 申請人:王程