基于多區塊的單幀圖像的超分辨率重建的裝置、系統和方法

專利名稱：基于多區塊的單幀圖像的超分辨率重建的裝置、系統和方法
基于多區塊的單幀圖像的超分辨率重建的裝置、系統和方法
技術領域：
本發明涉及圖像和視頻處理，特別涉及用于圖像超分辨率的裝置、系統和方法。背景技木超分辨率(SR)方法g在從低分辨率(LR)圖像中復原出超過奈奎斯特頻率的新的高分辨率(HR)信息。SR方法適用于HDTV、視頻通信、視頻監控、醫學成像和其它應用。最近，由單個LR輸入圖像重建HR圖像的基于樣本(example-based)的SR (通常也被稱為“幻象(hallucination)”)，已經成為ー種有前景的技術，因為其能夠克服傳統多圖像超分辨率方法的ー些限制，且能夠以較低的計算和存儲器成本來實現。
基于樣本的SR方法假設丟失的HR細節能夠從具有代表性的訓練集(trainingset)或LR圖像本身學習和推斷出。例如，圖象預測模型可以依賴于ー個包括了樣本的低頻信息和剰余高頻信息數據構成的數據庫，而該數據庫是通過ー個訓練集來建立的。在進行超分辨率處理時，將LR圖像分成多個重疊的區塊。對每個區塊，根據樣本區塊的低頻成分在數據庫里進行搜索以確定相應的高頻成分用于重建。其它這類代表性的方法包括基于核嶺回歸(Kernel Ridge Regression based)的 SR 方法、基于稀疏編碼(Sparse Coding)的SR方法等。這些類型的SR方法能夠對整個圖像產生真實感很強的高清晰細節；但是，如果數據庫中缺乏相關樣本，就會在生成的圖像中產生噪聲，特別是彎曲邊緣會出現不規則的噪聲。此外，基于數據庫的通常需要花費更多的計算時間、耗費更多存儲器，這使得高效的硬件實現變得非常困難。另ー個基于樣本的SR方法采用圖像的自相似(self-similarity)特性，即自然圖像中的小區塊會在該圖像內多次重現的特性。在一個現有技術的方法里，在相同圖像尺度(scale)內和若干較小圖像尺度之間的區塊重現被用來發掘亞像素級的錯位和低分辨率/高分辨率區塊對中所包含的高頻信息。該方法使用一個統ー的框架來發掘著兩種信息，并采用近似最鄰近(ANN)算法來加速區塊搜索。在另ー個方法里，使用輸入LR圖像的圖像金字塔，在線建立ー個低分辨率/高分辨率區塊對的字典，并且使用組合稀疏約束(groupsparsity constraint)來進行優化。通過在字典里使用ANN搜索,重建HR圖像。在又ー個方法里，根據自然圖像的局部自相似特性，將區塊捜索局限在10X10的范圍內，而不是整個輸入圖像，從而極大地降低了區塊搜索的復雜度，同時不會影響大多數重建圖像的質量。在又ー個方法里，提出了ー種非局部反投影(non-local back-pro jection)方法,利用在小窗口內進行局部捜索以恢復非局部冗余以及抑制“鋸齒”偽影和振鈴效應。與其它前述的算法中較小的圖像放大步長(如由4X4放大到5X5)相比，該方法運行ー次便將圖像在每個方向上都放大2倍，因此對于一般的應用，連續使用該方法一到兩次便可以達到目標圖像所需的放大率。上述基于樣本的SR算法通常計算量龐大，因為對每個像素或區塊，本方法需要在數據庫/字典、圖像金字塔或圖像的局部區域里捜索高分辨率的區塊。盡管已經有很多降低計算復雜性的方法被提出，但SR的計算復雜性仍然很高，成為SR技術商業應用ー個主要障礙。
發明概述本發明的實施例包括基于多區塊的單幀圖像超分辨率重建的裝置、系統和方法。在此使用的“圖像”是指通過攝取對應物體的光線或光磁輻射而獲得的ー個物體視覺表象。圖像可以包括ー個靜止圖像或ー個視頻幀。這類實施例可以包括一種基于尺度不變自相似(SiSS)的超分辨率方法。不同于在數據庫里或LR圖像里捜索HR樣本，本實施例可以根據區塊本身的SiSS特性來選擇區塊，而不需要涉及任何捜索，因而可以降低SR方法的計算復雜性。為了解決自然圖像中缺乏相關樣本的問題，本實施例可以在HR圖像重建時采用多形狀和多尺寸的區塊。另外，實施例可以包括使用ー個混合加權方法步驟來抑制偽影(artifact)。本方法的某些實施例比基于區塊搜索的SR方法快l(Tl000倍，并獲得相當的HR圖像質量。在一個實施例里，一個從單個低分辨率圖像產生高分辨率圖像的方法包括將所 述低分辨率圖像分割成具有多種形狀和尺寸的大量的重疊區塊。另外，本方法可以包括按照順序處理各個區塊。在一個實施例里，本方法包括比較整個區塊與其中心區域以獲得每個區塊的尺度不變自相似性。本方法也可以包括選擇尺度不變自相似性大于某個閾值的區塊。另外，本方法可以包括使用加權的低分辨率區塊來重建所述低分辨率區塊中心區域對應的高分辨率圖像。另外，本方法可以包括應用反投影(back-projection)到重建的圖像。在一個實施例里，多形狀區塊包括完整區塊和被從區塊中心點到邊界的一條或多條直線分割的部分區塊。比較區塊及其中心區域可以包括將區塊或部分區塊縮小到跟中心區域相同的尺寸，并計算原始區塊(或部分區塊)中心區域與縮小的區塊(或部分區塊)之間的相似性度量。在一個特別實施例里，選擇步驟還包括將以同一位置為中心的多種形狀的區塊分割成多個子集，在每個子集里選擇其相似性大于ー個閾值且相似性為前N個最大的區塊。在另ー個實施例里，重建步驟包括使用相似性度量計算第一權重；線性映射區塊中心區域的每個像素到區塊的對應像素，使用區塊和中心區域的對應像素之間的亮度差計算每個像素的第二權重；通過合并第一和第二權重來獲得每個像素的權重，井分別計算該區塊里的像素與其它與之相重疊的區塊里的像素的加權和。在另ー個實施例里，中心區域與區塊或部分區塊的形狀相同。并且，如果區塊是完整區塊，則中心區域以區塊的中心點為中心；如果區塊是部分區塊，則其中心區域是以對應的完整區塊的中心點為中心。中心區域尺寸和區塊尺寸之間的比例與低分辨率圖像和放大的高分辨率圖像之間的尺寸比例相同。在另ー個實施例里，計算相似性度量的步驟還包括使用ー個加法樹來計算整個區塊以及同一位置上相應部分區塊的相似性度量。前述已經相當廣泛地闡述了本發明的特征和技術優勢，由此將更加容易理解以下本發明的詳細描述。本發明的其他特征和優勢將在其后描述，此構成本發明的權利要求部分。本領域普通技術人員應該理解，在此披露的概念和特定實施例可以作為一個基礎，用來修改或設計其它結構來執行本發明的相同目的。本領域普通技術人員也應該認識到，這種等同的構造沒有脫離由所附權利要求闡述的本發明精神和范圍。被看作本發明特征的新穎性特征，無論是其組織還是運行方法，與其它目的和優勢一起，通過以下的描述并結合附圖，將會得到更好的理解。但是，需要強調的是，每個附圖僅是用作描述和敘述，并不是意圖限制本發明。

為了更完整地理解本發明，現結合附圖參照以下的描述，其中圖1A描述ー個從低分辨率圖像或視頻幀產生高分辨率圖像或視頻幀的方法實施·例；圖1B描述使用SiSS度量進行超分辨率重建；圖1C描述ー個區塊融合運算的實施例；圖2A描述ー個包括SiSS和非SiSS區塊的實例圖像；圖2B-E描述圖2A所示圖像里標記的區塊和部分區塊；圖3描述ー個使用多形狀區塊來處理非SiSS區塊的方法實施例；圖4描述ー個使用多尺寸區塊來處理非SiSS區塊的方法實施例；圖5描述ー個具有離群像素的區塊及其中心區域的例子；圖6是ー個實施例的基于多區塊的超分辨率方法流程圖；圖7描述幾種區塊幾何形狀的實施例；圖8描述幾種部分區塊的形狀模式和相應中心區域的實施例；圖9描述ー個從單個圖像或視頻幀的基于多區塊的超分辨率的系統實施例；圖10描述ー個基于多區塊的超分辨率系統的視頻處理系統實施例；圖11描述ー個從單個圖像或視頻幀的基于多區塊的超分辨率的裝置實施例；和圖12描述在1/2像素圖像里進行4x4像素區塊的SiSS計算的例子。
發明詳述圖1A描述ー個從低分辨率圖像或視頻幀102產生高分辨率圖像或視頻幀的實施例方法。如上所述，可以使用超分辨率方法來將低分辨率自然圖像或視頻幀102轉換成高分辨率圖像或視頻幀104，以便顯示在高分辨率顯示器裝置上或用于圖像或視頻處理、分析、傳輸或其它功能的裝置上。自相似性是自然圖像102的一個特征，即圖像中某種局部視覺內容在相同或不同的尺度(scale)上將重復出現。基于這個假設，可以通過在輸入LR圖像102里以ー個或多個尺度捜索相似的區塊來確定該低分辨率區塊對應的高分辨率區塊，然后將該高分辨率區塊用于重建HR圖像104。在一個實施例里，該局部視覺內容在每個尺度上的外觀都相同。這種現象可以被稱為尺度不變自相似性(SiSS)，在自然圖像里通常發生在諸如邊緣和拐角等局部結構中。該現象可以更嚴格地描述為，給定ー個包括某局部結構的圖像區塊P，通過以下公式可以度量P的SiSS特性
s/'ss = minf/'(Cs(P), Ds(P)))
s，(I)
其中Ds( )表示ー個尺度比例因子為s的下采樣運算，Cs( )是具有跟隊(の相同尺寸的P的中心區域，F( )是區塊對區塊的相似性度量。大的SiSS數值表示在相似性度量F( )下，該局部結構在任何尺度上都具有相同的外觀。進ー步，我們可以假設如果ー個局部視覺內容在某個分辨率上滿足SiSS，其將在更高分辨率上保持其結構和SiSS特性。類似的假設已經在邊緣剖面梯度銳度的統計研究里得到部分證明，即邊緣剖面的梯度銳度分布在不同分辨率上保持不變。與上述邊緣剖面的梯度銳度的度量不同，本實施例中所述的SiSS不僅可以描述邊緣的特性，而且可以描述自然圖像中更為一般的局部結構諸如拐角的特性。如果區塊P具有較高的SiSS，P及其中心區域Cs(P)可以被看作是同一局部視覺內容的ー個高分辨率/低分辨率對(high-resolution/low-resolution pair),即P為該局部視覺內容的高分辨率表示，而Cs(P)為相應的低分辨率表示。在此前提下，可以拷貝P作為Cs(P)的一個高分辨率實例，對Cs(P)進行超分辨率重建。換言之，不同于已有SR方法中搜索相似區塊的方法，本發明實施例通過測量局部視覺內容的SiSS，并選擇那些最合適的區塊來直接重建高分辨率的內容。由于本實施例不需要進行區塊搜索，因此能夠以相對較低的計算成本重建高分辨率圖像。圖1B描述使用以上SiSS測量和區塊選擇的圖像重建過程。輸入圖像被分成多個互相重疊的小區塊。如圖所示，假設其中一個區塊A滿足SiSS特性，B是A的中心區域，且B和A尺寸的比例與低分辨率輸入圖像和放大的高分辨率圖像尺寸的比例相同。由于區塊A滿足SiSS特性，我們可以將A看作是B的高分辨率實例。進ー步，假設區域C是區塊B被放大后對應的位置，則當我們重建該放大圖像時，可以直接拷貝A到C作為B的高分辨率重建結果。顯而易見，區塊A將比使用雙三次插值或其它類似技術直接放大B而得到的結果包含更多的原始圖像細節信息，因此重建的圖像不僅保持了邊緣銳度，而且具有更多的圖像細節信息。我們可以將公式(I)所述的SiSS準則進ー步放寬到某一特定的尺度比例因子。假設P(x，y)是尺寸為WXW的方形區塊，并假設尺度比例因子為2，我們將負的均方差(MSE)作為相似性度量，則SiSS度量可以簡化為
權利要求
1.一個方法，包括接收具有第一分辨率的第一圖像，用以轉換成具有第二分辨率的第二圖像；將所述第一圖像分割成多個區塊，所述區塊具有不同的屬性；對具有不同屬性的各個區塊進行處理以便選擇其中的一部分，選擇的條件包括該區塊的尺度不變自相似性數值高于一個閾值；和使用具有選擇的不同屬性的各個區塊，將所述第一圖像轉換成所述第二圖像。
2.根據權利要求1所述的方法，其中所述不同屬性包括區塊的尺寸。
3.根據權利要求1所述的方法，其中所述不同屬性包括區塊的形狀。
4.根據權利要求3所述的方法，其中所述每個區塊包括一個或多個部分區塊，所述每個部分區塊具有不同的形狀。
5.根據權利要求3所述的方法，其中所述每個部分區塊包括一個或多個形狀，其由從區塊中心點到區塊邊界的一條或多條線確定。
6.根據權利要求1所述的方法，還包括將整個區塊與整個區塊的中心區域進行比較以確定所述尺度不變自相似性數值。
7.根據權利要求6所述的方法，其中所述將整個區塊與整個區塊的中心區域進行比較包括縮小所述整個區塊到和所述中心區域有相同的尺寸。
8.根據權利要求1所述的方法，還包括計算所述整個區塊的中心區域和所述縮小的整個區塊之間的一個相似性數值。
9.根據權利要求1所述的方法，其中所述每個區塊包括一個區域，其與一個或多個其它區塊重疊。
10.根據權利要求1所述的方法，還包括應用反投影到所述第二圖像。
11.根據權利要求9所述的方法，其中所述將第一圖像轉換成第二圖像還包括根據所述自相似性數值計算第一加權數值；將所述整個區塊或部分區塊的中心區域的每個像素映射到所述整個區塊或部分區塊上的對應像素；使用所述整個區塊或部分區塊的對應像素和所述整個區塊或部分區塊的中心區域之間的差異，計算所述整個區塊或部分區塊上每個像素的第二權重；合并所述第一權重和所述第二權重以確定一個綜合加權數值；和根據所述綜合加權數值，分別計算所述區塊的各個區塊內像素和與之重疊的區塊中對應位置像素的加權和。
12.根據權利要求6所述的方法，其中所述整個區塊中心區域的部分區域的形狀由所述部分區塊確定。
13.根據權利要求12所述的方法，其中所述區塊中心區域是以所述區塊的中心點為中心。
14.根據權利要求6所述的方法，其中所述整個區塊和所述整個區塊中心區域之間的比例，與所述第一圖像和所述第二圖像之間的比例相同。
15.根據權利要求6所述的方法，其中所述計算一個相似性數值還包括使用一個加法樹，計算所述整個區塊和一個或多個相應部分區塊的尺度不變自相似性度量。
16.一個系統,包括一個輸入端，其被設置以接收具有第一分辨率的第一圖像，用以轉換成具有第二分辨率的第二圖像；和 一個圖像處理器，其被連接到所述輸入端，并被設置成 將所述第一圖像分割成多個區塊，所述區塊具有不同的屬性； 對具有不同屬性的各個區塊進行處理以便選擇其中的一部分，選擇的條件包括該區塊的尺度不變自相似性數值高于一個閾值；和 使用具有選擇的不同屬性的每個區塊，將所述第一圖像轉換成所述第二圖像。
17.根據權利要求16所述的系統，其中所述不同屬性包括區塊尺寸。
18.根據權利要求16所述的系統，其中所述不同屬性包括區塊形狀。
19.根據權利要求18所述的系統，其中所述每個區塊包括一個或多個部分區塊，每個部分區塊有不同的形狀。
20.根據權利要求18所述的系統，其中所述每個部分區塊包括一個或多個形狀，其由從所述區塊中心點到所述區塊邊界的一條或多條線確定。
21.根據權利要求16所述的系統，其中所述圖像處理器還被設置以比較所述整個區塊和所述整個區塊中心區域，從而確定所述尺度不變數值。
22.根據權利要求21所述的系統，其中所述比較整個區塊和整個區塊中心部分包括縮小所述整個區塊到跟所述中心區域具有相同的尺寸。
23.根據權利要求16所述的系統，其中所述圖像處理器還被設置以計算所述整個區塊中心區域和縮小的整個區塊之間的一個相似性數值。
24.根據權利要求16所述的系統，其中所述每個區塊包括一個與另一個區塊重疊的區域。
25.根據權利要求24所述的系統，其中所述圖像處理器還被設置以 計算所述多個區塊的每個區塊上的像素的權重；和 計算權重和，作為所述與另一個區塊重疊區域里像素的最終像素數值。
26.根據權利要求16所述的系統，其中所述圖像處理器還被設置以應用反投影到所述第二圖像。
27.根據權利要求24所述的系統，其中所述將第一圖像轉換成第二圖像還包括 根據所述自相似性數值，計算第一權重數值； 將所述整個區塊或部分區塊的中心區域的每個像素映射到所述整個區塊或部分區塊上的對應像素； 使用所述整個區塊或部分區塊的對應像素和所述整個區塊或部分區塊的中心區域之間的差異，計算所述整個區塊或部分區塊里每個像素的第二權重； 合并所述第一權重和所述第二權重以確定一個綜合權重數值；和根據所述綜合權重數值，分別計算所述區塊的各個區塊內像素和與之重疊的區塊中對應位置像素的加權和。
28.根據權利要求21所述的系統，其中所述整個區塊中心區域的部分區域的形狀由所述部分區塊確定。
29.根據權利要求28所述的系統，其中所述區塊中心區域是以所述區塊的中心點為中心。
30.根據權利要求21所述的系統，其中所述整個區塊和所述整個區塊中心區域之間的比例，跟所述第一圖像和所述第二圖像之間的比例相同。
31.根據權利要求21所述的系統，其中所述計算一個相似性數值還包括使用一個加法樹，計算所述整個區塊和一個或多個對應部分區塊的尺度不變自相似性度量。
全文摘要
本發明包括從單個視頻幀進行基于多區塊的超分辨率重建的裝置、系統和方法。實施例包括一個基于尺度不變自相似性(SiSS)的超分辨率方法。不同于在數據庫或者低分辨率(LR)圖像里搜索高分辨率(HR)樣本，本實施例可以根據區塊本身的SiSS特性來選擇區塊，從而不需要涉及任何搜索，能夠降低本方法的計算復雜性。為了解決在自然圖像里缺乏相關樣本的問題，本實施例可以采用多形狀和多尺寸的區塊用于HR圖像重建。另外，實施例可以包括一個混合加權方法的步驟用于抑制偽影。本方法的實施例比基于區塊樣本搜索的超分辨率方法快10~1000倍，并獲得相當的HR圖像質量。
文檔編號G06T5/50GK103020897SQ20121047285
公開日2013年4月3日 申請日期2012年11月20日 優先權日2012年9月28日
發明者梁路宏, 趙京雄, 林彥民 申請人:香港應用科技研究院有限公司