一種基于雙層流形約束的人臉超分辨率處理方法及系統的制作方法
【技術領域】
[0001] 本發明屬于圖像處理和圖像恢復技術領域，具體涉及一種基于雙層流形約束的人 臉超分辨率處理方法及系統。
【背景技術】
[0002] 人臉超分辨率技術是通過輔助訓練庫，學習高低分辨率對應關系，進而達到從已 有的低分辨率人臉圖像中估計出高分辨率人臉圖像的目的。人臉超分辨率現在被廣泛應用 于多個領域，其中最具代表性的領域之一就是監控錄像中的人臉圖像增強。隨著監控系統 的廣泛普及，監控視頻在刑事取證和刑偵調查過程中發揮著越來越重要的作用。而人臉圖 像作為直接證據之一，在案件分析和法庭取證中占據著重要的位置。然而，由于現有條件 下，目標嫌疑人與攝像頭距離相對較遠，捕捉到的監控人臉可用像素非常少，兼之真實情況 下由于惡劣天氣（例如：雨霧）、光照（例如:光照過強、過暗、明暗不均）、器件等因素對捕獲 的圖像引發的嚴重損毀(例如:嚴重的模糊和噪聲），圖像恢復、放大和辨識往往受到嚴重的 干擾。這就需要用到人臉超分辨率技術提升圖像分辨率，從低分辨率圖像恢復到高分辨率 圖像。
[0003] 為達到監控視頻人臉的有效恢復，改進算法甚至犧牲效率來換取算法的有效性和 易用性還是很有必要的（人臉對齊、大圖像庫引起的）。具體做法除了引入有效計算工具和 數據利用形式之外，還可以通過提出新的理論假設及約束模式解決這種問題。
[0004] 近年來，流形學習逐漸成為了人臉超分辨率的主流方法。這類方法的核心思想是： 描述低分辨率圖像的流形空間關系，尋找出每個低分辨率圖像數據點周圍的局部性質，然 后將低分辨率圖像的流形非線性地映射到高分辨率圖像的流形空間中，在高分辨率對應空 間上做投影，從而合成高分辨圖像。具有代表性的有以下幾種方法:2004年，Chang等首次將 流形學習法引入圖像超分辨率重構中，提出了一種鄰域嵌入的圖像超分辨率重構法(文獻 [lDdung Won Park提出一種基于局部保持投影的自適應流形學習方法(文獻[2])，從局 部子流形分析人臉的內在特征，重構出低分辨率圖像缺失的高頻成分。2005年，Wang提出一 種基于PCA(Principal component analysis，主成分分析)分解的方法(文獻[3])，把低分 辨率待處理圖像用低分辨率空間的主成分的線性組合表示，投影系數到對應的高分辨率主 成分空間獲得最終結果。該方法對早上具有較好的魯棒性，但是仍然在結果圖像的邊緣存 在鬼影、混疊的現象。2010年，Huang提出基于CCA(Canonical Correlation Analysis)的方 法(文獻[4])，通過將PCA空間延伸至CCA空間，進一步解決了這個問題。同年，Lan針對監控 環境下嚴重的模糊和噪聲導致的圖像像素損毀嚴重的問題，提出一種基于形狀約束的人臉 超分辨率方法(文獻[5])，在傳統PCA架構中添加形狀約束作為相似度度量準則，利用人眼 睛識別形狀時對干擾的魯棒性來人工添加形狀特征點作為約束，優化低質量圖像的重建結 果。綜上所述，現有的這些方法大多僅按照傳統的技術思路以圖像塊本身的子空間信息作 為目標學習庫進行高低分辨率關系學習，這種一對一的學習過程作為算法基礎。只考慮了 待處理圖像塊是處在一個流行空間中的，忽略了所有在庫的圖像塊都是處于流行空間中的 情況。因此雖然在處理一般環境下低質量圖像的過程中，可以得到不錯的效果。但是圖像質 量很低的時候，像素會遭到嚴重的毀壞混疊，圖像本身的子空間信息因此很容易遭到損壞， 用傳統方法恢復出來的圖像，效果并不令人滿意。
[0005] [文獻 1 ]H· Chang，D ·-Y · Yeung，and Y · Xiong，"Super-resolution through neighbor embedding，'，in Proc. IEEE Conf.Comput.Vis.Pattern Recog·，Jul·2004， pp.275-282.
[0006] [文獻2]Sung Won Park，Savvides，M. "Breaking the Limitation of Manifold Analysis for Super-Resolution of Facial Images"，ICASSP，pp:573-576，2007·
[0007] [文南犬3 ]Xiaogang Wang and Xiaoou Tang，"Hal lucinating face by eigentransformation，'，Systems，Man，and Cybernetics ,Part C:Applications and Reviews,IEEE Transactions on,vol.35,no.3,pp.425-434,2005.
[0008] [文南犬4]Hua Huang，Hui t ing He , Xin Fan , and JunpingZhang，"Super-resolution of human face image using canonical correlation analysis/'Pattern Recognition, vo 1.43 ,no. 7 ,pp. 2532-2543,2010
[0009] [文南犬5]C Lan，R Hu，Z Han，A face super-resolution approach using shape semantic mode regularization.IEEE International Conference on Image Processing(ICIP),2021-2024,26-29Sept.2010.
【發明內容】
[0010] 為了解決上述技術問題，本發明提供了一種基于雙層流形約束的人臉超分辨率處 理方法及系統，尤其適用于低質量監控視頻中人臉圖像的恢復。
[0011] 本發明的方法所采用的技術方案是:一種基于雙層流形約束的人臉超分辨率處理 方法，其特征在于，包括以下步驟：
[0012] 步驟1:構建訓練庫，所述訓練庫包含高分辨率人臉圖像庫及其對應的低分辨率人 臉圖像庫；
[0013] 取歸一化的清晰人臉圖像若干作為高分辨率圖像庫，將高分辨率圖像庫經過統一 下采樣過程得到低分辨率圖像庫；
[0014] 步驟2:采用相同的分塊方式將待處理低分辨率人臉圖像和訓練庫中圖像劃分為 具交疊部分的圖像塊，所述圖像塊為正方形，其邊長為psize;
[0015] 步驟3:對分塊后的待處理低分辨率人臉圖像中每一圖像塊，在對應位置的訓練庫 中低分辨率訓練塊集合中查找其近鄰塊，稱為直接近鄰，或者一層近鄰；
[0016] 步驟4:對分塊后的待處理低分辨率人臉圖像中每一圖像塊，查找其二層近鄰;其 具體實現包括以下子步驟：
[0017] 步驟4.1:根據高低分辨率對應關系，查找得到低分辨率圖像塊直接近鄰在訓練庫 中高分辨率訓練塊集合中的對應塊；
[0018] 步驟4.2:然后在高分辨率人臉圖像庫中，找到這些對應塊的近鄰，記下標號，稱之 為二層近鄰，或者間接近鄰；
[0019] 步驟4.3:將高分辨率人臉圖像庫中的二層近鄰標號投影到低分辨率人臉圖像庫 中，作為待處理低分辨率圖像塊的二層近鄰；
[0020] 步驟5:計算待處理低分辨率人臉圖像中圖像塊的一層近鄰和二層近鄰之間，在低 分辨率人臉圖像庫中的權重系數；
[0021] 步驟6:計算待處理低分辨率人臉圖像中圖像塊和一層近鄰之間，在低分辨率人臉 圖像庫中的權重系數；
[0022] 步驟7:利用約束公式，計算待處理低分辨率人臉圖像中圖像塊和二層近鄰之間的 權重；
[0023] 步驟8:取步驟7中低分辨率二層近鄰所對應的高分辨率二層近鄰，將步驟7中所獲 得的權重與高分辨率二層近鄰相乘，獲得待處理低分辨率人臉圖像中的圖像塊的高分辨率 圖像塊；
[0024]步驟9:拼接所有高分辨率人臉圖像塊，得高分辨率人臉圖像。
[0025] 作為優選，步驟1中所述構建訓練庫，是將高分辨率人臉圖像庫中高分辨率人臉圖 像位置對齊，并進行降質處理，得對應的低分辨率人臉圖像庫，高分辨率人臉圖像庫和低分 辨率人臉圖像庫構成訓練庫。
[0026] 作為優選，步驟2中采用相同的分塊方式將待處理低分辨率人臉圖像和訓練庫中 圖像劃分為具交疊部分的圖像塊，首先使待處理低分辨率人臉圖像與訓練庫中圖像大小相 同，且位置對齊。
[0027] 作為優選，所述位置對齊是采用仿射變換法進行位置對齊。
[0028] 作為優選，步驟3的具體實現過程是，對于待處理低分辨率人臉圖像χιη，假設在位 置i上的圖像塊為低分辨率人臉圖像庫設為X，X上在位置i的所有圖像塊記為X 1;竑在X1 上的K1個一層近鄰塊，K1