專利名稱：一種基于自適應(yīng)訓(xùn)練庫(kù)的塊域人臉超分辨率重建方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理(主要是圖像恢復(fù))領(lǐng)域，針對(duì)低質(zhì)量監(jiān)控視頻中人臉圖像恢復(fù)的需求，具體涉及一種基于自適應(yīng)訓(xùn)練庫(kù)的塊域人臉超分辨率重建方法。
背景技術(shù)：
近年來(lái)，隨著安防監(jiān)控系統(tǒng)的快速發(fā)展，監(jiān)控取證在安全防范、犯罪取證等領(lǐng)域發(fā)揮著越來(lái)越重要的作用，其中人臉圖像取證是監(jiān)控取證的重要關(guān)注點(diǎn)之一。然而由于監(jiān)控錄像中，攝像頭與目標(biāo)人臉距離較遠(yuǎn)、惡劣天氣(雨霧等)、光照條件差等原因引起的嚴(yán)重模糊和噪聲，監(jiān)控錄像中捕獲的人臉圖像可用像素極低，圖像的恢復(fù)、辨識(shí)往往受到嚴(yán)重的阻礙。因此，為減少圖像噪聲、模糊對(duì)辨識(shí)的干擾，提升低質(zhì)量圖像分辨率，一般采用人臉超分辨率技術(shù)來(lái)對(duì)低質(zhì)量人臉圖像進(jìn)行高分辨率恢復(fù)。人臉超分辨率技術(shù)顧名思義，就是用技術(shù)手段從低分辨率人臉圖像中恢復(fù)出高分辨率人臉圖像。人臉超分辨率技術(shù)可以大致分為兩類基于重建的方法和基于學(xué)習(xí)的方法兩類。人臉超分辨率問(wèn)題是一個(gè)解無(wú)窮的問(wèn)題，因?yàn)橐环唾|(zhì)量圖像可能對(duì)應(yīng)多幅不同高質(zhì)量圖像?；谥亟ǖ姆椒ǖ闹饕枷刖褪窍Ｍㄟ^(guò)加入先驗(yàn)約束縮小求解范圍以獲得最優(yōu)高分辨率人臉圖像。而基于學(xué)習(xí)的方法[1，2，3，4，5]的思想是希望通過(guò)統(tǒng)計(jì)學(xué)習(xí)的方法，通過(guò)掌握在庫(kù)的高低分辨率圖像對(duì)中存在的空間關(guān)系，來(lái)從低質(zhì)量的人臉圖像恢復(fù)出高分辨率的人臉圖像。目前基于學(xué)習(xí)的方法中，以下幾種較具代表性2004年，Chang[l]等首次將流形學(xué)習(xí)算法引入到圖像超分辨率重構(gòu)中，提出了一種鄰域嵌入的圖像超分辨率重構(gòu)算法。CeLiu[2]提出一種人臉圖像超分辨率重構(gòu)的兩步法，先根據(jù)局部保持投影和徑向基函數(shù)回歸得到全局的人臉圖像，再由基于局部重建的方法補(bǔ)償人臉特征的細(xì)節(jié)信息。2005年，Wang和Tang[3]提出一種基于全局臉的人臉超分辨率方法，通過(guò)分別構(gòu)建高低分辨率子空間，將求得的低分辨率圖像在子空間的表達(dá)系數(shù)投影到高分辨率空間上而獲得高分辨率圖像。Sung Won Park[4]提出一種基于局部保持投影的自適應(yīng)流形學(xué)習(xí)方法，從局部子流形分析人臉的內(nèi)在特征，重構(gòu)出低分辨率圖像缺失的高頻成分。綜上所述，現(xiàn)有的基于學(xué)習(xí)的經(jīng)典方法大多僅按照傳統(tǒng)的技術(shù)思路學(xué)習(xí)固定人臉庫(kù)高低分辨率統(tǒng)計(jì)關(guān)系，通過(guò)學(xué)習(xí)方法的提高改進(jìn)來(lái)提高超分辨率恢復(fù)效果。缺乏對(duì)訓(xùn)練信息的甄選和約束，以及冗余訓(xùn)練信息的剔除，對(duì)訓(xùn)練信息的特定性沒(méi)有做出較為有效的提高措施。在處理一般人臉超分辨率問(wèn)題可以得到不錯(cuò)的效果，但是圖像質(zhì)量很低的時(shí)候，像素會(huì)遭到嚴(yán)重的毀壞混疊，冗余的訓(xùn)練信息會(huì)嚴(yán)重干擾超分的恢復(fù)結(jié)果，效果并不令人滿意。相關(guān)文獻(xiàn)[I]H. Chang, D. -Y. Yeung, and Y. Xiong, uSuper-resolution through neighborembedding, ” in Proc.1EEE Conf. Comput. Vis. Pattern Recog.，Jul. 2004，pp. 275 - 282.[2] C. Liuj H. Shumj and W. T. Freeman. "Face ha I lucinat ion: Theory andpractice'International Journal of Computer Vision, 75 (I) :115 - 134, 2007.[3] X. Wang and X. Tang. Hallucinating face by eigentrans form.1EEE Transactions on Systems,Man, and Cybernetics,Part C:Applications andReviews, 34 (3), pp. 425-434，2005.[4] Sung Won Park, Savvides, M. "Breaking the Limitation of ManifoldAnalysis for Super-Resolution of Facial Images", ICASS P, pp:573-576,2007.[5]H. Huang, H. He, X. Fan, and J. Zhang. Super-resolution of human face imageusing canonical correlation analysis. Pattern Recognition, 43(7):2532 - 2543, 2010
發(fā)明內(nèi)容
本發(fā)明的目的在于針對(duì)上述現(xiàn)有技術(shù)的問(wèn)題，提供一種魯棒性的人臉超分辨率重建方法，在監(jiān)控環(huán)境下人臉圖像損毀嚴(yán)重時(shí)，顯著提高人臉恢復(fù)圖像的視覺(jué)感受。本發(fā)明的技術(shù)方案為一種基于自適應(yīng)訓(xùn)練庫(kù)的塊域人臉超分辨率重建方法，包括以下步驟步驟I，獲得高分辨率人臉圖像庫(kù)Ys和相應(yīng)的低分辨率人臉圖像庫(kù)Xs，高分辨率人臉圖像庫(kù)Ys中所有高分辨率人臉圖像位置對(duì)齊，低分辨率人臉圖像庫(kù)Xs中的低分辨率人臉圖像與高分辨率人臉圖像庫(kù)Ys中的高分辨率人臉圖像一一對(duì)應(yīng)；步驟2，將高分辨率人臉圖像庫(kù)Ys中的每幅高分辨率人臉圖像和低分辨率人臉圖像庫(kù)Xs中的每幅低分辨率人臉圖像分別進(jìn)行重疊分塊；在任一幅圖像中，每個(gè)圖像塊所在的位置表示為位置標(biāo)號(hào)(i，j)，1、j分別表示圖像塊所在位置的行和列；步驟3，將低分辨率人臉圖像庫(kù)Xs中的所有低分辨率人臉圖像處于位置標(biāo)號(hào)為(i, j)的圖像塊進(jìn)行聚類處理；步驟4，對(duì)待處理低分辨率人臉圖像X與高分辨率人臉圖像庫(kù)Ys中高分辨率人臉圖像的位置對(duì)齊，并用步驟2中進(jìn)行重疊分塊的方法對(duì)對(duì)齊后的待處理低分辨率人臉圖像X分塊，用Xij代表待處理低分辨率人臉圖像X處于位置標(biāo)號(hào)為(i，j)的圖像塊；步驟5，對(duì)圖像塊Xij，設(shè)在低分辨率人臉圖像庫(kù)Xs中的所有低分辨率人臉圖像處于位置標(biāo)號(hào)為(i，j)的圖像塊構(gòu)成集合S，用類別選擇和近鄰篩選分別從集合S中取得對(duì)應(yīng)集合A和B，將集合A和B取并集得到圖像塊Xu的低分辨率最優(yōu)相關(guān)訓(xùn)練集C，得到與低分辨率最優(yōu)相關(guān)訓(xùn)練集內(nèi)圖像塊C對(duì)應(yīng)的高分辨率最優(yōu)相關(guān)訓(xùn)練集Ch ；步驟6，形成圖像塊Xij的自適應(yīng)訓(xùn)練庫(kù)，包括對(duì)低分辨率最優(yōu)相關(guān)訓(xùn)練集C做主成分分析，求得最優(yōu)低分辨率圖像基；對(duì)高分辨率最優(yōu)相關(guān)訓(xùn)練集Ch做主成分分析，求得最優(yōu)高分辨率圖像基；步驟7，基于最優(yōu)低分辨率圖像基和最優(yōu)高分辨率圖像基對(duì)圖像塊Xij進(jìn)行塊域重建，得到相應(yīng)高分辨率重建塊yu ；步驟8，將各位置的高分辨率重建塊拼接組合成為重建高分辨率圖像yt。而且，位置對(duì)齊通過(guò)仿射變換對(duì)齊特征點(diǎn)的方式實(shí)現(xiàn)，仿射變換的方法如下，通過(guò)對(duì)作為樣本的所有高分辨率人臉圖像相加除以樣本個(gè)數(shù)計(jì)算出平均臉，設(shè)(X/ ,Ii')是平均臉上第i個(gè)特征點(diǎn)的坐標(biāo)，(Xi，yi)為待對(duì)齊的人臉圖像上對(duì)應(yīng)的第i個(gè)特征點(diǎn)的坐標(biāo)，設(shè)仿射變換矩陣為
權(quán)利要求
1.一種基于自適應(yīng)訓(xùn)練庫(kù)的塊域人臉超分辨率重建方法，其特征在于，包括以下步步驟1，獲得高分辨率人臉圖像庫(kù)1和相應(yīng)的低分辨率人臉圖像庫(kù)Xs，高分辨率人臉圖像庫(kù)Ys中所有高分辨率人臉圖像位置對(duì)齊，低分辨率人臉圖像庫(kù)Xs中的低分辨率人臉圖像與高分辨率人臉圖像庫(kù)Ys中的高分辨率人臉圖像一一對(duì)應(yīng)；步驟2，將高分辨率人臉圖像庫(kù)Ys中的每幅高分辨率人臉圖像和低分辨率人臉圖像庫(kù) Xs中的每幅低分辨率人臉圖像分別進(jìn)行重疊分塊；在任一幅圖像中，每個(gè)圖像塊所在的位置表示為位置標(biāo)號(hào)(i，j)，1、j分別表示圖像塊所在位置的行和列；步驟3，將低分辨率人臉圖像庫(kù)Xs中的所有低分辨率人臉圖像處于位置標(biāo)號(hào)為(i，j) 的圖像塊進(jìn)行聚類處理；步驟4，對(duì)待處理低分辨率人臉圖像X與高分辨率人臉圖像庫(kù)Ys中高分辨率人臉圖像的位置對(duì)齊，并用步驟2中進(jìn)行重疊分塊的方法對(duì)對(duì)齊后的待處理低分辨率人臉圖像X分塊，用Xij代表待處理低分辨率人臉圖像X處于位置標(biāo)號(hào)為(i，j)的圖像塊；步驟5，對(duì)圖像塊Xij，設(shè)在低分辨率人臉圖像庫(kù)Xs中的所有低分辨率人臉圖像處于位置標(biāo)號(hào)為(i，j)的圖像塊構(gòu)成集合S，用類別選擇和近鄰篩選分別從集合S中取得對(duì)應(yīng)集合 A和B，將集合A和B取并集得到圖像塊的低分辨率最優(yōu)相關(guān)訓(xùn)練集C，得到與低分辨率最優(yōu)相關(guān)訓(xùn)練集內(nèi)圖像塊C對(duì)應(yīng)的高分辨率最優(yōu)相關(guān)訓(xùn)練集Ch ；步驟6，形成圖像塊的自適應(yīng)訓(xùn)練庫(kù)，包括對(duì)低分辨率最優(yōu)相關(guān)訓(xùn)練集C做主成分分析，求得最優(yōu)低分辨率圖像基；對(duì)高分辨率最優(yōu)相關(guān)訓(xùn)練集Ch做主成分分析，求得最優(yōu)高分辨率圖像基；步驟7，基于最優(yōu)低分辨率圖像基和最優(yōu)高分辨率圖像基對(duì)圖像塊Xij進(jìn)行塊域重建， 得到相應(yīng)高分辨率重建塊yu ；步驟8，將各位置的高分辨率重建塊拼接組合成為重建高分辨率圖像yt。
2.根據(jù)權(quán)利要求1所述基于自適應(yīng)訓(xùn)練庫(kù)的塊域人臉超分辨率重建方法，其特征在于位置對(duì)齊通過(guò)仿射變換對(duì)齊特征點(diǎn)的方式實(shí)現(xiàn)，仿射變換的方法如下，通過(guò)對(duì)作為樣本的所有高分辨率人臉圖像相加除以樣本個(gè)數(shù)計(jì)算出平均臉，設(shè) (X/ ,Ii')是平均臉上第i個(gè)特征點(diǎn)的坐標(biāo)，(Xi，yi)為待對(duì)齊的人臉圖像上對(duì)應(yīng)的第i 個(gè)特征點(diǎn)的坐標(biāo)，設(shè)仿射變換矩陣為
3.根據(jù)權(quán)利要求2所述基于自適應(yīng)訓(xùn)練庫(kù)的塊域人臉超分辨率重建方法，其特征在于步驟5用類別選擇和近鄰篩選分別從集合S中取得對(duì)應(yīng)集合A和B，實(shí)現(xiàn)方式如下，所述類別選擇，通過(guò)從集合S中挑選類別中心與圖像塊距離最小的類，然后將該類所有的圖像塊構(gòu)成集合A ;所述近鄰篩選，通過(guò)從集合S中選取歐式距離意義上與圖像塊Xij最接近的若干圖像塊構(gòu)成子集B。
4.根據(jù)權(quán)利要求3所述基于自適應(yīng)訓(xùn)練庫(kù)的塊域人臉超分辨率重建方法，其特征在于步驟6所述對(duì)低分辨率最優(yōu)相關(guān)訓(xùn)練集做主成分分析，求得最優(yōu)低分辨率圖像基，實(shí)現(xiàn)方式如下，假定低分辨率最優(yōu)訓(xùn)練集C由N個(gè)pXp圖像塊[c’ ij; c’ 2, ij; . . .，c’ N, ,j]組成，設(shè)其中任一圖像塊記為c' n；iJ, η的取值為1，2，…Njfc' n;ij拉成PXp的列向量Ciuj,得到集合[k u，c2；iJ,... ·，cN，u]，對(duì)低分辨率最優(yōu)訓(xùn)練集C通過(guò)對(duì)C1, u，c2jiJ,cN；iJ取平均求得P X P的列向量均值，記為低分辨率均值cm_ ;低分辨率最優(yōu)訓(xùn)練集C減去Cm_之后，得到低分辨率最優(yōu)訓(xùn)練集C的殘差矩陣P；.y, 2_y記為f表示c' U」減去C_所得值；最優(yōu)低分辨率圖像基E由如下公式求得，E = C7VA 1 2其中V為矩陣f X 的特征向量矩陣；Λ的主軸線上是V的各個(gè)特征列向量對(duì)應(yīng)的特征值，其余元素全部為零，即Λ為矩陣Cxfτ的特征值矩陣；步驟6所述對(duì)高分辨率最優(yōu)相關(guān)訓(xùn)練集做主成分分析，求得最高低分辨率圖像基，實(shí)現(xiàn)方式如下，假定高分辨率最優(yōu)訓(xùn)練集Ch由N個(gè)pXp圖像塊[c’ hl, ,j, c’ h2, ij; ...,C1m, ,j]組成，設(shè)其中任一圖像塊記為的取值為1，2，…N ;將Cjhnjij拉成pXp的列向量Ctaij,得到集合[chl, u，ch2jiJ,cM, u]，對(duì)高分辨率最優(yōu)訓(xùn)練集Ch通過(guò)對(duì)Chl,ij，Ch2,ij，· · ·，ChN, ij 取干均求得pXp的列向量均值，記為低分辨率均值Ctarean ;高分辨率最優(yōu)訓(xùn)練集Ch減去Chm_之后，得到高分辨率最優(yōu)訓(xùn)練集Ch的殘差矩陣，…，記為G表示C’ ^ij減去Ctarean所得值；最優(yōu)低分辨率圖像基Eh由如下公式求得，Eh = ChVhKv2其中Vh為矩陣X C/的特征向量矩陣；Λ h的主軸線上是Xh的各個(gè)特征列向量對(duì)應(yīng)的特征值，其余元素全部為零，即Ah為矩陣ζ, X 的特征值矩陣。
5.根據(jù)權(quán)利要求4 所述基于自適應(yīng)訓(xùn)練庫(kù)的塊域人臉超分辨率重建方法，其特征在于步驟7所述基于最優(yōu)低分辨率圖像基和最優(yōu)高分辨率圖像基對(duì)圖像塊Xij進(jìn)行塊域重建，實(shí)現(xiàn)方式如下，計(jì)算圖像塊Xij在對(duì)應(yīng)最優(yōu)低分辨率圖像基中的表達(dá)系數(shù)coeff如下，Coeff=E^1X (Xij-CmeJ將表達(dá)系數(shù)coeff投影到最優(yōu)高分辨率圖像基Eh構(gòu)成的高維空間中，投影公式如下， yv = ChVA-1'2 xcoe/f+ cAw_得到相應(yīng)高分辨率重建塊yij。
全文摘要
本發(fā)明提供了一種基于自適應(yīng)訓(xùn)練庫(kù)的塊域人臉超分辨率重建方法。此種新的基于學(xué)習(xí)的方法，首先將高低分辨率訓(xùn)練圖像對(duì)統(tǒng)一分塊，在以位置為單位的塊集合內(nèi)部進(jìn)行聚類處理。然后對(duì)輸入圖像的每一個(gè)塊，在對(duì)應(yīng)位置訓(xùn)練塊集上做出自適應(yīng)選擇，根據(jù)近鄰選擇和自適應(yīng)類別選擇，篩選出自適應(yīng)的訓(xùn)練集，然后在低分辨率塊通過(guò)在該自適應(yīng)訓(xùn)練集中做主成分分析系數(shù)投影恢復(fù)高頻細(xì)節(jié)。以此解決或減輕噪點(diǎn)嚴(yán)重的人臉圖像(如監(jiān)控圖像)超分辨率恢復(fù)中的噪聲問(wèn)題。
文檔編號(hào)G06T5/50GK103049897SQ20131002762
公開(kāi)日2013年4月17日 申請(qǐng)日期2013年1月24日 優(yōu)先權(quán)日2013年1月24日
發(fā)明者胡瑞敏, 陳亮, 韓鎮(zhèn), 沈亞君, 周治龍, 胡孟凌, 涂小萌, 夏洋, 盧濤, 江俊君 申請(qǐng)人:武漢大學(xué)