基于貝葉斯推斷的人臉畫像合成方法
【專利摘要】本發明公開了一種基于貝葉斯推斷的人臉畫像合成方法，主要解決現有方法在近鄰尋找或者在權值求解階段沒有考慮相鄰圖像塊之間的相似性約束問題。其方案是：1.劃分訓練畫像樣本集、訓練照片樣本集和測試樣本集；2.將所有圖像劃分成圖像塊，并組成塊集合；3.將訓練照片塊集合與對應的畫像塊集合劃分為多個子集；4.從訓練照片?畫像塊集合中選擇出最近鄰塊；5.將最近鄰塊按歐式距離從訓練照片?畫像塊集合中進行近鄰塊再選擇，對求解再選近鄰塊的線性組合權值；6.依據近鄰塊和組合權值，求解待合成畫像塊；7.迭代執行步驟5?6共N次，融合得到最終的合成畫像。本發明具有合成結果清晰度高、細節更完整的優點，可用于人臉檢索與識別。
【專利說明】
基于貝葉斯推斷的人臉畫像合成方法
技術領域
[0001] 本發明是屬于圖像處理的技術領域，更進一步涉及一種人臉畫像合成方法，可用 于刑偵破案中的人臉檢索與識別。
【背景技術】
[0002] 人臉畫像合成在數字娛樂和刑偵破案中作用巨大。例如在3D巧克力打印中，通常 需要利用人臉畫像合成算法合成一張黑白畫像來作為打印機的打印軌跡;在刑偵破案過程 中往往并不總能得到犯罪嫌疑人的照片，得到的經常是目擊者的一些描述或視頻圖像資 料，為了快速破案，可行的方案是根據目擊者描述及視頻圖像提供的線索繪制一幅畫像，進 而通過畫像進行身份確認。但由于人臉照片和畫像在成像機制、形狀和紋理方面都存在較 大的差異，直接采用現有的人臉識別技術在公民照片數據庫中對畫像進行識別，其識別率 非常低。為了減小畫像與照片之間的差異，可以將公民照片數據庫中的照片利用畫像合成 技術轉換為畫像，進而再進行素描手繪畫像和合成畫像之間的比對。
[0003] 現有的人臉畫像合成通常基于以下三種方法：
[0004] 其一，是基于局部線性的人臉畫像合成方法，如Liu等人在文獻"Q.S.Liu and X.0.Tang,A nonlinear approach for face sketch synthesis and recognition, in Proc · IEEE Int · Conference on Computer Vision,pp · 1005-1010,2005 ·" 中提出了一種借 助局部線性來近似全局非線性的方法將照片轉化成合成畫像。該方法的實施方式是:首先 將訓練集中的照片-畫像對及待變換照片劃分成相同大小及相同重疊區域的圖像塊，對于 待變換照片的每一個照片塊在訓練照片塊中尋找它的K個近鄰照片塊，然后將K個照片塊對 應的畫像塊進行加權組合得到待合成畫像塊，最后將所有的待合成畫像塊融合得到合成畫 像。但是該方法存在的不足之處是：由于沒有將相鄰圖像塊之間的相似性約束考慮進模型 內，導致合成結果存在塊效應和細節模糊的缺陷。
[0005] 其二，是基于馬爾可夫網絡模型的人臉畫像合成方法，如Wang等人在文獻 uX. Wang , and X. Tang ,uFace Photo-Sketch Synthesis and RecognitionIEEE Transactions on Pattern Analysis and Machine Intelligence ,31(11),1955-1967, 2009."中提出了一種基于馬爾可夫網絡模型的人臉畫像合成方法。該方法實施方式是：首 先將訓練集中的畫像-照片對及測試照片分塊;然后根據測試照片塊與訓練照片塊之間的 關系以及相鄰位置的畫像塊之間的關系，建立馬爾可夫網絡模型;對每個測試照片塊尋找 一個最佳的訓練畫像塊作為待合成畫像塊；最后將所有的待合成畫像塊融合得到合成畫 像。但是該方法存在的不足之處是：由于每個照片塊位置只選擇一個訓練畫像塊進行畫像 合成，導致合成結果存在形變。
[0006] 其三，基于馬爾科夫權重網絡的人臉畫像合成方法，如Zhou等人在文獻"H. Zhou， Z . Kuang , and K · Wong，"Markov Weight Fields for Face Sketch Synthesis，'，in Proc .IEEE Int .Conference on Computer Vision，pp. 1091-1097,2012." 中提出了一種基 于加權的馬爾科夫網絡模型的人臉畫像合成方法。該方法與上面的基于馬爾科夫網絡模型 不同的是將線性組合引入進馬爾科夫網絡，從而克服了因為基于馬爾科夫網絡方法選擇一 個畫像塊而導致的形變問題。但是該方法合成結果因為在選擇近鄰時沒有考慮相鄰圖像塊 之間的相似性約束，導致合成結果噪聲多，較為模糊。
【發明內容】
[0007] 本發明的目的在于克服上述現有方法的不足，提出一種基于貝葉斯推斷的人臉畫 像合成方法，以減小圖像噪聲，提高合成畫像的圖像質量。
[0008] 為實現上述目的，本發明的技術方案包括如下：
[0009] (1)從照片-畫像對集中取出M張照片組成訓練照片樣本集Tp，并取出與訓練照片 樣本集T P*的照片一一對應的M張畫像組成訓練畫像樣本集Ts，將剩余照片-畫像對組成測 試樣本集，從測試樣本集中選取一張測試照片L，2彡M彡U-I，U為照片-畫像對集中的照片-畫像對個數；
[0010] (2)對所有圖像進行劃分，得到訓練照片集樣本塊集合R和訓練畫像集樣本塊集合 Q；
[0011] (3)將訓練照片樣本塊集合R與對應的畫像樣本塊集合Q劃分為N個子集，并將子集 組成集合：
[0012]
[0013]
[0014]其中，Rn表示所有訓練照片樣本塊子集組成的集合，化表示訓練照片樣本塊第j個 子集，Qn表示所有訓練畫像樣本塊子集組成的集合，(^表示訓練畫像樣本塊第j個子集，j e U，…，N};
[0015] (4)對于測試照片塊集合P中的每一個測試照片塊其中K j<N，從其對應的訓 練照片塊子集R沖根據歐式距離尋找&個最近的照片塊，記為.?~_>^1^同時從訓練 畫像塊子集Qj中取出與％· · …巧f5對應的畫像塊…彡m彡Ki;
[0016] (5)對每一個測試照片樣本塊通過最大化基于后驗概率的馬爾科夫網絡從心個 近鄰照片和畫像〕中挑選出最近鄰照片^和畫像離)1彡 KKi;
[0017] (6)對每一個測試照片樣本塊叭根據#與1?沖照片塊的距離，挑選出1(2個近鄰照 片塊記作|φ…~其對應的畫像塊：
[0018] (7)對每一個測試照片樣本塊其中1彡j彡Ν，通過求解馬爾科夫權重網絡，得到 重構權{!
其中T表示轉置；
[0019] (8)利用步驟(6)得到的畫像彰和步驟(7)得到的權值，計算每個 測試照片塊少對應的待合成畫像塊d:
[0020]
[0021] (9)迭代執行步驟（6)_(8)直至得到N塊待合成畫像塊，并將N個合成畫像塊 IV，…，￥，···，#}進行組合，得到與測試照片L對應的合成畫像。
[0022]本發明由于在近鄰塊選擇和權值優化過程中分別通過馬爾科夫網絡和馬爾科夫 權重網絡，考慮相鄰圖像塊之間的相似性約束關系，提高了合成圖像的質量并使圖像的細 節更加完整。
【附圖說明】
[0023]圖1為本發明的實現流程圖；
[0024]圖2為用發明與現有的三種方法在XM2VTS數據庫上的合成畫像的對比結果圖。
【具體實施方式】
[0025]本發明的核心思想是:通過貝葉斯推斷的思想提出一種人臉畫像合成方法，使得 在近鄰塊選擇和權值求解階段都將相鄰塊之間的相似性約束通過馬爾科夫網絡考慮在內， 從而提高合成結果的圖像質量。
[0026]參照圖1，本發明的實施步驟如下：
[0027] 步驟1，劃分訓練畫像樣本集、訓練照片樣本集和測試樣本集。
[0028] 從照片-畫像對集中取出M張照片組成訓練照片樣本集Tp，并取出與訓練照片樣本 集TP*的照片一一對應的M張畫像組成訓練畫像樣本集T s，將剩余照片-畫像對組成測試樣 本集，從測試樣本集中選取一張測試照片L，2彡M彡U-I，U為照片-畫像對集中的照片-畫像 對個數。
[0029] 步驟2,對訓練畫像樣本集中的畫像、訓練照片樣本集中的照片和測試照片進行圖 像塊劃分。
[0030] 常用的圖像劃分方法是將圖像劃分為相同大小的矩形圖像塊，并且相鄰的圖像塊 在水平或豎直方向上保留一定程度的重疊，其劃分步驟如下：
[0031] (2a)將測試照片L劃分成相同大小及相同重疊程度的N個圖像塊，并組成測試照片 塊集合P·
[0032]
[0033]其中，表示測試照片中的第j個照片塊，je{i，···，《;
[0034] (2b)將訓練照片樣本集Tp中的M張照片劃分成相同大小及相同重疊程度的N個圖 像塊，并組成訓練照片集樣本塊集合：
[0035]
[0036] 其中，R表示訓練照片集樣本塊集合，表示第i張照片中的第j個照片塊，ie U，…，M};
[0037] (2c)將訓練畫像樣本集Ts中的M張畫像劃分成相同大小及相同重疊程度的圖像塊 并組成訓練畫像集樣本塊集合：
[0038]
[0039] 其中，Q表示訓練畫像集樣本塊集合，f表示第i張畫像中的第j個畫像塊。
[0040] 步驟3,將訓練照片樣本塊集合R與對應的畫像樣本塊集合Q劃分為N個子集，并將 子集組成集合：
[0041] Rn= {Ri, ··· ,Rj, ··· ,Rn}
[0042] Qn= {Qi, ,Qj, ,QnI
[0043] 其中，Rn表示所有訓練照片樣本塊子集組成的集合，化表示訓練照片樣本塊第j個 子集，Qn表示所有訓練畫像樣本塊子集組成的集合，(^表示訓練畫像樣本塊第j個子集，j e U，…，N};
[0044] 步驟4，初始近鄰塊選擇。
[0045] 對于測試照片塊集合P中的每一個測試照片塊p\從其對應的訓練照片塊子集Rj中 根據歐式距離尋找心個最近的照片塊，記為4 s-5琴,…、琴％其中I < j SN;
[0046] 從訓練畫像塊子集Qj中取出與_對應的畫像塊……,jfUl彡 m^Ki；
[0047] 步驟5,基于馬爾科夫網絡的最近鄰塊選擇。
[0048] 對每一個測試照片樣本塊通過最大化基于后驗概率的馬爾科夫網絡從心個近
鄰照片和畫像對 P挑選出最近鄰照片< 和畫像 SKi;
[0049]所述最大化基于后驗概率的馬爾科夫網絡參考文獻"X.Wang,and X.Tang, "Face Photo-Sketch Synthesis and Recognition，'，IEEE Transactions on Pattern Analysis and Machine Intelligence，31(11)，1955-1967,2009" 〇
[0050] 步驟6,近鄰塊的再選擇。
[0051] 對于由步驟5得到的每一個測試照片塊f對應的最近鄰照片塊:?%按歐式距離從f 對應訓練照片塊子集R沖尋找K2個最近的照片塊，記作|歉..4
[0052] 從訓練畫像塊子集Qj中取出與辱、對應的畫像塊 h$K2〇
[0053] 步驟7,基于馬爾科夫權重網絡的權值求解。
[0054]對每一個測試照片樣本塊p\通過求解馬爾科夫權重網絡，得到重構權值：
[0055]
，其中T表示轉置，KjSN;
[0056] 所述馬爾科夫權重網絡權值求解參考文獻"H.Zhou，Z.Kuang，andK.Wong， uMarkov Weight Fields for Face Sketch Synthesis，"in Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，2012，pp. 1091-1097'，。
[0057] 步驟8，求解待合成畫像塊s'
[0058] 利用步驟6得到的畫像塊和步驟7得到的重構權值，計算每個測 試照片塊N對應的待合成畫像塊V:
[0059]
[0060]步驟9,求解并融合N個待合成畫像塊得到最終合成畫像
[0061]迭代執行步驟6-8共N次，直至得到每個測試照片塊f對應的待合成畫像塊，并將 得到的N個合成畫像塊{s1，…，…，sN}進行組合，得到與測試照片L對應的合成畫像，其 中，l<j<N。
[0062]本發明的效果可以通過以下仿真實驗做進一步的說明。
[0063] 1.仿真條件
[0064] 本發明是在中央處理器為Intel(R)Core i7-4790 3.6GHZ、內存 16G、WIND0WS 7操 作系統上，使用美國Mathworks公司開發的MATLAB軟件進行的仿真。數據庫采用XM2VTS數據 庫。
[0065] 實驗中所用的對比方法包括如下3種：
[0066] -是基于局部線性嵌入的方法，實驗中記為LLE ;參考文獻為Q. Liu，X. Tang， H.Jin,H. Lu ,and S.Ma. A Nonlinear Approach for Face Sketch Synthesis and Recognition.In Proc·IEEE Int.Conference on Computer Vision,pp.1005-1010,2005；
[0067] 二是基于馬爾科夫隨機場的方法，實驗中記為MRF ;參考文獻為X. Wang，and X. Tang. Face Photo-Sketch Synthesis and Recognition . IEEE Transactions on Pattern Analysis and Machine Intelligence,31(11),1955-1967,2009；
[0068] 三是基于馬爾可夫權重場模型的方法，實驗中記為MWF ;參考文獻為H. Zhou， Z.Kuang,and K·Wong·Markov Weight Fields for Face Sketch Synthesis . In Proc. IEEE Int.Conference on Computer Vision,pp.1091-1097,2012。
[0069] 2.仿真內容
[0070] 用本發明方法和現有基于局部線性的方法LLE、基于馬爾可夫隨機場的方法MRF以 及基于馬爾可夫權重場的方法MWF，在XM2VTS數據庫上進行照片到畫像的合成，實驗結果如 圖2,其中：
[0071]圖2(a)為原始照片；
[0072]圖2(b)為基于局部線性的方法LLE合成的畫像；
[0073]圖2 (c)為基于馬爾可夫隨機場的方法MRF合成的畫像；
[0074]圖2 (d)為基于馬爾可夫權重場的方法MffF合成的畫像；
[0075] 圖2(e)為本發明方法合成的畫像。
[0076] 由圖2可見，由于本發明借助了貝葉斯推斷的思想，將近鄰塊之間的相似性約束同 時考慮在近鄰選擇和權值優化過程中，使得合成結果優于其他的人臉畫像合成方法，驗證 了本發明的先進性。
【主權項】
1. 基于貝葉斯推斷的人臉畫像合成方法，包括： (1) 從照片-畫像對集中取出Μ張照片組成訓練照片樣本集TP，并取出與訓練照片樣本集 ^中的照片一一對應的Μ張畫像組成訓練畫像樣本集T s，將剩余照片-畫像對組成測試樣本 集，從測試樣本集中選取一張測試照片L，2彡Μ彡U-1，U為照片-畫像對集中的照片-畫像對 個數； (2) 對所有圖像進行劃分，得到訓練照片集樣本塊集合R和訓練畫像集樣本塊集合Q; (3) 將訓練照片樣本塊集合R與對應的畫像樣本塊集合Q劃分為N個子集，并將子集組成 集合： Rn= {Ri, ··· ,Rj, ··· ,Rn} Qn= {Qi, ·' ,Qj , ,Qn} 其中，Rn表示所有訓練照片樣本塊子集組成的集合，心表示訓練照片樣本塊第j個子集， QN表示所有訓練畫像樣本塊子集組成的集合，表示訓練畫像樣本塊第j個子集，j e {1，…， N}； (4) 對于測試照片塊集合P中的每一個測試照片塊p\其中l<j<N，從其對應的訓練照 片塊子集R沖根據歐式距離尋找L個最近的照片塊，記為％ 塊子集％中取出與；對應的畫像塊彡m (5) 對每一個測試照片樣本塊通過最大化基于后驗概率的馬爾科夫網絡從心個近鄰 照片和畫像對（1'廣，、^，、5、'廣|中挑選出最近鄰照片考和畫像.〇1彡1< Κι； (6) 對每一個測試照片樣本塊少，根據|與&中照片塊的距離，挑選出心個近鄰照片塊記 作轉。'、廣."書:j f其對應的畫像塊為|:_ (7) 對每一個測試照片樣本塊少，其中l<j<N，通過求解馬爾科夫權重網絡，得到重構 權值％ r…喊纖其中T表示轉置； (8) 利用步驟(6)得到的畫像塊 照片塊Pj對應的待合成畫像塊Sj: (9) 迭代執行步驟（6)-(8)直至得到N塊待合成畫像塊，并將N個合成畫像塊{s1，…， s\…，sN}進行組合，得到與測試照片L對應的合成畫像。2. 根據權利要求書1所述的方法，其中步驟(2)中對所有圖像進行劃分，按如下步驟進 行： (2a)將測試照片L劃分成相同大小及相同重疊程度的N個圖像塊，并組成測試照片塊集 合P: P={pV"，pJ，."，pN}， 其中，f表示測試照片中的第j個照片塊，j e {1，…，N}; (2b)將訓練照片樣本集TP中的Μ張照片劃分成相同大小及相同重疊程度的N個圖像塊， 并組成訓練照片集樣本塊集合： R ψ'',<'、、、<、：'、卜 , r' I 其中，R表示訓練照片集樣本塊集合，rJ表示第i張照片中的第j個照片塊，ie{l，···， Μ}； (2c)將訓練畫像樣本集Ts中的Μ張畫像劃分成相同大小及相同重疊程度的圖像塊并組 成訓練畫像集樣本塊集合： ^ ^ - <·.：'4' ^ ^" |.：r *：r?：：：χ -it>.} ^rs 1?? λ λ ^ ·? .? s ^j )). ? 其中，Q表示訓練畫像集樣本塊集合，￥表示第i張畫像中的第j個畫像塊。
【文檔編號】G06T5/50GK106056561SQ201610224521
【公開日】2016年10月26日
【申請日】2016年4月12日 公開號201610224521.4, CN 106056561 A, CN 106056561A, CN 201610224521, CN-A-106056561, CN106056561 A, CN106056561A, CN201610224521, CN201610224521.4
【發明人】王楠楠, 高新波, 孫雷雨, 李潔, 朱明瑞, 于昕曄, 張宇航, 曹兵, 査文錦, 馬卓奇
【申請人】西安電子科技大學