人臉視頻壓縮方法
【專利摘要】一種人臉視頻壓縮方法，屬于多媒體通信時人臉視頻數據壓縮【技術領域】，其特征在于，在發送端利用人臉模型進行視頻中人臉的定位和參數化表征，得到由光照參數向量、姿態參數向量和形狀和外觀聯合參數向量表示的人臉模型參數向量，并進行基于給定欲保留參數的幀樣本個數時的全局最小參數誤差和模型參數總比特小于給定上限的約束，把最優自適應幀間壓縮后的人臉模型參數向量發送給接收端再利用獨立分片線性插值方法進行人臉模型參數向量的恢復，經過人臉形狀計算和經過恢復的人臉外觀，得到原圖像，在大大提高人臉視頻壓縮比的同時保證了最優重建質量，在時域上最大限度除去人臉視頻中的冗余，從而提高了通信資源利用率。
【專利說明】人臉視頻壓縮方法
【技術領域】
[0001]本發明提供了一種人臉視頻壓縮方法，屬于多媒體通信【技術領域】。特別設計一種針對人臉視頻數據的壓縮算法，對數據進行均勻量化和自適應線性插值，主要用于降低視頻的數據傳輸量，可以在極低碼率的條件下得到很好的效果，在節約通信資源的同時提供高質量的視頻通話、視頻會議等視頻通信服務。
【背景技術】
[0002]數字多媒體通信是當前通信技術眾多領域中最具挑戰性、發展最快、研究最活躍的領域之一。自從二十世紀九十年代以來，從數字電視廣播到無線多媒體通信等技術已在世界各國陸續得到普遍應用。互聯網的普及使得多媒體通信擺脫了電視的局限:Skype、Google Talk等視頻聊天軟件的出現讓人們可以通過電腦進行視頻通話、遠程會議等多媒體通信。而今，隨著智能手機的快速發展，移動終端上例如Facetime和Tango等的應用使多媒體通信在移動網絡上普及，用戶越來越多地期望得到方便、快捷、無所不在的多媒體通信服務。
[0003]另一方面，多樣的多媒體通信服務帶來了多媒體數據的急劇增長。Cisco在其Visual Network Index(VNI)白皮書中進行了對于近年來采集的移動數據業務相關統計數據的總結與分析，以及對于未來幾年的移動數據業務發展的預測。其中指出，2011年全球移動數據使用量達到每月0.6艾字節，是2010年的2.3倍，并且其中移動視頻數據量首次突破了 50%。這充分表示了當前多媒體，特別是視頻數據對于帶寬的巨大需求。白皮書還提出在2016年，移動數據 量將達到10.8艾字節/月，其中70%以上將為移動視頻數據；這對于現有的移動網絡提出了嚴峻挑戰。
[0004]同時，在如今眾多視頻通信業務中，視頻通話占據愈發重要的位置。2010年PEW進行的統計研究表明，19%的美國用戶曾經在線使用手機嘗試過視頻通話、聊天、會議等多媒體服務，而40%的Skype通話都是視頻通話。2012年12月10日的紐約時報刊登的“Mobile
Video Creating a New Frontier”文章指出，“科技行業的下一個戰場將是你的臉--讓親
朋好友隨時隨地看見你的臉。”盡管如此，移動視頻通話目前尚未得到廣泛應用，而視頻編碼碼率較高是一個重要原因；其直接后果包括由無線信道的時變特性造成的通話質量難以保證，以及由于較高數據流量造成的更高通信成本。隨著視頻通話在移動視頻業務中的地位日益提升，針對視頻通話特定場景設計的低碼率高效視頻編碼方法將能夠有效降低移動視頻業務的整體帶寬需求，促進移動視頻應用和服務的進一步推廣和發展。
[0005]傳統視頻編碼方法一般是結合了可減少時間冗余的幀間預測和可減少空間冗余的DCT或小波變換的混合編碼方法，將視頻數據視為具有某些統計特征的隨機信號進行編碼，而對視頻的具體內容不予考慮。然而，人臉視頻(如視頻通話、會議等)具有相當明顯的特征，且人們對于其主體(即人臉)有著非常豐富的先驗知識。傳統視頻編碼方法將所有信息一視同仁地編碼傳輸，其中很多關于人臉的共性冗余信息被視為新信息重復傳遞，浪費了大量網絡帶寬資源。為了提高人臉視頻的壓縮效率，有研究人員針對人臉視頻的特征，提出了一系列基于模型的視頻編碼方法。這類方法通過對人臉建模，實現對視頻中人臉的參數化表征，使得在傳輸視頻時只需要傳輸模型的一些參數就可以在接收端利用人臉模型重建出目標。與一般通用視頻編碼方法相比，這一成果通過利用模型的先驗信息降低了視頻傳輸數據量，節省了帶寬資源。然而，使用這種壓縮方法壓縮得出的模型參數向量在時域變化緩慢，視頻中前后幀的人臉模型參數仍然具有很大的冗余度和壓縮空間。
【發明內容】
[0006]本發明要解決的技術問題是:如何提供一種人臉視頻壓縮方法，在減少人臉的共性冗余信息重復傳遞的同時，減少人臉參數化表征后所得到的模型參數向量的時域冗余度，最大限度提高人臉視頻的壓縮效率，節省網絡帶寬。
[0007]本發明的特征在于，是一種在移動視頻通話時對前后幀的人臉模型參數進行時域冗余度壓縮的人臉模型的視頻編碼方法，是在移動視頻通話系統的發射端和接收端中依次按以下步驟實現的: [0008]步驟(1)，系統初始化，
[0009]使用至少包括云存儲、介質存儲、閑時傳輸在內的任何一種方法在發射端和接收端各建立一個統一的人臉模型，步驟如下:
[0010]步驟(1.1)，采集D幀人臉圖像，構建一個人臉圖像訓練數據庫，包括:人臉訓練圖像集和人臉訓練數據集，前者存儲供訓練用的D幀人臉圖像，后者存儲每幀人臉圖像的相關訓練數據，所述人臉訓練參數，也稱人臉模型參數，包括:
[0011]人臉形狀向量Si, i為所述D張人臉圖像的序號，i = {1，2，...，i，...，D}，D為
有限正整數，還有人臉平均形狀向量民
[0012]姿態參數向量(Vi，Θ J，表示人臉在視頻幀中的位置和角度，是用普魯克分析方法Procrustes Analysis對所述人臉形狀向量Si和平均人臉形狀向量§用平移和旋轉變換校正后得到的平移量Vi和旋轉角Θ y
[0013]人臉形狀參數向量bsi，表示至少包括輪廓、五官的位置、大小、形狀和動作在內的人臉特征，
[0014]人臉外觀向量gi，是以所述人臉平均形狀向量運為目標，通過分片仿射拉伸Piecewise Affine Warping方法使所述人臉形狀向量Si所定義的特征點與人臉平均形狀向量忌所定義的同一個特征點位置相吻合從而得到的一幅由人臉圖像中人臉部分的像素值
所拉成的向量& = ,(18;^§)，人臉平均外觀向量|是對人臉訓練數據集中所有人臉外觀向量進行平均所得到的，
[0015]光照參數向量(μ i; σ J，與拍攝時的光照條件、亮度、對比度和光照角度有關:
[0016]μ i = mean (g) , σ j = var (g) , ft = (g — μ,)/σ?
[0017]gi是對所述人臉外觀向量gi做像素強度歸一化后得到的光照歸一化外觀向量，
[0018]μ i是歸一化過程得到的平均像素強度，mean為平均值，
[0019]σ i是歸一化過程得到的像素強度標準差，var為標準差，[0020]步驟(1.2)，按以下方法計算步驟(1.1)中所述的各人臉訓練參數:
[0021]所述人臉形狀向量Si,是對第i幀人臉圖像用RegularizedLandmarkMean-Shift人臉定位算法所得到的Si = {(xn, yn),..., (Xij, Yij),…，(xiF, yiF)},其中:
[0022]j為特征點序號，j = {1,2,..., j,..., F}, F為特征點數目，
[0023]所述人臉平均形狀向量運為:
[0024]
【權利要求】
1.一種人臉視頻壓縮方法，其特征在于，是一種在移動視頻通話時對前后幀的人臉模型參數進行時域冗余度壓縮的人臉模型的視頻編碼方法，是在移動視頻通話系統的發射端和接收端中依次按以下步驟實現的: 步驟(1)，系統初始化， 使用至少包括云存儲、介質存儲、閑時傳輸在內的任何一種方法在發射端和接收端各建立一個統一的人臉模型，步驟如下: 步驟(1.1)，采集D幀人臉圖像，構建一個人臉圖像訓練數據庫，包括:人臉訓練圖像集和人臉訓練數據集，前者存儲供訓練用的D幀人臉圖像，后者存儲每幀人臉圖像的相關訓練數據，所述人臉訓練參數，也稱人臉模型參數，包括: 人臉形狀向量Si, i為所述D張人臉圖像的序號，i = {1，2，...，i，...，D}，D為有限正整數，還有人臉平均形狀向量運， 姿態參數向量(Vi，Qi),表示人臉在視頻幀中的位置和角度，是用普魯克分析方法Procrustes Analysis對所述人臉形狀向量Si和平均人臉形狀向量€用平移和旋轉變換校正后得到的平移量Vi和旋轉角Θ y 人臉形狀參數向量bsi，表示至少包括輪廓、五官的位置、大小、形狀和動作在內的人臉特征， 人臉外觀向量gi，是以所述人臉平均形狀向量€為目標，通過分片仿射拉伸PiecewiseAffine Warping方法使所述人臉形狀向量Si所定義的特征點與人臉平均形狀向量目所定義的同一個特征點位置相吻合從而得到的一幅由人臉圖像中人臉部分的像素值所拉成的向量& = W(/i；s,?s),人臉平均外觀向量g是對人臉訓練數據集中所有人臉外觀向量進行平均所得到的， 光照參數向量(U1 D，與拍攝時的光照條件、亮度、對比度和光照角度有關: μ j = mean (g) ,Oi = var (gj), g,: = (g,: — /σ.；, Si是對所述人臉外觀向量gi做像素強度歸一化后得到的光照歸一化外觀向量， μ i是歸一化過程得到的平均像素強度，mean為平均值， σ i是歸一化過程得到的像素強度標準差，var為標準差， 步驟(1.2)，按以下方法計算步驟(1.1)中所述的各人臉訓練參數: 所述人臉形狀向量Si,是對第i幀人臉圖像用Regularized Landmark Mean-Shift人臉定位算法所得到的 Si = {(xn, yn),..., (Xij, Yij),..., (xiF, yiF)},其中:j為特征點序號，j = {1,2,..., j,..., F}, F為特征點數目， 所述人臉平均形狀向量目為:
【文檔編號】G06K9/00GK104023216SQ201410231902
【公開日】2014年9月3日 申請日期:2014年5月28日 優先權日:2014年5月28日
【發明者】陶曉明, 李揚, 陸建華, 葛寧 申請人:清華大學