本申請涉及人工智能,尤其涉及一種多人視頻表情的驅動方法、裝置、電子設備和存儲介質。
背景技術:
1、隨著元宇宙概念的興起,使用簡單設備實現虛擬世界與現實世界快速交互的相關技術成為重點研究方向,在虛擬世界中實現對真實世界中人類表情的同步是元宇宙社交應用的技術基礎。視頻表情驅動技術借助常用攝像頭對真實世界的人臉表情進行捕捉,將人臉表情進行編碼,最終使用表情編碼控制虛擬人物做出相同的表情。
2、現有基于視頻的表情驅動方法主要使用不同表情下的人臉關鍵點等信息結合facs(facial?action?coding?system)等人臉表情編碼方式使用機器學習或深度學習的方法,回歸預測3dmm人臉表情系數。此類方法一般需要對視頻幀進行人臉檢測、最大臉提取、等前處理流程。前處理后,再使用得到的最大臉圖像借助基于深度學習或機器學習的人臉特征提取方法如人臉關鍵點檢測算法提取人臉特征。最終基于人臉特征得到人臉表情系數。此流程往往針對一個目標人臉進行處理,無法同時捕捉多人的表情和驅動多個數字人,只能在人臉檢測后將多個人臉截取并使用多線程同時對多個人臉圖像進行表情系數預測,現有方法在預測過程中可能會出現表情控制混亂的問題,導致不同人臉驅動同一數字人。
技術實現思路
1、本申請提供一種多人視頻表情的驅動方法、裝置、電子設備和存儲介質,用以解決現有技術中可能會出現表情控制混亂的問題,導致不同人臉驅動同一數字人缺陷。
2、第一方面,本申請提供一種多人視頻表情的驅動方法,包括:
3、獲取視頻流并對所述視頻流進行預處理,得到預設尺寸的目標視頻圖像;
4、基于預設圖像處理模型對所述目標視頻圖像進行圖像處理,得到分別與所述目標視頻圖像對應的人臉形狀系數和人臉表情系數;
5、基于所述人臉形狀系數,確定所述目標視頻圖像中人臉與虛擬人之間的匹配關系;
6、根據所述人臉表情系數,得到目標人臉表情系數,以便根據所述匹配關系,驅動所述虛擬人呈現與所述目標人臉表情系數對應的表情。
7、在一個實施例中,所述根據所述人臉表情系數,得到目標人臉表情系數,包括:
8、根據所述人臉表情系數變化對應的梯度,選擇與所述梯度對應的時間窗口對所有所述人臉表情系數進行移動平均平滑處理,得到所述目標人臉表情系數。
9、在一個實施例中,所述根據所述人臉表情系數,得到目標人臉表情系數,包括:
10、根據所述人臉表情系數和所述人臉表情系數對應的時間戳,基于線性插值法得到所述目標人臉表情系數。
11、在一個實施例中,所述基于預設圖像處理模型對所述目標視頻圖像進行圖像處理,得到分別與所述目標視頻圖像對應的人臉形狀系數和人臉表情系數,包括:
12、對所述目標視頻圖像進行特征提取,得到人臉特征圖;
13、對所述人臉特征圖進行特征融合,得到融合特征圖;
14、基于感受野大于預設范圍的所述融合特征圖進行回歸預測,得到所述人臉形狀系數和所述人臉表情系數。
15、在一個實施例中,所述基于所述人臉形狀系數,確定所述目標視頻圖像中人臉與虛擬人之間的匹配關系,包括:
16、根據所述人臉形狀系數,得到第一人臉特征向量;
17、基于余弦相似度算法確定所述第一人臉特征向量與預設的第二人臉特征向量的相似度,每一所述第二人臉特征向量對應一所述虛擬人;
18、根據所述相似度,確定所述目標視頻圖像中人臉與虛擬人之間的匹配關系。
19、在一個實施例中,所述根據所述相似度,確定所述目標視頻圖像中人臉與虛擬人之間的匹配關系,包括:
20、若所述相似度大于預設值,所述第一人臉特征向量對應的人臉與所述第二人臉特征向量對應的所述虛擬人匹配成功;
21、若所述相似度小于預設值,所述第一人臉特征向量對應的人臉與所述第二人臉特征向量對應的所述虛擬人匹配失敗,則根據所述第一人臉特征向量構建新的所述第二人臉特征向量。
22、在一個實施例中,所述獲取視頻流并對所述視頻流進行預處理,得到預設尺寸的目標視頻圖像,包括:
23、獲取所述視頻流并對所述視頻流進行抽幀處理,得到視頻幀;
24、將所述視頻幀進行先填充后縮放處理,得到預設尺寸的所述目標視頻圖像。
25、第二方面,本申請還提供了一種多人視頻表情的驅動裝置,包括:
26、獲取模塊,用于獲取視頻流并對所述視頻流進行預處理,得到預設尺寸的目標視頻圖像;
27、系數確定模塊,用于基于預設圖像處理模型對所述目標視頻圖像進行圖像處理,得到分別與所述目標視頻圖像對應的人臉形狀系數和人臉表情系數;
28、匹配模塊,用于基于所述人臉形狀系數,確定所述目標視頻圖像中人臉與虛擬人之間的匹配關系;
29、驅動模塊,用于根據所述人臉表情系數,得到目標人臉表情系數,以便根據所述匹配關系,驅動所述虛擬人呈現與所述目標人臉表情系數對應的表情。
30、第三方面,本申請還提供一種電子設備,包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序,所述處理器執行所述程序時實現如上述任一種所述多人視頻表情的驅動方法。
31、第四方面,本申請提供一種非暫態計算機可讀存儲介質,其上存儲有計算機程序,該計算機程序被處理器執行時實現如上述任一種所述多人視頻表情的驅動方法。
32、本申請提供的多人視頻表情的驅動方法、裝置、電子設備和存儲介質,獲取視頻流并對所述視頻流進行預處理,得到預設尺寸的目標視頻圖像;基于預設圖像處理模型對所述目標視頻圖像進行圖像處理,得到分別與所述目標視頻圖像對應的人臉形狀系數和人臉表情系數;基于所述人臉形狀系數,確定所述目標視頻圖像中人臉與虛擬人之間的匹配關系;根據所述人臉表情系數,得到目標人臉表情系數,以便根據所述匹配關系,驅動所述虛擬人呈現與所述目標人臉表情系數對應的表情。本申請通過人臉形狀系數確定所述目標視頻圖像中人臉與虛擬人之間的匹配關系,確保多人視頻中人臉的唯一性,解決了不同人臉可能驅動同一虛擬人的問題。
1.一種多人視頻表情的驅動方法,其特征在于,包括:
2.根據權利要求1所述的多人視頻表情的驅動方法,其特征在于,所述根據所述人臉表情系數,得到目標人臉表情系數,包括:
3.根據權利要求1所述的多人視頻表情的驅動方法,其特征在于,所述根據所述人臉表情系數,得到目標人臉表情系數,包括:
4.根據權利要求1所述的多人視頻表情的驅動方法,其特征在于,所述基于預設圖像處理模型對所述目標視頻圖像進行圖像處理,得到分別與所述目標視頻圖像對應的人臉形狀系數和人臉表情系數,包括:
5.根據權利要求1所述的多人視頻表情的驅動方法,其特征在于,所述基于所述人臉形狀系數,確定所述目標視頻圖像中人臉與虛擬人之間的匹配關系,包括:
6.根據權利要求5所述的多人視頻表情的驅動方法,其特征在于,所述根據所述相似度,確定所述目標視頻圖像中人臉與虛擬人之間的匹配關系,包括:
7.根據權利要求1所述的多人視頻表情的驅動方法,其特征在于,所述獲取視頻流并對所述視頻流進行預處理,得到預設尺寸的目標視頻圖像,包括:
8.一種多人視頻表情的驅動裝置,其特征在于,包括:
9.一種電子設備,包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序,其特征在于,所述處理器執行所述程序時實現如權利要求1至7任一項所述多人視頻表情的驅動方法。
10.一種非暫態計算機可讀存儲介質,其上存儲有計算機程序,其特征在于,所述計算機程序被處理器執行時實現如權利要求1至7任一項所述多人視頻表情的驅動方法。