三維人臉重建方法、裝置、電子設備和存儲介質與流程

本發明涉及虛擬數字人，尤其涉及一種三維人臉重建方法、裝置、電子設備和存儲介質。

背景技術：

1、虛擬數字人是數字化外形的虛擬人物，是指存在于非物理世界中，由計算機圖形學、圖形渲染、深度學習等計算機手段創造及使用，并具有多重人類特征包括外貌特征、人類表演能力等的綜合產物。人物臉部作為虛擬數字人的重要特征部位，通常需要耗費大量成本才能將其重建，并且一般需要某些大型專業設備進行數據采集。通過簡單的2d圖片來重建高精度3d人臉，降低了對設備的要求，能夠大量降低重建過程中的成本，方便用戶更快、更便捷地完成重建過程。

2、但是，當前的方法無法處理輸入圖像中的大角度人臉，如側臉。在該情況下人臉存在較嚴重的自遮擋，從而在被遮擋的人臉區域難以獲得3d細節，導致當前方法魯棒性和適用性不夠。

技術實現思路

1、本發明提供一種三維人臉重建方法、裝置、電子設備和存儲介質，用以解決現有技術中在被遮擋的人臉區域難以獲得3d細節，導致當前方法魯棒性和適用性不夠的缺陷。

2、本發明提供一種三維人臉重建方法，包括：

3、獲取待重建的人臉視圖，基于所述待重建的人臉視圖，確定初始三維人臉模型；

4、基于所述待重建的人臉視圖的紋理貼圖，以及貼圖估計網絡，估計所述初始三維人臉模型的初始貼圖；

5、基于貼圖補全網絡，對所述初始貼圖中的不可見區域進行補全，得到所述初始三維人臉模型的補全貼圖；

6、基于所述初始三維人臉模型的補全貼圖，重建得到最終的三維人臉模型；

7、所述貼圖估計網絡是基于樣本紋理貼圖、樣本貼圖標簽進行訓練得到；所述貼圖補全網絡是基于完整樣本貼圖進行訓練得到的。

8、根據本發明提供的三維人臉重建方法，所述貼圖補全網絡的訓練步驟包括：

9、獲取初始貼圖補全網絡，以及第一初始判別網絡；

10、基于所述完整樣本貼圖對應的殘缺樣本貼圖，以及所述初始貼圖補全網絡，得到樣本補全貼圖；

11、基于所述樣本補全貼圖、所述完整樣本貼圖，聯合所述第一初始判別網絡進行對抗訓練得到所述貼圖補全網絡。

12、根據本發明提供的三維人臉重建方法，所述基于所述完整樣本貼圖對應的殘缺樣本貼圖，以及所述初始貼圖補全網絡，得到樣本補全貼圖，包括：

13、基于所述殘缺樣本貼圖，以及所述初始貼圖補全網絡，預測得到樣本內容補全貼圖，以及人臉表情屬性；

14、基于所述樣本內容補全貼圖、人臉表情屬性，得到所述樣本補全貼圖。

15、根據本發明提供的三維人臉重建方法，所述貼圖估計網絡的訓練步驟包括：

16、獲取初始貼圖估計網絡，以及第二初始判別網絡；

17、基于所述樣本紋理貼圖，以及所述初始貼圖估計網絡，生成樣本估計貼圖；

18、基于所述樣本估計貼圖、所述樣本貼圖標簽，聯合所述第二初始判別網絡進行對抗訓練得到所述貼圖估計網絡。

19、根據本發明提供的三維人臉重建方法，所述基于貼圖補全網絡，對所述初始貼圖中的不可見區域進行補全，得到所述初始三維人臉模型的補全貼圖，包括：

20、將所述初始三維人臉模型投影至所述待重建的人臉視圖中，得到可見性掩膜圖；

21、基于所述可見性掩膜圖，以及所述初始貼圖，確定所述初始貼圖中的不可見區域；

22、基于所述貼圖補全網絡，對所述初始貼圖中的不可見區域進行補全，得到所述補全貼圖。

23、根據本發明提供的三維人臉重建方法，所述基于所述待重建的人臉視圖的紋理貼圖，以及貼圖估計網絡，估計所述初始三維人臉模型的初始貼圖，包括：

24、對所述待重建的人臉視圖進行貼圖采樣，得到所述紋理貼圖；

25、基于所述紋理貼圖，以及所述貼圖估計網絡，估計所述初始貼圖。

26、根據本發明提供的三維人臉重建方法，所述基于所述待重建的人臉視圖，確定初始三維人臉模型，包括：

27、基于所述待重建的人臉視圖，求解得到所述待重建的人臉視圖對應的人臉重建系數；

28、基于所述人臉重建系數，對所述待重建的人臉視圖進行變換，得到所述初始三維人臉模型；

29、所述人臉重建系數包含剛體變換系數、表情系數以及身份系數。

30、本發明還提供一種三維人臉重建裝置，包括：

31、獲取單元，獲取待重建的人臉視圖，基于所述待重建的人臉視圖，確定初始三維人臉模型；

32、估計單元，基于所述待重建的人臉視圖的紋理貼圖，以及貼圖估計網絡，估計所述初始三維人臉模型的初始貼圖；

33、補全單元，基于貼圖補全網絡，對所述初始貼圖中的不可見區域進行補全，得到所述初始三維人臉模型的補全貼圖；

34、重建單元，基于所述初始三維人臉模型的補全貼圖，重建得到最終的三維人臉模型；

35、所述貼圖估計網絡是基于樣本紋理貼圖、樣本貼圖標簽進行訓練得到；所述貼圖補全網絡是基于完整樣本貼圖進行訓練得到的。

36、本發明還提供一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現如上述任一種所述三維人臉重建方法。

37、本發明還提供一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執行時實現如上述任一種所述三維人臉重建方法。

38、本發明還提供一種計算機程序產品，包括計算機程序，所述計算機程序被處理器執行時實現如上述任一種所述三維人臉重建方法。

39、本發明提供的三維人臉重建方法、裝置、電子設備和存儲介質，首先通過重建粗糙的初始三維人臉模型，接著通過貼圖估計網絡得到初始三維人臉的初始貼圖，進一步通過貼圖補全網絡對初始貼圖中的不可見區域進行補全，得到完整的補全貼圖，進而重建得到最終的三維人臉模型，實現了對非正臉的人臉視圖的三維人臉重建，提升了三維人臉重建方法的適用性和魯棒性。

技術特征：

1.一種三維人臉重建方法，其特征在于，包括：

2.根據權利要求1所述的三維人臉重建方法，其特征在于，所述貼圖補全網絡的訓練步驟包括：

3.根據權利要求2所述的三維人臉重建方法，其特征在于，所述基于所述完整樣本貼圖對應的殘缺樣本貼圖，以及所述初始貼圖補全網絡，得到樣本補全貼圖，包括：

4.根據權利要求1所述的三維人臉重建方法，其特征在于，所述貼圖估計網絡的訓練步驟包括：

5.根據權利要求1至4中任一項所述的三維人臉重建方法，其特征在于，所述基于貼圖補全網絡，對所述初始貼圖中的不可見區域進行補全，得到所述初始三維人臉模型的補全貼圖，包括：

6.根據權利要求1至4中任一項所述的三維人臉重建方法，其特征在于，所述基于所述待重建的人臉視圖的紋理貼圖，以及貼圖估計網絡，估計所述初始三維人臉模型的初始貼圖，包括：

7.根據權利要求1至4中任一項所述的三維人臉重建方法，其特征在于，所述基于所述待重建的人臉視圖，確定初始三維人臉模型，包括：

8.一種三維人臉重建裝置，其特征在于，包括：

9.一種電子設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1至7任一項所述三維人臉重建方法。

10.一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至7任一項所述三維人臉重建方法。

11.一種計算機程序產品，包括計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至7任一項所述三維人臉重建方法。

技術總結
本發明提供一種三維人臉重建方法、裝置、電子設備和存儲介質，該方法包括：獲取待重建的人臉視圖，基于待重建的人臉視圖，確定初始三維人臉模型；基于待重建的人臉視圖的紋理貼圖，以及貼圖估計網絡，估計初始三維人臉模型的初始貼圖；基于貼圖補全網絡，對初始貼圖中的不可見區域進行補全，得到初始三維人臉模型的補全貼圖；基于初始三維人臉模型的補全貼圖，重建得到最終的三維人臉模型；貼圖估計網絡是基于樣本紋理貼圖、樣本貼圖標簽進行訓練得到；貼圖補全網絡是基于完整樣本貼圖進行訓練得到的。本發明提供的方法，實現了對非正臉的人臉視圖的三維人臉重建，提升了三維人臉重建方法的適用性和魯棒性。

技術研發人員：程耀,張桂超
受保護的技術使用者：中移（杭州）信息技術有限公司
技術研發日：
技術公布日：2024/10/21