數字人形象生成方法、裝置、設備及存儲介質與流程

本發明涉及終端交互，尤其涉及數字人形象生成方法、裝置、設備及存儲介質。

背景技術：

1、數字人是一種虛擬的人物形象，在終端交互場景中使用數字人，可以提升交互體驗。在現有技術中，在與用戶進行交互的過程中，數字人的形象不會變化，無法根據實際交互情況進行相應的形象改變，交互效果不佳。

技術實現思路

1、本發明提供數字人形象生成方法、裝置、設備及存儲介質，用以解決現有技術中交互過程中數字人形象固定的缺陷，實現根據實際交互情況自動改變數字人的形象，提升交互效果。

2、本發明提供一種數字人形象生成方法，包括：

3、基于交互信息確定情感標簽，所述交互信息包括會話文本、圖像、生理傳感信號中的至少一種；

4、獲取情感標簽集，所述情感標簽集包括當前時刻的所述情感標簽以及所述當前時刻的前n個時刻的所述情感標簽；

5、基于所述情感標簽集中的所述情感標簽獲取所述當前時刻的情感強度特征，所述當前時刻的情感強度特征反映所述當前時刻前的情感對所述當前時刻的情感的影響程度；

6、基于所述當前時刻的所述情感標簽和所述當前時刻的情感強度特征生成數字人形象。

7、根據本發明提供的一種數字人形象生成方法，所述基于所述情感標簽集中的所述情感標簽獲取所述當前時刻的情感強度特征，包括：

8、獲取所述情感標簽集中的所述情感標簽的持續時長；

9、基于所述情感標簽集中的所述情感標簽的持續時長獲取所述當前時刻的情感強度特征。

10、根據本發明提供的一種數字人形象生成方法，所述基于所述情感標簽集中的所述情感標簽的持續時長獲取所述當前時刻的情感強度特征，包括：

11、獲取所述情感標簽集中的所述情感標簽對應的情感程度系數，所述情感程度系數反映所述情感標簽對應的情感特征向量與所述情感標簽對應的情感標簽向量之間的相似程度，所述情感標簽對應的情感特征向量為將所述情感標簽對應的所述交互信息輸入至情感提取模型后所述情感提取模型輸出的特征向量；

12、基于所述情感標簽集中的多個所述情感標簽的所述持續時長、所述情感程度系數以及所述情感特征向量，確定所述當前時刻的情感強度特征。

13、根據本發明提供的一種數字人形象生成方法，所述獲取所述情感標簽集中的所述情感標簽的持續時長，包括：

14、對所述情感標簽集中的各個所述情感標簽按照對應的時刻進行排序；

15、對所述情感標簽集中的目標情感標簽，獲取所述目標情感標簽與晚于所述目標情感標簽的下一個所述情感標簽分別對應的時刻之間的時長作為所述目標情感標簽的持續時長。

16、根據本發明提供的一種數字人形象生成方法，所述基于所述當前時刻的所述情感標簽和所述當前時刻的情感強度特征生成數字人形象，包括：

17、基于所述當前時刻的情感強度特征獲取處理數字人形象圖，所述處理數字人形象圖是基于所述當前時刻的情感強度特征對所述當前時刻的所述情感標簽對應的預制數字人形象圖進行處理后得到的；

18、基于所述處理數字人形象圖進行模型渲染，得到所述數字人形象。

19、根據本發明提供的一種數字人形象生成方法，所述基于所述當前時刻的情感強度特征獲取處理數字人形象圖，包括：

20、在所述情感標簽對應的處理數字人形象圖庫中查找所述處理數字人形象圖，所述處理數字人形象圖對應的情感強度特征和所述當前時刻的情感強度特征之間的相似度高于預設相似度。

21、本發明還提供一種數字人形象生成裝置，包括：

22、情感標簽確定模塊，用于基于交互信息確定情感標簽，所述交互信息包括會話文本、圖像、生理傳感信號中的至少一種；

23、情感標簽收集模塊，用于獲取情感標簽集，所述情感標簽集包括當前時刻的所述情感標簽以及所述當前時刻的前n個時刻的所述情感標簽；

24、情感強度確定模塊，用于基于所述情感標簽集中的所述情感標簽獲取所述當前時刻的情感強度特征，所述當前時刻的情感強度特征反映所述當前時刻前的情感對所述當前時刻的情感的影響程度；

25、形象生成模塊，用于基于所述當前時刻的所述情感標簽和所述當前時刻的情感強度特征生成數字人形象。

26、本發明還提供一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現如上述任一種所述數字人形象生成方法。

27、本發明還提供一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執行時實現如上述任一種所述數字人形象生成方法。

28、本發明還提供一種計算機程序產品，包括計算機程序，所述計算機程序被處理器執行時實現如上述任一種所述數字人形象生成方法。

29、本發明提供的數字人形象生成方法、裝置、設備及存儲介質，在交互過程中，基于交互信息確定情感標簽，并且基于當前時刻以及當前時刻前多個時刻的情感標簽確定反映當前時刻的情感的強度的情感強度特征，基于情感強度特征生成數字人形象，可以實現基于實際交互情況生成數字人形象，并且在生成數字人形象的過程中考慮了之前的多個時刻的情感，使得數字人形象切換過程更加自然。

技術特征：

1.一種數字人形象生成方法，其特征在于，包括：

2.根據權利要求1所述的數字人形象生成方法，其特征在于，所述基于所述情感標簽集中的所述情感標簽獲取所述當前時刻的情感強度特征，包括：

3.根據權利要求2所述的數字人形象生成方法，其特征在于，所述基于所述情感標簽集中的所述情感標簽的持續時長獲取所述當前時刻的情感強度特征，包括：

4.根據權利要求2所述的數字人形象生成方法，其特征在于，所述獲取所述情感標簽集中的所述情感標簽的持續時長，包括：

5.根據權利要求1所述的數字人形象生成方法，其特征在于，所述基于所述當前時刻的所述情感標簽和所述當前時刻的情感強度特征生成數字人形象，包括：

6.根據權利要求5所述的數字人形象生成方法，其特征在于，所述基于所述當前時刻的情感強度特征獲取處理數字人形象圖，包括：

7.一種數字人形象生成裝置，其特征在于，包括：

8.一種電子設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1至6任一項所述數字人形象生成方法。

9.一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至6任一項所述數字人形象生成方法。

10.一種計算機程序產品，包括計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至6任一項所述數字人形象生成方法。

技術總結
本發明提供數字人形象生成方法、裝置、設備及存儲介質，其中方法包括：基于交互信息確定情感標簽，所述交互信息包括會話文本、圖像、生理傳感信號中的至少一種；獲取情感標簽集，所述情感標簽集包括當前時刻的所述情感標簽以及所述當前時刻的前n個時刻的所述情感標簽；基于所述情感標簽集中的所述情感標簽獲取所述當前時刻的情感強度特征，所述當前時刻的情感強度特征反映所述當前時刻前的情感對所述當前時刻的情感的影響程度；基于所述當前時刻的所述情感標簽和所述當前時刻的情感強度特征生成數字人形象。本發明在生成數字人形象的過程中考慮了之前的多個時刻的情感，使得數字人形象切換過程更加自然。

技術研發人員：楊一帆,羅紅,王琪琦,孫肖然
受保護的技術使用者：中移（杭州）信息技術有限公司
技術研發日：
技術公布日：2024/10/21