播放方法及其裝置與流程

本申請屬于人工智能，具體涉及一種播放方法及其裝置。

背景技術(shù)：

1、隨著人工智能技術(shù)的發(fā)展，電子設(shè)備可以支持用戶與人工智能(artificialintelligence，ai)技術(shù)創(chuàng)建的虛擬對象進(jìn)行視頻通話，在視頻通話過程中要求虛擬對象像真實用戶一樣，在回答用戶的問題的同時，要求視頻通話全程可見虛擬對象的視覺形象，比如虛擬對象要有相應(yīng)的肢體動作、面部表情、講話的聲音以及唇形。

2、在相關(guān)技術(shù)中，為了保證視頻通話過程中全程可見虛擬對象的視覺形象，服務(wù)端需要在視頻通話過程中持續(xù)繪制虛擬對象的視頻流數(shù)據(jù)，并通過客戶端渲染并展示視頻流數(shù)據(jù)對應(yīng)的虛擬對象的視覺形象，以及，在虛擬對象和用戶一問一答的交互中，客戶端需要持續(xù)識別虛擬對象的講話狀態(tài)，并在檢測到講完時觸發(fā)獲取用戶的語音信息，并向服務(wù)端發(fā)送，以便服務(wù)端繪制虛擬對象的應(yīng)答視頻流數(shù)據(jù)。然而，持續(xù)繪制虛擬對象的視頻流數(shù)據(jù)會增加服務(wù)端負(fù)載，并且持續(xù)識別虛擬對象的講話狀態(tài)會增加客戶端的性能開銷。

技術(shù)實現(xiàn)思路

1、本申請實施例的目的是提供一種播放方法、裝置、電子設(shè)備及存儲介質(zhì)，能夠降低服務(wù)端負(fù)載和客戶端的性能開銷。

2、第一方面，本申請實施例提供了一種播放方法，包括：

3、在獲取用戶與虛擬對象進(jìn)行視頻通話時的用戶語音信息的過程中，在視頻通話界面的第一顯示區(qū)域播放第一虛擬對象視聽畫面；

4、向服務(wù)端發(fā)送視頻流請求，視頻流請求攜帶與用戶語音信息對應(yīng)的虛擬對象應(yīng)答文本和虛擬對象的顯示數(shù)據(jù)，視頻流請求用于請求服務(wù)端基于顯示數(shù)據(jù)構(gòu)建與虛擬對象的形象匹配的虛擬對象視頻流數(shù)據(jù)，并根據(jù)虛擬對象視頻流數(shù)據(jù)、虛擬對象應(yīng)答文本、以及虛擬對象應(yīng)答文本的虛擬對象應(yīng)答音頻，生成虛擬對象應(yīng)答視頻流數(shù)據(jù)；

5、接收服務(wù)端發(fā)送的虛擬對象應(yīng)答視頻流數(shù)據(jù)；

6、將第一顯示區(qū)域播放的第一虛擬對象視聽畫面切換為虛擬對象應(yīng)答視聽畫面，虛擬對象應(yīng)答視聽畫面由虛擬對象應(yīng)答視頻流數(shù)據(jù)渲染得到。

7、第二方面，本申請實施例提供了一種播放裝置，包括：

8、顯示模塊，用于在獲取用戶與虛擬對象進(jìn)行視頻通話時的用戶語音信息的過程中，在視頻通話界面的第一顯示區(qū)域播放第一虛擬對象視聽畫面；

9、發(fā)送模塊，用于向服務(wù)端發(fā)送視頻流請求，視頻流請求攜帶與用戶語音信息對應(yīng)的虛擬對象應(yīng)答文本和虛擬對象的顯示數(shù)據(jù)，視頻流請求用于請求服務(wù)端基于顯示數(shù)據(jù)構(gòu)建與虛擬對象的形象匹配的虛擬對象視頻流數(shù)據(jù)，并根據(jù)虛擬對象視頻流數(shù)據(jù)、虛擬對象應(yīng)答文本、以及虛擬對象應(yīng)答文本的虛擬對象應(yīng)答音頻，生成虛擬對象應(yīng)答視頻流數(shù)據(jù)；

10、接收模塊，用于接收服務(wù)端發(fā)送的虛擬對象應(yīng)答視頻流數(shù)據(jù)；

11、處理模塊，用于將第一顯示區(qū)域播放的第一虛擬對象視聽畫面切換為虛擬對象應(yīng)答視聽畫面，虛擬對象應(yīng)答視聽畫面由虛擬對象應(yīng)答視頻流數(shù)據(jù)渲染得到。

12、第三方面，本申請實施例提供了一種電子設(shè)備，該電子設(shè)備包括處理器、存儲器及存儲在存儲器上并可在處理器上運行的程序或指令，程序或指令被處理器執(zhí)行時實現(xiàn)如第一方面所示的播放方法的步驟。

13、第四方面，本申請實施例提供了一種可讀存儲介質(zhì)，可讀存儲介質(zhì)上存儲程序或指令，程序或指令被處理器執(zhí)行時實現(xiàn)如第一方面所示的播放方法的步驟。

14、第五方面，本申請實施例提供了一種芯片，芯片包括處理器和顯示接口，顯示接口和處理器耦合，處理器用于運行程序或指令，實現(xiàn)如第一方面所示的播放方法的步驟。

15、第六方面，本申請實施例提供一種計算機程序產(chǎn)品，該程序產(chǎn)品被存儲在存儲介質(zhì)中，該程序產(chǎn)品被至少一個處理器執(zhí)行以實現(xiàn)如第一方面所示的播放方法的步驟。

16、在本申請實施例中，考慮到虛擬對象在聆聽階段和思考階段時只需做一些默認(rèn)的肢體動作，無需音頻和唇形與其搭配，所以在獲取用戶與虛擬對象進(jìn)行視頻通話時的用戶語音信息的過程中，通過在視頻通話界面的虛擬對象顯示區(qū)域中顯示的第一虛擬對象視聽畫面替代服務(wù)端持續(xù)渲染虛擬對象的畫面的過程，如此，無需服務(wù)端持續(xù)渲染虛擬對象畫面，實現(xiàn)間斷的向服務(wù)端發(fā)送視頻流請求，減少服務(wù)端繪制虛擬對象視頻流的時間，降低了服務(wù)端的負(fù)載；以及，在接收到服務(wù)端發(fā)送的虛擬對象應(yīng)答視頻流數(shù)據(jù)的情況下，將虛擬對象顯示區(qū)域中播放的第一虛擬對象視聽畫面切換為由虛擬對象應(yīng)答視頻流數(shù)據(jù)渲染得到的虛擬對象應(yīng)答視聽畫面，這樣，無需客戶端持續(xù)識別虛擬對象的講話狀態(tài)，降低了客戶端識別虛擬對象講話完畢的高昂性能開銷，以及，減少了服務(wù)端和客戶端之間的數(shù)據(jù)傳輸頻率，可以降低網(wǎng)絡(luò)資源的傳輸成本。

技術(shù)特征：

1.一種播放方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述顯示數(shù)據(jù)包括所述虛擬對象在所述第一顯示區(qū)域中的顯示坐標(biāo)和所述第一顯示區(qū)域在所述視頻通話界面中的顯示尺寸；

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述第一虛擬對象視聽畫面包括至少兩個第一虛擬對象視聽畫面，所述至少兩個第一虛擬對象視聽畫面按照預(yù)設(shè)虛擬對象視聽畫面的播放順序播放；所述視頻流請求還攜帶所述至少兩個第一虛擬對象視聽畫面中第一目標(biāo)虛擬對象視聽畫面的播放次序，所述視頻流請求還用于請求所述服務(wù)端獲取與所述播放次序?qū)?yīng)的第一目標(biāo)虛擬對象視聽畫面中虛擬對象的顯示形態(tài)，并基于所述第一目標(biāo)虛擬對象視聽畫面中虛擬對象的顯示形態(tài)，構(gòu)建與所述虛擬對象的虛擬對象形象匹配的所述虛擬對象視頻流數(shù)據(jù)；

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述虛擬對象應(yīng)答視頻流數(shù)據(jù)包括與所述第一目標(biāo)虛擬對象視聽畫面銜接的虛擬對象應(yīng)答視聽畫面的數(shù)據(jù)；

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述虛擬對象應(yīng)答視頻流數(shù)據(jù)包括與所述第一目標(biāo)虛擬對象視聽畫面銜接的虛擬對象應(yīng)答視聽畫面的數(shù)據(jù)；

6.一種播放裝置，其特征在于，包括：

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述播放裝置還包括確定模塊，用于在所述顯示數(shù)據(jù)包括所述虛擬對象在所述第一顯示區(qū)域中的顯示坐標(biāo)和所述第一顯示區(qū)域在所述視頻通話界面中的顯示尺寸的情況下，根據(jù)所述用戶語音信息，確定與所述用戶語音信息對應(yīng)的虛擬對象應(yīng)答文本；

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述構(gòu)建模塊具體用于，在所述第一虛擬對象視聽畫面包括至少兩個第一虛擬對象視聽畫面，所述至少兩個第一虛擬對象視聽畫面按照預(yù)設(shè)虛擬對象視聽畫面的播放順序播放；所述視頻流請求還攜帶所述至少兩個第一虛擬對象視聽畫面中第一目標(biāo)虛擬對象視聽畫面的播放次序，所述視頻流請求還用于請求所述服務(wù)端獲取與所述播放次序?qū)?yīng)的第一目標(biāo)虛擬對象視聽畫面中虛擬對象的顯示形態(tài)，并基于所述第一目標(biāo)虛擬對象視聽畫面中虛擬對象的顯示形態(tài)，構(gòu)建與所述虛擬對象的虛擬對象形象匹配的所述虛擬對象視頻流數(shù)據(jù)的情況下，基于所述播放次序、所述虛擬對象應(yīng)答文本、所述顯示尺寸和所述顯示坐標(biāo)，構(gòu)建所述視頻流請求。

9.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述播放裝置還包括拼接模塊，用于在所述虛擬對象應(yīng)答視頻流數(shù)據(jù)包括與所述第一目標(biāo)虛擬對象視聽畫面銜接的虛擬對象應(yīng)答視聽畫面的數(shù)據(jù)的情況下，將所述虛擬對象應(yīng)答視聽畫面拼接在所述第一目標(biāo)虛擬對象視聽畫面之后；

10.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述顯示模塊還用于，在所述虛擬對象應(yīng)答視頻流數(shù)據(jù)包括與所述第一目標(biāo)虛擬對象視聽畫面銜接的虛擬對象應(yīng)答視聽畫面的數(shù)據(jù)，且所述第一目標(biāo)虛擬對象視聽畫面與所述第一顯示區(qū)域中當(dāng)前播放的第二目標(biāo)虛擬對象視聽畫面的畫面相似度大于或等于預(yù)設(shè)閾值的情況下，在所述第二目標(biāo)虛擬對象視聽畫面播放結(jié)束之后，在所述第一顯示區(qū)域中播放所述虛擬對象應(yīng)答視聽畫面。

技術(shù)總結(jié)
本申請公開了一種播放方法及其裝置，屬于人工智能技術(shù)領(lǐng)域，該方法包括在獲取用戶與虛擬對象進(jìn)行視頻通話時的用戶語音信息的過程中，在視頻通話界面的第一顯示區(qū)域播放第一虛擬對象視聽畫面；向服務(wù)端發(fā)送視頻流請求，視頻流請求攜帶與用戶語音信息對應(yīng)的虛擬對象應(yīng)答文本和虛擬對象的顯示數(shù)據(jù)，用于請求服務(wù)端基于顯示數(shù)據(jù)構(gòu)建與虛擬對象的形象匹配的虛擬對象視頻流數(shù)據(jù)，并根據(jù)虛擬對象視頻流數(shù)據(jù)、虛擬對象應(yīng)答文本以及虛擬對象應(yīng)答文本的虛擬對象應(yīng)答音頻，生成虛擬對象應(yīng)答視頻流數(shù)據(jù)；接收服務(wù)端發(fā)送的虛擬對象應(yīng)答視頻流數(shù)據(jù)，將第一顯示區(qū)域播放的第一虛擬對象切換為虛擬對象應(yīng)答視頻流數(shù)據(jù)渲染得到的虛擬對象應(yīng)答視聽畫面。

技術(shù)研發(fā)人員：林偉偉
受保護(hù)的技術(shù)使用者：維沃移動通信有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30