音頻的合成方法和裝置、存儲介質及電子設備與流程

本技術涉及計算機領域，具體而言，涉及一種音頻的合成方法和裝置、存儲介質及電子設備。

背景技術：

1、唱歌是一種低門檻且具有需求的用戶行為。在互聯網時代，用戶對音樂不僅有收聽的需求，還有強烈的參與欲望，其中包括合唱。

2、目前，傳統的合唱音頻合成方式是通過直播間讓用戶實時參與合唱，或者通過不定時的用戶錄音，由業務方對錄制內容進行合成。然而對于一些片段歌曲，在參與錄制的用戶較少的情況下，呈現給用戶的合成音頻僅包括較少的用戶聲音的合成音頻。

3、換言之，采用相關技術中提供的音頻的合成方式，仍然存在著合成的音頻較為單一的技術問題。

4、針對上述的問題，目前尚未提出有效的解決方案。

技術實現思路

1、本技術實施例提供了一種音頻的合成方法和裝置、存儲介質及電子設備，以至少解決合成的音頻較為單一的技術問題。

2、根據本技術實施例的一個方面，提供了一種音頻的合成方法，包括：

3、根據本技術實施例的另一方面，還提供了一種音頻的合成裝置，包括：獲取單元，用于獲取與目標曲目的合唱任務關聯的目標原始歌曲音頻，其中，所述目標原始歌曲音頻為所述目標曲目的原始演唱對象所演唱的歌曲音頻；調整單元，用于基于所述目標原始歌曲音頻對從模板語音音頻庫中獲取到的目標模板語音音頻進行調整，得到候選歌曲音頻，其中，所述候選歌曲音頻與所述目標原始歌曲音頻之間的音頻相似度大于預定閾值，所述模板語音音頻庫中包括分別具有不同語音音頻特征的模板語音音頻；合成單元，用于利用所述候選歌曲音頻、當前獲取到的已參與所述合唱任務的對象賬號所提供的參考歌曲音頻以及所述目標曲目的背景音樂音頻，合成所述目標曲目的合唱音頻。

4、可選地，在本實施例中，上述調整單元包括：第一處理模塊，用于通過音頻處理網絡對目標原始歌曲音頻、目標原始歌曲音頻所對應的目標原始歌曲音頻特征、目標模板語音音頻以及目標模板語音音頻的目標模板語音音頻特征進行音頻處理，得到參考歌曲音頻，其中，目標原始歌曲音頻特征是從目標原始歌曲音頻所在曲目音頻庫中得到的，曲目音頻庫中包括多個曲目中的各個曲目各自對應的音樂音頻、原始歌曲音頻、背景音樂音頻以及原始音頻特征，音樂音頻包括原始歌曲音頻和背景音樂音頻；第一識別模塊，用于識別參考歌曲音頻中攜帶有關鍵字段的音頻片段；第一確定模塊，用于在參考歌曲音頻中并未識別出攜帶有關鍵字段的音頻片段的情況下，將參考歌曲音頻確定為第一候選子歌曲音頻，其中，候選歌曲音頻中包括多個候選子歌曲音頻。

5、可選地，在本實施例中，上述第一處理模塊還用于：在音頻處理網絡中對目標原始歌曲音頻、目標原始歌曲音頻特征、目標模板語音音頻以及目標模板語音音頻特征執行第i次音頻處理，得到第i音頻，其中，i大于或等于1；將第i音頻的音頻參數調整至與目標曲目的合唱模式標簽所匹配的目標數值，得到調整后的第i音頻，其中，音頻參數包括音頻混響參數和音頻延遲參數以及音頻音量參數；在調整后的第i音頻與目標原始歌曲音頻之間的音頻相似度大于或等于預定閾值的情況下，將調整后的第i音頻確定為參考歌曲音頻；

6、在調整后的第i音頻與目標原始歌曲音頻之間的音頻相似度小于預定閾值的情況下，將目標原始歌曲音頻、目標原始歌曲音頻特征、第i音頻以及第i音頻的音頻特征，輸入至音頻處理網絡執行第i+1次音頻處理。

7、可選地，在本實施例中，上述裝置還包括：第一處理單元，用于在參考歌曲音頻中識別到攜帶有關鍵字段的音頻片段的情況下，通過音頻處理網絡對目標原始歌曲音頻、目標原始歌曲音頻特征、參考歌曲音頻以及參考歌曲音頻的音頻特征進行音頻處理，得到處理后的參考歌曲音頻；第一確定單元，用于在處理后的參考歌曲音頻中并未識別出攜帶有關鍵字段的音頻片段的情況下，將處理后的參考歌曲音頻確定為第二候選子歌曲音頻。

8、可選地，在本實施例中，上述第一處理單元包括：第一獲取單元，用于獲取利用音頻處理網絡對目標原始歌曲音頻、目標原始歌曲音頻特征、參考歌曲音頻以及參考歌曲音頻的音頻特征執行第j次音頻處理所輸出的第j音頻，其中，j大于或等于1；第一調整單元，用于將第j音頻的音頻參數調整至與目標曲目的合唱模式標簽所匹配的目標數值，得到調整后的第j音頻，其中，音頻參數包括音頻混響參數和音頻延遲參數以及音頻音量參數；第二確定單元，用于在j大于或等于n的情況下，將調整后的第j音頻確定為處理后的參考歌曲音頻，其中，n大于或等于j；第一輸入單元，用于在j小于n的情況下，目標原始歌曲音頻、目標原始歌曲音頻特征、第j音頻以及第j音頻的音頻特征，輸入至音頻處理網絡執行第j+1次音頻處理。

9、可選地，在本實施例中，上述裝置還包括：第二獲取單元，用于獲取模板語音音頻集合，并提取模板語音音頻集合中各個模板語音音頻各自對應的模板語音音頻特征，得到模板語音音頻特征集合，其中，模板語音音頻特征包括音域特征、音色特征以及聲音頻譜特征；第一添加單元，用于將模板語音音頻集合和語音音頻特征集合添加至模板語音音頻庫中。

10、可選地，在本實施例中，上述裝置還包括：第三獲取單元，用于獲取音樂音頻集合，其中，音樂音頻集合中包括多個曲目中各個曲目各自對應的音樂音頻，多個曲目包括目標曲目；第四獲取單元，用于基于各個曲目各自對應的歌曲音頻，得到各個曲目各自對應的原始歌曲音頻，以及各個曲目各自對應的背景音樂音頻；第一提取單元，用于在各個曲目各自對應的原始歌曲音頻中提取中各個曲目各自對應的原始歌曲音頻特征，其中，原始歌曲音頻特征包括聲音頻譜特征；第一存儲單元，用于將各個曲目各自對應的音樂音頻、各個曲目各自對應的原始音頻和各個曲目各自對應的背景音樂音頻以及各個曲目各自對應的原始歌曲音頻特征，存儲至曲目音頻庫中；第一關聯單元，用于為各個曲目分別關聯所匹配的合唱模式標簽，其中，合唱模式標簽用于確定曲目所對應的音頻參數的數值。

11、可選地，在本實施例中，上述裝置還包括：第一合成單元，用于利用目標曲目的合唱音頻與參考媒體文件，合成目標媒體文件，其中，參考媒體文件為與目標曲目存在關聯關系的視頻文件、圖像文件中的至少之一；合成單元，用于在目標媒體文件中目標時刻的媒體畫面中添加目標彈幕信息，其中，目標彈幕信息中包括目標曲目的曲目標識和用于執行合唱任務的邀請控件；第一發送單元，用于將目標媒體文件發送給終端，以使終端播放目標媒體文件；第二發送單元，用于在接收到終端發送的合唱任務參與請求的情況下，將已參與合唱任務的參考對象的對象標識發送給終端，以使終端在合唱任務參與界面中顯示參考對象的對象標識，其中，合唱任務參與請求是基于邀請控件觸發的。

12、可選地，在本實施例中，上述裝置還包括：第二合成單元，用于在并未獲取到參考歌曲音頻的情況下，利用候選歌曲音頻和背景音樂音頻，合成目標曲目的合唱音頻。

13、根據本技術實施例的又一方面，還提供了一種計算機可讀的存儲介質，該計算機可讀的存儲介質中存儲有計算機程序，其中，該計算機程序被設置為運行時執行上述音頻的合成方法。

14、根據本技術實施例的又一個方面，提供一種計算機程序產品或計算機程序，該計算機程序產品或計算機程序包括計算機指令，該計算機指令存儲在計算機可讀存儲介質中。計算機設備的處理器從計算機可讀存儲介質讀取該計算機指令，處理器執行該計算機指令，使得該計算機設備執行如以上音頻的合成方法。

15、根據本技術實施例的又一方面，還提供了一種電子設備，包括存儲器和處理器，上述存儲器中存儲有計算機程序，上述處理器被設置為通過所述計算機程序執行上述的音頻的合成方法。

16、在本技術實施例中，獲取與目標曲目的合唱任務關聯的目標原始歌曲音頻，其中，目標原始歌曲音頻為目標曲目的原始演唱對象所演唱的歌曲音頻。然后，基于目標原始歌曲音頻對從模板語音音頻庫中獲取到的目標模板語音音頻進行調整，得到候選歌曲音頻，其中，候選歌曲音頻與目標原始歌曲音頻之間的音頻相似度大于預定閾值，模板語音音頻庫中包括分別具有不同語音音頻特征的模板語音音頻。接著，利用候選歌曲音頻、當前獲取到的已參與合唱任務的對象賬號所提供的參考歌曲音頻以及目標曲目的背景音樂音頻，合成目標曲目的合唱音頻。換句話說，采用本技術實施例，利用目標原始歌曲音頻、目標模板語音音頻以及用戶所提供的參考歌曲音頻，來合成目標曲目的合唱音頻的方式，使得即使是在參與錄制的用戶較少的情況下，仍然能合成內容豐富的合唱音頻，從而避免了相關技術中存在的合成音頻較為單一的技術問題，達到了提升合唱音頻的豐富度的技術效果。