噪聲環境下的回聲消除方法及系統的制作方法
【專利摘要】本發明提供一種噪聲環境下的回聲消除方法及系統，方法包括：將語音時域輸入信號復制成兩路相同的第一時域輸入信號和第二時域輸入信號；分別對第一時域輸入信號和第二時域輸入信號做如下處理：將第一時域輸入信號轉換成第一頻域輸入信號后進行語音增強處理，據以獲得各頻點的第一增益值；將第二時域輸入信號轉換成第二頻域輸入信號后進行非線性回聲處理，據以獲得各頻點的第二增益值；將第一增益值和第二增益值疊加至第一頻域輸入信號或第二頻域輸入信號的各頻點，據以生成第三頻域輸入信號；對第三頻域輸入信號進行傅里葉逆變換以生成語音時域輸出信號。通過對語音信號同時進行語音增強和回聲消除，有效避免了二者由于先后順序而造成的相互干擾。
【專利說明】
噪聲環境下的回聲消除方法及系統
技術領域
[0001]本發明涉及語音處理領域，特別是涉及一種噪聲環境下的回聲消除方法及系統。
【背景技術】
[0002]在語音通話過程中，需要對語音信號進行聲學處理，以獲得讓用戶清晰可懂的語音信號。語音通話聲學處理分上行麥克輸入信號處理和下行送至揚聲器信號處理。其中，語音增強和回聲消除是上行語音信號處理中不可或缺的重要部分。語音增強主要用于噪聲環境下消除麥克風采集到的噪聲并保留語音，以提高語音的清晰度；回聲消除則主要用于消除混入麥克風中的喇叭信號，防止通話對方聽到自己的回聲。
[0003]通常，語音通話聲學處理分兩種順序進行，一種是先進行回聲消除再進行語音增強，另一種是先進行語音增強再進行回聲消除。其中，前者能保證回聲消除的性能，但語音增強由于噪聲特性會遭到前置回聲消除的破壞，以致無法準確計算噪聲特性，語音增強性能下降；后者能保證語音增強的性能，但語音增強處理增加了回聲與回聲參考信號的非線性，導致回聲消除性能下降。
[0004]可見，兩種方法都存在其自身的缺陷。在實際使用中，通常需要采用更多復雜算法對這些缺陷進行各種補償，效率低下。
【發明內容】
[0005]鑒于以上所述現有技術的缺點，本發明的目的在于提供一種噪聲環境下的回聲消除方法及系統，用于解決現有技術中語音通話聲學處理效率低下的問題。
[0006]為實現上述目的及其他相關目的，本發明提供一種噪聲環境下的回聲消除方法，包括:將語音時域輸入信號復制成兩路相同的第一時域輸入信號和第二時域輸入信號;分別對所述第一時域輸入信號和所述第二時域輸入信號做如下處理:將所述第一時域輸入信號轉換成第一頻域輸入信號后進行語音增強處理，據以獲得各頻點的第一增益值;將所述第二時域輸入信號轉換成第二頻域輸入信號后進行非線性回聲處理，據以獲得各頻點的第二增益值;將所述第一增益值和第二增益值疊加至所述第一頻域輸入信號或第二頻域輸入信號的各頻點，據以生成第三頻域輸入信號;對所述第三頻域輸入信號進行傅里葉逆變換以生成語音時域輸出信號。
[0007]在一實施例中，還包括:將所述語音時域輸入信號進行分幀處理后復制成兩路相同的第一時域輸入信號和第二時域輸入信號。
[0008]在一實施例中，還包括:將所述第二時域輸入信號轉換成所述第二頻域輸入信號前進行自適應回聲濾波處理。
[0009]在一實施例中，還包括:當檢測到回聲參考信號時，分別計算:單講狀態下所述語音時域輸入信號的幀時域能量與所述回聲參考信號的幀時域能量的第一比值;濾波后的所述第二頻域輸入信號的各頻域子帶能量與所述回聲參考信號的對應頻域子帶能量的第二比值，其中，各所述頻域子帶是以預設帶寬劃分整個頻域生成的；當檢測到存在所述第二比值小于所述第一比值與第一預設百分比的乘積的頻域子帶時，將該頻域子帶內各頻點的所述第二增益值設置為零。
[0010]在一實施例中，還包括:計算幅度譜，其中，所述幅度譜是由所述語音時域輸出信號的功率譜與第二預設百分比的乘積加上所述語音增強處理中的噪聲功率譜生成的;生成白噪聲頻譜;通過所述幅度譜的算術平方根與所述白噪聲頻譜的乘積計算得到舒適噪聲頻譜;對所述舒適噪聲頻譜進行傅里葉逆變換以生成舒適噪聲時域信號；判斷所述回聲參考信號是否為語音信號；若是，則將所述舒適噪聲時域信號與所述語音時域輸出信號疊加后輸出;若否，則直接輸出所述語音時域輸出信號。
[0011]為實現上述目的及其他相關目的，本發明提供一種噪聲環境下的回聲消除系統，包括:預處理模塊，用于將語音時域輸入信號復制成兩路相同的第一時域輸入信號和第二時域輸入信號;第一處理模塊，用于將所述第一時域輸入信號轉換成第一頻域輸入信號后進行語音增強處理，據以獲得各頻點的第一增益值;第二處理模塊，用于將所述第二時域輸入信號轉換成第二頻域輸入信號后進行非線性回聲處理，據以獲得各頻點的第二增益值；合并模塊，用于將所述第一增益值和第二增益值疊加至所述第一頻域輸入信號或第二頻域輸入信號的各頻點，據以生成第三頻域輸入信號;轉換模塊，用于對所述第三頻域輸入信號進行傅里葉逆變換以生成語音時域輸出信號。
[0012]在一實施例中，所述預處理模塊還用于:將所述語音時域輸入信號復制成兩路相同的第一時域輸入信號和第二時域輸入信號前進行分幀處理。
[0013]在一實施例中，所述第二處理模塊還用于:將所述第二時域輸入信號轉換成所述第二頻域輸入信號前進行自適應回聲濾波處理。
[0014]在一實施例中，還包括:檢測模塊，用于檢測回聲參考信號;第一計算模塊，用于當檢測到所述回聲參考信號時，計算單講狀態下所述語音時域輸入信號的幀時域能量與所述回聲參考信號的幀時域能量的第一比值;第二計算模塊，用于當檢測到所述回聲參考信號時，計算濾波后的所述第二頻域輸入信號的各頻域子帶能量與所述回聲參考信號的對應頻域子帶能量的第二比值，其中，各所述頻域子帶是由所述預處理模塊以預設帶寬劃分整個頻域生成的；第三處理模塊，用于當檢測到存在所述第二比值小于所述第一比值與第一預設百分比的乘積的頻域子帶時，將該頻域子帶內各頻點的所述第二增益值設置為零。
[0015]在一實施例中，還包括:第三計算模塊，用于計算幅度譜，其中，所述幅度譜是由所述語音時域輸出信號的功率譜與第二預設百分比的乘積加上所述語音增強處理中的噪聲功率譜生成的；生成模塊，用于生成白噪聲頻譜;第四計算模塊，用于通過所述幅度譜的算術平方根與所述白噪聲頻譜的乘積計算得到舒適噪聲頻譜;所述轉換模塊，還用于對所述舒適噪聲頻譜進行傅里葉逆變換以生成舒適噪聲時域信號；第四處理模塊，用于判斷所述回聲參考信號是否為語音信號;若是，則將所述舒適噪聲時域信號與所述語音時域輸出信號疊加后輸出;若否，則直接輸出所述語音時域輸出信號。
[0016]為實現上述目的及其他相關目的，本發明提供一種語音裝置，包括如上任一所述的噪聲環境下的回聲消除系統。
[0017]如上所述，本發明的噪聲環境下的回聲消除方法及系統，通過對語音信號同時進行語音增強和回聲消除，在并行處理后通過在頻域將各自計算的增益相乘來合并語音增強和回聲消除的效果，有效避免了二者由于處理順序而造成的相互干擾，提高處理效率。
【附圖說明】
[0018]圖1顯示為本發明一實施例中的噪聲環境下的回聲消除方法流程圖。
[0019]圖2顯示為本發明另一實施例中的噪聲環境下的回聲消除方法流程圖。
[0020]圖3顯示為本發明又一實施例中的噪聲環境下的回聲消除方法流程圖。
[0021]圖4顯示為本發明一實施例中的噪聲環境下的回聲消除系統模塊圖。
[0022]圖5顯示為本發明另一實施例中的噪聲環境下的回聲消除系統模塊圖。
[0023]圖6顯示為本發明又一實施例中的噪聲環境下的回聲消除系統模塊圖。
【具體實施方式】
[0024]以下通過特定的具體實例說明本發明的實施方式，本領域技術人員可由本說明書所揭露的內容輕易地了解本發明的其他優點與功效。本發明還可以通過另外不同的【具體實施方式】加以實施或應用，本說明書中的各項細節也可以基于不同觀點與應用，在沒有背離本發明的精神下進行各種修飾或改變。需說明的是，在不沖突的情況下，以下實施例及實施例中的特征可以相互組合。
[0025]需要說明的是，以下實施例中所提供的圖示僅以示意方式說明本發明的基本構想，遂圖式中僅顯示與本發明中有關的組件而非按照實際實施時的組件數目、形狀及尺寸繪制，其實際實施時各組件的型態、數量及比例可為一種隨意的改變，且其組件布局型態也可能更為復雜。
[0026]常用的語音增強算法會破壞回聲與下行回聲參考信號的線性度，這給回聲消除帶來很大的困難，因此將回聲消除置于語音增強前面，避免回聲消除受到語音增強的影響。然而，在回聲較大時，回聲消除會破壞原有的噪聲特性，導致語音增強算法對噪聲進行估計時無法獲得準確的噪聲特性，因此又需將語音增強置于回聲消除前，以避免語音增強受到回聲消除模塊的影響。
[0027]請參閱圖1，為了解決上述矛盾，本發明提出一種噪聲環境下的回聲消除方法，將輸入麥克采集信號分成兩路相同信號流，同時進行語音增強和回聲消除。這樣，語音增強與回聲消除均是對原有麥克輸入信號進行處理，以避免對彼此的相互影響。在分別進行語音增強和回聲消除后，引入一個合并處理方法，即在頻域對兩個算法的參數進行合并，形成單條信號作為輸出信號，具體地，包括如下步驟:
[0028]步驟SlOl:將語音時域輸入信號X復制成兩路相同的第一時域輸入信號X和第二時域輸入信號X。優選的，對信號的處理以幀為單位，每幀處理樣點數根據采樣率和需求確定。
[0029]步驟S102:將所述第一時域輸入信號X轉換成第一頻域輸入信號后進行語音增強處理，據以獲得各頻點的第一增益值Gl(k)，其中k表示頻點索引號。其中，語音增強方法包括:譜減法、維納濾波法等。
[0030]步驟S103:將所述第二時域輸入信號X轉換成第二頻域輸入信號后進行回聲消除處理，優選的，先經自適應回聲濾波后獲得信號e，然后對信號e進行非線性回聲處理，以獲得頻域上各頻點的增益值G2(k)，其中k表示頻點索引號。
[0031]步驟S104:將所述第一增益值和第二增益值疊加至所述第一頻域輸入信號或第二頻域輸入信號的各頻點，據以生成第三頻域輸入信號，即令增益值G(k)=Gl(k)*G2(k)，將增益G(k)施加至e的頻譜E(k)，即令頻譜Y(k) =E(k)*G(k)。
[0032]步驟S105:對所述第三頻域輸入信號進行傅里葉逆變換以生成語音時域輸出信號，即對Y(k)進行傅立葉逆變換，得到語音增強和回聲消除后的語音時域輸出信號y。
[0033]需要說明的是，在上述步驟中，還可以將語音時域輸入信號X轉換為頻域信號后再復制成兩路相同的信號流，分別進行語音增強、回聲消除。
[0034]請參閱圖2，為了更好地消除殘留回聲，本發明進一步提出新型消除殘留回聲的方法，包括:
[0035]步驟S201:當檢測到回聲參考信號r時，同步執行步驟S202和S203。
[0036]步驟S202:計算單講狀態下所述語音時域輸入信號X的幀時域能量Ex與所述回聲參考信號r的幀時域能量Er的第一比值a，即a = Ex/Er，比例關系a用來表征回聲強度。
[0037]步驟S203:計算濾波后的所述第二頻域輸入信號的各頻域子帶能量Ee(m)與所述回聲參考信號r的對應頻域子帶能量Re(m)的第二比值b(m)，即b(m) =Ee(m)/Re(m)，其中，m表示子帶索引號，各所述頻域子帶優選為以預設帶寬劃分整個頻域生成的。
[0038]步驟S204:判斷是否存在所述第二比值小于所述第一比值與第一預設百分比的乘積的頻域子帶，即判斷b (m) <a*c?若有，則執行步驟S205;若無，則不做操作。
[0039]步驟S205:將該頻域子帶內各頻點的所述第二增益值設置為零，S卩G2(k)=0，從而達到消除殘留回聲的目的。
[0040]請參閱圖3，為了更好得提升噪聲環境下回聲消除后語音信號的自然度，本發明還引入了一種舒適噪聲產生方法，包括:
[0041]步驟S301:計算幅度譜Gn(k)，其中，所述幅度譜Gn(k)是由所述語音時域輸出信號y的功率譜Y(k)與第二預設百分比的乘積加上所述語音增強處理中的噪聲功率譜P(k)生成的，SPGn(k)=P(k)+Y(k)*d。
[0042]步驟S302:生成白噪聲頻譜W(k)。
[0043]需要說明的是，步驟S301與S302順序上沒有先后限制。
[0044]步驟S303:通過所述幅度譜的算術平方根與所述白噪聲頻譜的乘積計算得到舒適噪聲頻譜N(k)，即N(k) =ff(k)*sqrt[Gn(k)]。
[0045]步驟S304:對所述舒適噪聲頻譜N(k)進行傅里葉逆變換以生成舒適噪聲時域信號gn0
[0046]步驟S305:判斷所述回聲參考信號r是否為語音信號。若否，則執行步驟S306;若是，則執行步驟S307。
[0047]步驟S306:則直接輸出所述語音時域輸出信號y。
[0048]步驟S307:將所述舒適噪聲時域信號gn與所述語音時域輸出信號y疊加后輸出。
[0049]請參閱圖4，與上述方法實施例原理相似的是，本發明提供一種噪聲環境下的回聲消除系統，由于方法實施例中的技術特征也可應用于本系統實施例，因而不再重復贅述。所述系統包括:預處理模塊401、第一處理模塊402、第二處理模塊403、合并模塊404和轉換模塊405。
[0050]預處理模塊401將語音時域輸入信號復制成兩路相同的第一時域輸入信號和第二時域輸入信號。第一處理模塊402將所述第一時域輸入信號轉換成第一頻域輸入信號后進行語音增強處理，據以獲得各頻點的第一增益值。第二處理模塊403將所述第二時域輸入信號轉換成第二頻域輸入信號后進行非線性回聲處理，據以獲得各頻點的第二增益值。合并模塊404將所述第一增益值和第二增益值疊加至所述第一頻域輸入信號或第二頻域輸入信號的各頻點，據以生成第三頻域輸入信號。轉換模塊405對所述第三頻域輸入信號進行傅里葉逆變換以生成語音時域輸出信號。
[0051]優選的，所述預處理模塊401還用于:將所述語音時域輸入信號復制成兩路相同的第一時域輸入信號和第二時域輸入信號前進行分幀處理。所述第二處理模塊403還用于:將所述第二時域輸入信號轉換成所述第二頻域輸入信號前進行自適應回聲濾波處理。
[0052]請參閱圖5，在一實施例中，還包括:檢測模塊501、第一計算模塊502、第二計算模塊502和第三處理模塊504。
[0053]檢測模塊501檢測回聲參考信號。當檢測到所述回聲參考信號時，第一計算模塊502計算單講狀態下所述語音時域輸入信號的幀時域能量與所述回聲參考信號的幀時域能量的第一比值，第二計算模塊503計算濾波后的所述第二頻域輸入信號的各頻域子帶能量與所述回聲參考信號的對應頻域子帶能量的第二比值，其中，各所述頻域子帶是由所述預處理模塊以預設帶寬劃分整個頻域生成的。第三處理模塊504用于檢測是否存在所述第二比值小于所述第一比值與第一預設百分比的乘積的頻域子帶，如有則將該頻域子帶內各頻點的所述第二增益值設置為零。
[0054]請參閱圖6，在一實施例中，還包括:第三計算模塊601、生成模塊602、第四計算模塊603和第四處理模塊605。
[0055]第三計算模塊601計算幅度譜，其中，所述幅度譜是由所述語音時域輸出信號的功率譜與第二預設百分比的乘積加上所述語音增強處理中的噪聲功率譜生成的。生成模塊602生成白噪聲頻譜。第四計算模塊603通過所述幅度譜的算術平方根與所述白噪聲頻譜的乘積計算得到舒適噪聲頻譜。所述轉換模塊405還用于對所述舒適噪聲頻譜進行傅里葉逆變換以生成舒適噪聲時域信號。第四處理模塊605判斷所述回聲參考信號是否為語音信號。若是，則將所述舒適噪聲時域信號與所述語音時域輸出信號疊加后輸出；若否，則直接輸出所述語音時域輸出信號。
[0056]與上述方法、系統實施例原理相似的是，本發明提供一種語音裝置，包括如上任一所述的噪聲環境下的回聲消除系統。優選的，該語音裝置由麥克風和相連的揚聲器組成。由于上述實施例中的技術特征也可應用于本系統實施例，因而不再重復贅述。
[0057]綜上所述，本發明通過對語音信號同時進行語音增強和回聲消除，有效避免了二者由于先后順序而造成的相互干擾，有效克服了現有技術中的種種缺點而具高度產業利用價值。
[0058]上述實施例僅例示性說明本發明的原理及其功效，而非用于限制本發明。任何熟悉此技術的人士皆可在不違背本發明的精神及范疇下，對上述實施例進行修飾或改變。因此，舉凡所屬技術領域中具有通常知識者在未脫離本發明所揭示的精神與技術思想下所完成的一切等效修飾或改變，仍應由本發明的權利要求所涵蓋。
【主權項】
1.一種噪聲環境下的回聲消除方法，其特征在于，包括: 將語音時域輸入信號復制成兩路相同的第一時域輸入信號和第二時域輸入信號； 分別對所述第一時域輸入信號和所述第二時域輸入信號做如下處理: 將所述第一時域輸入信號轉換成第一頻域輸入信號后進行語音增強處理，據以獲得各頻點的第一增益值； 將所述第二時域輸入信號轉換成第二頻域輸入信號后進行非線性回聲處理，據以獲得各頻點的第二增益值； 將所述第一增益值和第二增益值疊加至所述第一頻域輸入信號或第二頻域輸入信號的各頻點，據以生成第三頻域輸入信號； 對所述第三頻域輸入信號進行傅里葉逆變換以生成語音時域輸出信號。2.根據權利要求1所述的噪聲環境下的回聲消除方法，其特征在于，還包括:將所述語音時域輸入信號進行分幀處理后復制成兩路相同的第一時域輸入信號和第二時域輸入信號。3.根據權利要求2所述的噪聲環境下的回聲消除方法，其特征在于，還包括:將所述第二時域輸入信號轉換成所述第二頻域輸入信號前進行自適應回聲濾波處理。4.根據權利要求3所述的噪聲環境下的回聲消除方法，其特征在于，還包括: 當檢測到回聲參考信號時，分別計算: 單講狀態下所述語音時域輸入信號的幀時域能量與所述回聲參考信號的幀時域能量的第一比值； 濾波后的所述第二頻域輸入信號的各頻域子帶能量與所述回聲參考信號的對應頻域子帶能量的第二比值，其中，各所述頻域子帶是以預設帶寬劃分整個頻域生成的； 當檢測到存在所述第二比值小于所述第一比值與第一預設百分比的乘積的頻域子帶時，將該頻域子帶內各頻點的所述第二增益值設置為零。5.根據權利要求4所述的噪聲環境下的回聲消除方法，其特征在于，還包括: 計算幅度譜，其中，所述幅度譜是由所述語音時域輸出信號的功率譜與第二預設百分比的乘積加上所述語音增強處理中的噪聲功率譜生成的； 生成白噪聲頻譜； 通過所述幅度譜的算術平方根與所述白噪聲頻譜的乘積計算得到舒適噪聲頻譜； 對所述舒適噪聲頻譜進行傅里葉逆變換以生成舒適噪聲時域信號； 判斷所述回聲參考信號是否為語音信號； 若是，則將所述舒適噪聲時域信號與所述語音時域輸出信號疊加后輸出； 若否，則直接輸出所述語音時域輸出信號。6.一種噪聲環境下的回聲消除系統，其特征在于，包括: 預處理模塊，用于將語音時域輸入信號復制成兩路相同的第一時域輸入信號和第二時域輸入信號； 第一處理模塊，用于將所述第一時域輸入信號轉換成第一頻域輸入信號后進行語音增強處理，據以獲得各頻點的第一增益值； 第二處理模塊，用于將所述第二時域輸入信號轉換成第二頻域輸入信號后進行非線性回聲處理，據以獲得各頻點的第二增益值； 合并模塊，用于將所述第一增益值和第二增益值疊加至所述第一頻域輸入信號或第二頻域輸入信號的各頻點，據以生成第三頻域輸入信號； 轉換模塊，用于對所述第三頻域輸入信號進行傅里葉逆變換以生成語音時域輸出信號。7.根據權利要求6所述的噪聲環境下的回聲消除系統，其特征在于，所述預處理模塊還用于:將所述語音時域輸入信號復制成兩路相同的第一時域輸入信號和第二時域輸入信號前進行分幀處理。8.根據權利要求7所述的噪聲環境下的回聲消除系統，其特征在于，所述第二處理模塊還用于:將所述第二時域輸入信號轉換成所述第二頻域輸入信號前進行自適應回聲濾波處理。9.根據權利要求8所述的噪聲環境下的回聲消除系統，其特征在于，還包括: 檢測模塊，用于檢測回聲參考信號； 第一計算模塊，用于當檢測到所述回聲參考信號時，計算單講狀態下所述語音時域輸入信號的幀時域能量與所述回聲參考信號的幀時域能量的第一比值； 第二計算模塊，用于當檢測到所述回聲參考信號時，計算濾波后的所述第二頻域輸入信號的各頻域子帶能量與所述回聲參考信號的對應頻域子帶能量的第二比值，其中，各所述頻域子帶是由所述預處理模塊以預設帶寬劃分整個頻域生成的； 第三處理模塊，用于當檢測到存在所述第二比值小于所述第一比值與第一預設百分比的乘積的頻域子帶時，將該頻域子帶內各頻點的所述第二增益值設置為零。10.根據權利要求9所述的噪聲環境下的回聲消除系統，其特征在于，還包括: 第三計算模塊，用于計算幅度譜，其中，所述幅度譜是由所述語音時域輸出信號的功率譜與第二預設百分比的乘積加上所述語音增強處理中的噪聲功率譜生成的； 生成模塊，用于生成白噪聲頻譜； 第四計算模塊，用于通過所述幅度譜的算術平方根與所述白噪聲頻譜的乘積計算得到舒適噪聲頻譜； 所述轉換模塊，還用于對所述舒適噪聲頻譜進行傅里葉逆變換以生成舒適噪聲時域信號； 第四處理模塊，用于判斷所述回聲參考信號是否為語音信號;若是，則將所述舒適噪聲時域信號與所述語音時域輸出信號疊加后輸出;若否，則直接輸出所述語音時域輸出信號。11.一種語音裝置，其特征在于，包括:如權利要求6至10中任一所述的噪聲環境下的回聲消除系統。
【文檔編號】G10L21/0224GK105825865SQ201610136006
【公開日】2016年8月3日
【申請日】2016年3月10日
【發明人】金劍, 張益萍
【申請人】福州瑞芯微電子股份有限公司