一種用于回聲消除的語音信號時延估計方法及系統的制作方法
【專利摘要】本發明公開了一種用于回聲消除的語音信號時延估計方法及系統，方法包括：分別獲取通話中麥克風接收到的語音信號的遠端信號和近端信號，生成對應的遠端頻域信號和近端頻域信號；采用基于人耳掩蔽效應的臨界頻帶分別對遠端頻域信號、近端頻域信號進行頻域內的子帶分解并獲取遠端頻域信號各臨界頻點的功率譜和近端頻域信號各臨界頻點的功率譜；分別提取遠端頻域信號各臨界頻點的功率譜和近端頻域信號各臨界頻點的功率譜的局部二值特征，并分別進行匹配，生成時延估計結果并輸出。本發明基于人耳掩蔽效應統計出遠端信號和近端信號的相關性，計算簡單，而且能夠得到準確的時延估計，為消除回聲帶來了極大的方便。
【專利說明】
-種用于回聲消除的語音信號時延估計方法及系統
技術領域
[0001] 本發明設及數字語音處理技術領域，尤其設及一種用于回聲消除的語音信號時延 估計方法及系統。
【背景技術】
[0002] 隨著互聯網普及和家居智能化水平的提高，W及移動智能終端的廣泛應用，網絡 電話已成為人們常用的通訊方式。回聲消除是常用電話和網絡電話應用過程中必須解決的 問題。
[0003] 回聲分為聲學回聲和線路回聲，線路回聲是由線路間匹配禪合引起的，聲學回聲 是在外放的語音通話系統中，揚聲器的聲音多次反饋到麥克風引起的。聲學回聲消除，就是 要從麥克風收到的語音中消除揚聲器發出的聲音，得到消除回聲后的近端語音。回聲消除 的模型見圖1。在回聲消除系統中，揚聲器端發出的語音參考信號叫做遠端信號，麥克風收 到的揚聲器發出的聲音和語音組合而成的信號叫做近端信號，遠端信號發出后，一部分語 音直接傳送到麥克風端，運部分回聲與近端信號時延較小；另一部分信號在有限空間的房 間內多次反射后傳到近端，運部分回聲時延較大。回聲消除的過程就是根據遠端信號與近 端信號的相關性，估算出回聲信號，并將回聲信號從近端信號中消除，得到純凈的語音。
[0004] 時延估計是影響聲學回聲消除效果的關鍵技術，準確的時延估計可W大大的優化 回聲的消除效果，通過對遠、近端信號進行時延估計和對齊，回聲的估計和消除工作才能進 一步完成。
[0005] 目前工業上常用的時延估計算法是應用互相關的方法對時延進行估計。通過求取 互相關函數的最大值，其最大值所在位置即對應了兩段語音間的時延。但是其假定了信號 和噪聲W及噪聲與噪聲之間均嚴格相互獨立，運在客觀上是難W實現的，所W在噪聲和混 響條件下時延估計效果較差，表現較不穩定，影響了用戶在通話時的通話質量。
[0006] 因此，現有技術還有待于改進和發展。
【發明內容】
[0007] 鑒于現有技術的不足，本發明目的在于提供一種用于回聲消除的語音信號時延估 計方法及系統，旨在解決現有技術中用戶在通話過程中對回聲的時延估計的算法效果差， 回聲消除效果差的缺陷。
[000引本發明的技術方案如下：
[0009] -種用于回聲消除的語音信號時延估計方法，其中，方法包括：
[0010] A、分別獲取通話中麥克風接收到的語音信號的遠端信號和近端信號，獲取的遠端 信號和近端信號分別依次進行分帖、FFT快速傅里葉變換、加窗操作生成對應的遠端頻域信 號和近端頻域信號；
[0011] B、采用基于人耳掩蔽效應的臨界頻帶對遠端頻域信號進行頻域內的子帶分解并 獲取遠端頻域信號各臨界頻點的功率譜，采用基于人耳掩蔽效應的臨界頻帶對近端頻域信 號進行頻域內的子帶分解并獲取近端頻域信號各臨界頻點的功率譜；
[0012] C、分別提取遠端頻域信號各臨界頻點的功率譜和近端頻域信號各臨界頻點的功 率譜的局部二值特征，并分別對遠端頻域信號各臨界頻點的功率譜和近端頻域信號各臨界 頻點的功率譜的局部二值特征進行匹配，生成時延估計結果并輸出。
[0013] 所述的用于回聲消除的語音信號時延估計方法，其中，所述步驟B具體包括：
[0014] B1、采用基于人耳掩蔽效應的臨界頻帶對遠端頻域信號進行頻域內的子帶分解 后，獲取遠端頻域信號的各臨界頻帶對應的臨界頻點，并獲取遠端頻域信號各臨界頻點的 功率譜；
[0015] B2、采用基于人耳掩蔽效應的臨界頻帶對近端頻域信號進行頻域內的子帶分解 后，獲取近端頻域信號的各臨界頻帶對應的臨界頻點，并獲取近端頻域信號各臨界頻點的 功率譜；
[0016] B3、分別對遠端頻域信號各臨界頻點的功率譜、近端頻域信號各臨界頻點的功率 譜進行帖間平滑和帖內平滑。
[0017] 所述的用于回聲消除的語音信號時延估計方法，其中，所述步驟C具體包括：
[0018] C1、對平滑處理后的遠端頻域信號各臨界頻點的功率譜和近端頻域信號各臨界頻 點的功率譜進行局部特征提取分別生成對應的遠端頻域信號各臨界頻點的局部二值特征 和近端頻域信號各臨界頻點的局部二值特征；
[0019] C2、獲取近端頻域信號各臨界頻點的局部二值特征，分別與遠端頻域信號各臨界 頻點的局部二值特征的前N帖進行異或操作，統計差異點個數，獲取當前帖的第一時延估計 結果，其中N為自然數；
[0020] C3、獲取當前帖的近端信號和當前帖對應的第一時延估計結果對應的遠端信號的 帖，分別進行局部二值特征提取，生成各時刻對應的當前帖的近端信號局部二值特征和當 前帖的遠端信號局部二值特征；
[0021] C4、將當前帖的遠端信號局部二值特征沿時間軸移動一定距離，對移位后的遠端 信號局部二值特征與近端信號局部二值特征中重合位置的特征進行異或操作，獲取差異最 少的時刻，根據所述時刻計算出當前帖的第二時延估計結果。
[0022] 所述的用于回聲消除的語音信號時延估計方法，其中，所述步驟C1具體包括：
[0023] C11、對平滑處理后的遠端頻域信號各臨界頻點的功率譜的相鄰的P帖信號，對相 同頻點的功率譜，與相鄰帖間的相應功率譜進行比對，若大于相鄰帖的相應功率譜，則對比 結果記為1，若小于相鄰帖的相應功率譜，則對比結果記為0,對比結果按序排列，得到遠端 頻域信號各臨界頻點的局部二值特征，其中P為自然數；
[0024] C12、對平滑處理后的近端頻域信號各臨界頻點的功率譜的相鄰的P帖信號，對相 同頻點的功率譜，與相鄰帖間的相應功率譜進行比對，若大于相鄰帖的相應功率譜，則對比 結果記為1，若小于相鄰帖的相應功率譜，則對比結果記為0,對比結果按序排列，得到近端 頻域信號各臨界頻點的局部二值特征，其中P為自然數。
[0025] 所述的用于回聲消除的語音信號時延估計方法，其中，所述步驟C3具體包括：
[0026] C31、獲取當前帖的近端信號，進行局部二值特征提取，取當前帖相鄰的Μ個時刻進 行比對，若大于比對值，取1，若小于比對值取0,對比對結果按序排列，生成各時刻對應近端 信號局部二值特征，其中Μ為自然數；
[0027] C32、獲取當前帖的近端信號所對應的遠端信號即第一時延結果所對應的遠端信 號的帖，進行局部二值特征提取，取當前帖相鄰的Μ個時刻進行比對，若大于比對值，取1，若 小于比對值取0,對比對結果按序排列，生成各時刻對應遠端信號局部二值特征，其中Μ為自 然數。
[0028] -種用于回聲消除的語音信號時延估計系統，其中，系統包括：
[0029] 信號獲取與轉換模塊，用于分別獲取通話中麥克風接收到的語音信號的遠端信號 和近端信號，獲取的遠端信號和近端信號分別依次進行分帖、FFT快速傅里葉變換、加窗操 作生成對應的遠端頻域信號和近端頻域信號；
[0030] 信號分解及功率譜獲取模塊，用于采用基于人耳掩蔽效應的臨界頻帶對遠端頻域 信號進行頻域內的子帶分解并獲取遠端頻域信號各臨界頻點的功率譜，采用基于人耳掩蔽 效應的臨界頻帶對近端頻域信號進行頻域內的子帶分解并獲取近端頻域信號各臨界頻點 的功率譜；
[0031 ]時延估計模塊，用于分別提取遠端頻域信號各臨界頻點的功率譜和近端頻域信號 各臨界頻點的功率譜的局部二值特征，并分別對遠端頻域信號各臨界頻點的功率譜和近端 頻域信號各臨界頻點的功率譜的局部二值特征進行匹配，生成時延估計結果并輸出。
[0032] 所述的用于回聲消除的語音信號時延估計系統，其中，所述信號分解及功率譜獲 取模塊具體包括：
[0033] 第一信號分解單元，用于采用基于人耳掩蔽效應的臨界頻帶對遠端頻域信號進行 頻域內的子帶分解后，獲取遠端頻域信號的各臨界頻帶對應的臨界頻點，并獲取遠端頻域 信號各臨界頻點的功率譜；
[0034] 第二信號分解單元，用于采用基于人耳掩蔽效應的臨界頻帶對近端頻域信號進行 頻域內的子帶分解后，獲取近端頻域信號的各臨界頻帶對應的臨界頻點，并獲取近端頻域 信號各臨界頻點的功率譜；
[0035] 平滑處理單元，用于分別對遠端頻域信號各臨界頻點的功率譜、近端頻域信號各 臨界頻點的功率譜進行帖間平滑和帖內平滑。
[0036] 所述的用于回聲消除的語音信號時延估計系統，其中，所述時延估計模塊具體包 括：
[0037] 第一局部二值特征生成單元，用于對平滑處理后的遠端頻域信號各臨界頻點的功 率譜和近端頻域信號各臨界頻點的功率譜進行局部特征提取分別生成對應的遠端頻域信 號各臨界頻點的局部二值特征和近端頻域信號各臨界頻點的局部二值特征；
[0038] 第一時延估計單元，用于獲取近端頻域信號各臨界頻點的局部二值特征，分別與 遠端頻域信號各臨界頻點的局部二值特征的前Ν帖進行異或操作，統計差異點個數，獲取當 前帖的第一時延估計結果，其中Ν為自然數；
[0039] 第二局部二值特征生成單元，用于獲取當前帖的近端信號和當前帖對應的第一時 延估計結果對應的遠端信號的帖，分別進行局部二值特征提取，生成各時刻對應的當前帖 的近端信號局部二值特征和當前帖的遠端信號局部二值特征；
[0040] 第二時延估計結果，用于將當前帖的遠端信號局部二值特征沿時間軸移動一定距 離，對移位后的遠端信號局部二值特征與近端信號局部二值特征中重合位置的特征進行異 或操作，獲取差異最少的時刻，根據所述時刻計算出當前帖的第二時延估計結果。
[0041] 所述的用于回聲消除的語音信號時延估計系統，其中，所述第一局部二值特征生 成單元具體包括：
[0042] 遠端頻域信號的局部二值特征生成單元，用于對平滑處理后的遠端頻域信號各臨 界頻點的功率譜的相鄰的P帖信號，對相同頻點的功率譜，與相鄰帖間的相應功率譜進行比 對，若大于相鄰帖的相應功率譜，則對比結果記為1，若小于相鄰帖的相應功率譜，則對比結 果記為0,對比結果按序排列，得到遠端頻域信號各臨界頻點的局部二值特征，其中P為自然 數；
[0043] 近端頻域信號的局部二值特征生成單元，用于對平滑處理后的近端頻域信號各臨 界頻點的功率譜的相鄰的P帖信號，對相同頻點的功率譜，與相鄰帖間的相應功率譜進行比 對，若大于相鄰帖的相應功率譜，則對比結果記為1，若小于相鄰帖的相應功率譜，則對比結 果記為0,對比結果按序排列，得到近端頻域信號各臨界頻點的局部二值特征，其中P為自然 數。
[0044] 所述的用于回聲消除的語音信號時延估計系統，其中，所述第二局部二值特征生 成單元具體包括：
[0045] 近端信號局部二值特征生成單元，用于獲取當前帖的近端信號，進行局部二值特 征提取，取當前帖相鄰的Μ個時刻進行比對，若大于比對值，取1，若小于比對值取0,對比對 結果按序排列，生成各時刻對應近端信號局部二值特征，其中Μ為自然數；
[0046] 遠端信號局部二值特征生成單元，用于獲取當前帖的近端信號所對應的遠端信號 即第一時延結果所對應的遠端信號的帖，進行局部二值特征提取，取當前帖相鄰的Μ個時刻 進行比對，若大于比對值，取1，若小于比對值取0,對比對結果按序排列，生成各時刻對應遠 端信號局部二值特征，其中Μ為自然數。
[0047] 本發明提供了一種用于回聲消除的語音信號時延估計方法及系統，本發明通過利 用人耳掩蔽效應及利用了帖間和帖內信號在時域和頻域的變化規律統計出遠端信號和近 端信號的相關性，計算簡單，而且能夠得到準確的時延估計，為消除回聲帶來了極大的方 便，提升了回聲消除的效果，提高了用戶網絡通話的質量。
【附圖說明】
[004引圖1為現有技術中回聲消除的模型示意圖。
[0049] 圖2為本發明中一種用于回聲消除的語音信號時延估計方法的較佳實施例的流程 圖。
[0050] 圖3為本發明中一種用于回聲消除的語音信號時延估計方法的具體應用實施例的 臨界頻帶中帖間數據比對結果示意圖。
[0051] 圖4為本發明中一種用于回聲消除的語音信號時延估計方法的具體應用實施例的 臨界頻帶中帖內數據比對結果示意圖。
[0052] 圖5為本發明的一種用于回聲消除的語音信號時延估計系統的較佳實施例的功能 原理框圖。
【具體實施方式】
[0053] 為使本發明的目的、技術方案及效果更加清楚、明確，W下對本發明進一步詳細說 明。應當理解，此處所描述的具體實施例僅僅用w解釋本發明，并不用于限定本發明。
[0054] 本發明還提供了一種用于回聲消除的語音信號時延估計方法的較佳實施例的流 程圖，如圖2所示，其中，方法包括：
[0055] 步驟S100、分別獲取通話中麥克風接收到的語音信號的遠端信號和近端信號，分 別對遠端信號和近端信號依次進行分帖、FFT快速傅里葉變換、加窗操作生成對應的遠端頻 域信號和近端頻域信號。
[0056] 具體實施時，當用戶通過麥克風進行通話時，麥克風接收到的語音信號有遠端信 號和近端信號。需要預先獲取麥克風接收到的近端信號和遠端信號。通話可能是普通的電 話也可能是網絡電話。
[0057] 如圖1所示，遠端信號為x(n)，近端信號為d(n)，對運兩個信號進行分帖操作，每帖 包含10ms數據。分帖后進行FFT快速傅里葉變換和加窗操作，得到分帖后的頻域結果遠端頻 域信號Xt(w)和近端頻域信號Dt(w)，其中t表示第t帖數據，W表示第W頻點。
[0058] 步驟S200、采用基于人耳掩蔽效應的臨界頻帶對遠端頻域信號進行頻域內的子帶 分解并獲取遠端頻域信號各臨界頻點的功率譜，采用基于人耳掩蔽效應的臨界頻帶對近端 頻域信號進行頻域內的子帶分解并獲取近端頻域信號各臨界頻點的功率譜。
[0059] 具體實施時，人耳掩蔽效應是指人耳對強度較強的某一頻率信號反應敏感，對于 相對來說較弱的頻帶反應就比較弱，也就是指某一頻率的聲音掩蔽其他頻率聲音的運一現 象。各頻率的聲音對其他頻率聲音掩蔽的能力不同，所W聲音頻率與掩蔽效應的曲線是非 線性的。從人耳感知的角度對頻域進行重新的劃分，可W在20化~16曲Z間分割出24個臨界 bark頻帶。本發明首先應用臨界bark頻帶的思想對語音進行頻率域的子帶劃分，運樣不僅 對每帖需要計算的數據進行壓縮，而且選用準則符合人耳聽覺效果。臨界頻率的計算公式 如下：
[0060]
[0061 ] 進一步地，所述步驟S200具體包括：
[0062] 步驟S201、采用基于人耳掩蔽效應的臨界頻帶對遠端頻域信號進行頻域內的子帶 分解后，獲取遠端頻域信號的各臨界頻帶對應的臨界頻點，并獲取遠端頻域信號各臨界頻 點的功率譜；
[0063] 步驟S202、采用基于人耳掩蔽效應的臨界頻帶對近端頻域信號進行頻域內的子帶 分解后，獲取近端頻域信號的各臨界頻帶對應的臨界頻點，并獲取近端頻域信號各臨界頻 點的功率譜；
[0064] 步驟S203、分別對遠端頻域信號各臨界頻點的功率譜、近端頻域信號各臨界頻點 的功率譜進行帖間平滑和帖內平滑。
[0065] 具體實施時，對遠端頻域信號Xt(w)、近端頻域信號Dt(w)進行臨界bark頻帶轉換， 并求取功率譜，得到遠端頻域信號各臨界頻點的功率譜Xt(wb)、近端頻域信號各臨界頻點的 功率譜Dt(wb)，其中wbE [1，24]對應臨界頻點。為防止噪聲、突變等對語音變化規律的統計 造成影響，導致誤判，在對語音變化規律進行統計之前首先對語音進行頻域內的平滑預處 理操作。因此對遠端頻域信號各臨界頻點的功率譜Xt(wb)、近端頻域信號各臨界頻點的功率 譜Dt(wb)進行帖間平滑，同時進行帖內平滑，W消除突變影響。
[0066] 步驟S300、分別提取遠端頻域信號各臨界頻點的功率譜和近端頻域信號各臨界頻 點的功率譜的局部二值特征，并分別對遠端頻域信號各臨界頻點的功率譜和近端頻域信號 各臨界頻點的功率譜的局部二值特征進行匹配，生成時延估計結果并輸出。
[0067] 具體實施時，在對遠、近端信號進行處理的過程中選擇合適的準則來對語音的變 化規律進行統計對最終的時延估計準確度影響至關重要。由于遠端信號經房間反射疊加語 音信號后才得到近端信號，所W兩個信號間的強度均值差異較大。我們設計局部二值特征 對語音的變化規律進行特征提取，從而消除遠、近端語音的信號差異性影響。
[0068] 如圖3所示，對于帖間時延比對，在頻域內，每帖信號用24個bark子帶的功率譜表 示。圖3中，當前帖所在的位置記為Va^O,在統計局部二值特征時，首先抽取前后相鄰的8帖 語音信號，前后相鄰的8帖語音信號的位置分別記為化^1，￥曰1-2，化^3，化^4，￥曰1+1，化1 +2，化1+3，Val+4，對當前待處理帖Va^O的每個子帶功率譜，與其相鄰帖內對應的子帶功率 譜進行大小對比，如果當前帖化^〇功率譜大于對比帖，則記為1，如果當前帖數據小于對比 帖，則記為0。最后，按照前4帖到后4帖的順序，對對比結果的二值數據進行排列，得到8bit 特征提取結果，特征提取結果為10110010,運個統計特征即表明當前頻帶的功率譜對應的 帖間變化規律。
[0069] 如圖4所示，對于帖內時延比對，在時域內，每一時刻的信號強度已知，在統計局部 二值特征時，首先抽取前后相鄰的8個時刻的語音信號，當前時刻的位置記為Va^O，用當前 時刻的語音信號強度與相鄰8個時刻的語音信號強度進行對比。相鄰8個時刻的位置分別記 為化1-1，￥曰1-2，￥曰1-3，化^4，化1+1，化1+2，化1+3，化1+4，如果當前時刻￥曰1-0的信號強度 大于對比時刻點，則記為1，如果當前時刻Val-0的信號強度小于對比時刻即記為0。最后按 照順序對8個2進制數據進行排列，得到最終的局部二值特征提取結果，記為10100011。由于 運種變化規律是用相對大小比對而得到，所W不受遠端、近端信號間的差異性影響，得到的 特征提取結果能夠用于遠、近端信號的關聯性比對。
[0070] 應用局部二值特征對帖內和帖間的信息進行變化規律的特征提取之后，對時延進 行估計就變成了對統計的局部二值特征進行匹配。由于局部二值特征的每一位代表的是當 前數值與之前某時刻點數值間的變化規律，所W可W用異或的方法對遠、近端數據的局部 二值特征進行計算，判斷某一時刻點遠、近端數據相對于之前數據的變化規律是否相符，統 計異或后為1的數據位數，即可判斷當前時刻遠、近端數據變化規律間的差異，從而通過簡 單的數值計算，得到準確的第二時延估計結果。
[0071 ] 進一步地，所述步驟S300具體包括：
[0072] 步驟S301、對平滑處理后的遠端頻域信號各臨界頻點的功率譜和近端頻域信號各 臨界頻點的功率譜進行局部特征提取分別生成對應的遠端頻域信號各臨界頻點的局部二 值特征和近端頻域信號各臨界頻點的局部二值特征；
[0073] 步驟S302、獲取近端頻域信號各臨界頻點的局部二值特征，分別與遠端頻域信號 各臨界頻點的局部二值特征的前N帖進行異或操作，統計差異點個數，獲取當前帖的第一時 延估計結果，其中N為自然數；
[0074] 步驟S303、獲取當前帖的近端信號和當前帖對應的第一時延估計結果對應的遠端 信號的帖，分別進行局部二值特征提取，生成各時刻對應的當前帖的近端信號局部二值特 征和當前帖的遠端信號局部二值特征；
[0075] 步驟S304、將當前帖的遠端信號局部二值特征沿時間軸移動一定距離，對移位后 的遠端信號局部二值特征與近端信號局部二值特征中重合位置的特征進行異或操作，獲取 差異最少的時刻，根據所述時刻計算出當前帖的第二時延估計結果。
[0076] 進一步地，所述步驟S301具體包括：
[0077] 步驟S311、對平滑處理后的遠端頻域信號各臨界頻點的功率譜的相鄰的P帖信號， 對相同頻點的功率譜，與相鄰帖間的相應功率譜進行比對，若大于相鄰帖的相應功率譜，貝U 對比結果記為1，若小于相鄰帖的相應功率譜，則對比結果記為0,對比結果按序排列，得到 遠端頻域信號各臨界頻點的局部二值特征，其中P為自然數；
[0078] 步驟S312、對平滑處理后的近端頻域信號各臨界頻點的功率譜的相鄰的P帖信號， 對相同頻點的功率譜，與相鄰帖間的相應功率譜進行比對，若大于相鄰帖的相應功率譜，貝U 對比結果記為1，若小于相鄰帖的相應功率譜，則對比結果記為0,對比結果按序排列，得到 近端頻域信號各臨界頻點的局部二值特征，其中P為自然數。
[0079] 進一步地，所述步驟S303具體包括：
[0080] 步驟S331、獲取當前帖的近端信號，進行局部二值特征提取，取當前帖相鄰的Μ個 時刻進行比對，若大于比對值，取1，若小于比對值取0,對比對結果按序排列，生成各時刻對 應近端信號局部二值特征，其中Μ為自然數；
[0081] 步驟S332、獲取當前帖的近端信號所對應的遠端信號即第一時延結果所對應的遠 端信號的帖，進行局部二值特征提取，取當前帖相鄰的Μ個時刻進行比對，若大于比對值，取 1，若小于比對值取0,對比對結果按序排列，生成各時刻對應遠端信號局部二值特征，其中Μ 為自然數。
[0082] 具體實施時，對平滑后的臨界頻點的遠端頻域信號各臨界頻點的功率譜Xt(wb)、近 端頻域信號各臨界頻點的功率譜Dt(wb)進行局部二值特征提取。取其相鄰的P帖，P優先為8， 對相同頻點的功率譜，與相鄰帖間的相應功率譜進行比對，若大于比對值，取1，若小于比對 值取0。對比對結果按序排列，得到各頻點的局部二值特征分別記為遠端頻域信號的各臨界 頻點的局部二值特征Xtl(Wb)LBP、近端頻域信號的各臨界頻點的局部二值特征Dt2(Wb)LBP。
[0083] 獲取近端頻域信號的各臨界頻點的局部二值特征Dt2(wb)LBP，分別與前N帖的遠端 頻域信號的各臨界頻點的局部二值特征Xtl(Wb)LBP，其中N是根據遠端信號相對于近端信號 的延遲時間而預先設置的。N優選為50,（其中tie (-50,0])進行異或，統計結果為1的差異 點個數。差異最少的時刻tf為近端頻域信號在遠端頻域信號延遲后的數據帖。該時刻對應 了當前帖的第一時延結果，第一時延結果記為xtf(n)，第一時延結果代表遠端頻域信號相對 于近端頻域信號的延遲后的數據帖。
[0084] 獲取當前帖所在的時域信號即近端信號dt2(n)和第一時延結果估計得到帖的所在 的時域信號xtf(n)，并分別進行局部二值特征提取。分別取其相鄰的Μ個時刻進行比對，即將 當前帖的數據按照Μ個時刻一組分為若干組，Μ優先為8,若大于比對值，取1，若小于比對值 取0。對比對結果按序排列，得到各時刻的局部二值特征，分別記為當前帖在各時刻對應的 近端信號局部二值特征xtf(n)LBP、各時刻對應的遠端信號局部二值特征dt2(n)LBP。
[0085] 令當前帖各時刻對應的遠端信號局部二值特征xtf(n)LBP，沿時間軸移動一定距離， 一定距離為n，其中ne(-L，L)，L對應當前帖長。分別對移位后的各時刻對應的遠端信號局 部二值特征Xtf(nc)LBP與時刻對應的近端信號局部二值特征dt2(n)LBP重合位置的特征進行異 或，其中，η。為移動后對應的距離，統計1的個數并按照重疊區域求均值。差異最少的時刻cf 為遠端信號與近端信號在當前帖內對應的位置，將該帖所在的時域信號值與近端信號的帖 的時間差進行計算，計算結果為當前帖近端信號在遠端信號的延遲值，也是遠端信號相對 于近端信號的第二時延估計結果，第二時延估計結果為從最終的精細化的時延估計結果。 [00化]所述步驟S300之后還包括：
[0087] 步驟S400、根據第二時延估計結果對麥克風接收到的語音進行進行濾波，消除遠 端信號帶來的回聲。
[0088] 具體實施時，回聲消除的過程就是根據遠端信號與近端信號的相關性，估算出回 聲信號，并將回聲信號從近端信號中消除，得到純凈的語音。利用得到的精細的第二時延估 計結果，將遠端信號從原麥克風接收的總信號中刪除，從而獲得清晰的通話過程中的近端 信號即通話語音。
[0089] 由W上方法實施例可知，本發明提供了一種用于回聲消除的語音信號時延估計方 法，通過遠、近端信號分別進行分帖、加窗、FFT變換和臨界bark頻帶帖間信號的功率譜數值 變化情況進行統計，對時延進行粗定位，之后在帖內對遠、近端信號進行時域內的數值變化 統計，進一步對時延進行精細定位，從而得到準確的時延估計結果，更好的進行回聲消除， 提高了通話質量。
[0090] 本發明還提供了一種用于回聲消除的語音信號時延估計系統的較佳實施例的功 能原理框圖，如圖5所示，其中，系統包括：
[0091] 信號獲取與轉換模塊100,用于分別獲取通話中麥克風接收到的語音信號的遠端 信號和近端信號，獲取的遠端信號和近端信號分別依次進行分帖、FFT快速傅里葉變換、加 窗操作生成對應的遠端頻域信號和近端頻域信號;具體如上方法實施例所述。
[0092] 信號分解及功率譜獲取模塊200,用于采用基于人耳掩蔽效應的臨界頻帶對遠端 頻域信號進行頻域內的子帶分解并獲取遠端頻域信號各臨界頻點的功率譜，采用基于人耳 掩蔽效應的臨界頻帶對近端頻域信號進行頻域內的子帶分解并獲取近端頻域信號各臨界 頻點的功率譜;具體如上方法實施例所述。
[0093] 時延估計模塊300,用于分別提取遠端頻域信號各臨界頻點的功率譜和近端頻域 信號各臨界頻點的功率譜的局部二值特征，并分別對遠端頻域信號各臨界頻點的功率譜和 近端頻域信號各臨界頻點的功率譜的局部二值特征進行匹配，生成時延估計結果并輸出； 具體如上方法實施例所述。
[0094] 進一步地實施例中，所述信號分解及功率譜獲取模塊具體包括：
[00%]第一信號分解單元，用于采用基于人耳掩蔽效應的臨界頻帶對遠端頻域信號進行 頻域內的子帶分解后，獲取遠端頻域信號的各臨界頻帶對應的臨界頻點，并獲取遠端頻域 信號各臨界頻點的功率譜;具體如上方法實施例所述。
[0096] 第二信號分解單元，用于采用基于人耳掩蔽效應的臨界頻帶對近端頻域信號進行 頻域內的子帶分解后，獲取近端頻域信號的各臨界頻帶對應的臨界頻點，并獲取近端頻域 信號各臨界頻點的功率譜;具體如上方法實施例所述。
[0097] 平滑處理單元，用于分別對遠端頻域信號各臨界頻點的功率譜、近端頻域信號各 臨界頻點的功率譜進行帖間平滑和帖內平滑;具體如上方法實施例所述。
[0098] 具體地，所述時延估計模塊具體包括：
[0099] 第一局部二值特征生成單元，用于對平滑處理后的遠端頻域信號各臨界頻點的功 率譜和近端頻域信號各臨界頻點的功率譜進行局部特征提取分別生成對應的遠端頻域信 號各臨界頻點的局部二值特征和近端頻域信號各臨界頻點的局部二值特征;具體如上方法 實施例所述。
[0100] 第一時延估計單元，用于獲取近端頻域信號各臨界頻點的局部二值特征，分別與 遠端頻域信號各臨界頻點的局部二值特征的前N帖進行異或操作，統計差異點個數，獲取當 前帖的第一時延估計結果，其中N為自然數;具體如上方法實施例所述。
[0101] 第二局部二值特征生成單元，用于獲取當前帖的近端信號和當前帖對應的第一時 延估計結果對應的遠端信號的帖，分別進行局部二值特征提取，生成各時刻對應的當前帖 的近端信號局部二值特征和當前帖的遠端信號局部二值特征;具體如上方法實施例所述。
[0102] 第二時延估計結果，用于將當前帖的遠端信號局部二值特征沿時間軸移動一定距 離，對移位后的遠端信號局部二值特征與近端信號局部二值特征中重合位置的特征進行異 或操作，獲取差異最少的時刻，根據所述時刻計算出當前帖的第二時延估計結果;具體如上 方法實施例所述。
[0103] 再進一步，所述第一局部二值特征生成單元具體包括：
[0104] 遠端頻域信號的局部二值特征生成單元，用于對平滑處理后的遠端頻域信號各臨 界頻點的功率譜的相鄰的P帖信號，對相同頻點的功率譜，與相鄰帖間的相應功率譜進行比 對，若大于相鄰帖的相應功率譜，則對比結果記為1，若小于相鄰帖的相應功率譜，則對比結 果記為0,對比結果按序排列，得到遠端頻域信號各臨界頻點的局部二值特征，其中P為自然 數;具體如上方法實施例所述。
[0105] 近端頻域信號的局部二值特征生成單元，用于對平滑處理后的近端頻域信號各臨 界頻點的功率譜的相鄰的P帖信號，對相同頻點的功率譜，與相鄰帖間的相應功率譜進行比 對，若大于相鄰帖的相應功率譜，則對比結果記為1，若小于相鄰帖的相應功率譜，則對比結 果記為0,對比結果按序排列，得到近端頻域信號各臨界頻點的局部二值特征，其中P為自然 數;具體如上方法實施例所述。
[0106] 進一步的實施例中，所述第二局部二值特征生成單元具體包括：
[0107] 近端信號局部二值特征生成單元，用于獲取當前帖的近端信號，進行局部二值特 征提取，取當前帖相鄰的Μ個時刻進行比對，若大于比對值，取1，若小于比對值取0,對比對 結果按序排列，生成各時刻對應近端信號局部二值特征，其中Μ為自然數;具體如上方法實 施例所述。
[0108] 遠端信號局部二值特征生成單元，用于獲取當前帖的近端信號所對應的遠端信號 即第一時延結果所對應的遠端信號的帖，進行局部二值特征提取，取當前帖相鄰的Μ個時刻 進行比對，若大于比對值，取1，若小于比對值取0,對比對結果按序排列，生成各時刻對應遠 端信號局部二值特征，其中Μ為自然數;具體如上方法實施例所述。
[0109] 綜上所述，本發明提供了一種用于回聲消除的語音信號時延估計方法及系統，方 法包括:分別獲取通話中麥克風接收到的語音信號的遠端信號和近端信號，生成對應的遠 端頻域信號和近端頻域信號；采用基于人耳掩蔽效應的臨界頻帶分別對遠端頻域信號、近 端頻域信號進行頻域內的子帶分解并獲取遠端頻域信號各臨界頻點的功率譜和近端頻域 信號各臨界頻點的功率譜;分別提取遠端頻域信號各臨界頻點的功率譜和近端頻域信號各 臨界頻點的功率譜的局部二值特征，并分別進行匹配，生成時延估計結果并輸出。本發明基 于人耳掩蔽效應統計出遠端信號和近端信號的相關性，計算簡單，而且能夠得到準確的時 延估計，為消除回聲帶來了極大的方便。
[0110]應當理解的是，本發明的應用不限于上述的舉例，對本領域普通技術人員來說，可 W根據上述說明加 W改進或變換，所有運些改進和變換都應屬于本發明所附權利要求的保 護范圍。
【主權項】
1. 一種用于回聲消除的語音信號時延估計方法，其特征在于，方法包括： A、 分別獲取通話中麥克風接收到的語音信號的遠端信號和近端信號，獲取的遠端信號 和近端信號分別依次進行分幀、FFT快速傅里葉變換、加窗操作生成對應的遠端頻域信號和 近端頻域信號； B、 采用基于人耳掩蔽效應的臨界頻帶對遠端頻域信號進行頻域內的子帶分解并獲取 遠端頻域信號各臨界頻點的功率譜，采用基于人耳掩蔽效應的臨界頻帶對近端頻域信號進 行頻域內的子帶分解并獲取近端頻域信號各臨界頻點的功率譜； C、 分別提取遠端頻域信號各臨界頻點的功率譜和近端頻域信號各臨界頻點的功率譜 的局部二值特征，并分別對遠端頻域信號各臨界頻點的功率譜和近端頻域信號各臨界頻點 的功率譜的局部二值特征進行匹配，生成時延估計結果并輸出。2. 根據權利要求1所述的用于回聲消除的語音信號時延估計方法，其特征在于，所述步 驟B具體包括： B1、采用基于人耳掩蔽效應的臨界頻帶對遠端頻域信號進行頻域內的子帶分解后，獲 取遠端頻域信號的各臨界頻帶對應的臨界頻點，并獲取遠端頻域信號各臨界頻點的功率 譜； B2、采用基于人耳掩蔽效應的臨界頻帶對近端頻域信號進行頻域內的子帶分解后，獲 取近端頻域信號的各臨界頻帶對應的臨界頻點，并獲取近端頻域信號各臨界頻點的功率 譜； B3、分別對遠端頻域信號各臨界頻點的功率譜、近端頻域信號各臨界頻點的功率譜進 行幀間平滑和幀內平滑。3. 根據權利要求2所述的用于回聲消除的語音信號時延估計方法，其特征在于，所述步 驟C具體包括： C1、對平滑處理后的遠端頻域信號各臨界頻點的功率譜和近端頻域信號各臨界頻點的 功率譜進行局部特征提取分別生成對應的遠端頻域信號各臨界頻點的局部二值特征和近 端頻域信號各臨界頻點的局部二值特征； C2、獲取近端頻域信號各臨界頻點的局部二值特征，分別與遠端頻域信號各臨界頻點 的局部二值特征的前N幀進行異或操作，統計差異點個數，獲取當前幀的第一時延估計結 果，其中N為自然數； C3、獲取當前幀的近端信號和當前幀對應的第一時延估計結果對應的遠端信號的幀， 分別進行局部二值特征提取，生成各時刻對應的當前幀的近端信號局部二值特征和當前幀 的遠端信號局部二值特征； C4、將當前幀的遠端信號局部二值特征沿時間軸移動一定距離，對移位后的遠端信號 局部二值特征與近端信號局部二值特征中重合位置的特征進行異或操作，獲取差異最少的 時刻，根據所述時刻計算出當前幀的第二時延估計結果。4. 根據權利要求3所述的用于回聲消除的語音信號時延估計方法，其特征在于，所述步 驟C1具體包括： C11、對平滑處理后的遠端頻域信號各臨界頻點的功率譜的相鄰的P幀信號，對相同頻 點的功率譜，與相鄰幀間的相應功率譜進行比對，若大于相鄰幀的相應功率譜，則對比結果 記為1，若小于相鄰幀的相應功率譜，則對比結果記為0,對比結果按序排列，得到遠端頻域 信號各臨界頻點的局部二值特征，其中P為自然數； C12、對平滑處理后的近端頻域信號各臨界頻點的功率譜的相鄰的P幀信號，對相同頻 點的功率譜，與相鄰幀間的相應功率譜進行比對，若大于相鄰幀的相應功率譜，則對比結果 記為1，若小于相鄰幀的相應功率譜，則對比結果記為0,對比結果按序排列，得到近端頻域 信號各臨界頻點的局部二值特征，其中P為自然數。5. 根據權利要求4所述的用于回聲消除的語音信號時延估計方法，其特征在于，所述步 驟C3具體包括： C31、獲取當前幀的近端信號，進行局部二值特征提取，取當前幀相鄰的Μ個時刻進行比 對，若大于比對值，取1，若小于比對值取0,對比對結果按序排列，生成各時刻對應近端信號 局部二值特征，其中Μ為自然數； C32、獲取當前幀的近端信號所對應的遠端信號即第一時延結果所對應的遠端信號的 幀，進行局部二值特征提取，取當前幀相鄰的Μ個時刻進行比對，若大于比對值，取1，若小于 比對值取〇，對比對結果按序排列，生成各時刻對應遠端信號局部二值特征，其中Μ為自然 數。6. -種用于回聲消除的語音信號時延估計系統，其特征在于，系統包括： 信號獲取與轉換模塊，用于分別獲取通話中麥克風接收到的語音信號的遠端信號和近 端信號，獲取的遠端信號和近端信號分別依次進行分幀、FFT快速傅里葉變換、加窗操作生 成對應的遠端頻域信號和近端頻域信號； 信號分解及功率譜獲取模塊，用于采用基于人耳掩蔽效應的臨界頻帶對遠端頻域信號 進行頻域內的子帶分解并獲取遠端頻域信號各臨界頻點的功率譜，采用基于人耳掩蔽效應 的臨界頻帶對近端頻域信號進行頻域內的子帶分解并獲取近端頻域信號各臨界頻點的功 率譜； 時延估計模塊，用于分別提取遠端頻域信號各臨界頻點的功率譜和近端頻域信號各臨 界頻點的功率譜的局部二值特征，并分別對遠端頻域信號各臨界頻點的功率譜和近端頻域 信號各臨界頻點的功率譜的局部二值特征進行匹配，生成時延估計結果并輸出。7. 根據權利要求6所述的用于回聲消除的語音信號時延估計系統，其特征在于，所述信 號分解及功率譜獲取模塊具體包括： 第一信號分解單元，用于采用基于人耳掩蔽效應的臨界頻帶對遠端頻域信號進行頻域 內的子帶分解后，獲取遠端頻域信號的各臨界頻帶對應的臨界頻點，并獲取遠端頻域信號 各臨界頻點的功率譜； 第二信號分解單元，用于采用基于人耳掩蔽效應的臨界頻帶對近端頻域信號進行頻域 內的子帶分解后，獲取近端頻域信號的各臨界頻帶對應的臨界頻點，并獲取近端頻域信號 各臨界頻點的功率譜； 平滑處理單元，用于分別對遠端頻域信號各臨界頻點的功率譜、近端頻域信號各臨界 頻點的功率譜進行幀間平滑和幀內平滑。8. 根據權利要求7所述的用于回聲消除的語音信號時延估計系統，其特征在于，所述時 延估計模塊具體包括： 第一局部二值特征生成單元，用于對平滑處理后的遠端頻域信號各臨界頻點的功率譜 和近端頻域信號各臨界頻點的功率譜進行局部特征提取分別生成對應的遠端頻域信號各 臨界頻點的局部二值特征和近端頻域信號各臨界頻點的局部二值特征； 第一時延估計單元，用于獲取近端頻域信號各臨界頻點的局部二值特征，分別與遠端 頻域信號各臨界頻點的局部二值特征的前N幀進行異或操作，統計差異點個數，獲取當前幀 的第一時延估計結果，其中N為自然數； 第二局部二值特征生成單元，用于獲取當前幀的近端信號和當前幀對應的第一時延估 計結果對應的遠端信號的幀，分別進行局部二值特征提取，生成各時刻對應的當前幀的近 端信號局部二值特征和當前幀的遠端信號局部二值特征； 第二時延估計結果，用于將當前幀的遠端信號局部二值特征沿時間軸移動一定距離， 對移位后的遠端信號局部二值特征與近端信號局部二值特征中重合位置的特征進行異或 操作，獲取差異最少的時刻，根據所述時刻計算出當前幀的第二時延估計結果。9. 根據權利要求8所述的用于回聲消除的語音信號時延估計系統，其特征在于，所述第 一局部二值特征生成單元具體包括： 遠端頻域信號的局部二值特征生成單元，用于對平滑處理后的遠端頻域信號各臨界頻 點的功率譜的相鄰的P幀信號，對相同頻點的功率譜，與相鄰幀間的相應功率譜進行比對， 若大于相鄰幀的相應功率譜，則對比結果記為1，若小于相鄰幀的相應功率譜，則對比結果 記為0,對比結果按序排列，得到遠端頻域信號各臨界頻點的局部二值特征，其中P為自然 數； 近端頻域信號的局部二值特征生成單元，用于對平滑處理后的近端頻域信號各臨界頻 點的功率譜的相鄰的p幀信號，對相同頻點的功率譜，與相鄰幀間的相應功率譜進行比對， 若大于相鄰幀的相應功率譜，則對比結果記為1，若小于相鄰幀的相應功率譜，則對比結果 記為0,對比結果按序排列，得到近端頻域信號各臨界頻點的局部二值特征，其中P為自然 數。10. 根據權利要求9所述的用于回聲消除的語音信號時延估計系統，其特征在于，所述 第二局部二值特征生成單元具體包括： 近端信號局部二值特征生成單元，用于獲取當前幀的近端信號，進行局部二值特征提 取，取當前幀相鄰的Μ個時刻進行比對，若大于比對值，取1，若小于比對值取0，對比對結果 按序排列，生成各時刻對應近端信號局部二值特征，其中Μ為自然數； 遠端信號局部二值特征生成單元，用于獲取當前幀的近端信號所對應的遠端信號即第 一時延結果所對應的遠端信號的幀，進行局部二值特征提取，取當前幀相鄰的Μ個時刻進行 比對，若大于比對值，取1，若小于比對值取0，對比對結果按序排列，生成各時刻對應遠端信 號局部二值特征，其中Μ為自然數。
【文檔編號】H04M9/08GK105872275SQ201610169226
【公開日】2016年8月17日
【申請日】2016年3月22日
【發明人】李敬源
【申請人】Tcl集團股份有限公司