基于線性揚聲器陣列的自適應3d聲場重現方法及系統的制作方法

基于線性揚聲器陣列的自適應3d聲場重現方法及系統的制作方法
【專利摘要】本發明公開一種基于線性揚聲器陣列的自適應3D聲場重現方法及系統，包括：利用用戶手持麥克風采集線性揚聲器陣列通過三維聲場重現單元處理后輸出的聲學信號；利用聲學信號實時估計線性揚聲器陣列與用戶之間的間距，并將間距反饋至三維聲場重現處理單元；三維聲場重現處理單元根據該間距按預設串音消除方法調整，在當前間距下使左揚聲器發至右耳的信號與右揚聲器發至左耳的信號相抵銷后再輸出相應的聲學信號。本發明利用麥克風采集線性揚聲器陣列輸出的聲學信號估計線性揚聲器陣列與用戶之間間距，在估計完成后輸送回線性揚聲器陣列三維聲場重現處理單元對三維聲場重現處理單元調整后輸出聲學信號，達到精確為用戶渲染三維聲場的目的。
【專利說明】
基于線性揚聲器陣列的自適應3D聲場重現方法及系統
技術領域
[0001]本發明涉及3D聲場重現技術領域，具體涉及一種基于線性揚聲器陣列的自適應3D 聲場重現方法及系統。
【背景技術】
[0002] 線性揚聲器陣列可通過信號處理的方法實現三維聲場的重建，但目前線性揚聲器 陣列的三維聲場重建普遍使用波束檢測的技術，通過檢測用戶與線性揚聲器陣列間的間距 來調節線性揚聲器陣列的輸出，這種控制技術雖然實現了自適應三維聲場的重建，但在效 果上并不能達到滿意的效果，因此，需要進行改進。

【發明內容】

[0003] 為了解決上述問題，本發明提出一種基于線性揚聲器陣列的自適應3D聲場重現方 法及系統，該方法通過檢測用戶與線性揚聲器陣列之間的實時間距，利用該檢測的實時間 距，采用串擾消除技術調整線性陣列的幅度和相位，使得線性揚聲器陣列的總輸出信號根 據該實時間距進行自適應地實時調整與修訂，從而使輸出的總輸出信號的性質符合期望。
[0004] 本發明是這樣實現的，一種基于線性揚聲器陣列的自適應3D聲場重現方法，包括 以下步驟：
[0005] 利用用戶手持麥克風采集線性揚聲器陣列通過線性揚聲器陣列三維聲場重現單 元處理后輸出的聲學信號；
[0006] 利用所述聲學信號實時估計線性揚聲器陣列與用戶之間的間距，并將所述間距反 饋至線性揚聲器陣列三維聲場重現處理單元；
[0007] 線性揚聲器陣列三維聲場重現處理單元根據該間距按預設串音消除方法調整處 理，在當前間距下使左揚聲器發至右耳的信號與右揚聲器發至左耳的信號相抵銷而使串音 消除后再輸出相應的聲學信號。
[0008] 所述用戶手持麥克風為單麥克風或麥克風陣列。
[0009] 其中，所述線性揚聲器陣列與用戶之間的間距通過以下一種方法得到，或采用以 下兩種或兩種以上方法測得初始間距后對初始間距按不同的權重綜合處理而得到：
[0010] (1)基于校準器而使用戶手持麥克風與線性揚聲器陣列共享同步時鐘的時間差并 利用聲音傳播速度計算得到；
[0011] (2)通過房屋大小與混響時間RT60的數學模型得到；
[0012] (3)基于單麥克風估計直達源和第一個反射源的間隔時間計算得到；
[0013] (4)基于麥克風陣列通過估計直達源和定向反射源的間隔時間計算得到。
[0014] 所述房屋大小與混響時間RT60的數學模型為：
[0015] 狀60: = 〇,M9 . v為房間體積，S為房間表面積，α為墻面吸音系數。
[0016] 本發明中，當采用兩種或兩種以上間距估計方法時，最后綜合得到的間距D'用下 公式計算：
[0017] 其中，wn為權重，上 dn為第η種方法估計的間距，N為

.， -- - 間距估計方法的數量，Κ η < Ν。
[0018] 本發明的目的還在于提供一種基于線性揚聲器陣列的自適應3D聲場重現系統，包 括：
[0019] 麥克風，由用戶手持以采集線性揚聲器陣列通過線性揚聲器陣列三維聲場重現處 理單元輸出的聲學信號；
[0020] 間距估計模塊，用于利用所述聲學信號估計線性揚聲器陣列與用戶之間的間距， 并將所述間距反饋至線性揚聲器陣列三維聲場重現處理單元；
[0021] 線性揚聲器陣列三維聲場重現處理單元，用于根據該間距按預設串音消除方法調 整處理，在當前間距下使左揚聲器發至右耳的信號與右揚聲器發至左耳的信號相抵銷而使 串音消除后再輸出相應的聲學信號。
[0022] 本發明基于線性揚聲器陣列的自適應3D聲場重現方法以及系統，通過利用用戶手 持麥克風，采集線性揚聲器陣列輸出的聲學信號估計線性揚聲器陣列與用戶之間的間距間 距，此間距間距在估計完成后將輸送回線性揚聲器陣列三維聲場重現處理單元對三維聲場 重現處理單元調整后輸出聲學信號，從而達到精確為用戶渲染三維聲場的目的。
【附圖說明】
[0023] 圖1是本發明提供的基于線性揚聲器陣列的自適應3D聲場重現方法的流程圖； [0024]圖2是本發明提供的基于線性揚聲器陣列的自適應3D聲場重現方法的原理圖； [0025]圖3是現有技術中利用耳機實現3D聲場重現的聲學模型圖；
[0026]圖4是本發明提供的基于線性揚聲器陣列的自適應3D聲場重現方法聲學模型圖；
[0027] 圖5是本發明提供的基于校準器計算揚聲器陣列與用戶間的間距的示意圖；
[0028] 圖6是本發明提供的直達源與反射、混響時間的關系示意圖；
[0029] 圖7是本發明提供的計算直達源及反射源的時間間隔的示意圖；
[0030] 圖8是本發明提供的計算直達源及幾個反射源的時間間隔的示意圖。
【具體實施方式】
[0031] 下面，結合實例對本發明的實質性特點和優勢作進一步的說明，但本發明并不局 限于所列的實施例。
[0032] 參見圖1所示，一種基于線性揚聲器陣列的自適應3D聲場重現方法，包括以下步 驟：
[0033]利用用戶手持麥克風采集線性揚聲器陣列通過線性揚聲器陣列三維聲場重現單 元處理后輸出的聲學信號；
[0034]利用所述聲學信號實時估計線性揚聲器陣列與用戶之間的間距，并將所述間距反 饋至線性揚聲器陣列三維聲場重現處理單元；
[0035]線性揚聲器陣列三維聲場重現處理單元根據該間距按預設串音消除方法調整處 理，在當前間距下使左揚聲器發至右耳的信號與右揚聲器發至左耳的信號相抵銷而使串音 消除后再輸出相應的聲學信號利用用戶手持麥克風采集線性揚聲器陣列輸出的聲學信號； [0036]本發明中，所述用戶手持麥克風可以為單麥克風，或麥克風陣列。
[0037]需要說明的是，本發明中，所述線性揚聲器陣列輸出的聲學信號是通過三維聲場 重建算法或模型輸出的三維環繞聲聲學信號，所述線性揚聲器陣列安裝于外殼中并線性設 置，包括有至少兩個揚聲器換能器件，以接收來自音源的音頻信號進行處理后輸出。
[0038]所述基于串擾消除技術，利用所述間距對線性揚聲器陣列三維聲場重現處理單元 進行調整后輸出相應的聲學信號，是指在原有三維聲場重建算法的基礎上，根據估計的所 述線性揚聲器陣列與用戶之間的間距，并利用濾波器來調整線性揚聲器陣列輸出的聲學信 號的相位及幅度，在當前間距下使左揚聲器發至右耳的信號與右揚聲器發至左耳的信號相 抵銷而使串音消除，從而保證線性揚聲器陣列輸出的三維環繞聲的總輸出信號的性質仍然 能達到預期的效果。
[0039] 其中，所述線性揚聲器陣列與用戶之間的間距指的是面向用戶設置的線性揚聲器 陣列的聲音發出面與用戶的雙耳之間的垂直間距。
[0040] 參見圖2所示，具體實現中，為了更好進行三維（3D)聲場重建，在麥克風采用線性 揚聲器陣列輸出的音頻信號后，即錄音后，對采集的音頻錄音信號進行預處理，包括去除噪 音、濾波處理，使采集的音頻信號使線性揚聲器陣列輸出的音頻信號相一致，然后分析與線 性揚聲器陣列相關的房間聲學參數，包括有房間大小、線性揚聲器陣列與麥克風的距離以 及房間的混響時間等聲學參數，由線性揚聲器陣列三維(3D)聲場重建處理模塊根據該聲學 參數計算相應的修正參數，然后對輸入線性揚聲器陣列的音頻信號進行根據修正的參數進 行調整，使在當前間距下使左揚聲器發至右耳的信號與右揚聲器發至左耳的信號相抵銷而 使串音消除，從而保證線性揚聲器陣列輸出的三維環繞聲的總輸出信號的性質仍然能達到 預期的效果。
[0041 ]下面結合耳機3D虛擬環繞聲場重建對本發明基于揚聲器的3D虛擬環繞聲場重建 進行詳細說明。
[0042] 3D虛擬環繞聲場重建技術主要用耳機作為播放設備。3D虛擬環繞聲核心技術是頭 相關函數HRTF使用。頭相關函數HRTF是空間中的任意位置到達人雙耳的一對傳輸函數，即 若在3維空間中采樣η個方向，所對應的頭相關函數將為η對，2η個(左、右耳各一個）。假設需 重建某一個方向聲源S(水平角為Θ，垂直角#)，雙耳重建信號可由輸入信號與頭相關函數 HRTF卷積得到：
[0043] L =. S ? HRTFu)'i9
[0044] R = S?HRTFro&
[0045] 假設輸入信號為標準雙聲道音頻信號Sl，Sr，分別對應左耳及右耳，其預設的揚聲 器位置為左30度，右30度。虛擬環繞聲技術希望通過耳機使用戶感覺到從頭部外，既虛擬揚 聲器位置發出的聲源，使用虛擬環繞聲技術通過耳機播放的信號為，如圖3所示：
[0046] L = SL? HRTFl 0 + SR ? HRTFl 0
[0047] 及=& ?撤1?我，〇 + 4 ? 趨1^，各5〇
[0048] 以上是利用頭相關函數，使耳機實現播放三維或3D環繞聲的信號處理過程，通過 左耳機11、右耳機21可使音頻信號信號按上述的信號輸入至用戶100左右耳，實現三維聲場 重現。
[0049] 本發明中，為了使用揚聲器直接達到3D聲場重建的目的并使串音消除抵銷，采用 如圖4示所示聲學模型。相比于圖3的耳機重建三維聲場的模型，圖4中播放設備由耳機變成 了揚聲器，其最終目的在于，通過計算濾波器Η使得聲道音頻信號Sl、Sr的串擾音，即右揚聲 器20發至左耳的信號與左揚聲器10發至右耳的信號Grl和Glr在用戶100的左、右耳的位置被 完全抵消，從而導致左耳總傳遞函數變為Ga，即左耳揚聲器只輸出至左耳的信號，右耳總傳 遞函數變為Grr，即右耳揚聲器只輸出至右耳的信號，因此進一步使得在圖4中的揚聲器可像 耳機一樣應用頭相關函數進行3D虛擬聲場的重建。具體應用包括，如使用標準左30度和右 30度的兩個揚聲器虛擬左后和右后110度的聲源，即虛擬5.1環繞聲，也可以設置更多的揚 聲器以實現虛擬左前、右前或中后、中前相應位置的聲源，以實現不同的虛擬環繞聲。濾波 器Η的計算方法如下：
[0050] 如在ζ域，假設輸入的雙耳頭相關函數處理后的信號為[L(z)R(z)]，分別對應左耳 和右耳。通過揚聲器播放且被人耳接收的信號為[EL(z)ER(z)].在z域揚聲器到雙耳的傳遞 函數G( ζ)可通過以下數學模型模擬或測量得：
[0051] __ KL·
KK、_，_
[0052]則需要對輸入的信號[L(z)R(z)]預處理的濾波器Η為：
[0053]
[0054]其中，d為延遲項，如圖4所示，揚聲器的每個單元到用戶雙耳之間的傳遞函數G隨 水平角Θ，垂直角和揚聲器到雙耳的傳遞間距D而改變，即
[0055]
[0056]假設揚聲器單元至線性陣列中軸線的間距為do,用戶頭半徑固定為dh，則在2D平 面，水平角Θ和揚聲器到雙耳的傳遞距離D為：
[0057] Θ =arctan[ (d0-dh)/d]
[0058]
[0059] 當用戶與揚聲器陣列的間距d發生改變時，水平角Θ和垂直角·0也將發生改變，故 用戶與揚聲器間的傳遞函數G也會隨之改變，最終導致計算的濾波器Η改變。如果用戶與揚 聲器之間的間距d估計有誤，將會極大影響最終的串擾消除性能，影響聲場方向性聲源的重 建質量，因此，本發明提出了根據用戶即聽眾與線性揚聲器陣列間的間距來自適應調整，以 實現三維聲場的自適應重建。
[0060] 以上分析可以看出，使用揚聲器作為播放設備來重現三維環繞聲，重要的已知信 息之一則是線性揚聲器陣列與聽眾之間的間距d，此間距d可以影響基于線性揚聲器陣列的 信號處理算法的性能，進而影響三維聲場重建的質量，所以實際的線性揚聲器陣列的應用 中，使用簡單設備準確估計此間距的方法非常必要。
[0061] 為了實現線性揚聲器陣列與聽眾之間的間距d的簡單而準確的估計，本發明提出 以下幾種方法。
[0062] -種方法是，基于校準器而使用戶手持麥克風與線性揚聲器陣列共享同步時鐘的 時間差，利用聲音傳播速度計算得到。
[0063] 其中，所述用戶手持麥克風與該校準器配置在一起。
[0064]如圖5所示，若聲音從線性揚聲器陣列50(包括多個線性排40揚聲器)傳播至用戶 的時間為t，則揚聲器至用戶100之間的間距d為：
[0065] d = t · v.
[0066] V為聲音在空氣中傳播的速度(約為343米/秒）。
[0067]假設在一般家庭起居室內線性陣列至用戶的間距不小于2米，則t最短為2/343~ 5.83ms。假設音頻信號采樣率為44.1kHz，從線性揚聲器陣列至用戶間最短數字信號采樣點 為5.83*44.1~256個點。若線性揚聲器陣列與用戶手中的校準器30使用同一時鐘，校準音 頻信號在T1時刻從線性揚聲器陣列發出，在T2時刻由校準器接收，由于兩者分享同一時鐘 信號，則線性揚聲器陣列和用戶之間的間距d為：
[0068] d=(T2-Ti) · V。
[0069] 第二方法是，通過房屋大小與混響時間RT60的數學模型得到。
[0070] 所述房屋大小與混響時間RT60的數學模型為：
[0071]
[0072] 其中，V為房間體積，S為房間表面積，α為墻面吸音系數。
[0073] 混響時間RT60為反射源能量衰減至直達源-60dB時的時間。一般認為在正常屋子 中，低頻信號的混響時間RT60比高頻信號的混響時間RT60大。從整體來看，大房間的混響時 間RT60大于小房間的混響時間RT60.故通過測量大量房間的混響時間RT60可總結混響時間 RT60與房屋大小的數學模型。通過房屋大小的數學模型可進一步估計線性揚聲器陣列與用 戶之間的間距。
[0074]假設正常客廳高為2.8m，長寬比例為2:1，則客廳大小可解。通過客廳長寬高可以 使用，寬〇. 5米為線性揚聲器陣列與聽眾用戶的間距，即假設線性揚聲器陣列在客廳一端， 用戶在對應的另一端，0.5米為用戶位置到后墻和線性揚聲器陣列到前墻的大致間距。 [0075]第三種估計所述線性揚聲器陣列與用戶之間的間距的方法，還可以是通過單麥克 風以估計直達源和第一個反射源的間隔時間計算得到。
[0076]如圖6-7所示，單個揚聲器40在房間中，由于房間反射，在用戶頭部101處可以形成 一個直達路徑和若干個反射路徑。通過一個麥克風可測得房間的混響時間RT60。在混響中， 經過信號處理的平滑算法和局部最大值估計算法可自動找出直達源及前幾個反射源。通過 計算直達源于第一個反射源的時間可估算出直達路徑的間距。如圖6所示，在正常房屋中， 假設第一個反射路徑為地面或桌面的反射，故有：
[0077]
[0078] 其中dh為平均家用電視柜高度。直達源ds和反射源dr的時間間隔Δ t已知，即，
[0079]
[0080] 其中v為聲音在空氣中傳播的速度(常量），故，
[0081]
[0082]從而通過上述式，由直達源和反射源的時間間隔，并利用聲音傳播速度而計算出 所述線性揚聲器陣列與用戶之間的間距。
[0083]第四種估計所述線性揚聲器陣列與用戶之間的間距的方法，還可以是基于一個麥 克風或麥克風陣列通過估計單個揚聲器40與用戶頭部101間的直達源ds和定向反射源dRidR2 的間隔時間計算得到。
[0084] 當校準器具備麥克風陣列時，直達源及前幾個反射源相對于用戶的角度可估計得 至1J，參見圖6及圖8所示。
[0085] 故有
[0086] (drl)2= (dr2)2+(ds)2-2 · dr2 · ds · COS0
[0087] dri+dr2-ds= Δ d
[0088]
[0089] Ad= At · v
[0090] 故直達源ds可解。
[0091] 需要說明的是，本發明中，所述線性揚聲器陣列與用戶之間的間距，可以分別采用 以上一種方法單獨實現，也可以是采用上述兩種或兩種以上組合的方法分別獲得相應的估 計間距后，按一定的方法處理，獲得相適應的間距值來實現。
[0092] 假設從中選擇N種方法，測得N個間距[cU，^，···，(!"]，則最后采用的間距估計值D' 可表示為
[0093] n.-i
[0094] 最終的估計誤差r為估計值D'和真實值D的差，即
[0095] r=|D_D，
[0096] 其中，wn為權重，」
Vn表征不同方法估計結果對最后結果的影響。可 n:~\ 通過實驗測得不同方法誤差范圍及發生不準確測量情況的比例從而決定《"的值。即找出一 組權重[W1，W2，…，Wn]，使得估計值D '和真實值D在實驗的各個房間中[ri，Γ2，…，rm]的總誤 差最小：
[0097] 優化[W1，W2,…，Wn]使得
[0098]
[0099] 最小，其中，Dr為在實驗房間r(l彡r彡M，M為實驗房間數量）中線性揚聲器到用戶 的真正距離;dr,n為在房間r中使用方法η (1彡η彡N，N為采用上述距離估計方法的總數量） 得到的估計距離，同時應保才
[0100]本發明的目的還在于提供一種基于線性揚聲器陣列的自適應3D聲場重現系統，包 括：
[0101] 麥克風，由用戶手持以采集線性揚聲器陣列通過線性揚聲器陣列三維聲場重現處 理單元輸出的聲學信號；
[0102] 間距估計模塊，用于利用所述聲學信號估計線性揚聲器陣列與用戶之間的間距， 并將所述間距反饋至線性揚聲器陣列三維聲場重現處理單元；
[0103] 線性揚聲器陣列三維聲場重現處理單元，用于根據該間距按預設串音消除方法調 整處理，在當前間距下使左揚聲器發至右耳的信號與右揚聲器發至左耳的信號相抵銷而使 串音消除后再輸出相應的聲學信號。
[0104] 關于上述的基于線性揚聲器陣列的自適應3D聲場重現系統的說明，請參考上述的 基于線性揚聲器陣列的自適應3D聲場重現方法的詳細說明。
[0105] 本發明基于線性揚聲器陣列的自適應3D聲場重現方法以及系統，通過利用用戶手 持麥克風，采集線性揚聲器陣列輸出的聲學信號估計線性揚聲器陣列與用戶之間的間距， 此間距在估計完成后將輸送回線性揚聲器陣列三維聲場重現處理單元對三維聲場重現處 理單元調整后輸出聲學信號，從而達到精確為用戶渲染三維聲場的目的。
[0106] 以上所述僅是本發明的優選實施方式，應當指出，對于本技術領域的普通技術人 員來說，在不脫離本發明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應 視為本發明的保護范圍。
【主權項】
1. 一種基于線性揚聲器陣列的自適應3D聲場重現方法，其特征在于，包括步驟： 利用用戶手持麥克風采集線性揚聲器陣列通過線性揚聲器陣列三維聲場重現單元處 理后輸出的聲學信號； 利用所述聲學信號實時估計線性揚聲器陣列與用戶之間的間距，并將所述間距反饋至 線性揚聲器陣列三維聲場重現處理單元； 線性揚聲器陣列三維聲場重現處理單元根據該間距按預設串音消除方法調整處理，在 當前間距下使左揚聲器發至右耳的信號與右揚聲器發至左耳的信號相抵銷而使串音消除 后再輸出相應的聲學信號。2. 根據權利要求1所述基于線性揚聲器陣列的自適應3D聲場重現方法，其特征在于，所 述用戶手持麥克風為單麥克風或麥克風陣列。3. 根據權利要求1或2所述基于線性揚聲器陣列的自適應3D聲場重現方法，其特征在 于，所述線性揚聲器陣列與用戶之間的間距通過以下一種方法得到，或采用以下兩種或兩 種以上方法測得初始間距后對初始間距按不同的權重綜合處理而得到： (1) 基于校準器而使用戶手持麥克風與線性揚聲器陣列共享同步時鐘的時間差并利用 聲音傳播速度計算得到； (2) 通過房屋大小與混響時間RT60的數學模型得到； (3) 基于單麥克風估計直達源和第一個反射源的間隔時間計算得到； (4) 基于麥克風陣列通過估計直達源和定向反射源的間隔時間計算得到。4. 根據權利要求3所述基于線性揚聲器陣列的自適應3D聲場重現方法，其特征在于，所 述房屋大小與混響時間RT60的數學模型為：V為房間體積，S為房間表面積，α為墻面吸音系數。 ，5. 根據權利要求3所述基于線性揚聲器陣列的自適應3D聲場重現方法，其特征在于，采 用兩種或兩種以上間距估計方法時，最后綜合得到的間距D'用下公式計算：dn為第η種方法估計的間距，N為間距估計 ， 方法的數量，Kn<N。6. -種基于線性揚聲器陣列的自適應3D聲場重現系統，其特征在于，包括： 麥克風，由用戶手持以采集線性揚聲器陣列通過線性揚聲器陣列三維聲場重現處理單 元輸出的聲學信號； 間距估計模塊，用于利用所述聲學信號估計線性揚聲器陣列與用戶之間的間距，并將 所述間距反饋至線性揚聲器陣列三維聲場重現處理單元； 線性揚聲器陣列三維聲場重現處理單元，用于根據該間距按預設串音消除方法調整處 理，在當前間距下使左揚聲器發至右耳的信號與右揚聲器發至左耳的信號相抵銷而使串音 消除后再輸出相應的聲學信號。7. 根據權利要求1所述基于線性揚聲器陣列的自適應3D聲場重現系統，其特征在于，所 述麥克風為單麥克風或麥克風陣列。8. 根據權利要求1或2所述基于線性揚聲器陣列的自適應3D聲場重現系統，其特征在 于，所述線性揚聲器陣列與用戶之間的間距通過以下一種方法得到，或采用以下兩種或兩 種以上方法測得初始間距后對初始間距按不同的權重綜合處理而得到： (1) 基于校準器而使用戶手持麥克風與線性揚聲器陣列共享同步時鐘的時間差并利用 聲音傳播速度計算得到； (2) 通過房屋大小與混響時間RT60的數學模型得到； (3) 基于單麥克風估計直達源和第一個反射源的間隔時間計算得到； (4) 基于麥克風陣列通過估計直達源和定向反射源的間隔時間計算得到。9. 根據權利要求3所述基于線性揚聲器陣列的自適應3D聲場重現方法，其特征在于，所 述房屋大小與混響時間RT60的數學模型為：V為房間體積，S為房間表面積，α為墻面吸音系數。 t10. 根據權利要求3所述基于線性揚聲器陣列的自適應3D聲場重現系統，其特征在于， 采用兩種或兩種以上間距估計方法時，最后綜合得到的間距D'用下公式計算：計方法的數量，K η < N。 dn為第η種方法估計的間距，N為間距估 ，
【文檔編號】H04R9/06GK105933835SQ201610251445
【公開日】2016年9月7日
【申請日】2016年4月21日
【發明人】楊維國, 侯歡
【申請人】音曼（北京）科技有限公司