專利名稱:多信道信號(hào)的處理的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及音頻信號(hào)的處理,更具體來講,涉及多信道音頻信號(hào)的編碼。
參數(shù)化的多信道音頻編碼器通常只傳輸一個(gè)完全帶寬音頻信道,所述音頻信道結(jié)合有一組描述輸入信號(hào)空間屬性的參數(shù)。例如,
圖1示出了在2002年11月20日申請(qǐng)的第02079817.9號(hào)歐洲專利申請(qǐng)(代理人編號(hào)為PHNL021156)中描述的編碼器10中執(zhí)行的步驟。
在最初的步驟S1中,輸入信號(hào)L和R例如由跟隨有變換操作的時(shí)窗分為子帶101。隨后,在步驟S2,確定相應(yīng)子帶信號(hào)的級(jí)差(ILD);在步驟S3,確定相應(yīng)子帶信號(hào)的時(shí)差(ITD或者IPD);并且在步驟S4,描述無法由ILD或者ITD說明的波形的相似性或者不相似性的量。在后續(xù)步驟S5、S6和S7中,所確定的參數(shù)被量化。
在步驟S8,根據(jù)輸入的音頻信號(hào)來生成單聲道信號(hào)S,并且最后在步驟S9,根據(jù)單聲道信號(hào)和所確定的空間參數(shù)來生成編碼的信號(hào)102。
圖2示出了包括編碼器10和相應(yīng)的解碼器202的編碼系統(tǒng)的示意性框圖。包括和信號(hào)S和空間參數(shù)P的編碼信號(hào)102被傳遞至解碼器202。所述信號(hào)102可以經(jīng)由任意適當(dāng)?shù)耐ㄐ判诺?04來傳遞。作為選擇地或者另外地,所述信號(hào)可以被存儲(chǔ)在可移動(dòng)存儲(chǔ)介質(zhì)214上,借此,可以將信號(hào)從編碼器傳送至解碼器。
通過把空間參數(shù)應(yīng)用于和信號(hào)以生成左和右輸出信號(hào),由此來執(zhí)行合成(在解碼器202中)。因此,所述解碼器202包括解碼模塊210,其執(zhí)行步驟S9的逆運(yùn)算,并且從編碼的信號(hào)102提取和信號(hào)S和參數(shù)P。所述解碼器進(jìn)一步包括合成模塊211,其根據(jù)所述和(或者主要的)信號(hào)以及空間參數(shù)來恢復(fù)立體聲分量L和R。
問題之一在于步驟S8以這樣一種方式生成單聲道信號(hào)S,以使當(dāng)解碼到輸出信道中時(shí),感覺到的聲音音色與輸入信道的完全一樣。
以前已經(jīng)提出了許多用于生成所述和信號(hào)的方法??傮w上,這些方法組成單信號(hào)作為輸入信號(hào)的線性組合。特定技術(shù)包括1.輸入信號(hào)的簡(jiǎn)單求和。例如參見2001年在New York的NewPaltz,在音頻和聲學(xué)的信號(hào)處理的應(yīng)用的專題研究組(Workshop onapplications of signal processing on audio and acoustics)、即WASPAA’01,由C.Faller和F.Baumgarte提出的“Efficientrepresentation of spatial audio using perceptualparametrization”。
2.使用主成分分析(PCA)對(duì)輸入信號(hào)的加權(quán)求和。例如參見2002年4月10日申請(qǐng)的第02076408.0號(hào)歐洲專利申請(qǐng)(代理人編號(hào)為PHNL020284)和2002年4月10日申請(qǐng)的第02076410.6號(hào)歐洲專利申請(qǐng)(代理人編號(hào)為PHNL020283)。在此方案中,求和的平方權(quán)重總計(jì)達(dá)到1,并且實(shí)際值取決于輸入信號(hào)中的相對(duì)能量。
3.權(quán)重取決于輸入信號(hào)之間的時(shí)域相關(guān)性的加權(quán)求和。例如參見由D.Sinha提出的題目為“Joint stereo coding of audio signals”的歐洲專利申請(qǐng)EP 1 107 232 A2。在此方法中,權(quán)重總計(jì)為+1,而實(shí)際值取決于輸入信道的交叉相關(guān)。
4.Herre等人提出的US 5,701,346專利申請(qǐng)公開了利用向下混合寬帶信號(hào)的左、右和中央信道的能量維持縮放比例來加權(quán)的求和。然而,這樣做沒有作為頻率的函數(shù)來執(zhí)行。
這些方法可以被應(yīng)用于完全帶寬信號(hào),或者可以被應(yīng)用于頻帶濾波信號(hào),對(duì)于每個(gè)頻帶而言,所述頻帶濾波信號(hào)都具有它們自己的權(quán)重。然而,所描述的所有方法都具有一個(gè)缺陷。如果所述交叉相關(guān)是隨頻率而定的,這對(duì)于立體聲錄音的情況而言是很經(jīng)常的情況,那么將會(huì)產(chǎn)生解碼器的聲音的調(diào)色(coloration)(即,感覺到的音色的改變)。
這可以通過如下原因來解釋,即對(duì)于具有+1的交叉相關(guān)的頻帶來說,兩個(gè)輸入信號(hào)的線性求和導(dǎo)致信號(hào)幅度的線性增加并且使加性信號(hào)平方以便確定作為結(jié)果產(chǎn)生的能量。(對(duì)于相等幅度的兩個(gè)同相信號(hào)來說,這樣做導(dǎo)致幅度加倍,具有四倍的能量。)如果交叉相關(guān)是0,那么線性求和導(dǎo)致小于幅度的二倍并且小于能量的四倍。此外,如果某一頻帶的交叉相關(guān)總數(shù)是-1,那么該頻帶的信號(hào)分量抵消并且沒有信號(hào)剩余。因此,對(duì)于簡(jiǎn)單的求和來說,所述和信號(hào)的頻帶可以具有0到兩個(gè)輸入信號(hào)的功率的4倍之間的能量(功率),這取決于輸入信號(hào)的相對(duì)級(jí)別和交叉相關(guān)。
本發(fā)明試圖減輕此問題并且提供如權(quán)利要求1所述的方法。
如果趨向于平均的不同頻帶具有相同的相關(guān)性,那么可以期望由這種求和引起的超時(shí)失真(over time distortion)將會(huì)在頻譜上達(dá)到平均數(shù)。然而,應(yīng)該意識(shí)到的是,在多信道信號(hào)中,低頻分量勢(shì)必比高頻分量更加相關(guān)。因此,可以看出,在沒有本發(fā)明的情況下,不考慮隨信道相關(guān)性而定的頻率的求和往往會(huì)過度地放大更加高度相關(guān)、尤其是聽覺上靈敏的低頻頻帶的能級(jí)。
本發(fā)明提供了一種單信號(hào)的頻率相關(guān)校正,其中所述校正因數(shù)取決于輸入信號(hào)的頻率相關(guān)的交叉相關(guān)和相對(duì)級(jí)別。此方法減少了由已知的求和法引入的頻譜調(diào)色假象,并且確保每個(gè)頻帶中的能量維持。
所述頻率相關(guān)校正可以通過如下操作來應(yīng)用,即通過首先對(duì)輸入信號(hào)求和(或者線性求和或加權(quán)求和),繼之以應(yīng)用校正濾波器,或者通過釋放求和(或者它們的均方值)的權(quán)重必定總計(jì)達(dá)到+1的限制,而是總計(jì)達(dá)到取決于交叉相關(guān)的值。
應(yīng)該注意的是,本發(fā)明可以應(yīng)用于任何系統(tǒng),其中組合了兩個(gè)或多于兩個(gè)輸入信道。
現(xiàn)在參照附圖來描述本發(fā)明的實(shí)施例,其中圖1示出了現(xiàn)有技術(shù)的編碼器;圖2示出了包括圖1編碼器的音頻系統(tǒng)的框圖;圖3示出了由根據(jù)本發(fā)明第一實(shí)施例的聲頻編碼器的信號(hào)求和部件執(zhí)行的步驟;以及圖4示出了由圖3的求和部件采用的校正因數(shù)m(i)的線性內(nèi)插。
根據(jù)本發(fā)明,提供了改進(jìn)的信號(hào)求和部件(S8′),尤其用于執(zhí)行對(duì)應(yīng)于圖1的S8的步驟。盡管如此,可以看出,本發(fā)明還適用于需要對(duì)兩個(gè)或多個(gè)信號(hào)求和的任何情況。在本發(fā)明的第一實(shí)施例中,在編碼求和信號(hào)S之前,所述求和部件添加左和右立體聲信道信號(hào),步驟S9。
現(xiàn)在參照?qǐng)D3,在第一實(shí)施例中,被提供給求和部件的左(L)和右(R)信道信號(hào)包括在連續(xù)時(shí)間幀t(n-1),t(n),t(n+1)中重疊的多信道段m1,m2…。典型情況下,以10ms的速率來更新正弦曲線,并且每個(gè)段m1,m2…兩倍于更新速率的長(zhǎng)度,即20ms。
對(duì)于L、R信道信號(hào)將要被求和的每個(gè)重疊時(shí)窗t(n-1),t(n),t(n+1)而言,所述求和部件使用(平方根)漢寧窗函數(shù)把來自于重疊段m1,m2…的每個(gè)信道信號(hào)組合為表示時(shí)窗的每個(gè)信道的相應(yīng)時(shí)域信號(hào),步驟42。
對(duì)每個(gè)時(shí)域窗信號(hào)應(yīng)用FFT(快速傅里葉變換),由此產(chǎn)生每個(gè)信道的窗信號(hào)的相應(yīng)復(fù)頻譜表示,步驟44。對(duì)于44.1kHz的采樣速率和20ms的幀長(zhǎng)度來說,F(xiàn)FT的長(zhǎng)度通常是882。此過程為兩個(gè)輸入信道(L(k),R(k))產(chǎn)生了一組K頻率分量。
在第一實(shí)施例中,兩個(gè)輸入信道表示L(k)和R(k)通過簡(jiǎn)單的線性求和首先組合,步驟46。然而,可以看出,其可以易于被擴(kuò)展為加權(quán)求和。由此,對(duì)于本實(shí)施例來說,和信號(hào)S(k)包括S(k)=L(k)+R(k)輸入信號(hào)L(k)和R(k)的頻率分量獨(dú)立地被組合為多個(gè)頻帶,優(yōu)選的是使用涉及感覺的帶寬(ERB或者BARK比例),并且對(duì)于每個(gè)子帶i,計(jì)算能量維持校正因數(shù)m(i),步驟45m2(i)=Σk∈l{|L(k)|2+|R(k)|2}2Σk∈l|S(k)|2=Σk∈l{|L(k)|2+|R(k)|2}2Σk∈l|L(k)+R(k)|2]]>公式1其還可以被寫為m2(i)=12Σk∈l{|L(k)|2+|R(k)|2}Σk∈l|L(k)|2+Σk∈l|R(k)|2+2ρLR(i)Σk∈l|L(k)|2Σk∈l|R(k)|2]]>公式2其中ρLR(i)是子帶i的波形的(標(biāo)準(zhǔn)化的)交叉相關(guān),在參數(shù)化的多信道編碼器中其它地方使用的參數(shù),因此容易地可用于計(jì)算公式2。在任何情況下,步驟45為每個(gè)子帶i提供校正因數(shù)m(i)。
下一步驟47然后包括把和信號(hào)的每個(gè)頻率分量S(k)與校正濾波器C(k)相乘S′(k)=S(k)C(k)=C(k)L(k)+C(k)R(k) 公式3可以從公式3的最后部分看出的是,可以把校正濾波器單獨(dú)應(yīng)用于求和信號(hào)S(k),或者應(yīng)用于每個(gè)輸入信道(L(k),R(k))。照此,當(dāng)校正因數(shù)m(i)已知或者與用于確定m(i)的求和信號(hào)S(k)獨(dú)立地執(zhí)行時(shí),可以組合步驟46和47,如圖3中的散列線所表示的那樣。
在優(yōu)選的實(shí)施例中,校正因數(shù)m(i)用于每個(gè)子帶的中央頻率,而對(duì)于其它頻率而言,校正因數(shù)m(i)被內(nèi)插以便為子帶i的每個(gè)頻率分量(k)提供校正濾波器C(k)。原則上,可以使用任何內(nèi)插函數(shù),然而,經(jīng)驗(yàn)結(jié)果已經(jīng)表明,簡(jiǎn)單的線性內(nèi)插方案就足夠了,如圖4所示。
作為選擇,可以為每個(gè)FFT庫推導(dǎo)獨(dú)立的校正因數(shù)(即,子帶i對(duì)應(yīng)于頻率分量k),在這種情況下,不必進(jìn)行內(nèi)插。然而,此方法可以造成鋸齒狀的而不是平滑的校正因數(shù)的頻率狀態(tài),而這往往因?yàn)闀?huì)造成時(shí)域失真而是不期望的。
在優(yōu)選的實(shí)施例中,求和部件然后對(duì)校正的求和信號(hào)S′(k)進(jìn)行逆FFT以便獲得時(shí)域信號(hào),步驟48。通過對(duì)連續(xù)的校正求和時(shí)域信號(hào)應(yīng)用重疊相加,步驟50,最終的求和信號(hào)s1,s2…被創(chuàng)建,并且將其饋送以便編碼,步驟S9,圖1。可以看出,所述求和段s1,s2…對(duì)應(yīng)于時(shí)域中的段m1,m2…,并且照此,不會(huì)存在作為求和的結(jié)果的同步損失。
可以看出,輸入信道信號(hào)不是重疊信號(hào),而是連續(xù)時(shí)間信號(hào),這樣將不會(huì)需要開窗步驟42。同樣,如果編碼步驟S9期待連續(xù)時(shí)間信號(hào)而不是重疊信號(hào),那么將不會(huì)需要重疊相加步驟50。此外,可以看出,所描述的分段方法以及頻率域變換還可以由其它(可能是連續(xù)時(shí)間)類似于濾波器組的結(jié)構(gòu)來替代。此處,輸入音頻信號(hào)被饋送到相應(yīng)的濾波器組,其共同地為每個(gè)輸入音頻信號(hào)提供瞬時(shí)頻譜表示。這意味著連續(xù)的段實(shí)際上可以對(duì)應(yīng)于單個(gè)時(shí)間采樣,而不是采樣塊,如在所描述的實(shí)施例中的那樣。
可以從公式1看出的是,存在這樣的環(huán)境,其中左和右信道的特定頻率分量可以彼此抵消,或者如果它們具有負(fù)相關(guān)的話,那么對(duì)于特殊的頻帶,它們勢(shì)必產(chǎn)生非常大的校正因數(shù)值m2(i)。在此情況下,可以傳輸符號(hào)位以便表明分量S(k)的和信號(hào)是S(k)=L(k)-R(k)具有用于公式1或者2中的對(duì)應(yīng)減法。
作為選擇,頻帶i的分量可以旋轉(zhuǎn)角度α(i)以便彼此更加同相。ITD分析過程S3提供輸入信號(hào)L(k)和R(k)(的子帶)之間的(平均)相位差。假定對(duì)于某一頻帶i來說,輸入信號(hào)之間的相位差是由α(i)給定的,那么在求和之前,輸入信號(hào)L(k)和R(k)可以根據(jù)如下公式被變換為兩個(gè)新的輸入信號(hào)L′(k)和R′(k),所述公式為
L′(k)=ejcα(i)L(k)R′(k)=e-j(1-c)α(l)R(k)其中c是用于確定兩個(gè)輸入信道之間的相位校準(zhǔn)的分布的參數(shù)(0≤c≤1)。
在任何情況下,可以看出,例如對(duì)于子帶i而言,兩個(gè)信道具有+1的相關(guān)性,那么m2(i)將是1/4,因此m(i)將是1/2。由此,頻帶i中的任何分量的校正因數(shù)C(k)將通過取求和信號(hào)的每個(gè)原始輸入信號(hào)的一半來趨向于保留原始能級(jí)。然而,正如可以從公式1中看到的那樣,其中立體聲信號(hào)的頻帶i包括空間屬性,信號(hào)S(k)的能量將趨向于小于它們同相時(shí)的能量,而L、R信號(hào)的能量的和將趨向于保持很大,因此所述校正因數(shù)對(duì)于那些信號(hào)來說趨向于較大。照此,所述和信號(hào)中的總體能級(jí)跨越頻譜仍將被保留,而不管輸入信號(hào)中的頻率相關(guān)的相關(guān)性如何。
在第二實(shí)施例中,示出了朝向多個(gè)(兩個(gè)以上)輸入信道的擴(kuò)展,并結(jié)合了上述的輸入信道的可能的加權(quán)。對(duì)于第n個(gè)輸入信道的第k個(gè)頻率分量來說,頻率域輸入信道由Xn(k)來表示。這些輸入信道的頻率分量k在頻帶i中被分組。隨后,為子帶i如下來計(jì)算校正因數(shù)m(i)m2(i)=ΣnΣk∈l|wn(k)Xn(k)|2nΣk∈l|Σnwn(k)Xn(k)|2]]>在此公式中,wn(k)表示輸入信道n的頻率相關(guān)加權(quán)因數(shù)(對(duì)于線性求和來說,其可以僅僅設(shè)定為+1)。根據(jù)這些校正因數(shù)m(i),通過如第一實(shí)施例所描述的那樣來內(nèi)插校正因數(shù)m(i),可以生成校正濾波器C(k)。然后,根據(jù)如下公式來獲得單輸出信道S(k)S(k)=C(k)Σnwn(k)Xn(k)]]>可以看出,使用上述公式,不同的信道的權(quán)重不必總計(jì)是+1,然而,校正濾波器自動(dòng)地校正總計(jì)不是+1的權(quán)重,并且確保每個(gè)頻帶中的(內(nèi)插)能量維持。
權(quán)利要求
1.一種用于生成單聲道信號(hào)(S)的方法,所述單聲道信號(hào)包括至少兩個(gè)輸入音頻信道(L,R)的組合,該方法包括以下步驟為所述音頻信道(L,R)的多個(gè)連續(xù)段(t(n))的每一個(gè),根據(jù)每個(gè)音頻信道的各自的頻譜表示(L(k),R(k))來求和(46)對(duì)應(yīng)的頻率分量,以便為每個(gè)連續(xù)的段提供一組求和的頻率分量(S(k));為所述多個(gè)連續(xù)的段的每個(gè),計(jì)算(45)多個(gè)頻帶(i)的每個(gè)的校正因數(shù)(m(i))作為所述頻帶中求和信號(hào)的頻率分量的能量 以及所述頻帶中輸入音頻信道的所述頻率分量的能量 的函數(shù);以及作為所述分量的頻帶的校正因數(shù)(m(i))的函數(shù)來校正(47)每個(gè)求和頻率分量。
2.如權(quán)利要求1所述的方法,還包括如下步驟為每個(gè)輸入音頻信道的多個(gè)連續(xù)段的每一個(gè)提供(42)相應(yīng)的采樣信號(hào)值組;并且對(duì)于所述多個(gè)連續(xù)段的每個(gè)而言,把所述采樣信號(hào)值組的每一個(gè)變換(44)到頻率域,以便提供每個(gè)輸入音頻信道的所述復(fù)頻譜表示(L(k),R(k))。
3.如權(quán)利要求2所述的方法,其中提供所述采樣信號(hào)值組的步驟包括為每個(gè)輸入音頻信道,把重疊段(m1,m2)組合為表示時(shí)窗(t(n))的每個(gè)信道的相應(yīng)的時(shí)域信號(hào)。
4.如權(quán)利要求1所述的方法,還包括如下步驟為每個(gè)連續(xù)的段,把所述求和信號(hào)的所述已校正頻譜表示(S′(k))轉(zhuǎn)換(48)到時(shí)域。
5.如權(quán)利要求4所述的方法,還包括如下步驟把重疊相加(50)應(yīng)用于連續(xù)轉(zhuǎn)換的求和信號(hào)表示以便提供最終的求和信號(hào)(s1,s2)。
6.如權(quán)利要求1所述的方法,其中兩個(gè)輸入音頻信道被求和,并且其中所述校正因數(shù)(m(i))根據(jù)如下函數(shù)來確定m2(i)=Σk∈i{|L(k)|2+|R(k)|2}2Σk∉i|S(k)|2=Σk∉i{|L(k)|2+|R(k)|2}2Σk∈i|L(k)+R(k)|2]]>
7.如權(quán)利要求1所述的方法,其中根據(jù)如下函數(shù)來求和兩個(gè)或多個(gè)輸入音頻信道(Xn)S(k)=C(k)Σnwn(k)Xn(K)]]>其中C(k)是每個(gè)頻率分量的校正因數(shù),并且其中每個(gè)頻帶的所述校正因數(shù)(m(i))根據(jù)如下函數(shù)被確定m2(i)=ΣnΣk∈i|wn(k)Xn(k)|2nΣk∈i|Σnwn(k)Xn(k)|2]]>其中wn(k)包括每個(gè)輸入信道的頻率相關(guān)的加權(quán)因數(shù)。
8.如權(quán)利要求7所述的方法,其中對(duì)于所有輸入音頻信道而言,wn(k)=1。
9.如權(quán)利要求7所述的方法,其中對(duì)于至少某些輸入音頻信道而言,wn(k)≠1。
10.如權(quán)利要求7所述的方法,其中每個(gè)頻率分量的校正因數(shù)(C(k))是根據(jù)至少一個(gè)頻帶的校正因數(shù)(m(i))的線性內(nèi)插推導(dǎo)出來的。
11.如權(quán)利要求1所述的方法,還包括如下步驟對(duì)于所述多個(gè)頻帶的每個(gè)來說,確定連續(xù)段中所述音頻信道的頻率分量之間的相位差的指示符(α(i));并且在對(duì)相應(yīng)頻率分量求和之前,根據(jù)所述頻率分量的頻帶的所述指示符來變換至少一個(gè)所述音頻信道的頻率分量。
12.如權(quán)利要求11所述的方法,其中所述變換步驟包括對(duì)左和右輸入音頻信道(L,R)的頻率分量(L(k),R(k))運(yùn)算如下函數(shù)L′(k)=ejca(1)L(k)R′(k)=e-j(1-c)α(1)R(k)其中0≤c≤1確定所述輸入信道之間的相位校準(zhǔn)的分布。
13.如權(quán)利要求1所述的方法,其中所述校正因數(shù)是所述頻帶中求和信號(hào)的頻率分量能量的和以及所述頻帶中輸入音頻信道的所述頻率分量的能量的和的函數(shù)。
14.一種用于根據(jù)至少兩個(gè)輸入音頻信道(L,R)的組合來生成單聲道信號(hào)的部件(S8′),包括求和器(46),被設(shè)置為對(duì)于所述音頻信道(L,R)的多個(gè)連續(xù)段(t(n))的每一個(gè)而言,根據(jù)每個(gè)音頻信道的相應(yīng)頻譜表示(L(k),R(k))來求和對(duì)應(yīng)的頻率分量,以便為每個(gè)連續(xù)的段提供一組求和的頻率分量(S(k));用于為所述多個(gè)連續(xù)段的每一個(gè)的多個(gè)頻帶(i)中的每一個(gè)計(jì)算(45)校正因數(shù)(m(i))作為所述頻帶中求和信號(hào)的頻率分量的能量 以及所述頻帶中輸入音頻信道的所述頻率分量的能量 的函數(shù)的裝置;以及校正濾波器(47),用于作為所述分量的頻帶的校正因數(shù)(m(i))的函數(shù)來校正每個(gè)求和的頻率分量。
15.一種包括如權(quán)利要求14所述的部件的音頻編碼器。
16.包括如權(quán)利要求15所述的音頻編碼器和可兼容音頻播放器的音頻系統(tǒng)。
全文摘要
公開了一種用于生成單聲道信號(hào)(S)的方法,所述單聲道信號(hào)包括至少兩個(gè)輸入音頻信道(L,R)的組合。對(duì)來自于每個(gè)音頻信道的相應(yīng)頻譜表示(L(k),R(k))的對(duì)應(yīng)頻率分量求和(46)以便為每個(gè)連續(xù)段提供一組求和的頻率分量(S(k))。為每個(gè)連續(xù)段的每個(gè)頻帶(i)計(jì)算(45)校正因數(shù)(m(i))作為所述頻帶公式(I)中求和信號(hào)的頻率分量的能量的和以及所述頻帶公式(II)中輸入音頻信道的所述頻率分量的能量的和的函數(shù)。作為所述分量的頻帶的校正因數(shù)(m(i))的函數(shù)來校正(47)每個(gè)求和的頻率分量。
文檔編號(hào)G10L19/008GK1761998SQ200480007118
公開日2006年4月19日 申請(qǐng)日期2004年3月15日 優(yōu)先權(quán)日2003年3月17日
發(fā)明者D·J·比巴亞特, E·G·P·舒杰斯 申請(qǐng)人:皇家飛利浦電子股份有限公司