專利名稱：一種3d音頻會議的信號處理方法、設備以及系統的制作方法
技術領域：
本發明涉及音頻處理領域，尤其涉及一種3D音頻會議的信號處理方法、 設備和系統。
背景技術：
音頻會議系統，在會議的應用中越來越廣泛，目前的音頻會議系統通常 是單聲道或者雙聲道的，缺乏空間的臨場感，并且在多點會議時，將各路聲 音混疊在一起，導致聲音的清晰度下降。
現有技術中采用3D聲處理對音頻會議中的音頻流進行處理，即通過為 各個音頻流分配的聲像位置，以及根據各個聲像位置的音頻流的位置關系， 調節所述音頻流在左右聲道的增益的大小，進而營造出一種立體的聲響效 果。
在如何進行3D音頻會議的組網上，現有技術中的一種解決方案是采用 分布式的組網結構，每個終端都需要接收其他終端的會議數據，然后對這些 音頻數據進行3D定位處理，以便使用戶感知不同的音頻流為來自不同的方 位。參見圖1，在圖1中，終端2接收到終端1以及終端3的會議數據，終 端2對這些音頻數據進行3D定位處理，確定終端1以及終端3的方位。現 有技術中另一種解決方案是采用集中式的組網結構，參見圖2,在圖2中的 會議系統中，有一個服務器以及多個終端，所有的終端都將自身的音頻數據 發送給服務器，由服務器根據各個與會終端的情況，對發送到該與會終端的 音頻流進行3D定位處理，并將處理后的音頻流發送到相應的與會終端。
在完成本發明的過程中，發明人發現現有技術至少存在以下問題現有 技術中分布式3D音頻會議，由于是通過在各個終端中分布處理的，需要許多條傳輸通道，因此只能適用于擁有幾個會場的小型會議；現有技術中集中 式3D音頻會議，由于所有的處理都在服務器上進行，這樣需要預先知道各 個終端播放設備的配置，且終端也不能對其他終端的聲像位置進行自由定 位。
發明內容
本發明提供了一種3D音頻會議的信號處理方法、服務器、終端及系統， 以解決現有技術中存在的傳輸通道需求過多，且終端無法對其他終端的聲像 位置進行自由定位的問題。
本發明實施例提供一種3D音頻會議的信號處理方法，該方法包括
針對一 個終端獲取相對于所述終端的音頻流；
給所述獲取到的相對于所述終端的音頻流分配標識；
將所述獲取到的相對于所述終端的音頻流以及所述音頻流對應的所述 標識進行組合并發送給所述終端。
本發明實施例還提供一種3D音頻會議的信號處理的服務器，包括
音頻流荻取單元，用于針對一個終端獲取相對于所述終端的音頻流；
標識分配單元，用于給所述獲取到的相對于所述終端的音頻流分配標
識；
組合發送單元，用于將所述獲取到的相對于所述終端的音頻流以及所述
音頻流對應的所述標識進行組合并發送給所述終端。
本發明實施例還提供一種實現3D音頻會議的信號處理的終端，包括 音頻處理單元，用于/人獲取到的分配標識的多路音頻流提取標識信息，
并根據所述的標識信息對音頻流進行分流，以及將所述多路音頻流分別解
碼；
聲像位置分配單元，用于根據所述音頻處理單元提取的標識信息對解碼
后的所述多路音頻流分配聲像位置；
3D聲處理單元，用于根據所述分配的聲像位置對所述解碼后的多路音頻流進行3D聲處理。
本發明實施例還提供一種3D音頻會議的信號處理方法，所述方法包括 對獲耳又到的分配標識的多路音頻流提耳又標識信息； 根據所述的提取的標識信息對具有同 一標識的音頻流進行分流； 根據所述提取的標識信息為各路分流后的音頻流分配聲像位置； 將所述分流后的音頻流進行解碼，并根椐所述的音頻流的聲像位置信 息，對所述解碼后的音頻流進行3D聲處理。
本發明實施例還提供一種3D音頻的會議系統，包括 服務器，用于針對一個終端獲取相對于所述終端的音頻流；給所述獲取 到的相對于所述終端的音頻流分配標識；將所述獲取到的相對于所述終端的 音頻流以及所述音頻流對應的所述標識進行組合并發送給所述終端；
至少一個終端，用于獲取所述帶有標識的音頻流，提取所述音頻流的標 識，并根據所述的標識對所述的具有同 一 標識的音頻流進行分流，根據所述 提取的標識信息為各路分流后的音頻流分配聲像位置；將所述分流后的音頻 流進行解碼，并根據所述的音頻流的聲像位置信息，對所述分流后的音頻流 進行3D聲處理。
采用本發明實施例的技術方案，使得終端能夠根據接收到的其他終端的 音頻流以及音頻流所分配的標識，對其他終端的聲像位置進行自由的定位。
為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對 實施例或現有技術描述中所需要使用的附圖作一簡單地介紹，顯而易見地， 下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來 講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。
圖1為現有技術采用的分布式3D音頻會議系統的網絡示意圖2為現有技術采用的集中式3D音頻會議系統的網絡示意圖3為本發明的方法實施例1的流程示意圖；圖4為本發明的方法實施例2的流程示意圖5為本發明的方法實施例2對應的系統組網結構示意圖6為本發明的方法實施例3對應的系統組網結構示意圖7為本發明的方法實施例3的流程示意圖S為本發明的方法實施例4對應的系統組網結構示意圖9為本發明的方法實施例4的流程示意圖10為本發明的方法實施例5的流程示意圖11為本發明的方法實施例中3D聲處理的結構示意圖12為本發明的系統實施例1的結構示意圖13為本發明的服務器實施例1的結構示意圖14為圖13所示的服務器實施例1中標識分配單元的結構示意圖
圖15為圖14所示的標識分配單元中的標識分配模塊的結構示意圖
圖16為圖13所示的服務器實施例1中組合發送單元的結構示意圖
圖17為本發明的終端實施例l的結構示意圖18為圖17所示的終端實施例1中的音頻處理單元的結構示意圖;
圖19為本發明的終端實施例2的結構示意圖。
具體實施例方式
下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行 清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而 不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有做 出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。
方法實施例 方法實施例1
本發明的方法實施例1可以通過附圖3進行說明 301 、針對一個終端獲if又相對于所述終端的音頻流;在實施301中，所述針對一個終端獲取相對于所述終端的音頻流具體為 獲取相對于所述終端的多路音頻流的能量；根據所述獲取的多路音頻流的能 量，選擇能量最大的至少1路音頻流；對所述選擇出的音頻流分配標識。
可以理解，針對一個終端獲取能量最大的幾路音頻流只是一種實現的方 式，也可以獲取所有的音頻流，其實現方式即不需要對能量進行計算，直接 獲取相關的音頻流。 '.
302、 給所述獲取到的相對于所述終端的音頻流分配標識； 在實施302中，所述分配給相對于所述終端的音頻流的標識，具體可以
采用會場號作為所述多路音頻流的標識，當然，也可以由會議管理員人工的 分配，或者由會議管理系統實時的分配。
可以理解，本發明的實施例中所述音頻流的標識只是對所述音頻流分配 的一種代號，目的是為了區分出所述的音頻流，因此，根據本發明的實施例 能夠得到其他的標識獲取方法，對此，本發明的實施例不做限制。
303、 將所述獲耳又到的相對于所述終端的音頻流以及所述音頻流對應的 所述標識進行組合并發送給所述終端。
在實施303中，對于將所述獲取到的相對于所述終端的音頻流以及所述 音頻流對應的所述標識進4于組合的方式可以為以下方式
采用松散組合的方式，即對所述獲取的音頻碼流不做任何更改，在對每 幀音頻數據進行協議封裝時，在協議的包頭里加上音頻流的來源標識；
和/或
采用緊密組合的方式，即將所述荻取的單聲道的音頻碼流進行編解碼， 將所述編解碼后的單聲道的音頻碼流整合成一個多聲道的碼流，在所述的多 聲道碼流的幀頭中增加多個聲道對應的音頻流來源標識。
需要說明的是，對于將所述的相對于所述終端的音頻流與所述音頻流對 應的標識進行組合的方式，可以采用全部是松散組合的方式，也可以是全部 是緊密組合的方式，還可以是松散組合與緊密組合相結合的方式。
音頻流的標識可以在IP包的協i義包頭，也可以在音頻幀的幀頭。采用本發明實施例的技術方案，使得終端能夠根據接收到的其他終端的 音頻流以及音頻流所分配的標識，對其他終端的聲像位置進行自由的定位。
方法實施例2
本發明的方法實施例2主要針對單個服務器的情況的實施例方式進行說 明，其處理過程可以通過附圖4所畫的流程圖進行說明 401 、服務器獲取所述的各個終端對應的音頻流；
在實施401中，各個終端一般對應于各個會場，相應的終端獲取相應會 場的音頻流，對應于各個終端的服務器獲取到所述各個終端對應的音頻流。
402、對所述獲取到的音頻流計算出其能量，并選擇出能量最大的至少1 ^各音頻流；
在實施402時，服務器將401中獲取到的對應于各個終端的音頻流分別 進行能量的計算，根據能量計算的結果，選擇出能量最大的至少1路音頻流， 作為最終被選擇的音頻流；
其中，在進行音頻流能量的計算過程中，可以采用以下的方法
(1) 計算解碼后的音頻流在時域中一幀時間內的音頻能量，計算多幀 音頻信號后取平均；或
(2) 計算解碼后的音頻流在頻域中相應頻域范圍內的音頻能量，計算 多幀音頻信號后取平均；或
(3 )對音頻流的量化因子進行解碼，從而估計出所述音頻流的能量。 上述對音頻流能量的計算可以歸納為2類， 一類是基于解碼方式的計算 方法，主要對應于(l) (2)兩種方式，另外一類是基于非解碼估計的方式， 主要對應于(3)這種方式，之所以采用這兩類方式進行音頻流能量的估算， 主要是由于針對不同的協議，對于一些音頻協議(例如G.723.1協議、G.729 協議)，只有通過對音頻流完全解碼的方式才能夠計算出所述音頻流的能量， 對于另外一些音頻協議(例如G.722.1協議、AAC LD協議)，只需要對 音頻流的某些參數進行解碼，就能夠估計出音頻流的能量。在估算出音頻流的能量之后，根據音頻會議的策略，可以選擇出其中的 能量最大的至少1路音頻流作為被選擇的音頻流。
可以理解，上面對各路音頻流的能量進行計算，從而選擇出能量最大的 至少l路音頻流，只是選擇音頻流的一種實現方式，也可以不計算各路音頻 流的能量，而將所有的與會會場的音頻流都作為被選擇的音頻流。
403 、獲取被選纟奪的至少1路音頻流對應的標識信息； 在實施403中，針對上述被選擇的至少l路音頻流，獲取其對應的標識 信息。
其中，所述被選的音頻流的標識信息具體可以采用會場號作為所述多路 音頻流的標識，當然，也可以由會議管理員人工的分配，或者由會議管理系 統實時的分配。
可以理解，本發明的實施例中所述音頻流的標識只是對所述音頻流分配 的一種代號，目的是為了區分出所述的音頻流，因此，根據本發明的實施例 能夠得到其他的標識獲取方法，對此，本發明的實施例不做限制。
404、將所述被選擇的音頻流與所述獲取到的標識信息相組合；
在實施404中，將所述被選擇的至少1路音頻流，與所述獲取到的被選 擇的音頻流的標識信息進行組合。
其中，進行組合的方式包括
采用松散組合的方式，即對所述獲取的音頻碼流不做任何更改，在對每 幀音頻數據進行協議封裝時，在協議的包頭里加上音頻流的來源標識； 和/或
采用緊密組合的方式，即將所述獲取的單聲道的音頻碼流進行編解碼， 將所述編解碼后的單聲道的音頻碼流整合成一個多聲道的碼流，在所述的多 聲道碼流的幀頭中增加多個聲道對應的音頻流來源標識。
需要說明的是，對于將所述的相對于所述終端的音頻流與所述音頻流對 應的標識進行組合的方式，可以采用全部是+>散組合的方式，也可以是全部 是緊密組合的方式，還可以是松散組合與緊密組合相結合的方式。405、將所迷與標識信息組合后的音頻流根據相應的發送策略發送給對
應的各個終端。
在實施405中，將所述與標識信息組合后的音頻流發送給對應的各個終 端，具體可以采用如下的策略
即如果被選擇出的音頻流中包括某一個終端所獲取的音頻流，則發送 給所述終端的音頻流則是去除所述終端獲取音頻流的之后的其他被選擇出 的音頻流；如果被選擇的音頻流不包括某一個終端所獲取的音頻流時，則發 送給所述終端的是所有被選擇的音頻流。
為了更加清晰的說明這種音頻流的發送策略，參考圖5，對上述策略進 行說明，圖5中共包含4個終端以及一個服務器，其中，各個終端到服務器 的虛線含義為各個終端將自身采集到的音頻流上傳給服務器，服務器到各 個終端的實線含義為服務器將選擇出的音頻流下發給各個終端。假設經過 服務器的計算，終端2、 3是能量最大音頻流對應的終端，因此，服務器就 將音頻流2、 3分別下發給終端1和終端4,服務器將音頻流3下發給終端2, 將音頻流2下發給終端3。
采用本發明實施例的技術方案，使得終端能夠根據接收到的其他終端的 音頻流以及音頻流所分配的標識，對其他終端的聲像位置進行自由的定位。
方法實施例3
本發明的方法實施例3主要針對多個服務器相級聯的情況的實施例方式 進行說明，其結構可以通過圖6來說明
在圖6中，我們可以看出共有三個服務器，以及四個終端，其中終端1 與終端2屬于服務器2，終端3和終端4屬于服務器3，服務器2與服務器 3通過服務器1級聯在一起，其中，可以將服務器1看成是主服務器，而服 務器2與服務器3看成是服務器1的從服務器。
對于多服務器相級聯的情況，其處理過程為，參考圖7的流程圖
701、主服務器獲取從服務器上傳的音頻流；702、 所述主服務器對從所述從服務器獲取到的音頻流分解成多路音頻
流，所分解出的音頻流的路數為所述從服務器下的終端的個數；
在實施702中，由于所述從服務器獲取到的音頻流為所述從服務器的各 個終端上傳的，因此，所述從服務器可以根據具體的終端分解出不同的音頻流。
703、 所述主服務器對所述分解出的音頻流計算出其能量，并選擇出能 量最大的至少1路音頻流；
在實施703中，對所述分解出的音頻流計算出能量，并選擇出能量最大 的至少1路音頻流的實現過程類似于本發明的方法實施例2中的402，在此 不再贅述。
704、 獲取;故選擇的至少1路音頻流對應的標識信息；
在實施704中，主服務器通過從服務器獲取被選擇的至少1路音頻流對 應的標識信息。其獲取方式類似于本發明的方法實施例2中的403，在此不 再贅述。
705、 將所述被選擇的音頻流與所述獲取到的標識信息相組合； 在實施705中，由于本步驟的實現過程類似于本發明的方法實施例2中
的404，在此不再贅述。
706、 將所述與標識信息組合后的音頻流根據相應的發送策略發送給對 應的各個終端。
由于本步驟的實現過程類似于本發明的方法實施例2中的405，在此不 再贅述。
可以理解，本發明的方法實施例3只給出三個服務器構成的服務器級聯 的形式，對于更多服務器的級聯，其實現的方式同樣可以根據本實施例的過 程來完成。
釆用本發明實施例的技術方案，使得終端能夠根據接收到的其他終端的 音頻流以及音頻流所分配的標識，對其他終端的聲像位置進行自由的定位。方法實施例4
本發明的方法實施例4主要針對至少1個終端與多個服務器級聯相結合 的情況的實施例方式進行說明，其結構可以通過圖8來說明
由圖8可以看出，包含三個服務器，其中，服務器l為主服務器，服務 器2與服務器3為從服務器，這三個服務器構成服務器級聯的形式，另夕卜， 圖8共包括6個終端，其中，終端1、 2、 3、 4分別為從服務器2、 3的管轄 之下，終端5、 6為直接與主服務器l相連的終端。
其實現過程為，參考圖9:
901、 主服務器獲取從服務器上傳的音頻流以及所述主服務器所直接管 轄的終端的音頻流；
902、 所述主服務器對從所述從服務器獲取到的音頻流分解成多路音頻 流，所分解出的音頻流的路數不大于所述從服務器下的終端的個數；
在實施902中，由于所述從服務器獲取到的音頻流為所述從服務器的各 個終端上傳的，因此，所述從服務器可以根據具體的終端分解出不同的音頻 流。其中，所分解出的音頻流的路數可以小于所述從服務器下的終端的個數， 根據不同的終端是否發出聲音來確定所分解出的音頻流的路數，當 一些終端 無會場聲音時，則所分解出的音頻流的路數小于所述從服務器下的終端的個 數。
903、 所述主服務器對從所述從服務器獲取到的音頻流分解出的音頻流 以及從直接所管轄的終端獲取的音頻流分別計算能量，并選擇出能量最大的 至少1路音頻流；
在實施903中，所述主服務器對從所述從服務器獲取到的音頻流分解出 的音頻流以及從直接所管轄的終端獲取的音頻流分別計算能量，并選擇出能 量最大的至少1路音頻流的實現過程類似于本發明的方法實施例2中的402， 在此不再贅述。
904、 獲取被選擇的至少1路音頻流對應的標識信息；
在實施904中，由于本步驟的實現過程類似于本發明的方法實施例2中的403，在此不再贅述。
905、 將所述被選擇的音頻流與所述獲取到的標識信息相組合； 在實施905中，由于本步驟的實現過程類似于本發明的方法實施例2中
的404,在此不再贅述。
906、 將所述與標識信息組合后的音頻流^f艮據相應的發送策略發送給對 應的各個終端或從服務器。
由于本步驟的實現過程類似于本發明的方法實施例2中的405,在此不 再贅述。
可以理解，本發明的方法實施例4只給出三個服務器構成的服務器級聯 以及主服務器管轄的兩個終端的形式，對于更多服務器的級聯，以及主服務 器管轄更多的終端的實現的方式，同樣可以根據本實施例的過程來完成。
采用本發明實施例的技術方案，使得終端能夠根據接收到的其他終端的 音頻流以及音頻流所分配的標識，對其他終端的聲像位置進行自由的定位。
方法實施例5
本方法實施例針對終端對接收到的音頻流進行的處理，參看圖10，其實
現過程具體為
1001 、對獲取到的分配標識的多路音頻流揭j又標識信息；
在實現1001中，可以從音頻流的1P包的協議包頭，或者從音頻幀的幀
頭獲取所述的標識信息。
1002、 根據所述的提取的標識信息對具有同一標識的音頻流進行分流； 在實現1002中，由于不同的音頻流，其標識信息不相同，對于同一標
識的音頻流進行分流，相同標識的音頻流分配給同一個解碼4莫塊。
1003、 根據所述提取的標識信息為各路分流后的音頻流分配聲像位置； 在實現1003中，利用步驟1001提取出來的音頻流的標識信息可以進行
聲像位置的分配。
聲像位置的分配可以通過用戶預先指定，即某個聲像位置固定分配給某一個終端，也可以自動分配，自動分配可以#~據以下原則進行
(1 )如果音頻流對應的標識和正在觀看的終端 一致，則分配中間的聲像 位置，在圖9中該位置即為電視機前的虛擬聲像位置。采用這種方法分配的 好處是，聲像位置和正在觀看的圖像相匹配。
(2) 如果某終端的音頻信號能量較大，則分配前面的聲像位置，這樣
可以保證遠端說話人的聲音來自前面。
(3) 如果某終端的音頻信號能量較小，則分配兩側的聲像位置，這樣的
終端可能只是噪聲，分配在兩側可以讓噪聲和遠端說話人的聲音分離的較 開，從而保證說話人聲音的清晰度。
1004、將所述分流后的音頻流進行解碼，并根據所述的音頻流的聲像位 置信息，對所述解碼后的音頻流進行3D聲處理。
在實現1004中，對于步驟1002中根據相同的標識信息分配在同一音頻 流的音頻流進行解碼，利用1003分配的聲像位置信息，對所述的解碼后的 音頻流進行3D聲處理。
本發明的方法實施例都用到了 3D聲處理，其他地方不再贅述。3D聲處 理的目的是通過利用左右兩個音箱來營造出一個立體聲場，3D聲處理的具 體過程可以通過如下的例子進行說明，參見圖11:
在圖11中，揚聲器pl、 p2之間的距離為d，虛擬聲像vl距離揚聲器 pl之間的距離為w，假設某個音頻流sl分配的聲像位置為vl，則可將sl乘 上增益gl輸送到pl, sl乘上增益g2輸送到p2， gl、 g2可按下式計算 Wd = (gl-g2)/(gl + g2) (1) c = glxgl+g2xg2 (2) 公式(l)、 (2)中gl是左聲道幅度增益，g2是右聲道幅度增益，c 是一個固定值，例如可以等于l。
當計算出左右聲道的增益信息時，就能夠模擬出立體的聲場。
采用本發明實施例的技術方案，使得終端能夠根據接收到的其他終端的 音頻流以及音頻流所分配的標識，對其他終端的聲像位置進行自由的定位。系統實施例 系統實施例1
本發明的系統實施例可以通過附圖
服務器1200，用于針對一個終端獲取相對于所述終端的音頻流；給所述 獲取到的相對于所述終端的音頻流分配標識；將所述獲取到的相對于所述終 端的音頻流以及所述音頻流對應的所述標識進行組合并發送給所述終端；
至少一個終端1300，用于獲取所述帶有標識的音頻流，提取所述音頻流 的標識，并根據所述的標識對所述的具有同一標識的音頻流進行分流，根據 所述提取的標識信息為各路分流后的音頻流分配聲像位置；將所述分流后的 音頻流進行解碼，并根據所述的音頻流的聲像位置信息，對所述分流后的音 頻流進行3D聲處理。
采用本發明實施例的技術方案，使得終端能夠根據接收到的其他終端的 音頻流以及音頻流所分配的標識，對其他終端的聲像位置進行自由的定位。
系統實施例2
參考圖6結構圖，在系統實施例1的基礎上，本系統實施例包括一個主 服務器，即圖6中的服務器1，用于針對一個終端獲取相對于所述終端的音 頻流；給所述獲取到的相對于所述終端的音頻流分配標識；將所述獲取到的 相對于所述終端的音頻流以及所述音頻流對應的所述標識進行組合并發送 給所述終端，還用于將所述至少一個從服務器的經過組合后的帶標識的所述 音頻流分解為多路音頻流；至少一個從服務器，即圖6中的服務器2與服務 器3，用于獲取其自身管轄的終端或其他服務器的音頻流，并將所述獲取到 的音頻流與所述音頻流的標識進行組合。
釆用本發明實施例的技術方案，使得終端能夠根據接收到的其他終端的 音頻流以及音頻流所分配的標識，對其他終端的聲像位置進行自由的定位。裝置實施例 服務器實施例
本實施例主要提供一種實現3D音頻會議的信號處理的服務器，所屬服 務器包括，參考圖13:
音頻流獲取單元1210,用于針對一個終端獲取相對于所述終端的音頻 流；標識分配單元1220，用于給所述獲取到的相對于所述終端的音頻流分 配標識；組合發送單元1230，用于將所述獲取到的相對于所述終端的音頻 流以及所述音頻流對應的所述標識進行組合并發送纟會所述終端。
其中，標識分配單元1220具體包括，參考圖14:音頻流能量獲取模塊 1221 ，用于獲取相對于所述終端的多路音頻流的能量；音頻流選擇模塊1222 ， 用于根據所述獲取的多路音頻流的能量，選擇能量最大的至少l路音頻流； 標識分配模塊1223，用于對所述選擇出的至少l路音頻流分配標識。
標識分配模塊1223具體包括，參考圖15:會場號獲取子模塊12231， 用于獲取所述的能量最大的至少l路音頻流各自所在會場的會場號；會場號 分配子模塊12232,用于將所述會場號獲取子模塊獲取的所述能量最大的至 少1路音頻流各自所在會場的會場號分配給所述音頻流。
所述組合發送單元1230具體包括以下模塊，參考圖16:第一組合模塊
1231, 用于對所述被選的音頻碼流不做任何更改，在對每幀音頻數據進行協 議封裝時，在協議的包頭里加上音頻流的來源標識；和/或第二組合模塊
1232, 用于將所述被選的單聲道的音頻碼流進行編解碼，將所述編解碼后的 單聲道的音頻碼流整合成一個多聲道的碼流，在所述的多聲道碼流的幀頭中 增加多個聲道對應的音頻流來源標識。
采用本發明實施例的技術方案，使得終端能夠根據接收到的其他終端的 音頻流以及音頻流所分配的標識，對其他終端的聲像位置進行自由的定位。
設備實施例 設備實施例1本發明實施例還提供一種實現3D音頻會議的信號處理的終端，參考圖 17，包括
音頻處理單元1310，用于/人獲取到的分配標識的多路音頻流提取標識信 息，并根據所述的標識信息對音頻流進行分流，以及將所述多路音頻流分別 解碼；
聲像位置分配單元1320，用于根據所述音頻處理單元提取的標識信息對 解碼后的所述多路音頻流分配聲像位置；
3D聲處理單元1330,用于根據所述分配的聲像位置對所述解碼后的多 路音頻流進行3D聲處理。
在實現本發明實施例的過程中，所述音頻處理單元1310具體包括參考 圖18:標識提取模塊1311,用于從獲取到的分配標識的多路音頻流提取標 識信息；分配模塊1312,用于根據所述的提取出的標識信息分配音頻流； 解碼模塊1313,用于將所述多路音頻流分別解碼。
采用本發明實施例的技術方案，使得終端能夠根據接收到的其他終端的 音頻流以及音頻流所分配的標識，對其他終端的聲像位置進行自由的定位。
設備實施例2
在上述設備實施例1的基礎上，所述終端還可以包括，參考圖19:音頻 信號獲取單元1340，用于獲取所述會場的音頻信號；音頻編碼單元1350, 用于對獲取到的音頻信號進行編碼。
采用本發明實施例的技術方案，使得終端能夠根據接收到的其他終端的 音頻流以及音頻流所分配的標識，對其他終端的聲像位置進行自由的定位。
通過以上的實施方式的描述，本領域的技術人員可以清楚地了解到本發 明可借助軟件加必需的通用硬件平臺的方式來實現，當然也可以通過硬件， 但很多情況下前者是更佳的實施方式。基于這樣的理解，本發明的技術方案 本質上或者說對現有技術做出貢獻的部分可以以軟件產品的形式體現出來，該計算機軟件產品存儲在一個存儲介質中，包括若干指令用以使得一臺計算 機設備(可以是個人計算機，服務器，或者網絡設備等)執行本發明各個實 施例所述的方法。
以上所述僅為本發明的較佳實施例而已，并不用以限制本發明，凡在本 發明的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在 本發明保護的范圍之內。
權利要求
1、一種3D音頻會議的信號處理方法，其特征在于，所述方法包括針對一個終端獲取相對于所述終端的音頻流；給所述獲取到的相對于所述終端的音頻流分配標識；將所述獲取到的相對于所述終端的音頻流以及所述音頻流對應的所述標識進行組合并發送給所述終端。
2、 根據權利要求1所述的信號處理方法，其特征在于，所述針對一個 終端獲取相對于所述終端的音頻流具體為獲取相對于所述終端的多路音頻流的能量；根據所述獲取的多路音頻流的能量，選擇能量最大的至少l路音頻流； 對所述選"^奪出的音頻流分配標識。
3、 根據權利要求2所述的信號處理方法，其特征在于，所述給所述獲 取到的相對于所述終端的音頻流分配標識，具體為采用會場號作為所述多 if各音頻流的分配標識。
4、 根據權利要求1或2所述的信號處理方法，其特征在于，所述將所 述獲取到的相對于所述終端的音頻流以及所述音頻流對應的所述標識進行 組合具體包括以下方式采用松散組合的方式，即對所述獲取的音頻碼流不做任何更改，在對每 幀音頻數據進行協議封裝時，在協議的包頭里加上音頻流的來源標識； 和/或采用緊密組合的方式，即將所述獲取的單聲道的音頻碼流進行編解碼， 將所述編解碼后的單聲道的音頻碼流整合成一個多聲道的碼流，在所述的多 聲道碼流的幀頭中增加多個聲道對應的音頻流來源標識。
5、 根據權利要求2所述的信號處理方法，其特征在于，所述獲取相對 于所述終端的多路音頻流的能量可以采用以下方法的 一種計算解碼后的音頻流在時域中 一幀時間內的音頻能量，計算多幀音頻信 號后取平均；或計算解碼后的音頻流在頻域中相應頻域范圍內的音頻能量，計算多幀音頻信號后取平均；或對音頻流的量化因子進行解碼，從而估計出所述音頻流的能量。
6、 根據權利要求1或2所述的信號處理方法，其特征在于，所述針對 一個終端獲取相對于所述終端的音頻流具體包括以下幾種方式中的 一種在單個服務器的情況下，獲取多個終端的分別發送的音頻流；或 在多個服務器級聯的情況下，獲取經過所述的多個服務器分解后的多個終端的分別發送的音頻流；在至少一個終端以及多個服務器級聯并存的情況下，獲取所述至少一個終端發送的音頻流，以及獲取經過所述的多個服務器分解后的多個終端的分別發送的音頻流。
7、 一種實現3D音頻會議的信號處理的服務器，其特征在于，所述服務 器包括音頻流獲取單元，用于針對一個終端獲取相對于所述終端的音頻流； 標識分配單元，用于給所述獲取到的相對于所述終端的音頻流分配標識；組合發送單元，用于將所述獲取到的相對于所述終端的音頻流以及所述 音頻流對應的所述標識進行組合并發送給所述終端。
8、 根據權利要求7所述的服務器，其特征在于，所述標識分配單元具 體包括音頻流能量獲取模塊，用于獲取相對于所述終端的多路音頻流的能量； 音頻流選擇模塊，用于根據所述獲取的多路音頻流的能量，選擇能量最 大的至少1路音頻流；標識分配模塊，用于對所述選擇出的至少1路音頻流分配標識。
9、 根據權利要求8所述的服務器，其特征在于，所述標識分配模塊具 體包括會場號獲取子模塊，用于獲取所述的能量最大的至少l路音頻流各自所在會場的會場號；會場號分配子模塊，用于將所述會場號獲取子模塊獲取的所述能量最大 的至少1路音頻流各自所在會場的會場號分配給所述音頻流。
10、 根據權利要求7或8所述的服務器，其特征在于，所述組合發送單 元具體包括以下模塊第一組合模塊，用于對所述被選的音頻碼流不做任何更改，在對每幀音 頻數據進行協議封裝時，在協議的包頭里加上音頻流的來源標識； 和/或第二組合模塊，用于將所述被選的單聲道的音頻碼流進行編解碼，將所 述編解碼后的單聲道的音頻碼流整合成一個多聲道的碼流，在所述的多聲道 碼流的幀頭中增加多個聲道對應的音頻流來源標識。
11、 一種實現3D音頻會議的信號處理的終端，其特征在于，包括 音頻處理單元，用于從獲取到的分配標識的多路音頻流提取標識信息，并根據所述的標識信息對音頻流進行分流，以及將所述多路音頻流分別解 碼；聲像位置分配單元，用于根據所述音頻處理單元提取的標識信息對解碼 后的所述多路音頻流分配聲像位置；3D聲處理單元，用于根據所述分配的聲像位置對所述解碼后的多路音 頻流進行3D聲處理。
12、 根據權利要求11所述的終端，其特征在于，所述音頻處理單元具 體包括標識提取模塊，用于從獲取到的分配標識的多路音頻流提取標識信息； 分配模塊，用于根據所述的提取出的標識信息分配音頻流； 解碼模塊，用于將所述多路音頻流分別解碼。
13、 根據權利要求11所述的終端，其特征在于，所述終端還包括 音頻信號獲取單元，用于獲取所述會場的音頻信號； 音頻編碼單元，用于對獲取到的音頻信號進行編碼。
14、 一種3D音頻會議的信號處理方法，其特征在于，所述方法包括 對獲取到的分配標識的多路音頻流提取標識信息； 根據所述的4是取的標識信息對具有同 一標識的音頻流進行分流； 根據所述提取的標識信息為各路分流后的音頻流分配聲像位置； 將所述分流后的音頻流進行解碼，并根據所述的音頻流的聲像位置信息，對所述解碼后的音頻流進行3D聲處理。
15、 根據權利要求14所述的信號處理方法，其特征在于，所述根據所 述的提取的標識信息對具有同 一標識信息的音頻流進行分流具體為讀取音頻流中的標識信息；根據讀取到的所述標識信息的音頻流分配到具有相同標識信息的音頻 流通道中。
16、 一種3D音頻的會議系統，其特征在于，包括服務器，用于針對一個終端獲取相對于所述終端的音頻流；給所述獲取 到的相對于所述終端的音頻流分配標識；將所述獲取到的相對于所述終端的 音頻流以及所述音頻流對應的所述標識進行組合并發送給所述終端； 至少一個終端，用于獲取所述帶有標識的音頻流，提取所述音頻流的標 識，并根據所述的標識對所述的具有同一標識的音頻流進行分流，根據所述 提取的標識信息為各路分流后的音頻流分配聲像位置；將所述分流后的音頻 流進行解碼，并根據所述的音頻流的聲像位置信息，對所述分流后的音頻流 進行3D聲處理。
17、 根據權利要求16所述的會議系統，其特征在于，所述服務器為主 服務器，所述會議系統還包括至少一個從服務器，用于獲取其自身管轄的終端或其他服務器的音頻 流，并將所述獲取到的音頻流與所述音頻流的標識進行組合；所述主服務器，還用于將所述至少一個從服務器的經過組合后的帶標識 的所述音頻流分解為多路音頻流。
全文摘要
本發明實施例提供一種3D音頻會議的信號處理的方法、系統與設備，其實現過程為針對一個終端獲取相對于所述終端的音頻流；給所述獲取到的相對于所述終端的音頻流分配標識；將所述獲取到的相對于所述終端的音頻流以及所述音頻流對應的所述標識進行組合并發送給所述終端。采用本發明的技術方案，能夠解決現有技術中存在的傳輸通道需求過多，且終端無法對其他終端的聲像位置進行自由定位的問題。
文檔編號H04L29/06GK101547265SQ20081021709
公開日2009年9月30日 申請日期2008年10月20日 優先權日2008年10月20日
發明者王東琦, 詹五洲 申請人:深圳華為通信技術有限公司