專利名稱：一種視頻會議信號處理的方法、視頻會議服務器及系統的制作方法
技術領域：
本發明涉及通信技術領域，具體涉及ー種視頻會議信號處理的方法、視頻會議服務器及系統。
背景技術：
目前，視頻會議系統一般包括會議服務器和會場終端。參見圖1，圖I中以多點控制單元(MCU,Multipoint Control Unit)作為會議服務器為例。視頻會議系統中的姆個會場均具有至少I個會場終端，各會場終端采集各自會場的聲音、圖像并編碼發送給MCU ；MCU按照一定的處理方式對聲音、圖像進行處理，如聲音混音、圖像轉發或組成多畫面等處理，并將處理后的聲音和圖像發送給視訊會議中的其它會場終端，其它各會場終端解碼輸出遠端會場的聲音和圖像，實現遠程視頻通信。
目前視頻會議中MCU對音頻混音處理的原則是將入會終端中音量最大的N個會場的音頻進行混音，所有與會的終端聽到的聲音都是ー樣的。但是，現在的視頻會議系統有時存在下面ー些情況，某會場終端當前在觀看會場A對應的視頻，但是由于會場A的聲音不在最大N方內，這樣就聽不到會場A的聲音，即所看非所聽，音頻和視頻之間的不匹配性將影響視頻會議的體驗。
發明內容
本發明實施例提供ー種視頻會議信號處理的方法、視頻會議服務器及系統，以改善視頻會議中音頻和視頻的匹配性問題，使得會場聽到的聲音跟隨會場看到的視頻，提高視頻會議體驗。為了解決上述技術問題，本發明實施例提供以下技術方案實現。本發明實施例提供ー種視頻會議信號處理的方法，包括會議服務器接收第一會場終端的會場選看指令；會議服務器根據會場選看指令向第一會場終端發送視頻流；其中，視頻流包括第一會場終端選看會場對應的視頻流；若第一會場終端當前播放的第一混合音頻流不包含第一會場終端選看會場對應的音頻流，則會議服務器生成第二混合音頻流，井向第一會場終端發送所述第二混合音頻流，其中，所述第二混合音頻流包含第一會場終端選擇觀看會場對應的部分或者全部音頻流。本發明實施例還提供一種視頻會議服務器，包括接收模塊，用于接收第一會場終端發送的會場選看指令，并將該指令分別傳送給視頻流發送模塊和音頻流發送模塊；視頻流發送模塊，用于向第一會終端發送視頻流，其中，視頻流包括第一會場終端選看會場對應的視頻流；音頻流發送模塊，用于若當前播放的第一混合音頻流不包含第一會場終端選看會場對應的音頻流，則生成第二混合音頻流，并將該第二混合音頻流發送給第一會場終端，其中，所述第二混合音頻流包含第一會場終端選擇觀看會場對應的部分或者全部音頻流。本發明實施例還提供一種視頻會議系統，包括會議服務器，用于接收第一會場終端發送的會場選看指令；向第一會場終發送第一會場終端選看會場對應的視頻流；若第一會場終端當前播放的第一混合音頻流不包含第一會場終端選看會場對應的音頻流，則生成第二混合音頻流，井向第一會場終端發送所述第二混合音頻流，其中，所述第二混合音頻流包含第一會場終端選擇觀看會場對應的部分或者全部音頻流；第一會場終端，用于向會議服務器發送會場選看指令；接收來自會議服務器的第一會場終端選看會場對應的視頻流和第二混合音頻流，其中，所述第二混合音頻流包含第一會場終端選擇觀看會場對應的部分或者全部音頻流；播放視頻流和第二混合音頻流。由上可知，由于在向第一會場終端發送的第二混合音頻流中加入了第一會場終端 選看的部分或者全部會場的音頻流，這在一定程度上改善了音頻和視頻不同步的問題，增強了用戶體驗。
為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。圖I是現有技術的一種視頻會議系統不意圖；圖2是本發明實施例提供的ー種視頻會議信號處理方法的流程示意圖；圖3是本發明實施例提供的ー種視頻會議信號處理方法的第一類應用場景示意圖；圖4是本發明實施例提供的ー種視頻會議信號處理方法的第二類應用場景示意圖；圖5是本發明實施例提供的一種會議服務器的結構示意圖；圖6是本發明實施例提供的另ー種會議服務器的結構示意圖；圖7是本發明實施例提供的一種視頻會議系統的結構示意圖。
具體實施例方式本發明實施例提供ー種視頻會議信號處理的方法、視頻會議服務器及系統，以期增強視頻會議中音視頻的匹配性，提高視頻會議體驗。下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。本發明實施例提供ー種視頻會議信號處理的方法，包括會議服務器接收第一會場終端發送的會場選看指令；
會議服務器根據會場選看指令向第一會場終端發送視頻流；其中，視頻流包括第一會場終端選看會場對應的視頻流；若第一會場終端當前播放的第一混合音頻流不包含第一會場終端選看會場對應的音頻流，則會議服務器生成第二混合音頻流，并向第一會場終端發送所述第二混合音頻流，其中，所述第二混合音頻流包含第一會場終端選擇觀看會場對應的部分或者全部音頻流。由上可見，本實施例由于在第一會場終端當前播放的音頻流中加入了選擇觀看會場對應的部分或者全部音頻流，使得第一會場終端播放的音頻流跟隨視頻流，這在一定程度上改善了音頻和視頻不同步的問題，增強了用戶體驗。本發明實施例還提供一種頻會議信號處理的方法，參見圖2，該方法包括以下內容S101、會議服務器接收第一會場終端發送的選看NI個會場的指令；
其中，第一會場發送的會場選看指令包括選看一個會場的指令和選看多個會場的指令，第一會場終端可以是PC機、手機等通訊終端；N1為大于或者等于I的任意整數。S102、會議服務器根據選看NI個會場的指令向第一會場終端發送視頻流；其中，視頻流包括第一會場終端選看的NI個會場對應的視頻流；會議服務器向第一會場終端發送視頻流之前可以通過內置的視頻處理策略對視頻流進行拼接處理，然后再將拼接視頻流發送給第一會場終端。S103、若第一會場終端當前播放的第一混合音頻流不包含第一會場終端選看會場對應的音頻流，則會議服務器生成第二混合音頻流，并向第一會場終端發送該第二混合音頻流，其中，所述第二混合音頻流包含第一會場終端選擇觀看會場對應的部分或者全部音頻流。需要說明的是，在第一會場終端發出選看指令之前，第一會場終端播放的為第一混合音頻流，在第一會場終端發出選看指令后，會議服務器判斷當前播放的第一混合音頻流中是否包含被選看會場對應的音頻流，若沒有，則會議服務器向第一會場終端發送包含部分或者全部被選看會場對應的音頻流的第二混合音頻流，若第一會場終端包含被選看會場對應的音頻流，則不需要重新發送第二混合音頻流。若第一會場終端向會議服務器發送選看一個會場的指令，會議服務器將第二混合音頻流中包含的音頻流放在同一聲道中傳輸給第一會場終端，或者，會議服務器將第二混合音頻流中被選看會場對應的音頻流和第二混合音頻流中其它音頻流分別放在不同的聲道中傳輸給第一會場終端；若第一會場終端向會議服務器發送選看多個會場的指令，會議服務器將包含被選看的多個會場中音量最大的N4個會場的音頻流的第二混合音頻流發送給第一會場終端，會議服務器也可以將被選看會場中音量最大的N4個會場的音頻流和第二混合音頻流中的其它音頻流分別放在不同的聲道中傳輸給第一會場終端，其中，N4小于或者等于被選看會場的個數。其中，第一混合音頻流為第一會場終端發送當前選看會場指令前正在播放的音頻流，第一混合音頻流由N3個音頻流進行混音處理得到。會議服務器向第一會場終端發送第二混合音頻流后，第一會場終端播放的音頻流變為第二混合音頻流，即第二混合音頻流取代了第一混合音頻流成為第會場終端當前播放的音頻流。由上可知，由于在向第一會場終端發送的第二混合音頻流中加入了第一會場終端選看的部分或者全部會場的音頻流，這在一定程度上改善了音頻和視頻不同步的問題，增強了用戶體驗。其中，所述的會議服務器生成第二混合音頻流可采用多種策略，下面以策略一、策略二、策略三和策略四為例進行闡述。策略一會議服務器向第一會場終端發送的第二混合音頻流僅僅包括被選看會場的部分或者全部音頻流，具體如下所述。會議服務器將第一會場終端選看的NI個會場中音量最大的N4個會場對應的N4 個音頻流進行混音處理，得到第二混合音頻流，其中，NI和N4都為大于或者等于I的整數，且N4小于或者等于NI ；策略二 會議服務器向第一會場終端發送的第二混合音頻流不僅僅包含被選看會場的部分或者全部音頻流，還包括已入會會場中音量最大的N2個會場所對應的音頻流，并且第二混合音頻流所包含的音頻流個數等于第一混合音頻流包含的音頻流個數，具體如下所述。會議服務器將第一會場終端選看的NI個會場中音量最大的N4個會場對應的N4個音頻流，和入會會場中音量最大的N2個會場對應的N2個音頻流進行混音處理，得到第二混合音頻流；其中，第一會場終端發送選看會場指令前播放的第一混合音頻流由N3個音頻流進行混音處理得到，且N3=N4+N2 ；策略三會議服務器向第一會場終端發送的第二混合音頻流不僅僅包含被選看會場的部分或者全部音頻流，還包括第一混合音頻流中所含有的音頻流，此情況下，第二混合音頻流的音頻流個數大于第一混合音頻流的個數，具體如下所述。會議服務器將第一會場終端選看的NI個會場中音量最大的N4個會場對應的N4個音頻流，和混音處理得到的第一混合音頻流的N3個音頻流進行混音處理，得到第二混合音頻流；策略四會議服務器向第一會場終端發送的第二混合音頻不僅僅包含被選看會場的部分或者全部音頻流，還包括已入會會場中音量最大的N3個會場所對應的音頻流，N3等于第一混合音頻流包含的音頻流的個數，此情況下，第二混合音頻流包含的音頻流個數大于第一混合音頻流的個數，具體如下所述。會議服務器將第一會場終端選看的NI個會場中音量最大的N4個會場對應的N4個音頻流，和入會會場中音量最大的N3個會場對應的N3個音頻流進行混音處理，得到第二混合音頻流。在實際應用中，N2、N3和N4可以由后臺進行配置。會場終端向會議服務器發送的信息中包含但不僅限于會場個數、每個會場的音頻數據、混音方式，其中混音方式可以是將會場聲音直接混音輸出或者將會議聲音和被選看會場的聲音分別放到不同聲道中進行輸出。每個會場的音頻數據包括會場號、音頻流標識、音頻增益等音頻流參數。為了更好的理解以上方案，本發明實施例提供視頻會議信號處理方法的兩類應用場景，第一類應用場景為會議服務器接收會議終端發送的選看單個會場的指令，參見圖3，包括應用場景一、應用場景二、應用場景三和應用場景四，第二類應用場景為會議服務器接收會議終端發送的選看多個會場的指令，參見圖4，包括應用場景五、應用場景六、應用場景七、應用場景八和應用場景九。應用場景一會議服務器僅將第一會場終端選看的單會場對應的音頻流發送給第一會場終端的情形。假設當前視頻會議系統中入會會場為會場A、會場B、會場C、會場D和會場E，會場聲音大小次序為會場B、會場C、會場D、會場A和會場E,當前播放的第一混合音頻流由會場B和會場D對應的音頻流混音而成；當會議服務器的MCU接收到會場A發送的選看會場E的指令后，MCU將會場E對應的視頻流發送給會場A，此情形下第一混合音頻流不包含會場E對應的音頻流，因此會議服務器將會場E對應的音頻流發送給會場A。 此情形下，會場A聽到會場E的聲音，同時看到會場E的視頻，達到了聲音跟隨圖像的效果。應用場景二 會議服務器將第一會場終端選看的單個會場對應的音頻流，和入會會場中音量最大的N2個會場對應的N2個音頻流發送給第一會場終端的情形，并且N2+1為第一混合音頻流對應的音頻個數。假設當前視頻會議系統中入會會場為會場A、會場B、會場C、會場D和會場E,會場聲音大小次序為會場B、會場C、會場D、會場A和會場E,當前播放的第一混合音頻流由會場B、會場C和會場D3方對應的音頻流混音而成；當會議服務器的MCU接收到會場A的會議終端發送的選看會場E的指令后，MCU將會場E對應的視頻流發送給會場A，第一混合音頻流不包含被選會場E對應的音頻流，MCU將會場音量最大2方會場，即會場B和會場C對應的音頻流加上被選會場E對應的音頻流進行混音處理，得到第二混合音頻流，并將第二混合音頻流發送給會場A，其中，第二混合音頻流混音的音頻個數與第一混合音頻流的音頻個數相等，都為3個。此情形下,會場A看到會場B、會場C和會場E的圖像，同時聽到會場B、會場C和會場E的聲音，達到聲音跟隨圖像的效果。應用場景三會議服務器將第一會場終端選看的單個會場對應的音頻流，加上第一混合音頻流對應的音頻流發送給第一會場終端的情形。假設當前視頻會議系統中入會會場為會場A、會場B、會場C、會場D和會場E，會場聲音大小次序為會場B、會場C、會場D、會場A和會場E,當前播放的第一混合音頻流由會場B和會場C兩方對應的首頻流混首而成；當會議服務器的MCU接收到會場A的會議終端發送的選看會場E的指令后，MCU將會場E對應的視頻流發送給會場A，第一混合音頻流不包含被選會場E對應的音頻流，MCU將被選會場E對應的音頻流和第一混合音頻流對應的音頻流進行混音處理，即將會場E、會場B和會場C對應的音頻流進行混音處理，得到第二混合音頻流，并將其發送給會場A。此情形下,會場A看到會場B、會場C和會場E的圖像，同時聽到會場B、會場C和會場E的聲音，達到聲音跟隨圖像的效果。應用場景四會議服務器將第一會場終端選看的單會場對應的音頻流，加上入會會場中音量最大的N3個會場對應的N3個音頻流發送給第一會場終端的情形，其中N3等于第一混合音頻流包含的音頻流的個數。假設當前視頻會議系統中入會會場為會場A、會場B、會場C、會場D和會場E，會場聲音大小次序為會場B、會場C、會場D、會場A和會場E,當前播放的第一混合音頻流由會場B和會場D兩方對應的首頻流混首而成；當會議服務器的MCU接收到會場A的會議終端發送的選看會場E的指令后，MCU將 會場E對應的視頻流發送給會場A，第一混合音頻流不包含被選會場E，因此MCU將入會會場中音量最大的2 (等于第一混合音頻流包含的音頻個數)方會場，即會場B和會場C對應的音頻流加上被選會場E對應的音頻流進行混音處理，得到第二混合音頻流，并將第二混合音頻流發送給會場A。此情形下,會場A看到會場B、會場C和會場E的圖像，同時聽到會場B、會場C和會場E的聲音，達到聲音跟隨圖像的效果。應用場景五會議服務器將第一會場終端選看的多個會場對應的音頻流發送給第一會場終端的情形。假設當前視頻會議系統中入會會場為會場A、會場B、會場C、會場D、會場E和會場F,會場聲音大小次序為會場B、會場C、會場D、會場A、會場E和會場F,當前播放的第一混合音頻流由會場B和會場D兩方對應的音頻流混音而成；當會議服務器的MCU接收到會場A發送的選看會場C和會場E的多會場指令后，MCU將會場C和會場E對應的視頻進行視頻拼接處理，并將拼接后的視頻流發送給會場A，由于第一混合音頻流不包含被選看會場C和會場E對應的音頻流，因此MCU將會場C和會場E對應的音頻流進行混音處理，得到第二混合音頻流，并將第二混合音頻流發送給會場A。此情形下,會場A看到會場C和會場E的圖像，同時聽到會場C和會場E的聲音，達到聲音跟隨圖像的效果。應用場景六會議服務器將第一會場終端選看的NI個會場對應的NI個音頻流，加上入會會場中音量最大的N2個會場對應的N2個音頻流發送給第一會場終端的情形，其中N1+N2等于第一混合音頻流對應的音頻個數。假設當前視頻會議系統中入會會場為會場A、會場B、會場C、會場D和會場E、會場F,會場聲音大小次序為會場B、會場C、會場D、會場A、會場E、會場F,當前播放的第一混合音頻流由會場B、會場D和會場F3方對應的音頻流混音而成；當會議服務器的MCU接收到會場A發送的選看會場C和會場E的指令后，MCU將會場C和會場E對應的視頻流進行視頻拼接處理，并將拼接后的視頻流發送給會場A，由于第一混合音頻流不包含被選看會場C和會場E對應的音頻流，因此MCU將入會會場中最大的I個會場，即會場B的音頻流加上被選看會場C和會場E對應的音頻流進行混音處理，得到第二混合音頻流，并將第二混合音頻流發送給會場A，其中，第二混合音頻流的音頻個數與第一混合音頻流的音頻個數相等，都為3個。此情形下,會場A看到會場B、會場C和會場E的圖像，同時聽到會場B、會場C和會場E的聲音，達到聲音跟隨圖像的效果。應用場景七會議服務器將第一會場終端選看的多會場對應的音頻流，加上第一混合音頻流對應的音頻流發送給第一會場終端的情形。假設當前視頻會議系統中入會會場為會場A、會場B、會場C、會場D和會場E、會場F,會場聲音大小次序為會場B、會場C、會場D、會場A、會場E、會場F,當前播放的第一混合音頻流由會場B、會場D和會場F三方對應的音頻流混音而成；
當會議服務器的MCU接收到會場A發送的選看會場C和會場E的指令后，MCU將會場C和會場E對應的視頻流進行視頻拼接處理，并將拼接后的視頻流發送給會場A，由于第一混合音頻流不包含被選看會場C和會場E對應的音頻流，因此MCU將第一混合音頻流對應的音頻流和被選看會場對應的音頻流進行混音處理，即將會場B、會場D、會場F和會場C和會場E進行混音處理，得到第二混合音頻流，并將第二混合音頻流發送給會場A。此情形下,會場A看到會場B、會場D、會場F、會場C和會場E的圖像，同時聽到會場B、會場D、會場F、會場C和會場E的聲音,達到聲音跟隨圖像的效果。應用場景八會議服務器將第一會場終端選看的多會場對應的音頻流，加上入會會場中音量最大的N3個會場對應的N3個音頻流發送給第一會場終端的情形，其中N3等于第一混合音頻流包含的音頻流的個數。假設當前視頻會議系統中入會會場為會場A、會場B、會場C、會場D和會場E、會場F,會場聲音大小次序為會場B、會場C、會場D、會場A、會場E、會場F,當前播放的第一混合音頻流由會場B、會場D和會場F3方對應的音頻流混音而成；當會議服務器的MCU接收到會場A發送的選看會場C和會場E的指令后，MCU將會場C和會場E對應的視頻流進行視頻拼接處理，并將拼接后的視頻流發送給會場A，由于第一混合音頻流不包含被選看會場C和會場E對應的音頻流，因此MCU將入會會場中音量最大的3個會場，即會場B、會場C和會場D對應的音頻流和被選看會場，即會場C和會場E對應的音頻流進行混音處理，由于會場C有重合，因此去重后，將會場B、會場C、會場D和會場E對應的音頻流進行混音處理，得到第二混合音頻流，并將第二混合音頻流發送給會場A。此情形下,會場A看到會場B、會場C、會場D和會場E的圖像，同時聽到會場B、會場C、會場D和會場E的聲音，達到聲音跟隨圖像的效果。應用場景九會議服務器將第一會場終端選看的NI個會場中音量最大的N4個會場對應的N4個音頻流，加上入會會場中音量最大的N2個會場對應的音頻流進行混音處理后發送給第一會場終端的情形。假設當前視頻會議系統中入會會場為會場A、會場B、會場C、會場D和會場E、會場F,會場聲音大小次序為會場B、會場C、會場D、會場A、會場E、會場F,當前播放的第一混合音頻流由會場B和會場C對應的音頻流混音而成；當會議服務器的MCU接收到會場A的會議終端發送的選看會場D、會場E和會場F的指令后，MCU將會場D、會場E和會場F對應的視頻流進行視頻拼接處理，并將拼接后的視頻流發送給會場A,由于第一混合音頻流不包含被選看會場D、會場E和會場F對應的音頻流，因此MCU將被選看會場音量排名前兩名的會場的音頻流，即會場D和會場E對應的音頻流，加上入會會場中音量排名前兩名的會場對應的音頻流，即會場B和會場C的音頻流，進行混音處理，也即將會場B、會場C、會場D和會場E進行混音處理得到第二混合音頻流，然后將第二混合音頻流發送給會場A。此情形下,會場A看到會場B、會場C、會場D和會場E對應的圖像，同時能聽到會場B、會場C、會場D和會場E對應的聲音，達到聲音跟隨圖像的效果。另外,在當前多點視頻會議中，有時當前會議聲音和被觀看會場聲音混合在一起可能會互相干擾，導致聽不清，因此，可增加音頻處理策略，采用不同策略進行特定會場的音頻增益處理，以達到各個會場聲音干擾變少，可以聽到用戶關心的會場聲音。音頻增益處理采用可配置策略，可以根據會場的分辨率、帶寬、幀率、重要程度、音 量大小等對音頻增益進行處理。具體的，可以采用以下方案對音頻增益進行調整。方案一會議服務器獲取第一會場終端選看的NI個會場中音量最大N4個會場對應的N4個音頻流和入會會場中音量最大的N2個會場對應的N2個音頻流，增大獲取的被選看會場中音量最大的N4個會場中的一個或者多個會場對應的音頻流的增益或者減小獲取的入會會場中音量最大的N2個會場中的一個或者多個會場對應的音頻流的增益，或者同時增大獲取的N4個會場中的一個或者多個會場對應的音頻流的增益和減小獲取的入會會場中音量最大的N2個會場中的一個或者多個會場對應的音頻流的增益，使得第一會場終端選擇觀看會場的聲音大于入會會場中音量最大的N2個會場對應的聲音；方案二 會議服務器獲取第一會場終端選看的NI個會場中音量最大的N4個會場對應的N4個音頻流和第一混合音頻流對應的N3個會場對應的音頻流，增大獲取的被選看會場中音量最大的N4個會場中的一個或者多個會場對應的音頻流的增益或者減小獲取的第一混合音頻流對應的N3個會場中的一個或者多個會場對應的音頻流的增益，或者同時增大獲取的N4個會場中的一個或者多個會場對應的音頻流的增益和減小獲取的N3個會場中的一個或者多個會場對應的音頻流的增益，使得第一會場終端選擇觀看會場的聲音大于第一混合音頻流對應的N3個音頻流的聲音，其中N4小于或者等于NI ；方案三會議服務器獲取第一會場終端選看的NI個會場中音量最大的N4個會場對應的N4個音頻流和入會會場中音量最大的N3個會場對應的N3個音頻流，增大獲取的被選看會場中音量最大的N4個會場中的一個或者多個會場對應的音頻流的增益或者減小獲取的入會會場中音量最大的N3個會場中的一個或者多個會場對應的音頻流的增益，或者同時增大獲取的N4個會場中的一個或者多個會場對應的音頻流的增益和減小獲取的N3個會場中的一個或者多個會場對應的音頻流的增益，使得第一會場終端選擇觀看會場的聲音大于入會會場中音量最大的N3個會場對應的聲音,其中N4小于或者等于NI。進一步的，可以通過音頻增益處理使播放的第二混合音頻流中第一會場終端選擇觀看會場的聲音為第二混合音頻流中其它聲音的I. 2—1. 5倍。為便于更好的實施本發明實施例的技術方案，本發明實施例還提供用于實施上述方案的視頻會議服務器和視頻會議系統。本發明實施例提供一種視頻會議服務器，包括
接收模塊，用于接收第一會場終端發送的會場選看指令，并將該指令分別傳送給視頻流發送模塊和音頻流發送模塊；視頻流發送模塊，用于向第一會終端發送視頻流，其中，視頻流包括第一會場終端選看會場對應的視頻流；音頻流發送模塊，用于若當前播放的第一混合音頻流不包含第一會場終端選看會場對應的音頻流，則生成第二混合音頻流，并將該第二混合音頻流發送給第一會場終端，其中，所述第二混合音頻流包含第一會場終端選擇觀看會場對應的部分或者全部音頻流。其中，音頻流發送模塊可以將生成的第二混合音頻流中包含的音頻流放在同一聲道中傳輸給第一會場終端；或者將生成的第二混合音頻流中被選看會場對應的音頻流和第二混合音頻流中其它的音頻流分別放在不同聲道中傳輸給第一會場終端。由上可見，由于視頻會議服務器中的音頻流發送模塊將向第一會場終端發送的第二混合音頻流中加入了第一會場終端選看的部分或者全部會場的音頻流，使得第一會場終 端播放的音頻流跟隨視頻流，這在一定程度上改善了會場音頻和視頻不同步的問題，增強了用戶體驗。同時，將第二混合音頻流中被選看會場對應的音頻流和第二混合音頻流中其它的音頻流分別放在不同聲道中傳輸可以減少會場之間聲音的互相干擾，提高第一會場終端播放音頻的質量。本發明實施例還提供一種視頻會議服務器，參見圖5，包括接收模塊501，用于接收第一會場終端發送的會場選看指令，并將該指令分別傳送給視頻流發送模塊502和音頻流發送模塊503 ；視頻流發送模塊502，用于向第一會終端發送視頻流，其中，視頻流包括第一會場終端選看會場對應的視頻流；音頻流發送模塊503，用于若第一會場終端當前播放的第一音頻流不包含第一會場終端選看會場對應的音頻流，則生成第二混合音頻流，并將該第二混合音頻流發送給第一會場終端，其中，所述第二混合音頻流包含第一會場終端選擇觀看會場對應的部分或者全部音頻流。需要說明的是，音頻流發送模塊503以將生成的第二混合音頻流中包含的音頻流放在同一聲道中傳輸給第一會場終端；或者將生成的第二混合音頻流中被選看會場對應的音頻流和第二混合音頻流中其它的音頻流分別放在不同聲道中傳輸給第一會場終端。由上可見，由于視頻會議服務器中的音頻流發送模塊503將向第一會場終端發送的第二混合音頻流中加入了第一會場終端選看的部分或者全部會場的音頻流，使得一會場終端播放的音頻流跟隨視頻流，這在一定程度上改善了會場音頻和視頻不同步的問題，增強了用戶體驗。同時，將第二混合音頻流中被選看會場對應的音頻流和第二混合音頻流中其它的音頻流分別放在不同聲道中傳輸可以減少會場之間聲音的互相干擾，提高第一會場終端播放音頻的質量。本發明實施例還提供一種視頻會議服務器，參見圖6，包括接收模塊601，用于接收第一會場終端發送的會場選看指令，并將該指令分別傳送 給視頻流發送模塊602和音頻流發送模塊603 ；視頻流發送模塊602，用于向第一會終端發送視頻流，其中，視頻流包括第一會場終端選看會場對應的視頻流；
音頻流發送模塊603包括獲取模塊603a和音頻增益增益處理模塊603b ；其中，獲取模塊603a,用于獲取第一會場終端選看的NI個會場中音量最大的N4個會場對應的N4個音頻流和入會會場中音量最大的N2個會場對應的N2個音頻流，或者用于獲取第一會場終端選看的NI個會場中音量最大的N4個會場對應的N4個音頻流和第一混合音頻流對應的N3個音頻流，或者用于獲取第一會場終端選看的NI個會場中音量最大的N4個會場對應的N4個音頻流和入會會場中音量最大的N3個會場對應的N3個音頻流，其中，N4小于或者等于NI ；音頻增益處理模塊603b，用于將獲得的第一會場終端選擇觀看的NI個會場中音量最大的N4個會場中的一個或者多個會場對應的音頻流的增益增大或者將獲得的入會會場中音量最大的N2個會場中的一個或者多個會場對應的音頻流增益減小，或者同時增加獲取的N4個會場中的一個或者多個會場對應的音頻流增益和減小入會會場中音量最大的N2個會場中的一個或者多個會場對應的音頻流增益，使得第一會場終端選擇觀看會場的聲 音大于入會會場中音量最大的N2個會場對應的聲音；或者，用于將獲得的第一混合音頻流的N3個會場中的一個或者多個會場對應的音頻流增益減小，或者同時增加第一會場終端選擇觀看的NI個會場中音量最大的N4個會場中的一個或者多個會場對應的音頻流的增益和減小混音處理得到的第一混合音頻流對應的N3個會場中的一個或者多個會場對應的音頻流增益，使得第一會場終端選擇觀看會場的聲音大于第一混合音頻流的N3個會場對應的聲音；或者，用于將獲得的入會會場中音量最大的N3個會場中的一個或者多個會場對應的音頻流增益減小，或者同時增加第一會場終端選擇的NI個會場中音量最大的N4個會場中的一個或者多個會場對應的音頻流的增益和減小入會會場中音量最大的N3個會場的音頻流增益，使得第一會場終端選擇觀看會場的聲音大于入會會場中音量最大的N3個會場對應
的聲音。音頻增益處理模塊603b可以將第一終端選擇觀看的NI個會場中音量最大的N4個會場對應的聲音調為入會會場中音量最大的N2個會場對應的聲音的I. 2—1. 5倍；或者，所述音頻增益處理模塊603b將第一終端選擇觀看的NI個會場中音量最大的N4個會場對應的聲音調為第一混合音頻流的N3個會場對應的聲音的I. 2—1. 5倍；或者，所述音頻增益處理模塊603b將第一終端選擇觀看的NI個會場中音量最大的N4個會場對應的聲音調為入會會場中音量最大的N3個會場對應的聲音的I. 2—1. 5倍。本發明實施例提供一種視頻會議系統，包括會議服務器，用于接收第一會場終端發送的會場選看指令；向第一會場終發送第一會場終端選看會場對應的視頻流；若第一會場終端當前播放的第一混合音頻流不包含第一會場終端選看會場對應的音頻流，則生成第二混合音頻流，并向第一會場終端發送所述第二混合音頻流，其中，所述第二混合音頻流包含第一會場終端選擇觀看會場對應的部分或者全部音頻流；第一會場終端，用于向會議服務器發送會場選看指令；接收來自會議服務器的第一會場終端選看會場對應的視頻流和第二混合音頻流，其中，所述第二混合音頻流包含第一會場終端選擇觀看會場對應的部分或者全部音頻流；播放視頻流和第二混合音頻流。其中，會議服務器可以將生成的第二混合音頻流中包含的音頻流放在同一聲道中傳輸給第一會場終端；或者，將生成的第二混合音頻流中被選看會場對應的音頻流和第二混合音頻流中其它的音頻流分別放在不同聲道中傳輸給第一會場終端。由上可見，由于本發明實施例提供的視頻會議系統中的會議服務器將向第一會場終端發送的第二混合音頻流中加入了第一會場終端選看的部分或者全部會場的音頻流，使得一會場終端播放的音頻流跟隨視頻流，這在一定程度上改善了會場音頻和視頻不同步的問題，增強了用戶體驗。同時，將第二混合音頻流中被選看會場對應的音頻流和第二混合音頻流中其它的音頻流分別放在不同聲道中傳輸可以減少會場之間聲音的互相干擾，提高第一會場終端播放音頻的質量。本發明實施例還提供另一種視頻會議系統，參見圖7所示，包括會議服務器701，用于接收第一會場終端702發送的會場選看指令；向第一會場終 702發送第一會場終端702選看會場對應的視頻流；若第一會場終端702當前播放的第一混合音頻流不包含第一會場終端702選看會場對應的音頻流，則向第一會場終端702發送第二混合音頻流，其中，所述第二混合音頻流包含第一會場終端702選擇觀看會場對應的部分或者全部音頻流；第一會場終端702，用于向會議服務器701發送會場選看指令；接收來自會議服務器701的第一會場終端702選看會場對應的視頻流和第二混合音頻流，其中，所述第二混合音頻流包含第一會場終端702選擇觀看會場對應的部分或者全部音頻流；播放視頻流和第
二混合音頻流。其中，會議服務器701生成第二混合音頻流包括會議服務器701將第一會場終端選看的NI個會場中音量最大的N4個會場對應的N4個音頻流進行混音處理，得到第二混合音頻流，其中N4小于或者等于NI ；或者，會議服務器701將第一會場終端選看的NI個會場中音量最大的N4個會場對應的N4個音頻流，和入會會場中音量最大的N2個會場對應的N2個音頻流進行混音處理，得到第二混合音頻流；其中，N4小于或者等于NI，第一混合音頻流由N3個音頻流進行混音處理得到，N4加N2等于N3 ；或者，會議服務器701將第一音頻流集合中的音頻流進行混音處理，得到第二混合音頻流，其中，第一音頻流集合包括第一會場終端選看的NI個會場中音量最大的N4個會場對應的N4個音頻流，和混音處理得到的第一混合音頻流的N3個音頻流，其中N4小于或者等于NI ;或者,第一音頻流集合包括第一會場終端選看的NI個會場中音量最大的N4個會場對應的N4個音頻流，和入會會場中音量最大的N3個會場對應的N3個音頻流，其中N4小于或者等于NI。由上可見，由上可見，由于本發明實施例提供的視頻會議系統中的會議服務器701將向第一會場終端發送的第二混合音頻流中加入了第一會場終端選看的部分或者全部會場的音頻流，使得一會場終端播放的音頻流跟隨視頻流，這在一定程度上改善了會場音頻和視頻不同步的問題，增強了用戶體驗。同時，將第二混合音頻流中被選看會場對應的音頻流和第二混合音頻流中其它的音頻流分別放在不同聲道中傳輸可以減少會場之間聲音的互相干擾，提高第一會場終端播放音頻的質量。進一步的，本發明實施例還提供一種視頻會議系統，該系統也包括會議服務器和第一會場終端，與上個實施例所不同的是，該系統中的會議服務器除具有上述功能外，還能夠用于增加第一會場終端選擇觀看的NI個會場中音量最大的N4個會場中的一個或者多個會場對應的音頻流增益或者減小入會會場中音量最大的N2個會場中的一個或者多個會場對應的音頻增益，或者同時增加第一會場終端選擇觀看的NI個會場中音量最大的N4個會場中的一個或者多個會場對應的音頻流增益和減小入會會場中音量最大的N2個會場中的一個或者多個會場對應的音頻流增益，使得第一會場終端選擇觀看會場的聲音大于入會會場中音量最大的N2個會場對應的聲音,其中，N4小于或者等于NI ；或者，用于減小混音處理得到的第一混合音頻流的N3個會場中的一個或者多個會場的 音頻流增益，或者同時增加第一會場終端選擇觀看的NI個會場中音量最大的N4個會場中的一個或者多個會場對應的音頻流增益和減小混音處理得到的第一混合音頻流的N3個會場中的一個或者多個會場的音頻流增益，使得第一會場終端選擇觀看會場的聲音大于第一混合音頻流的N3個會場對應的聲音，其中，N4小于或者等于NI ；或者，用于減小入會會場中音量最大的N3個會場中的一個或者多個會場的音頻流增益，或者同時增加第一會場終端選擇觀看的NI個會場中音量最大的N4個會場中的一個或者多個會場對應的音頻流增益和減小入會會場中音量最大的N3個會場中的一個或者多個會場的音頻流增益，使得第一會場終端選擇觀看會場的聲音大于入會會場中音量最大的N3個會場對應的聲音，其中，N4小于或者等于NI。可以理解的是，實施例中的會議服務器701可如上述方法實施例中的會議服務器，其各個功能模塊的功能可以根據上述方法實施例中的方法具體實現，其具體實現過程可以參照上述方法實施例的相關描述，此處不再贅述。需要說明的是，對于前述的各方法實施例，為了簡單描述，故將其都表述為一系列的動作組合，但是本領域技術人員應該知悉，本發明并不受所描述的動作順序的限制，因為依據本發明，某些步驟可以采用其他順序或者同時進行。其次，本領域技術人員也應該知悉，說明書中所描述的實施例均屬于優選實施例，所涉及的動作和模塊并不一定是本發明所必須的。在上述實施例中，對各個實施例的描述都各有側重，某個實施例中沒有詳述的部分，可以參見其他實施例的相關描述。以上對本發明實施例所提供的一種視頻會議信號處理的方法、會議服務器以及系統進行了詳細介紹，本文中應用了具體個例對本發明的原理及實施方式進行了闡述，以上實施例的說明只是用于幫助理解本發明的方法及其核心思想；同時，對于本領域的一般技術人員，依據本發明的思想，在具體實施方式
及應用范圍上均會有改變之處，綜上，本說明書內容不應理解為對本發明的限制。
權利要求
1.ー種視頻會議信號處理的方法，其特征在于，包括會議服務器接收第一會場終端的會場選看指令；會議服務器根據會場選看指令向第一會場終端發送視頻流；其中，視頻流包括第一會場終端選看會場對應的視頻流；若第一會場終端當前播放的第一混合音頻流不包含第一會場終端選看會場對應的音頻流，則會議服務器生成第二混合音頻流，井向第一會場終端發送所述第二混合音頻流，其中，所述第二混合音頻流包含第一會場終端選擇觀看會場對應的部分或者全部音頻流。
2.根據權利要求I所述的方法，其特征在干，所述會議服務器生成第二混合音頻流，包括會議服務器將第一會場終端選看的NI個會場中音量最大的N4個會場對應的N4個音頻流進行混音處理，得到第二混合音頻流，其中N4小于或者等于NI ；或者，會議服務器將第一會場終端選看的NI個會場中音量最大的N4個會場對應的N4個音頻流，和入會會場中音量最大的N2個會場對應的N2個音頻流進行混音處理，得到第二混合音頻流；其中，N4小于或者等于NI，第一混合音頻流由N3個音頻流進行混音處理得到，N4加N2等于N3 ；或者，會議服務器將第一音頻流集合中的音頻流進行混音處理，得到第二混合音頻流，其中，第一音頻流集合包括第一會場終端選看的NI個會場中音量最大的N4個會場對應的N4個音頻流，和混音處理得到的第一混合音頻流的N3個音頻流，其中N4小于或者等于NI ;或者，第一音頻流集合包括第一會場終端選看的NI個會場中音量最大的N4個會場對應的N4個音頻流，和入會會場中音量最大的N3個會場對應的N3個音頻流，其中N4小于或者等于NI。
3.根據權利要求2所述的方法，其特征在于，所述方法還包括所述會議服務器將第二混合音頻流中包含的音頻流放在同一聲道中傳輸給第一會場終端；或者，所述會議服務器將第二混合音頻流中被選看會場對應的音頻流和第二混合音頻流中其它的音頻流分別放在不同聲道中傳輸給第一會場終端。
4.根據權利要求2所述的方法，其特征在干，所述會議服務器生成第二混合音頻流具體為會議服務器獲取第一會場終端選看的NI個會場中音量最大N4個會場對應的N4個音頻流和入會會場中音量最大的N2個會場對應的N2個音頻流，增大獲取的音量最大的N4個會場中的一個或者多個會場對應的音頻流的増益或者減小獲取的入會會場中音量最大的N2個會場中的一個或者多個會場對應的音頻流的増益，或者同時增大獲取的N4個會場中的一個或者多個會場對應的音頻流的増益和減小獲取的入會會場中音量最大的N2個會場中的一個或者多個會場對應的音頻流的増益，使得第一會場終端選擇觀看會場的聲音大于入會會場中音量最大的N2個會場對應的聲音，其中N4小于或者等于NI，將獲取的N4個會場對應的N4個音頻流，和獲取的N2個會場對應的N2個音頻流進行混音處理，得到第二混合音頻流；或者，會議服務器獲取第一會場終端選看的NI個會場中音量最大的N4個會場對應的N4個音頻流和第一混合音頻流對應的N3個音頻流，增大獲取的音量最大的N4個會場中的ー個或者多個會場對應的音頻流的増益或者減小獲取的第一混合音頻流對應的N3個會場中的一個或者多個會場對應的音頻流的増益，或者同時增大獲取的音量最大的N4個會場中的一個或者多個會場對應的音頻流的増益和減小獲取的第一混合音頻流對應的N3個會場中的一個或者多個會場對應的音頻流的増益，使得第一會場終端選擇觀看會場的聲音大于第一混合音頻流對應的N3個音頻流的聲音，其中N4小于或者等于NI，將獲取的N4個會場對應的N4個音頻流，和獲取的第一混合音頻流對應的N3個音頻流進行混音處理，得到第二混合音頻流；或者，會議服務器獲取第一會場終端選看的NI個會場中音量最大的N4個會場對應的N4個音頻流和入會會場中音量最大的N3個會場對應的N3個音頻流，增大獲取的音量最大的N4個會場中的一個或者多個會場對應的音頻流的増益或者減小獲取的入會會場中音量最大的N3個會場中的一個或者多個會場對應的音頻流的増益，或者同時增大獲取的N4個會場中的一個或者多個會場對應的音頻流的増益和減小獲取的N3個會場中的一個或者多個會場對應的音頻流的増益，使得第一會場終端選擇觀看會場的聲音大于入會會場中音量最大的N3個會場對應的聲音，其中N4小于或者等于NI，將獲取的N4個會場對應的N4個音頻流，和入會會場中音量最大的N3個會場對應的N3個音頻流進行混音處理，得到第二混合音頻流。
5.根據權利要求4所述的方法，其特征在干，播放的第二混合音頻流中第一會場終端選擇觀看的NI個會場中音量最大的N4個會場對應的聲音為第二混合音頻流中其它聲音的I. 2—1. 5 倍。
6.一種視頻會議服務器，其特征在于，包括接收模塊，用于接收第一會場終端發送的會場選看指令，并將該指令分別傳送給視頻流發送模塊和音頻流發送模塊；視頻流發送模塊，用于向第一會終端發送視頻流，其中，視頻流包括第一會場終端選看會場對應的視頻流；音頻流發送模塊，用于若當前播放的第一混合音頻流不包含第一會場終端選看會場對應的音頻流，則生成第二混合音頻流，并將該第二混合音頻流發送給第一會場終端，其中，所述第二混合音頻流包含第一會場終端選擇觀看會場對應的部分或者全部音頻流。
7.根據權利要求6所述的視頻會議服務器，其特征在于，所述音頻流發送模塊生成第二混合首頻流具體為音頻流發送模塊將第一會場終端選看的NI個會場中音量最大的N4個會場對應的N4個音頻流進行混音處理，得到第二混合音頻流，其中N4小于或者等于NI ；或者，音頻流發送模塊將第一會場終端選看的NI個會場中音量最大的N4個會場對應的N4個音頻流，和入會會場中音量最大的N2個會場對應的N2個音頻流進行混音處理，得到第二混合音頻流；其中，N4小于或者等于NI，第一混合音頻流由N3個音頻流進行混音處理得到，N4加N2等于N3 ；或者，音頻流發送模塊將第一音頻流集合中的音頻流進行混音處理，得到第二混合音頻流，其中，第一音頻流集合包括第一會場終端選看的NI個會場中音量最大的N4個會場對應的N4個音頻流，和混音處理得到的第一混合音頻流的N3個音頻流，其中N4小于或者等于NI ；或者，第一音頻流集合包括第一會場終端選看的NI個會場中音量最大的N4個會場對應的N4個音頻流，和入會會場中音量最大的N3個會場對應的N3個音頻流，其中N4小于或者等于NI。
8.根據權利要求7所述的視頻會議服務器，其特征在干，所述音頻流發送模塊將生成的第二混合音頻流中包含的音頻流放在同一聲道中傳輸給第一會場終端；或者， 所述音頻流發送模塊將生成的第二混合音頻流中被選看會場對應的音頻流和第二混合音頻流中其它的音頻流分別放在不同聲道中傳輸給第一會場終端。
9.根據權利要求7所述的視頻會議服務器，其特征在干，所述音頻流發送模塊進一歩包括獲取模塊、音頻增益處理模塊；所述獲取模塊，用于獲取第一會場終端選看的NI個會場中音量最大的N4個會場對應的N4個音頻流和入會會場中音量最大的N2個會場對應的N2個音頻流，或者用于獲取第一會場終端選看的NI個會場中音量最大的N4個會場對應的N4個音頻流和第一混合音頻流對應的N3個音頻流，或者用于獲取第一會場終端選看的NI個會場中音量最大的N4個會場對應的N4個音頻流和入會會場中音量最大的N3個會場對應的N3個音頻流，其中，N4小于或者等于NI ；所述音頻增益處理模塊，用于將獲得的第一會場終端選擇觀看的NI個會場中音量最大的N4個會場中的一個或者多個會場對應的音頻流增益増大或者將獲得的入會會場中音量最大的N2個會場中的一個或者多個會場對應的音頻流增益減小，或者同時增加獲取的N4個會場中的一個或者多個會場對應的音頻流增益和減小入會會場中音量最大的N2個會場中的一個或者多個會場對應的音頻流增益，使得第一會場終端選擇觀看會場的聲音大于入會會場中音量最大的N2個會場對應的聲音；或者，用于將獲得的第一混合音頻流的N3個會場中的一個或者多個會場對應的音頻流增益減小，或者同時增加第一會場終端選擇觀看的NI個會場中音量最大的N4個會場中的ー個或者多個會場對應的音頻流的増益和減小混音處理得到的第一混合音頻流的N3個會場中的一個或者多個會場的音頻流增益，使得第一會場終端選擇觀看會場的聲音大于第一混合音頻流的N3個會場對應的聲音；或者，用于將獲得的入會會場中音量最大的N3個會場中的一個或者多個會場的音頻增益減小，或者同時增加第一會場終端選擇的NI個會場中音量最大的N4個會場中的一個或者多個會場對應的音頻流增益和減小入會會場中音量最大的N3個會場中的一個或者多個會場的音頻流增益，使得第一會場終端選擇觀看會場的聲音大于入會會場中音量最大的N3個 會場對應的聲音。
10.根據權利要求9所述的視頻會議服務器，其特征在于，所述音頻増益處理模塊將第一終端選擇觀看的NI個會場中音量最大的N4個會場對應的聲音調為入會會場中音量最大的N2個會場對應的聲音的I. 2— I. 5倍；或者，所述音頻増益處理模塊將第一終端選擇觀看的NI個會場中音量最大的N4個會場對應的聲音調為第一混合音頻流的N3個會場對應的聲音的I. 2—1. 5倍；或者，所述音頻増益處理模塊將第一終端選擇觀看的NI個會場中音量最大的N4個會場對應的聲音調為入會會場中音量最大的N3個會場對應的聲音的I. 2一I. 5倍。
11.一種視頻會議系統，其特征在于，包括會議服務器，用于接收第一會場終端發送的會場選看指令；向第一會場終發送第一會場終端選看會場對應的視頻流；若第一會場終端當前播放的第一混合音頻流不包含第一會場終端選看會場對應的音頻流，則生成第二混合音頻流，井向第一會場終端發送所述第二混合音頻流，其中，所述第二混合音頻流包含第一會場終端選擇觀看會場對應的部分或者全部音頻流；第一會場終端，用于向會議服務器發送會場選看指令；接收來自會議服務器的第一會場終端選看會場對應的視頻流和第二混合音頻流，其中，所述第二混合音頻流包含第一會場終端選擇觀看會場對應的部分或者全部音頻流；播放視頻流和第二混合音頻流。
12.根據權利要求11所述的視頻會議系統，其特征在于，所述會議服務器生成第二混合音頻流，包括會議服務器將第一會場終端選看的NI個會場中音量最大的N4個會場對應的N4個音頻流進行混音處理，得到第二混合音頻流，其中N4小于或者等于NI ；或者，會議服務器將第一會場終端選看的NI個會場中音量最大的N4個會場對應的N4個音頻流，和入會會場中音量最大的N2個會場對應的N2個音頻流進行混音處理，得到第二混合音頻流；其中，N4小于或者等于NI，第一混合音頻流由N3個音頻流進行混音處理得到，N4加N2等于N3 ；或者，會議服務器將第一音頻流集合中的音頻流進行混音處理，得到第二混合音頻流，其中，第一音頻流集合包括第一會場終端選看的NI個會場中音量最大的N4個會場對應的N4個音頻流，和混音處理得到的第一混合音頻流的N3個音頻流，其中N4小于或者等于NI ;或者，第一音頻流集合包括第一會場終端選看的NI個會場中音量最大的N4個會場對應的N4個音頻流，和入會會場中音量最大的N3個會場對應的N3個音頻流，其中N4小于或者等于NI。
13.根據權利要求12所述的視頻會議系統，其特征在于，所述會議服務器將生成的第ニ混合音頻流中包含的音頻流放在同一聲道中傳輸給第一會場終端；或者，所述會議服務器將生成的第二混合音頻流中被選看會場對應的音頻流和第二混合音頻流中其它的音頻流分別放在不同聲道中傳輸給第一會場終端。
14.根據權利要求12所述的視頻會議系統，其特征在于，所述會議服務器還用于增加第一會場終端選擇觀看的NI個會場中音量最大的N4個會場中的一個或者多個會場對應的音頻流增益或者減小入會會場中音量最大的N2個會場中的一個或者多個會場對應的音頻流増益，或者同時增加第一會場終端選擇觀看的NI個會場中音量最大的N4個會場中的一個或者多個會場對應的音頻流增益和減小入會會場中音量最大的N2個會場中的一個或者多個會場對應的音頻流增益，使得第一會場終端選擇觀看會場的聲音大于入會會場中音量最大的N2個會場對應的聲音，其中，N4小于或者等于NI ；或者， 用于減小混音處理得到的第一混合音頻流的N3個會場中的一個或者多個會場的音頻流増益，或者同時增加第一會場終端選擇觀看的NI個會場中音量最大的N4個會場中的一個或者多個會場對應的音頻流增益和減小混音處理得到的第一混合音頻流的N3個會場中的一個或者多個會場的音頻流增益，使得第一會場終端選擇觀看會場的聲音大于第一混合音頻流的N3個會場對應的聲音，其中，N4小于或者等于NI ；或者，用于減小入會會場中音量最大的N3個會場中的一個或者多個會場的音頻流增益，或者同時增加第一會場終端選擇觀看的NI個會場中音量最大的N4個會場中的一個或者多個會場對應的音頻流增益和減小入會會場中音量最大的N3個會場中的一個或者多個會場對應的音頻流增益，使得第一會場終端選擇觀看會場的聲音大于入會會場中音量最大的N3個會場對應的聲音，其中，N4小于或者等于NI。
15.根據權利要求14所述的視頻會議系統，其特征在于，所述的會議服務器用于將第一會場終端選擇觀看的NI個會場中音量最大的N4個會場對應的聲音調為入會會場中音量最大的N2個會場對應的聲音的I. 2—1. 5倍；或者，所述的會議服務器用于將第一會場終端選擇觀看的NI個會場中音量最大的N4個會場對應的聲音調為第一混合音頻流的N3個會場對應的聲音的I. 2—1. 5倍；或者，所述的會議服務器用于將第一會場終端選擇觀看的NI個會場中音量最大的N4個會場對應的聲音調為入會會場中音量最大的N3個會場對應的聲音的I. 2—1. 5倍。
全文摘要
本發明公開了一種視頻會議信號處理的方法、視頻會議服務器及系統。所述方法根據第一會場終端發送的選看指令將被選看會場的視頻流發送給第一會場終端，并且判斷第一會場終端當前播放的第一混合音頻流是否包含被選看會場的音頻流，若否，則生成第二混合音頻流并發送給第一會場終端，其中第二混合音頻流包含被選看會場對應的部分或者全部音頻流，使得第一會場終端播放的音頻流跟隨視頻流，這在一定程度上改善了音頻和視頻不同步的問題，增強了用戶體驗。
文檔編號H04N7/56GK102833520SQ20121029217
公開日2012年12月19日 申請日期2012年8月16日 優先權日2012年8月16日
發明者鄭瑞琴 申請人:華為技術有限公司