專利名稱:拾音設備和方法
技術領域:
本發明涉及當例如兩個遠距離會議室內的多個與會者通過使用多個麥克風召開音頻電話會議或通過進一步增加視頻而召開聲音+電視會議時優選使用的拾音設備和方法。
具體地,本發明涉及用于改進回聲消除處理缺陷的拾音設備及方法,其中,當在用一個回聲消除器對多個麥克風執行回聲消除的拾音設備內切換麥克風時立即將回聲消除器的內部處理切換到對新麥克風的內部處理時,產生所述回聲消除處理缺陷。
背景技術:
具有拾音設備或具有增加圖像的拾音設備的電視會議系統已經用于使遠距離的兩個會議室內的與會者能召開會議。
在拾音設備中,選擇麥克風,這里,該麥克風由在使用多個麥克風的多個講話者中其聲音應該傳送給另一方會議室的講話者使用。
在此拾音設備中,為多個麥克風設置一個回聲消除器。盡管回聲消除器通常有可能以高速進行處理,但由于回聲消除器由昂貴的數字信號處理器(DSP)來實現,因此,用一個回聲消除器來執行多個麥克風的回聲消除處理。
回聲消除器通過對來自所選麥克風的聲音執行學習處理而執行回聲消除。從而,在回聲消除器中,保存用于每個麥克風的回聲消除的學習數據。
當一個回聲消除器執行多個麥克風的回聲消除處理時,進而,當執行從第一麥克風到第二麥克風的切換時,如果立即將回聲消除器內的學習數據切換到用于第二麥克風的學習數據,就發生以下情況用第一麥克風的學習數據對來自第二麥克風的聲音執行回聲消除處理。
這是因為在回聲消除器中通過學習處理獲得的用于每個麥克風的學習數據基于經過預定時間持續獲得的聲音數據。
發明內容
本發明的目的是提供拾音設備及方法,以防止在用一個回聲消除器對多個麥克風執行回聲消除處理的拾音設備中當從第一麥克風切換到第二麥克風時的錯誤回聲消除處理。
根據本發明的第一方面,提供一種拾音設備,包括基于預定條件而布置的多個麥克風;麥克風選擇器,所述麥克風選擇器檢測多個麥克風的拾音信號,并選擇在檢測的拾音信號中已經檢測到有效拾音信號的麥克風;對所選麥克風的聲音信號執行回聲消除處理的回聲消除處理器;以及回聲消除處理控制器,當切換麥克風的聲音信號時,該控制器在預定時期停止回聲消除處理。
優選地,當通過選擇新麥克風的拾音信號而輸出聲音信號時,麥克風選擇器交叉漸變先前所選麥克風的聲音信號和新麥克風的聲音信號,并且,回聲消除處理控制器在交叉漸變期間停止回聲消除處理。
根據本發明的第二方面,提供一種拾音方法,包括麥克風選擇步驟,所述麥克風選擇步驟檢測基于預定條件而布置的多個麥克風的拾音信號,并選擇在檢測的拾音信號中已經檢測到有效拾音信號的麥克風;對所選麥克風的聲音信號執行回聲消除處理的回聲消除處理步驟;以及回聲消除處理控制步驟,當在麥克風選擇步驟中切換麥克風的聲音信號時,所述回聲消除處理控制步驟在預定時期停止回聲消除處理。
根據本發明,通過在選擇(改變)麥克風時停止回聲消除處理而可以避免不自然的回聲消除處理。
從以下結合附圖對優選實施例的描述中,本發明這些和其它的目的和特征將變得更加清楚,在附圖中
圖1A示意性地示出作為應用本發明拾音設備的例子的會議系統,圖1B為圖1A拾音設備的放置狀態的視圖,而圖1C為放置在桌子上的拾音設備和與會者的布置圖;圖2為本發明實施例的拾音設備的透視圖;圖3為圖2所示拾音設備內部的剖視圖;圖4為圖3所示拾音設備中上罩被取下的麥克風電子電路殼體的平面圖;圖5示出第一實施例的麥克風電子電路殼體的主要電路的連接配置,并示出第一數字信號處理器(DSP1)和第二數字信號處理器(DSP2)的連接配置;圖6為圖4所示麥克風的特性的視圖;圖7A-7D示出具有圖6所示特性的麥克風的指向性分析結果;圖8為本發明拾音設備的修改例的部分配置的視圖;圖9示意性示出第一數字信號處理器(DSP1)中處理的總體內容;圖10為本發明拾音設備中濾波處理的視圖;圖11為圖10處理結果的頻率特性的視圖;圖12為本發明的帶通濾波處理和電平轉換處理的框圖;圖13為圖12所示處理的流程圖;圖14為示出在本發明實施例的拾音設備中用于判斷講話開始和結束的處理的圖形;圖15示出在本發明實施例的拾音設備中正常處理的流程;圖16為在本發明實施例的拾音設備中正常處理的流程的流程圖;圖17為示出在本發明實施例的拾音設備中麥克風切換處理的框圖;圖18為示出在本發明第二實施例的拾音設備中麥克風切換處理的方法的框圖;圖19為示出在圖5所示拾音設備的配置中第二DSP(EC)的配置的拾音設備部分視圖,其中,所述拾音設備作為本發明第二實施例的拾音設備;圖20為簡要示出圖19所示拾音設備內的第一DSP中的麥克風選擇處理和回聲消除處理的框圖;圖21示出回聲消除處理的操作定時的實例。
具體實施例方式
以下結合附圖描述本發明的優選實施例。
第一實施例以下解釋本發明實施例的拾音設備。
圖1A-1C為示出應用本發明實施例的拾音設備的實例的配置圖。
如圖1A所示,在兩個會議室901和902內布置拾音設備10A和10B。這些拾音設備10A和10B通過通信線路920如電話線而連接。
通常,通過通信線路920,在一個揚聲器和另一個之間,即一對一地執行會談,但是在本發明實施例的通信設備中,在會議室901和902內的多個與會者可通過使用一個通信線路920而互相交談。應指出,在本實施例中,為了避免音頻擁塞,同時(同一時段)講話的與會者被限制為每側一個。
如上所述,拾音設備選擇(識別)主叫方,并拾取所選主叫方的音頻。
拾取的音頻和成像的視頻傳輸到另一側的會議室,并且在另一側的拾音設備中播放。
通信設備的細節結合圖2-圖4解釋根據本發明實施例的拾音設備內的通信設備的配置。第一拾音設備10A和第二拾音設備10B相似。
圖2為根據本發明實施例的拾音設備的透視圖。
圖3為圖2所示拾音設備的剖視圖。
圖4為圖2和3所示拾音設備的麥克風電子電路殼體的平面圖,并且是沿圖3中線X-X的平面圖。
如圖2所示,拾音設備具有上罩11、聲反射板12、耦合部件13、揚聲器殼體14和操作單元15。
如圖3所示,揚聲器殼體14具有聲反射表面14a、底面14b和上部聲音輸出孔14c。接收和再現揚聲器16裝在由聲反射表面14a和底面14b圍成的空間即內腔14d內。聲反射板12位于揚聲器殼體14上方。揚聲器殼體14和聲反射板12通過耦合部件13而連接。約束部件17穿過耦合部件13。約束部件17約束揚聲器殼體14的底面14b的約束部件底部固定部分14e與聲反射板12的約束部件固定部分12b之間的空間。應指出,約束部件17只穿過揚聲器殼體14的約束部件通道14f。約束部件17穿過約束部件通道14f并且不約束它的理由是揚聲器殼體14隨著揚聲器16的操作而振動,并且在上部聲音輸出孔14c周圍不限制揚聲器殼體14的振動。
另一會議室的講話者的講話穿過接收和再現揚聲器16以及上部聲音輸出孔14c,并沿著由聲反射板12的聲反射表面12a與揚聲器殼體14的聲反射表面14a確定的空間,向繞著軸C-C的全部360°方向散播。如圖所示,聲反射板12的聲反射表面12a的橫截面描繪出寬松的喇叭型弧。聲反射表面12a的橫截面在繞著軸C-C的360°(全部方向)上形成圖示的截面形狀。相似地,如圖所示,揚聲器殼體14的聲反射表面14a的橫截面描繪出寬松的凸面形狀。聲反射表面14a的橫截面在繞著軸C-C的360°(全部方向)上形成圖示的截面形狀。
從接收和再現揚聲器16輸出的聲音S穿過上部聲音輸出孔14c,穿過由聲反射表面12a和聲反射表面14a確定的并且具有喇叭型橫截面的聲音輸出空間,在繞著軸C-C的全部360°方向上沿著放置拾音設備的桌子911的表面散播,并且,所有與會者A1-A6聽到相同的音量。在本實施例中,桌子911的表面用作聲音傳播裝置的一部分。
從接收和再現揚聲器16輸出的聲音S的散播狀態由箭頭表示。
聲反射板12支撐印刷電路板21。
如圖4中平面所示,印刷電路板21安裝麥克風電子電路殼體2的麥克風MC1-MC6、發光二極管LED 1-6、微處理器23、編解碼器24、第一數字信號處理器(DSP)25、第二數字信號處理器(DSP)26、A/D轉換器部件27、D/A轉換器部件28、放大器部件29、以及其它各種類型的電子電路。聲反射板12還作為用于支撐麥克風電子電路殼體2的部件。
印刷電路板21具有連接到其上的減振器18,用于吸收來自接收和再現揚聲器16的振動,以防止來自接收和再現揚聲器16的振動通過聲反射板12傳遞、進入麥克風MC1-MC6等中、并變為噪音。每個減振器18都由螺釘和插入在螺釘與印刷電路板21之間的緩沖材料如振動吸收橡膠組成。緩沖材料由螺釘緊固到印刷電路板21上。即,從接收和再現揚聲器16傳遞到印刷電路板21的振動由緩沖材料吸收。因此,麥克風MC1-MC6受揚聲器16聲音的影響不大。
麥克風的布置如圖4所示,從印刷電路板21的中心軸C以相同角度和相同間隔(以60度間隔)徑向布置6個麥克風MC1-MC6。每個麥克風是具有單一指向性的麥克風。其特性在后面解釋。
每個麥克風MC1-MC6都由具有撓性或彈性的第一麥克風支撐部件22a和第二麥克風支撐部件22b支撐,從而它可自由地搖動(為簡化圖解,只示出麥克風MC1的第一麥克風支撐部件22a和第二麥克風支撐部件22b)。除了借助使用以上緩沖材料的減振器18來防止接收和再現揚聲器16的振動影響的措施以外,通過具有撓性或彈性的第一麥克風支撐部件22a和第二麥克風支撐部件22b來吸收印刷電路板21的振動,防止接收和再現揚聲器16的振動的影響,以避免接收和再現揚聲器16的噪音,其中,印刷電路板21因接收和再現揚聲器16的振動而振動。
如圖3所示,接收和再現揚聲器16的方向與麥克風MC1-MC6布置平面的中心軸C-C(在本實施例中(方向)向上)垂直。通過接收和再現揚聲器16與6個麥克風MC1-MC6的此布置,接收和再現揚聲器16與麥克風MC1-MC6之間的距離變得相等,并且,接收和再現揚聲器16的音頻以幾乎相同的音量和相同的相位到達麥克風MC1-MC6。然而,因聲反射板12的聲反射表面12a和揚聲器殼體14的聲反射表面14a的配置,而防止接收和再現揚聲器16的聲音直接輸入到麥克風MC1-MC6中。另外,如以上所解釋地,通過使用采用緩沖材料的減振器18以及具有撓性或彈性的第一麥克風支撐部件22a和第二麥克風支撐部件22b,減小接收和再現揚聲器16的振動的影響。
如圖1C所示地,與會者A1-A6通常在以60°間隔布置的麥克風MC1-MC6附近在通信設備的360°方向上以幾乎相等的間隔定位。
作為通知確定講話者的裝置(麥克風選擇結果顯示裝置),在麥克風MC1-MC6附近布置發光二極管LED1-LED6。發光二極管LED1-LED6必須設置得即使在裝上罩11的狀態下也能從所有與會者A1-A6觀看到。相應地,上罩11設置有透明窗,從而,可看到發光二極管LED1-LED6的發光狀態。自然地,也可在上罩11中在發光二極管LED1-LED6的部位上設置開孔,但從防止灰塵進入麥克風電子電路殼體2的觀點出發,優選透明窗。
為了執行在后面解釋的各種信號處理,印刷電路板21設置第一數字信號處理器(DSP1)25和第二數字信號處理器(DSP)26,并且,在除布置麥克風MC1-MC6的部位以外的空間中布置各種電子電路27-29。
在本實施例中,DSP 25用作與各種電子電路27-29一起執行諸如濾波處理和麥克風選擇處理的處理的信號處理裝置,并且,DSP 26用作回聲消除器。
圖5為微處理器23、編解碼器24、DSP 25、DSP 26、A/D轉換器部件27、D/A轉換器部件28、放大器部件29、以及其它各種類型電子電路的示意性配置的視圖。
微處理器23執行用于麥克風電子電路殼體2的總體控制的處理。
編解碼器24對將要傳輸給另一方會議室的音頻進行壓縮和編碼。
DSP 25執行在后面解釋的各種信號處理,如濾波處理和麥克風選擇處理。
DSP 26用作回聲消除器。
在圖5中,對于A/D轉換器部件27的實例,以四個A/D轉換器271-274為例子進行說明;對于D/A轉換器部件28的實例,以兩個D/A轉換器281和282為例子進行說明;對于放大器部件29的實例,以兩個放大器291和292為例子進行說明。
另外,作為麥克風電子電路殼體2,在印刷電路板21上安裝各種電路,如電源電路。
在圖4中,在相對于印刷電路板21的中心軸C對稱(或相對)的位置上在直線上布置麥克風對MC1-MC4、MC2-MC5和MC3-MC6,這些麥克風對向A/D轉換器271-273輸入兩個通道的模擬信號,其中,A/D轉換器271-273將模擬信號轉換為數字信號。在本實施例中,一個A/D轉換器將兩個通道的模擬輸入信號轉換為數字信號。從而,位于跨過中心軸C的直線上的兩個(一對)麥克風如麥克風MC1和MC4的檢測信號輸入到一個A/D轉換器中,并轉換為數字信號。進一步地,在本實施例中,為了識別其音頻傳輸給另一方會議室的講話者,查詢位于一根直線上的兩個麥克風的音頻差異、音頻的大小等。從而,當位于一根直線上的兩個麥克風的信號輸入到同一A/D轉換器中時,轉換定時變得幾乎相同。從而有以下優點當發現兩個麥克風的音頻輸出差異時定時誤差較小;信號處理變得容易;等等。
應指出,A/D轉換器271-274也可配置為具有可變增益型放大功能的A/D轉換器271-274。
在A/D轉換器271-273轉換的麥克風MC1-MC6的拾音信號輸入到DSP 25中,在DSP 25中執行后面解釋的各種信號處理。
對于DSP 25的處理結果之一,選擇麥克風MC1-MC6之一的結果輸出給發光二極管LED1-LED6,其中,發光二極管LED1-LED6是麥克風選擇結果顯示裝置的一個實例。
DSP 25的處理結果輸出給DSP 26,在DSP 26中執行回聲消除處理。DSP 26例如具有回聲消除發送器和回聲消除接收器。
DSP 26的處理結果在D/A轉換器281和282中轉換為模擬信號。根據需要,D/A轉換器281的輸出在編解碼器24上編碼,通過放大器291輸出給電話線920(圖1A)的線路輸出端,并通過布置在另一方會議室內的通信設備的接收和再現揚聲器16而輸出為聲音。
布置在另一方會議室內的通信設備的音頻通過電話線920(圖1A)的線路輸入端而輸入,在A/D轉換器274中轉換為數字信號,并輸入到DSP 26,在其中用于回聲消除處理。進一步地,來自布置在另一方會議室內的通信設備的音頻通過未示出的路徑施加于揚聲器16,并輸出為聲音。
D/A轉換器282的輸出作為通信設備的接收和再現揚聲器16的聲音而通過放大器292輸出。即,除了從以上解釋的接收和再現揚聲器16聽到另一方會議室內所選講話者的音頻之外,與會者A1-A6也可通過接收和再現揚聲器16聽到會議室內講話方發出的音頻。
麥克風MC1-MC6圖6為示出麥克風MC1-MC6的指向性的圖形。
如圖6所示,在每個單一指向性的麥克風中,頻率特性和電平特性隨著音頻從講話者到麥克風的到達角而不同。多根曲線表示當拾音信號的頻率為100Hz、150Hz、200Hz、300Hz、400Hz、500Hz、700Hz、1000Hz、1500Hz、2000Hz、3000Hz、4000Hz、5000Hz和7000Hz時的指向性。應指出,為了簡化圖解,圖6示出150Hz、500Hz、1500Hz、3000Hz和7000Hz時的指向性,作為代表性實例。
圖7A-7D為示出對聲源位置和麥克風的拾音電平的分析結果的圖形,并且,作為分析的實例,圖7A-7D示出通過將揚聲器定位得距通信設備預定距離,如1.5米的距離,并以恒定時間間隔對麥克風所拾取的音頻應用快速傅里葉變換(FFT)而獲得的結果。X軸代表頻率,Y軸代表信號電平,Z軸代表時間。
當使用具有圖6所示指向性的麥克風時,在麥克風的前面顯示出強的指向性。在本實施例中,通過較好地利用此特性,DSP 25執行麥克風的選擇處理。
當麥克風沒有象本發明實施例中那樣的指向性時,通過使用沒有指向性的麥克風,麥克風周圍所有的聲音都被拾取,從而,混合講話者音頻與周圍噪音的S/N,因此,較好的聲音不能拾取得太多。為了避免此現象,在本發明中,通過用一個指向性麥克風來拾取聲音,增強具有周圍噪音的S/N。
進一步地,對于獲得麥克風指向性的方法,可以使用麥克風陣列,該陣列使用多個沒有指向性的麥克風。然而,對于此方法,為了匹配多個信號的時間軸(相位),需要復雜的處理,從而,占用較長時間,響應較低,并且,硬件配置變復雜。即,對DSP的信號處理系統還要求復雜信號處理。本發明通過使用具有圖6所示指向性的麥克風來解決此問題。
進一步地,組合麥克風陣列信號以將所述麥克風用作指向性拾音麥克風有以下缺點外形受通過頻率特性的限制,并且,外形變大。本發明也解決此問題。
具有以上配置的拾音設備具有以下優點。
(1)偶數個麥克風MC1-MC6以相同角度和相同間隔徑向布置,偶數個麥克風與接收和再現揚聲器16之間的位置關系是恒定的,并進一步地,它們的距離非常接近,從而,從接收和再現揚聲器16發出的直接返回的聲音電平比從接收和再現揚聲器16發出的穿過會議室(房間)環境并返回到麥克風MC1-MC6的聲音電平大很多并占有壓倒性優勢。因此,聲音從揚聲器16到達麥克風MC1-MC6的特性(信號電平(強度)、頻率特性(f特性)、以及相位)總是相同。也就是說,本發明實施例中的拾音設備具有傳輸功能總是相同的優點。
(2)從而,優點是當因講話者改變而切換發送給另一方會議室的麥克風輸出時,傳輸功能不改變,并且,無論何時切換麥克風都不必調整麥克風系統的增益。換句話說,優點是一旦在制造通信設備時執行了調整,就不必再次進行調整。
(3)即使因與以上相同原因而在改變講話者時切換麥克風,單個回聲消除器(DSP)26也足夠。DSP比較昂貴。進一步地,不必在具有很少空置空間的印刷電路板21上布置多個DSP,因為在印刷電路板21上安裝各種元件。另外,用于在印刷電路板21上布置DSP的空間可以較小。結果,印刷電路板21,進而本發明的通信設備,可制作得較小。
(4)如以上解釋地,由于接收和再現揚聲器16與麥克風MC1-MC6之間的傳輸功能是恒定的,因此,優點例如為只用通信設備的麥克風單元就可執行麥克風靈敏度差異+3dB的調整。靈敏度差異調整的詳細情況在后面解釋。
(5)通過使用圓桌或多邊形桌作為其上安裝拾音設備的桌子,有可能實現通過通信設備1中的一個接收和再現揚聲器16均勻地分散(散射)音頻的揚聲器系統,其中,所述音頻在繞著軸C的全部360°方向上具有相同的音質。
(6)優點為從接收和再現揚聲器16輸出的聲音通過圓桌的桌面傳播(邊界效應),并且,優質聲音有效地、均勻地且高效率地到達與會者,對立側的聲音和相位在會議室的天花板方向被消除并且變小,在與會者處幾乎沒有天花板方向的反射聲,結果,清晰的聲音分配給與會者。
(7)從接收和再現揚聲器16輸出的聲音以相同音量同時到達以相同角度和相同間隔徑向布置的麥克風MC1-MC6,從而,判斷聲音是講話者音頻還是所接收音頻變容易。結果,減少麥克風選擇處理中的錯誤判斷。其細節在后面解釋。
(8)通過以相同角度和相同間隔徑向布置偶數個如6個麥克風,從而在直線上布置一對相向的麥克風,容易執行用于檢測方向的電平比較。
(9)借助減振器18、麥克風支撐部件22等,可減少因接收和再現揚聲器16的聲音而引起的振動對麥克風MC1-MC6的拾音的影響。
(10)如圖3所示,在結構上,接收和再現揚聲器16的聲音不直接傳播給麥克風MC1-MC6。相應地,在拾音設備中,幾乎沒有接收和再現揚聲器16的噪音的影響。
修改例在結合圖2-圖3解釋的拾音設備中,在更低的部位上布置接收和再現揚聲器16,并且,在更高的部位上布置麥克風MC1-MC6(以及相關的電子電路),但還有可能在垂直方向上顛倒接收和再現揚聲器16與麥克風MC1-MC6(以及相關的電子電路)的位置,如圖8所示。即使在此情況下,也顯示出以上效果。
麥克風的數量不局限于6個。可繞著軸C以相同角度和相同間隔徑向布置任意數量如4個或8個麥克風,從而,在直線上(在相同方向上)布置多對,例如,與麥克風MC1和MC4相同。在直線上互相面對地布置兩個麥克風如MC1和MC4作為優選實施例是為了選擇麥克風和識別講話者。
信號處理的內容以下解釋主要由第一數字信號處理器(DSP)25執行的處理的內容。
圖9示意性地示出在拾音設備10A中由DSP 25執行的處理。以下給出簡單解釋。
(1)環境噪音的測量對于初始操作,優選地,測量布置拾音設備的環境的噪音。
拾音設備可用于各種環境中(會議室)。為了實現麥克風的正確選擇并提高拾音設備的性能,在本發明中,在初始階段中,測量布置拾音設備的周圍環境的噪音,以便能從在麥克風拾取的信號消除此噪音的影響。
自然地,當在相同會議室內重復使用拾音設備時,由于事先測量了噪音,因此,當噪音狀態沒有變化時可省略此處理。應指出,也可在正常狀態下測量噪音。
(2)主席的選擇例如,當使用拾音設備進行雙向會議時,如果有主持會議室進程的主席是有利的。相應地,對于本發明的一個方面,在使用拾音設備的初始階段中,從拾音設備的操作單元15設定主席。作為設定主席的方法,例如,位于操作單元15附近的第一麥克風MC1用作主席的麥克風。自然地,主席的麥克風可以是任何麥克風。
應指出,當重復使用拾音設備的主席相同時,可省略此處理。可替換地,也可事先確定主席所坐位置的麥克風。在此情況下,不需要每次都選擇主席的操作。
自然地,主席的選擇不局限于初始狀態,并且可在任何時候執行。
(3)麥克風靈敏度差異的調整對于初始操作,優選自動調整放大單元的增益或漸變單元的漸變值,其中,放大單元用于放大麥克風MC1-MC6的信號,從而,接收和再現揚聲器16與麥克風MC1-MC6之間的聲耦合變得相等。
作為常規處理,執行以下舉例說明的各種處理。
(1)用于麥克風選擇和切換的處理當在一個會議室內多個與會者同時講話時,音頻被混合,并且另一方會議室內的與會者A1-A6難以理解此音頻。從而,在本發明中,原則上,在一定的時間間隔內只允許一個人講話。為此,DSP 25執行用于選擇和切換麥克風的處理。
結果,只有所選麥克風的講話通過電話線920傳輸到另一方會議室的通信設備1,并從揚聲器輸出。自然地,如結合圖5所解釋地,開啟所選講話者的麥克風附近的LED。也可從該房間的通信設備1的揚聲器聽到所選講話者的音頻,從而,可識別誰是允許的講話者。
此處理的目的是選擇面向講話者的單一指向性麥克風的信號,并且向另一方發送具有良好S/N的信號,作為傳輸信號。
(2)顯示所選的麥克風通過開啟相應的麥克風選擇結果顯示裝置,如發光二極管LED1-LED6,使得所有與會者A1-A6容易識別是否選擇講話者的麥克風以及哪個是允許發言的與會者的麥克風。
(3)信號處理作為以上麥克風選擇處理的背景技術,或者為了正確地執行麥克風選擇處理,執行以下舉例說明的各種信號處理。
(a)用于麥克風的拾音信號的頻帶分離和電平轉換的處理
(b)用于判斷講話開始和結束的處理用作開始判斷的觸發,所述判斷用于選擇面向講話者方向的麥克風的信號(c)用于檢測在講話者方向上的麥克風的處理用于分析麥克風的拾音信號,并判斷講話者所用的麥克風(d)用于判斷在講話者方向上的麥克風的切換定時的處理,以及用于切換面向所檢測講話者的麥克風的信號選擇的處理用于指示切換到從以上處理結果選擇的麥克風(e)在正常操作時測量場地噪音場地(環境)噪音的測量此處理分為在開啟拾音設備的電源之后立即進行的初始處理、以及正常處理。
應指出,在以下典型前提下執行處理。
(1)條件測量時間和暫定閾值1.測試音調聲壓根據麥克風信號電平為-40dB2.噪音測量單位時間10秒3.在正常狀態下的噪音測量通過重復10次的10秒測量結果來計算平均值,以尋找作為噪聲電平的平均值。
(2)依據在場地噪音與講話開始基準電平之差的有效距離的標準值和閾值1.26dB或更大3米或更遠開始講話的檢測電平閾值場地噪聲電平+9dB結束講話的檢測電平閾值場地噪聲電平+6dB2.20-26dB不超過3米開始講話的檢測電平閾值場地噪聲電平+9dB結束講話的檢測電平閾值場地噪聲電平+6dB3.14-20dB不超過1.5米開始講話的檢測電平閾值場地噪聲電平+9dB結束講話的檢測電平閾值場地噪聲電平+6dB
4.9-14dB不超過1米開始講話的檢測電平閾值場地噪聲電平與講話開始基準電平之差÷2+2dB結束講話的檢測電平閾值講話開始閾值-3dB5.9dB或更小稍微困難點,幾十厘米開始講話的檢測電平閾值-3dB6.場地噪聲電平與講話開始基準電平之差÷2結束講話的檢測電平閾值-3dB7.相同或負數不能判斷,禁止選擇(3)從獲得開啟電源時場地噪聲電平+3dB時開始正常處理的噪聲測量開始閾值。
通過濾波處理產生各種頻率分量信號圖10為示出使用由麥克風拾取的聲音信號在DSP 25上執行的濾波處理的配置圖,其中,該處理作為預處理。圖10示出用于一個麥克風(通道(一個拾音信號))的處理。
在具有截止頻率如100Hz的模擬低頻截止濾波器101上處理麥克風的拾音信號,其中除去100Hz或更低頻率的濾波聲音信號輸出給A/D轉換器102,并且,在A/D轉換器102上轉換為數字信號的拾音信號在數字高頻截止濾波器103a-103e(統稱為103)上除去它們的高頻分量(高頻截止處理),所述濾波器103a-103e具有7.5kHz、4kHz、1.5kHz、600Hz和250Hz的截止頻率。數字高頻截止濾波器103a-103e的結果在減法器104a-104d(統稱為104)中進一步減去相鄰數字高頻截止濾波器103a-103e的濾波信號。
在本發明的此實施例中,實際上通過DSP 25中的處理來實現數字高頻截止濾波器103a-103e和減法器104a-104d。A/D轉換器102可作為A/D轉換器部件27的一部分來實現。
圖11為示出結合圖10解釋的濾波處理結果的頻率特性的視圖。以此方式,從具有單一指向性的麥克風所拾取的信號產生具有各種頻率分量的多個信號。
帶通濾波處理和麥克風信號電平轉換處理作為開始麥克風選擇處理的一個觸發,判斷講話的開始和結束。通過在DSP 25上執行的圖12所示的帶通濾波處理和電平轉換處理而獲得用于此目的的信號。圖12只示出在麥克風MC1-MC6上拾取的輸入信號的6個通道的處理的一個通道(CH)。對于麥克風的拾音信號的通道,DSP 25中的帶通濾波處理和電平轉換處理單元具有帶通濾波器201a-201f(統稱為“帶通濾波器部件201”)和電平轉換器202a-202g(統稱為“電平轉換器部件202”),其中,帶通濾波器201a-201f具有100-600Hz、200-250Hz、250Hz-600Hz、600-1500Hz、1500-4000Hz以及4000-7500Hz的帶通特性,并且,電平轉換器202a-202g用于轉換原始麥克風拾音信號和帶通拾音信號的電平。
每個電平轉換單元202a-202g具有信號絕對值處理單元203和峰值保持處理單元204。相應地,如波形圖所示,當接收輸入的由虛線表示的負信號時,信號絕對值處理單元203反轉符號,將負信號轉換為正信號。峰值保持處理單元204保持信號絕對值處理單元203的輸出信號的最大值。應指出,在本實施例中,隨著時間的消逝,保持的最大值下降一點點。自然地,還有可能改進峰值保持處理單元204,以減小下降量,并且能長時間地保持最大值。
以下解釋帶通濾波器(BPF)。用于通信設備1中的帶通濾波器例如只由麥克風信號輸入階段的二次IIR高頻截止濾波器和低頻截止濾波器組成。本實施例利用以下事實如果從具有扁平頻率特性的信號減去通過高頻截止濾波器的信號,余下的信號就變得與通過低頻截止濾波器的信號基本等效。
為了匹配頻率-電平特性,就需要全帶通的帶通濾波器的一個額外頻帶。通過頻帶數量以及帶通濾波器的頻帶數量+1個濾波系數而獲得需要的帶通。此時需要的帶通濾波器的帶頻為在以下麥克風信號每個通道(CH)中所示帶通濾波器的以下6個頻帶BP特性 帶通濾波器BPF1=[100Hz-250Hz].. 201b
BPF2=[250Hz-600Hz] ..201cBPF3=[600Hz-1.5kHz]..201dBPF4=[1.5kHz-4kHz] ..201eBPF5=[4kHz-7.5kHz] ..201fBPF6=[100Hz-600Hz] ..201a在此方法中,DSP 25中IIR濾波器的計算程序僅為6CH(通道)×5(IIR濾波器)=30。將此與常規帶通濾波器的配置進行比較。
在本發明的實施例中,通過輸入階段的模擬濾波器來實現100Hz低頻截止濾波處理。準備的二次IIR高頻截止濾波器有五個截止頻率250Hz、600Hz、1.5kHz、4kHz和7.5kHz。在它們之中具有7.5kHz截止頻率的高頻截止濾波器實際上具有16kHz的采樣頻率,因此是不必要的,但是有意旋轉縮小數量的相位,以便在相減處理的步驟中減少帶通濾波器輸出電平因IIR濾波器相位旋轉而減小的現象。
圖13為在DSP 25中通過圖12所示配置執行的處理的流程圖。
在圖13所示DSP 25上的濾波處理中,執行高通濾波處理,作為處理的第一階段,同時,執行從高通濾波處理的第一階段的結果進行相減的處理,作為處理的第二階段。圖11為信號處理結果的鏡頻特性的視圖。在以下解釋中,[x]表示在圖11中的每個處理情形。
第一階段[1]對于全帶通濾波器,輸入信號通過7.5kHz高頻截止濾波器。此濾波器輸出信號通過輸入的模擬低頻截止匹配而變為[100Hz-7.5kHz]的帶通濾波器輸出。
輸入信號通過4kHz高頻截止濾波器。此濾波器輸出信號通過與輸入模擬低頻截止濾波器結合而變為[100Hz-4kHz]的帶通濾波器輸出。
輸入信號通過1.5kHz高頻截止濾波器。此濾波器輸出信號通過與輸入模擬低頻截止濾波器結合而變為[100Hz-1.5kHz]的帶通濾波器輸出。
輸入信號通過600Hz高頻截止濾波器。此濾波器輸出信號通過與輸入模擬低頻截止濾波器結合而變為[100Hz-600Hz]的帶通濾波器輸出。
輸入信號通過250Hz高頻截止濾波器。此濾波器輸出信號通過與輸入模擬低頻截止濾波器結合而變為[100Hz-250Hz]的帶通濾波器輸出。
第二階段[1]當帶通濾波器(BPF5=[4kHz-7.5kHz])執行濾波器輸出[1]-[2]([100Hz-7.5kHz]-[100Hz-4kHz])的處理時,獲得以上信號輸出[4kHz-7.5kHz]。
當帶通濾波器(BPF4=[1.5kHz-4kHz])執行濾波器輸出[2]-[3]([100Hz-4kHz]-[100Hz-1.5kHz])的處理時,獲得以上信號輸出[1.5kHz-4kHz]。
當帶通濾波器(BPF3=[600Hz-1.5kHz])執行濾波器輸出[3]-[4]([100Hz-1.5kHz]-[100Hz-600Hz])的處理時,獲得以上信號輸出[600Hz-1.5kHz]。
當帶通濾波器(BPF2=[250Hz-600Hz])執行濾波器輸出[4]-[5]([100Hz-600Hz]-[100Hz-250Hz])的處理時,獲得以上信號輸出[250Hz-600Hz]。
帶通濾波器(BPF1=[100Hz-250Hz])將前述[5]的信號定義為輸出信號[5]。
帶通濾波器(BPF6=[100Hz-600Hz])將前述[4]的信號定義為以上[4]的輸出信號。
通過DSP 25中的以上處理而獲得所需帶通濾波器輸出。
如表1所示,麥克風的輸入拾音信號MIC1-MIC6不斷地更新為全頻帶的聲壓級和通過帶通濾波器的6個頻帶的聲壓級。
表1.信號電平的轉換結果
在表1中,例如,L1-1表示當麥克風MC1的拾音信號通過第一帶通濾波器201a時的峰值電平。在判斷講話的開始和結束時,利用通過圖12所示100Hz-600Hz帶通濾波器201a并且在電平轉換單元202b中經過聲壓級轉換的麥克風拾音信號。
用于判斷講話開始和結束的處理如圖14所示,基于從聲壓級檢測單元輸出的值,當麥克風拾音信號電平上升超過場地噪音并超過講話開始電平的閾值時,第一數字信號處理器(DSP1)25判斷講話開始;當高于開始電平閾值的電平在此之后持續時,判斷講話正在進行;當電平下降到低于講話結束的閾值時,判斷有場地噪音;并且,當電平持續達講話結束判斷時間如0.5秒時,判斷講話結束。
講話開始判斷從通過100Hz-600Hz帶通濾波器并且在圖12所示麥克風信號電平轉換處理單元202b中經過聲壓級轉換的聲壓級數據(麥克風信號電平(1))變得比圖14所示閾值電平大時,判斷講話開始。
DSP 25設計成在檢測講話開始之后,在講話結束判斷時間如0.5秒內不檢測下一講話的開始,以避免隨著麥克風頻繁切換而產生的誤操作。
麥克風選擇DSP 25檢測相互通話系統中講話者的方向,并基于所謂的“記分卡方法”而自動地選擇面向講話者的麥克風的信號。
圖15為示出拾音設備的操作類型的視圖。
圖16為示出拾音設備的正常處理的流程圖。
如圖15所示,拾音設備根據麥克風MC1-MC6的拾音信號而執行用于監視聲音信號的處理,判斷講話開始/結束,判斷講話方向,選擇麥克風,并在麥克風選擇結果顯示裝置30如發光二極管LED1-LED6上顯示結果。
以下結合圖16的流程圖描述主要使用拾音設備中DSP 25的操作。應指出,通過微處理器23執行麥克風電子電路殼體2的總體控制,但描述集中在DSP 25的處理上。
步驟S1監視電平轉換信號在麥克風MC1-MC6上拾取的信號在結合圖11-圖13尤其是結合圖12解釋的帶通濾波器部件201和電平轉換部件202中轉換為七類電平數據,因此,DSP 25不斷地監視麥克風拾音信號的七類信號。
基于監視結果,DSP 25轉到講話者方向檢測處理或講話開始/結束判斷處理。
步驟S2用于判斷講話開始/結束的處理DSP 25通過結合圖14,并進一步根據在下面詳細解釋的方法,而判斷講話的開始和結束。當檢測講話的開始時,DSP 25向步驟S3的講話者方向判斷處理通知檢測到講話的開始。
應指出,在步驟S2的用于判斷講話開始和結束的處理中,當語音電平變得比講話結束電平更小時,啟動講話結束判斷時間(如0.5秒)計時器。當在講話結束判斷過程中語音電平比講話結束電平更小時,判斷講話已經結束。
當在講話結束判斷過程中語音電平變得比講話結束電平更大時,進入等待處理,直到語音電平再次變得比講話結束電平更小為止。
步驟S3用于檢測講話者方向的處理通過恒定地和連續地搜索講話者方向,執行DSP 25中用于檢測講話者方向的處理。隨后,數據提供給步驟S4的用于判斷講話者方向的處理。
步驟S4用于切換講話者方向麥克風的處理當步驟S2的處理和步驟S3的處理的結果是此時講話者檢測方向與到目前為止選擇的講話者方向不同時,在DSP 25內用于切換講話者方向麥克風的處理中用于判斷定時的處理向步驟S4的用于切換麥克風信號的處理指示在新的講話者方向上選擇麥克風。
然而,當已經從操作單元15設定主席的麥克風并且主席的麥克風與其它與會者同時講話時,向主席的講話賦予優先級。
此時,在麥克風選擇結果顯示裝置如發光二極管LED1-LED6上顯示所選麥克風信息。
步驟S5麥克風拾音信號的傳輸用于切換麥克風信號的處理只發送由步驟S4的處理從6個麥克風中選擇的麥克風信號,作為例如通過通信線路920從第一拾音設備10A向另一方的第二拾音設備10B的傳輸信號,從而,將該信號輸出給圖5所示通信線路920的線路輸出端。
講話開始的判斷處理1比較與6個麥克風相應的聲壓級檢測器的輸出電平以及講話開始電平的閾值。
當輸出電平超過講話開始電平的閾值時,判斷講話開始。當與所有麥克風相應的聲壓級檢測器的輸出電平超過講話開始電平的閾值時,DSP 25判斷該信號來自接收和再現揚聲器16,并且不判斷已經開始講話。這是因為接收和再現揚聲器16與所有麥克風MC1-MC6之間的距離相同,所以,來自接收和再現揚聲器16的聲音幾乎相等地到達所有麥克風MC1-MC6。
處理2準備三組麥克風,并利用麥克風信號的電平差異,其中,所述三組麥克風每一組都包括通過以60°的相同角度和相同間隔徑向布置圖4所示6個麥克風而獲得的兩個單一指向性麥克風(麥克風MC1和MC4、麥克風MC2和MC5、以及麥克風MC3和MC6),每一組麥克風在相對方向上具有偏移180°的指向性軸。即,執行以下操作(麥克風1的信號電平-麥克風4的信號電平)的絕對值...[1](麥克風2的信號電平-麥克風5的信號電平)的絕對值...[2](麥克風3的信號電平-麥克風6的信號電平)的絕對值...[3]DSP 25比較以上絕對值[1]、[2]和[3]以及講話開始電平的閾值,并當絕對值超過講話開始電平的閾值時,判斷講話開始。
在此處理的情況下,與處理1(因為接收和再現揚聲器16的聲音相等地到達所有麥克風)不同,所有絕對值不會變得都比講話開始電平的閾值更大,所以,不必判斷聲音是來自接收和再現揚聲器16還是來自講話者的音頻。
用于檢測講話者方向的處理為了檢測講話者方向,利用在圖6中舉例說明的單一指向性麥克風的特性。在單一指向性麥克風中,如圖6所例示的,頻率特性和電平特性根據講話者的音頻到達麥克風的角度而改變。在圖7A-7D中示出該結果。圖7A-7D示出通過將揚聲器布置得距拾音設備10A預定距離,如1.5米距離,對由麥克風以不變時間間隔拾取的音頻應用快速傅里葉變換(FFT)的結果。X軸代表頻率,Y軸代表信號電平,而Z軸代表時間。橫向線代表帶通濾波器的截止頻率。夾在這些直線之間的頻帶的電平變為麥克風信號電平轉換處理的數據,其中,所述麥克風信號通過帶通濾波器的五個頻帶并轉換為結合圖10-圖13解釋的聲壓級。
以下描述根據本發明實施例的判斷方法,該方法作為在拾音設備中用于檢測講話者方向的實際處理。
對于帶通濾波器的每個頻帶的輸出電平執行適當的加權處理(當在1dB全量程(1dBFs)步長中為0dBFs時為0,而當-3dBFs時為3,或者,反之亦然)。通過此加權步驟而確定處理的分辨力。
對每個采樣時鐘執行以上加權處理,對每個麥克風的加權分數進行相加,該結果對恒定的采樣數取平均,并且,判斷具有較小(大)總點數的麥克風信號為面向講話者的麥克風。下表2以圖像表示此結果。
表2.信號電平用點數表示的情形
在表2所示的實例中,第一麥克風MC1具有最小的總點數,因此,DSP 25判斷在第一麥克風MC1的方向上有聲源(有講話者)。DSP 25以聲源方向麥克風編號的形式保存該結果。
如以上解釋,DSP 25對每個麥克風的頻帶的帶通濾波器的輸出電平進行加權,按從具有最小(最大)點數的麥克風信號開始的順序對帶通濾波器的頻帶的輸出排序,并且判斷對于三個或更多個頻帶具有第一次序的麥克風信號是來自面向講話者的麥克風。接著,DSP 25準備與下表3中一樣的記分卡,該卡表示在第一麥克風MC1方向上具有聲源(有講話者)。
表3.通過帶通濾波器的信號以電平順序排列的情形
實際上,根據房間特性,因聲反射和駐波的影響,在所有帶通濾波器的輸出中,第一麥克風MC1的結果不總是在頂部,但是,如果在五個頻帶的大多數頻帶中處于第一級,就可判斷在第一麥克風MC1方向上有聲源(有講話者)。DSP 25以聲源方向麥克風編號的形式保存該結果。
DSP 25按下面所示形式對麥克風的帶通濾波器的頻帶的輸出電平數據求和,判斷具有大電平的麥克風信號來自面向講話者的麥克風,并且以聲源方向麥克風編號的形式保存該結果。
MIC1電平=L1-1+L1-2+L1-1+L1-4+L1-5MIC2電平=L2-1+L2-2+L2-1+L2-4+L2-5MIC3電平=L3-1+L3-2+L3-1+L3-4+L3-5MIC4電平=L4-1+L4-2+L4-1+L4-4+L4-5MIC5電平=L5-1+L5-2+L5-1+L5-4+L5-5MIC6電平=L6-1+L6-2+L6-1+L6-4+L6-5用于判斷講話者方向麥克風的切換定時的處理當由圖16的步驟S2的講話開始判斷結果激活并從步驟S3的講話者方向的檢測處理結果和以前的選擇信息檢測到新講話者的麥克風時,DSP 25向步驟S5的用于麥克風信號切換選擇的處理發出麥克風信號切換命令,向麥克風選擇結果顯示裝置(發光二極管LED1-6)通知已切換講話者麥克風,由此通知講話者,拾音設備已經響應他的發言。
為了消除在具有較大回聲的房間內聲反射和駐波的影響,DSP 25禁止發出新的麥克風選擇命令,除非在切換麥克風之后過了講話結束判斷時間(如0.5秒)。
根據圖16的步驟S1的麥克風信號電平轉換處理結果和本實施例中步驟S3的講話者方向的檢測處理結果準備兩個麥克風選擇切換定時。
第一方法當可清楚判斷講話開始時在所選麥克風方向上的講話結束并在另一方向上有新的講話的情形。
在此情況下,在所有麥克風信號電平(1)和麥克風信號電平(2)變為講話結束閾值電平或更小之后經過講話結束判斷時間(如0.5秒)或更長時間之后,并且當任何一個麥克風信號電平(1)變為講話開始閾值電平或更大時,DSP 25判定講話開始,基于聲源方向麥克風編號的信息而確定面向講話者方向的麥克風是正當的拾音麥克風,并且,開始步驟S5的麥克風信號選擇切換處理。
第二方法在繼續講話的過程中在另一方向上有新的更大聲音講話的情形在此情況下,在從講話開始(當麥克風信號電平(1)變為講話閾值電平或更大時)經過講話結束判斷時間(如0.5秒)或更長時間之后,DSP 25開始判斷處理。
當從步驟S3的處理判斷在檢測講話結束之前改變聲源方向麥克風編號并且該編號是穩定的時,DSP 25判定有以比當前選擇的在與聲源方向麥克風編號相應的麥克風處的講話者更大的聲音講話的講話者,確定聲源方向麥克風編號為正當的拾音麥克風,并且,激活步驟S5的麥克風信號選擇切換處理。
用于面向所選講話者的麥克風的信號的切換選擇的處理通過由圖16中步驟S4的講話者方向麥克風的切換定時判斷處理的命令有選擇性判斷的命令來激活DSP 25。
通過圖17所示6個乘法器和6輸入加法器而實現DSP 25的用于切換麥克風信號選擇的處理。為了選擇麥克風信號,DSP 25使連接將要選擇的麥克風信號的乘法器的通道增益(CH增益)為[1]而使其它乘法器的CH增益為
,從而,加法器相加(麥克風信號×[1])的選擇信號和(麥克風信號×
)的處理結果,并在輸出端給出所希望的麥克風選擇信號。
當如上所述通道增益切換到[1]或
時,由于所切換麥克風信號的電平差異,有可能產生微小靜電干擾聲。從而,在拾音設備中,如圖18所示,在切換過渡時期,如在10毫秒的時期,CH增益從[1]到
和從
到[1]連續地變化,以便交叉,并由此避免因麥克風信號的電平差異而引起的微小靜電干擾聲。
進一步地,通過將最大通道增益設定為除[1]之外的值,如
,可調整后面DSP 25中的回聲消除處理操作。
如以上解釋地,本發明第一實施例的拾音設備可有效地應用于不受噪音影響的會議呼叫處理。
從結構方向考慮,本發明第一實施例的通信設備具有以下優點(1)在具有單一指向性的多個麥克風與接收和再現揚聲器之間的位置關系是不變的,并且它們之間的距離非常接近,因而,從接收和再現揚聲器輸出的直接返回的電平比從接收和再現揚聲器輸出的穿過會議室(房間)環境并返回到多個麥克風的電平大很多并占有壓倒性優勢。因此,聲音從接收和再現揚聲器到達多個麥克風的特性(信號電平(強度)以及它的頻率特性(f特性和相位)總是相同。也就是說,本發明的拾音設備具有傳輸功能總是相同的優點。
(2)從而,優點是當切換麥克風時,傳輸功能不改變,從而,無論何時切換麥克風都不必調整麥克風系統的增益。換句話說,優點是一旦在制造通信設備時執行調整,就不必再次進行調整。
(3)即使因與以上相同的原因而切換麥克風,數字信號處理器(DSP)所配置的回聲消除器的數量也保持為一個。DSP比較昂貴,而且,在印刷電路板上用于布置DSP的空間可以保持較小,由于安裝各種元件,印刷電路板幾乎沒有空置空間。
(4)接收和再現揚聲器與多個麥克風之間的傳輸功能是恒定的,因此,優點為只用所述單元就可執行麥克風本身的靈敏度±3dB的調整。
(5)其上安裝安裝拾音設備的桌子變得有可能利用此設備作為揚聲器系統,該系統通過通信設備中的一個接收和再現揚聲器在全部方向上均勻地分散(散射)具有均勻質量的音頻。
(6)從接收和再現揚聲器輸出的聲音通過桌面傳播(邊界效應),并且,優質聲音有效地、高效率地且均勻地到達與會者,對立側聲音在會議室的天花板方向的相位被消除并且變小聲,從開花板方向到與會者幾乎沒有反射聲,結果,清晰的聲音分配給與會者。
(7)從接收和再現揚聲器輸出的聲音以相同音量同時到達所有的多個麥克風,從而,判定聲音是講話者的音頻還是所接收音頻就變得容易。結果,減少麥克風選擇處理中的錯誤判斷。
(8)通過以相同角度和相同間隔徑向布置偶數個麥克風,容易執行用于檢測方向的電平比較。
(9)借助使用緩沖材料的減振器、具有撓性或彈性的麥克風支撐部件等,可減少因接收和再現揚聲器的聲音而引起的振動對麥克風的拾音的影響,其中,所述振動通過其上安裝麥克風的印刷電路板而傳遞。
(10)接收和再現揚聲器的聲音不直接進入麥克風。相應地,在此通信設備中,幾乎沒有接收和再現揚聲器的噪音的影響。
從信號處理觀點出發,本發明第一實施例的通信設備具有以下優點(a)以相同間隔徑向布置多個單一指向性麥克風,以便能檢測聲源方向,并且,麥克風信號切換到拾取具有良好S/N的聲音和清晰聲音,并將該聲音發送給另一方。
(b)有可能從周圍的講話方拾取具有良好S/N的聲音,自動地選擇面向講話者的麥克風。
(c)在本發明中,作為麥克風選擇處理的方法,劃分通過的音頻帶,并且比較在劃分頻帶時的電平,以簡化信號分析。
(d)實現本發明的麥克風信號切換處理,作為DSP的信號處理。多個信號全部交叉漸變,以防止在切換時發出微小靜電干擾聲。
(e)可向麥克風選擇結果顯示裝置如發光二極管或向外部通知麥克風選擇結果。
第二實施例結合圖19-21描述本發明的第二實施例,其中,此描述關于回聲消除處理的細節。
通過通信路徑從另一方輸入的聲音從此側拾音設備的揚聲器16均勻地輸出到所有方向(360°),并且,可被會議室內的與會者相同地聽到,其中,此側拾音設備已結合圖2和3描述。
在另一側,揚聲器16的聲音被此側會議室內的墻壁、天花板等反射。所檢測到的反射聲和此側與會者的聲音重疊,成為多個如6個麥克風MC1-MC6的回聲。進一步地,揚聲器16的聲音可直接進入麥克風MC1-MC6,和此側與會者的聲音重疊,成為回聲,并且被麥克風MC1-MC6檢測到。
如上所述,麥克風MC1-MC6檢測的聲音不僅包括此側會議室內與會者的聲音而且包括來自另一方拾音設備的聲音。
從而,如果不從由麥克風檢測的聲音信號中除去回聲信號,其中,所述聲音信號由此側的拾音設備檢測,就向另一方拾音設備發送包括作為回聲的由此側拾音設備所選聲音的聲音,并且,聽到的聲音包括從此側發送的聲音以及從另一方拾音設備的揚聲器輸出的聲音,其中,后一聲音成為回聲。因而,必需除去此回聲。
圖19為在圖5所示拾音設備配置中示出第二DSP 26配置的拾音設備部分視圖,其中,所述拾音設備作為本發明第二實施例的拾音設備。
第二DSP 26用作回聲消除器,用于執行上述回聲消除處理。
來自另一方的成為回聲的此聲音不被多個麥克風相同地檢測到,因為麥克風的位置不同并且從墻壁、天花等的反射狀態不同。從而,第二DSP 26為每個麥克風執行回聲消除處理。從而,第二DSP 26稱作回聲消除器(EC)26。
在本實施例中,具體地,一個EC 26為多個如6個麥克風執行回聲消除處理。
由于用一個容納存儲器的DSP來實現EC 26,因此,實際上,EC 26在DSP中執行程序處理。然而,在圖19中,為方便或功能目的而示出內部配置,該配置由回聲消除(EC)處理部分261、存儲器(MEM)部分263以及EC中的控制處理(CNT)部分264組成。
EC處理部分261對由第一DSP 25檢測的并輸入到EC 26的麥克風聲音信號執行回聲消除處理,并且,處理后的信號經D/A轉換器281和線路輸出端發送給另一方的拾音設備,其中,第一DSP 25執行麥克風選擇處理等。
存儲器263存儲用于EC處理部分261的數據。
EC中的控制處理部分264執行EC 26中的控制處理,例如具體為,EC處理部分261中與第一DSP 25協作的控制處理的定時控制。
圖20為簡要示出圖19所示拾音設備內第一DSP 25中的麥克風選擇處理以及EC 26中的回聲消除處理的框圖。
圖20所示例證簡化并舉例說明在第一DSP 25中選擇圖4所示6個麥克風之中兩個麥克風MCa和MCb中任一個的情形。以下簡要描述第一DSP 25的處理。
兩個麥克風MCa和MCb的輸出經過圖5所示A/D轉換器27中的兩個A/D轉換器27a和27b而輸入到第一DSP 25中,并且,在第一DSP 25內的峰值檢測部分PDa和PDb上檢測峰值。第一DSP 25中的麥克風選擇處理部分25MS例如選擇具有更高峰值的一個。作為從麥克風選擇處理部分25MS的一個麥克風切換到另一麥克風的切換方法,優選通過圖18所示交叉漸變來切換。從而,麥克風選擇處理部分25改變漸變器FDa和FDb的值,其中,漸變器FDa和FDb互相設置在A/D轉換器27a和27b的輸出側并處于交叉狀態。
通過漸變器FDa和FDb交叉漸變的兩個麥克風MCa和MCb的聲音輸出由加法器ADR相加,并輸出給EC 26。
已經簡單解釋在第一DSP 25中通過交叉漸變而將兩個麥克風MCa和MCb之一切換到另一個的切換方法,然而,麥克風選擇方法和切換方法的細節基于第一實施例的上述方法。
在圖20中簡要示出EC處理部分261的處理。
EC處理部分261具有第一開關SW1、第二開關SW2、第一和第二傳輸特性處理部分2611和2612、加法器-減法器部分2614、以及學習處理部分2615。
通過EC中的控制處理部分,第一開關SW1將停機開關、第一和第二傳輸特性處理部分2611和2612中的任一個連接到A/D轉換器274的輸出信號S1。
傳輸特性處理部分2611和2612是分別為麥克風MCa和MCb的信號產生回聲消除分量的部分。它們具有相同的傳輸特性功能,并具有因麥克風MCa和MCb而不同的延遲元和濾波系數。傳輸特性功能、延遲元和濾波系數在后面描述。
通過EC 264中的控制處理部分,第二開關SW2也將停機開關、第一和第二傳輸特性處理部分2611和2612中的任一個連接到加法器-減法器部分2614。
從第一DSP 25的加法器ADR的信號S25減去所連接傳輸特性處理部分2611和2612的任何輸出,作為加法器-減法器部分2614中的回聲消除分量。
在學習處理部分2615中估計回聲分量,在存儲器部分263中存儲(更新)根據所估計回聲分量的延遲元和濾波系數,并且,將延遲元和濾波系數設定到傳輸特性處理部分2611和2612中與任一個麥克風MCa和MCb相應的任一個。
EC處理部分261中的回聲消除處理是與延遲元有關的均衡濾波處理。在從另一方拾音設備發送的麥克風信號被墻壁、天花板等反射,并由此側的麥克風檢測且進一步到達EC 26之前,延遲元被規定為平均延遲時間。接著,應該除去的振幅的回聲信號分量由均衡濾波器的濾波系數規定。
傳輸特性處理部分2611和2612由相同配置的傳輸功能而被規定為均衡濾波器,然而,延遲元和濾波系數因麥克風MCa和MCb而不同。延遲元和濾波系數由學習處理部分2615存儲在存儲器部分263中。
學習處理部分2615具有與傳輸特性處理部分2611和2612相同的傳輸特性功能,連續地輸入A/D轉換器274的輸出信號S1、第一DSP 25中加法器ADR的輸出信號S25、以及加法器-減法器部分2614的回聲消除處理結果信號S27,學習、處理并估計特性,其中,輸出信號S1表示另一方拾音設備的麥克風選擇信號,從而,除去根據另一方拾音設備麥克風選擇信號的回聲信號(如揚聲器16的反射信號),并估計延遲元和濾波系數。
通過在學習處理部分2615中估計得到的延遲元和濾波系數存儲在存儲器部分263中,對通過開關SW1和SW2連接到加法器-減法器部分2614的任一個傳輸特性處理部分2611和2612進行配置,并使任一個傳輸特性處理部分2611和2612中A/D轉換器274的輸出信號S1均衡。
回聲消除信號S26輸出到D/A轉換器281,在此,回聲消除信號S26是以下信號,其中,均衡信號應用到加法器-減法器部分2614,在加法器-減法器部分2614中從信號S25減去均衡信號,并刪除根據另一方拾音設備麥克風選擇信號的回聲信號(如揚聲器16的反射信號)。
在本實施例中,在圖20例示中,通過一個EC 26,即,通過一個EC處理部分261,對在多個如兩個麥克風MCa和MCb之中選擇的一個麥克風的聲音信號執行回聲消除處理。
當兩個麥克風MCa和MCb之一切換到兩個麥克風中的另一個時,從第一DSP 25中的控制部分25MS或從整個控制部分23經過控制部分25MS向EC中的控制處理部分264報告切換信號。然而,如果EC中的控制處理部分264激活開關SW1和SW2,從而,與所選麥克風相應的傳輸特性處理部分2611和2612連接到加法器-減法器部分2614,并且,如果學習處理部分2615切換到存儲在存儲器23中的延遲元和濾波系數已被切換的麥克風,回聲消除處理就出錯。
理由是由于在從A/D轉換器274輸出的信號S1與回聲之間有時滯,其中,回聲例如為從揚聲器16輸出的并由麥克風MCa和MCb檢測的反射聲,因此,如果立即切換回聲消除處理的目標,就對由與先前所選麥克風MCa和MCb有關的回聲消除處理信號切換的麥克風MCa和MCb的信號執行回聲消除處理。
接著,在本發明的第二實施例中,通過圖21例示的方法執行回聲消除處理的切換。
圖21為示出回聲消除處理的操作定時的視圖。
以下舉例說明執行從第一麥克風MCa到第二麥克風MCb的切換(選擇改變)的情況。
在時間點t1,當檢測到從第一麥克風MCa到第二麥克風MCb的切換時,從第一DSP 25的控制部分25MS經過用于整個控制的微處理器23或從第一DSP 25中的控制部分25MS直接向EC中的控制處理部分264報告檢測的信號。以下描述從控制部分25MS直接向EC中的控制處理部分264報告的情形。
在與時間點t1幾乎相同或稍微延后的時間點t2,EC中的控制處理部分264命令EC處理部分261的學習處理部分2615停止其操作。同時,EC中的控制處理部分264斷開開關SW1和SW2,并切斷傳輸特性處理部分2611、2612與加法器-減法器部分2614之間的連接。因此,回聲消除變為停止狀態,即,在加法器-減法器部分2614中不執行回聲消除處理。
在時間點t3,如結合圖18所述地,第一DSP 25中的控制部分25MS使麥克風MCa和MCb交叉漸變。從時間點t4開始交叉漸變。
交叉漸變時間τcf通常為幾十毫秒,如大約10毫秒-80毫秒。
在時間點t5,在時間點t3或t4被從控制部分25MS報告開始交叉漸變的EC中控制處理部分264命令學習處理部分2615從存儲器部分263讀出與麥克風MCb有關的延遲元和濾波系數,并將它們設定到切換的傳輸特性處理部分2612中。學習處理部分2615學習作為新回聲消除處理目標的麥克風MCb,從存儲器部分263讀出用于麥克風MCb的延遲元和濾波系數,并將它們設定到相應的傳輸特性處理部分2612中。
在時間點t6,被從控制部分25MS報告交叉漸變完成的EC中的控制處理部分264激活開關SW1,從而,A/D轉換器274的輸出信號S1輸入到與所選麥克風MCb相應的傳輸特性處理部分2612中。在此,在選擇的傳輸特性處理部分2612中,通過使用事先獲得的并存儲在存儲器部分263中的延遲元和濾波系數來計算回聲消除分量。然而,由于在此狀態下開關SW2仍然處于斷開狀態,因此,傳輸特性處理部分2612的輸出不施加到加法器-減法器部分2614。
當假設輸入所選傳輸特性處理部分2612的輸出信號,并且輸出信號施加到加法器-減法器部分2614并執行回聲消除處理時,學習處理部分2615檢查是否進入很好地執行回聲消除處理的狀態。
學習處理部分2615連續地執行上述檢查。當判斷所選麥克風MCb進入能充分地或在一定程度上執行回聲消除處理的狀態時,學習處理部分2615通過施加與所選麥克風MCb相應的傳輸特性處理部分2612的輸出信號,而開始回聲消除處理。
可替換地,學習處理部分2615不執行上述檢查,時間點t6和t7之間的時間定義為事先設定的回聲時間,并且,在從時間點t6過去預定時間之后,可在時間點t7重新開始上述回聲消除處理。
然后,在傳輸特性處理部分2612中計算的回聲消除分量在與麥克風MCb有關的加法器-減法器部分2614中減小。
學習處理部分2615估計回聲消除分量,從而,在加法器-減法器部分2614的輸出中除去來自另一方拾音設備的聲音信號,學習用于此設備的延遲元和濾波系數,在存儲器部分263中存儲延遲元和濾波系數,并將它們設定到傳輸特性處理部分2612。
從而,即使執行從第一麥克風MCa到第二麥克風MCb的切換,也可防止發生不自然的回聲消除處理。
EC處理部分261中的回聲消除處理為舉例說明。例如,執行傳輸特性處理部分2611和2612中的傳輸特性功能以及學習處理部分2615中的學習處理。可執行其它的回聲消除處理。
在本實施例中,通過對具有時間常數或延遲元的回聲分量在預定時期保持回聲消除處理為停止狀態,可防止不自然的回聲消除處理。
盡管上述實施例描述執行交叉漸變的情形,但當不執行交叉漸變時,就只能不考慮交叉漸變期地執行處理。
對于第二DSP(回聲消除器)26中的上述處理,盡管在本發明的實施例中描述用具有圖20例示組件的EC 26執行處理的情形,但DSP 26的組件沒有具體限制,并且,只能在EC 26中執行上述回聲消除處理。
在通過使用一個EC 26(EC處理部分261)對多個麥克風的聲音信號執行回聲消除處理的情況下,本實施例尤其有效。
進一步地,在上述實施例中,盡管描述通過始終使用學習處理部分2615并估計回聲消除處理分量而在傳輸特性處理部分2611和2612中設定延遲元和濾波系數的情形,但是,可采用不需使用學習處理部分2615的方法。
例如,在布置拾音設備時,為每個麥克風獲得傳輸特性功能,為每個麥克風獲得延遲元和濾波系數,它們存儲在存儲器部分263中,并且它們用作固定值。也就是說,當切換麥克風時,例如,在上述定時,EC中的控制處理部分264設定到傳輸特性處理部分2611和2612。根據此方法,學習處理部分2615變得不必要,由于不必在學習處理部分2615中順序地學習和執行處理并估計回聲消除處理分量,因此,減少第二DSP(回聲消除器)26的處理。
在本實施例中,可任意地組合上述多個實施例。
應指出,本發明不局限于以上實施例,并且包括在權利要求范圍內的修改。
權利要求
1.一種拾音設備,包括基于預定條件而布置的多個麥克風;麥克風選擇器,所述麥克風選擇器檢測所述多個麥克風的拾音信號,并選擇已經檢測到所述檢測的拾音信號中有效的拾音信號的麥克風;對所述選擇的麥克風的聲音信號執行回聲消除處理的回聲消除處理器;以及回聲消除處理控制器,當切換所述麥克風的聲音信號時,該控制器在預定時期停止所述回聲消除處理。
2.如權利要求1所述的拾音設備,其中,當通過選擇新麥克風的拾音信號而輸出時,所述麥克風選擇器交叉漸變先前所選麥克風的聲音信號和新麥克風的聲音信號,并且,所述回聲消除處理控制器在所述交叉漸變期間停止所述回聲消除處理。
3.一種拾音方法,包括麥克風選擇步驟,所述麥克風選擇步驟檢測基于預定條件而布置的多個麥克風的拾音信號,并選擇已經檢測到所述檢測的拾音信號中有效的拾音信號的麥克風;對所述選擇的麥克風的聲音信號執行回聲消除處理的回聲消除處理步驟;以及回聲消除處理控制步驟,當在所述麥克風選擇步驟中切換所述麥克風的聲音信號時,所述回聲消除處理控制步驟在預定時期停止所述回聲消除處理。
4.如權利要求3所述的拾音方法,其中,在所述麥克風選擇步驟中,當通過選擇新麥克風的拾音信號而輸出時,對先前所選麥克風的聲音信號和新麥克風的聲音信號執行交叉漸變;以及在所述回聲消除處理控制步驟中,在所述交叉漸變期間停止所述回聲消除處理。
全文摘要
本發明涉及一種拾音設備,所述拾音設備用一個回聲消除器對多個麥克風執行回聲消除處理。在切換麥克風時,本發明設備在預定時期停止回聲消除器的學習處理,通過對切換之前麥克風和切換之后麥克風的聲音信號進行交叉漸變而將學習數據切換到新麥克風的學習數據,并且在交叉漸變之后,利用切換之后的學習數據而重新開始回聲消除處理。
文檔編號H04M9/08GK1655646SQ20051000820
公開日2005年8月17日 申請日期2005年2月7日 優先權日2004年2月13日
發明者大木一弘, 鈴木博之 申請人:索尼株式會社