專利名稱：基于隨機傳聲器陣列和雙目視覺的獲取運動聲場視頻的方法
技術領域：
本發明涉及一種基于隨機傳聲器陣列和雙目視覺的獲取運動聲場視頻的方法，屬于噪 聲分析和控制技術領域。
背景技術：
現代社會噪聲已經成為環境污染的一大來源。要有針對性的對噪聲進行處理，首先需 要比較精確地獲取噪聲源的聲場，將各個聲源分辨出來。而聲場的可視化可以使噪聲源的 定位分析更加直觀，從而為進一步的噪聲治理工作提供依據，對噪聲測量以及治理工作都 具有重要意義。
在傳統的研究中，聲場可視化一般都是通過聲場等高線圖或三維聲貌圖與被p物體圖 片匹配顯示后來實現。這一方法需要人工手動將測量結果與運動物體的圖片進行疊加，實 現聲源的定位和分析，需要專業的技術人員才能完成，這將影響測量方法的推廣應用。目 前已有基于規則陣列與攝像機結合進行運動聲源的聲場可視化技術，從而使得動態聲場的 獲取和噪聲源的識別更為便捷和直觀，但規則陣列布局的旁瓣特性使得聲場的測量的準確 程度受到限制。
目前，聲陣列技術在運動聲源識別研究中獲得廣泛應用，陣列布局對于陣列分辨性 能有很大影響，隨機陣列通過優化布局可以降低旁瓣，提高聲場計算的精確度，與傳聲器 數相同的規則陣列相比具有較大的優勢。雙目立體視覺技術是一種比較成熟的技術，已經 被廣泛應用于機器人導航、智能車輛自動駕駛、三維測量和虛擬現實等領域。
發明內容
本發明的目的是提出一種基于隨機傳聲器陣列和雙目視覺的獲取運動聲場視頻的方 法，利用隨機傳聲器陣列獲取聲場數據，利用雙目視覺技術對運動物體進行追蹤，對聲場 的三維空間進行測量，最后實現聲場與視頻圖像的融合。
本發明提出的基于隨機傳聲器陣列和雙目視覺的獲取運動聲場視頻的方法，包括以下 步驟
(1) 設測量用傳聲器所在的陣列平面A的長度為L,、高度為H,，被測運動物體所在 平面R的長度為U、高度為&，陣列平面A與平面R之間的垂直距離為D;
(2) 設上述測量用傳聲器數目為N,任意布置N個傳聲器在陣列平面A中的位置，形 成一個仿真傳聲器陣列，通過仿真計算對該傳聲器陣列的分辨性能進行判斷，方法如下
首先得到隨機傳聲器陣列中各個傳聲器的仿真聲壓信號AW,AW,...，^(0，其中第i 個傳聲器的仿真聲壓信號為<formula>formula see original document page 6</formula>
其中，^)為仿真被測聲源特征函數補)-^cos(2;r/小《。為仿真實測聲源強度，f為仿 真被測聲源的頻率，巧W為在t時刻Q點距第i個傳聲器間的距離，6;^為在t時刻Q點 到第i個傳聲器連線與Q點運動方向間的夾角，M為馬赫數；
根據上述傳聲器的仿真聲壓信號，計算出待測運動物體所在平面R上任意一點S(s,7)
處在f,至,2時間段內的仿真聲場特征函數
^，7)=f P("7M ，其中，=
巧0， & 7)為,時刻面上任意點§0， 7)與第/個傳聲器之間的物理距離；遍歷待測運動物體 所在平面R，得到仿真聲場特征函數分布圖，設分布圖中主瓣峰值為^，最大旁瓣峰值為 &，則旁瓣抑制比^為<formula>formula see original document page 6</formula>
若^,2W且上述傳聲器數8sWd6，或々》16且上述傳聲器數A^16,則該隨機傳聲器 陣列滿足頻率f下的分辨性能要求，進行下一頻率的判斷；
在下一頻率重復上述仿真步驟，若在對每一頻率的仿真都滿足上述分辨性能要求，則
得到測量用的隨機傳聲器陣列；否則隨機生成一個新的仿真傳聲器陣列，重復上述判斷過 程，直至得到一個滿足上述分辨性能要求的仿真傳聲器陣列；
(3) 搭建一個與上述仿真步驟得到的仿真傳聲器陣列相同的傳聲器陣列；
(4) 在被測運動物體側面粘貼10 30個標志圖，在與被測運動物體相距L處布置兩 臺攝像機，兩臺攝像機之間的距離為d，對兩臺攝像機分別進行標定，獲取第一臺攝像機
的內部參數和外部參數攝像機主點坐標("。,，v。,)、鏡頭焦距y;及像素的物理尺寸血,Xfl^ ，
攝像機旋轉矩陣i ,及平移向量^獲取第二臺攝像機的內部參數和外部參數攝像機主點
坐標("。2,v。。、鏡頭焦距/2及像素的物理尺寸血2><辦2，攝像機旋轉矩陣; 2及平移向量;2;
根據第一臺攝像機和第二臺攝像機的上述參數，分別得到第一臺攝像機和第二臺攝像機的 投影矩陣為
<formula>formula see original document page 6</formula><formula>formula see original document page 7</formula>(5) 設被測運動物體以速度z行駛，用上述搭建的傳聲器陣列獲取被測運動物體聲
源的聲壓信號，用兩臺攝像機分別獲取被測運動物體的動態視頻；
(6) 分別將上述兩臺攝像機獲取的動態視頻拆解成圖像，在拆解后的視頻圖像中識 別出被測運動物體上的標志點，對分別識別出的第一臺攝像機和第二臺攝像機圖像上的標 志點進行匹配，使被測運動物體上的同一標志點在兩臺攝像機所獲圖像上的位置相對應；
(7) 設被測運動物體上的標志圖的中心點P在兩臺攝像機所獲取圖像上所成的像的
齊次坐標分別為(",，V,，lf ，("2,V2,lf，在世界坐標系下的齊次坐標為(mZ，lf，則根
據上述攝像機的投影矩陣，有<formula>formula see original document page 7</formula>其中，Zd、 Z^分別為P點在第一臺攝像機和第二臺攝像機的攝像機坐標系中沿攝像機光
軸的坐標，求解上述方程組，得到被測運動物體上的標志點p在世界坐標系下的坐標
<formula>formula see original document page 7</formula>
(9)對上述傳聲器陣列獲取的聲壓信號進行波束成型處理，得到被測運動物體上任
意一點s(f,")處在Z,至f2時間內的聲場特征函數<formula>formula see original document page 7</formula>
P,(f)為f時刻第/個傳聲器接收到的信號聲壓，。"s, 7)為f時刻面上任意點s(e，77)與 第i個傳聲器之間的物理距離，c為聲速，w為傳聲器數目，厶r為攝像機每幀圖像間的時 間間隔，設根據7;時刻的圖像獲得了被測運動物體的空間位置，取/1=7;-*at\
r2=7;+|A:r，遍歷被測運動物體表面，得到被測運動物體的聲場特征函數分布(10)將上述被測運動物體的聲場特征函數分布圖與上述任意一臺攝像機的視頻圖像 進行逐幀空間坐標疊加，并還原成動態視頻圖像。本發明提出的基于隨機傳聲器陣列和雙目視覺的獲取運動聲場視頻的方法，引了入雙 目立體視覺技術，并其與隨機傳聲器陣列結合，實現了聲場可視化。利用隨機傳聲器陣列 獲取聲場信息，提高傳聲器陣列對聲場的空間分辨能力；利用雙目立體視覺技術進行聲場 空間的三維測量和運動物體的自動追蹤，建立聲場空間與信號之間的時空關系，并自動將 聲場測量結果與攝像機的三維視頻圖像匹配在一起，將物體的運動過程與聲場的動態變化 過程以動態視頻的效果直觀顯示出來。從而使測量者在測量過程中就可以從視頻中直接獲 取運動物體在運動過程中的噪聲輻射狀況，直觀獲得各個噪聲源的位置。本發明方法使已 有的聲場可視化的方法更準確實用，使運動噪聲的測量和識別變得容易，為進一步的聲源 識別和降噪工作提供更準確的依據。
圖1是使用本發明方法的測量現場示意圖。
圖2是被測運動物體平面與陣列平面空間關系示意圖。
圖3是仿真計算得出的聲場特征函數分布示意圖。
圖4是本發明中利用三桿支架搭建隨機傳聲器陣列的示例圖。
圖5是本發明中外觸發方式示意圖。
圖6是標志點匹配示意圖。
圖7是三維重構原理圖。
圖1中，l是被測運動物體，2是攝像機，3是傳聲器陣列，4是前置放大器接口箱， 5是數字信號采集儀，6是計算機。
圖5中，l是信號發生器產生的方波信號，2和3分別是兩臺攝像機獲取的視頻信號， 4是傳聲器陣列獲取的聲壓信號。
圖6中，Ml是第一臺攝像機獲取的被測運動物體的圖像，M2是第二臺攝像機獲取的 被測運動物體的圖像，1， 、 2， 、 3， 、 4，分別為標志點l， 2， 3， 4在M1上所成的像， 1" 、 2" 、 3" 、 4"分別為標志點l， 2， 3, 4在M2上所成的像。
圖7中，Nl是第一臺攝像機的成像平面，N2是第二臺攝像機的成像平面，0-XwYwZw 是世界坐標系，ul01vl是第一臺攝像機的圖像坐標系，u202v2是第二臺攝像機的圖像坐 標系，Oc卜XclYclZcl是第一臺攝像機的攝像機坐標系，0c2-Xc2Yc2Zc2是第二臺攝像機 的攝像機坐標系，P點是被測運動物體上的一個標志點，pl、 p2分別為P點在Nl和N2上 所成的像。
具體實施例方式
以下結合附圖詳細介紹本發明提出的基于隨機傳聲器陣列和雙目視覺的獲取運動聲 場視頻的方法，應用本發明方法獲取運動聲場視頻的測量現場如附圖l所示。
(1)如附圖2所示，測量用傳聲器所在的陣列平面A的長度為L卜高度為H,，待測量運動物體所在平面為R的長度為L2、高度為&，陣列平面A與待測量平面R之間的垂直 距離為D;其中陣列平面A是傳聲器位置點所在的一個空間矩形平面，其長度L,、高度H, 與待測量平面R的長度為L2、高度H2大致相當；兩面垂直距離D取值范圍為4 6米。
(2)設上述測量用傳聲器數目為N，任意布置N個傳聲器在陣列平面A中的位置，形 成一個仿真傳聲器陣列，通過仿真計算對該傳聲器陣列的分辨性能進行判斷，方法如下 仿真計算模型如圖2所示，仿真中的參數均取實際測量中的數值，仿真被測聲源Q為 一個點聲源，位于被測運動物體所在平面R的中心，設定其聲源特征函數 《(0 = &cOS(2;r//)，其中《。為仿真實測聲源強度，f為仿真被測聲源的頻率。
則得到仿真傳聲器陣列中各個傳聲器的仿真聲壓信號》,(0,AW,…，AW，其中第i個
傳聲器的仿真聲壓信號為
其中為在t時刻Q點距第i個傳聲器間的距離，S(O為在t時刻Q點到第i個傳聲器 連線與Q點運動方向間的夾角，M為馬赫數。
根據上述傳聲器的仿真聲壓信號，計算出待測運動物體所在平面R上任意一點5(f,T7) 處在f,至/2時間段內的仿真聲場特征函數
50,s,77)為f時刻面上任意點^(S，77)與第!'個傳聲器之間的物理距離。遍歷待測運動物體 所在平面R，得到仿真聲場特征函數分布圖，如圖3所示，該分布圖由一個主瓣和若干旁 瓣組成，設主瓣峰值為/Zp，最大旁瓣峰值為&，則旁瓣抑制比;v為
若y,^w且上述傳聲器數"Wd6,或者r,2l6且w^6,則該仿真傳聲器陣列滿足頻 率f下的分辨性能要求，進行下一頻率的判斷。
在下一頻率重復上述仿真步驟，若在對每一頻率都滿足上述分辨性能要求，則得到測
量用的隨機傳聲器陣列；否則隨機生成一個新的仿真傳聲器陣列，重復上述判斷過程，直
至得到一個滿足上述分辨性能要求的仿真傳聲器陣列。
其中上仿真步驟中頻率的選擇方法為將考察頻率范圍分為高頻段、低頻段和中頻段。 在每個頻段中，各取1 2個特征頻率。
(3)利用三桿式支架，搭建一個與上述仿真步驟得到的仿真傳聲器陣列相同的傳聲
巧(0[1-Mcos《(,)]
7V ._， V
;7 =20 log器陣列，如圖4所示，支架由若干獨立三桿支架組合以覆蓋整個陣列平面范圍。
(4)如附圖1所示，在被測運動物體側面粘貼10 30個標志點，在與被測運動物體 相距L處布置兩臺攝像機，L的取值范圍為4 6m，兩臺攝像機之間的距離為d， d的取值 范圍為1 2m。兩臺攝像機的位置在不與傳聲器陣列相互遮擋的情況下盡可能的靠近。對 兩臺攝像機分別進行標定，獲取第一臺攝像機的內部參數攝像機主點(即攝像機光軸與 成像平面的交點)坐標("。,，v。,)、鏡頭焦距乂及像素的物理尺寸血,x辦,，第一臺攝像機的
外部參數攝像機旋轉矩陣i ,及平移向量^獲取第二臺攝像機的內部參數攝像機主點
(即攝像機光軸與成像平面的交點)坐標("。2,^2)、鏡頭焦距/2及像素的物理尺寸
血2><辦2，第二臺攝像機的外部參數攝像機旋轉矩陣^及平移向量y由第一臺攝像機、 第二臺攝像機的內外部參數，可以分別得到第一臺攝像機和第二臺攝像機的投影矩陣為
乂
M，=
血,
o
0
血2
0
0
0
w01 0
/2,
% v。' 0
0 1 0
0 w02 0
1 0
《
附
Z7Z
21
附
附
13
附
'23
附-
24
32
附
33
34
辦2
0
及2
《《《
《《
m322
(5) 設被測運動物體以速度"于駛，用上述搭建的傳聲器陣列獲取被測運動物體聲
源的聲壓信號，用兩臺攝像機分別獲取被測運動物體的動態視頻；采用外觸發的方式保證 信號和聲壓信號三者同步，如附圖5所示。由信號發生器產生方波信號，用方波信號的每 個上升沿觸發兩臺攝像機進行拍攝，用方波信號的第一個上升沿觸發傳聲器陣列，使其開 始工作。
(6) 分別將上述兩臺攝像機獲取的動態視頻拆解成圖像，在拆解后的視頻圖像中識
別出被測運動物體上的標志點，對分別識別出的第一臺攝像機和第二臺攝像機圖像上的標
志點進行匹配，使被測運動物體上的同一標志點在兩臺攝像機所獲圖像上的位置相對應；，
如附圖6所示。以標志點l為例，即獲取1在C1上的像1'的中心點的位置與1在C2上
的像l"的中心點的位置，將它們配成一對。
(7) 對匹配后的標志點進行三維重構，獲取被測運動物體的空間位置。如附圖7所 示，設被測運動物體上的標志圖的中心點P在兩臺攝像機所獲取圖像上所成的像的齊次坐
標分別為("p、,i)"， ("2,v2，《，在世界坐標系下的齊次坐標為(x,y,z,iy，則根據上述
攝像機的投影矩陣，有<formula>formula see original document page 11</formula>其中，Zd、 Z。分別為P點在第一臺攝像機和第二臺攝像機的攝像機坐標系中沿攝像機光 軸的坐標，聯立上述方程組，將式中的Z^、 ^2消去，可以得到關于X、 Y、 Z的四個線 性方程-
<formula>formula see original document page 11</formula>用最小二乘法求解上述方程組，即可獲得被測運動物體上的標志點P在世界坐標系下的坐標。
(9)對上述傳聲器陣列獲取的聲壓信號進行波束成型處理，得到被測運動物體上任 意一點s(s,;7)處在至z2時間內的聲場特征函數
<formula>formula see original document page 11</formula>
A(0為/時刻第z'個傳聲器接收到的信號聲壓，。(/，s")為？時刻任意點s(s,77)與第/個傳聲 器之間的物理距離，c為聲速，W為傳聲器數目。
攝像機每幀圖像間的時間間隔為Ar，設已經根據z;時刻的圖像獲得了被測運動物體 的空間位置，為了獲取該時刻被測運動物體表面的聲場特征函數分布圖，取<formula>formula see original document page 11</formula>
/2=7^+5么7\遍歷被測運動物體表面，得到被測運動物體的聲場特征函數分布圖；根據
被測運動物體表面聲場特征函數分布圖上各處聲場特征函數的相對強弱就可以識別出運 動物體側面上各主要噪聲源的位置。
(io)將上述被測運動物體的聲場特征函數分布圖與上述任意一臺攝像機的視頻圖像 進行逐幀空間坐標疊加，并還原成動態視頻圖像。
<formula>formula see original document page 11</formula>
權利要求
1、一種基于隨機傳聲器陣列和雙目視覺的獲取運動聲場視頻的方法，其特征在于該方法包括以下步驟(1)設測量用傳聲器所在的陣列平面A的長度為L1、高度為H1，被測運動物體所在平面R的長度為L2、高度為H2，陣列平面A與平面R之間的垂直距離為D；(2)設上述測量用傳聲器數目為N，任意布置N個傳聲器在陣列平面A中的位置，形成一個仿真傳聲器陣列，通過仿真計算對該傳聲器陣列的分辨性能進行判斷，方法如下首先得到隨機傳聲器陣列中各個傳聲器的仿真聲壓信號其中第i個傳聲器的仿真聲壓信號為其中，為仿真被測聲源特征函數為仿真實測聲源強度，f為仿真被測聲源的頻率，為在t時刻Q點距第i個傳聲器間的距離，θi(t)為在t時刻Q點到第i個傳聲器連線與Q點運動方向間的夾角，M為馬赫數；根據上述傳聲器的仿真聲壓信號，計算出待測運動物體所在平面R上任意一點處在t1至t2時間段內的仿真聲場特征函數其中，為t時刻面上任意點與第i個傳聲器之間的物理距離；遍歷待測運動物體所在平面R，得到仿真聲場特征函數分布圖，設分布圖中主瓣峰值為hp，最大旁瓣峰值為hv，則旁瓣抑制比γf為若γf≥N且上述傳聲器數8≤N<16，或γf≥16且上述傳聲器數N≥16，則該隨機傳聲器陣列滿足頻率f下的分辨性能要求，進行下一頻率的判斷；在下一頻率重復上述仿真步驟，若在對每一頻率的仿真都滿足上述分辨性能要求，則得到測量用的隨機傳聲器陣列；否則隨機生成一個新的仿真傳聲器陣列，重復上述判斷過程，直至得到一個滿足上述分辨性能要求的仿真傳聲器陣列；(3)搭建一個與上述仿真步驟得到的仿真傳聲器陣列相同的傳聲器陣列；(4)在被測運動物體側面粘貼10～30個標志圖，在與被測運動物體相距L處布置兩臺攝像機，兩臺攝像機之間的距離為d，對兩臺攝像機分別進行標定，獲取第一臺攝像機的內部參數和外部參數攝像機主點坐標(u01，v01)、鏡頭焦距f1及像素的物理尺寸dx1×dy1，攝像機旋轉矩陣R1及平移向量t1；獲取第二臺攝像機的內部參數和外部參數攝像機主點坐標(u02，v02)、鏡頭焦距f2及像素的物理尺寸dx2×dy2，攝像機旋轉矩陣R2及平移向量t2；根據第一臺攝像機和第二臺攝像機的上述參數，分別得到第一臺攝像機和第二臺攝像機的投影矩陣為(5)設被測運動物體以速度v行駛，用上述搭建的傳聲器陣列獲取被測運動物體聲源的聲壓信號，用兩臺攝像機分別獲取被測運動物體的動態視頻；(6)分別將上述兩臺攝像機獲取的動態視頻拆解成圖像，在拆解后的視頻圖像中識別出被測運動物體上的標志點，對分別識別出的第一臺攝像機和第二臺攝像機圖像上的標志點進行匹配，使被測運動物體上的同一標志點在兩臺攝像機所獲圖像上的位置相對應；(7)設被測運動物體上的標志圖的中心點P在兩臺攝像機所獲取圖像上所成的像的齊次坐標分別為(u1，v1，1)T，(u2，v2，1)T，在世界坐標系下的齊次坐標為(X，Y，Z，1)T，則根據上述攝像機的投影矩陣，有其中，Zc1、Zc2分別為P點在第一臺攝像機和第二臺攝像機的攝像機坐標系中沿攝像機光軸的坐標，求解上述方程組，得到被測運動物體上的標志點P在世界坐標系下的坐標(X，Y，Z，1)T；(9)對上述傳聲器陣列獲取的聲壓信號進行波束成型處理，得到被測運動物體上任意一點s(ε，η)處在t1至t2時間內的聲場特征函數其中，pi(t)為t時刻第i個傳聲器接收到的信號聲壓，ri(t，ε，η)為t時刻面上任意點s(ε，η)與第i個傳聲器之間的物理距離，c為聲速，N為傳聲器數目，ΔT為攝像機每幀圖像間的時間間隔，設根據T1時刻的圖像獲得了被測運動物體的空間位置，取遍歷被測運動物體表面，得到被測運動物體的聲場特征函數分布圖；(10)將上述被測運動物體的聲場特征函數分布圖與上述任意一臺攝像機的視頻圖像進行逐幀空間坐標疊加，并還原成動態視頻圖像。
全文摘要
本發明涉及一種基于隨機傳聲器陣列和雙目視覺的獲取運動聲場視頻的方法，屬于噪聲分析和控制技術領域。首先利用隨機傳聲器陣列獲取聲場信息，利用雙目立體視覺技術進行聲場空間的三維測量和運動物體的自動追蹤，建立聲場空間與信號之間的時空關系，并將聲場測量結果與攝像機的三維視頻圖像匹配在一起，將物體的運動過程與聲場的動態變化過程以動態視頻的效果直觀進行顯示，并獲得各個噪聲源的位置。本發明方法使已有的聲場可視化的方法更準確實用，使運動噪聲的測量和識別變得容易，為進一步的聲源識別和降噪工作提供更準確的依據。
文檔編號G01H17/00GK101414000SQ200810238888
公開日2009年4月22日 申請日期2008年12月4日 優先權日2008年12月4日
發明者兵 李, 李克強, 楊殿閣, 王建強, 羅禹貢, 連小珉, 林 邵, 鄭四發 申請人:清華大學