一種實現自適應環繞聲的方法和系統的制作方法
【專利摘要】本發明公開了一種實現自適應環繞聲的方法和系統,該方法包括:利用目標識別技術對房間指定位置和房間內的用戶進行識別,利用對焦控制技術控制攝像頭采集所識別目標的對焦圖像,并記錄相應對焦參數;根據上述圖像和參數計算出房間相對于攝像頭的位置信息以及用戶相對于攝像頭的位置信息;根據上述計算出的房間和用戶的位置信息,計算能夠在所述房間內的用戶位置處實現環繞聲的聲束;根據計算出的聲束,得到濾波器組的參數,并根據該參數調整揚聲器陣列的濾波器組;音頻信號經過所述調整參數后的濾波器組濾波后,由揚聲器陣列播放,在所述房間內的用戶位置處形成環繞聲。如此可以免去額外的聲學校準過程和校準設備,使用便捷而且不限定用戶的位置。
【專利說明】一種實現自適應環繞聲的方法和系統
【技術領域】
[0001]本發明涉及多媒體播放領域,特別涉及一種實現自適應環繞聲的方法和系統。
【背景技術】
[0002]隨著多媒體技術的發展,使得人們享受多媒體視聽功能的多媒體設備的種類也在曰新月異。本申請涉及具備攝像頭和揚聲器陣列,且需要產生環繞聲效果的多媒體設備。這里為了方便說明,以智能電視為例進行闡述。
[0003]隨著電視制造技術和顯示技術的進步,家用電視變得更輕薄,畫面更清晰明亮,相應的,人們對音頻播放系統的要求也在提高。
[0004]當前,智能電視已有輕薄型的播放系統,如Soundbar (條形音箱)等,用揚聲器陣列代替原來體積相對龐大,布置較為分散的5.1播放系統。揚聲器陣列內置數字信號處理芯片,可以完成音效處理。但輕薄型的揚聲器陣列的一個缺陷是立體聲環繞效果不足。現有的解決方案有Dipole (偶極子)立體聲擴展技術和聲束形成技術等。Dipole (偶極子)聆聽區域較小,對用戶的坐姿也有限制,難以在較大區域內產生豐富的環繞聲。而聲束形成技術可以充分利用廳堂內結構和陣列特性,讓揚聲器陣列發出的聲音形成指向墻壁的聲束,利用墻面的多次反射和散射,可以在整個廳堂內產生豐富的環繞聲效果。
[0005]但是現有的用聲束形成在廳堂內產生環繞聲的技術,為了確認聲束確實打向側墻,產生了反射和環繞效果,必須經過聲學校準過程,因此產生如下問題:第一,在揚聲器陣列使用前需要人工校準,過程較為繁瑣。第二,需要額外的校準設備,如測量傳聲器等。第三,用戶的聆聽位置受限在較狹窄的范圍內,如果用戶希望在別的位置也有良好的環繞聲效果,則需要重新校準。
【發明內容】
[0006]鑒于上述問題,本發明提供一種克服上述問題或者至少部分地解決上述問題的一種實現自適應環繞聲的方法和系統。
[0007]依據本發明的一個方面,公開了一種實現自適應環繞聲的方法,該方法包括:
[0008]利用目標識別技術對房間指定位置和房間內的用戶進行識別,利用對焦控制技術控制攝像頭采集所識別目標的對焦圖像,并記錄相應對焦參數;
[0009]根據所采集的對焦圖像以及所記錄的相應對焦參數,計算出房間相對于攝像頭的位置信息以及計算出用戶相對于攝像頭的位置信息;
[0010]根據計算出的房間相對于攝像頭的位置信息、用戶相對于攝像頭的位置信息以及攝像頭與揚聲器陣列之間的相對位置關系,計算能夠在所述房間內的用戶的位置處實現環繞聲的聲束的路徑;
[0011]根據計算出的聲束的路徑,確定揚聲器陣列的濾波器組的參數,并用該參數調整揚聲器陣列的濾波器組;
[0012]音頻信號經過所述調整參數后的濾波器組濾波后,由揚聲器陣列播放,在所述房間內的用戶的位置處形成環繞聲。
[0013]依據本發明的另一個方面,提供了一種實現自適應環繞聲的系統,該系統包括:攝像頭、目標識別和成像單元、位置信息提取單元、聲束控制單元和揚聲器陣列;
[0014]攝像頭,用于采集圖像;
[0015]目標識別和成像單元,用于利用目標識別技術對房間指定位置和房間內的用戶進行識別,利用對焦控制技術控制攝像頭采集所識別目標的對焦圖像,并記錄相應對焦參數;
[0016]位置信息提取單元,用于根據所采集的對焦圖像以及所記錄的相應對焦參數,計算出房間相對于攝像頭的位置信息以及計算出用戶相對于攝像頭的位置信息;
[0017]聲束控制單元,用于根據計算出的房間相對于攝像頭的位置信息、用戶相對于攝像頭的位置信息以及攝像頭與揚聲器陣列之間的相對位置關系,計算能夠在所述房間內的用戶的位置處實現環繞聲的聲束的路徑;并根據計算出的聲束的路徑,確定揚聲器陣列的濾波器組的參數,并用該參數調整揚聲器陣列的濾波器組;
[0018]揚聲器陣列,用于利用調整參數后的濾波器組對音頻信號濾波后播放,在所述房間內的用戶的位置處形成環繞聲。
[0019]本發明利用目標識別和對焦控制技術,采集房間指定位置和用戶的對焦圖像,并記錄對焦參數,進而計算出房間相對于攝像頭位置信息,以及用戶相對于攝像頭的位置信息,根據這些信息計算能在用戶位置處實現環繞聲的聲束,根據計算出的聲束的路徑,確定揚聲器陣列的濾波器組的參數,調整濾波器組,并將經過調整參數后的濾波器組濾波后的聲束由揚聲器陣列播放,從而在目標房間內的用戶所在的位置處自適應地形成環繞聲。本發明的技術方案可以免去額外的聲學校準過程和校準設備,無需人工校準,自動計算最適合用戶的揚聲器陣列聲束朝向角度,讓用戶體驗到豐富的環繞聲效果,且當用戶移動位置時也能夠及時地在移動后的位置處自適應地實現環繞聲,不限定用戶的位置和聆聽習慣。
【專利附圖】
【附圖說明】
[0020]圖1是本發明一個實施例的一種實現自適應環繞聲方法的流程圖;
[0021]圖2是本發明一個實施例的一種實現自適應環繞聲方法的原理不意圖;
[0022]圖3是本發明一個實施例的實現環繞聲的聲束的路徑示意圖;
[0023]圖4是本發明一個實施例的待識別目標在攝像頭拍攝照片中的位置的示意圖;
[0024]圖5是本發明一個實施例的用戶與攝像頭鏡頭之間的距離關系的示意圖;
[0025]圖6是本發明一個實施例的用戶與攝像頭鏡頭之間的角度關系的示意圖;
[0026]圖7是本發明一個實施例的左墻角與攝像頭鏡頭之間的距離關系的示意圖;
[0027]圖8是本發明一個實施例的左墻角與攝像頭鏡頭之間的角度關系的示意圖;
[0028]圖9是本發明一個實施例的聲束的路徑計算不意圖;
[0029]圖10是本發明一個實施例的無法檢測到一側墻角的示意圖;
[0030]圖11是本發明一個實施例的聲束可能被用戶遮擋的示意圖;
[0031]圖12是本發明實施例中的一種實現自適應環繞聲的系統的示意圖。
【具體實施方式】[0032]下面將參照附圖更詳細地描述本公開的示例性實施例。雖然附圖中顯示了本公開的示例性實施例,然而應當理解,可以以各種形式實現本公開而不應被這里闡述的實施例所限制。相反,提供這些實施例是為了能夠更透徹地理解本公開,并且能夠將本公開的范圍完整的傳達給本領域的技術人員。
[0033]圖1是本發明一個實施例中的一種實現自適應環繞聲方法的流程圖,參見圖1,該方法包括:
[0034]步驟S110,利用目標識別技術對房間指定位置和房間內的用戶進行識別,利用對焦控制技術控制攝像頭采集所識別目標的對焦圖像,并記錄相應對焦參數。
[0035]在本發明的一個實施例中,利用墻邊線識別技術(floor-walI boundaryrecognition)識別出墻角和墻邊線,然后利用對焦控制技術對墻角和墻邊線對焦,并采集墻角和墻邊線的對焦圖像。在本發明的一個實施例中,對用戶進行識別具體是對用戶的面部進行識別,即利用人臉識別技術識別出用戶的面部,然后利用對焦控制技術對用戶的面部對焦,并采集用戶的面部的對焦圖像。所記錄的對焦參數包括:采集對焦圖像時的焦距和像距。在本發明的其他實施例中也可以采用可行的其他技術對用戶進行識別。
[0036]即利用墻邊線識別技術識別出左墻角、右墻角、左墻邊線中點和右墻邊線中點,其中墻邊線中點是指該墻邊線在對焦圖像中出現的那部分的中點;利用人臉識別技術識別出房間內的用戶面部;目標識別出后,對目標所在區域進行計算,并依據計算結果驅動對焦馬達使攝像頭對所識別目標進行精確對焦和清晰成像。
[0037]在本發明的實施例中,只采集單個用戶面部對焦圖像。如果房間內有多個人,以最接近房間中心的人為用戶,采集其面部對焦圖像。
[0038]步驟S120,根據所采集的對焦圖像以及所記錄的相應對焦參數,計算出房間相對于攝像頭的位置信息以及用戶相對于攝像頭的位置信息。
[0039]所述攝像頭可以為被動對焦型的攝像頭、主動對焦型的攝像頭或具有深度感知的攝像頭。
[0040]在本步驟中:計算出左墻角、右墻角、左墻邊線中點和右墻邊線中點距離攝像頭的物距以及相對于攝像頭鏡頭中軸線的角度,以及計算出左墻邊線的方程、右墻邊線的方程和對墻邊線的方程;以及計算出用戶距離攝像頭的物距和用戶相對于攝像頭鏡頭中軸線的角度。
[0041]在本發明的一個實施例中,根據采集用戶的面部的對焦圖像時所記錄的焦距和像距,依據共軛成像原理得到用戶距離攝像頭的物距;根據用戶的面部在對焦圖像中的位置,結合攝像頭鏡頭的視角參數,確定用戶相對于攝像頭鏡頭中軸線的角度;同理,分別得到左墻角、右墻角、左墻邊線中點和右墻邊線中點距離攝像頭的物距以及相對于攝像頭鏡頭中軸線的角度;根據左墻角和左墻邊線中點的坐標信息,依據兩點確定一條直線的原理得到左墻邊線的方程;根據右墻角和右墻邊線中點的坐標信息,依據兩點確定一條直線的原理得到右墻邊線的方程。這里,根據左墻角和右墻角的坐標,以及左墻邊線和右墻邊線的方程就可以確定房間相對于攝像頭的位置信息。
[0042]步驟S130,根據計算出的房間相對于攝像頭的位置信息、用戶相對于攝像頭的位置信息以及攝像頭與揚聲器陣列之間的相對位置關系,計算能夠在所述房間內的用戶的位置處實現環繞聲的聲束的路徑。[0043]步驟S140,根據計算出的聲束的路徑,確定揚聲器陣列的濾波器組的參數,并用該參數調整揚聲器陣列的濾波器組。
[0044]即計算得到聲束朝向角后,計算揚聲器陣列的濾波器組。
[0045]步驟S150,音頻信號經過所述調整參數后的濾波器組濾波后,由揚聲器陣列播放,在所述房間內的用戶所在的位置處形成環繞聲。
[0046]圖1所示的這種方法能夠在目標房間內的用戶所在的位置處自適應地形成環繞聲。且這種方法無需人工校準,對于智能電視來說不需要增加額外的硬件,且當用戶移動位置時也能夠及時地在移動后的位置處自適應地實現環繞聲。
[0047]圖2是本發明一個實施例的一種實現自適應環繞聲方法的原理示意圖。如圖2所示,本實施例的方法分三大步驟:
[0048]第一步,目標識別和成像:該步驟的作用是利用目標識別技術,即分別利用墻邊線識別技術和人臉識別技術,對房間指定位置(在本發明的實施例中是左右墻角和左右墻邊線中點)和用戶面部進行識別,并控制攝像頭進行自動對焦,采集相應目標的對焦圖像,同時記錄采集對焦圖像時的對焦參數。
[0049]第二步,位置信息計算:位置信息計算包括用戶相對于揚聲器陣列的位置的計算,房間相對于揚聲器陣列的位置信息的計算。
[0050]第三步,聲束控制:根據第二步計算得出的相關數據,計算能夠在所述房間內的用戶所在的位置處實現環繞聲的聲束的路徑。根據計算出的聲束的路徑計算濾波器組的參數,聲源信號經過濾波,由揚聲器陣列播放,形成環繞聲。對每一個揚聲器單兀,左聲道聲源經過左聲束濾波器組濾波后疊加,右聲道聲源經右聲束濾波器組濾波后疊加,共同疊加后由該揚聲器單兀播放。
[0051]之所以區分左、右聲束濾波器組,是因為對每個單元,左聲道兩個聲束是左聲源經左聲束I濾波器濾波和聲束2濾波器濾波,右聲道聲束是右聲源經過右聲束I和右聲束2兩個濾波器濾波。每個濾波器都有獨立的意義,權值也不一樣,需分開處理,而且左右聲源也不一樣,因此區分左右濾波器組。
[0052]圖3是本發明一個實施例的實現環繞聲的聲束的路徑示意圖。在本發明的實施例中,能夠在房間內的用戶的位置處實現環繞聲的聲束是指在墻面經過一次反射或二次反射后到達用戶的位置的聲束。具體來說能夠在房間內的用戶所在的位置處實現環繞聲的聲束的路徑如圖3所示,左聲道的聲源形成兩個聲束,分別在墻面一次和二次反射,到達用戶,右聲道也一樣。即在本實施例中能夠在房間內的用戶所在的位置處實現環繞聲的聲束包括:
[0053]左聲束1:打向左側墻,在左側墻做一次反射后到達用戶所在位置的聲束;
[0054]左聲束2:打向左側墻,在左側墻做一次反射,又在對面墻做一次反射后到達用戶所在位置的聲束;
[0055]右聲束1:打向右側墻,在右側墻做一次反射后到達用戶所在位置的聲束;
[0056]右聲束2:打向右側墻,在右側墻做一次反射,又在對面墻做一次反射后到達用戶所在位置的聲束。
[0057]下面對上述過程進行進一步的詳細說明。這里需要提前聲明的是:由于智能電視的攝像頭和揚聲器陣列位置相對固定,攝像頭一般位于電視頂端中心,而揚聲器陣列位于電視底邊,且攝像頭和揚聲器陣列一般處于同一個垂直直線上,因此在后續的實施例中,認為攝像頭和揚聲器陣列處于相同的位置,即各目標相對于攝像頭的位置與各目標相對于揚聲器陣列的位置是相同的。
[0058]1.目標識別和對焦成像
[0059]圖4是本發明一個實施例的待識別目標在攝像頭拍攝照片中的位置的示意圖。參見圖4,在本發明的實施例中,待識別的目標包括:房間的左墻角、右墻角、左墻邊線、右墻邊線和用戶面部。目標識別出后,自動對焦控制裝置會對目標所在區域進行計算,依據計算結果驅動對焦馬達,使攝像頭對目標精確對焦和清晰成像。
[0060]利用墻邊線識別技術(floor-wall boundary recognition)識別出墻角和墻邊線,利用人臉識別技術識別出用戶的面部。
[0061]利用對焦控制技術,控制攝像頭對房間指定位置(如房間左右墻角、左右墻邊線中點)和用戶面部等各個目標精確對焦,并采集上述左右墻角、左右墻邊線和用戶面部的對焦圖像,對焦成像同時記錄對焦參數,用于后續計算房間相對于攝像頭的位置和用戶在房間中相對于攝像頭的位置。
[0062]2.位置信息提取
[0063]根據所采集的對焦圖像以及所記錄的相應對焦參數,計算出房間相對于攝像頭的位置信息以及用戶相對于攝像頭的位置信息,分述如下:
[0064]2.1用戶相對于攝像頭的位置信息計算
[0065]根據所采集的對焦圖像以及所記錄的相應對焦參數,可以計算用戶到攝像頭鏡頭平面的距離,以及用戶相對于攝 像頭中軸線的角度坐標。
[0066]2.1.1用戶到攝像頭的距離的計算
[0067]根據采集用戶的面部的對焦圖像時所記錄的焦距和像距,依據共軛成像原理得到用戶距離攝像頭的物距。
[0068]如果是主動對焦型的攝像頭,對焦前會做測距,如紅外測距,輔助光測距或者超聲測距等,則用戶到攝像頭鏡頭的距離是直接可以測量得到的。不需要另外計算。此外對于一些具有深度感知的攝像頭,如多鏡頭的攝像頭或者3D攝像頭,也可以通過視角差等手段直接確定物距。對于被動對焦型攝像頭,則需要通過計算得到物距。計算方式參考圖5。
[0069]圖5是本發明一個實施例的用戶與攝像頭鏡頭之間的距離關系的示意圖。如圖5所示,設用戶到鏡頭平面的距離為1。,也即物距,精確對焦成像時,成像平面到鏡頭平面的距離為I’。也即像距,鏡頭的焦距為f,焦距是鏡頭的固有參數,精確對焦時,1\也是已知的。則根據共軛成像原理I。的公式如下式,可以計算得到用戶到鏡頭平面的距離。
/
[0070]C }___L
I—Tc
[0071]2.1.2用戶角度坐標的計算
[0072]根據用戶的面部在對焦圖像中的位置,結合攝像頭鏡頭的視角參數,確定用戶相對于攝像頭鏡頭中軸線的角度。
[0073]圖6是本發明一個實施例的用戶與攝像頭鏡頭之間的角度關系的示意圖。如圖6所示,在得到精確對焦的清晰圖片后,使用人臉識別和輪廓提取等圖像處理技術,可以在圖片中得到用戶面部在圖片中的位置,結合鏡頭的視角參數,可以確定用戶相對于鏡頭中軸線的角度,即角度坐標。
[0074]設在用戶面部的對焦圖像中,用戶面部中心距離圖片左邊緣的距離為da,距離右邊緣為‘,鏡頭的視角為α,以鏡頭中軸線指向的角度為O度。用戶的面部相對鏡頭中軸線的角度為β,用戶距離電視的距離即物距為lc。則根據三角函數,在其他參數已知時,可以算出得到用戶的面部角度坐標:
[0080]2.2房間相對于攝像頭的位置信息計算
[0081]同理,分別得到左墻角、右墻角、左墻邊線中點和右墻邊線中點距離攝像頭的物距以及相對于攝像頭鏡頭中軸線的角度;根據左墻角和左墻邊線中點的坐標信息,依據兩點確定一條直線的原理得到左墻邊線的方程;根據右墻角和右墻邊線中點的坐標信息,依據兩點確定一條直線的原理得到右墻邊線的方程。
[0082]利用墻邊線識別(floor-wall boundary recognition)技術和對焦控制技術得到的對焦圖像和相應的對焦參數,計算左右墻角和左右墻邊線中點到鏡頭的距離,以及角度坐標。在本發明的其它實施例中也可以計算出墻邊線相對于鏡頭中軸線的夾角。如圖4所示,墻邊線中點,是指該墻邊線在對焦圖像中出現的那部分的中點。
[0083]這里需要說明的是:確定墻邊線方程不一定需要墻邊線中點,墻角和墻邊線上任一點都可以確定墻邊線的方程。在本實施例中取墻邊線中點是為了避免照片邊緣處的變形和模糊。具體方法是:以左墻邊線為例,已知照片上的左墻角的坐標,也檢測到左墻邊線(可能并非完整墻邊線,而是部分),則左墻邊線中點距離照片左邊緣的距離,恰為左墻角距離左邊緣的距離的一半,且在左墻邊線上。這樣可以計算得到坐標位置,而后精確對焦。
[0084]圖7是本發明一個實施例的左墻角與攝像頭鏡頭之間的距離關系的示意圖。如圖7所示,以左墻角和左墻邊線中點為例,設左墻角到鏡頭平面的距離為Im,精確對焦成像時,成像平面到鏡頭平面的距離為I’?也即像距,鏡頭的焦距為f,焦距是鏡頭的固有參數,根據共軛成像,計算得到左墻角到鏡頭平面的距離。
I =_-_
[0085]L,r 丄_丄
I I'LW
[0086]在得到精確對焦的清晰圖片和識別墻角后,利用鏡頭參數,可以計算得到左墻角角度坐標。圖8是本發明一個實施例的左墻角與攝像頭鏡頭之間的角度關系的示意圖。如圖8所示,設在左墻角的對焦圖像上左墻角距離左邊緣的距離為CIml,距離右邊緣為(Ilm,鏡頭的視角為α,以鏡頭中軸線指向的角度為O度。左墻角相對鏡頭中軸線的角度為則可以算出
(dL Wl1- dL ητ) tan —
[0087]Yl = arctan -—
^LWR + dLWL
VJ
[0088]在以攝像頭的位置為零點,以攝像頭的中軸線為X軸的平面直角坐標系中,左墻角的平面直角坐標為(lw ,lMtanYj。同理,對左墻邊線中點,可以求得其相對鏡頭的距離和角度,設其分別為1mm和Y LI?則左墻邊線中點的平面直角坐標為(1?1,lumtan y LM),繼而根據兩點一線的原理,求出左墻邊線的方程:y = kx+c
[0089]其中,.,j一 Lr t^rl -lUrxi tanZz v/
[0090]K ------1lw-1lwm
[0091]c _ kw ^yJlwm —ILWAi
taH-
^LW — IL'VM
[0092]同理,可計算出右墻角與右墻邊線的方程。
[0093]在本實施例中,房間相對于攝像頭的位置信息具體為:左右墻角的坐標以及左右墻邊線的方程,其中,所采用的坐標系是以攝像頭為零點,以攝像頭鏡頭中軸線為X軸,且X軸和y軸確定的平面與水平面平行的直角坐標系,在本實施例中稱為基準坐標。
[0094]3.聲束控制
[0095]3.1聲束路徑的計算
[0096]在本發明的一個實施例中,能夠在房間內的用戶所在的位置處實現環繞聲的較佳聲束包括如圖3所示的:左聲束1、左聲束2、右聲束I和右聲束2。
[0097]需要根據計算出的房間相對于攝像頭的位置信息、用戶相對于攝像頭的位置信息以及攝像頭與揚聲器陣列之間的相對位置關系,計算能夠在房間內的用戶所在的位置處實現環繞聲的聲束的路徑。在本發明的一個實施例中,由于攝像頭一般擺放在電視中心位置,與揚聲器陣列中心位置接近,而且攝像頭的鏡頭平面,一般也與陣列陣元的平面平行。因此,攝像頭測量的位置,可以作為聲束方向計算的依據。借助聲音傳播的原理,可以計算左聲束位置。即在本實施例中,由于攝像頭和揚聲器陣列位于同一條垂直直線上,因此認為攝像頭和揚聲器陣列處于前述坐標系中的相同的位置,即各個目標相對于攝像頭的位置與各個目標相對于揚聲器陣列的位置是一致的。
[0098]3.1.1左聲束I的方程計算
[0099]在前述的基準坐標中,攝像頭所在的位置為零點,并得到用戶所在位置相對于左墻邊線的鏡像點;根據零點和該鏡像點的坐標依據兩點確定一條直線的原理得到左聲束I的方程,具體為:
[0100]根據2.2中的計算可得到左墻邊線的方程:y = kx+c ;[0101]設用戶在所述基準坐標系中的坐標為(a,b),用戶相對于左墻邊線的鏡像點為(^b1), (a, b)與(^b1)的連線的垂直平分線就是左墻邊線方程。
[0102]則左聲束I通過零點和用戶鏡像點(a” h),左聲束方程為:
[0107]3.1.2左聲束2的方程計算
[0108]左聲束2的求取方法類似,只是需要計算二次反射,以攝像頭所在的位置為零點,并得到用戶所在位置相對于對墻邊線的鏡像點1,根據鏡像點I得到該鏡像點I相對于左墻邊線的鏡像點2,根據零點和鏡像點2的坐標依據兩點確定一條直線的原理,得到左聲束2的方程,具體為:
[0109]設攝像頭對面墻的墻邊線(對墻邊線)方程為:y = k2x+c2 ;
[0110]左墻邊線和用戶的定義如前。設用戶相對于對墻邊線鏡像點是(a2,b2),(a2, b2)相對于左墻邊線的鏡像點是(a3,b3),如圖9所示。圖9是本發明一個實施例的聲束的路徑計算示意圖,則左聲束2的方程為:
/)’
[0111]產——1
a,
[0112]由于(a2, b2)是(a, b)相對于對墻邊線y = k2x+c2的鏡像點,即y = k2x+c2上任何一個點,到(a2,b2)和(a,b)的距離都相等,則從鏡像關系的方程式可以得到關系式:
2k,;b + (I — k,; ^ a — 2k,
[0113]a, =—^-—
2/^ + 1
- j k0 — I2m2 C0
[0114]
[0115]同理,(a3,b3)是(a2,b2)相對于左墻邊線y = kx+c的鏡像點,則同樣根據鏡像關系的方程式可以得到:
「 ?2kb,+ ( \ — kr、a,— 2L.[0116]α = _2 1 ”-
3k1 + I
,,k2-\ 2a,2c
[_ h = h^+1^7V)+YVi
[0118]由此,在左墻邊線位置和對墻邊線位置,以及用戶位置均已知的情況下,可以求得左聲束2的方程。
[0119]同理,得到右聲束I和右聲束2的方程。[0120]在本發明的其它實施例中,如果攝像頭和揚聲器之間存在相對位置差(即在所述基準坐標系中位于不同的點),則需要根據攝像頭與揚聲器陣列之間的相對位置關系,將房間相對于攝像頭的位置信息以及用戶相對于攝像頭的位置信息,轉換為房間相對于揚聲器陣列的位置信息以及用戶相對于揚聲器陣列的位置信息;然后以揚聲器陣列所在的位置為零點建立坐標系,并得到該坐標系中用戶所在位置相對于左墻邊線的鏡像點;根據零點和該鏡像點的坐標依據兩點確定一條直線的原理得到左聲束I的方程。以揚聲器陣列所在的位置為零點建立坐標系,并得到該坐標系中用戶所在位置相對于對墻邊線的鏡像點,根據用戶相對于對墻邊線的鏡像點可以得到該鏡像點相對于左墻邊線的鏡像點,根據兩點確定一線的原理,得到左聲束2的方程。同理,得到右聲束I和右聲束2的方程。
[0121]3.2異常情況的處理
[0122]實際使用中可能遇到一些異常情況。比如無法完全檢測墻角位置,或電視和揚聲器陣列擺放在邊角位置,或與房間墻面不平行,或者聲束可能被用戶遮擋等情形。聲束的計算會出現一些變化。
[0123]圖10是本發明一個實施例的無法檢測到一側墻角的示意圖。在無法檢測一側墻角位置,也無法計算得到對應墻壁的位置時,如圖10所示,則讓這一側兩個聲束的方向與用戶錯開一定角度,比如根據經驗值可以設為60度和45度,作為這一側兩個聲束的默認角度。即當無法采集到左墻角和/或右墻角的圖像時,令對應側的兩個聲束的方向與用戶錯開一定角度。如左側墻邊線沒有在鏡頭中出現,則左聲束I的角度是用戶的方位角加60度,而左聲束2是用戶方位角加45度,右側同理。
[0124]默認角度下,聲束的一次反射點處在側墻上,設定其與鏡頭的視角有關,如果鏡頭內沒有拍攝到一邊墻角,則墻角與鏡頭中心連線的角度(相對鏡頭中軸線)必然是大于視角的,而攝像頭的視角,通常也會覆蓋對面墻的一半以上寬度。常用的智能電視攝像頭,視角范圍不超過正負45度,一般在正負30度范圍內,因此將默認角度設為不小于45度,則一次反射點將有較大可能處在側墻上。默認角度的設定還可以有其他方式或者其他數值,如果攝像頭的視角較大,則默認角度也會相應加大。如果視角較小,則默認角度也會相應縮小。
[0125]圖11是本發明一個實施例的異常情況聲束可能被用戶遮擋的示意圖。在聲束可能被用戶遮擋時,如圖11所示,該方向的聲束取消。即當所述聲束1、聲束2、聲束3和聲束4中的任一個被用戶遮擋時,取消該聲束。
[0126]需要說明的是,用戶以外的其他遮擋物不需要取消聲束,只有用戶遮擋時才取消聲束。
[0127]3.3濾波器組參數的計算
[0128]根據計算出的聲束的路徑,確定揚聲器陣列的濾波器組的參數,并用該參數調整揚聲器陣列的濾波器組。
[0129]計算得到聲束的路徑后便知聲束相對于揚聲器陣列的朝向角,可以計算揚聲器陣列的濾波器組。如果揚聲器陣列各單元的頻響為:
[0130]R(9,f) =;
[0131]其中,f為頻率,Θ為角度,濾波器組為:
[0132]Hli ( Θ , f) = [Hlu ( Θ,f)HL12 ( Θ , f)...Hlim ( Θ , f)];[0133]陣元的位置則可以依據聲束形成的一般定理計算濾波器組,常見的算法如最小方差無失真響應算法(MVDR)或者延時-相加波束形成算法(Delay-And-Sum)等。
[0134]以MVDR為例,濾波器組可以計算如下:
[0135]設聲束角度為0U,則最理想的聲束指向,應該是輻射能量全部集中在,而在其他區域為O。也即理想聲束的響應函數為:
【權利要求】
1.一種實現自適應環繞聲的方法,其特征在于,該方法包括: 利用目標識別技術對房間指定位置和房間內的用戶進行識別,利用對焦控制技術控制攝像頭采集所識別目標的對焦圖像,并記錄相應對焦參數; 根據所采集的對焦圖像以及所記錄的相應對焦參數,計算出房間相對于攝像頭的位置信息以及計算出用戶相對于攝像頭的位置信息; 根據計算出的房間相對于攝像頭的位置信息、用戶相對于攝像頭的位置信息以及攝像頭與揚聲器陣列之間的相對位置關系,計算能夠在所述房間內的用戶的位置處實現環繞聲的聲束的路徑; 根據計算出的聲束的路徑,確定揚聲器陣列的濾波器組的參數,并用該參數調整揚聲器陣列的濾波器組; 音頻信號經過所述調整參數后的濾波器組濾波后,由揚聲器陣列播放,在所述房間內的用戶的位置處形成環繞聲。
2.如權利要求1所述的方法,其特征在于,所述利用目標識別技術對房間指定位置和房間內的用戶進行識別,利用對焦控制技術控制攝像頭采集所識別目標的對焦圖像包括: 利用墻邊線識別技術識別出左墻角、右墻角、左墻邊線中點和右墻邊線中點,其中墻邊線中點是指該墻邊線在對焦圖像中出現的那部分的中點;利用人臉識別技術識別出房間內的用戶面部;目標識別出后,對目標所在區域進行計算,并依據計算結果驅動對焦馬達使攝像頭對所識別目標進行精確對焦和清晰成像; 相應地, 所述計算出房間相對于攝像頭的位置信息包括:計算出左墻角、右墻角、左墻邊線中點和右墻邊線中點距離攝像頭的`物距以及相對于攝像頭鏡頭中軸線的角度,以及計算出左墻邊線的方程、右墻邊線的方程和對墻邊線的方程; 所述計算出用戶相對于攝像頭的位置信息包括:計算出用戶距離攝像頭的物距和用戶相對于攝像頭鏡頭中軸線的角度。
3.如權利要求2所述的方法,其特征在于,所述能夠在所述房間內的用戶的位置處實現環繞聲的聲束是指在墻面經過一次反射或二次反射后到達所述用戶的位置的聲束,包括: 左聲束1:打向左側墻,在左側墻做一次反射后到達用戶所在位置的聲束; 左聲束2:打向左側墻,在左側墻做一次反射,又在對面墻做一次反射后到達用戶所在位置的聲束; 右聲束1:打向右側墻,在右側墻做一次反射后到達用戶所在位置的聲束; 右聲束2:打向右側墻,在右側墻做一次反射,又在對面墻做一次反射后到達用戶所在位置的聲束。
4.如權利要求3所述的方法,其特征在于,所述根據計算出的房間相對于攝像頭的位置信息、用戶相對于攝像頭的位置信息以及攝像頭與揚聲器陣列之間的相對位置關系,計算能夠在所述房間內的用戶的位置處實現環繞聲的聲束的路徑包括: 根據攝像頭與揚聲器陣列之間的相對位置關系,將房間相對于攝像頭的位置信息以及用戶相對于攝像頭的位置信息,轉換為房間相對于揚聲器陣列的位置信息以及用戶相對于揚聲器陣列的位置信息;以揚聲器陣列所在的位置為零點,首先得到用戶相對于左墻邊線的鏡像點,然后根據零點和該鏡像點的坐標依據兩點確定一條直線的原理得到左聲束I的方程; 以揚聲器陣列所在的位置為零點,首先得到用戶相對于對墻邊線的鏡像點1,接著根據鏡像點I得到該鏡像點I相對于左墻邊線的鏡像點2,然后根據零點和鏡像點2的坐標依據兩點確定一條直線的原理,得到左聲束2的方程; 同理,得到右聲束I和右聲束2的方程。
5.如權利要求3所述的方法,其特征在于,該方法進一步包括: 當無法采集到左墻角和/或右墻角的圖像時,令對應側的兩個聲束的方向與用戶錯開一定角度; 或者, 當所述聲束1、聲束2、聲束3和聲束4中的任一個被用戶遮擋時,取消該聲束。
6.一種實現自適應環繞聲的系統,其特征在于,該系統包括:攝像頭、目標識別和成像單元、位置信息提取單元、聲束控制單元和揚聲器陣列; 攝像頭,用于采集圖像; 目標識別和成像單元,用 于利用目標識別技術對房間指定位置和房間內的用戶進行識另IJ,利用對焦控制技術控制攝像頭采集所識別目標的對焦圖像,并記錄相應對焦參數; 位置信息提取單元,用于根據所采集的對焦圖像以及所記錄的相應對焦參數,計算出房間相對于攝像頭的位置信息以及計算出用戶相對于攝像頭的位置信息; 聲束控制單元,用于根據計算出的房間相對于攝像頭的位置信息、用戶相對于攝像頭的位置信息以及攝像頭與揚聲器陣列之間的相對位置關系,計算能夠在所述房間內的用戶的位置處實現環繞聲的聲束的路徑;并根據計算出的聲束的路徑,確定揚聲器陣列的濾波器組的參數,并用該參數調整揚聲器陣列的濾波器組; 揚聲器陣列,用于利用調整參數后的濾波器組對音頻信號濾波后播放,在所述房間內的用戶的位置處形成環繞聲。
7.如權利要求6所述的系統,其特征在于, 所述目標識別和成像單元,具體用于利用墻邊線識別技術識別出左墻角、右墻角、左墻邊線中點和右墻邊線中點,其中墻邊線中點是指該墻邊線在對焦圖像中出現的那部分的中點;利用人臉識別技術識別出房間內的用戶面部;目標識別出后,對目標所在區域進行計算,并依據計算結果驅動對焦馬達使攝像頭對所識別目標進行精確對焦和清晰成像; 相應地, 所述位置信息提取單元,具體用于計算出左墻角、右墻角、左墻邊線中點和右墻邊線中點距離攝像頭的物距以及相對于攝像頭鏡頭中軸線的角度,以及計算出左墻邊線的方程、右墻邊線的方程和對墻邊線的方程;以及計算出用戶距離攝像頭的物距和用戶相對于攝像頭鏡頭中軸線的角度。
8.如權利要求7所述的系統,其特征在于,所述能夠在所述房間內的用戶的位置處實現環繞聲的聲束是指在墻面經過一次反射或二次反射后到達所述用戶所在位置的聲束,包括: 左聲束1:打向左側墻,在左側墻做一次反射后到達用戶所在位置的聲束; 左聲束2:打向左側墻,在左側墻做一次反射,并在對墻做一次反射后到達用戶所在位置的聲束; 右聲束1:打向右側墻,在右側墻做一次反射后到達用戶所在位置的聲束; 右聲束2:打向右側墻,在右側墻做一次反射,并在對墻做一次反射后到達用戶所在位置的聲束; 相應地, 所述聲束控制單元,具體用于根據攝像頭與揚聲器陣列之間的相對位置關系,將房間相對于攝像頭的位置信息以及用戶相對于攝像頭的位置信息,轉換為房間相對于揚聲器陣列的位置信息以及用戶相對于揚聲器陣列的位置信息;以揚聲器陣列所在的位置為零點,首先得到用戶相對于左墻邊線的鏡像點,然后根據零點和該鏡像點的坐標依據兩點確定一條直線的原理得到左聲束I的方程;以揚聲器陣列所在的位置為零點,首先得到用戶相對于對墻邊線的鏡像點1,接著根據鏡像點I得到該鏡像點I相對于左墻邊線的鏡像點2,然后根據零點和鏡像點2的坐標依據兩點確定一條直線的原理,得到左聲束2的方程;同理,得到右聲束I和右聲束2的方程。
9.如權利要求8所述的系統,其特征在于, 所述聲束控制單元,進一步用于當無法采集到左墻角和/或右墻角的圖像時,令對應側的兩個聲束的方向與用戶錯開一定角度;或者,當所述聲束1、聲束2、聲束3和聲束4中的任一個被用戶遮擋時,取消該聲束。
10.如權利要求6所述的系統,其特征在于,所述攝像頭為被動對焦型的攝像頭、主動對焦型的攝像頭或具有深度感知的攝像頭。
【文檔編號】H04N5/232GK103491397SQ201310441607
【公開日】2014年1月1日 申請日期:2013年9月25日 優先權日:2013年9月25日
【發明者】劉崧, 樓廈廈, 李波 申請人:歌爾聲學股份有限公司