指向性控制裝置、指向性控制方法、存儲介質及指向性控制系統的制作方法
【技術領域】
[0001] 本發明設及對聲音的指向性進行控制的指向性控制裝置、指向性控制方法、存儲 介質及指向性控制系統。
【背景技術】
[0002] W往，在設置于工廠、店鋪(例如小賣店、銀行)或者公共的場所(例如圖書館)的既 定位置(例如頂棚面）的監視系統中，經由網絡而連接1個W上的相機裝置(例如PTZ相機裝 置、全方位相機裝置），實現監視對象范圍的影像的圖像數據(包括靜止圖像及活動圖像。W 下相同）的廣角化。
[0003] 而且，在使用了影像的監視中得到的信息量有限，因此通過除了 1個W上的相機裝 置W外還使用麥克風陣列裝置來得到相機裝置的視場角內存在的特定的監視對象(例如人 物)發出的聲音數據的監視系統的要求迫切。在運樣的監視系統中，在監視者想要聽取特定 的監視對象發出的聲音數據的情況下，需要確立由相機裝置拍攝到的影像的圖像數據與由 麥克風陣列裝置收音到的聲音的聲音數據的同步。
[0004] 在此，作為確立由相機裝置拍攝到的影像的圖像數據與由麥克風陣列裝置收音到 的聲音的聲音數據的同步的在先技術，已知有專利文獻1所示的信號處理裝置。
[0005] 專利文獻1所示的信號處理裝置根據攝影者對被攝體的縮放操作的結果，算出距 由拍攝部拍攝到的被攝體的距離，根據算出的距離，增強由麥克風單元收音到的聲音。而 且，信號處理裝置根據距攝影者所拍攝的被攝體的距離，使由拍攝部拍攝到的影像信號或 由麥克風單元收音到的聲音信號中的任一信號延遲。由此，即使通過攝影者對被攝體進行 縮放操作，由于信號處理裝置根據距被攝體的距離而使影像信號或聲音信號中的任一信號 延遲，因此也能夠確立影像信號與聲音信號的同步。
[0006] 專利文獻1:日本國特開2009-130767號公報
【發明內容】
[0007] 在專利文獻1中，通過攝影者的縮放操作，進行由麥克風單元收音到的聲音信號的 增強處理。然而，若將專利文獻1的結構應用于上述的監視系統，則通過縮放操作來切換監 視者選擇的監視范圍時，可能無法適當地形成從麥克風陣列裝置對于通過縮放操作而切換 的監視范圍的特定的被攝體(例如人物)的聲音的指向性。
[000引在監視系統中，若無法適當地形成聲音數據的指向性，則即使影像與聲音同步，作 為監視對象的特定的被攝體發出的聲音也不會傳遞給監視者，從而監視者的監視業務的效 率劣化。
[0009]本發明為了解決上述的現有的課題，目的在于提供即使在由于對監視對象的縮放 處理而切換監視對象的被攝體的情況下也能適當地形成對于切換后的監視對象的被攝體 的聲音的指向性并抑制監視者的監視業務的效率劣化的指向性控制裝置、指向性控制方法 及指向性控制系統。
[0010] 本發明設及一種指向性控制裝置，對由包括多個麥克風的收音部收音到的聲音的 指向性進行控制，該指向性控制裝置具備:波束形成部，在從上述收音部向與在顯示部的圖 像上指定的位置對應的聲源的方向上形成波束;及倍率設定部，根據輸入來設定用于放大 或縮小上述顯示部的圖像的倍率，上述波束形成部根據由上述倍率設定部設定的倍率來變 更所形成的上述波束的尺寸。
[0011] 而且，本發明設及一種指向性控制方法，是對由包括多個麥克風的收音部收音到 的聲音的指向性進行控制的指向性控制裝置的指向性控制方法，該指向性控制方法具有W 下步驟:對由包括多個麥克風的收音部收音到的聲音的指向性進行控制;根據輸入來設定 用于放大或縮小上述顯示部的圖像的倍率;及根據所設定的上述倍率來變更所形成的上述 波束的尺寸。
[0012] 而且，本發明設及一種存儲介質，存儲有執行對由包括多個麥克風的收音部收音 到的聲音的指向性進行控制的指向性控制裝置的處理的程序，上述存儲介質存儲有執行如 下步驟的程序:對由包括多個麥克風的收音部收音到的聲音的指向性進行控制;根據輸入 來設定用于放大或縮小上述顯示部的圖像的倍率;及根據所設定的上述倍率來變更所形成 的上述波束的尺寸。
[0013] 此外，本發明設及一種指向性控制系統，具備：拍攝部，對收音區域進行拍攝;收音 部，包括多個麥克風且對上述收音區域的聲音進行收音;及指向性控制裝置，對由上述收音 部收音到的聲音的指向性進行控制，上述指向性控制裝置具備:顯示部，顯示由上述拍攝部 拍攝到的上述收音區域的圖像;波束形成部，根據對顯示于上述顯示部的上述圖像的位置 的指定，在從上述收音部向與所指定的上述位置對應的聲源的方向上形成波束;及倍率設 定部，根據輸入來設定用于放大或縮小上述顯示部的圖像的倍率，上述波束形成部根據由 上述倍率設定部設定的倍率來變更所形成的上述波束的尺寸。
[0014] 此外，本發明設及一種指向性控制系統，具備：拍攝部，對收音區域進行拍攝;第一 收音部，包括多個麥克風且對上述收音區域的聲音進行收音;第二收音部，增設在上述第一 收音部的周圍；及指向性控制裝置，對由上述第一收音部和第二收音部收音到的聲音的指 向性進行控制，上述指向性控制裝置具備：顯示部，顯示由上述拍攝部拍攝到的上述收音區 域的圖像;及波束形成部，根據對顯示于上述顯示部的上述圖像的位置的指定，在從上述第 一收音部向與所指定的上述位置對應的聲源的方向上形成波束。
[001引發明效果
[0016] 根據本發明，通過對監視對象的縮放處理，即使在切換監視對象的被攝體的情況 下，也能夠適當地形成對于切換后的監視對象的被攝體的聲音的指向性，抑制監視者的監 視業務的效率劣化。
【附圖說明】
[0017] 圖1是表示第一實施方式的指向性控制系統的系統結構的框圖。
[0018] 圖2(A)~圖2化)是全方位麥克風陣列裝置的框體的外觀圖。
[0019] 圖3是全方位麥克風陣列裝置在方向0上形成聲音數據的指向性的延遲和方式的 簡單的說明圖。
[0020] 圖4(A)是表示拉遠處理時的指向性圖案、顯示畫面、聲音縮放范圍及顯示畫面的 顯示范圍的圖，圖4(B)是表示拉遠處理前及推近處理前的指向性圖案、顯示畫面、聲音縮放 范圍及顯示畫面的顯示范圍的圖，圖4(C)是表示推近處理時的指向性圖案、顯示畫面、聲音 縮放范圍及顯示畫面的顯示范圍的圖。
[0021] 圖5(A)是表示在屋內的大廳的頂棚面安裝有一體地組裝的全方位麥克風陣列裝 置2及相機裝置1的監視范圍的圖，圖5(B)是表示在全方位圖像數據中包含2人的人物91、92 的范圍g的選擇操作的圖，圖5(C)是表示變形校正處理后的2人的人物91、92的圖像數據顯 示于顯示器裝置且人物91、92交談的聲音數據在揚聲器裝置中輸出的情況的圖，圖5(D)是 表示在全方位圖像數據中包含2人的人物93、94的范圍h的選擇操作的圖，圖5化)是表示變 形校正處理后的2人的人物93、94的圖像數據顯示于顯示器裝置且人物93、94的交談的聲音 數據在揚聲器裝置中輸出的情況的圖。
[0022] 圖6是詳細說明第一實施方式的指向性控制裝置的動作次序的流程圖。
[0023] 圖7(A)是說明作為圖6所示的隱私保護處理的第一例的聲音隱私保護處理的動作 次序的流程圖，圖7(B)是說明作為圖6所示的隱私保護處理的第二例的圖像隱私保護處理 的動作次序的流程圖。
[0024] 圖8(A)是表示與變聲處理前的音調對應的聲音信號的波形的一例的圖，圖8(B)是 表示與變聲處理后的音調對應的聲音信號的波形的一例的圖，圖8(C)是在檢測到的人物的 臉部的輪廓內加入暈映的處理的說明圖。
[0025] 圖9是說明第二實施方式的指向性控制裝置的動作次序中的與第一實施方式的指 向性控制裝置的動作次序不同的動作次序的流程圖。
[0026] 圖10(A)是表示在全方位麥克風陣列裝置的周圍結合增設麥克風部的第一例(環 形結合)的主視圖，圖10(B)是表示在全方位麥克風陣列裝置的周圍結合增設麥克風部的第 一例的側視圖。
[0027] 圖11是表示在全方位麥克風陣列裝置的周圍結合增設麥克風部的第二例(楠圓環 形結合)的主視圖。
[0028] 圖12(A)是表示在全方位麥克風陣列裝置的周圍結合增設麥克風部的第=例（正 方形結合或長方形結合)的主視圖，圖12(B)是表示在全方位麥克風陣列裝置的周圍結合增 設麥克風部的第=例(正方形結合或長方形結合)的側視圖。
[0029] 圖13(A)是表示在全方位麥克風陣列裝置的周圍結合增設麥克風部的第四例(蜂 窩形結合)的主視圖，圖13(B)是表示在全方位麥克風陣列裝置的周圍結合增設麥克風部的 第五例(蜂窩形結合)的主視圖。
[0030] 圖14(A)是表示在全方位麥克風陣列裝置的周圍結合增設麥克風部的第六例(棒 形結合)的主視圖，圖14(B)是表示在全方位麥克風陣列裝置的周圍結合增設麥克風部的第 六例(棒形結合)的側視圖。
[0031] 圖15(A)是表示安裝有圖14(B)所示的全方位麥克風陣列裝置和頂棚安裝金屬板 的狀態的俯視圖，圖15(B)示出圖15(A)的E-E截面，是表示在圖14(B)所示的全方位麥克風 陣列裝置的周圍安裝有增設麥克風部的狀態的側視圖。
[0032] 圖16(A)是表示在全方位麥克風陣列裝置的周圍結合增設麥克風部的第屯例(棒 形結合)的主視圖，圖16(B)是表示在全方位麥克風陣列裝置的周圍結合增設麥克風部的第 八例(棒形結合）的主視圖，圖16(C)是表示在全方位麥克風陣列裝置的周圍結合增設麥克 風部的第九例(棒形結合)的主視圖。
[0033] 圖17(A)是表示在全方位麥克風陣列裝置的周圍結合增設麥克風部的第十例（構 架形結合)的主視圖，圖17(B)是表示在全方位麥克風陣列裝置的周圍結合增設麥克風部的 第十例（構架形結合）的側視圖，圖17(C)是表示在全方位麥克風陣列裝置的周圍結合增設 麥克風部的第十一例（構架形結合）的主視圖，圖17(D)是表示在全方位麥克風陣列裝置的 周圍結合增設麥克風部的第十一例(構架形結合)的側視圖。
[0034] 圖18(A)是表示增設麥克風部向全方位麥克風陣列裝置的周圍結合的結合方法的 第一例的主視圖，圖18(B)是表示增設麥克風部向全方位麥克風陣列裝置的周圍結合的結 合方法的第二例的主視圖。
[0035] 圖19(A)是表示增設麥克風部向全方位麥克風陣列裝置的周圍結合的結合方法的 第=例的主視圖，圖19(B)示出圖19(A)的E-E截面，是表示增設麥克風部向全方位麥克風陣 列裝置的周圍結合的結合方法的第=例的側視圖，圖19(C)是表示增設麥克風部向全方位 麥克風陣列裝置的周圍結合的結合方法的第四例的補充說明圖。
[0036] 圖20是表示在全方位麥克風陣列裝置的周圍結合增設麥克風部的第十二例（片形 結合)的立體圖。
[0037] 圖21是表示結合有增設麥克風部的全方位麥克風陣列裝置的硬件結構的一例的 框圖。
【具體實施方式】
[0038] W下，參照附圖，說明本發明的指向性控制裝置、指向性控制方法及指向性控制系 統的各實施方式。各實施方式的指向性控制系統被用作例如在工廠、公共設施（例如圖書 館、活動會場)或店鋪(例如小賣店、銀行)設置的監控系統(包括有人監控系統及無人監控 系統）。
[0039] 另外，本發明可W表現為用于使計算機即指向性控制裝置執行通過指向性控制方 法規定的動作的程序或者記錄有使計算機執行通過指向性控制方法規定的動作的程序的 計算機能夠讀取的記錄介質。
[0040] (第一實施方式）
[0041] 圖1是表示本實施方式的指向性控制系統10的系統結構的框圖。圖1所示的指向性 控制系統10包括相機裝置1、全方位麥克風陣列裝置2、指向性控制裝置3、記錄器裝置4。相 機裝置1、全方位麥克風陣列裝置2、指向性控制裝置3、記錄器裝置4經由網絡NW而相互連 接。網絡NW可W是有線網絡(例如內聯網、互聯網），也可W是無線網絡(例如無線LAWLocal 八'6曰化切(化1〇、胖1魁乂(注冊商標）、無線胖4的胖1(16 4'6曰化1：訊(化1〇)。在圖1所示的指向性控 制系統10中，為了簡化說明，相機裝置1及全方位麥克風陣列裝置2僅圖示1個，但是也可W 包含多個相機裝置及全方位麥克風陣列裝置。
[0042] W下，對構成指向性控制系統10的各裝置進行說明。另外，為了簡化W下的說明， 作為將相機裝置1的框體與全方位麥克風陣列裝置2的框體一體地安裝于同一位置的情況 進行說明（參照圖5(A))，但是相機裝置1的框體與全方位麥克風陣列裝置2的框體也可W分 體地安裝于不同的位置。
[0043] 作為拍攝部的一例的相機裝置I例如經由后述的頂棚安裝金屬板7z而固定地設置 于活動會場的頂棚面8(參照圖5(A))。相機裝置1具有例如作為監控系統中的監控相機的功 能，通過來自與網絡NW連接的監控控制室(未圖示）的遠距離操作，使用縮放功能(例如推近 處理、拉遠處理），拍攝預定收音區域(例如活動會場內的既定區域）的全方位的影像。相機 裝置1將表示收音區域的全方位的影像的圖像數據(即，全方位圖像數據）、或者對全方位圖 像數據實施預定變形校正處理并進行全景變換而生成的俯視圖像數據經由網絡NW向指向 性控制裝置3或記錄器裝置4發送。
[0044] 當通過監控者的手指95在顯示于顯示器裝置35的圖像數據之中指定任意位置時， 相機裝置1從指向性控制裝置3接收圖像數據中的指定位置的坐標數據，算出從相機裝置1 到與指定位置對應的實際空間上的聲音位置（W下，簡稱為"聲音位置"）的距離、方向（包括 水平角及垂直角。W下相同。）的數據而向指向性控制裝置3發送。另外，由于相機裝置1中的 距離、方向的數據計算處理是公知技術，因此省略說明。
[0045] 另外，相機裝置1根據例如相機裝置1中的定期的時機或者監控者的手指95對顯示 于顯示器裝置35的圖像數據的輸入操作，進行圖像數據的推近處理或拉遠處理。定期的時 機例如為每1小時或每10分鐘1次的程度。與推近處理或拉遠處理的倍率相關的信息可W預 先指定，也可W適當變更。相機裝置1在進行了推近處理或拉遠處理的情況下，將與推近處 理或拉遠處理的倍率相關的信息向指向性控制裝置3發送。
[0046] 作為收音部的一例的全方位麥克風陣列裝置2例如經由后述的頂棚安裝金屬板7z 而固定地設置于活動會場的頂棚面8(參照圖5(A))。全方位麥克風陣列裝置2至少包括：W 均等的間隔設有多個麥克風單元22、23(參照圖2(A)~巧））的麥克風部;及對麥克風部的各 麥克風單元22、23的動作進行控制的CPU2P(參照圖21)。
[0047] 當電源被接通時，全方位麥克風陣列裝置2對由麥克風單元內的麥克風元件收音 到的聲音的聲音數據實施預定聲音信號處理(例如拉遠處理、濾波處理、加法運算處理），并 將通過預定聲音信號處理而得到的聲音數據經由網絡NW向指向性控制裝置3或記錄器裝置 4發送。
[0048] 在此，參照圖2(A)~圖2化），說明全方位麥克風陣列裝置2的框體的外觀。圖2(A) ~圖2化)是全方位麥克風陣列裝置2的框體的外觀圖。圖2(A)~圖2化)所示的全方位麥克 風陣列裝置2(：、24、28、2、20的外觀及多個麥克風單元的配置位置不同，但是全方位麥克風 陣列裝置的功能相同。
[0049] 圖2(A)所示的全方位麥克風陣列裝置2C具有圓盤狀的框體21。在框體21，呈同屯、 圓狀地配置有多個麥克風單元22、23。具體而言，多個麥克風單元22呈具有與框體21相同的 中屯、的同屯、圓狀且沿著框體21的圓周配置，多個麥克風單元23呈具于與框體21相同的中屯、 的同屯、圓狀且配置在框體21的內側。各個麥克風單元22相互的間隔寬，直徑大，具有適合于 低音域的特性。另一方面，各個麥克風單元23相互的間隔窄，直徑小，具有適合于高音域的 特性。
[0050] 圖2(B)所示的全方位麥克風陣列裝置2A具有圓盤狀的框體21。在框體21上，多個 麥克風單元22W均等的間隔沿著縱向和橫向運兩個方向配置成十字狀，縱向的排列與橫向 的排列在框體21的中屯、處相交。全方位麥克風陣列裝置2A將多個麥克風單元22沿縱向和橫 向運兩個方向直線性地配置，因此能夠降低形成聲音數據的指向性的情況下的運算量。另 夕h在圖2(B)所示的全方位麥克風陣列裝置2A中，可W僅沿縱向或橫向的I列配置多個麥克 風單元22。
[0051] 圖2(C)所示的全方位麥克風陣列裝置2B與圖2(A)所示的全方位麥克風陣列裝置2 相比，具有直徑小的圓盤狀的框體21B。在框體21B上，多個麥克風單元22沿著框體21B的圓 周W均等的間隔配置。圖2(C)所示的全方位麥克風陣列裝置2B由于各個麥克風單元22的間 隔短，因此具有適合于高音域的特性。
[0052] 圖2(D)所示的全方位麥克風陣列裝置2具有在框體21C的中屯、形成了具有預定直 徑的開口部21a的環形形狀或圈形形狀的框體21C。在本實施方式的指向性控制系統10中， 使用例如圖2(D)所示的全方位麥克風陣列裝置2。在框體21C中，多個麥克風單元22沿著框 體21C的圓周方向W