攝像機控制器和遠程會議系統的制作方法

專利名稱：攝像機控制器和遠程會議系統的制作方法
技術領域：
本發明涉及攝像機(camera)控制器和遠程會議系統，特別涉及用于控制安裝有用來改變其取景方向之驅動器的攝像機的成像范圍的攝像機控制器和具有所述攝像機控制器的遠程會議系統。
背景技術：
近來，由通過多個位于遠程端點的終端發送和接收聲音和視頻數據來實現多點會議的遠程會議系統正在受到人們的關注。這種類型的遠程會議系統包括具有改變其取景方向功能的攝像機和用于電子地控制該攝像機取景方向的攝像機控制器，從而獲取演講者的圖像并發送所獲得的圖像信號到遠程終端。
當會議的參加者開始演講時，所述攝像機控制器就控制該攝像機的取景方向，從而可以使攝像機獲取演講者的圖像。例如，攝像機控制器根據由用來獲取聲音的話筒發出的聲音來預測方向(以下稱之為聲音方向)，并使攝像機自動地面向所述聲音方向進行拍攝。隨后，攝像機控制器檢測演講者臉部的輪廓，并控制攝像機的傾斜方向和變焦調整(zoom adjustment)，從而將其臉部能夠被定位在畫面的中央。由此，攝像機可以獲取演講者的圖像。
已經提出了用于使攝像機能夠用點亮的燈來自動地跟蹤耳機話筒的攝像機方向自動控制器(例如，參見未審查的日本專利申請9-307870，第0016段至0030段和附圖1)。根據獲取的演講者的聲音，具有燈的耳機話筒點亮該燈。會議的所有參加者都帶著這種耳機話筒。所述攝像機方向自動控制器根據攝像機發送的圖像數據，檢測亮燈的耳機話筒的位置，并指示攝像機朝向亮燈的耳機話筒。這里，即使在攝像機方向自動控制器檢測到聲音方向并指示攝像機朝向聲音方向后不久就檢測到來自不同位置的聲音，也不能快速地改變攝像機方向以阻止圖像的多余運動。因此，一旦改變了攝像機方向，已知的攝像機控制器就要被配置成用于在預定周期內保持攝像機方向，即使后來改變了聲音方向也是如此。但是，如果攝像機控制器已經指示攝像機朝向了不正確的方向，那么攝像機會繼續發送在不正確方向上的毫無意義的的圖像。
而且，由于面部檢測是在搖攝(pan)了攝像機之后執行，所以攝像機一點一點地移動直到檢測到面部為止。這導致了不穩定的圖像。
再者，由于僅當檢測到聲音方向時才執行攝像機控制，所以沒有考慮到除演講者之外的人物圖像。因此，遠端的參加者不能看到除演講者之外的人物圖像。
因此，如果要成像的物體改變，那么已知的攝像機控制器不能獲取遠端參加者想看到的圖像，且需要花費時間來完成穩定的圖像。上述具有燈的耳機話筒具有相同的問題，因為燈的點亮是與聲音輸出同步的。

發明內容
鑒于上述背景技術提出了本發明。本發明的目的是希望提供一種攝像機控制器和遠程會議系統，其能夠使要成像的隨機改變的對象(演講者)能夠準確且穩定成像。
根據本發明的實施例，提供了一種用于控制攝像機的成像范圍的攝像機控制器，所述攝像機具有用于改變攝像機的取景方向的驅動器。所述攝像機控制器包括面部位置檢測單元；注冊(registration)單元；計時單元；驅動控制單元；以及保持時間控制單元。所述面部位置檢測單元從由攝像機獲得的圖像信號中檢測出人臉的位置。所述注冊單元根據面部位置檢測單元檢測到的結果和有關攝像機的當前取景方向的信息來計算出面部方向信息，并在存儲單元中注冊計算出來的面部方向信息。所述計時單元測量用于保持攝像機的取景方向固定和維持攝像機的成像范圍的保持時間。在驅動控制單元接收到聲音方向信息之前，當保持時間已經過去的情況下，驅動控制單元根據所述聲音方向信息通過控制驅動器來改變攝像機的取景方向，所述聲音方向信息是由用于檢測被攝像機拍攝的人物的聲音來自方向的聲音檢測器生成的。當面部位置檢測單元在與攝像機取景方向的改變對應移動的成像范圍內沒有檢測到人臉時，保持時間控制單元設置比在面部位置檢測單元檢測到人臉的情況下所設置的保持時間更短的保持時間。
在上述的攝像機控制器中，在確定了攝像機的成像范圍之后，面部位置檢測單元從由攝像機獲取的圖像信號中檢測人臉的位置。以所述檢測的結果和有關攝像機當前取景方向的信息為基礎的面部方向信息由注冊單元生成并注冊在存儲單元中。在驅動控制單元已經接收到聲音方向信息之前，在用于保持成像范圍的保持時間已經過去的情況下，驅動控制單元根據獲得的聲音方向信息，通過控制驅動器來將攝像機的取景方向變到由聲音方向信息確定的方向上，所述聲音方向信息由用于檢測被攝像機拍攝的人物的聲音來自方向的聲音檢測器生成。在攝像機的取景方向已經移動之后設置保持時間，并由計時單元對其進行測量。如果聲音方向信息已經改變了攝像機的取景方向，那么面部位置檢測單元在響應于攝像機取景方向的改變而移動的成像范圍中執行人臉檢測處理。保持時間控制單元根據所述檢測結果設置保持時間。如果沒有檢測到人臉，那么保持時間控制單元設置比在已經檢測到面部時所設置的保持時間短的保持時間。
根據本發明的實施例，提供了一種遠程會議系統，其包括攝像機系統，用于拍攝多個人物；聲音采集器，用于獲取由多個人物發出的聲音；及發送器，用于復用從攝像機系統中獲得的圖像信號和從聲音采集器中獲得的聲音信號，并通過通信線路發送復用信號。所述攝像機系統具有攝像機控制器，其包括面部位置檢測單元；注冊單元；計時單元；驅動控制單元；和保持時間控制單元。
在上述的遠程會議系統中，當演講者的聲音經由聲音采集器輸入時，聲音檢測器檢測演講者的聲音所來自的方向，并生成聲音方向信息。在攝像機控制器中，如果用于保持攝像機的成像范圍的保持時間已經結束，那么驅動控制單元根據獲得的聲音方向信息，通過控制位于攝像機上的驅動器，將攝像機的取景方向變到由聲音方向信息所確定的方向上。如果面部位置檢測單元在由聲音方向信息引起移動的成像范圍內檢測到了人臉，那么保持時間控制單元設置長的保持時間。如果面部位置檢測單元在由聲音方向信息引起移動的成像范圍內沒有檢測到人臉，那么保持時間控制單元設置短的保持時間。
在本發明中，當檢測到被攝像機拍攝的人的聲音所來自的方向時，執行用于改變攝像機取景方向的驅動控制處理，從而能在所檢測到的方向上獲得圖像。此時，如果在攝像機的移動成像范圍內檢測到了人臉，那么就設置用于保持成像范圍的長的保持時間。如果在攝像機的移動成像范圍內沒有檢測到人臉，那么就設置短的保持時間。結果，即使不正確地拍攝了演講者之外的人物，也能快速地移動成像范圍。如果拍攝了演講者，那么所述狀態將被至少維持所述保持時間周期。因此，能夠準確且穩定地拍攝隨機改變的演講者。


圖1是本發明實施例的概念圖；圖2是根據本發明實施例的攝像機系統的系統結構圖；圖3A是描述有關搖攝(pan)和變焦操作的控制信息(Pdeg和Zdeg)的圖；圖3B是描述有關傾斜操作的控制信息(Zdeg)的圖；及圖4是表示攝像機控制器和CPU的攝像機控制功能的方框圖。
具體實施例方式
接下來將結合附圖描述本發明的實施例。首先，將描述本發明實施例的概念。然后，給出實施例的詳細描述。
圖1是本發明的實施例的概念圖。
根據本實施例的攝像機控制器1獲得由攝像機10得到的圖像信號和由聲音檢測器(未示出)檢測到的聲音方向信息，并根據所獲得的圖像信號和聲音方向信息決定攝像機10的取景方向，然后提供驅動指令至攝像機驅動器2。攝像機控制器1具有面部位置檢測單元1a、注冊單元1b、面部方向信息存儲單元1c、保持時間控制單元1d、計時單元1e、和驅動控制單元1f。
面部位置檢測單元1a接收由攝像機10得到的圖像信號，并利用在當前成像范圍內的圖像識別方法來執行面部位置檢測處理。例如，可適用的圖像識別方法包括如下步驟根據包含在圖像信號中的顏色信息來檢測出鮮艷的顏色分布；根據所述檢測結果，確定包含面部輪廓的區域；將所述區域與預先存儲的多個面部形態模板進行比較，其中每個模板具有面部輪廓信息和有關眼睛和嘴巴的位置的信息；以及根據所述比較結果判定是否出現了面部。如果檢測到面部，那么該檢測結果信息表示已經檢測到面部并將該面部位置信息輸出至注冊單元1b。所述檢測結果信息還被輸出到保持時間控制單元1d。
注冊單元1b根據接收到的面部位置信息和有關攝像機10的當前取景方向的信息，計算面部檢測信息，并對計算出來的面部方向信息進行注冊，然后輸出注冊過的面部方向信息到面部方向信息存儲單元1c。
面部方向信息存儲單元1c存儲由注冊單元1b注冊過的所接收的面部方向信息。
保持時間控制單元1d設置保持時間，用于保持攝像機10的成像范圍。驅動控制單元1f根據聲音方向信息驅動攝像機驅動器2，從而移動成像范圍。所述移動后的成像范圍被保持由所述保持時間控制單元1d設置的保持時間周期。即使在這個保持時間周期期間獲得新的聲音方向信息，也不改變攝像機10的取景方向。所以，通過阻止攝像機10的取景方向的多余移動，可以實現穩定的圖像。在確定了攝像機10的成像范圍后，保持時間控制單元1d獲得來自面部位置檢測單元1a的面部位置檢測結果，并根據檢測結果設置所述保持時間。如果檢測到了面部，那么保持時間控制單元1d設置長的保持時間，從而能夠穩定地對將要被拍攝的面部進行拍攝。另一方面，如果沒有檢測到面部，那么保持時間控制單元1d設置比在檢測到面部時所設置的保持時間短的保持時間，從而能夠快速移動攝像機10的成像范圍。要設置的保持時間是根據系統狀態而合適地決定的。
計時單元1e測量由保持時間控制單元1d所設置的保持時間，并通知驅動控制單元1f，所述保持時間是否已經結束和成像范圍的保持是否已經結束。
一旦獲得來自聲音檢測器的與被拍攝的人所產生的聲音的方向有關的聲音方向信息，則驅動控制單元1f就根據所述聲音方向信息控制攝像機10的取景方向。所述聲音檢測器通過例如比較輸入到安置在多個位置的話筒中的聲音強度來檢測聲音方向。驅動控制單元1f根據計時單元1e發送的信息，判定成像范圍的保持是否已經結束。如果成像范圍的保持已經結束，那么驅動控制單元1f就向攝像機驅動器2輸出指令，該指令用于將攝像機10的取景方向變到由聲音方向信息所確定的方向。同時，比較存儲在面部方向信息存儲單元1c中的面部方向信息與所獲得的聲音方向信息。如果在由聲音方向信息確定的方向上檢測到了面部，那么驅動控制單元1f根據所述面部方向信息確定攝像機10的取景方向。即，將攝像機10的取景方向變到距離檢測到面部的位置最近的位置。因此，如果預先檢測到了面部位置，那么就能快速地確定成像范圍。另外，不需要漸漸地移動攝像機10的成像范圍來進行面部位置調整。如果從在面部方向信息和聲音方向信息之間的比較中已經檢測到在由聲音方向信息確定的方向上出現了人，那么可以認為所述聲音方向信息的可靠性是高的。因此，即使目前正在保持取景方向，也可縮短保持時間，從而能夠盡早移動取景方向。所以，如果確信能檢測到演講者的出現，那么不需要等到保持時間結束就能拍攝所述演講者。另一方面，如果面部方向檢測單元1a不能檢測到面部，那么將攝像機10直接朝向由聲音方向信息確定的方向，并控制其拉攝(zoom out)以擴大成像范圍。從而在屏幕上顯示被檢測聲音位置的周邊環境，并因此能便于遠端的與會者掌握情況。如果在預定時間周期內不能從聲音檢測器中獲得聲音方向信息，即如果沒有人演講，那么同樣地控制攝像機10使其拉攝，以擴大成像范圍。結果，在屏幕上顯示沒有演講的參加者，并因此能便于遠端的與會者掌握情況。例如，遠端的與會者能可視地掌握情況并要求與被顯示在屏幕上的某個人進行討論。
下面將介紹攝像機控制器1的操作。
面部方向信息存儲單元1c存儲多個面部方向信息，其中每個面部方向信息由注冊單元1b通過由面部位置檢測單元1a在攝像機10的成像范圍中檢測到的面部位置信息和有關攝像機10的取景方向的對應信息計算出來。
一旦從聲音檢測器獲得表示演講者聲音所來自方向的聲音方向信息，那么驅動控制單元1f就將聲音方向信息與存儲在面部方向信息存儲單元1c中的面部方向信息進行比較，并執行驅動控制處理，以確定考慮了保持時間的攝像機10的取景方向。
如果成像范圍的保持已經結束，且如果出現了與聲音方向信息對應的面部方向信息，那么驅動控制單元1f就根據聲音方向信息和對應的面部方向信息來控制攝像機驅動器2。從而，能快速地拍攝演講者的面部。另一方面，如果沒有出現與聲音方向信息對應的面部方向信息，那么驅動控制單元1f就根據聲音方向信息控制攝像機驅動器2。在將攝像機10的取景方向變到由聲音方向信息確定的方向后，面部位置檢測單元1a執行面部位置檢測處理。如果已經檢測到了面部位置，那么由注冊單元1b更新面部方向信息。另外，保持時間控制單元1d設置長的保持時間，從而能穩定地拍攝演講者的面部。如果沒有檢測到面部位置，那么就設置比在檢測到面部位置時所設置的保持時間短的保持時間，從而當檢測到來自其它位置的聲音時能盡快地移動取景方向。選擇地，如果沒有檢測到面部位置，那么可以控制攝像機10拉攝以在聲音檢測方向上廣泛地進行拍攝。
如果成像范圍的保持還沒有結束，那么不執行基于聲音方向信息的取景方向的改變。但是，如果出現了與聲音方向信息對應的面部方向信息，且如果從取景方向的先前移動開始預定時間已經過去，那么就根據面部方向信息和聲音方向信息改變取景方向。從而，當出現演講者時，即使保持時間沒有結束也能快速地拍攝到演講者。
而且，如果在預定時間周期內還沒有將聲音方向信息發送到驅動控制單元1f，那么驅動控制單元1f可以控制攝像機10拉攝，以擴大成像范圍。
因此，如果當已經檢測出演講者聲音所來自的方向后攝像機10的取景方向被自動地移動，那么根據在移動的成像范圍內是否已經檢測到面部來動態地設置用于保持取景方向的保持時間。因此如果檢測到面部，演講者就被穩定地拍攝。如果沒有檢測到面部，即如果已經選擇了不正確的方向，那么可以將所述取景方向快速地移動到另一個取景方向。另外，由于不僅使用聲音方向信息而且還使用面部方向信息，所以攝像機10能拍攝本地會議參加者所需的圖像。
下面將說明根據本發明實施例的用于遠程會議系統的攝像機系統。
圖2是根據本發明的實施例的攝像機系統的系統結構框圖。
當攝像機10拍攝多個出席會議的人時，使用圖2中所示的攝像機系統。這個攝像機系統安裝有具有變焦功能的攝像機10；搖攝頭20，用于改變攝像機10的取景方向；攝像機控制器30，用于控制搖攝頭20的操作；紅外接收單元40，用于接收來自遠程控制器40a的紅外線信號；CPU(中央處理單元)50，用于控制整個系統；顯示器60，用于顯示獲得的圖像；圖像編碼器70，用于根據圖像信號執行壓縮編碼；聲音信號分析器80，用于分析聲音信號；話筒81和82，用于獲取聲音；以及聲音編碼器83，用于根據聲音信號執行壓縮編碼。
搖攝頭20水平和垂直地改變攝像機10的取景方向。從CPU50發送的控制信號(變焦指令)控制位于攝像機10上的變焦透鏡的焦距。攝像機10將所獲得的圖像信號發送至攝像機控制器30。搖攝頭20從攝像機控制器30接收有關水平和垂直地控制取景方向的控制信息(Pdeg和Tdeg，將在后面介紹)，然后根據Pdeg和Tdeg的值移動。此外，搖攝頭20被配置為將Pdeg和Tdeg的當前值發送至攝像機控制器30。
攝像機控制器30根據由CPU50發送來的用于執行搖攝和傾斜操作的操作指令來控制搖攝頭20的操作。此外，攝像機控制器30將從攝像機10接收到的圖像信號發送至顯示器60和圖像編碼器70。
攝像機控制器30具有下面的功能根據操作指令，保持數據庫中與多個人的面部位置有關的信息并控制搖攝頭20和攝像機10的變焦操作，從而能在預定的標度系數下自動地拍攝任意面部的功能；從攝像機10獲得的圖像信號中識別人臉、并在數據庫中注冊與識別出來的臉部位置有關的信息、或用與識別出來的臉部位置有關的信息更新預先存儲在數據庫中的信息的功能；以及，獲取聲音方向信息，并將攝像機10的取景方向變到由獲得的聲音方向信息確定的方向上的功能。為了實現上述功能，攝像機控制器30被配置為從搖攝頭20獲得Pdeg和Tdeg的當前值、并從CPU50獲得用于變焦操作的當前控制值(后面所描述的Zdeg)、以及通過將Zdeg的值輸出到CPU50中來控制攝像機10的變焦操作。
紅外接收單元40接收來自遠程控制器40a的用于控制搖攝頭20的驅動操作和攝像機10的變焦操作的紅外信號，并將與所述紅外信號對應的按鍵操作信號發送至CPU50。CPU50根據接收到的按鍵操作信號，通過將有關搖攝和傾斜操作的操作指令輸出至攝像機控制器30和將變焦控制信號輸出到攝像機10，來控制搖攝頭20的轉動和攝像機10的變焦操作。CPU50有時根據攝像機控制器30發送來的Zdeg值，控制攝像機10的變焦操作。
顯示器60接收由攝像機10所獲得的圖像信號，并根據所述圖像信號顯示圖像。結果，顯示了會議室或類似的當前圖像。
話筒81和82獲取其中攝像機10正在運行的會議室中的參加者的聲音。話筒81或82所獲取的聲音信號被輸入到聲音信號分析器80和聲音編碼器83，然后通過揚聲器(未示出)輸出作為聲音。聲音信號分析器80從接收到的多個聲音信號中提取出人的聲音，并預測該人的聲音所發出的方向，然后將表示預測方向的聲音方向信息輸出至攝像機控制器30。攝像機控制器30根據接收到的聲音方向信息，確定參加者正在演講的方向，并將攝像機10朝向確定的方向。這里，提供了Pdeg和Tdeg的值作為聲音方向信息。
圖像編碼器70根據攝像機控制器30發送來的圖像信號執行壓縮編碼，從而生成圖像流。聲音編碼器83根據話筒81或82發送來的聲音信號執行壓縮編碼，從而生成聲音流。通過通信線路，將生成的圖像流和聲音流發送到遠程會議室。在所述遠程會議室中，實時地重現在發送端的會議室中產生的圖像和聲音。同時，從遠程會議室發送在所述遠程會議室中生成的圖像和聲音流。結果，通過顯示器60和揚聲器，從接收到的圖像和聲音流中重現圖像和聲音。因此，可以實現位于遠程會議室之間的遠程會議。
下面將描述用于決定攝像機10取景方向的控制信息(Pdeg、Tdeg和Zdeg)。
圖3A是描述有關搖攝和變焦操作的控制信息(Pdeg和Zdeg)的圖。圖3B是描述有關傾斜操作的控制信息(Zdeg)的圖。
在這個實施例中，用攝像機10在水平方向的取景方向表示有關搖攝操作的控制信息，如以度數為單位作為Pdeg給出的。用攝像機10在垂直方向上的取景方向表示有關傾斜操作的控制信息，如以度數為單位作為Tdeg給出的。用攝像機10的變焦狀態表示有關變焦操作的控制信息，如以度數為單位作為Zdeg給出的。圖3A示出了攝像機10的水平轉動(搖攝操作)。將搖攝頭20的最大水平轉角設置成例如180°，并將在垂直線和連接搖攝頭20的旋轉中心與被拍攝人面部的中心的直線之間的夾角(-90.0°到+90.0°)設置作為有關搖攝操作的控制信息(Pdeg)。圖3B示出了攝像機10的垂直轉動(傾斜操作)。將搖攝頭20的最大垂直轉角設置成例如60°，并將水平線和連接搖攝頭20的旋轉中心與被拍攝人面部的中心的直線之間的夾角(-30.0°到+30.0°)設置作為有關傾斜操作的控制信息(Tdeg)。
如圖3A所示，用攝像機10的取景方向表示有關變焦操作的控制信息(Zdeg)。參見圖3A，將取景角度設置在范圍1.0°到45.0°之間。這個角度的值變得越小，對象被攝像機10執行的推攝(zoom-in)操作就放大得越大。
將上述控制信息提供給用于控制搖攝、傾斜和變焦操作的搖攝/傾斜控制單元37和變焦控制單元51。用上述角度信息的組合(Pdeg、Tdeg、Zdeg)表示與存儲在面部位置信息數據庫31中的每個人的面部位置有關的信息。例如，當將面部圖像放大至整個屏幕時，將與存儲在面部位置信息數據庫31中的變焦操作有關的信息設置成取景角度。
下面將描述根據這個實施例的攝像機系統中的攝像機控制器30。
圖4是表示攝像機控制器和CPU的攝像機控制功能的框圖。
如圖4所示，攝像機控制器30具有下述面部位置信息數據庫31；面部識別模塊32；數據庫更新模塊33；數據庫恢復模塊34；保持時間模塊35；聲音方向驅動模塊36；和搖攝/傾斜控制單元37。CPU50具有變焦控制單元51和指令控制單元52。
控制信息用于控制搖攝頭20的轉動和攝像機10的變焦操作，從而可以在預定的換算系數下將參加者的面部圖像定位在屏幕中央，為每一個參加者生成所述控制信息并隨后存儲在面部位置信息數據庫31中。如接下來將結合圖4所描述的，用Pdeg、Tdeg和Zdeg表示該控制信息。Pdeg是由攝像機10在水平方向上以度數為單位的取景方向表示的數據。Tdeg是由攝像機10在垂直方向上以度數為單位的取景方向表示的數據。Zdeg是由攝像機10以度數為單位的變焦狀態表示的數據。
面部識別模塊32利用圖像識別技術，從由攝像機10獲得的數字圖像信號中檢測出人的面部位置，并計算作為坐標(Ppx、Tpx、Zpx)給出的面部位置信息，然后將計算出來的面部位置信息輸出至數據庫更新模塊33。檢測結果還被發送到保持時間模塊35。
數據庫更新模塊33將面部識別模塊32計算出來的面部位置信息(Ppx、Tpx、Zpx)轉換到以度數為單位的面部位置信息，并將所述轉換后的面部位置信息注冊在面部位置信息數據庫31中。另外，數據庫更新模塊33根據面部識別模塊32發送來的面部位置信息，更新面部位置信息數據庫31中的內容，即使攝像機10處于運行中也是這樣。更具體地，數據庫更新模塊33根據Pdeg、Tdeg和Zdeg的當前值，將存儲在面部識別模塊32中的以坐標給出的面部位置信息(Ppx、Tpx、Zpx)轉換為以度數為單位的面部位置信息(Pdeg、Tdeg、Zdeg)。例如，如果Pdeg、Tdeg和Zdeg的當前值分別是-30.0、+10.0和+40.0，那么，當前獲得的圖像左端的Pdeg值變成-30.0-40.0/2＝-50.0，及右端的Pdeg值變成-30.0+40.0/2＝-10.0，及上端的Tdeg值變成+10.0+(40.0×3/4)/2＝+25.0，以及較低端的Tdeg值變成+10.0-(40.0×3/4)/2＝-5.0。因此，通過使這些值與圖像末端部分的坐標值線性對應，可以將作為坐標的面部位置信息(Ppx、Tpx、Zpx)轉換到以度數為單位的面部位置信息(Pdeg、Tdeg、Zdeg)。
數據庫恢復模塊34是功能塊，用于利用存儲在面部位置信息數據庫31中的信息控制攝像機10的取景方向和變焦操作。數據庫恢復模塊34接收來自聲音方向驅動模塊36的聲音方向信息，并從面部位置信息數據庫31中提取出表示位于由接收到的聲音方向信息指定的方向附近位置的面部位置信息(Pdeg、Tdeg、Zdeg)，然后將提取出來的面部位置信息輸出到聲音方向驅動模塊36中。
保持時間模塊35是兼有保持時間控制單元1d和計時單元1e的計數器。保持時間模塊35設置與保持時間對應的計數值。根據在聲音方向驅動模塊36已經改變了攝像機10的取景方向之后，面部識別模塊32是否能夠基于攝像機10獲得的圖像信號而檢測出面部位置，來設置所述保持時間。所述計數器被配置為在預定周期內倒計數。當計數器的值變成零時，結束保持時間。一旦接收了來自聲音方向驅動模塊36的請求后，保持時間模塊35就將計數值發送到聲音方向驅動模塊36。
一旦獲得來自聲音檢測器的聲音方向信息，聲音方向驅動模塊36就將聲音方向信息發送至數據庫恢復模塊34，并使數據庫恢復模塊34恢復表示位于由獲得的聲音方向信息確定的方向附近位置的面部位置信息。此外，聲音方向驅動模塊36獲得來自保持時間模塊35的表示保持時間的計數值。如果所述計數值為零，即成像范圍的保持已經結束，且如果已經恢復了面部位置信息，那么聲音方向驅動模塊36根據面部位置信息和聲音方向信息，通過控制搖攝/傾斜控制單元37和變焦控制單元51，控制攝像機10的取景方向和變焦操作。如果沒有恢復面部位置信息，那么聲音方向驅動模塊36根據聲音方向信息，通過控制搖攝/傾斜控制單元37和變焦控制單元51，控制攝像機10的取景方向和變焦操作。如果計數值不為零，即成像范圍的保持沒有結束，那么聲音方向驅動模塊36保持攝像機10的取景方向，而無需控制搖攝/傾斜控制單元37和變焦控制單元51。如果計數值小于預定值，且如果已經恢復了面部位置信息，那么聲音方向驅動模塊36根據面部位置信息和聲音方向信息，通過控制搖攝/傾斜控制單元37和變焦控制單元51，控制攝像機10的取景方向和變焦操作。
搖攝/傾斜控制單元37根據指令控制單元52發送來的PTZ指令或聲音方向驅動模塊36發送來的控制信息(Pdeg和Tdeg)，通過將控制信號輸出到搖攝頭20來控制搖攝頭20的搖攝和傾斜操作。同樣地，變焦控制單元51根據指令控制單元52發送來的PTZ指令或聲音方向驅動模塊36發送來的控制信息(Zdeg)，通過將控制信號輸出到攝像機10來控制攝像機10的變焦操作。
指令控制單元52根據紅外接收單元40發送來的按鍵操作信號生成PTZ指令，并將用于搖攝和傾斜操作的PTZ指令和用于變焦操作的PTZ指令分別發送到搖攝/傾斜控制單元37和變焦控制單元51中。
根據這個實施例的遠程控制器40a安裝有PTZ鍵，用于逐步改變搖攝和傾斜方向以及變焦系數。當用PTZ鍵執行輸入操作時，通過紅外接收單元40，將表示搖攝和傾斜方向以及變焦系數(推攝/拉攝系數)的按鍵操作信號傳輸到CPU50。指令控制單元52根據所述按鍵操作信號發出PTZ指令。結果，搖攝/傾斜控制單元37根據所述PTZ指令控制搖攝頭20，從而能逐步地改變攝像機10的方向。變焦控制單元51根據所述PTZ指令，逐步地增加或減少攝像機10的變焦系數。
下面將介紹上述攝像機系統的操作。
當開始使用攝像機系統時，例如在會議的一開始，攝像機控制器30執行用于在面部位置信息數據庫31中自動注冊面部位置信息的自動注冊處理。更具體地，攝像機控制器30使CPU50逐步地改變攝像機10的取景方向，并同時使面部識別模塊32自動地識別處于攝像機10的成像范圍中的人臉，并在面部位置信息數據庫31中存儲多塊他們的面部位置信息。因此，有關會議參加者的面部位置的多塊面部位置信息被存儲在面部位置信息數據庫31中。
當任意一個參加者開始講話的時候，話筒81或82就獲取所述參加者的聲音，并將表示聲音的聲音信號輸出到聲音信號分析器80。聲音信號分析器80根據所述聲音信號預測所述聲音所發出的方向，并生成聲音方向信息(Pdeg和Tdeg)。
一旦接收到來自聲音信號分析器80的聲音方向信息，攝像機控制器30就使聲音方向驅動模塊36起動攝像機方向改變的處理。聲音方向驅動模塊36獲得來自保持時間模塊35的保持時間。此外，聲音方向驅動模塊36將聲音方向信息發送到數據庫恢復模塊34，并使數據庫恢復模塊34執行恢復，無論是否存在表示位于由聲音方向信息指定的方向附近位置的面部位置信息。如果保持時間已經結束，且如果已經恢復了面部位置信息，那么聲音方向驅動模塊36根據聲音方向信息和面部位置信息，通過控制搖攝/傾斜控制模塊37和變焦控制單元51，來控制攝像機10的取景方向和變焦操作。
如果成像范圍的保持已經結束，且如果面部位置信息還沒有被恢復，那么同樣地，聲音方向驅動模塊36根據聲音方向信息來控制攝像機10的取景方向和變焦操作。如果正在保持成像范圍的保持，且如果面部位置信息還沒有被恢復，那么聲音方向驅動模塊36保持攝像機10的當前取景方向。如果正在保持成像范圍的保持，且如果已經恢復了面部位置信息，那么僅當剩余的保留時間或逝去的保留時間滿足預定條件時，聲音方向驅動模塊36才結束成像范圍的保持，并根據聲音方向信息和面部位置信息，通過控制搖攝/傾斜控制模塊37和變焦控制單元51，來控制攝像機10的取景方向和變焦操作。
如果攝像機10的取景方向還沒有被改變，那么面部識別模塊32判定在當前成像范圍中是否檢測出了面部。如果檢測出了面部，那么保持時間模塊35設置長的保持時間，以便保持當前成像范圍。如果沒有檢測到面部，那么保持時間模塊35設置比在檢測到面部時所設置的保持時間短的保持時間，從而能夠快速移動成像范圍。
通過執行上述處理，能夠準確且穩定地拍攝演講者。
如果將按鍵操作信號輸入到CPU50中，那么分配給按鍵操作信號較高的優先級。在這種情況下，即使在保持時間期間，也仍然根據經過搖攝/傾斜控制單元37和變焦控制單元51的按鍵操作信號來控制攝像機10的取景方向和變焦操作。
本領域技術人員應該理解，根據設計要求和其他因素可能產生的各種修改、集合、子集和替換，都在所附的權利要求或其等同的范圍內。
相關申請的交叉參考本發明包含了2005年8月17日在日本專利局申請的日本專利申請JP2005-236253所涉及的主題，其所有內容都將被結合在此作為參考。
權利要求
1.一種用于控制攝像機的成像范圍的攝像機控制器，所述攝像機具有用于改變攝像機的取景方向的驅動器，所述攝像機控制器包括面部位置檢測裝置，用于從由攝像機獲得的圖像信號中檢測出人臉位置；注冊裝置，用于根據由面部位置檢測裝置檢測出來的結果和與攝像機的當前取景方向有關的信息來計算面部方向信息，并在存儲裝置中注冊所述計算出來的面部方向信息；計時裝置，用于測量保持時間，在該保持時間中，保持攝像機的取景方向固定和維持攝像機的成像范圍；驅動控制裝置，在所述驅動控制裝置接收到聲音方向信息之前，在保持時間已經過去的情況下，其用于根據所述聲音方向信息通過控制驅動器來改變攝像機的取景方向，所述聲音方向信息由用于檢測被攝像機拍攝的人物的聲音所來自方向的聲音檢測器生成；及保持時間控制裝置，當面部位置檢測裝置在響應于攝像機取景方向的變化而移動的成像范圍內沒有檢測到人臉的情況下，其用于設置比在面部位置檢測裝置檢測到人臉時所設置的保持時間短的保持時間。
2.如權利要求1所述的攝像機控制器，其中，所述驅動控制裝置比較聲音方向信息與存儲在存儲裝置中的面部方向信息，并且，當在由聲音方向信息所確定的方向上檢測到人臉的情況下，根據聲音方向信息和面部方向信息，執行用于改變攝像機取景方向的驅動控制處理。
3.如權利要求1所述的攝像機控制器，其中，所述驅動控制裝置比較聲音方向信息與存儲在存儲裝置中的面部方向信息，并且，當在聲音方向信息確定的方向上檢測到人臉的情況下縮短保持時間，并在縮短后的保持時間過去之后，執行用于改變攝像機取景方向的驅動控制處理。
4.如權利要求1所述的攝像機控制器，其中，當面部位置檢測裝置在與聲音方向信息對應的取景范圍內沒有檢測到人臉的情況下，驅動控制裝置執行變焦控制處理，從而擴大成像范圍。
5.如權利要求1所述的攝像機控制器，其中，當在預定時間周期內沒有從聲音檢測器中得到聲音方向信息的情況下，驅動控制裝置執行變焦控制處理，從而擴大當前成像范圍。
6.一種遠程會議系統，包括攝像機系統，用于拍攝多個人物；聲音采集器，用于獲取由多個人物發出的聲音；及發送器，用于復用從攝像機系統中獲得的圖像信號和從聲音采集器中獲得的聲音信號，并通過通信線路發送復用信號，所述攝像機系統包括攝像機，驅動器，用于改變攝像機的取景方向，及攝像機控制器，用于控制所述驅動器，所述攝像機控制器包括面部位置檢測裝置，用于從由攝像機獲得的圖像信號中檢測人臉的位置；注冊裝置，用于根據面部位置檢測裝置檢測到的結果和與攝像機當前取景方向有關的信息來計算面部方向信息，并在存儲裝置中注冊所述計算出來的面部方向信息，計時裝置，用于測量保持時間，在該保持時間中，保持攝像機的取景方向固定和維持攝像機的成像范圍，驅動控制裝置，在所述驅動控制裝置接收到聲音方向信息之前，在保持時間已經過去的情況下，其用于根據所述聲音方向信息通過控制驅動器來改變攝像機的取景方向，所述聲音方向信息由用于檢測被攝像機拍攝的人物的聲音所來自方向的聲音檢測器生成，以及保持時間控制裝置，當面部位置檢測裝置在響應于攝像機取景方向的改變而移動的成像范圍內沒有檢測到人臉的情況下，其用于設置比在面部位置檢測裝置已經檢測到人臉的情況下所設置的保持時間短的保持時間。
7.一種用于控制攝像機的成像范圍的攝像機控制器，所述攝像機具有用于改變攝像機的取景方向的驅動器，所述攝像機控制器包括面部位置檢測單元，用于從由攝像機獲得的圖像信號中檢測出人臉位置；注冊單元，用于根據由面部位置檢測單元檢測出來的結果和與攝像機的當前取景方向有關的信息來計算面部方向信息，并在存儲單元中注冊所述計算出來的面部方向信息；計時單元，用于測量保持時間，在所述保持時間中，保持攝像機的取景方向固定和維持攝像機的成像范圍；驅動控制單元，在所述驅動控制單元接收到聲音方向信息之前，在保持時間已經過去的情況下，其用于根據所述聲音方向信息通過控制驅動器來改變攝像機的取景方向，所述聲音方向信息由用于檢測被攝像機拍攝的人物的聲音所來自方向的聲音檢測器生成，以及保持時間控制單元，當面部位置檢測單元在響應于攝像機取景方向的改變而移動的成像范圍內沒有檢測到人臉的情況下，其用于設置比在面部位置檢測單元已經檢測到人臉的情況下所設置的保持時間短的保持時間。
8.一種遠程會議系統，包括攝像機系統，用于拍攝多個人物；聲音采集器，用于獲取由多個人物發出的聲音；及發送器，用于復用從攝像機系統中獲得的圖像信號和從聲音采集器中獲得的聲音信號，并通過通信線路發送復用信號，所述攝像機系統包括攝像機，驅動器，用于改變攝像機的取景方向，及攝像機控制器，用于控制所述驅動器，所述攝像機控制器包括面部位置檢測單元，用于從由攝像機獲得的圖像信號中檢測出人臉位置；注冊單元，用于根據由面部位置檢測單元檢測出來的結果和與攝像機的當前取景方向有關的信息來計算面部方向信息，并在存儲單元中注冊所述計算出來的面部方向信息；計時單元，用于測量保持時間，在所述保持時間中，保持攝像機的取景方向固定和維持攝像機的成像范圍；驅動控制單元，在所述驅動控制單元接收到聲音方向信息之前，在保持時間已經過去的情況下，其用于根據所述聲音方向信息通過控制驅動器來改變攝像機的取景方向，所述聲音方向信息由用于檢測被攝像機拍攝的人物的聲音所來自方向的聲音檢測器生成，以及保持時間控制單元，當面部位置檢測單元在響應于攝像機取景方向的改變而移動的成像范圍內沒有檢測到人臉的情況下，其用于設置比在面部位置檢測單元已經檢測到人臉的情況下所設置的保持時間短的保持時間。
全文摘要
遠程會議系統包括攝像機系統，用于拍攝多個人物；聲音采集器，用于獲取由多個人物發出的聲音；及發送器，用于復用從攝像機系統中獲得的圖像信號和從聲音采集器中獲得的聲音信號，并通過通信線路發送復用信號。所述攝像機系統包括攝像機；驅動器，用于改變攝像機的取景方向；及攝像機控制器，用于控制所述驅動器。所述攝像機控制器包括面部位置檢測單元；注冊單元；計時單元；驅動控制單元；和保持時間控制單元。
文檔編號H04N7/15GK1917623SQ20061013885
公開日2007年2月21日 申請日期2006年8月17日 優先權日2005年8月17日
發明者川口貴義 申請人:索尼株式會社