專利名稱：用于攝像機控制的設備和方法
技術領域：
本發明涉及用于視頻會議系統的觸摸屏控制系統，并且更具體地涉及用于控制視頻會議系統的攝像機的方法和設備。
背景技術：
常規的視頻會議系統包括經由各種網絡(例如WAN、LAN和電路交換網絡)和在其之間傳送實時視頻、音頻和/或數據(通常稱作為雙路視頻)流的若干端點。在大多數高端視頻會議系統中，具有搖動、傾斜和縮放能力的高 質量攝像機被用于捕獲會議室的視圖和會議中的參加者。攝像機通常具有寬視場(FOV)和高機械縮放能力。這既允許很好地綜覽會議室，還可能捕獲參加者的特寫圖像。來自攝像機的視頻流被壓縮并且發送到視頻會議中的一個或多個接收位置。會議中的全部位置從會議中的其它位置接收實況視頻和音頻，因此使得能夠實時傳送視覺和聽覺信息。視頻會議當考慮到目的、參加者數量、會議室布局等時變化很大。每個會議配置通常需要對攝像機的單獨調節以便呈現最優視圖。可需要在視頻會議之前或期間對攝像機調節。例如，在最多坐16個人的視頻會議室中，視頻攝像機被預置為捕獲全部16個可用的座位位置是自然的。然而，如果僅存在2或3個參加者，預置的攝像機寬視場將對接收端給予非常差的視覺表現。對攝像機的調節通常使用標準輸入設備來完成，例如遙控器上的鍵區或鼠標，通過手工控制攝像機搖動、傾斜和縮放，或者通過在一組預定義攝像機位置間進行選擇。通常，具有標準按鈕的傳統IR遙控器被用于調節攝像機。標準的設置是控制搖動和傾斜以及控制縮放的放大和縮小按鈕的一組四個箭頭鍵。在已知系統上查找最優攝像機調節常常需要遙控器上的按鈕或屏幕上菜單系統的多次迭代，這使得它麻煩、擾亂和不是非常直觀。即使攝像機的搖動傾斜機構包括小的步進電機(允許“高分辨率”移動)，但是視頻會議系統常常被規劃為逐步移動攝像機以便免得用戶額外的按鍵。當攝像機處于寬FOV中時這按預期工作，然而當攝像機縮放時這可造成麻煩，因為步子那時變得非常大。另外，如果用戶想要控制遠端端點的攝像機，那么用戶需要通過許多屏幕上菜單導航以便訪問遠端攝像機控制設置，并且然后如果在會議中連接了多個遠端端點，那么從所連接端點列表中選擇正確的遠端端點。該處理是麻煩的，并且對于缺乏經驗的用戶來說它可能難于成功地完成。因此，用于控制視頻會議中攝像機的當前已知方法是麻煩和令人糊涂的，因此在視頻會議中攝像機往往被次優化地調節，導致降低的視頻體驗。今天，技術安裝的用戶習慣于容易使用并且以定制圖形環境和設備之間的協作的方式提供靈活性的需求系統。傳統的視頻會議系統不是非常靈活。此外，傳統的視頻會議系統使用IR遙控設備上的鍵區控制的屏幕上菜單系統來操作，造成受限的靈活性和麻煩的用戶體驗。
發明內容
本發明的一個目的是提供消除上述缺點的設備和方法。設備是具有如獨立設備權利要求中所定義的發明性特征的觸摸屏遙控器。發明性方法定義在獨立方法權利要求中。本發明公開了用于通過在所述觸摸屏上提供在會議通話中連接的攝像機的圖形概覽來控制與一個或多個視頻會議端點相關的一個或多個攝像機的設備和方法，并且其中控制包括使用所述觸摸屏修改攝像機搖動、傾斜和/或縮放。
根據本發明優選實施例的以下更特定的描述，本發明的前述和其它目的、特征和優點將是明顯的(如附圖中所示)，在附圖中遍及不同的視圖，相同的標號指代相同的部分。附圖不一定按比例繪制。重點在于示出本發明的原理。圖I是其中可應用本發明的示例通信網絡的示意概觀圖，圖2是現有技術遙控器的示意概觀圖，圖3是本發明的觸摸屏控制系統的示意概觀圖，圖4是本發明的框圖，圖5是本發明一個示例實施例的示意概觀圖，圖6是本發明另一個示例實施例的示意概觀圖，圖7是本發明另一個示例實施例的示意概觀圖，圖8是本發明另一個示例實施例的示意概觀圖，圖9是本發明另一個示例實施例的示意概觀圖，圖10是示出根據本發明的方法的流程圖，圖11示出了其上可實現本發明實施例的計算機系統。
具體實施例方式以下，將通過描述各個實施例，并且通過引用附圖來論述本發明。然而，本領域技術人員將會在如所包含的獨立權利要求中所定義的本發明范圍內實現其它應用和修改。本發明涉及用于控制與視頻會議通話中的視頻會議端點相關的一個或多個攝像機的操作的系統和方法。根據本發明的攝像機控制單元(遙控器)是支持觸摸的終端用戶組件，其向用戶呈現表示會議通話中當前連接的視頻會議端點和/或視頻會議端點的攝像機當前捕獲的一個或多個實況視頻饋送的圖形對象，并且允許用戶使用所述攝像機控制單元中嵌入的觸摸屏顯示器來操縱攝像機的搖動、傾斜和縮放。網絡概覽圖I中所示的是其中可應用本發明的通信網絡10的示例。每個用戶通過端點裝置12連接到通信網絡。端點裝置在下面更詳細地描述。優選地，通信網絡是網際協議(IP)網絡14。然而，用戶也可連接到不同的通信網絡，例如綜合服務數字網(ISDN)16。MCU(多點控制單元)18也可連接到其上可提供視頻會議通話的通信網絡14、16。或者，所述端點裝置12之一包括用于提供多點服務的嵌入MCU。駐留在不同位置的若干端點裝置12可通過一個或多個MCU參加相同的會議，例如執行切換和混合功能以便允許視聽終端正確地互相聯系。每個端點并且因此每個視聽流配備有它自己唯一的端點標識符(ID)。如果來自多種類型的通信網絡的用戶希望參加視頻會議通話，那么兩個通信網絡可使用網關20連接。網關允許使用不同的協議將所發送數據轉換為適合于跨越每種類型的網絡發送的數據。端點裝置端點裝置12是可連接到通信網絡用于視頻和/或音頻會議的設備，其使得用戶能夠跨越通信網絡發送信息和從其接收信息。對于視頻會議，如果用戶僅連接來接收音頻數據，那么端點裝置可以是傳統的電話送受話器。然而，更通常地，端點裝置將支持從通信網絡接收和跨越其發送視頻數據以及向用戶顯示視頻數據，并且在以下稱作為視頻會議端點。現在參考圖3和圖4。具體參考圖3，本領域中已知的典型視頻會議端點通常由標號20來指示。端點20包括向編解碼器(CODEC) 23提供視頻和音頻信號的攝像機21和麥克風26，編解碼器23向一個或多個監視器24提供音視頻信號。也可向編解碼器23提供來自外部多媒體源25 (例如VCR、DVD播放器、文檔攝像機、個人計算機等)的信號。如通過編解碼器23和外部源25之間的雙頭箭頭理解的，編解碼器23可從外部源接收要顯示在監視器24上的數據信號(例如視頻、音頻、靜像等)，并且/或者來自外部源的信號可經由網絡
14、16被發送到連接到視頻端點20的其它視頻端點。視頻會議端點優選地為H. 323或SIP端點(如果它連接到IP網絡)，或者優選地為H. 320端點(如果它連接到ISDN網絡)。H. 323和H. 320是國際電信聯盟所定義的標準。視頻端點也可配備有遠端攝像機控制(FECC)能力。傳統地，FECC能力通過選擇用戶輸入設備22 (例如圖2中和圖3所示的IR遙控器)上的按鈕24-36來訪問。FECC命令傳導到相同的通信鏈路作為音頻和視頻數據并且用于控制另一個視頻端點。例如，它們允許用戶使得另一個攝像機(除了他們自己的之外的)搖動、縮放、傾斜或聚焦。可使用信令協議消息(例如ITU-T. H. 281或H. 323附錄Q)將命令從控制的視頻會議端點發送到另一個視頻會議端點。編解碼器23具有允許用戶使用攝像機控制單元40在規劃上改變端點攝像機的搖動、傾斜和/或縮放的API。“API”是“應用編程接口”的縮寫。進一步參考圖3，攝像機控制單元40 (或遙控器)和編解碼器23之間的API通信經由編解碼器23中的端口 28和攝像機控制單元40中的端口 47交換。經由端口 28訪問的該接口允許本發明與編解碼器23通信，以使得根據本發明的攝像機控制單元40可向編解碼器23提供期望的命令序列并且從編解碼器23接收響應。參考圖4，本發明的組件由標號40 —般地指示并且被看到包括觸摸屏顯示單元41、個人計算機43和圖形生成器45。如所見的，個人計算機43具有連接到通信鏈路56的端口 47，通信鏈路56連接到編解碼器23的API通信端口 28。觸摸屏顯示器41包括IXD屏幕或可變化大小的其它視頻顯示技術(CRT、0LED、等 離子等)。除了顯示屏，觸摸屏41包含用X’和y’坐標檢測器覆蓋顯示器/屏幕的硬件。當對象(手指、鐵筆等)向觸摸屏顯示器施加壓力(觸摸)時，它向計算機43發送命令，所述命令至少包括壓力所施加點的X’和I，坐標。攝像機控制單元40使用先前提及的API與編解碼器23通信。編解碼器23和攝像機控制單元40之間的通信包括來自編解碼器23的信息和給編解碼器23的命令。當視頻會議通話開始時，編解碼器23向攝像機控制單元發送至少標識參加者數量的信息和用于每個參加者的端點標識符。根據本發明的一個示例實施例，編解碼器26包括視頻轉換器49。視頻轉換器49從近端攝像機/端點接收視頻流/視頻會議流和/或從遠端視頻會議端點接收一個或多個視頻會議流，處理視頻流/視頻會議流，并且輸出降低了分辨率和/或比特率的對應的一組視頻流。根據本發明的一個示例實施例，視頻轉換器49通過根據用于為實時應用編碼視頻的許多標準(例如ITU-I H. 261、H. 262、H. 263、H. 264或類似視頻編碼標準)之一編碼所接收視頻流來生成一個或多個視頻流。根據本發明的另一個示例實施例，視頻轉換器以預定義間隔抓取所接收視頻流的快照，并且然后在它將一系列快照輸出為視頻流之前調整快照大小。視頻流被調整大小，因為觸摸屏顯示器的大小通常比所接收視頻流所針對的視頻會議端點監視器24的大小要小。該實施例的典型間隔可以是在每秒30個快照到每5秒I個快照的范圍內。
響應于從編解碼器26接收信息，計算機生成要在觸摸屏顯示器41上顯示的圖形用戶界面(GUI)。Gn用于控制一個或多個攝像機的操作，例如近端攝像機或遠端攝像機。圖形用戶界面也可包括可顯示在觸摸屏顯示器41上用于用戶操作和控制端點X的許多觸摸控制、菜單和對話框。例如，GUI可允許用戶發起或應答視頻呼叫；斷開一個或多個視頻通話；控制近段攝像機；控制遠端攝像機；和其它典型視頻會議動作。根據本發明的一個實施例，當視頻會議通話開始時，編解碼器26向攝像機控制單元發送表示會議開始并且至少標識參加會議通話的視頻會議端點的唯一會議ID的信號。響應于從編解碼器26接收信號，在個人計算機43的控制下，圖形生成器45生成并且經由端口 42向觸摸屏41提供圖形用戶界面以用于允許與視頻會議通話中連接的一個或多個視頻會議端點相關的一個或多個攝像機的操作。或者，僅在來自用戶的請求時生成并且向觸摸屏41提供用于允許一個或多個攝像機的操作的圖形用戶界面。如圖5中所示，圖形用戶界面由場景51構成，其中場景51是包括圖形對象52的所定義區域。場景51可用或不用明顯的邊界來標出，并且如果場景未標出，那么場景將呈現為背景的一部分。每個圖形對象52表示正在進行的會議通話中連接的一個視頻會議端點。根據另一個示例實施例，除了場景之外，圖形用戶界面還包括菜單區域53。場景51是會議通話的圖形表示，并且向用戶顯現通話中的不同參加者。場景51可包括或不包括表示攝像機控制單元40連接到的本地視頻會議端點的圖形對象52。根據本發明的一個實施例，圖形對象52是標識圖形對象分別表示的視頻會議端點的圖像。所述圖像可以是一個或多個人員(化身)、計算機生成的圖像、照片、描述視頻會議端點的文本(例如參加者的姓名、視頻會議系統的名稱(例如端點ID)、視頻會議系統所位于的位置名稱等)、或上述兩個或更多個的組合的輪廓。根據本發明的另一個實施例，圖形對象是從連接的視頻會議端點饋送的實況視頻。實況視頻饋送由上述的視頻轉換器提供。如圖6中所示，當用戶用對象(例如手指或鐵筆)觸摸(符號62表不觸摸屏系統41所登記的觸摸)觸摸屏系統41的屏幕時,對應于所觸摸點62位置的X和y坐標經由端口 53、導體55和計算機43上的端口 57被發送到計算機43。如果用戶觸摸顯示圖像對象52之一的屏幕區域內的坐標(如圖6中)，那么計算機比較所觸摸的X和I坐標與GUI的內容，并且將用戶動作解釋為選擇所觸摸圖形對象61，并且因此選擇了與該圖像對象相關的視頻會議系統。用戶然后可操作與所選擇圖像表示的視頻會議端點相關的攝像機。所選擇圖像對象61可被聞売以便向用戶不出攝像機控制單元(遙控器)已登記了用戶的選擇。或者，放大所選擇的圖形對象。根據一個實施例，所選擇圖形對象在其它圖形對象的大小減小時被放大。根據另一個實施例，所選擇圖形對象被放大以便覆蓋整個場景使用所述觸摸屏來執行所述(一個或多個)攝像機的操作。當用戶操作攝像機控制時攝像機控制單元將向用戶提供視覺、聽覺和/或觸覺反饋。反饋向用戶確保攝像機控制單元已登記了用戶命令。視覺反饋的示例是在按下時箭頭鍵改變形狀、大小或顏色。觸覺反饋的一個示例是攝像機控制單元40包括振動設備，并且當按下攝像機控制(例如箭頭鍵)啟動振動設備。聽覺反饋的示例是攝像機控制單元40包括揚聲器，并且當攝像機控制被按下或者執行攝像機控制手勢時攝像機控制單元經由所述揚聲器發出聲音。根據本發明的一個實施例，攝像機的操作涉及在觸摸屏顯示器上顯示攝像機控制并且從用戶接收相關于那些攝像機控制的觸摸數據以便控制攝像機的操作。當生成GUI時計算機為每個觸摸控制(上、下、左、右、放大、縮小等)在GUI的一個區域進行指定。當計算機從觸摸屏顯示器41接收觸摸數據(坐標)事，計算機比較坐標和所指定區域并且將所接收觸摸數據和為所觸摸區域指定的攝像機控制指令相關聯。根據本發明的一個示例實施例,所顯示的攝像機控制包括一組箭頭鍵,或表示方向的類似按鈕，用于控制攝像機的上、下、左和右的移動。用于操作攝像機縮放功能的攝像機控制包括滑動條，或者或者為分別表示放大和縮小的兩個按鈕。用戶可通過重復地按下期望的箭頭鍵(或縮放鍵)，或通過按下并且保持，直到攝像機移動到期望位置，來操作攝像機。圖5中示出了如上所述的一個示例攝像機控制。根據本發明的一個實施例，攝像機的操作涉及一般地或者在⑶I的某些區域上應用手指姿勢。計算機接收手指姿勢作為一系列連續的觸摸坐標。計算機將用于每個觸摸控制(上、下、左、右、放大、縮小等)的手指姿勢指定為在屏幕上任何地方執行的手勢或者與某些區域相關而執行的手勢。當計算機從觸摸屏顯示器41接收觸摸數據(坐標)時，并且如果一系列連續的坐標暗指手勢，那么計算機將坐標與所指定手勢比較并且將所接收觸摸數據與為所執行手勢指定的攝像機控制指令相關聯。根據本發明的一個示例實施例，所顯示的攝像機控制包括虛擬操縱桿、如圖6和圖7中所示。虛擬操縱桿63例如可包括一組箭頭鍵631和中心體632 (或操縱桿圖標)。通過將中心體632在期望的方向上拖拽，用戶能夠更自由和直觀地控制搖動-傾斜攝像機，而不會限于4個方向的逐步移動。在該實施例中，攝像機可用一個移動或觸摸在任何方向上移動。另外，攝像機搖動/傾斜的速度可通過主體的當前位置702和初始位置701之間的距離來確定。當用戶釋放中心體631時，攝像機停止移動。根據本發明的另一個實施例，當圖形對象為實況視頻饋送時，攝像機可通過直接與圖形對象交互來操作。因為用戶現在可在觸摸屏顯示器上(在⑶I中)看到攝像機捕獲的實際圖像，所以用戶可通過在GUI中對實況視頻流執行手指手勢來操作攝像機搖動、傾斜和縮放移動，如圖8中所示。用戶可通過在視頻流上執行拖放手指手勢來控制攝像機搖動/傾斜，如圖8a中所示。在該實施例中，來自當前受控攝像機的視頻流在拖放過程期間被連續地更新。以該方式，⑶I允許用戶在觸摸屏顯示器上到處拖拽圖像，直到找到期望的視圖，就像物理對象可在書桌或桌子表面上移動一樣。此外，用戶可通過在所顯示視頻流上執行某些預定義的手勢來進行縮放，例如通過在連續向觸摸屏應用手勢時執行兩個或多個手指的收縮移動以用于放大和縮小，如圖8b中所示。或者，縮放功能可通過按下和保持預定的時間周期(例如O. 5到2秒)來啟動。在預定時間周期之后，縮放圖標和/或滑動條可呈現為示出啟動了縮放功能。然后，可通過在水平或垂直方向上滑動手指來操作縮放，如圖8c到8d中所示。根據本發明另一個實施例，當圖像對象正顯示實況視頻流時，用戶可通過輕擊或兩次輕擊(或任何其它適當手勢)實況視頻饋送中的參加者來放大選擇的參加者，如圖9a中所示。當兩次輕擊參加者 時，攝像機控制單元將指示與相關視頻流關聯的攝像機(經由本地編解碼器26)放大該人員。對于固定的安裝，例如座位固定并且攝像機和參加者之間的距離不變的會議室，這可通過搖動、傾斜和放大到預定義的攝像機位置(預置)來容易地執行。如果相關聯的會議室不是固定的安裝，那么可應用面部檢測算法以便確定最靠近所觸摸的X’和y’坐標的面部的位置和大小。如果檢測到面部，并且獲得了面部的位置和大小，那么攝像機控制單元計算適當的搖動、傾斜和縮放位置以便構造選擇的參加者，并且向編解碼器發送攝像機控制指令，編解碼器轉而使用遠端攝像機控制(FECC)協議來指示有關的視頻端點和攝像機。根據本發明的另一個實施例，當圖形對象是實況視頻饋送時，用戶可通過使用計算機43識別的手勢構造感興趣的區域來放大一個或多個參加者或者實況視頻饋送的任何其它區域。如圖％中所示，可通過在觸摸屏上圍繞感興趣的區域導航手指或對象，或者通過由在觸摸屏上輕擊或兩次輕擊兩個或多個手指定義感興趣區域的至少兩個角落(如圖9c中所不)，來定乂感興趣區域。接下來，當用戶在觸摸屏上顯示的圖形用戶界面中觸摸期望的攝像機控制按鈕或者應用與攝像機控制相關的手指手勢時，根據上面的一個或多個實施例，計算機43從觸摸屏顯示器接收觸摸數據并且將它們與編解碼器所理解的攝像機控制指令相關聯。然后，計算機發送包括所選擇視頻會議端點的端點ID和攝像機控制指令的命令(或信號)。有關的端點ID標識所選擇視頻流從哪個連接的視頻會議系統發起，以及因此標識FECC指令應當被發送到哪個視頻會議系統，或者攝像機控制指令是否應當被發送到它自己的攝像機。命令經由端口 47、通信鏈路56和編解碼器26上的端口 28發送到編解碼器26。如果所接收的端點ID是接收編解碼器26的ID，那么編解碼器向連接到編解碼器26的攝像機發送控制指令。如果所接收的端點ID是連接到編解碼器的遠程視頻會議系統之一的ID，那么編解碼器基于所接收命令生成FECC指令并且向所標識的視頻會議系統發送，所標識的視頻會議系統轉而向它的攝像機發送控制指令。根據本發明的一個實施例，攝像機控制單元是專用設備。專用設備可以是視頻會議系統的默認部分，或者可以是單獨獲得的附加設備。根據本發明的另一個實施例，便攜式計算設備，例如個人數字助理、移動電話、膝上型計算機或具有觸摸屏接口和視頻構造服務器26所支持的通信接口(例如TCP/IP)的類似便攜式計算設備，可用作為攝像機控制單元。客戶端軟件(攝像機控制客戶端)可被下載和/或安裝在該便攜式計算設備上以使得便攜式計算設備能夠作為根據本發明的攝像機控制單元。除了處理器，攝像機控制單元40中的計算機43可包括其上可存儲有根據本發明一個實施例的一個或多個計算機程序或軟件組件的存儲介質。例如，要被部署的圖形生成器可被存儲在計算機43的存儲介質上。此外，存儲介質可存儲用于創建圖形生成器的圖形程序開發應用，以及能夠轉換和/或將圖形生成器部署在便攜式計算設備上的軟件。存儲介質也可存儲操作系統軟件，以及用于操作計算機系統的其它軟件。圖4類似于圖3，但是專注于如上所述的本發明的組件。圖4中的相同標號指代圖3中的相同組件。發明性系統40允許通過使用由個人計算機43控制的易用的觸摸屏41 (確保邏輯操作的智能設備)來控制編解碼器26，可通過請求的顯示向用戶給予第二次機會以便驗證已做出正確的選擇，并且避免錯誤的操作。更詳細地，計算機43能夠執行以計算機編程語言編寫的邏輯指令。計算機43經由PCI或計算機43中物理安裝的其它適當總線來控制編解碼器的操作；經由通信鏈路56的編解碼器26示意性地在圖4中表示。根據本發明的一個示例實施例，計算機43和編解碼器26之間的通信經由通信鏈路56使用TCP/IP來交換。通信鏈路56可以是有線或無線鏈路，例如PAN、CAN、MAN、LAN、WLAN、WAN等。編解碼器26和計算機之間的通信是在計算機43的端口 47和編解碼器26的端口 28之間來回的命令。如應當理解的，這些通信符合視頻構成服務器26的廠商應用編程接口(API)。還使用觸摸屏41經由圖4中所示的通信鏈路以及標號55指示的導體和標號53和57指示的端口來發生通信。來自計算機/圖形生成器的圖像經由端口 42、導體51和端口 44傳送到并且顯示在觸摸屏顯示器上。參考圖10，編解碼器26和計算機43之間的全部通信遵循類似的過程。參考圖10，當預定義事件在步驟1000出現時，編解碼器26在步驟1010向計算機43發送命令/信號，命令/信號至少包括標識會議通話中當前連接到編解碼器26 (直接或經由MCU)的視頻會話端點的一組端點ID。所述預定義事件可包括當視頻會議開始時，當新的視頻會議端點加入正在進行的會議時，當在會議期間攝像機控制單元連接到編解碼器26時，在來自攝像機控制單元的請求時，等等。例如，使用如圖2中所示的視頻會議端點C’，用戶C呼叫視頻會議端點A’上的參加者A和視頻會議端點B’上的參加者B。視頻會議端點C’已經連接到根據本發明的攝像機控制單元，并且當會議開始時(全部端點被連接)視頻會議端點C’的編解碼器26向攝像機控制單元的計算機43發送命令，以表示會議正在進行并且至少標識當前通話中每個視頻會議端點的端點ID (在該情況下為視頻會議系統A’、B’和C’的端點ID)。接下來在步驟1020，計算機(圖形生成器)創建至少包括場景51的圖形用戶界面(GUI)。場景51是專用于示出正在進行的視頻會議的當前連接端點的專用GUI區域。基于所接收的端點ID，計算機生成一組圖形對象，每一個用于每個所接收的端點ID。圖形對象占據場景的部分或全部專用區域。即使為每個視頻會議端點生成一個圖形對象，用戶可以控制場景的設置，例如可省略表示本地視頻會議端點的圖形對象。以它最簡單的形式，圖形對象包括一個或多個化身和包含與有關視頻會議系統相關的信息的文本域。文本域中的文本可以是端點ID本身，或者與存儲器或計算機可訪問的網絡設備中存儲的端點ID相關的信息，例如參加者的姓名、視頻會議系統的名稱或地址、端點ID等。在另一個示例實施例、中，圖形對象包括從各個視頻會議系統饋送的實況視頻。計算機經由端口 42、通信鏈路51和觸摸屏顯示器41上的端口 44向觸摸屏顯示器41發送⑶I (圖像)。用戶現在具有視頻會議通話的全部參加者的可非常容易理解的圖形表示。接下來，在步驟1030，為了控制攝像機，用戶必須通過觸摸場景51中的所述圖形對象52之一來選擇要控制的攝像機(或視頻會議端點)。響應于用戶的選擇(觸摸)，觸摸屏41經由端口 53、通信鏈路55和端口 57向計算機43發送所觸摸區域的x和y坐標。計算機43登記對要控制的攝像機(視頻會議端點)的用戶選擇，并且計算機和圖形生成器處理來自觸摸屏的信息并且例如通過標出或放大所選擇的圖形對象來更新GUI (場景)，并且因此觸摸屏上顯示的圖像留存。在步驟1040，用戶通過觸摸觸摸屏41和/或在觸摸屏41上執行手指手勢操縱 GUI (例如圖像對象、控制菜單、按鈕、手勢)來控制所選擇的視頻會議端點的攝像機，如上更詳細所述。用戶的觸摸數據以X和I坐標的形式經由鏈路55發送到計算機43。接下來,在步驟1050,當接收到觸摸坐標或成組連續的觸摸坐標(手勢)時,計算機43比較觸摸坐標和指定為攝像機控制指令的一組GUI區域和/或手指手勢。作為計算機43可訪問的存儲器中存儲的預配置指示或當生成GUI時做出指示并且將其臨時存儲在計算機43可訪問的存儲器中，這樣來執行將至少一個GUI區域和/或至少一個手指手勢指定為至少一個攝像機控制指令。如果發現了明確的匹配，那么計算機將所接收觸摸坐標與攝像機控制命令相關聯。接下來，在步驟1060，如果計算機將所接收觸摸坐標與觸摸命令相關聯，那么計算機43向編解碼器26發送命令，至少包括端點ID和相關聯的控制命令。編解碼器26分析端點ID和相關聯的控制命令，并且生成FECC命令并且將其發送到有關的視頻會議端點，或者如果端點ID標識所述本地視頻會議端點20那么向它的本地攝像機發送攝像機控制命令。在最后的步驟1070，然后編解碼器26經由端口 28、通信鏈路56和端口 47向計算機43發送動作完成的信號。一旦以上述方式完成了動作，計算機43等待用戶下一次觸摸屏幕41的表示，以新攝像機控制指令或新攝像機選擇的形式或者會議通話中所連接視頻會議端點數量的變化。圖11示出了其上可實現本發明實施例的計算機1201。計算機系統1201包括總線1202或者用于傳送信息的其它通信機制，和用于處理信息的與總線1202連接的處理器1203。計算機系統1201還包括用于存儲信息和要由處理器1203執行的指令的連接到總線1202的主存儲器1204，例如隨機訪問存儲器(RAM)或其它動態存儲設備(例如動態RAM(DRAM)、靜態RAM(SRAM)和同步DRAM (SDRAM))。另外，主存儲器1204可用于存儲在處理器1203執行指令期間的臨時變量或其它中間信息。計算機系統1201還包括用于存儲用于處理器1203的靜態信息和指令的連接到總線1202的只讀存儲器(ROM) 1205或其它靜態存儲設備(例如可編程ROM(PROM)、可擦除PROM (EPROM)和電可擦除PROM (EEPROM))。計算機系統1201還包括連接到總線1202的盤控制器1206，以便控制用于存儲信息和指令的一個或多個存儲設備，例如磁硬盤1207和可移除媒體設備1208 (例如軟盤驅動器、只讀光盤驅動器、讀/寫光盤驅動器、自動光盤機、磁帶驅動器和可移除磁光驅動器)。存儲設備可使用適當的設備接口(例如小型計算機系統接口(SCSI)、集成設備電路(IDE)、增強IDE(E-IDE)、直接內存存取(DMA)或超級DMA)添加到計算機設備1201。
計算機系統1201還可包括專用邏輯設備(例如專用集成電路(ASIC))或可配置邏輯設備(例如簡單可編程邏輯設備(SPLD)、復雜可編程邏輯設備(CPLD)和場可編程門陣列(FPGA))。
計算機系統1201還可包括連接到總線1202的顯示控制器1209以便控制顯示器1210，例如陰極射線管(CRT)或IXD顯示器，以用于向計算機用戶顯示信息。計算機系統包括輸入設備，例如鍵盤1211和指點設備1212，以用于與計算機用戶交互并且向處理器1203提供信息。指點設備1212例如可以是用于向處理器1203傳送指示信息和命令選擇并且用于控制顯示器1210上的光標移動的鼠標、跟蹤球、或定點桿。另外，打印機可提供計算機系統1201存儲和/或生成的打印的數據列表。響應于處理器1203執行存儲器(例如主存儲器1204)中包含的一個或多個指令的一個或多個序列，計算機系統1201執行本發明實施例中的部分或全部處理步驟。這些指令可被從另一個計算機可讀介質(例如硬盤1207或可移除介質驅動器1208)讀入主存儲器1204。多處理布置中的一個或多個處理器也可被用來執行主存儲器1204中包含的指令序列。在候選實施例中，硬連線的電路可用來代替軟件指令或者與其組合。因此，實施例不限于硬件電路和軟件的任何特定組合。如上所述，計算機系統1201包括用于保存根據本發明技術編程的指令和用于包含其中描述的數據結構、表格、記錄或其它數據的至少一個計算機可讀介質或存儲器。計算機可讀存儲媒體的示例是光盤、硬盤、軟盤、磁帶、磁光盤、PR0M(EPR0M、EEPR0M、快速EPROM)、DRAM、SRAM、SDRAM或任何其它磁介質、光盤(例如CD-ROM)或任何其它光介質、穿孔卡片、紙帶或具有孔模式的其它物理介質。此外，指令可存儲在載波(或信號)中并且從其讀取。在計算機可讀存儲媒體中的任何一個或其組合上存儲，本發明的實施例包括用于控制計算機系統1201，用于驅動用于實現本發明的設備和用于使得計算機系統1201能夠與人類用戶交互的軟件。該軟件可包括但不限于設備驅動、操作系統、開發工具和應用軟件。本發明的計算機代碼設備可以是任何可解釋或可執行的代碼機制，包括但不限于腳本、可解釋程序、動態鏈接庫(DLL)、Java類和完整的可執行程序。此外，本發明的部分處理可被分布以便為了更好的性能、可靠性和/或成本。如這里使用的術語“計算機可讀存儲介質”指代參加向處理器1203提供指令用于執行的任何物理介質。計算機可讀存儲介質可采用許多形式，包括但不限于非易失性媒體和易失性媒體。非易失性媒體例如包括光、磁盤和磁光盤，例如硬盤1207或可移除介質驅動器1208。易失性媒體包括動態存儲器，例如主存儲器1204。在向處理器1203傳送一個或多個指令的一個或多個序列用于執行中可涉及各種形式的計算機可讀存儲媒體。例如，指令可初始地在遠程計算機的磁盤上攜帶。遠程計算機可將用于實現本發明全部或部分的指令遠程載入到動態存儲器并且使用調制解調器經由電話線發送指令。計算機系統1201本地的調制解調器可接收電話線上的數據并且使用紅外發送器將數據轉換為紅外信號。連接到總線1202的紅外檢測器可接收紅外信號中攜帶的數據并且將數據放置在總線1202上。總線1202向主存儲器1204傳送數據，處理器1203從主存儲器1204檢索和執行指令。在由處理器1203執行之前或之后，主存儲器1204接收的指令可選地存儲在存儲設備1207或1208上。計算機系統1201還包括連接到總線1202的通信接口 1213。通信接口 1213向例如連接到局域網(LAN) 1215或另一個通信網絡1216 (例如因特網)的網絡鏈路1214提供雙向數據通信連接。例如，通信接口 1213可以是連接到任何分組交換LAN的網絡接口卡。作為另一個示例，通信接口 1213可以是向對應類型的通信線路提供數據通信連接的非對稱數字用戶線路(ADSL)卡、綜合服務數字網(ISDN)卡或調制解調器。也可實現無線鏈路。在任何這種實現中，通信接口 1213發送和接收傳送表示各種類型信息的數字數據流的電、電磁或光信號。網絡鏈路1214通常通過一個或多個網絡向其它數據設備提供數據通信。例如，網絡鏈路1214可通過本地網絡1215 (例如LAN)或通過服務提供者(其通過通信網絡1216提供通信服務)操作的裝置來提供到另一個計算機的連接。本地 網絡1214和通信網絡1216例如使用傳送數字數據流的電、電磁或光信號和相關聯的物理層(例如5類CAT電纜、同軸電纜、光纖等)。向計算機系統1201和從其傳送數字數據的通過各種網絡的信號和在網絡鏈路1214上并且通過通信接口 1213的信號可以通過基帶信號或基于載波的信號實現。基帶信號傳送數據作為未調制的電脈沖，其描述了數字數據位流，其中術語“位”應被廣義地解釋為意指符號，其中每個符號傳送至少一個或多個信息位。數字數據也可被用于調制載波，例如用經由傳導媒體傳播或通過傳播介質作為電磁波發送的幅移鍵控信號、相移鍵控信號和/或頻移鍵控信號。因此，數字數據可通過“有線”通信信道作為未調制基帶數據發送和/或通過調制載波在不同于基帶的預定頻帶內發送。計算機系統1201可通過網絡1215和1216、網絡鏈路1214以及通信接口 1213發送和接收數據，包括程序代碼。此外，網絡鏈路1214可通過LAN 1215向移動設備1217 (例如個人數字助理(PDA)、膝上型計算機或移動電話)提供連接。根據上面的教導，本發明的許多修改和變化是可能的。因此要理解，在所附權利要求的范圍內，可在除了這里特定描述的之外來實踐本發明。
權利要求
1.一種用于本地視頻會議端點的觸摸屏遙控器，所述視頻會議端點包括 監視器和能夠進行搖動、傾斜或縮放中至少一者的至少一個攝像機， 具有用于與所述觸摸屏遙控器通信的裝置的編解碼器，所述編解碼器被配置為經由網絡與一個或多個遠程視頻會議端點建立視頻會議， 所述觸摸屏遙控器包括觸摸屏顯示器和計算機，該計算機被配置為 從所述編解碼器接收標識所述視頻會議中的端點的至少一個或多個端點ID ； 生成至少包括用于所述視頻會議中每個視頻會議端點的一個圖形對象的圖形用戶界面(⑶I); 在觸摸屏顯示器上顯示所述⑶I ； 接收來自所述觸摸屏顯示器并標識了所選擇圖形對象的觸摸數據； 指定所述⑶I的至少一個區域或至少一個手指手勢為作為至少一個攝像機控制指令；從所述觸摸屏顯示器接收觸摸數據，并將所接收的觸摸數據與所述至少一個攝像機控制指令相關聯，以及 將攝像機控制指令發送到所述編解碼器。
2.根據權利要求I所述的設備，其中，所述圖形對象包括來自各個視頻會議端點的視頻流。
3.根據權利要求2所述的設備，其中 所述編解碼器包括視頻轉換器單元，該視頻轉換器單元被配置為從兩個或更多端點接收會議視頻流，處理所述流，并輸出降低了分辨率和/或幀率的相應一組視頻流；并且所述計算機被配置為接收所述視頻流組并且在所述GUI中顯示所述視頻流中的一個或多個。
4.根據權利要求I所述的設備，其中，所述計算機還被配置為 生成所述GUI的單獨控制區域，所述控制區域包括操縱桿圖標， 基于圖像對象相對于所述觸摸屏顯示器上的初始默認位置的位置和距離來指定攝像機控制指令。
5.根據權利要求I所述的設備，其中，所述計算機還被配置為 基于在所述圖形對象之一上應用的手指手勢來指定攝像機控制指令。
6.根據權利要求I所述的設備，對于捏緊或松放手勢指定放大或縮小攝像機控制指令。
7.根據權利要求I所述的設備，對于所述觸摸屏上相應方向的觸摸和拖拽手勢指定定向移動攝像機控制指令。
8.根據權利要求I所述的設備，對于捏緊和松放手勢指定放大或縮小攝像機控制指令。
9.根據權利要求I所述的設備，其中 所述計算機或編解碼器包括用于在所述會議視頻流或所述視頻流中定位面部的面部檢測單元；并且 其中，所述計算機還被配置為基于用戶觸摸數據和所述定位的面部，生成對于由用戶經由所述GUI和觸摸屏顯示器標識的參加者進行放大的攝像機控制指令。
10.一種用于在若干視頻會議端點之間的視頻會議期間控制與視頻會議端點相關聯的一個或多個攝像機的操作的方法，其中所述視頻會議端點包括編解碼器、監視器和能夠進行搖動、傾斜或縮放中至少一者的至少一個攝像機，所述方法包括以下步驟 提供觸摸屏遙控器以及所述遙控器和本地編解碼器之間的通信鏈路，并且在所述遙控器處 從所述本地編解碼器接收標識所述視頻會議中的端點的至少一個或多個端點ID ； 生成至少包括用于所述視頻會議中每個視頻會議端點的一個圖形對象的圖形用戶界面(⑶I); 在觸摸屏顯示器上顯示所述⑶I ； 接收來自所述觸摸屏顯示器并標識了所選擇圖形對象的觸摸數據； 指定所述⑶I的至少一個區域和/或至少一個手指手勢作為至少一個攝像機控制指令； 從所述觸摸屏顯示器接收觸摸數據，并將所接收觸摸數據與所述至少一個攝像機控制指令相關聯； 將攝像機控制指令發送到所述本地編解碼器。
11.根據權利要求10所述的方法，其中，所述圖形對象包括來自各個視頻會議端點的視頻流。
12.根據權利要求11所述的方法，還包括 在所述本地編解碼器中從所述端點中的一個或多個接收會議視頻流，處理所述流，并輸出降低了分辨率和/或幀率的相應一組視頻流組；以及 向所述觸摸屏遙控器發送所述一組視頻流，并在所述GUI中顯示所述視頻流。
13.根據權利要求10所述的方法，其中，生成⑶I的步驟還包括 生成單獨控制區域，所述控制區域包括操縱桿圖標， 基于圖像對象相對于所述觸摸屏顯示器上的初始默認位置的位置和距離來指定攝像機控制指令。
14.根據權利要求10所述的方法，其中，所述指定的步驟包括 基于在所述觸摸屏顯示器上的所述圖形對象之一上應用的手指手勢來指定攝像機控制指令。
15.根據權利要求10所述的方法，其中，所述指定的步驟包括對于捏緊和松放手勢指定放大或縮小攝像機控制指令。
16.根據權利要求10所述的方法，其中，所述指定的步驟包括對于所述觸摸屏上相應方向的觸摸和拖拽手勢指定定向移動攝像機控制指令。
17.根據權利要求10所述的方法，其中，所述指定的步驟包括對于捏緊和松放手勢指定放大或縮小攝像機控制指令。
18.根據權利要求10所述的方法，還包括 在所述會議視頻流和/或所述視頻流中定位面部；和 基于所述用戶輸入和所述定位的面部，生成對于由用戶經由所述GUI和觸摸屏顯示器標識的參加者進行放大的攝像機控制指令。
全文摘要
本發明涉及用于控制與視頻會議通話中的視頻會議端點相關的一個或多個攝像機的操作的系統和方法。根據本發明的攝像機控制單元(遙控器)是支持觸摸的終端用戶組件，其向用戶呈現表示會議通話中當前連接的視頻會議端點和/或視頻會議端點的攝像機當前捕獲的一個或多個實況視頻饋送的圖形對象，并且允許用戶使用所述攝像機控制單元中嵌入的觸摸屏顯示器來操縱攝像機的搖動、傾斜和縮放。
文檔編號G06F3/048GK102648626SQ201080046857
公開日2012年8月22日 申請日期2010年10月14日 優先權日2009年10月14日
發明者伊萬·瑪里繆斯·克里斯蒂安森, 蓋爾·布君, 維加德·哈默 申請人:思科系統國際公司