一種交互現實系統和方法

一種交互現實系統和方法
【專利摘要】本發明是一種交互現實系統和方法，由現實世界(1)、攝像機(2)和計算機(3)三個部分組成，現實世界(1)包含有機器人和場景。攝像機(2)通過WiFi模塊將現實世界(1)圖像實時傳給計算機(3)，并在計算機(3)的多點觸摸顯示屏上顯示。當操作員用手指直接拖動顯示屏上的機器人圖像時，計算機(3)通過WiFi模塊向該機器人發送移動遙控指令，該機器人隨著手指的拖動，完成前進、后退、轉彎、停止等作業。操作員可以在計算機(3)顯示屏上標記多個機器人圖像，拖動其中任何一臺機器人，所有被標記的機器人都會做相同的作業，以此完成多臺機器人的同時遙控。與已有系統相比，本發明對多機器人的遙控更自然、簡單和便捷。
【專利說明】一種交互現實系統和方法

【技術領域】
[0001]本發明涉及人與機器人交互方式，特別是一種人與現實世界中多個機器人交互的系統和方法，屬于人機交互領域。

【背景技術】
[0002]一般機器人都具有遙控功能。通過遙控裝置，在可視范圍內遙控機器人進行作業，也可以通過視頻圖像遙控可視范圍以外的機器人進行作業。遙控機器人直接受控于人類，能夠將人類智慧和機器人自主能力相結合，高效率、高質量完成作業，這類機器人仍然是未來機器人的主流。遙控機器人主要由遙控裝置、視頻監控裝置、自主機器人等三個部分組成。遙控裝置包含方向十字鍵和功能鍵，也有的遙控裝置包含方向手柄(或方向盤)和功能鍵。操作員通過視頻監控裝置觀測現場，通過遙控裝置向機器人發送指令，遠距離遙控機器人完成作業。近幾年，出現了觸摸屏遙控裝置，比如iPad機器人、iPad航模、iPad潛艇等，在iPad觸摸屏上顯示相應的方向十字鍵(或方向盤)和功能鍵圖標，通過觸摸圖標遙控機器人完成作業。
[0003]目前設計的遙控裝置盡管很人性化，但仍然需要操作員具有良好的遙控操作技能；尤其在遙控多個機器人時，需要多人操作多個對應的遙控裝置，產生多人之間的同步、合作與競爭等控制問題。


【發明內容】

[0004]本發明針對上述問題，提出一種交互現實系統(Interactive Reality Systems,IRS)和方法。
[0005]本發明的基本思想是通過攝像機建立現實世界中機器人和其在計算機多點觸摸顯示屏上的圖像之間的對應關系，操作員直接觸摸顯示屏上的機器人圖像，就能實現對現實世界中機器人的遙控，稱這種遙控方式為觸摸圖像遙控(Tele-Control by TouchingImages, TCTI)。觸摸圖像遙控不是觸摸顯示屏上的遙控健圖標，而是直接觸摸顯示屏上的機器人圖像。
[0006]本發明的目的是建立一種交互現實系統，操作員用手指觸摸計算機的多點觸摸顯示屏，直接拖動顯示屏中的機器人圖像，就能完成機器人前進、后退、轉彎、停止等遙控作業；操作員能夠在顯示屏上標記多個機器人圖像，拖動任何一個機器人圖像，其它機器人圖像也一起被拖動，完成現實世界中多個機器人的遙控。本發明的另一個目的是建立一種交互現實方法，使用攝像機將現實世界的圖像傳給一定距離以外的計算機，并顯示在計算機的多點觸摸顯示屏上，通過直接觸摸現實世界的圖像，實現人與現實世界的交流和互動。
[0007]本發明的目的是通過以下技術方案實現的。
[0008]1.一種交互現實系統，由現實世界(I)、攝像機(2)和計算機(3)等三個部分組成，現實世界(I)中包含有機器人和場景，機器人、攝像機(2)和計算機(3)都包含有WiFi模塊，計算機(3)還包含有多點觸摸顯示屏、計算模塊和控制模塊，所述現實世界(I)中機器人用于完成其在場景中的作業任務，攝像機(2)用于完成現實世界(I)的圖像獲取，并通過WiFi模塊實時傳給計算機(3)的任務，其特征在于，所述計算機(3)的計算模塊用于建立現實世界(I)的機器人與多點觸摸顯示屏上機器人圖像的對應關系，并在多點觸摸顯示屏上顯示具有對應關系的圖像，以及識別操作員在多點觸摸顯示屏上觸摸圖像的動作，計算機(3)的控制模塊將觸摸圖像的動作轉換為對應機器人可以識別的指令，通過WiFi模塊向現實世界(I)中對應的機器人發出，使其按照指令完成作業任務
[0009]一種交互現實方法，其特征在于，攝像機(2)通過WiFi模塊將現實世界(I)圖像實時傳給計算機(3)，計算機(3)的計算模塊對圖像中的機器人進行實時的識別和定位計算，操作員用手指直接拖動多點觸摸顯示屏上的機器人圖像，遙控機器人在現實世界(I)做相應的動作；通過該種方法循環往復，操作員可以通過多點觸摸顯示屏實時控制現實世界(I)中的機器人完成作業任務。
[0010]所述方法還包括現實世界(I)中多個機器人和多點觸摸顯示屏中機器人圖像的對應關系的建立，該建立過程可以通過以下兩種方式中的任何一種實現:
[0011]一、計算機(3)的控制模塊通過WiFi模塊給現實世界(I)中的某一個機器人發送特定運動的遙控指令，操作員對多點觸摸顯示屏中做相應運動的那個機器人進行標記，計算機(3)的計算模塊將該機器人圖像存儲下來，用于后續的識別和定位，完成對應關系的建立；
[0012]二、計算機(3)的控制模塊通過WiFi模塊給現實世界(I)中的某一個機器人發送特定運動的遙控指令，計算機(3)的計算模塊自動檢測做相應動作的那個機器人并進行標記，將該機器人圖像存儲下來，用于后續的識別和定位，完成對應關系的建立。
[0013]操作員可以在多點觸摸顯示屏上標記多個機器人圖像，拖動任何一個機器人圖像，所有被標記的機器人都在現實世界(I)做相同的動作，實現多臺機器人的遙控。
[0014]操作員在多點觸摸顯示屏上對現實世界(I)的場景圖像進行標記，標記特定的點或區域，當現實世界(I)的機器人與這些點或區域的距離低于閾值L，控制模塊自動向對應的機器人發出相關指令，遙控機器人做相應的動作。
[0015]本發明具有如下優點:
[0016]1、遙控直觀。在觸摸屏上看到機器人圖像，直接拖動機器人圖像，可以看到機器人是否按照操作人員的意圖運動。
[0017]2、遙控自然。操作人員用手指拖動機器人圖像是按照自然的方式進行的，比如，向前拖動是前行，向左拖動是左轉等。
[0018]3、遙控多個機器人更加容易、便捷。通過“成組”功能鍵，將多個機器人劃為一組，遙控任何一個機器人等于遙控整組機器人做相同的作業。
[0019]4、能夠對現實世界進行虛擬標記，為機器人自主作業提供信息。在現實世界(I)的圖像上，通過畫線和畫圈設置壁壘、禁區或工作區，實現對現實世界(I)的標記，無需到現實世界現場設置實物，提高工作效率。特別是機器人可以到達而人員無法到達的現場，這種標記方法更加有效。
[0020]5、更加通用的遙控功能，硬件系統不變，只改變軟件，就可以改變功能，升級容易，成本低。

【專利附圖】

【附圖說明】
[0021]圖1為本發明組成結構示意圖。
[0022]圖2為本發明實施例示意圖。
[0023]圖3為本發明實施例中多點觸摸顯示屏功能菜單健示意圖。
[0024]圖4為本發明實施例中遙控單個機器人示意圖。
[0025]圖5為本發明實施例中遙控多個機器人示意圖。
[0026]圖6為本發明實施例中在多點觸摸顯示屏上對場景進行標記示意圖。
[0027]附圖標記:現實世界-1 ;攝像機-2 ;計算機_3。
[0028]實施方式
[0029]下面結合附圖和實施例對本發明的工作過程作進一步說明。
[0030]一種交互現實系統，由現實世界(I)、攝像機(2)和計算機(3)等三個部分組成，如圖1所示。現實世界(I)中包含有機器人和場景，機器人有WiFi模塊；機器人具有感知和定位等自主能力，具有自主避障功能。攝像機(2)包含有WiFi模塊，計算機(3)包含有計算模塊、WiFi模塊、控制模塊和多點觸摸顯示屏，具有強大的計算和存儲能力。現實世界
(I)的機器人、攝像機(2)、計算機(3)直接通過WiFi模塊連接的。攝像機(2)通過WiFi模塊將現實世界(I)圖像實時傳給計算機(3)，計算機(3)的計算模塊對圖像中的機器人進行實時的定位計算，建立現實世界(I)的機器人與多點觸摸顯示屏上機器人圖象的對應關系，并在多點觸摸顯示屏上顯示具有這種對應關系的圖像。操作員觸摸顯示屏上的機器人圖像，計算機(3)的計算模塊識別該觸摸動作，并由控制模塊生成控制指令，通過WiFi模塊向對應的機器人發送，完成對現實世界(I)中機器人的遙控。
[0031]攝像機(2)安裝在現實世界(I)中一個固定位置，獲取現實世界(I)的圖像，并通過WiFi模塊實時傳給計算機(3)。在現實世界(I)中安裝多個固定攝像機，能完成現實世界(I)的多方位圖像獲取任務。當使用多個攝像機(2)時，計算機(3)需要分屏顯示，或使用對應的多臺計算機(3)。
[0032]計算機(3)的計算模塊能夠對攝像機(2)拍攝的現實世界⑴的圖像中的機器人進行實時檢測、跟蹤、識別和定位，該定位信息和多點觸摸陣列形成對應關系，這種對應關系使得計算機能夠準確感知操作員是否觸摸到對應的機器人圖像。不同的觸摸動作表示不同的遙控指令，選擇自然的拖動動作，機器人會隨著手指的拖動而移動，可以做到機器人跟隨手指移動。對于一個正在移動的機器人，手指按住多點觸摸顯示屏上的機器人圖像，現實世界(I)中的機器人就在計算機(3)的控制模塊的控制下停止移動。
[0033]操作員可以在多點觸摸顯示屏上對現實世界(I)的圖像進行標記，標記特定的點或區域，并賦予特定的含義，比如禁止區域、沙地區域、目的地點等。無需到現實世界⑴中去設置實物。當機器人與這些點或區域的距離低于一個預先設定的閾值L時，計算機(3)的控制模塊自動發出指令，遙控對應的機器人做相應的動作，比如遇到禁止區域，機器人無需自主感知，控制模塊直接向該機器人發出指令，遙控該機器人遠離禁止區域。此時，操作員也無法通過拖動該機器人進入禁區。
[0034]操作員還可以在多點觸摸顯示屏上標記多個機器人圖像，標記后，拖動任何一個機器人圖像，所有被標記的機器人都在現實世界(I)做相同的動作，實現多個機器人的遙控。
[0035]本發明還需要建立現實世界⑴中機器人和計算機(3)顯示的機器人圖像之間的對應關系。如果只有一個機器人，圖像中的機器人就是現實世界中的那個機器人，無需建立遙控對應關系。但現實世界(I)中有多個機器人時，計算機(3)的多點觸摸顯示屏上將顯示多個機器人圖像，此時需要建立現實世界(I)中的機器人和多點觸摸顯示屏中機器人圖像的對應關系，稱為遙控對應關系。有了遙控對應關系，則拖動多點觸摸顯示屏中某一個機器人圖像時，計算機(3)的控制模塊就可以通過WiFi模塊向該機器人發送遙控指令，對應的機器人做相應的動作。
[0036]下面是建立遙控對應關系的二種技術。
[0037]第一種是交互式遙控對應技術。計算機(3)的控制模塊通過WiFi模塊給現實世界(I)中的一個機器人發送特定運動的遙控指令，操作員對多點觸摸顯示屏中做相應運動的機器人進行標記，完成遙控對應關系的建立。這種技術也叫點名技術，點到誰的名字，誰就給出動作，然后用戶對其標記，計算機(3)的計算模塊將圖像存儲下來，為后續的機器人識別和定位提供模板信息。
[0038]第二種是圖像識別遙控對應技術。在機器人上貼有標簽，比如用不同顏色的組合作為標簽，就像足球運動員身背號碼一樣，由計算機對標簽進行識別，建立遙控對應關系。也可以采用計算機自動點名技術，即計算機(3)的控制模塊自動給某一個機器人發送特定動作指令，計算機(3)的計算模塊自動檢測做特定動作的機器人，并進行標記以及將其圖像存儲下來，為后續的機器人識別和定位提供模板信息。
[0039]下面結合一個具體的實施例對上述內容作進一步說明。
[0040]圖2是本發明實施例示意圖，在現實世界(I)中有6個機器人，分成白和黑2隊對陣，每隊3個。在現實世界⑴中，固定安裝一臺攝像機(2)，攝像機⑵通過WiFi模塊將現實世界(I)的圖像實時傳給計算機(3)，并在多點觸摸顯示屏上直接顯示。
[0041]白和黑兩隊機器人分別由兩位用戶作為領隊來遙控。黑色手指代表黑隊機器人領隊，白色手指代表白隊機器人領隊。
[0042]計算機(3)的多點觸摸顯示屏上有功能菜單健，如圖3所示。按功能菜單健，菜單展開，出現5個功能鍵:刪除、成組、障礙、對應、確認。
[0043]本發明系統有兩種狀態，一種是設置狀態，一種是遙控狀態。菜單展開，處于設置狀態，此時可以建立遙控“對應”關系，可以設置“障礙”，也可以“成組”機器人等。
[0044]本系統開始工作時，按功能菜單健，菜單展開，按“對應”健，然后采用交互式對應技術，建立現實世界(I)中6個機器人和計算機(I)多點觸摸顯示屏上6個機器人圖像之間的對應關系。可以重復建立對應關系。按菜單中的確認健，菜單收回，系統進入遙控狀態。
[0045]圖4所示的是白和黑兩隊領隊分別用手指觸摸自己的機器人隊員圖像，領隊手指拖動任何一個機器人的圖像，對應的機器人隨著手指的移動而移動，能完成諸如前進、后退、左轉、右轉等運動，實現了通過觸摸顯示屏遙控機器人的目的。
[0046]當遙控多個機器人做同樣的運動或同時運動到同一位置時，領隊按功能菜單健，菜單展開，按“成組”健，然后在多點觸摸顯示屏上將這些機器人圖像圈起來，形成遙控區域，領隊手指拖動遙控區域的任何一個機器人圖像，則遙控區域中的所有機器人圖像都被拖動，實現了通過觸摸一個機器人圖像能遙控多個機器人的目的，如圖5所示。
[0047]本發明不僅可以對現實世界(I)中的機器人進行遙控和設置，還可以對場景進行設置。現實世界(I)中的機器人具有感知、定位和避障功能，也可以識別和理解場景，比如障礙物，特定目標等，但識別和理解都有一定的局限性，比如識別率、計算時間等。在交互現實系統中，由于操作員直接通過計算機(3)的多點觸摸顯示屏看到現實世界(I)中的機器人和場景，可以直接對場景進行交互標記，標記特定的點和區域。無需人員直接到現實世界的現場設置實物標記，可以有效的提高工作效率，特別是機器人可以到達而人員無法到達的現場，這種標記方法更加有效。
[0048]圖6是本實施例在場景中設置的禁止線和禁止區域。按功能菜單健，菜單展開，按其中的“障礙”健，然后在多點觸摸顯示屏上的場景圖像中畫線，比如，機器人在道路上運動，可以在路牙或水溝邊上劃線，告知機器人這是路牙或水溝，不可越界；也可以將場景圖像某一個特定區域圈起來，如圖6中的三角區域，表示該區域是障礙物或陷阱，機器人不能踏入，比如水池或沙地等。當機器人接近這些點或區域時，計算機(3)的控制模塊會自動給機器人發出指令，來遙控機器人做相應的動作，此時，即使操作人誤操作，也無法拖動機器人進入這些障礙區。
[0049]本領域技術人員都了解，本系統可以完成的功能不只包含實施例中所述，還可以通過功能菜單健設置更多的功能，比如設置某一個機器人為隊長，設置一個機器人為另一個機器人的衛兵等。
[0050]以上所述的具體描述，對發明的目的、技術方案和有益效果進行了進一步詳細說明，所應理解的是，以上所述僅為本發明的具體實施例，用于解釋本發明，并不用于限定本發明的保護范圍，凡在本發明的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本發明的保護范圍之內。
【權利要求】
1.一種交互現實系統，由現實世界(I)、攝像機(2)和計算機(3)等三個部分組成，現實世界(I)中包含有機器人和場景，機器人、攝像機(2)和計算機(3)都包含有WiFi模塊，計算機(3)還包含有多點觸摸顯示屏、計算模塊和控制模塊，所述現實世界(I)中機器人用于完成其在場景中的作業任務，攝像機(2)用于完成現實世界(I)的圖像獲取，并通過WiFi模塊實時傳給計算機(3)的任務，其特征在于，所述計算機(3)的計算模塊用于建立現實世界(I)的機器人與多點觸摸顯示屏上機器人圖像的對應關系，并在多點觸摸顯示屏上顯示具有對應關系的圖像，以及識別操作員在多點觸摸顯示屏上觸摸圖像的動作，計算機(3)的控制模塊將觸摸圖像的動作轉換為對應機器人可以識別的指令，通過WiFi模塊向現實世界(I)中對應的機器人發出，使其按照指令完成作業任務。
2.一種交互現實方法，其特征在于，攝像機(2)通過WiFi模塊將現實世界(I)圖像實時傳給計算機(3)，計算機(3)的計算模塊對圖像中的機器人進行實時的識別和定位計算，操作員用手指直接拖動多點觸摸顯示屏上的機器人圖像，遙控機器人在現實世界(I)做相應的動作；通過該種方法循環往復，操作員可以通過多點觸摸顯示屏實時控制現實世界的機器人完成作業任務。
3.根據權利要求2所述的一種交互現實方法，其特征在于，所述方法還包括現實世界(I)中多個機器人和多點觸摸顯示屏中機器人圖像的對應關系的建立，該建立過程可以通過以下兩種方式中的任何一種實現: 一、計算機(3)的控制模塊通過WiFi模塊給現實世界(I)中的某一個機器人發送特定運動的遙控指令，操作員對多點觸摸顯示屏中做相應運動的那個機器人圖像進行標記，計算機(3)的計算模塊將該機器人圖像存儲下來，用于后續的識別和定位，完成對應關系的建立； 二、計算機(3)的控制模塊通過WiFi模塊給現實世界(I)中的某一個機器人發送特定運動的遙控指令，計算機(3)的計算模塊自動檢測做相應動作的那個機器人并進行標記，并將機器人圖像存儲下來，用于后續的識別和定位，完成對應關系的建立。
4.根據權利要求2所述的一種交互現實方法，其特征在于，操作員可以在多點觸摸顯示屏上標記多個機器人圖像，拖動任何一個機器人圖像，所有被標記的機器人都在現實世界(I)做相同的動作，實現多臺機器人的遙控。
5.根據權利要求2-4任一所述的一種交互現實方法，其特征在于，操作員在多點觸摸顯示屏上對現實世界(I)的場景圖像進行標記，標記特定的點或區域，當現實世界(I)的機器人與這些點或區域的距離低于閾值L，控制模塊自動向對應的機器人發出相關指令，遙控機器人做相應的動作。
【文檔編號】G05D1/02GK104238418SQ201410468689
【公開日】2014年12月24日 申請日期:2014年9月15日 優先權日:2014年7月2日
【發明者】賈云得 申請人:北京理工大學