一種機器人遠程控制方法及系統與流程

本申請屬于人機交互，特別涉及一種機器人遠程控制方法及系統。

背景技術：

1、在工業高度發達的今天，生產環境中機器人比重占比越來越大，使用范圍亦越來越廣泛。隨著數字孿生(digital?twins)和混合現實(mixed?reality)技術的出現和興起，在遠程機器人上的應用也引起了更多的重視，數字孿生是以數字化方式創建物體實體的虛擬模型，具有實時同步，高保真度等諸多特性，促進物理世界與信息世界交互與融合，借助該種特性，使得遠程人機交互的遙控操作變成了可實現的未來，例如在一些存在危險因素的工廠生產車間或無菌化生產車間等特殊場合，可以借助遠程人機交互的遙控操作實現安全合格生產的目的。

2、目前，利用遠程人機交互進行機器人控制的方法多種多樣，然而在面對混合現實場景中，現有方法仍存在以下不足：

3、1.利用遠程人機交互進行機器人控制的傳統方法大多需要依賴于鼠標、鍵盤或手柄等控制設備來實現，操作較為不便。

4、2.現有技術中在使用手勢進行機器人遠程控制操作時，操作者必須使用雙手，且需要較多的手勢數據進行訓練。

5、3.使用leapmotion(體感控制器)等設備在頭部安裝進行機器人遠程控制操作時，容易造成一些感知誤差，導致輸出數據不夠穩定，對于機器人的控制也容易造成運動不穩定。

技術實現思路

1、本申請提供了一種機器人遠程控制方法及系統，旨在至少在一定程度上解決現有技術中的上述技術問題之一。

2、為了解決上述問題，本申請提供了如下技術方案：

3、一種機器人遠程控制方法，包括：

4、通過檢測設備獲取操作者的手勢數據；

5、將所述手勢數據投影映射到unity中，并通過vr操作系統界面顯示手勢影像顯示；

6、根據預先設定的模式參數識別所述手勢影像對應的操作模式，根據所述操作模式遠程控制機器人做出對應的操作動作。

7、本申請實施例采取的技術方案還包括：所述檢測設備為leapmotion設備。

8、本申請實施例采取的技術方案還包括：所述模式參數包括操作者的手指、手勢或/和手腕的旋轉動作以及角度參數，所述操作模式包括無控制模式、方向控制模式、位置控制模式以及抓取模式。

9、本申請實施例采取的技術方案還包括：所述根據預先設定的模式參數識別所述手勢影像對應的操作模式，根據所述操作模式遠程控制機器人做出對應的操作動作包括：

10、根據預先設定的模式參數識別手勢影像的操作模式是否是無控制模式，如果是，控制機器人暫停操作；其中，所述無控制模式的判斷方式為：判斷所述手勢影像中的手張開角度是否是0弧度，如果是0弧度，則判定所述手勢影像的操作模式是無控制模式。

11、本申請實施例采取的技術方案還包括：所述根據預先設定的模式參數識別所述手勢影像對應的操作模式，根據所述操作模式遠程控制機器人做出對應的操作動作包括：

12、根據預先設定的模式參數識別手勢影像的操作模式是否是方向控制模式，如果是，控制機器人執行翻滾操作；其中，所述方向控制模式的判斷方式為：判斷所述手勢影像是否是張開手腕轉動，且腕關節與手掌角度為20°及以上，如果是，則判定所述手勢影像的操作模式是方向控制模式。

13、本申請實施例采取的技術方案還包括：所述根據預先設定的模式參數識別所述手勢影像對應的操作模式，根據所述操作模式遠程控制機器人做出對應的操作動作包括：

14、根據預先設定的模式參數識別手勢影像的操作模式是否是位置控制模式，所述位置控制模式的判斷方式為：檢測操作者是否僅伸出任一手指，如果是，則判定所述手勢影像對應的操作模式是位置控制模式，并檢測所述手指的指向，控制機器人按照所述手指的指向進行運動。

15、本申請實施例采取的技術方案還包括：所述根據預先設定的模式參數識別所述手勢影像對應的操作模式，根據所述操作模式遠程控制機器人做出對應的操作動作包括：

16、根據預先設定的模式參數識別手勢影像的操作模式是否是抓取控制模式，如果是，控制機器人執行抓取操作；其中，所述抓取控制模式的判斷方式為：判斷操作者是否握拳，如果是，則判定所述手勢影像的操作模式是抓取控制模式。

17、本申請實施例采取的另一技術方案為：一種機器人遠程控制系統，包括：

18、檢測模塊：用于獲取操作者的手勢數據；

19、投影模塊：用于將所述手勢數據投影映射到unity中，并通過vr操作系統界面顯示手勢影像顯示；

20、模式識別模塊：用于根據預先設定的模式參數識別所述手勢影像對應的操作模式；

21、遠程控制模塊：用于根據所述操作模式遠程控制機器人做出對應的操作動作。

22、相對于現有技術，本申請實施例產生的有益效果在于：本申請實施例的機器人遠程控制方法及系統通過leapmotion設備以及單手手勢相結合的方式，根據預先設定的模式參數對操作者的手勢動作進行操作模式識別，根據識別結果對機器人進行遠程控制，解決了leapmotion設備頭部安裝使用時存在的手背遮擋手指出現的感知誤差等問題，從而確保機器人可以穩定運動。本申請實施例僅通過簡單的單手手勢即可完成手勢識別以及遠程控制操作，無需進行過多的手勢訓練，操作更為簡單，且無需借助手柄或鼠標等設備，大大減少了對外接設備的依賴性，且該操作系統通過優化后，可以達到更為準確的識別度。

技術特征：

1.一種機器人遠程控制方法，其特征在于，包括：

2.根據權利要求1所述的機器人遠程控制方法，其特征在于，所述檢測設備為leapmotion設備。

3.根據權利要求1或2所述的機器人遠程控制方法，其特征在于，所述模式參數包括操作者的手指、手勢或/和手腕的旋轉動作以及角度參數，所述操作模式包括無控制模式、方向控制模式、位置控制模式以及抓取模式。

4.根據權利要求3所述的機器人遠程控制方法，其特征在于，所述根據預先設定的模式參數識別所述手勢影像對應的操作模式，根據所述操作模式遠程控制機器人做出對應的操作動作包括：

5.根據權利要求3所述的機器人遠程控制方法，其特征在于，所述根據預先設定的模式參數識別所述手勢影像對應的操作模式，根據所述操作模式遠程控制機器人做出對應的操作動作包括：

6.根據權利要求3所述的機器人遠程控制方法，其特征在于，所述根據預先設定的模式參數識別所述手勢影像對應的操作模式，根據所述操作模式遠程控制機器人做出對應的操作動作包括：

7.根據權利要求3所述的機器人遠程控制方法，其特征在于，所述根據預先設定的模式參數識別所述手勢影像對應的操作模式，根據所述操作模式遠程控制機器人做出對應的操作動作包括：

8.一種機器人遠程控制系統，其特征在于，包括：

9.一種計算機設備，其特征在于，所述計算機設備包括處理器、與所述處理器耦接的存儲器，其中，

10.一種存儲介質，其特征在于，存儲有處理器可運行的程序指令，所述程序指令用于執行權利要求1至7任一項所述機器人遠程控制方法。

技術總結
本申請涉及一種機器人遠程控制方法及系統。所述方法包括：通過檢測設備獲取操作者的手勢數據；將所述手勢數據投影映射到Unity中，并通過VR操作系統界面顯示手勢影像顯示；根據預先設定的模式參數識別所述手勢影像對應的操作模式，根據所述操作模式遠程控制機器人做出對應的操作動作。本申請解決了Leapmotion設備頭部安裝使用時存在的手背遮擋手指出現的感知誤差等問題，僅通過簡單的單手手勢即可完成手勢識別以及遠程控制操作，無需進行過多的手勢訓練，操作更為簡單。

技術研發人員：馮偉,周凱臣,王衛軍,安鯨,許睿爍,車其姝
受保護的技術使用者：深圳先進技術研究院
技術研發日：
技術公布日：2024/10/21