專利名稱：一種基于視覺的機器人控制方法
技術領域：
本發明屬于機器人人機交互領域，特別涉及一種一種基于視覺的機器人控制方法。
背景技術：
隨著機器人應用領域的日益擴大，特別是機器人進入人們的日常生活，人和機器人對等交互(peer-to-peer interaction)研究越來越被重視，在對等交互中，人和機器人更多的是伙伴關系，而不是簡單的人和工具關系。遙操作機器人系統和全自主機器人系統存在一些不足，使得人-機器人協作系統具有很大的潛力。在這類系統中，人和機器人成員根據自身能力相互協作共同完成目標任務，這種團隊模式的優勢在于集成人和機器人的智能來有效的完成目標任務。人-機器人交互主題的研究涉及許多不同領域，例如不同的交互模式、認知模型以及評價方法等。在交互模式研究中，符合人際交流習慣的交互模式是當前研究的熱點，手勢作為一種自然而直觀的人際交流模式而被重視，其中手勢跟蹤是手勢識別的基礎。另外由于手勢本事具有的多樣性、多義性、以及時間和空間上的差異性等特點，當前實用的手勢交互往往根據應用特點設計特定語義庫，以保證手勢交互的準確性和有效性。機械臂作業需要一系列復雜的指令，簡單的特定語義庫并不能滿足機械臂的控制要求。機械臂操作的難點在于姿態的控制。由于機械臂仿效人手的結構進行設計，那么用人手控制機械臂是一個很直觀的方法。
發明內容
本發明的目的在于克服上述現有技術的缺點與不足，提供一種靈活自然的一種基于視覺的機器人控制方法。為達上述目的，本發明采用如下的技術方案—種基于視覺的機器人控制方法，其特征在于，包括如下步驟Si、通過攝像機獲取人手手勢圖像；S2、提取手勢圖像中人手的特征點；S3、對特征點進行三維重建，得到人手特征點在三維空間的位置關系；S4、把人手特征點對應的坐標點變換到機器人基坐標下；S5、利用人手在機器人基坐標系下的位姿關系進行反解計算，得到機器人的關節角度；S6、利用計算得到的關節角度驅動機器人運動。2、根據權利要求1所述的基于視覺的機器人控制方法，其特征在于，所述步驟Sl 包括根據雙目定位原理，在人手的上方安裝兩個攝像頭，實時捕捉人手運動圖像。上述基于視覺的機器人控制方法中，所述步驟S2包括根據人手圖像中人手特征的特點，通過特征點提取的方法進行圖像處理，得到人手特征點的像素區域，然后提取人手特征區域的中心點作為人手特征點。在特征點提取中需要用到M位的(R，G，B)顏色模型，
5在RGB顏色模型中，所有顏色都可以由R，G，B三種顏色組成，不同的組合呈現不同的顏色。 為了能識別圖像中的特征點，利用紅顏色標記手部的特征點，而黃色的手套是為了便于上色，下面給出特征點提取的具體顏色模型。假設圖像中像素i(i取正整數)的值為(Ri, Gi, Bi),那么識別圖中紅色像素的模型為
權利要求
1.一種基于視覺的機器人控制方法，其特征在于，包括如下步驟51、通過攝像機獲取人手手勢圖像；52、提取手勢圖像中人手的特征點；53、對特征點進行三維重建，得到人手特征點在三維空間的位置關系；54、把人手特征點對應的坐標點變換到機器人基坐標下；55、利用人手在機器人基坐標系下的位姿關系進行反解計算，得到機器人的關節角度；56、利用計算得到的關節角度驅動機器人運動。
2.根據權利要求1所述的基于視覺的機器人控制方法，其特征在于，所述步驟Sl包括 根據雙目定位原理，在人手的上方安裝兩個攝像頭，實時捕捉人手運動圖像。
3.根據權利要求1所述的基于視覺的機器人控制方法，其特征在于，所述步驟S2包括根據人手圖像中人手特征的特點，通過特征點提取的方法進行圖像處理，得到人手特征點的像素區域，然后提取人手特征區域的中心點作為人手特征點；在特征點提取中需要用到 24位的RGB顏色模型，在RGB顏色模型中，所有顏色由R，G，B三種顏色組成，不同的組合呈現不同的顏色；為了能識別圖像中的特征點，利用紅顏色標記手部的特征點，而黃色的手套是為了便于上色，下面給出特征點提取的具體顏色模型假設圖像中像素i的值為(Ri, Gi, Bi)，i取正整數，那么識別圖中紅色像素的模型為
4.根據權利要求1所述的基于視覺的機器人控制方法，其特征在于，所述步驟S3包括 在步驟S2中得到紅色標記點在左右圖像中的位置，為了重建出標記點的三維坐標，采用雙目重建原理進行三維重建，雙目定位深度計算
5.根據權利要求1所述的基于視覺的機器人控制方法，其特征在于，步驟S4包括包括以下步驟541、通過人手控制機器人的位置變化；542、通過人手控制機器人的姿態變化；543、人手姿態與機器人末端姿態進行映射。
6.根據權利要求5所述的基于視覺的機器人控制方法，其特征在于，步驟S41包括 首先在初始化機械臂后，通過正解算法可以得到手抓末端的初始位置(Xp，yp, Zp)，接下來在攝像機拍攝范圍內規定一個工作空間，人手只能在該工作空間運動，否則指令失效，然后再定義一個方向空間，方向空間與工作空間形成一個空隙，該空隙用于改變機械臂的位置
7.根據權利要求5所述的基于視覺的機器人控制方法，其特征在于，步驟S42包括 手抓末端的姿態與人手中拇指端、食指端和拇指根部與食指根部之間的凹槽點三點組成的姿態是一致的。
8.根據權利要求5所述的基于視覺的機器人控制方法，其特征在于，步驟S43包括 假設人手坐標系與控制臺坐標系的原點重合；變換矩陣為一個3X3的矩陣Μ，則在人手坐標系中的一個點Α，變換到控制臺基坐標系中為A'，有A' =MA, 其中
9.根據權利要求1所述的基于視覺的機器人控制方法，其特征在于，步驟S5包括包括以下步驟在Denavit-Hartenberg表示法中，Ai表示從坐標系i_l到坐標系i的齊次坐標變換陣，i取正整數，有
10.根據權利要求1所述的基于視覺的機器人控制方法，其特征在于，步驟S6包括利用步驟S5計算得到η個關節角角度驅動機器人運動，從而使得機器人末端達到期望位置。
全文摘要
本發明提供一種基于視覺的機器人控制方法，包括步驟(1)通過攝像機獲取人手手勢圖像；(2)提取手勢圖像中人手的特征點；(3)對特征點進行三維重建，得到人手特征點在三維空間的位置關系；(4)把人手特征點對應的坐標點變換到機器人基坐標下。(5)利用人手在機器人基坐標系下的位姿關系進行反解計算，得到機器人的關節角度；(6)利用計算得到的關節角度驅動機器人運行。本發明的優點在于1)控制直觀，機器人手抓姿態直接對應人手姿態；2)控制靈活，無需與繁重的交換工具接觸；3)利用虛擬現實技術可以輔助操作者更準確更安全地進行操作；4)允許中途中斷恢復或更換操作者；5)操作者無需大范圍走動，減少操作者的操作壓力。
文檔編號B25J9/16GK102350700SQ20111027720
公開日2012年2月15日 申請日期2011年9月19日 優先權日2011年9月19日
發明者張平, 杜廣龍 申請人:華南理工大學