一種基于智能學習的工業(yè)機器人三維空間自主裝配方法
【專利摘要】本發(fā)明公開了一種基于智能學習的工業(yè)機器人三維空間自主裝配方法。該方法如下：根據(jù)工件的活動范圍，設(shè)置相機單元的位置；控制工業(yè)機器人末端的圓環(huán)在工件的不同活動范圍內(nèi)運動，分別采集多組數(shù)據(jù)，通過智能學習分別建立不同活動范圍內(nèi)物理空間中三維坐標到相機空間中二維坐標的映射關(guān)系；獲取目標工件在相機空間中的坐標，通過映射關(guān)系轉(zhuǎn)換為三維物理空間中的位置，工業(yè)機器人控制器發(fā)送命令控制工業(yè)機器人向目標工件運動，將工業(yè)機器人定位到目標工件上，然后進行工件裝配；在裝配的同時采集數(shù)據(jù)實時更新映射關(guān)系。本發(fā)明不需要進行標定，且具有高精度、高魯棒性和實時性好的優(yōu)點。
【專利說明】-種基于智能學習的工業(yè)機器人三維空間自主裝配方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及工業(yè)機器人工件裝配領(lǐng)域，特別是一種基于智能學習的工業(yè)機器人三 維空間自主裝配方法。
【背景技術(shù)】
[0002] 隨著越來越多的工業(yè)機器人在各工業(yè)領(lǐng)域中獲得了廣泛應(yīng)用，如機器人噴漆，機 器人搬運，機器人裝配等。在這些領(lǐng)域中工業(yè)機器人代替人工做可重復(fù)的精確地運動，從而 保證了產(chǎn)品質(zhì)量。用機器人代替人進行作業(yè)時，必須預(yù)先對機器人發(fā)出指示，規(guī)定機器人應(yīng) 該完成的動作和作業(yè)的具體內(nèi)容。目前有兩種方式規(guī)劃機器人的軌跡，直接示教和離線示 教。
[0003] 直接示教是指我們通常所說的手把手示教，通過機器人的手控操作盒控制機器人 運動，直接示教的過程包括使機器人上安裝的工具的末端運動到其操作部位，并記錄下載 這個位置機器人的坐標，然后機器人沿示教時記錄的軌跡自主運動，完成特定的操作任務(wù)。 直接示教不但過程繁瑣、效率低、占用寶貴的生產(chǎn)時間，而且是機器人系統(tǒng)成為一個相對獨 立的單元，難以實現(xiàn)與其他系統(tǒng)或生產(chǎn)過程的無縫集成。示教的精度完全靠示教者的經(jīng)驗 目測決定，精度較低，對于工件不是精確固定在某一特工位置的裝配難以獲得令人滿意的 示教效果。因此該方法僅適用于運動軌跡簡單的場合，不能滿足小批量、多品種的柔性生產(chǎn) 的需要。
[0004] 離線示教是基于精確的機器人模型，并建立工具坐標系，將工具末端的坐標精確 地變換到機器人基準坐標系下，根據(jù)操作工件的CAD模型規(guī)劃出實際操作時工具末端的連 續(xù)運動軌跡。該方式的實現(xiàn)對機器人模型的精度，以及機器人工具坐標系的確定都有很高 的精度要求。
[0005] 綜上所述，現(xiàn)有機器人裝配存在以下問題：（1)直接示教操作過程繁瑣，效率和精 度都比較低，僅適用于操作軌跡較簡單，且精度要求不高的場合；(2)離線示教對機器人模 型的精度和工具坐標系參數(shù)的求解精度要求很高，而目前對機器人模型的標定精度和工具 坐標系參數(shù)的標定精度較低，因此，離線生成的路徑精度不高，不能滿足高精度復(fù)雜軌跡的 操作需要；(3)無論是直接示教還是離線示教，當每次需要裝配的工件不能精確固定在某 一固定位置，而在固定區(qū)域內(nèi)的任意位置時，機器人就無法完成任務(wù)。
【發(fā)明內(nèi)容】
[0006] 本發(fā)明的目的在于提供一種基于智能學習的工業(yè)機器人三維空間自主裝配方法， 具有高精度、高魯棒性和實時性好的優(yōu)點。
[0007] 實現(xiàn)本發(fā)明目的的技術(shù)解決方案為：一種基于智能學習的工業(yè)機器人三維空間自 主裝配方法，包括以下步驟：
[0008] 步驟1，信息采集
[0009] 設(shè)置相機的位置，確保工件在兩個相機的視野范圍內(nèi)，將工業(yè)機器人的末端裝置 移動到工件活動范圍內(nèi)的不同位置采集工業(yè)機器人關(guān)節(jié)角度信息和機器人末端裝置上圓 環(huán)的圖像位置信息；
[0010] 步驟2,機器人學習過程
[0011] 根據(jù)步驟1采集的機器人關(guān)節(jié)角度信息，通過機器人運動學計算出機器人末端在 機器人基坐標系下的三維物理空間位置，建立三維物理空間和二維相機空間之間的映射關(guān) 系；
[0012] 步驟3,計算工件在圖像中的坐標
[0013] 工件置于工件活動范圍內(nèi)的任意位置，兩個相機同時拍攝工件，分別計算工件在 兩幅圖像中的二維坐標位置；
[0014] 步驟4,工件二維坐標轉(zhuǎn)換為機器人關(guān)節(jié)角度信息
[0015] 根據(jù)步驟2中求得的映射關(guān)系，將步驟3中計算的工件二維坐標位置轉(zhuǎn)換為三維 機器人物理空間坐標位置，通過機器人運動學單元確定三維機器人物理空間坐標位置相對 應(yīng)的工業(yè)機器人關(guān)節(jié)角度值；
[0016]步驟5，工業(yè)機器人裝配
[0017] 工業(yè)機器人根據(jù)步驟4中得到的關(guān)節(jié)角度信息運動到工件所在的位置，工業(yè)機器 人攜帶末端裝置設(shè)置的工件裝配工具對工件進行裝配；
[0018] 步驟6,裝配過程在線再學習
[0019] 在進行工件裝配的過程中重復(fù)步驟1?2,實時更新三維物理空間和二維相機空 間之間的映射關(guān)系。
[0020] 本發(fā)明與現(xiàn)有技術(shù)相比，其顯著優(yōu)點是：（1)在工業(yè)機器人進行工件裝配的過程 中，工件可擺放在活動區(qū)域內(nèi)的任意位置，無需將工件精確擺放在某一固定位置；（2)本方 法采用了具有多自由度的相機單元，無需知道相機之間的夾角和相機的位置，只需確保工 件在相機的視野范圍內(nèi)；（3)在完成機器人工件裝配過程中無需對工業(yè)機器人和攝像機進 行標定，通過精確的映射關(guān)系獲得工件的精確位置；(4)在機器人工件裝配過程中進行在 線學習，實時更新映射關(guān)系。
【專利附圖】
【附圖說明】
[0021] 圖1是本發(fā)明基于智能學習的工業(yè)機器人三維空間自主裝配方法結(jié)構(gòu)示意圖。
[0022] 圖2是本發(fā)明基于智能學習的工業(yè)機器人三維空間自主裝配方法末端裝置結(jié)構(gòu) 示意圖。
[0023] 圖3是本發(fā)明基于智能學習的工業(yè)機器人三維空間自主裝配方法相機云臺結(jié)構(gòu) 示意圖。
[0024] 圖4是本發(fā)明基于智能學習的工業(yè)機器人三維空間自主裝配方法的流程圖。
[0025] 圖5是本發(fā)明基于智能學習的工業(yè)機器人三維空間自主裝配方法實例結(jié)構(gòu)示意 圖。
【具體實施方式】
[0026] 下面結(jié)合附圖及具體實施例對本發(fā)明作進一步詳細說明。
[0027] 結(jié)合圖1?2, 一種基于智能學習的工業(yè)機器人三維空間自主裝配方法，相應(yīng)的裝 置包括：工業(yè)機器人系統(tǒng)1、工業(yè)計算機5、相機單元3、工件2-1以及工件活動范圍2,其中 工業(yè)機器人系統(tǒng)1包括六自由度的工業(yè)機器人1-1、末端裝置1-2和工件裝配工具1-3,其 中工件裝配工具1-3固定在末端裝置1-2上，末端裝置1-2剛性固定在六自由度工業(yè)機器 人1-1的末端，末端裝置1-2上貼有白色和黑色的圓環(huán)1-4,工業(yè)計算機5包括圖像處理單 元5-1和機器人運動學單元5-2,機器人運動學單元5-2包括機器人正運動學單元5-2-1和 機器人逆運動學單元5-2-2兩部分，其中圖像處理單元5-1與機器人運動學單元5-2相連， 工業(yè)計算機5通過第一千兆以太網(wǎng)6與工業(yè)機器人控制器7相連接，工業(yè)機器人控制器7 的控制端接入工業(yè)機器人系統(tǒng)1，工業(yè)計算機5通過第二千兆以太網(wǎng)4與相機單元3相連。
[0028] 如圖3所示，相機單元3是雙目視覺裝置，該裝置由相機云臺3-1、兩個相機3-2、 兩自由度電機運動單元3-3和電機驅(qū)動模塊3-4組成，相機3-2的內(nèi)外參數(shù)不用標定，且可 以擺放在任意位置，相機之間的距離和相機之間的夾角不必確定，只需工件2-1在兩個相 機3-2的視野范圍內(nèi)。
[0029] 結(jié)合圖4,本發(fā)明基于智能學習的工業(yè)機器人三維空間自主裝配方法，包括以下步 驟：
[0030] 步驟1，信息采集
[0031] 設(shè)置相機3-2的位置，確保工件2-1在兩個相機3-2的視野范圍內(nèi)，將工業(yè)機器人 1-1的末端裝置1-2移動到工件活動范圍2內(nèi)的不同位置采集工業(yè)機器人1-1關(guān)節(jié)角度信 息和機器人末端裝置1-2上圓環(huán)1-4的圖像位置信息；所述圓環(huán)1-4的圖像位置信息通過 圖像處理識別算法得到，具體如下：
[0032] (I. 1)對步驟1中獲取的機器人末端裝置1-2上圓環(huán)1-4的圖像進行邊緣檢測，提 取圓環(huán)1_4邊緣信息；
[0033] (1. 2)對圓環(huán)1-4邊緣信息進行篩選，符合圓形的作為圓環(huán)1-4的圖像位置信息。
[0034] 由于相機3_2無需標定，故可以將相機3_2擺放在任意位置，只需確保工件2_1在 兩個相機的視野范圍內(nèi)。多次將機器人的末端裝置1-2移動到工件活動范圍2內(nèi)的不同位 置進行視覺索引數(shù)據(jù)采集。
[0035] 步驟2,機器人學習過程
[0036] 根據(jù)步驟1采集的機器人關(guān)節(jié)角度信息，通過機器人運動學計算出機器人末端在 機器人基坐標系下的三維物理空間位置，建立三維物理空間和二維相機空間之間的映射關(guān) 系；使用Camera-SpaceManipulation(CSM)方法來建立三維物理空間和二維相機空間之 間的映射關(guān)系，具體如下：
[0037] Xc = (C ,~ + C - C. - C ,7)p, + 2(C 2 C, +C ] C ) p+ 2 (CC,, -C ] C p..+Cs
[0038]夂二2(^0 -C1Ci)/;, +(C1: +C/ -(?)/;.
[0039] 其中，（x。，y。）是視覺索引在相機空間中的二維坐標，（px，py，pz)是視覺索引在物理 空間中的三維坐標，C= [C1,C2,C3,C4,C5,C6]是映射關(guān)系參數(shù)。
[0040] 步驟3,計算工件2-1在圖像中的坐標
[0041] 工件2-1置于工件活動范圍2內(nèi)的任意位置，兩個相機3-2同時拍攝工件2-1，分 別計算工件2-1在兩幅圖像中的二維坐標位置；
[0042] 工件2-1是孔狀的，并且有深度和方向。孔狀工件2-1放在工件活動范圍2內(nèi)的 任意位置，在兩個相機3-2中同時拍攝這個工件2-1，通過第二千兆以太網(wǎng)4將圖像實時傳 送至工業(yè)計算機5,圖像處理單元5-1對采集到的圖像進行處理識別工件2-1，并且分別計 算工件2-1在兩幅圖像空間中的二維坐標位置、工件2-1上的視覺索引二維坐標位置和工 件2-1的方向。
[0043] 步驟4,工件2-1二維坐標轉(zhuǎn)換為機器人關(guān)節(jié)角度信息
[0044] 根據(jù)步驟2中求得的映射關(guān)系，將步驟3中計算的工件2-1二維坐標位置轉(zhuǎn)換為 三維物理空間坐標位置，將步驟3中計算的工件上的視覺索引二維坐標位置轉(zhuǎn)換為工件的 深度信息和方向。通過機器人運動學單元5-2確定三維物理空間坐標位置相對應(yīng)的工業(yè) 機器人1-1關(guān)節(jié)角度值；即機器人逆運動學單元5-2-2根據(jù)三維物理空間坐標位置和工件 2-1的深度信息和方向，結(jié)合機器人正運動學單元5-2-1確定相對應(yīng)的工業(yè)機器人1-1關(guān)節(jié) 角度信息。
[0045]步驟5，工業(yè)機器人裝配
[0046] 將步驟4中計算的關(guān)節(jié)角度值發(fā)送給工業(yè)機器人控制器7,工業(yè)機器人控制器7發(fā) 送命令控制六自由度工業(yè)機器人1-1向工件2-1運動。工業(yè)機器人1-1根據(jù)步驟4中得到 的關(guān)節(jié)角度信息運動到工件2-1所在的位置，工業(yè)機器人1-1攜帶末端裝置1-2設(shè)置的工 件裝配工具1-3對工件2-1進行裝配；
[0047] 步驟6,裝配過程在線再學習
[0048] 在進行工件2-1裝配的過程中重復(fù)步驟1?2,通過CSM方法實時更新三維物理空 間和二維相機空間之間的映射關(guān)系，即工業(yè)機器人1-1在裝配工件2-1的同時采集工業(yè)機 器人1-1的末端裝置1-2上圓環(huán)1-4的圖像位置信息，將其中正確的數(shù)據(jù)信息加入關(guān)系擬 合的數(shù)據(jù)中建立新的三維機器人坐標系空間和二維相機空間之間的映射關(guān)系。
[0049] 實施例1
[0050] 結(jié)合圖5,本發(fā)明基于智能學習的工業(yè)機器人三維空間自主裝配方法詳細如下所 述：
[0051] (1)視覺索引信息采集
[0052] 結(jié)合圖1?3,本發(fā)明中由于相機3-2無需標定，故可將相機3-2擺放在任意位置， 只需確保工件2-1在兩個相機3-2的視野范圍內(nèi)。多次將機器人的末端裝置1-2移動到工 件2-1可活動區(qū)域內(nèi)的不同位置進行圓環(huán)1-4數(shù)據(jù)采集。采集的數(shù)據(jù)是機器人的六個關(guān)節(jié) 角度信息和機器人末端裝置1-2上的圓環(huán)1-4信息，即白色黑色的圓環(huán)在兩個相機3-2圖 像中的坐標。
[0053] (2)機器人學習過程
[0054] 根據(jù)步驟⑴中采集的機器人六個關(guān)節(jié)角度信息，通過機器人正運動學單 元5-2-1計算出機器人末端1-2在機器人基坐標系下的三維物理空間位置。使用 Camera-SpaceManipulation(CSM)方法來建立三維物理空間和二維相機空間之間的映射 關(guān)系，映射關(guān)系如下：
[0055] ^ +r： -C- -C:)/;, + 2(C2C, + +2(C:C, -C1C,)/; +c\
[0056] = 2(C：r, -C1C^px + (C12 -C； +C; -C^)/K+ 2(C3C4 +ClC1)Pz +C6
[0057] 其中，（x。，y。）是視覺索引在相機空間中的二維坐標，（px，py，pz)是視覺索引在物理 空間中的三維坐標，C= [C1,C2,C3,C4,C5,C6]是映射關(guān)系參數(shù)。
[0058] (3)圖像處理識別工件并計算工件在圖像中的坐標
[0059] 工件2-1是孔狀的，并且有深度和方向。將工件2-1放在工件活動范圍2內(nèi)的任 意位置，兩個相機3-2同時拍攝這個工件2-1，通過第二千兆以太網(wǎng)4將圖像實時傳送至工 業(yè)計算機5,圖像處理單元5-1對采集到的圖像進行處理識別工件，并且分別計算工件2-1 在兩幅圖像空間中的二維坐標位置、工件上的視覺索引二維坐標位置和工件的方向。
[0060] (4)工件二維坐標轉(zhuǎn)換為機器人關(guān)節(jié)角度信息
[0061]根據(jù)⑵中求得的映射關(guān)系，將（3)中計算的工件2-1在兩幅圖像空間中二維坐 標位置轉(zhuǎn)換為三維物理空間坐標位置，將（3)中計算的工件上的視覺索引二維坐標位置轉(zhuǎn) 換為工件的深度信息和方向。機器人逆運動學單元5-2-2根據(jù)工件三維坐標位置和工件 2-1的深度信息和方向，結(jié)合機器人正運動學單元5-2-1確定相對應(yīng)的六自由度工業(yè)機器 人1-1關(guān)節(jié)角度值。
[0062] (5)機器人工件裝配
[0063] 將（4)中計算的關(guān)節(jié)角度值發(fā)送給工業(yè)機器人控制器7,工業(yè)機器人控制器7發(fā)送 命令控制六自由度的工業(yè)機器人1-1向工件2-1運動。工業(yè)機器人7根據(jù)給定的關(guān)節(jié)角度 信息精確運動到工件2-1所在的位置，工業(yè)機器人攜帶末端工具1-3精確進入工件2-1進 行裝配，如圖5所示。
[0064] (6)裝配過程在線再學習
[0065] 當工業(yè)機器人1-1在工件2-1的不同活動區(qū)域內(nèi)進行工件裝配的同時，重復(fù)步驟 (1)?（2)，采集工業(yè)機器人1-1末端裝置1-2的圓環(huán)1-4數(shù)據(jù)信息，通過CSM方法實時更 新映射關(guān)系。
[0066] 采用基于智能學習的工業(yè)機器人三維空間自主裝配方法，在本方法下進行了 14 次工業(yè)機器人裝配，實驗結(jié)果如表1所示，通過表1可以看出本方法在工件的活動范圍內(nèi)都 可以進行高精度裝配。
[0067]表1
[0068]
【權(quán)利要求】
1. 一種基于智能學習的工業(yè)機器人三維空間自主裝配方法，其特征在于，包括以下步 驟： 步驟1，彳目息米集 設(shè)置相機（3-2)的位置，確保工件（2-1)在兩個相機（3-2)的視野范圍內(nèi)，將工業(yè)機器 人（1-1)的末端裝置（1-2)移動到工件活動范圍（2)內(nèi)的不同位置采集工業(yè)機器人（1-1) 關(guān)節(jié)角度信息和機器人末端裝置（1-2)上圓環(huán)（1-4)的圖像位置信息； 步驟2,機器人學習過程 根據(jù)步驟1采集的機器人關(guān)節(jié)角度信息，通過機器人運動學計算出機器人末端在機器 人基坐標系下的三維物理空間位置，建立三維機器人坐標系空間和二維相機空間之間的映 身寸關(guān)系； 步驟3,計算工件（2-1)在圖像中的坐標 工件（2-1)置于工件活動范圍（2)內(nèi)的任意位置，兩個相機（3-2)同時拍攝工件 (2-1)，分別計算工件（2-1)在兩幅圖像中的二維坐標位置； 步驟4,工件（2-1)二維坐標轉(zhuǎn)換為機器人關(guān)節(jié)角度信息 根據(jù)步驟2中求得的映射關(guān)系，將步驟3中計算的工件（2-1)二維坐標位置轉(zhuǎn)換為三 維物理空間坐標位置，通過機器人運動學單元（5-2)確定三維物理空間坐標位置相對應(yīng)的 工業(yè)機器人（1-1)關(guān)節(jié)角度值； 步驟5,工業(yè)機器人裝配 工業(yè)機器人（1-1)根據(jù)步驟4中得到的關(guān)節(jié)角度信息運動到工件（2-1)所在的位置， 工業(yè)機器人（1-1)攜帶末端裝置（1-2)設(shè)置的工件裝配工具（1-3)對工件（2-1)進行裝 配； 步驟6,裝配過程在線再學習 在進行工件（2-1)裝配的過程中重復(fù)步驟1?2,實時更新三維物理空間和二維相機空 間之間的映射關(guān)系。
2. 根據(jù)權(quán)利要求1所述的基于智能學習的工業(yè)機器人三維空間自主裝配方法，其特征 在于，步驟1所述圓環(huán)（1-4)的圖像位置信息通過圖像處理識別算法得到，具體如下： (I. 1)對步驟1中獲取的機器人末端裝置（1-2)上圓環(huán)（1-4)的圖像進行邊緣檢測，提 取圓環(huán)（1_4)邊緣信息； (1.2)對圓環(huán)（1-4)邊緣信息進行篩選，符合圓形的作為圓環(huán)（1-4)的圖像位置信息。
3. 根據(jù)權(quán)利要求1所述的基于智能學習的工業(yè)機器人三維空間自主裝配方法，其特征 在于，步驟2所述建立三維物理空間和二維相機空間之間映射關(guān)系的方法為CSM方法，具體 如下： & = ((Y + C22 - Cf - Cf)尸,+ 2(r'-; + C1(Y)P. + 2((T:r, - C1(Y)" . + C5 >,. = 2(C:C;, -C1C1)/;, +(C,: -C22 + C; -C,；)/;,. +2(C, 其中，（Xc;，y。）是視覺索引在相機空間中的二維坐標，（Px，Py，P z)是視覺索引在物理空間 中的三維坐標，C = [C1, C2, C3, C4, C5, C6]是映射關(guān)系參數(shù)。
4. 根據(jù)權(quán)利要求1所述的基于智能學習的工業(yè)機器人三維空間自主裝配方法，其特征 在于，步驟4所述通過機器人運動學單元（5-2)確定三維物理空間坐標位置相對應(yīng)的工業(yè) 機器人（1-1)關(guān)節(jié)角度值，即機器人逆運動學單元（5-2-2)根據(jù)三維物理空間坐標位置確 定相對應(yīng)的六自由度工業(yè)機器人（1-1)關(guān)節(jié)角度信息。
5.根據(jù)權(quán)利要求1所述的基于智能學習的工業(yè)機器人三維空間自主裝配方法，其特征 在于，步驟6所述在進行工件（2-1)裝配的過程中重復(fù)步驟1?2,即工業(yè)機器人（1-1)在 裝配工件（2-1)的同時采集工業(yè)機器人（1-1)的末端裝置（1-2)上圓環(huán)（1-4)的圖像位置 信息，將其中正確的數(shù)據(jù)信息加入關(guān)系擬合的數(shù)據(jù)中建立新的三維機器人坐標系空間和二 維相機空間之間的映射關(guān)系。
【文檔編號】B25J19/04GK104325268SQ201410614211
【公開日】2015年2月4日 申請日期:2014年11月4日 優(yōu)先權(quán)日:2014年11月4日
【發(fā)明者】劉衍, 丁吉祥 申請人:南京赫曼機器人自動化有限公司