運輸機器人自主式進入電梯的控制方法
【專利摘要】本發明公開了一種運輸機器人自主式進入電梯的控制方法，利用機器人自帶的導航裝置將機器人導航至電梯門口，在機器人進入電梯前，利用具有深度信息采集的機器人車載視覺模塊獲取電梯呼叫按鈕位置，依據電梯呼叫按鈕位置信息觸發電梯呼叫按鈕，進行電梯呼叫；利用退避讓傳感器模塊獲取電梯門狀態信息，控制機器人進入電梯；本發明通過結合Kinect傳感器、退避讓傳感器模塊獲得的信號，徹底改變了以往由遠程控制中心發送指令至電梯控制器的方式；改變為由遠程控制中心發送指令至機器人，由機器人車載控制器發送指令到PLC控制器，通過機器人手臂觸發電梯的方式，并結合電梯內滿載狀態判斷模塊的冗余式設計，提升了電梯控制的安全性能。
【專利說明】
運輸機器人自主式進入電梯的控制方法
技術領域
[0001] 本發明屬于機器人控制領域，特別涉及一種運輸機器人自主式進入電梯的控制方 法。
【背景技術】
[0002] 近年來，移動機器人被大量地應用于各類室內環境用于實現室內運輸任務，比如 各種制造工廠、現代實驗室等。用于運輸任務的移動機器人可統稱為運輸機器人。早期的室 內運輸環境通常是單樓層的，所以運輸機器人不需要自己去控制電梯。但隨著現代機器人 運輸任務的智能化與復雜化，運輸機器人需要實現自動控制各類電梯實現多樓層的自動化 運輸。因此，運輸機器人如何實現對電梯的自動操控已經成為現代多樓層移動機器人運輸 系統研發的重點技術瓶頸之一。
[0003] 國家發明專利《一種基于無線網絡的機器人搬運控制系統》（申請號： 201210593439.0)提出了一種運用無線網絡和RFID技術實現機器人室內簡單搬運的控制系 統。雖然該專利里面涉及到電梯模塊，提到在室內搬運需要的時候機器人可以發指令到上 位機控制系統驅動電梯模塊，但并沒有提出或涉及到機器人究竟采用何種技術手段實現自 主式呼叫電梯并打開電梯門的核心內容。此外，該專利（申請號:201210593439.0)對電梯的 操控不是由機器人自身來完成，而是通過機器人呼叫上位機系統去控制電梯來實現。
[0004] 此外，該專利（申請號：201210593439.0)所提出的機器人搬運控制系統要求事先 安裝大量的RFID片才能實現機器人的室內定位，該方法成本高、適應性范圍小，無法在沒有 安裝RFID的室內環境使用。
[0005] 學術論文〈〈Charlie Rides the Elevator-Integrating Vision Navigation and Manipulation Towards Multi-Floor Robot Locomotion》中開發了一種名為Charlie的移 動機器人并開展了運用SLAM技術識別電梯按鈕的研究。但正如該文作者在文章中所說，由 于電梯按鈕形狀的不確定性和電梯按鈕沒有顏色，運用SLAM常規機器視覺技術無法實現對 各種電梯按鈕的高精度識別。這些技術局限都極大地限制了該論文所提出的方法在實際工 程現場中的運用可能性。
[0006] 綜上所述，現有技術中的搬運或運輸機器人進出電梯的控制過程易受到干擾，弓丨 發安全事故，且使用要求較高。
【發明內容】
[0007] 本發明提出了一種運輸機器人自主式進入電梯的控制方法，其目的在于，通過機 器人車載視覺模塊識別電梯按鈕，利用機器人觸發電梯按鈕，完成對電梯的控制，克服現有 技術中大多通過對電梯控制器進行控制，控制過程易受干擾從而導致的電梯控制的安全性 能較低的問題。
[0008] -種運輸機器人自主式進入電梯的控制方法，利用機器人自帶的導航裝置將機器 人導航至電梯門口，在機器人進入電梯前，利用具有深度信息采集的機器人車載視覺模塊 獲取電梯呼叫按鈕位置，依據電梯呼叫按鈕位置信息觸發電梯呼叫按鈕，進行電梯呼叫；利 用退避讓傳感器模塊獲取電梯門狀態信息，控制機器人進入電梯。
[0009] 在獲取電梯門狀態信息后，利用退避讓傳感器模塊或者具有深度信息采集的機器 人車載視覺模塊識別電梯內滿載狀態：
[0010] 若電梯內滿載，則等待設定的間隔時間后，重新出發電梯呼叫按鈕；
[0011] 若電梯內非滿載，則控制機器人進入電梯。
[0012] 電梯內滿載狀態判斷模塊的冗余式設計，確保了判斷精度，升了電梯控制的安全 性能。
[0013] 當機器人到達電梯門口時，首先開啟退避讓傳感器模塊獲取電梯門狀態信息，若 電梯門開啟，則控制機器人進入電梯;若電梯門關閉，則再啟動具有深度信息采集的機器人 車載視覺模獲取電梯呼叫按鈕位置。
[0014] 所述具有深度信息采集的機器人車載視覺模塊為Kinect傳感器。
[0015] Kinect傳感器基于自身所攜帶的紅外硬件模塊所擁有的深度測量的功能識別判 斷電梯是否處于滿載狀態；
[0016] 在電梯呼叫按鈕四周至少安裝一個彩色方形識別定位片，利用Kinect傳感器獲得 識別定位片的深度尺寸信息，并結合識別定位片的RG B模型獲取識別定位片在K i n e c t三維 視野內的坐標值;依據識別定位片的中心坐標值獲取電梯呼叫按鈕的中心坐標值。
[0017] 電梯呼叫按鈕不具有彩色信息，通過添加彩色識別定位片獲取電梯呼叫按鈕與機 器人之間的深度參數信息。
[0018] 電梯呼叫按鈕四周對稱安裝有四個大小相同的彩色方形識別定位片。
[0019] 通過對電梯按鈕四周按照定位片的新策略，屬于一種按照輔助識別定位片的方 法，讓機器人更快更準確地識別到電梯呼叫按鈕，成功實現了對電梯按鈕的快速、高精度、 高成功率的識別。
[0020] 如果具有深度信息采集的機器人車載視覺模塊無法獲取電梯呼叫按鈕位置，則控 制機器人旋轉，使得車載視覺模塊重新獲取新的視野，尋找電梯呼叫按鈕。
[0021] 驅動機器人旋轉本質上是為了驅動車載視覺模塊，改變車載視覺模塊的視野范 圍。
[0022]所述具有深度信息采集的機器人車載視覺模塊為Kinect VI或Kinect V2。
[0023]所述退避讓傳感器模塊為Sick超聲波傳感器模塊。
[0024] 所述Sick超聲波傳感器模塊至少包括五個Sick超聲波傳感器，間隔30°依次排列 在機器人底部。
[0025]有益效果
[0026]本發明提供了一種運輸機器人自主式進入電梯的控制方法，利用機器人自帶的導 航裝置將機器人導航至電梯門口，在機器人進入電梯前，利用具有深度信息采集的機器人 車載視覺模塊獲取電梯呼叫按鈕位置，依據電梯呼叫按鈕位置信息觸發電梯呼叫按鈕，進 行電梯呼叫；利用退避讓傳感器模塊獲取電梯門狀態信息，控制機器人進入電梯;本發明通 過結合Kinect傳感器、退避讓傳感器模塊獲得的信號，徹底改變了以往由遠程控制中心發 送指令至電梯控制器的方式;改變為由遠程控制中心發送指令至機器人，由機器人車載控 制器發送指令到PLC控制器，通過機器人手臂觸發電梯的方式，并結合電梯內滿載狀態判斷 模塊的冗余式設計，提升了電梯控制的安全性能;直接解決了機器人自身如何實現對任何 電梯的呼叫控制并如何通過圖像處理技術自動打開電梯門；所設計的識別定位片輔助進行 電梯呼叫按鈕識別，大大的提高識別速度和精度；四個定位片的智能冗余設計策略保證了 識別的成功率。
【附圖說明】
[0027]圖1為本發明所述方法的具體實例的流程示意圖；
[0028]圖2為機器人的車載Kinect單個電梯呼叫按鈕的識別原理示意圖；
[0029] 圖3為基于識別定位片的單個電梯呼叫按鈕快速識別示意圖；
[0030] 圖4為機器人的車載Kinect兩個電梯呼叫按鈕的識別原理示意圖；
[0031] 圖5為基于識別定位片的兩個電梯呼叫按鈕快速識別示意圖；
[0032] 圖6為機器人通過旋轉尋找電梯呼叫按鈕的示意圖；
[0033] 標號說明：1_電梯呼叫按鈕，2-電梯門，3-電梯外部控制面板，4-識別定位片，5-定 位片A，6-定位片B，7-定位片C，8-定位片D，9-電梯上行呼叫按鈕，10-電梯下行呼叫按鈕， 11-Kinect 傳感器。
【具體實施方式】
[0034]下面將結合附圖和實施例對本發明做進一步的說明。
[0035] 如圖1所示，為本發明所述的一種運輸機器人自主式進入電梯的控制方法，包括以 下步驟：
[0036] 步驟1:當移動機器人運行到電梯門2前，機器人利用自身車載的室內退避傳感器 模塊中的超聲波傳感器判斷電梯門的開關狀態；
[0037]步驟2:如果電梯門已處于"開啟"狀態，機器人則利用手臂控制模塊驅動對應的機 器人手臂擋住電梯門防止其自動關閉，同時機器人控制走行運動模塊中的走行電機進入電 梯；
[0038] 在進入電梯的過程中，機器人已舉起的某個手臂始終保持舉起狀態以觸發電梯的 紅外線感應使得電梯門始終處于"開啟"狀態；
[0039] 如果當時電梯門處于"關閉"狀態，則進入步驟4,通過機器人手臂按下該樓層的電 梯外部呼叫按鈕，實現控制電梯使其到達目前所在的樓層并打開電梯門；
[0040] 步驟3:當機器人成功進入電梯后，手臂控制模塊將控制機器人放下舉起的手臂， 使得電梯門能自動關閉。
[0041] 步驟4:機器人采用下列步驟將電梯招至所在樓層并將電梯門打開：
[0042]步驟4.1:機器人通過車載視覺模型中的Kinect傳感器11搜索機器人前方的電梯 呼叫按鈕，當電梯外呼叫按鈕為單個按鈕時，如圖2所示；當電梯外呼叫按鈕為兩個按鈕時， 如圖4所示，包括電梯上行呼叫按鈕9和電梯下行呼叫按鈕10。
[0043] 為了讓機器人更快更準確地識別到電梯呼叫按鈕，提出一種按照輔助識別定位片 的電梯按鈕圖像分割與識別方法。
[0044] 如圖3所示，基于定位片的單個電梯呼叫按鈕分割方法的具體內容為：
[0045] (1)在電梯外部控制面板3上的電梯呼叫按鈕1的四個角安裝四個識別定位片4。定 位片的顏色可以是綠色、紅色或藍色或任意彩色。
[0046] 單個定位片為邊長為2cm的四方形。四個定位片成四方形結構安裝位于呼叫按鈕 的四個角，四個定位片之間的距離可以根據不同呼叫按鈕的大小靈活設置，依次為定位片A (5)、定位片B(6)、定位片C(7)以及定位片D(8)，。在本實例中，兩個定位片之間的邊長設定 為8cm。
[0047] (2)-旦機器人裝有的Kinect在大視野范圍內檢測到電梯呼叫按鈕四周所設置的 某一個定位片后，Kinect將自動快速聚焦到區域A4B3C2D1，并忽略區域A4B3C2D1以外的 Kinect所能見到的圖像區域。
[0048] (3)當機器人的Kinect聚焦到區域A4B3C2D1后，通過Kinect的深度尺寸和RGB模型 計算出所安裝的四個定位片中某個定位片在Kinect三維視野內的坐標值；
[0049] (4)根據所獲得的某個定位片中心的坐標值計算出電梯呼叫按鈕中心點的在 Kinect三維視野內的坐標值。例如，已知定位片A中心的坐標值(XI，yi，zi )，貝lj電梯呼叫按鈕 的坐標值(10,70,20)根據下列公式計算獲得：
[0051] 如圖4所示，基于識別定位片的兩個電梯呼叫按鈕分割方法的具體步驟如下：
[0052] (1)在電梯呼叫按鈕的四個角安裝四個識別定位片。定位片的顏色可以是綠色、紅 色或藍色。單個定位片為邊長為2cm的四方形。四個定位片成四方形結構安裝位于兩個呼叫 按鈕的四個角，四個定位片之間的距離可以根據不同呼叫按鈕的大小靈活設置。在本實例 中，兩個定位片之間的邊長設定為8cm。
[0053] (2)-旦機器人裝有的Kinect在大視野范圍內檢測到電梯呼叫按鈕四周所設置的 某一個定位片后，Kinect將自動快速聚焦到區域A4B3C2D1，并忽略區域A4B3C2D1以外的 Kinect所能見到的圖像區域。
[0054] (3)如圖5所示，在按照識別定位片的時候要可以巧妙地讓兩個電梯呼叫按鈕位于 定位片所形成的的聚焦區域A4B3C2D1的中部位置，這樣便于后期對兩個電梯呼叫按鈕的準 確識別。
[0056] (4)當機器人的Kinect聚焦到區域A4B3C2D1后，通過Kinect的深度尺寸和RGB模型 計算出所安裝的四個定位片中某個定位片在Kinect三維視野內的坐標值；
[0057] (4)根據所獲得的某個定位片中心的坐標值計算出電梯兩個呼叫按鈕的中心點在 Kinect三維視野內的坐標值。
[0058]例如，已知定位片A中心的坐標值(X1，yi，Z1)，則根據下列公式可以快速計算出電 梯上行呼叫按鈕(XQ，y〇，ZQ)的中心坐標值和電梯下行呼叫按鈕的中心坐標值(X5，y5，Z5):
[0059]
[0062]運用四個定位片識別電梯呼叫按鈕優點如下：
[0063]首先，四個定位片的安裝降低了 Kinect的圖像處理工作量。如果沒有這四個定位 片，按照傳統的圖像目標識別原理，機器人需要對Kinect所采集到的整張電梯圖像進行邊 緣檢測以找到電梯呼叫按鈕。特別是在電梯外形結構比較復雜和電梯呼叫按鈕比較小的時 候，對這個整個視野內的圖像進行精確的邊緣檢測將花費較長的時間。
[0064] 其次，四個定位片的安裝提高了機器人對呼叫按鈕的識別精度。在大多數廠家生 成的電梯中，呼叫按鈕通常是沒有顏色的，因此機器人的Kinect只能通過采用邊緣檢測算 法才能從采集到的整個圖像中識別到電梯的呼叫按鈕。雖然近年來圖像邊緣檢測技術發展 非常迅速，但要在任何光線條件下對不定規則的電梯呼叫按鈕實現非常高的識別準確率還 是非常困難。通過四個定位片的安裝，把對呼叫按鈕實現的復雜邊緣檢測轉化成對四個定 位片的簡單RGB色彩模型識別，提高了機器人對電梯呼叫按鈕的識別精度。
[0065] 最后，由于四個定位片之間嚴格按照尺寸標準設置，因此只要計算出它們中任何 的一個的中心點坐標，其他三個及區域中間的電梯呼叫按鈕的坐標值都能方便地算出。四 個定位片的智能冗余設計策略無形中保證了識別的成功率。
[0066] 步驟4.2:當機器人發現電梯呼叫按鈕并計算獲得電梯呼叫按鈕相對于Kinect的 三維坐標值后，機器人的手臂控制模塊驅動機器人手臂去按下電梯呼叫按鈕。如果機器人 在當時視野內沒有發現前面電梯呼叫按鈕，則進入步驟5。
[0067] 步驟4.3:當電梯呼叫被機器人按下后，電梯將自動達到機器人所在的樓層。在機 器人等待電梯達到其所在樓層的期間，機器人仍然運用車載的超聲波傳感器來判斷電梯門 的"開/關"狀態。當機器人發現前面電梯被成功呼叫并電梯門已打開時，機器人將重復步驟 2中所描述的方式，通過手臂控制模塊驅動對應的手臂擋住電梯門，同時通過走行運動模塊 驅動走行電機進入電梯。
[0068]反之，如果機器人經過預設的等待時間后（本實例中設為60秒），超聲波傳感器發 現電梯仍然沒有達到或是電梯門沒有打開，機器人將重復步驟4.2,即通過手臂再去按下電 梯呼叫按鈕。
[0069] 考慮到系統的實時性，機器人手臂按呼叫按鈕的重復次數是有限的，本實例中機 器人手臂操控重復次數設定為5次。
[0070] 步驟5:如果機器人的Kinect始終沒有通過四個定位片成功識別到電梯呼叫按鈕， 那么意味著電梯呼叫按鈕或是四個定位片都沒有在機器人車載Kinect的視野內。此時，機 器人將通過走行運動模塊實現機器人身體朝左或右邊旋轉一定的角度，尋找四個定位片或 是它們中間的單個或幾個，實現對電梯呼叫按鈕的定位。
[0071] 該旋轉的目的是為了避免由于呼叫按鈕沒有在機器人Kinect的視野內所造成的 按鈕搜索遺漏。如圖5所示，當機器人正面對電梯時，機器人的Kinect沒有檢測到前面的電 梯呼叫按鈕或裝有的四個定位片(見圖6中所示的機器人旋轉前的視野）。
[0072]由于Kinect本身無法在水平方向旋轉一定的角度α去搜索按鈕，所以機器人將驅 動走行電機先左或右旋轉一定的角度α加以實現。
[0073]以上所述僅為本發明的優選實施例而已，并不用于限制本發明，對于本領域的技 術人員來說，本發明可以有各種更改和變化。凡在本發明的精神和原則之內，所作的任何修 改、等同替換、改進等，均應包含在本發明的保護范圍之內。
【主權項】
1. 一種運輸機器人自主式進入電梯的控制方法，其特征在于，利用機器人自帶的導航 裝置將機器人導航至電梯門口，在機器人進入電梯前，利用具有深度信息采集的機器人車 載視覺模塊獲取電梯呼叫按鈕位置，依據電梯呼叫按鈕位置信息觸發電梯呼叫按鈕，進行 電梯呼叫;利用退避讓傳感器模塊獲取電梯門狀態信息，控制機器人進入電梯。2. 根據權利要求1所述的方法，其特征在于，在獲取電梯門狀態信息后，利用退避讓傳 感器模塊或者具有深度信息采集的機器人車載視覺模塊識別電梯內滿載狀態： 若電梯內滿載，則等待設定的間隔時間后，重新出發電梯呼叫按鈕； 若電梯內非滿載，則控制機器人進入電梯。3. 根據權利要求1所述的方法，其特征在于，當機器人到達電梯門口時，首先開啟退避 讓傳感器模塊獲取電梯門狀態信息，若電梯門開啟，則控制機器人進入電梯;若電梯門關 閉，則再啟動具有深度信息采集的機器人車載視覺模獲取電梯呼叫按鈕位置。4. 根據權利要求1所述的方法，其特征在于，所述具有深度信息采集的機器人車載視覺 模塊為Kinect傳感器。5. 根據權利要求4所述的方法，其特征在于，在電梯呼叫按鈕四周至少安裝一個彩色方 形識別定位片，利用Kinect傳感器獲得識別定位片的深度尺寸信息，并結合識別定位片的 RGB模型獲取識別定位片在Kinect三維視野內的坐標值；依據識別定位片的中心坐標值獲 取電梯呼叫按鈕的中心坐標值。6. 根據權利要求5所述的方法，其特征在于，電梯呼叫按鈕四周對稱安裝有四個大小相 同的彩色方形識別定位片。7. 根據權利要求1-6任一項所述的方法，其特征在于，如果具有深度信息采集的機器人 車載視覺模塊無法獲取電梯呼叫按鈕位置，則控制機器人旋轉，使得車載視覺模塊重新獲 取新的視野，尋找電梯呼叫按鈕。8. 根據權利要求7所述的方法，其特征在于，所述具有深度信息采集的機器人車載視覺 模塊為Kinect VI或Kinect V2。9. 根據權利要求1所述的方法，其特征在于，所述退避讓傳感器模塊為Sick超聲波傳感 器模塊。10. 根據權利要求9所述的方法，其特征在于，所述Sick超聲波傳感器模塊至少包括五 個Sick超聲波傳感器，間隔30°依次排列在機器人底部。
【文檔編號】B66B1/14GK105867390SQ201610427616
【公開日】2016年8月17日
【申請日】2016年6月16日
【發明人】劉輝, 李燕飛
【申請人】中南大學