一種新型的拆垛方法和系統的制作方法
【技術領域】
[0001] 本發明涉及機器人拆垛技術，特別涉及基于雙目立體視覺的機器人拆垛方法，以 及一種基于該方法的機器人拆垛系統。
【背景技術】
[0002] 拆垛屬于工廠生產、物流運輸必不可少的一個步驟，目前還是主要以人工拆垛為 主。而人工拆垛勞動強度大，效率低下，特別是有毒、有害環境下，同時勞動力成本的上升和 市場競爭等，都要求企業必須提高生產效率，由人工轉向自動化。拆垛機器人能為企業生產 提供更廣的生產空間和更多的生產時間，把可控生產落實到工業生產的每一步，為企業帶 來更宏觀的經濟效益。這屬于全智能工廠的發展方向和未來企業的生產模式。盡管機器人 碼拆垛技術得到了較大發展，但機器人拆垛技術應用卻沒有碼垛技術應用廣泛，這主要是 由于拆垛系統需要首先對目標進行定位。
[0003] 隨著機器視覺技術的發展，機器視覺可以為拆垛機器人提供視覺定位。這使得 基于視覺定位的機器人拆垛系統具有很好的市場前景。目前視覺定位大多基于單目視覺 或者激光掃描方式，如專利CN104669281A采用激光掃描和相機結合的方式獲得深度信 息從而進行目標定位。激光掃描的方式具有掃描速度慢和工作壽命限制等不足。專利 CN104331894A采用了雙目視覺獲得深度信息并進行目標定位。但這幾種方法所使用的相機 或者掃描裝置都是固定在堆垛上方。這限制了拆垛機器人的工作空間范圍，并且限制了堆 垛的大小。
[0004] 有鑒于此，本發明提出了一種基于雙目立體視覺的拆垛方法，以及一種基于該方 法的拆垛系統，采用把雙目相機安裝在機器人機械臂上，隨著機械臂移動，利用機械臂的移 動擴大拆垛范圍，實現可靠準確地視覺定位。這樣可以有效地解決拆垛機器人所面臨的定 位問題，從而完成機器人的自動化拆垛。
【發明內容】
[0005] 本發明解決的問題是提供一種基于雙目視覺的拆垛方法及其系統，能夠解決工作 空間限制和拆垛范圍限制等問題，從而完成機器人的自動化拆垛。
[0006] 為了解決上述問題，本發明提出了一種基于雙目視覺的拆垛方法，包括以下步 驟：
[0007] 目標方位計算，根據機械臂前端的雙目相機同步采集的左右圖像，進行目標識別 定位；
[0008] 目標方位轉換，將相機坐標系的目標方位轉換為機器人坐標系中的方位（方向角 和位置）；
[0009] 機器人拆垛操作，機器人根據計算的目標方位對堆垛進行目標抓取，實現逐層分 區拆垛。
[0010] 相應地，本發明還提供了一種基于上述方法的拆垛系統，包括：
[0011] 雙目相機模塊，固定雙目相機在機械臂前端；
[0012]目標方位計算模塊，同步采集左右圖像，進行目標識別定位；
[0013] 目標方位轉換模塊，將相機坐標系的目標方位轉換為機器人坐標系中的方位；
[0014] 拆垛機器人，根據獲得的目標方位對目標進行抓取，實現逐層分區拆垛。
[0015] 因此，本發明通過安裝在機器人機械臂前端的雙目相機，實現了拆垛系統的目標 方位的計算，從而實現了智能拆垛系統。該系統能夠有效解決人工拆垛的勞動強度大和效 率低下問題，實現自動化拆垛，降低企業生產成本，提高企業的生產效率和經濟效益。
【附圖說明】
[0016] 圖1顯示為本發明的基于雙目視覺的拆垛系統的一個實施例。
[0017] 圖2顯示為本發明的目標方位計算單元的一個實施裝置。
[0018] 圖3顯示為本發明的拆垛方法的流程圖。
[0019] 圖4顯示為本發明的逐層分區拆垛方式的示意圖。
[0020] 圖5顯示為本發明的步驟Sl處理的詳細步驟的流程圖。
[0021] 圖6顯示為本發明的拆垛系統示意圖。
【具體實施方式】
[0022] 以下通過特定的具體實例說明本發明的實施方式，本領域技術人員可由本說明書 所揭露的內容輕易地了解本發明的其他優點與功效。本發明還可以通過另外不同的具體實 施方式加以實施或應用，本說明書中的各項細節也可以基于不同觀點與應用，在沒有背離 本發明的精神下進行各種修飾或改變。
[0023] 請參閱圖1至圖6。需要說明的是，本實施例中所提供的圖示僅以示意方式說明 本發明的基本構想，遂圖式中僅顯示與本發明中有關的組件而非按照實際實施時的組件數 目、形狀及尺寸繪制，其實際實施時各組件的型態、數量及比例可為一種隨意的改變，且其 組件布局型態也可能更為復雜。
[0024] 圖1示出了本發明的基于雙目視覺的拆垛系統的一個實施例。一種基于雙目視覺 的拆垛系統的實施例10,包括：
[0025] 雙目相機單元101 :同步采集左右圖像，作為待處理雙目圖像；
[0026] 方位計算單元102 :計算深度信息，進行目標識別定位；
[0027] 方位轉換單元103 :將相機坐標系的目標方位轉換為機器人坐標系的方位；
[0028] 拆垛機器人104 :拆垛機器人抓取堆垛上的目標；
[0029] 待拆堆垛105 :需要分層拆掉的堆垛。
[0030] 根據本發明的方法，其方位計算處理主要是通過處理單元102來完成。其中，該處 理單元設備包括但不限于：1)用戶設備；2)網絡設備。所述用戶設備包括但不限于計算機、 智能手機、PDA等；所述網絡設備包括但不限于單個網絡服務器、多個網絡服務器組成的服 務器組或基于云計算（Cloud Computing)的由大量計算機或網絡服務器構成的云，其中，云 計算是分布式計算的一種，由一群松散耦合的計算機集組成的一個超級虛擬計算機。拆垛 系統移動拆垛機器人104的機械臂前端到堆垛105的上方，方位計算單元102控制雙目相 機單元101同步采集左右目圖像；方位計算單元102對采集的雙目圖像進行分析處理，識別 其中的目標并進行目標定位；方位轉換單元103將單元102得到相機坐標系的目標方位轉 換為機器人坐標系的目標方位；方位轉換單元103將目標方位通過通信接口傳輸給拆垛機 器人104,拆垛機器人104根據目標方位抓取堆垛105最上層的目標，直到該層的目標拆垛 完畢；如果雙目相機單元101無法完全覆蓋整個堆垛105最上層的區域，則移動機器人機械 臂，對堆垛105最上層的目標進行分區域拆垛，直到最上層的所有目標拆垛完畢。
[0031] 如圖2所示，給出了上述實施例10所述的拆垛系統實施例的處理單元102的一個 實施裝置，值得注意的是，方位計算單元102和方位轉換單元103可以由相同的實施裝置實 現。在這個實施裝置中，裝置系統102包括處理器201和圖像輸入接口 207。在該實施系統 中，也包括了處理器201可訪問的存儲設備202和203。這些存儲設備可以是隨機存儲單元 RAM，也可以是程序存儲器等，例如硬盤。處理器201從程序存儲器加載程序并運行，從而能 夠輸入和處理圖像。此外，處理器201也可以連接到顯示設備204,以及一些輸入輸出人機 交互設備205,如鼠標、鍵盤等。一些其他接口設備208也可以與處理器201相連接，實現一 些其他處理功能。接口 206可以實現一些圖像或者視頻的輸出，而電源209為裝置系統提 供電源。
[0032] 圖3示出了本發明的拆垛方法的流程圖。所述的拆垛系統按照逐層分區進行拆 垛，如果雙目相機的視野范圍完全包含了堆垛的最上層，則對當前層不需要進行分區域，否 則需要根據雙目相機的視野范圍，對當前層進行分區域拆垛。不失一般性，圖4給出了分區 域的一個實施例。該實施例中，雙目相機無法完全包含最上層的目標，需要分區域進行拆 垛，相鄰區域具有一定的重疊部分，使視野中的待拆目標盡可能完整。當位置A時，視野中 的最上層目標拆除完畢，機械臂平移到位置B，同步采集雙目圖像，根據雙目圖像進行目標 定位，然后進行目標方位轉換，拆垛機器人根據轉換后的目標方位進行抓取目標，從而對位 置B視野中的目標進行拆垛。
[0033] 在步驟Sl中，所述的拆垛系統首先根據分區情況移動機械臂前端到合適的位置， 然后同步采集雙目圖像，識別定位目標。步驟S2根據拆垛機器人的姿態，將相機坐標系下 的目標方位轉化為機器人坐標系下的目標方位。步驟S3中，拆垛機器人根據目標方位進行 抓取。這樣拆垛系統按照逐層分區的方式進行拆垛。
[0034] 圖5是表示步驟Sl處理的詳細步驟的流程圖。首先步驟301同步獲取雙目左右圖 像，步驟302分別對雙目圖像進行降噪處理，例如高斯濾波，這樣可以減少噪聲的影響。根 據離線雙目標定306得到的標定數據，對降噪后的雙目圖像進行重映射（re-map)，消除鏡 頭畸變等。步驟303分別對雙目圖像檢測SIFT特征點，并對左右圖像的SIFT特征點進行 匹配，從而得到SIFT點的匹配對集。步驟304根據離線雙目標定306得到的標定數據，計 算每個匹配對的視差，從而進一步根據三角測量原理計算得到特征點在相機坐標系中的空 間坐標。步驟305根據離線獲得的目標特征307進行目標識別（特征匹配），從而定位目 標。不失一般性，這里采用的特征點為SIFT特征點。
[0035] 所述的步驟304的特征點的三維坐標（X，y，z)，根據三角測量原理計算：
[0037] 其中，（u，V)為特征點在左圖中的像素坐標，f為雙目相機的焦距，由于雙目相機 經過了立體標定，因此左右相機的焦距相同；T為雙目相機的光心距離，f和T通過相機的立 體標定獲得；d為特征點在左右圖中的視差，由于雙目圖像進行了重映射（re-map)，故視差 d = U-Up這里w為特征點在右圖中的像素橫坐標。
[0038] 優選地，所述的步驟305目標的檢測通過SIFT特征匹配來實現。由于圖像中可能 存在多個目標，因此用掃描的方法定位各個目標。定義一個直徑Rm的圓形模板M，直徑Rm可 略小于目標的最大尺寸。對左圖進行從左到右、自上而下的掃描。如果以一個點P為中心的 圓形模板M內的特征點與樣本目標的所有特征點307中特征點匹配的數量大于閾