一種基于多圖像獲取設備的工件識別與分揀裝置和方法與流程

本發明涉及工件識別和分揀技術領域，特別是涉及一種基于多圖像獲取設備的工件識別與分揀裝置和方法。

背景技術：

基于機器視覺的工件分揀、拾取、搬運已在機械、食品、醫藥、化妝品等生產領域得到日益廣泛的應用。在這些生產線中，多個工件混合傳送到分揀區，承擔分揀、搬運的裝置要求能識別分揀區內的工件，拾取后按工序要求搬運或擺放到所需的位置。專利“基于機器視覺的機器人分揀系統及方法”(中船重工716所，cn103706568a)采用單相機獲取靜止的圓形藥片圖像后由機器手按形狀分揀，吸取位置與物品實際位置的誤差范圍為0.2mm。專利“基于視覺處理的機器人自動碼垛”(沈陽工業大學,cn104058260a)對于處在分揀區的靜止工件通過單個相機獲取圖像，經圖象處理后得到工件幾何質心，再由碼垛機器人按此質心吸取完成碼垛。專利“工業機器人分揀系統”(沈陽工業大學，cn204036474u)采用單個相機的運動，獲取兩個不同位置的圖像，由雙目立體視覺算法得到工件的幾何質心和擺放方向，生成工件在分揀區內的空間位置供機器人實施抓取。專利“一種用于機器人搬運作業的視覺定位方法”(上海fanuc機器人有限公司，cn101637908a)為提高機器人上料的姿態精度，對于固定位置上的單個工件在抓取前由一個2維相機得到位置補償數據，拾取后由一個3維相機獲得姿態特征補償數據，該方法主要用于解決形狀不規則的毛坯零件上料裝夾的精度問題。

在上述采用單個相機的專利中，為了在一個視場內得到多個工件圖像，除非采用昂貴的高分辨率相機，像素足夠多，否則由圖像處理得到的測量精度不高。

上述應用均針對單層工件場合，對于只容納單層工件平鋪的分揀區，在有的生產線中因為有新的工件持續流入，分揀區內工件間相互推擠，各個工件會作緩慢平移和轉動，在圖像獲取后的圖像處理、運動軌跡計算等抓取前的時間片內，工件位置已有小變化。在實施揀取的吸取或夾爪收緊過程中被抓取物相對于之前的位置也會發生細微的位移。上述專利均未計入這些位置變化，無法保證定位精度。

此外，上述采用單相機的方案中無法實現多個揀取設備，如機器人的協調工作。揀取的效率較低，且相機的使用率也比較低，增加揀取設備勢必導致相機數量的成倍增加。而 如果采用單臺相機針對不同識別的范圍兩次成像的方案的話不僅增加了相機需要頻繁變換焦距所帶來的額外成本，而且還嚴重影響到了揀取的效率。專利“一種用于機器人搬運作業的視覺定位方法”中，第一臺2d相機固定在機器人手臂上，機器人抓取工件后移動到另一臺位置固定的3d相機下進行位置補償和定位。這種方法在多個機器人的應用場合中也會導致相機的數量會成倍增加。無法充分發揮相機的使用效率。

技術實現要素：

本發明所要解決的技術問題是提供一種基于多圖像獲取設備的工件識別與分揀裝置和方法，進行工件識別時能同時保證識別范圍與識別精度，解決對于生產線上持續流入的工件在識別和抓取的時間差產生的位移變化對精度的影響。

本發明解決其技術問題所采用的技術方案是：提供一種基于多圖像獲取設備的工件識別與分揀裝置，包括第一圖像獲取設備、第二圖像獲取設備、工件傳送裝置、揀取裝置和計算機，所述工件傳送裝置用于將工件沿一個方向進行輸送；所述第一圖像獲取設備位于所述工件傳送裝置的上游，用于獲取位于工件傳送裝置上游的所有工件的圖像；所述揀取裝置根據所述計算機的控制揀取位于工件傳送裝置上的工件；所述第二圖像獲取設備位于所述工件傳送裝置的下游，用于獲取揀取裝置所揀取的單個工件的局部圖像；所述計算機用于計算每個工件的揀取時間、揀取位置和釋放位置，所述計算機分別與第一圖像獲取設備、第二圖像獲取設備、工件傳送裝置和揀取裝置連接。

所述計算機根據每一個工件被識別時的位置和工件傳輸裝置移動速度計算出揀取裝置針對每一個工件的揀取時間和揀取位置。

所述計算機還根據所述第二圖像獲取設備得到的工件定位特征的位置信息計算出工件位置校正補償量，并根據工件釋放的目標位置計算出工件的釋放位置。

所述工件定位特征是指工件被揀取的一面上未被揀取裝置所遮擋的部位的形狀或輪廓線。

所述揀取裝置通過吸取或抓取的方式進行揀取工件。

所述第一圖像獲取設備和第二圖像獲取設備均為工業相機。優選地，所述相機分辨率不超過500萬像素，或像素陣列小于或等于1920*2560。

所述工件傳送裝置上還設有與計算機相連的傳感器，所述傳感器用于檢測工件傳送裝置的傳送位置和/或速度。

所述揀取裝置為兩個以上，所述第二圖像獲取設備的數量少于或等于揀取裝置的數量，所述揀取裝置和第二圖像獲取設備在工件傳送裝置的下游間隔布置。

所述揀取裝置為兩個以上，所述揀取裝置在移動路徑上避免干涉碰撞。

本發明解決其技術問題所采用的技術方案是：提供一種基于多圖像獲取設備的工件識別與分揀方法，包括以下步驟：

(1)第一圖像獲取設備獲取工件傳送裝置上游的包含多個工件的圖像，并進行圖像處理，識別出所要揀取的工件的第一位置的信息傳輸給計算機；

(2)計算機控制揀取裝置定位到工件的第二位置，等待工件到達第二位置時揀取工件；

(3)第二圖像獲取設備對揀取裝置所揀取工件的定位特征進行圖像采集，經過圖像處理得到工件定位特征相對于揀取裝置的位置信息；

(4)計算機根據得到的工件定位特征相對于揀取裝置的位置信息控制揀取裝置定位到釋放位置釋放工件。

所述步驟(1)和步驟(2)之間還包括計算機根據每一個工件被識別時的第一位置和工件傳送裝置移動速度計算出揀取裝置針對每一個工件的揀取時間和第二位置的步驟。

所述步驟(4)中計算機根據得到的工件定位特征相對于揀取裝置的位置信息計算出揀取裝置釋放工件的目標位置的補償量。

所述步驟(3)的定位特征是指工件被揀取的一面上未被揀取裝置所遮擋的部位的形狀或輪廓線。

所述步驟(3)具體為對所揀取工件進行圖像采集和灰度閾值處理，提取出輪廓線，并獲得角點的坐標以及輪廓線的轉角，通過角點坐標獲取偏置量，通過輪廓線的轉角獲取角度偏置量。

所述揀取裝置為兩個以上時，在步驟(2)中計算機分別控制多個揀取裝置定位到工件的第二位置，等待工件到達第二位置時揀取工件，然后多個揀取裝置依次移動到第二圖像獲取設備的獲取區域中；多個揀取裝置在移動路徑上避免干涉碰撞。

為了提高識別和分揀的效率，先完成揀取工件的揀取裝置先移動到第二圖像獲取設備的獲取區域中。

所述揀取裝置為兩個以上時，所述第二圖像獲取設備的數量少于或等于揀取裝置的數 量，每個第二圖像獲取設備至少對應一個揀取裝置，在步驟(2)中計算機分別控制多個揀取裝置定位到工件的第二位置，等待工件到達第二位置時揀取工件，然后多個揀取裝置移動到各自對應的第二圖像獲取設備的獲取區域中。

有益效果

由于采用了上述的技術方案，本發明與現有技術相比，具有以下的優點和積極效果：

本發明采用多相機可以實現對大范圍物品的高精度識別和揀取，解決了傳統方法中相機識別范圍與相機分辨率之間的矛盾。

本發明中的第一相機得到工件的分揀信息以及可進行工件揀取的位置信息。在揀取工件并完成定位測量前，工件實際空間位置與識別測量得到的空間位置不同，包含了識別照相后到抓取這段時間內工件的移動，以及抓取過程中工件在機構夾緊或完全吸合前的移動或偏移。不同的工件定位特征不同，按所抓取工件的定位特征由第二相機進行精定位測量，由于工件定位特征的尺寸較小，在第二相機成像中可得到較高的圖像測量精度，同時由于揀取裝置與所抓取的工件間已不再有相對運動，故可以得到足夠精度的當前工件的定位信息。因此本發明可應用于持續流入的多品種多個工件混合的分揀區內工件的分揀和定位搬運，從而解決了由于生產線上持續流入的工件在識別和抓取的時間差產生的位移變化對精度的影響，實現了高效率和高精度的機器人物品分揀作業。

本發明中所使用的相機均為普通規格的工業相機，在分辨率和性能上沒有特別的要求。因此，本發明方案的整體成本較低。

本發明中所使用的第一相機和第二相機分別在工件傳輸裝置的上游和下游布置，這樣兩個相機的工作相互沒有影響，可以實現相互配合的持續、高效率的工作。第一相機進行工件區域的工件進行全局的識別，從而實現總體協調的作用，傳輸裝置下游的多個揀取機構和第二相機可以根據第一相機識別的多個工件的位置同時對工件進行揀取，提高了工作效率。

在采用多個揀取設備的使用情況下，多個揀取設備可以共用第一相機的采集結果。同時，在對揀取設備的位置合理布局的情況下，第二相機可以被多個揀取設備交替使用。這樣整個裝置在效率提升的同時最少化了相機使用數量，提高了相機的利用率，降低了實施的成本。

附圖說明

圖1是本發明的裝置結構示意圖；

圖2是本發明的俯視圖；

圖3是本發明的系統方框圖；

圖4是本發明的工作流程圖；

圖5是本發明實施例中第一圖像獲取設備的識別區域示意圖；

圖6是本發明實施例中第二圖像獲取設備的識別區域示意圖；

圖7是本發明實施例中修正補償量示意圖。

具體實施方式

下面結合具體實施例，進一步闡述本發明。應理解，這些實施例僅用于說明本發明而不用于限制本發明的范圍。此外應理解，在閱讀了本發明講授的內容之后，本領域技術人員可以對本發明作各種改動或修改，這些等價形式同樣落于本申請所附權利要求書所限定的范圍。

本發明涉及一種基于多圖像獲取設備的工件識別與分揀裝置，如圖1和圖2所示，包括第一圖像獲取設備1、第二圖像獲取設備2、工件傳送裝置5、揀取裝置3和計算機6，所述工件傳送裝置5用于將工件4沿一個方向進行輸送；所述第一圖像獲取設備1位于所述工件傳送裝置5的上游，用于獲取位于工件傳送裝置5上游的所有工件的圖像；所述揀取裝置3根據所述計算機的控制揀取位于工件傳送裝置5上的工件4；所述第二圖像獲取設備2位于所述工件傳送裝置5的下游，用于獲取揀取裝置3所揀取的單個工件的局部圖像；所述計算機6用于計算每個工件的揀取時間、揀取位置和釋放位置，所述計算機6分別與第一圖像獲取設備1、第二圖像獲取設備2、工件傳送裝置5和揀取裝置3連接。所述工件傳送裝置5上還設有與計算機6相連的傳感器7，所述傳感器7用于檢測工件傳送裝置的傳送位置和/或速度。整個工件識別與分揀裝置的兩側還設有工件碼放區8，該工件碼放區8即為揀取裝置3的釋放位置。

其中，計算機可以根據每一個工件被識別時的位置和工件傳輸裝置移動速度計算出揀取裝置針對每一個工件的揀取時間和揀取位置；計算機還可以根據第二圖像獲取設備得到的工件定位特征的位置信息計算出工件位置校正補償量，并根據工件釋放的目標位置計算出工件的釋放位置，從而實現對大范圍物品的高精度識別和揀取。第一圖像獲取設備和第二圖像獲取設備均可以采用普通規格的工業相機。

不難發現，本發明采用多圖像獲取設備可以實現對大范圍物品的高精度識別和揀取，解決了傳統方法中相機識別范圍與相機分辨率之間的矛盾。本發明中的第一圖像獲取設備 得到工件的分揀信息以及可進行工件揀取的位置信息。在揀取工件并完成定位測量前，工件實際空間位置與識別測量得到的空間位置不同，包含了識別圖像獲取后到抓取這段時間內工件的移動，以及抓取過程中工件在機構夾緊或完全吸合前的移動或偏移。不同的工件定位特征不同，按所抓取工件的定位特征由第二圖像獲取設備進行精定位測量，由于工件定位特征的尺寸較小，在第二圖像獲取設備成像中可得到較高的圖像測量精度，同時由于揀取裝置與所抓取的工件間已不再有相對運動，故可以得到足夠精度的當前工件的定位信息。因此本發明可應用于持續流入的多品種多個工件混合的分揀區內工件的分揀和定位搬運，從而解決了由于生產線上持續流入的工件在識別和抓取的時間差產生的位移變化對精度的影響，實現了高效率和高精度的機器人物品分揀作業。

本發明中所使用的圖像獲取設備均可以為普通規格的工業相機，在分辨率和性能上沒有特別的要求。因此，本發明方案的整體成本較低。本發明中所使用的第一圖像獲取設備和第二圖像獲取設備分別在工件傳輸裝置的上游和下游布置，這樣兩個圖像獲取設備的工作相互沒有影響，可以實現相互配合的持續、高效率的工作。第一圖像獲取設備進行工件區域的工件進行全局的識別，從而實現總體協調的作用，傳輸裝置下游的多個揀取裝置和第二圖像獲取設備可以根據第一圖像獲取設備識別的多個工件的位置同時對工件進行揀取，提高了工作效率。

本發明還涉及一種基于多圖像獲取設備的工件識別與分揀方法，如圖3和圖4所示，包括以下步驟：第一圖像獲取設備獲取工件傳送裝置上游的包含多個工件的圖像，并進行圖像處理，識別出所要揀取的工件的第一位置的信息傳輸給計算機；計算機控制揀取裝置定位到工件的第二位置，等待工件到達第二位置時揀取工件；第二圖像獲取設備對揀取裝置所揀取工件的定位特征進行圖像采集，經過圖像處理得到工件定位特征相對于揀取裝置的位置信息；計算機根據得到的工件定位特征相對于揀取裝置的位置信息控制揀取裝置定位到釋放位置釋放工件。計算機通過傳感器得到工件傳送裝置的傳送位置和/或速度，以完成整個工作流程。其中，第一圖像獲取設備的識別區域如圖5所示，虛線框9即為第一圖像獲取設備的識別區域，第二圖像獲取設備的識別區域如圖6所示，虛線圓圈10即為第二圖像獲取設備的識別區域，其與工件4重疊的部分即為定位特征11。

下面通過三個具體的實施例來進一步描述該方法。

實施例一：

工件傳輸裝置為傳送帶，拾取裝置為一臺多關節機器人，工件為箱體。第一相機和第 二相機均采用普通規格的工業相機，其分辨率為500萬像素。傳送帶通過旋轉電機驅動，電機上安裝有旋轉編碼器，檢測電機旋轉角度，計算機通過不斷讀取編碼器反饋的角度計算傳送帶的移動距離和速度。

第一相機固定安裝在傳送帶工件進入方向上游的正上方，鏡頭垂直向下指向分揀區域，第二相機為一臺并固定安裝在傳送帶下游工件分揀區域的正上方，鏡頭垂直向下指向分揀區域，

a)第一相機采集傳送帶上游的包含多個工件的圖像并進行圖像處理，識別出所要揀取的工件的位置的信息傳輸給計算機；

b)計算機根據每一個工件被識別時的位置和傳送帶移動速度計算出機器人針對每一個工件的揀取時間和揀取位置；

c)計算機控制機器人定位到揀取位置等待工件到達揀取位置時揀取工件，然后移動到第二相機的下方；

d)第二相機對機器人所揀取工件的定位特征進行圖像采集，經過圖像處理得到工件定位特征相對于揀取裝置的位置信息；

e)計算機根據上一步驟中得到的工件定位特征相對于揀取裝置的位置信息計算出揀取裝置釋放工件的目標位置的補償量，從而得到機器人所要釋放的工件碼放區的釋放位置；

f)計算機控制機器人定位到工件碼放區的釋放位置釋放工件；

g)重復步驟c直到工件全部被揀取。

其中步驟d)中第二相機是對被揀取箱體的向上一面邊緣的一個角的輪廓線進行定位特征識別。在特定的光照條件下對箱體邊緣一個角的輪廓線進行圖像采集和灰度閾值處理，提取出輪廓線，并獲得角點的坐標以及輪廓線的轉角，見圖7。通過角點的坐標獲取偏置量x’和y’。通過兩條輪廓線的轉角獲取角度偏置量α’。將x’，y’和α’的數值傳送給計算機，并計算出修正后的工件位置參數x、y和α。圖7中虛線框即為工件校正后的位置。

實施例二：

工件傳輸裝置為傳送帶，拾取裝置為二臺多關節機器人，第二相機也為兩臺并分別與二臺機器人的位置相對應。工件為箱體。第一相機和第二相機均采用普通規格的工業相機，其像素陣列為1920*2560。傳送帶通過旋轉電機驅動，電機轉速恒定，計算機通過電機轉速設定計算傳送帶的移動距離和速度。

第一相機固定安裝在傳送帶工件進入方向上游的正上方，鏡頭垂直向下指向分揀區域，第二相機固定安裝在傳送帶下游工件分揀區域的正上方，鏡頭垂直向下指向分揀區域，

兩臺多關節機器人與兩臺第二相機在傳送帶的下游間隔一定距離布置，相互不干涉，

a)第一相機采集傳送帶上游的包含多個工件的圖像并進行圖像處理，識別出所要揀取的工件的位置的信息傳輸給計算機；其中，計算機根據工件傳送帶的移動狀態計算工件的移動距離，并在第一相機已識別工件隨工件傳送帶離開第一相機圖像采集區域前通過第一相機再次識別后續的工件；

b)計算機根據每一個工件被識別時的位置和傳送帶移動速度計算出機器人針對每一個工件的揀取時間和揀取位置；

c)計算機分別控制兩臺機器人定位到兩個不同的工件的揀取位置等待工件到達揀取位置時揀取工件然后分別移動到各自對應的第二相機的下方；

d)第二相機分別對兩臺機器人所揀取工件的定位特征進行圖像采集，經過圖像處理得到工件定位特征相對于揀取裝置的位置信息；

e)計算機根據上一步驟中得到的工件定位特征相對于揀取裝置的位置信息計算出揀取裝置釋放工件的目標位置的補償量，從而得到兩臺機器人所要釋放的工件碼放區的釋放位置；

f)計算機分別控制兩臺機器人定位到工件碼放區的釋放位置釋放工件；

g)重復步驟c直到工件全部被揀取。

其中步驟d中第二相機是對被揀取箱體的向上一面邊緣的一個角的輪廓線進行定位特征識別。在特定的光照條件下對箱體邊緣一個角的輪廓線進行圖像采集和灰度閾值處理，提取出輪廓線，并獲得角點的坐標以及輪廓線的轉角，見圖7。通過角點的坐標獲取偏置量x’和y’。通過兩條輪廓線的轉角獲取角度偏置量α’。將x’，y’和α’的數值傳送給計算機，并計算出修正后的工件位置參數x、y和α。圖7中虛線框即為工件校正后的位置。

實施例三：

工件傳輸裝置為傳送帶，揀取裝置為二臺多關節機器人，第二相機為一臺。工件為箱體。第一相機和第二相機均采用普通規格的工業相機，其像素陣列為1920*2560。傳送帶通過旋轉電機驅動，電機上安裝有旋轉編碼器，檢測電機旋轉角度，計算機通過不斷讀取編碼器反饋的角度計算傳送帶的移動距離和速度。

第一相機固定安裝在傳送帶工件進入方向上游的正上方，鏡頭垂直向下指向分揀區域，第二相機固定安裝在傳送帶下游工件分揀區域的正上方，鏡頭垂直向下指向分揀區域，

兩臺多關節機器人在傳送帶的下游間隔一定距離布置，相互不干涉，第二相機位于兩臺機器人之間，

a)第一相機采集傳送帶上游的包含多個工件的圖像并進行圖像處理，識別出所要揀取的工件的位置的信息傳輸給計算機；其中，計算機根據工件傳送帶的移動狀態計算工件的移動距離，并在第一相機已識別工件隨工件傳送帶離開第一相機圖像采集區域前通過第一相機再次識別后續的工件；

b)計算機根據每一個工件被識別時的位置和傳送帶移動速度計算出機器人針對每一個工件的揀取時間和揀取位置；

c)計算機控制機器人定位到揀取位置等待工件到達揀取位置時揀取工件，然后移動到第二相機的下方；

d)第二相機對機器人所揀取工件的定位特征進行圖像采集，經過圖像處理得到工件定位特征相對于揀取裝置的位置信息；

e)計算機根據上一步驟中得到的工件定位特征相對于揀取裝置的位置信息計算出揀取裝置釋放工件的目標位置的補償量，從而得到機器人所要釋放的工件碼放區的釋放位置；

f)計算機控制機器人定位到工件碼放區的釋放位置釋放工件；

g)重復步驟c直到工件全部被揀取。

為了提高識別和分揀的效率，先完成揀取工件的機器人先移動到第二相機的下方，后完成揀取工件的揀取裝置后移動到第二相機的下方，依次進行。當第一臺機器人執行完步驟c時另一臺機器人同時開始執行步驟c。兩臺機器人在移動路徑上應避免干涉碰撞。

其中步驟d中第二相機是對被揀取箱體的向上一面邊緣的一個角的輪廓線進行定位特征識別。在特定的光照條件下對箱體邊緣一個角的輪廓線進行圖像采集和灰度閾值處理，提取出輪廓線，并獲得角點的坐標以及輪廓線的轉角，見圖7。通過角點的坐標獲取偏置量x’和y’。通過兩條輪廓線的轉角獲取角度偏置量α’。將x’，y’和α’的數值傳送給計算機，并計算出修正后的工件位置參數x、y和α。圖7中虛線框即為工件校正后的位置。

由此可見，在采用多個揀取設備的使用情況下，多個揀取設備可以共用第一相機的采集結果。同時，在對揀取設備的位置合理布局的情況下，第二相機可以被多個揀取設備交替使用。這樣整個裝置在效率提升的同時最少化了相機使用數量，提高了相機的利用率，降低了實施的成本。