利用視覺系統在遮擋環境下對齊兩工件的系統與方法
【專利摘要】本發明提供一種在第一工件遮擋第二工件的關鍵對齊特征的情況下，使第一工件對齊下方第二工件的系統與方法。視覺系統引導夾持第一工件的機械手以及夾持第二工件的移動平臺的移動，并學習獲取第一工件和第二工件中的至少一個工件的次要對齊特征。利用這些次要特征，所述視覺系統測定兩工件間的對齊，并引導機械手以及移動平臺實現對齊以使第一工件與第二工件嚙合。所述次要特征用于路線對齊。機械手和/或移動平臺的確定性移動用于獲得次要特征和主要特征之間的關系。次要特征用于方向對齊。
【專利說明】利用視覺系統在遮擋環境下對齊兩工件的系統與方法
【技術領域】
[0001]本發明涉及一種用于使物體相互對齊的視覺系統，尤其涉及一種對齊以疊加關系裝配的物體的視覺系統。
【背景技術】
[0002]在機器視覺系統中(此處亦可稱為“視覺系統”)，利用一個或多個攝像頭對成像場景內的物體或表面執行視覺系統處理。該處理可包括監測、解碼符號、對齊及各種其他自動化任務。特別地，視覺系統可用于監測通過成像場景的扁平工件。典型的，一個或多個視覺攝像頭對該場景進行取像，所述攝像頭含有內置或者外接的視覺系統處理器，進行相關的視覺系統處理以生成處理結果。
[0003]在不同的生產流程中，需要將一扁平工件對齊另一工件。特別地，在裝配過程中，在一工序中通過移動上層的第一工件，使其懸停于第二工件上方，然后放低第一工件高度來實現將一獨立工件對齊另一獨立工件。在一個示例性流程中，這可以是將手機或平板電腦的玻璃屏嵌入至外殼內。在另一示例性流程中，這可以是放低窗戶玻璃，使之嵌入到窗戶框內，或者將一電路芯片置于電路板上。在此生產流程中，工件必須沿參考平面的X和Y平移方向對齊，以及在X-Y平面內旋轉(Θ),并且沿與X-Y平面正交的Z軸下降，直至最后嚙合。該流程通過機械手和/或移動平臺抓取第一工件后根據視覺系統反饋與第二工件對齊得以實現。盡管三維(3D)視覺系統可以應用于此流程中，但是可以設想，由于X-Y平面上的兩工件在所有的高度(沿Z軸)均是平行的，因此2D視覺系統已滿足條件。
[0004]在很多應用中，將第一工件嵌入至第二工件后，通過第一工件的外邊緣與第二工件的內邊緣之間的空隙測量兩者之間的對齊精度。理想狀態下，由于該兩物體被機械手和/或移動平臺裝配在一起，因此上述邊緣應該是用于對齊兩物體的主要對齊特征。然而，如上所述，在第一工件完全嵌入第二工件之前，機械手/移動平臺將第一工件懸浮于第二工件之上，導致第一工件遮擋第二工件的內邊緣，致使攝像頭無法取像或者照明源無法照明。因此，當機械手和/或移動平臺移動實現裝配過程時，由于工件之間必須精準對齊，同步觀察每個工件上的關鍵對齊特征通常是一種挑戰。
[0005]因此，需要提供一種技術，當第一工件部分遮擋下方的第二工件時，可降低或消除對齊過程中的不確定性。
【發明內容】
[0006]本發明提供一種在第一工件遮擋第二工件關鍵對齊特征的情況下，使第一工件對齊其下方的第二工件的系統與方法，以克服現有技術的缺陷。該視覺系統引導夾持第一工件的機械手的移動(如沿Z方向)以及引導夾持第二工件的移動平臺的移動(如沿X和Y方向)，并在兩工件中的至少一個上學習獲取次要對齊特征。利用這些次要對齊特征，視覺系統可確定兩工件間的準確對齊，并當放低第一工件并使之與第二工件嚙合時，引導機械手和/或移動平臺實現準確對齊。特別地，該流程引導機械手和/或移動平臺進行一系列決定性的移動，以顯露主要對齊特征，然后學習獲取次要特征與主要特征的位置關系。然后在裝配過程中，利用次要特征，至少部分次要特征，去引導最終的對齊。
[0007]在一個示例性實施例中，將第一工件裝配至下方第二工件的系統與方法包括視覺系統攝像頭總成，對包含第一工件和第二工件未裝配和裝配后布局的場景進行取像。對齊流程接收來自視覺系統攝像頭總成的圖像數據。該對齊流程配置為:(a)在第一工件和第二工件中的至少一個上確定次要對齊特征；(b)移動機械手和移動平臺中的至少一個，顯露出第一工件和第二工件中至少一個上的被遮擋的主要對齊特征，并且獲取圖像；以及(C)獲取場景圖像，并且根據該圖像，確定主要對齊特征與次要對齊特征的關系，進而調用移動控制流程進行對齊。該移動控制(流程)利用上述關系引導第一工件裝配到第二工件。這是基于次要對齊特征完成的。用作說明地，第一工件的主要對齊特征界定了外邊緣，而第一工件的次要對齊特征界定了遠離此外邊緣的頂端邊緣。第一工件至少有一部分在內邊緣和外邊緣周圍是透明的，并且此內邊緣定義了沿第一工件上表面傾斜的斜面的拐角。同樣地，第二工件的主要對齊特征界定了內邊緣，而第二工件的次要對齊特征界定了遠離此內邊緣的外邊緣。此內邊緣界定了朝向內部的擱板，該擱板在裝配后布局中支撐第一工件，而外邊緣則至少界定了第二工件外邊界的一部分。所述移動控制流程能夠在X方向和Y方向中的每一方向上移動移動平臺，并且至少可在與含有X方向和Y方向的平面向垂直的Z方向上移動機械手。更普遍地，機械手和移動平臺中的至少一個可以沿χ、y和Z方向，以及繞Z方向旋轉中的至少一個方向移動。用作說明地，所述視覺系統攝像頭總成包括多個適用于對與第一工件和第二工件相關的預設位置成像的攝像頭，其中每一攝像頭均在工作時與對齊流程連接。
【專利附圖】
【附圖說明】
[0008]下文將引用附圖對本發明進行描述，其中: [0009]圖1為工件裝配裝置的示意圖，其中第一工件在出現遮擋時與下方第二工件的對齊由視覺系統中的對齊流程所控制；
[0010]圖2為懸浮于下方第二工件之上的第一工件的局部側剖視圖，顯示了圖1中的視覺系統用到的界定主要對齊特征和次要對齊特征的各個邊緣，并且顯示了對一邊緣的遮擋；
[0011]圖3為懸浮于第二工件之上的第一工件的局部側剖視圖，其中機械手已將第一工件移動至與第二工件適當對齊的位置；
[0012]圖4為與第二工件對齊嚙合的第一工件的局部側剖視圖；
[0013]圖5為利用次要對齊特征推斷關鍵/主要對齊特征位置的對齊流程的流程圖；以及
[0014]圖6為圖5的子流程的流程圖，此子流程執行顯示第二工件不可見和/或被遮擋的邊緣并允許建立主要對齊特征與次要對齊特征之間的精準位置關系的一系列決定性移動步驟。
【具體實施方式】
[0015]圖1所示為一個概括性的生產裝置100，其中第一工件110由可移動機械手部件120懸浮于第二工件112上方。在不同實施例中，第一工件110可以是透明的窗戶或其他具有平面結構的物體，而第二工件112可以是框架或外殼，其在一裝配步驟中永久性地接收第一工件110。第一工件可以是透明的(如圖所示)或半透明的，或者表面完全或局部不透明的。至于工件110和112裝配前后的位置關系將會在下文進一步描述。第二工件112位于移動平臺121 (可包括傳送帶的一部分)上，根據本領域技術，該移動平臺可在移動平臺控制器及關聯的控制流程124的控制下沿兩個方向(雙箭頭122)中的任一方向向前或向后移動。方向122的特征在于X-Y平面上沿X軸和Y軸方向的平移(或移動)。機械手部件120被構造和設置為可以沿至少一個軸(Z軸)移動，可選的，還可沿X軸和/或Y軸移動。可以把機械手的移動方向以及移動平臺121的移動方向當作視覺系統攝像頭的全局“運動坐標系”中的軸，并可利用適當的技術在線下(非運行時)校準流程中對所述方向進行校準。在某些特定的實施方式中，還可以通過機械手120和/或移動平臺121對第一工件110和/或第二工件112沿Z軸(如彎曲的雙箭頭Θ所示)分別進行旋轉。一般而言，示例性裝置100省略了沿X軸或Y軸的翻轉(即不會傾斜)，因此第一工件110—直處于與移動平臺121和/或第二工件112確定的平面平行的X-Y軸平面內。在另一實施例中，傾斜是允許的，但這需要額外的視覺系統處理流程去處理增加的自由度。
[0016]裝置100包括至少一個視覺系統攝像頭，在此用作說明性的，包括四個視覺系統攝像頭140、142、144以及146，每一個攝像頭分別帶有一個圖像傳感器(或簡稱為“傳感器”)150、152、154以及156。每一個傳感器150、152、154以及156分別通過透鏡部件160、162,164以及166從視野范圍內的成像場景中接收光線。該成像場景可由一個或多個照明裝置170、172、174以及176提供照明，所述照明裝置受各攝像頭140、142、144以及146的處理器控制發出閃光。所述一個或多個照明裝置可為“內置”，如在攝像頭防護罩上環繞攝像頭透鏡的環形照明器，所述一個或多個照明裝置也可以是外接的，設置在該成像場景中可提供理想照明效果的位置，以最小化遮擋以及其他不良影響，如表面高光反射。照明裝置的數量并不限于圖1所示裝置100的描述，可以是更多或者更少。此外，雖然圖中所示攝像頭140、142、144以及146的光軸OA向成像場景傾斜(相對于Z軸成銳角)，然而，在另一實施例中，每個攝像頭的攝像頭光軸OA可以近似與Z軸同軸。總之，攝像頭應被設置為可完整、無障礙地顯示兩工件I1和112的邊緣。
[0017]每個攝像頭的視覺系統處理器均可全部或部分位于各自的攝像頭外殼內。與每個攝像頭相關聯的視覺系統處理器及其處理功能由方框180表示。若為每個攝像頭提供一個視覺系統處理器180，攝像頭則可以單獨處理圖像信息，并進一步與遠程處理器，如電腦，共享視覺系統處理結果。或者，一個或多個攝像頭處理器作為“主”視覺系統處理器，而其他攝像頭作為“從屬”，將未處理圖像數據傳送至主視覺系統處理器，留待進一步處理。又或者，所有的攝像頭140、142、144以及146通過合適的攝像頭接口(如USB接口或基于TCP/IP的網絡)將圖像幀傳送到中央視覺系統處理單元(如一臺電腦)。
[0018]需要注意的是，此處所使用的術語“流程”和/或“處理器”應從廣義上來理解，包括各種基于電子硬件和/或軟件的功能和組件。此外，一個所述的流程或處理器能夠與其他流程和/或處理器組合，或分為多個子流程或子處理器。根據本文的實施例可對這些子流程和/或子處理器進行各種不同的組合。同樣地，可以明確地設想到，本文所述的任何功能、流程和/或處理器均能夠通過電子硬件、軟件(包括程序指令的非暫失性計算機可讀媒介)、或硬件和軟件的結合實施。
[0019]根據一個示例性的實施例，視覺系統處理器/流程180包括對齊流程182。所述對齊流程182的構造和配置滿足保證第一工件110的外邊緣184與下層第二工件112的內邊緣186可正確對齊的要求。該對齊流程與機械手部件120中的機器人控制188相通訊，跟蹤并指示Z軸的移動，并還與移動平臺控制器124相通訊，跟蹤并指示X軸和Y軸的移動。根據對齊流程182的反饋，移動平臺121受控移動第一工件110使其與第二工件適當地對齊，隨后機械手沿Z軸放低第一工件使其與第二工件嚙合。如上所述，在此操作中關鍵挑戰在于，在操作時，第二工件內邊緣186的一部分會被上層的第一工件所遮蔽，或者照明中產生陰影或被遮擋，進而為攝像頭系統提供中斷的圖像。因此，對齊流程缺少正確對齊所需的信息。
[0020]進一步參見圖2，其通過局部截面圖示出了兩工件示例性的邊緣位置關系。第二工件112在內邊緣186上具有向內的示例性“擱板”，該“擱板”用于支撐第一工件。本例中，在擱板210上設有粘結層220，用于永久性(或半永久性)地將兩工件固定在一起。作為另一種固定機制，可以在其他裝配過程中，使用夾片或者嵌槽。如圖2所示，機械手和移動平臺定位第一工件110，使其外邊緣184位于第二工件112內邊緣之上。如攝像頭光軸OA所示，該定位實際上遮擋了相關攝像頭的視線，由于缺少邊緣186的位置信息，這給對齊流程182的對齊帶來了更大的難度。
[0021]除圖2所示的對邊緣186的遮擋之外，由于光線的變化以及下層第二工件的光學效應，有時第一工件的外邊緣184對于相關攝像頭也不是完全可見的。這同樣給對齊流程182對齊兩工件帶來了更大的挑戰。
[0022]在一個典型的對齊流程中，兩邊緣184和186是關鍵對齊特征，它們用于構成兩工件正確對齊時的縫隙(如下文將進一步描述的圖3和圖4中所示的G)。可以認識到，大多數工件包含“次要”對齊特征，用于輔助對齊工件。舉例說明，第一工件110含有由斜面230所界定的內/上邊緣190。由于內/上邊緣190位于工件110的頂部，外邊緣183 (如上所述，會被部分或完全遮擋)以內，它更可能實現相對于每一個攝像頭的完全可見。同樣的，第二工件112含有外邊緣194，作為次要對齊特征。需要注意的是，在任一工件上的如脊狀體、洞體、印刷標記等可在對齊流程中保持可見，并與關鍵/主要對齊特征具有已知關系的其他清晰特征均可以在其他實施例中作為次要對齊特征。
[0023]參考圖3和圖4，以及圖5的流程圖，流程500除利用關鍵/主要對齊特征外，還利用次要對齊特征對齊第一工件和第二工件，下文將對此流程進一步詳細描述。在初始步驟510中，因每一個工件均被供至生產裝置中，流程500識別在整個對齊流程中均保持可見的次要對齊特征(如邊緣190和194)。所述對齊流程將存儲這些特征的位置并將該位置關聯至運動坐標系中。在步驟520中，流程500學習這些次要對齊特征與當機械手對齊工件移動時不可見(被遮擋)的關鍵/主要對齊特征之間的精確關系。可以設想到，各工件主要對齊特征與次要對齊特征的關系各不相同。
[0024]關于每個工件關鍵/主要對齊特征與次要對齊特征間位置精確關系的獲取，可以參考步驟520的子流程600，該流程圖如圖6所述。在步驟610中，對齊流程182指示移動平臺121，(通過控制器122)，略微移動第二工件112，使其不被第一工件遮蔽。根據一個實施例，開始時，工件112的上邊緣(圖1所示遠端處)及左邊緣同時顯露。一旦顯露，在步驟620中，一個或多個攝像頭就會獲取并存儲圖像信息。此圖像用于學習顯露關鍵/主要特征邊緣及已識別的次要特征邊緣的相對位置關系。可以對第二工件的顯露邊緣，同樣也可對第一工件選定的邊緣184和190，執行學習步驟，其中外邊緣184不再與第二工件的如下邊緣及右邊緣等邊緣產生混淆。然后，在步驟630中，移動平臺可以向相反的方向移動，顯露出第二工件的下邊緣和右邊緣。在步驟中640中，得到另一幅圖像，并學習顯露和/或未遮擋邊緣的相對位置。基于這些已學習到的關系，步驟650建立了描述主要對齊特征與次要對齊特征位置關系的全部數據。如下文所述，在其他實施例中，移動步驟的順序，和/或它們移動的方向都可以是高度變化的。
[0025]建立了清晰可見的次要對齊特征與主要對齊特征之間的位置關系后，流程500就可以推斷出第一工件的外邊緣184和第二工件內邊緣186的位置。因此，如圖3所示，移動平臺沿X軸和/或Y軸方向(箭頭310)移動(步驟530)，以建立所需的對齊，包括關鍵邊緣184和186之間的空隙G。當開始移動時，對齊流程獲取圖像并對其進行分析，確定次要特征是否移到合適的對齊位置-從而確保關鍵/主要特征適當地對齊。當兩工件正確地物理對齊后(判斷步驟540)，機械手總成可以放低(如圖3中箭頭330及圖5中步驟550所示)第一工件110，以使其與第二工件112的擱板210相嚙合。帶有所需縫隙G的已完成總成如圖4所示，其具有將工件保持在所需裝配關系上的粘結層(或者其他固定裝置)。此時，該總成可被傳送帶移動到下一生產位置。
[0026]盡管通過對次要特征進行取像分析以實現對齊，但很容易設想到，當條件允許時，也可以將可視的主要特征應用于對齊中，以進一步確保其精確性。
[0027]需要清楚的一點是，本文所述的系統和方法提供了一種技術，該技術快速高效地解決了各種不同的利用移動平臺和/或機械手從上下位置裝配構成的物體的對齊問題。此系統和方法只需要相對較少的額外對齊步驟，并且可以應用于具有各種形狀和尺寸的物體上。
[0028]前文已經詳細描述了本發明的示例性實施例。在不脫離本發明思想和范圍的前提下，可進行各種修改和添加。為提供與新實施例相關的特征組合的多樣性，上述各種實施例中的每一個實施例的特征均可酌情與其他于此所述實施例的特征相結合。此外，雖然前文描述了本發明的設備和方法的一些獨立的實施例，但這些描述僅僅是對本發明原理的應用的說明。例如，X軸和/或Y軸移動(或旋轉)可以通過機械手實現，以代替或者連同移動平臺使用。同樣的，在其他示例性的生產裝置中，移動平臺可以執行Z軸移動。對齊流程和移動方向以不違背本文中的實施方式的基本原則為準。此外，盡管所描述的流程露出了上/左邊緣和下/右邊緣的組合，在進一步的實施例中，還可移動使單個邊緣，或者多個邊緣的組合同步顯露。此外，雖然本文中第一工件和第二工件均含有被遮擋或不可見的主要對齊特征，但可以預想，本系統和方法也可以應用于第一工件和第二工件中只有一個工件含有被遮擋/不可見主要對齊特征的情況，因此也只需要對具有被遮擋/不可見主要對齊特征的工件采集次要特征。還有，本文中應用的方向性和方位性的術語，如“縱向”、“水平方向”、“上方”、“下方”、“低端”、“頂端”、“側邊”、“前邊”、“后邊”、“左邊”、“右邊”等，只適用于相對情況，與固定坐標系統中的絕對方向，如重力方向，不同。因此，本說明書僅僅起到示例性的作用，而不限制本發明的范圍。
【權利要求】
1.一種將裝配至下方第二工件的第一工件對齊的系統，包括: 視覺系統攝像頭總成，對含有第一工件和第二工件未裝配和裝配后布局的場景進行成像；以及 從所述視覺系統攝像頭總成接收所述場景的圖像數據的對齊流程；其中，所述對齊流程構成和配置為: Ca)確定第一工件和第二工件中的至少一個工件上的次要對齊特征； (b)移動機械手和移動平臺中的至少一個，顯露出第一工件和第二工件中至少一個工件被遮擋的主要對齊特征，并且獲取其圖像；以及 (c)獲取所述場景的圖像，并且根據所述圖像，建立主要對齊特征與次要對齊特征之間的關系，實現第一工件和第二工件的對齊。
2.根據權利要求1所述的系統，其特征在于，還包括移動控制，其利用所述關系根據次要對齊特征引導第一工件相對于第二工件的裝配。
3.根據權利要求1所述的系統，其特征在于，第一工件的主要對齊特征為外邊緣，而第一工件的次要對齊特征為遠離外邊緣的頂端邊緣。
4.根據權利要求3所述的系統，其特征在于，其中內邊緣為沿第一工件上表面的斜面的拐角。
5.根據權利要求3所述的系統，其特征在于，第一工件至少在內邊緣和外邊緣周圍的部分是透明的。
6.根據權利要求1所述的系統，其特征在于，第二工件的主要對齊特征為內邊緣，而第一工件的次要對齊特征為遠離內邊緣的外邊緣。
7.根據權利要求6所述的系統，其特征在于，所述內邊緣為朝內指向的擱板的邊緣，所述擱板在裝配后支撐第一工件。
8.根據權利要求6所述的系統，其特征在于，所述外邊緣為第二工件的至少部分外邊界。
9.根據權利要求1所述的系統，其特征在于，還包括移動控制，利用所述關系根據次要對齊特征引導第一工件相對于第二工件的裝配，其中所述移動控制沿X方向、Y方向、與X方向和Y方向構成平面正交的Z方向以及繞Z方向旋轉中的至少一個方向移動所述移動平臺和機械手中的至少一個。
10.根據權利要求1所述的系統，其特征在于，所述視覺系統攝像頭總成包括多個朝向關于第一工件和第二工件的預設位置成像的攝像頭，其中每一個攝像頭均在工作時與對齊流程連接。
11.一種將裝配至下方第二工件的第一工件對齊的方法，包括以下步驟: 對包含第一工件和第二工件未裝配和裝配后的布局的場景進行成像；并且 從視覺系統攝像頭總成接收所述場景的圖像數據，并根據接收到的圖像數據， Ca)在第一工件和第二工件中的至少一個工件上確定次要對齊特征； (b)移動機械手和移動平臺中的至少一個，顯露出第一工件和第二工件中至少一個工件上被遮擋的主要對齊特征，并且獲取其圖像；以及 (c)獲取所述場景的圖像，并且根據該圖像，建立主要對齊特征與次要對齊特征之間的關系，使第一工件相對第二工件對齊。
12.根據權利要求11所述的方法，其特征在于，還包括利用所述關系，根據次要對齊特征引導第一工件相對于第二工件的裝配。
13.根據權利要求11所述的方法，其特征在于，所述第一工件的主要對齊特征為外邊緣，而第一工件的次要對齊特征為遠離外邊緣的頂端邊緣。
14.根據權利要求13所述的方法，其特征在于，第一工件至少在內邊緣和外邊緣周圍的部分是透明的。
15.根據權利要求11所述的方法，其特征在于，第二工件的主要對齊特征為內邊緣，而第一工件的次要對齊特征為遠離內邊緣的外邊緣。
16.根據權利要求11所述的方法，其特征在于，還包括利用所述關系，根據次要對齊特征引導第一工件相對于第二工件的裝配，并沿X方向、Y方向、與X方向和Y方向構成平面正交的Z方向以及繞Z方向旋轉中的至少一個方向移動所述移動平臺和機械手中的至少一個。
17.根據權利要求11所述的方法，其特征在于，還包括提供多個朝向關于第一工件和第二工件的預設位置取像 的攝像頭。
【文檔編號】H04N7/18GK104029008SQ201410074776
【公開日】2014年9月10日 申請日期:2014年3月3日 優先權日:2013年3月7日
【發明者】D·Y·李, L·王 申請人:康耐視公司