根據直線特征執行視覺系統平面手眼校準的系統和方法
【技術領域】
[0001]本發明涉及一種在機器視覺系統應用中所使用的校準系統和方法以及校準物體。
【背景技術】
[0002]在機器視覺系統(本文稱為“視覺系統”)中，一個或多個攝像機被用于對成像場景中的物體或表面執行視覺系統處理。這些處理可以包括檢查、符號解碼、調整以及各種其它的自動化任務。更具體地講，視覺系統可用于檢測成像場景中穿過的一個平面工件。場景通常由一個或多個視覺系統攝像機成像，這些攝像機(一個或多個)可以包括操作相關視覺系統處理以產生結果的內部或外部視覺系統處理器。通常需要校準一個或多個攝像機以使它/它們有足夠的精度和可靠性來執行視覺任務(多個)。校準板可用于校準攝像機。
[0003]校準物體(通常是一個“板”的形式)通常以在其表面帶有特色圖案的平板狀物體的形式提供。特色圖案通常經過精心設計，從而使用戶能夠很容易地從一個相機捕獲的校準板圖像中識別出每個可見特征。一些示例性的圖案包括但不限于:點網格，線網格，或者大致的蜂窩圖案，三角形棋盤圖案等等。每個可見特征的特點可由(面)板的設計(比如相對于設計內部隱含定義的一個參考位置和/或坐標系的位置或方向)推知。
[0004]由交叉線和修飾圖形鑲嵌排列而成的棋盤圖案設計，提供了在即便透視系數和鏡頭畸變、圖案部分損壞、不均勻光照等非理想條件下執行校準時在精度和魯棒性方面的一些優點。更具體地說，在一個靜止物體的二維(2D)校準時，通過校準棋盤邊緣確定單個棋盤塊的各個角的相對位置，一般對于確定視覺系統的精度是足夠的，并且視情況而定，向相機處理器提供適當的校正系數以便運行時物體在考慮這些校正系數的條件下得到測量。
[0005]通過進一步了解校準原理可知:對于一個剛體，比如一個校準板，一種運動可由一對姿態來表征:運動前的初始姿態、運動后的終止姿態——“姿態”在此定義為用于描述在任意特定瞬間、當前坐標系下物體狀態的一組數值——物體的一種虛擬特性。例如，在二維空間，一個剛體可用三個數字表征:x平移，Y平移和旋轉R。校準板前后的姿態描述了當相機(多個)和校準板間存在相對運動時校準板如何呈現給相機(多個)。典型地，按所謂的“手眼校準”標準，一個校準板以許多不同的姿態呈現給相機(多個)，而每個相機獲取校準板在每個姿態下的一幅圖像。對于機器視覺的手眼校準，典型情況下，校準板被移動到多個預定姿態，而相機(多個)獲取所述校準板的特定圖像。此種手眼校準的目標是在“運動坐標系”中確定相機(多個)和校準板的剛體姿態。該運動坐標系可以用多種方式來定義。姿態的數目(指定校準板和/或這些相機在空間中的位置)必須在一個適當的坐標系中解釋。一旦單一的統一坐標系被選定，則姿態和運動均在該全局坐標系中描述/解釋。這個選定的坐標系被常稱作“運動坐標系”。典型地，“運動”由一個能夠完成物理運動的實際設備來提供，比如一個機器人手臂，或者一個運動臺站，比如一臺起重機架。請注意，校準板既可以相對于一個或多個固定相機運動，相機(多個)也可以相對固定校準板運動。此種運動執行裝置的控制器使用數值(即姿態)命令裝置執行任何想要的運動，而那些數值在適合該裝置的本地坐標系中被解釋。注意:盡管可以選定任意運動坐標系以提供一個相對于運動執行裝置與相機(多個)的通用的全局坐標系，但通常希望選擇運動執行裝置的本地坐標系作為整體的運動坐標系。
[0006]因此，手眼校準通過運動的執行(或者移動校準板，或者移動相機)針對運動坐標系校準系統，并在運動之前和之后獲取圖像以確定該運動對于一個運動物體的作用效果。通過進一步的背景延伸，這不同于典型的內在的和外在的相機校準，這種校準不包括(即“免于”)在一個運動坐標系中確定相機的外在姿態。在這種情況下，相機(多個)通常都使用所捕獲的一個處于所有相機視野內特定位置的校準板的圖像相對于校準板自身的坐標系得到校準。機器視覺校準軟件根據每臺相機捕獲的校準板圖像推導出每臺相機的相對位置。這種校準被稱作“針對校準板的校準相機”，而一個手眼校準被稱作“針對運動坐標系的校準相機”。
[0007]當機器視覺系統使用手眼校準時，其軟件通過把圖像中觀察到的運動效果和受控運動(其受控運動數據是已知的)相關聯來求解各個姿態。校準的另一個結果是在相機圖像中的每個像素位置和運動坐標系中一個物理位置建立映射，因此在圖像空間找到一個位置后，在運動坐標系中該位置可被解出，并且運動執行裝置可據之執行命令。
[0008]在各種制造過程中，希望對齊一個扁平工件或更一般地，對齊一個所關注特征位于通常相互平行的離散平面上的工件。更具體地，組裝應用中，一個工件與另一個工件對齊。一個示例性的處理是需要把一部蜂窩電話或一臺平板電腦的復蓋玻璃插入其殼體內。另一個示例性的處理涉及打印應用，其中工件與處理設備對齊，比如絲網印刷移動電話、平板電腦或平板顯示器的復蓋玻璃的時候。
[0009]機器視覺手眼校準的標準技術(例如在以上描述的復蓋玻璃安裝布置時就要求移動一個特殊的校準目標，例如棋盤校準板)可能在操作方面比較麻煩(例如，工作區域的空間約束，特殊安裝固定和/或用于握持目標的抓取裝置)。這就使得自定義校準板和/或固定件的使用成為必需的，會增加成本和安裝時間。
【發明內容】
[0010]通過移動一個典型的(運行時刻)工件(其下面的部件/物體處理裝置，比如一個機器人和/或運動平臺，被設計為在其計劃的、運行時刻制造過程中進行處理)而提供一種用于執行平面的(即2D)手眼校準的系統和方法，本發明克服了先前技術的不足。該系統和方法可在手眼校準中降低對某個特定校準目標的視覺系統的依賴。具體地，示例性實施例通過在臺體運動時察看對于一個物體/工件的一個或多個直線特征保證手眼校準的性能。本系統和方法有望使范圍廣泛的視覺系統應用獲得足夠的校準精度水平。該系統和方法通過工件隨平臺運動期間僅僅察看一個或多個直線特征即可示例性地執行手眼校準，并使用這些特征建立一個坐標系，以便視覺系統作為參照。該系統和方法利用單一的全局(和/或運動)坐標系便可應用于單個或多個相機配置。
[0011]在一個示例性實施例中，提供了一種用于視覺系統(利用具有至少一個特征的所制物體)的平面的(2D)手眼校準的系統和方法。該特征可以是線性特征，并且物體在一運動臺體上至少在一個自由度上以平移或旋轉方式運動。該系統還包括至少一第一視覺系統相機和圖像處理器。該第一視覺系統相機可按多種參數校準，這些參數可以是(或不是)相機本身具有的，以及安排用于獲取所制物體第一線性特征的圖像并響應于運動臺體在至少一個平移自由度上的運動而跟蹤第一線性特征的運動。一處理/處理器識別一個二維(2D)平面上至少兩個不同位置的第一線性特征，并基于至少兩個位置，計算出第一相機像素坐標系中的像素位置與運動坐標系中物理位置間的映射關系。線性特征為一邊緣、一支架和一有明顯對比度差異的區域中的至少一個。可選地，可提供第二視覺系統相機(也可經過校準)。另外，在進一步實施例中，可布置提供可選的視覺系統相機(例如第三個，第四個，等等)。第二視覺系統相機可適當布置以便識別并分別跟蹤所制作物體的至少一個第二線性特征。做為選擇，兩個或更多相機中的每一個(第一相機，第二相機等等)可跟蹤同一個第一(等)特征(例如來自視域的不同點)。運動臺體包括至少一將所制物體沿X軸移動的第一滑道，和一將所制物體沿I軸移動的第二滑道，y軸在2D平面通常大致與X軸正交。運動臺體可包括升降機，所述升降機布置為沿一個與2D平面正交的z軸移動所制物體。該系統可以進一步包括轉臺，可使所制物體至少能繞X軸，y軸和z軸之一旋轉。第一滑道、第二滑道和升降機中至少有一個由包括轉動導螺桿和受控電機的致動器驅動。示例性的旋轉臺體旋轉所制物體。運動臺體可包括導螺桿驅動的滑道和可操作地連接至該導螺桿的受控電機。電機可包括伺服電機或步進電動機中的至少一個。運動臺體包括滑道和可操作地與之相連的受控線性電機。
【附圖說明】
[0012]本發明以下描述參考下列附圖，其中:
[0013]圖1是一個示意圖，表示一個示例性的制造布置，使用了一個或多個機器視覺系統相機和相關的處理部件，用于按照此處圖示的實施例的校準系統和方法；
[0014]圖2是一個含多個視覺系統相機視域的示意圖，每個視域指向一個包括單個線性邊緣特征物體的分立區域；
[0015]圖3是一個過程流程圖，該過程利用附加到一個運動臺體上的運行時刻物體的線性特征執行一個或多個相機的手眼校準；
[0016]圖4是一個示意性的平面圖，說明在一個示例性實施例中用于其視覺系統的一個單軸運動臺體；
[0017]圖5是一個示意性的平面圖，說明在一個示例性實施例中用于其視覺系統的一個帶有旋轉的三軸運動臺體；
[