定位帶有已知圖形的基準點的系統和方法
【專利說明】
[0001] 相關申請
[0002] 本申請要求于2013年10月16日提交的，標題為定位具有已知圖形的基準點的美 國臨時申請號61/891，446的權益，其全文通過引用并入本文中。
技術領域
[0003]本發明涉及在圖像化場景中定位圖形的機器視覺系統和方法。
【背景技術】
[0004] 機器視覺系統，又名〃視覺系統〃，在本文中用于在生產環境中執行多種不同的任 務。通常說來，一個視覺系統由一個或者多個具有圖像傳感器（或者〃成像器"）的攝像機 組成，獲取含有生產中目標的場景的灰度或者彩色圖像。對目標圖像進行分析以為用戶提 供數據/信息，并將目標圖像與生產過程相關聯。由圖像生成的數據典型地由視覺系統在 一個或者多個視覺系統處理器中進行處理，這些視覺系統處理器可以是專用的，或在通用 計算機（例如PC、筆記本電腦、平板電腦或智能手機）的一個或多個軟件的一部分中處理。 由視覺系統執行的一些類型的任務可包括，目標和表面的檢查，和/或處于移動中的動作 階段的目標（也稱"工件"）的定位，該定位包括沿一個或多個正交的軸線或以旋轉伺服該 動作階段。
[0005] 工件的對準通常要求對一預定圖形的辨識和定位，該預定圖形可稱為〃基準點〃。 作為對準處理的一部分，在圖像上識別基準點，以及確定其二維（2D)或三維（3D)中的〃姿 態〃。基于對姿態的確定，該工件可對齊以執行一生產操作，例如部件的裝配。
[0006] 通常，基準點的圖形（例如十字架）被訓練入視覺系統，作為其初始設置的一部 分。該訓練基于基準點一個合成的或者實際的成像。應認識到，基準點可以被扭曲。這樣 的扭曲可以是由生成該圖形/基準點的流程導致的。例如，十字架的基準點的印刷可引起 流程變動，其導致該十字架描邊寬度的變化。在十字架和圓的情形中，描邊寬度可改變而圓 的一部分可變平，結果是出現限定橢圓形或樣條線（spline)的邊緣。盡管搜索仿射變換 (affinetransformation)(即一般在2D中的比例變化、旋轉、平移和扭曲）的視覺系統應 用可以相對有效率地識別和定位（確定基準點的姿態）基準點，但結合仿射變換而加入的 扭曲，可使確定基準點姿態的處理更具挑戰和帶來較小的可靠度/效率。
【發明內容】
[0007]本發明克服現有技術的缺陷，提供一種用于確定圖形的姿態的系統和方法，該圖 形為視覺系統所知，該視覺系統以增加效率和可靠性的方式，同時采用仿射變換和形變來 確定圖形的姿態。在一說明性的實施例中，該系統和方法獲取具有基準點的目標圖像。根 據仿射參數的粗略評估、用于仿射自由度〇)〇Fs)的搜索范圍和搜索步長，來指定該基準點 (圖形）。同樣地，其包括具有關聯的DOFs和步長的一個或多個扭曲控制點。該系統和方法 對每一 2D仿射參數的搜索范圍和扭曲控制點的自由度（D0F)進行采樣。對于以上采樣的 每一個組合，該系統和方法變換該粗略指定的基準點，并計算出對應圖像中的變換的基準 點圖形的一匹配度量。該計算的結果是一計分表面。在該計分表面上計算出一組頂點。這 些頂點為圖像中的潛在候選者。然后，說明性地，通過使用爬山法，對每一候選者進行精化， 在該爬山法中，反復地修改對參數的粗略評估，直到匹配度量為最大。在超過一預定（例如 用戶指定的）分數時，返回該候選者的精化表示。一個或多個該精化的表示可指示運行時 圖像中的一個或多個基準點的位置。可替代地，具有最佳分數的一個或多個該精化的表示 可用于對粗略指定的合成的訓練基準點進行精化。該精化的訓練基準點可用于訓練隨后的 運行時姿態測定流程。
[0008] 在一說明性的實施例中，提供了一種利用視覺系統自動確定圖形姿態的系統和方 法，該圖形經歷均勻形變和非線性形變，該系統和方法具有關聯的處理和處理步驟。該系統 和方法采用一相機總成和關聯的視覺系統處理器/進程以獲取包含圖形的目標的圖像。該 系統和方法典型地通過搜索由用戶指定搜索范圍的仿射參數和非直線失真參數，來執行該 圖形的粗略定位，以識別和選擇匹配預定圖形的至少一個圖形候選者。仿射參數和非直線 失真參數對應一個或多個（至少一個）最佳匹配候選者而精化，并生成精化的最佳匹配候 選者的圖形表示。通常在訓練圖形中采用該結果，用于隨后的通過視覺系統的運行時姿態 測定處理。扭曲信息的加入，提高了系統在定位基準點時的穩定性。
[0009] 說明性地，通過一個或多個2D仿射自由度來限定均勻形變，以及通過描邊寬度和 樣條翅曲（splinewarp)中的至少一個來限定非線性形變。執行粗略定位包括，在基于預 定步長的多個步級和搜索范圍上，將相對于預定圖形的至少一個控制點反復地從一標稱位 置移動至多個控制點配置。對于每一控制點配置，該系統和方法可在基于預定步長的多個 步級和對應至少一個D0F的搜索范圍上反復地計算相對于預定圖形的仿射變換。在通過 該系統和方法分析基準點/圖形的各種示例中，該圖形限定：(a)具有正交朝向的臂的十字 架，每一臂限定一描邊寬度和至少一個控制點，該控制點由位于兩臂交叉角的單個點來限 定-其中該控制點位于相對于該臂的預定象限中，從而限定有效的圖形；(b)與該十字架結 合的圓或環，且還包括另一控制點，分別地位于該圓或環的每一邊緣上。
[0010] 在說明性的實施例中，該系統和方法可采用層級分析法，其中基準點/圖形（例如 十字架、具有十字架的圓，或具有十字架的環）按照基于預定層級的處理順序分解為較基 本的分圖形。在該層級分析法中，根據本發明的系統和方法，在基于預定步長的多個步級和 搜索范圍上，將相對于每一較基本的圖形的至少一個控制點，反復地從一標稱位置移動至 多個控制點配置。對于每一控制點配置，該系統和方法還可在基于預定步長的多個步級和 對應至少一個D0F的搜索范圍上反復地計算相對于該較基本的圖形的仿射變換。說明性 地，基準點渲染器將圖形分解為更基本的圖形，以及該層級包括從具有最大周界的圖形至 具有最小周界的圖形的順序。通常本發明的系統和方法使用的步長可基于用戶參數或自動 處理來限定。
[0011] 本發明的系統和方法說明性地計算出對應多個控制點配置和仿射變換組合中的 每一個的分數，并從該計算中提供一計分表面，該計分表面位于由仿射DOFs和控制點DOFs 界定的空間中。然后，本發明的系統和方法在該計分表面上選定一組頂點并精化每一頂點。 該選定和精化可進一步包括對圖像中的圖形表示或圖形的多個實例的定位的組合的一個 或多個最高分數的選定。對分數的計算還可以包括，生成一梯度圖像，并限定沿該梯度圖像 邊緣的探針，且對分數的計算可基于在梯度圖像中的相應位置的探針和內插的梯度值之間 的點積的平均值。另外，通過本發明的系統和方法的對分數的計算可包括，使用爬山法對該 分數進行極大化。通過執行粗略定位以及通過在反復的逐步更精細的步長下對仿射參數和 非直線失真參數的精化，可獲得準點/圖形的子采樣（subsampled)表示，至子像素精度。該 圖形表示用作運行時基準點定位操作和/或合成的基準點圖像模范的生成中的一個或兩 個的模范圖像。本發明的系統和方法可建立圍繞圖形的邊界和相對于該邊界的單元圖形。 說明性地，該圖形表示可用于在視覺系統的運行時操作期間對一個或多個基準點/圖形的 定位，或用于，基于訓練視覺系統工具所用的基準點/圖形圖像來精化一合成的圖形。
【附圖說明】
[0012] 以下參考附圖對本發明進行說明，其中：
[0013] 圖1為根據一說明性的實施例的視覺系統的示意圖，其獲取場景的圖像，該場景 包含動作段和具有示例性的十字架基準點的工件，其中該視覺系統設置為操作一基準點查 找器進程/處理器以定位該示例性的十字架基準點；
[0014] 圖2為示例性的十字架基準點的示意圖，其具有位于示例性的邊界方框內的相對 未扭曲的臂，該示意圖顯示了與圖1的基準點查找器關聯的控制點和相對的圖像軸線的操 作；
[0015] 圖3為示例性的具有變窄的水平臂的十字架基準點的示意圖，其顯示了圖2所述 的控制點的再定位，以適應這樣的臂的描邊寬度的改變；
[0016] 圖4為示例性的具有變窄的垂直臂的十字架基準點的示意圖，其顯示了圖2所述 的控制點的再定位，以適應這樣的臂的描邊寬度的改變；
[0017] 圖5為根據一實施例的示例性的具有十字架基準點的環（內圈和外圈）的示意 圖，其顯示了用于表征圓的額外的控制點；
[0018] 圖6為根據一實施例的不例性的具有十字架基準點的環（內圈和外圈）的不意 圖，其中寬度對比圖5所述的發生了變化，該示意圖顯示了對應三個用于表征圓和十字架 元素的控制點的新的配置；
[0019] 圖7為根據一說明性實施例的系統的整個基準點查找進程的流程圖；
[0020] 圖8為示例性的具有十字架基準點的圓的示意圖，其具有一控制點以控制十字架 的水平臂和垂直臂的寬度；
[0021] 圖9為示例性的具有十字架基準點的菱形的示意圖，其具有一控制點以控制十字 架的水平臂和垂直臂的寬度；
[0022] 圖10為另一示例性的具有十字架基準點的圓的變種，其具有一控制點以控制十 字架的水平臂和垂直臂的寬度，以及具有第二控制點以控制圓的半徑；
[0023] 圖11為一基準點的圖像的示意圖，該基準點由基于一候選圖形的進程生成，其中 對應十字架圖形的控制點位于臂交叉的不正確的象限中，該示意圖顯示了可由查找進程丟 棄的無效