基板檢查裝置及其參數設定方法和參數設定裝置的制作方法

專利名稱：基板檢查裝置及其參數設定方法和參數設定裝置的制作方法
技術領域：
本發明涉及用于自動生成基板檢查裝置中所使用的參數的技術。
背景技術：
以往，提出了用于檢查安裝了多個電子部件的印刷基板的安裝質量的基板檢查裝置。在這種印刷基板中，將“焊接電子部件的電極部和焊盤時的焊錫凸起的形狀”稱為焊腳，但有時因為電子部件的電極部的潤濕，看似形成有焊腳，實際上電子部件和焊腳并未接觸。從而，為了檢查焊接的良否而需要準確地捕捉由自由曲線構成的焊腳的形狀。
但是，在現有的基板檢查裝置中，由于光源使用了單色單一照明，因此難以對焊腳的三維形狀進行圖像分析。因此，無法判斷焊接的良否，并非是作為基板檢查裝置而經得起實用考驗的裝置。
為了解決這樣的課題，本申請人提出了圖11所示方式的基板檢查裝置(參照專利文獻1)。該方式稱為三色光源色彩增強方式(或簡稱為色彩增強方式)，是通過由多種顏色的光源照射檢查對象而得到焊腳的三維形狀作為偽彩色圖像的技術。
印刷基板的自動檢查的實用化實質上可以說是在該色彩增強方式技術出現之后。特別是在電子部件小型化的目前，難以通過目視來判別焊腳形狀，也可以說如果沒有色彩增強方式的基板檢查裝置，就無法實現基板檢查。
如圖11所示，色彩增強方式的基板檢查裝置具有投光部105，其以不同的入射角對基板110上的檢查對象107照射三原色光；以及攝像部106，其對來自檢查對象107的反射光進行拍攝。該投光部105由具有不同的直徑、并且基于來自控制處理部的控制信號而同時照射紅色光、綠色光、藍色光的三個圓環狀光源111、112、113構成。各光源111、112、113在檢查對象107的正上位置上中心對齊、并且配置在從檢查對象107看為不同的仰角所對應的方向上。
在由這種結構的投光部105照射檢查對象(焊腳)107時，與檢查對象107的表面斜率對應的顏色的光入射到攝像部106中。從而，如圖12所示，在電子部件的焊接良好時/部件脫落時/焊錫不足的狀態時等，根據焊腳的形狀，在攝像圖像的色彩圖案上呈現出明顯的差異。由此，可以容易地對焊腳的三維形狀進行圖像分析，可以準確地判斷電子部件的有無或焊接的良否。
在色彩增強方式的基板檢查裝置中，預先設定表示“應有的良品的顏色”或“應有的次品的顏色”的顏色參數(顏色條件)，從檢查圖像中提取與顏色參數相應的顏色區域，根據該提取出的區域所具有的各種特征量(例如，面積或長度)，進行良否的判斷。因此，需要在實際的檢查之前，設定好檢查中所使用的顏色參數、特征量的類型、用于劃分良品和次品的判斷條件(例如，閾值)等。將該顏色參數、特征量及判斷條件總稱為檢查邏輯或檢查參數，并且，一般將檢查邏輯的設定/調節稱為訓練(teaching)。
為了提高檢查精度，重要的是將顏色參數設定為在良品所示的特征量和次品所示的特征量之間表現出顯著且明確的差異。即，可以說顏色參數的訓練的好壞直接影響檢查精度。
因此，如圖13所示，本申請人提出了用于支持色彩增強方式中的顏色參數設定的工具(參照專利文獻2)。通過該工具，可設定紅、綠、藍的各色相比ROP、GOP、BOP以及明度數據BRT各自的上限值以及下限值，作為顏色參數。在圖13的輸入畫面中設置有用于輸入顏色參數的設定值的顏色參數設定部127和用于顯示根據所設定的各顏色參數提取出的色彩范圍的設定范圍顯示部128。在該設定范圍顯示部128中顯示出表示在預定的明度下得到的所有色彩的調色圖134，操作者設定各顏色條件的上限值、下限值時，在調色圖134上顯示圍住根據所設定的顏色參數而提取出的色彩的確認區域135。此外，如果按下二值化顯示按鈕129，則按照二值圖像顯示出基于當前顏色參數的提取結果。根據該工具，操作者可以在觀察確認區域135或二值圖像的同時進行顏色參數的追加，直到得到適當的提取結果為止。
日本特開平2-78937號公報[專利文獻2]日本特開平9-145633號公報基板檢查裝置具有如下優點，即，關于印刷基板的安裝質量，可高速且準確地一次檢查多個檢查項目。但是，在基板檢查裝置的實際工作時，必須根據個別的檢查對象分別進行檢查邏輯的訓練，將判斷精度充分地提高到沒有次品的漏檢、且將良品判斷為次品的過檢被抑制為允許值(預先假設的值)以下。
對次品的漏檢和過檢進行補充，無論是什么樣的檢查都絕對不允許次品流出。雖然在難以判斷次品和良品的情況下，將良品判斷為次品的做法較好，但是，若過檢增多，則將良品作為次品廢棄的損耗成本增加，或者需要對次品進行重新檢查，導致檢查自動化的優點盡失。
但是，在色彩增強方式的基板檢查裝置中，雖然可進行經得起實際應用考驗的高精度的基板檢查，但另一方面，用于將次品的漏檢和過檢控制到目標值的訓練很難。即使利用了上述的顏色參數設定支持工具，最終顏色參數的追加還是很大程度上取決于操作者的經驗，因此無法避免設定誤差的發生。而且，無論是多么優秀的操作者，都必須嘗試性地反復進行調節，存在效率低且需要較多的勞力和調節時間的問題。
在商品壽命周期的短命化推進的變化激烈的制造環境中，正強烈要求訓練作業的縮減，進而要求訓練的自動化。
并且，根據部件類型的不同，對于每個部件(每個攝像圖像)，應作為檢查對象的部分(例如，焊錫部分、焊盤部分等)的位置會有偏差，在檢查這種部件類型時，還需要進行從圖像中高精度地確定檢查對象區域的處理。例如，在具有鷗翼型引線的部件的情況下，在引線的(圖像上的)長度上具有偏差的情況居多。因此，為了檢查在焊盤上形成的焊腳的形狀等，最初需要從圖像中識別引線部分和焊錫部分之間的邊界，僅提取焊錫部分。
引線的末端部分呈水平，因此，在色彩增強方式的基板檢查裝置中，在引線的末端部分傾向于呈現出紅色(入射角最大的光源的顏色)。另一方面，與引線的末端接近的焊錫部分是傾斜的，因此傾向于呈現出藍色或綠色(入射角小的光源的顏色)。因此，通過檢測它們的顏色分布傾向的不同，可確定引線和焊錫之間的邊界。即，訓練引線部分的顏色和焊錫部分的顏色，取得與它們的顏色條件之間的匹配，由此確定邊界。
但是，現實并不是這么簡單。這是因為，根據部件類型的不同，焊錫部分所呈現出的顏色的傾向各式各樣。
例如，也有可能有焊腳的形狀(傾角)不一樣、在引線的末端附近形成水平面的情況。特別是，在像IC類部件那樣具有多個引線的部件中，引線寬度和引線的排列間隔狹窄，所以焊錫的寬度變窄，在焊腳上形成水平面的可能性增高。圖14示出了3種部件的圖像，可知，在部件類型A中，在引線和焊錫的整個邊界上呈現出藍色系，相對于此，在部件類型B中，僅在邊界的中央部呈現出藍色系，在部件類型C中，僅在邊界的兩側部呈現出藍色系。
這種顏色分布傾向的偏差成為訓練自動化的較大的阻礙因素。并且，不限于確定引線部分和焊錫部分之間的邊界的處理，在確定相鄰的2個部分之間的邊界的大部分的處理中都有可能發生同樣的問題。

發明內容
本發明是鑒于上述實情而提出的，其目的在于提供可自動生成為在圖像中確定相鄰的2個部分之間的邊界而使用的參數的技術。
并且，本發明的另一目的在于提供根據在顏色分布傾向上具有偏差的訓練圖像也可自動生成上述參數的技術。
在本發明中，信息處理裝置(參數設定裝置)首先取得對部件進行拍攝而得到的多個訓練圖像，分別針對所述訓練圖像、對顏色采集區域設定多個圖案，該顏色采集區域由用于采集所述第一部分的顏色的第一區域和用于采集所述第二部分的顏色的第二區域構成。
第一區域、第二區域分別具有預定的形狀和大小。可以將第一部分整體作為第一區域，也可以在第一部分的一部分中設定第一區域。對于第二區域也相同。各圖案的形狀或大小優選根據訓練圖像中的顏色分布的傾向來決定。例如，知道了第二部分的特征性顏色為在第二部分的整體上呈現的情況、僅在第二部分的中央呈現的情況、僅在第二部分的端部呈現的情況3種的情況下，作為第二區域可以準備涵蓋第二部分的整體的圖案、僅涵蓋中央的圖案、以及僅涵蓋端部的圖案這3種。
接著，信息處理裝置關于所述顏色采集區域各自的圖案，將第一區域內的各像素的顏色作為對象點、將第二區域內的各像素的顏色作為排除點，分別映射到色彩空間中。然后，關于所述顏色采集區域各自的圖案，計算所述色彩空間中的對象點分布和排除點分布的分離度，選擇所述分離度為最大的顏色采集區域的圖案。
由此，確定第一區域和第二區域的顏色分布傾向之差最大的圖案的顏色采集區域。
接著，信息處理裝置求出分割所述色彩空間的顏色范圍，使得所述選擇出的圖案中的對象點的數量和排除點的數量之差最大，將所求出的所述顏色范圍設定為在所述基板檢查處理中使用的顏色條件。
由此，自動生成作為參數之一的顏色條件。而且，使用顏色分布傾向之差最顯著地出現的圖案的顏色采集區域來生成該顏色條件，所以可恰當地劃分傾向于在第一部分中呈現的顏色和傾向于在第二部分呈現的顏色。
此處，色彩空間可以是至少由明度、色相、色度的3軸構成的多維色彩空間，然而，例如也可以優選使用由關于如下色相的色度軸和明度軸構成的二維色彩空間，該色相具有大部分包含在第一部分內且幾乎不包含在第二部分內的傾向、或者具有大部分包含在第二部分內且幾乎不包含在第一部分內的傾向。通過采用二維色彩空間，顏色范圍的搜索處理變簡單。而且，在二維色彩空間中，若顏色參數由色度的下限和上限、以及明度的下限和上限構成，則顏色范圍成矩形區域，顏色范圍的搜索處理進一步變簡單。
接著，信息處理裝置分別從所述訓練圖像中提取滿足所述顏色條件的像素區域，通過對這些像素區域所具有的特征量進行統計分析，計算用于判斷所述第一部分和第二部分之間的邊界的條件，將所計算出的所述條件設定為在所述基板檢查處理中使用的判斷條件。由此，自動生成作為參數之一的判斷條件。
此處，作為特征量可以想到像素區域的面積、面積比、長度、最大寬度、重心、形狀、或者它們之間的組合等各種形式。根據應通過檢查而檢測出的對象，采用一個或至少二個優選的特征量即可。
通過信息處理裝置的程序來執行上述各處理。將這樣自動生成的參數(顏色條件和判斷條件)存儲到基板檢查裝置的存儲部中，提供給基板檢查處理。
基板檢查裝置具有投光單元，其以不同的入射角對基板上的安裝部件照射多種顏色的光；邊界確定單元，其為了在對其反射光進行拍攝而得到的圖像中確定基板上的第一部分和與第一部分相鄰的第二部分之間的邊界，從所述圖像中提取滿足規定傾向于在所述第一部分中出現的顏色的預定的顏色條件的區域，對所提取出的區域所具有的特征量與預定的判斷條件進行比較，由此確定所述邊界；以及檢查單元，其基于所述邊界，提取檢查對象區域，對所述檢查對象區域實施檢查處理。通過使用由上述的參數設定裝置生成的顏色條件和判斷條件，可高精度地確定第一部分和第二部分之間的邊界，其結果是，可進行檢查對象區域的合適的設定，提高基板檢查處理的精度以及可靠性。
并且，本發明可作為包括上述處理中的至少一部分的基板檢查裝置的參數設定方法或用于實現這種方法的程序而實現。并且，本發明也可以作為具有執行上述處理的單元中的至少一部分的基板檢查裝置的參數設定裝置或具有這種裝置的基板檢查裝置而實現。上述單元以及處理分別可在可能的范圍內相互進行組合來構成本發明。
根據本發明，根據在顏色分布傾向上具有偏差的訓練圖像也可自動生成用于確定相鄰的2個部分之間的邊界的參數，可實現訓練作業的縮減，進而實現訓練的自動化。


圖1是表示本發明的實施方式的基板檢查系統的硬件結構的圖。
圖2是表示基板檢查裝置的功能結構的圖。
圖3是表示焊腳的形狀和攝像圖案之間的關系的圖。
圖4是表示基板檢查處理的流程的流程圖。
圖5是表示檢查對象區域確定處理的圖。
圖6是表示參數設定裝置的功能結構的圖。
圖7是表示檢查對象區域確定處理用的參數設定處理的流程的流程圖。
圖8是表示顏色采集區域確定處理的圖。
圖9是表示顏色范圍的搜索處理的圖。
圖10是表示第一判斷條件的計算處理的圖。
圖11是表示色彩增強方式的基板檢查裝置的結構的圖。
圖12是表示攝像圖像中所呈現的色彩圖案的一例的圖。
圖13是表示顏色參數的設定支持工具的圖。
圖14是表示因部件類型的不同而導致焊錫部分的顏色分布傾向不同的圖。
具體實施例方式
以下，參照附圖，示例性地詳細說明本發明的優選實施方式。
(基板檢查系統的結構)圖1表示本發明的實施方式的基板檢查系統的硬件結構。
基板檢查系統由執行基板檢查處理的基板檢查裝置1和自動生成在該基板檢查裝置1的基板檢查處理中使用的參數的參數設定裝置2構成。基板檢查裝置1和參數設定裝置2可以經由有線或無線的網絡、或MO或DVD等的記錄介質進行圖像或參數等的電子數據的交接。另外，在本實施方式中，基板檢查裝置1和參數設定裝置2為分體結構，但也可以在基板檢查裝置主體中并入參數設定裝置的功能而成為一體結構。
(基板檢查裝置的結構)基板檢查裝置1是通過色彩增強方式來自動檢查基板20上的安裝部件21的安裝質量(焊接狀態等)的裝置。基板檢查裝置1大體具有X工作臺22、Y工作臺23、投光部24、攝像部25、以及控制處理部26。
X工作臺22以及Y工作臺23分別具有基于來自控制處理部26的控制信號而工作的電機(未圖示)。通過這些電機的驅動，X工作臺22使投光部24以及攝像部25向X軸方向移動，且Y工作臺23使支撐基板20的傳送帶27向Y軸方向移動。
投光部24由三個圓環狀光源28、29、30構成，所述三個圓環狀光源具有不同的直徑，并且基于來自控制處理部26的控制信號，同時照射紅色光、綠色光、藍色光。各光源28、29、30在觀測位置的正上位置上中心對齊、并且配置在從觀測位置看為不同的仰角所對應的方向上。通過這樣的配置，投光部24以不同的入射角對基板20上的安裝部件21照射多種顏色的光(在本實施方式中為R、G、B三色)。
攝像部25為彩色照相機，在觀測位置的正上位置朝向下方定位。由此，由攝像部25拍攝基板表面的反射光，轉換為三原色的顏色信號R、G、B后提供給控制處理部26。
控制處理部26由下述部分構成A/D轉換部33、圖像處理部34、檢查邏輯存儲部35、判斷部36、攝像控制器31、XY工作臺控制器37、存儲器38、控制部(CPU)39、存儲部32、輸入部40、顯示部41、打印機42、以及通信I/F 43等。
A/D轉換部33是輸入來自攝像部25的顏色信號R、G、B而轉換為數字信號的電路。每個色相的數字量的濃淡圖像數據被傳送到存儲器38內的圖像數據存儲區域中。
攝像控制器31是具有連接控制部39與投光部24及攝像部25的接口等的電路，基于控制部39的輸出，進行調節投光部24的各光源28、29、30的光量，或保持攝像部25的各色相光輸出的相互平衡等的控制。
XY工作臺控制器37是具有連接控制部39與X工作臺22及Y工作臺23的接口等的電路，基于控制部39的輸出，控制X工作臺22以及Y工作臺23的驅動。
檢查邏輯存儲部35是存儲基板檢查處理所使用的檢查邏輯的存儲部。通過基板檢查裝置1可以進行檢查焊錫形狀的焊腳檢查或檢查部件脫落的脫落檢查等多種檢查處理。檢查邏輯是針對每種檢查而準備的，由用于從圖像中提取預定的色彩圖案的顏色參數、從該色彩圖案中提取的特征量的類型、以及與該特征量相關的良否的判斷條件等構成。
另外，在檢查邏輯中，有時在主檢查處理之前，執行確定作為其檢查對象的檢查對象區域的處理(檢查對象區域確定處理)。這種檢查邏輯除了具有用于主檢查處理的參數(顏色參數、特征量的類型、判斷條件)之外，還具有檢查對象區域確定處理的參數。作為檢查對象區域確定處理的參數包括用于從圖像中提取預定的色彩圖案(像素區域)的顏色參數(顏色條件)、從該色彩圖案中提取的特征量的類型、以及用于使用該特征量進行區域之間的邊界確定的判斷條件等。
圖像處理部34是執行如下處理的電路從對基板20上的部件21進行拍攝而得到的圖像中提取滿足顏色參數的區域的處理、以及根據所提取出的區域計算預定的特征量的處理。判斷部36是執行如下處理的電路接收由圖像處理部34計算出的特征量，根據該特征量是否滿足預定的判斷條件來判斷部件的焊接狀態的良否，或判斷檢查對象區域的邊界。
輸入部40由輸入操作信息或與基板20相關的數據等所需的鍵盤或鼠標等構成。所輸入的數據提供給控制部39。通信I/F 43用于與參數設定裝置2或其它的外部裝置等之間進行數據的收發。
控制部(CPU)39是執行各種運算處理或控制處理的電路。存儲部32是由硬盤或存儲器構成的存儲裝置，除了存儲由控制部39執行的程序之外，還存儲基板的CAD(Computer Aided Design，計算機輔助設計)信息、基板檢查處理的判斷結果等。
在圖2中示出基板檢查裝置1的功能結構。基板檢查裝置1具有指示信息受理功能10、基板運入功能11、CAD信息讀入功能12、工作臺操作功能13、攝像功能14、檢查邏輯讀入功能15、檢查功能16、判斷結果寫入功能17、以及基板運出功能18。控制部39根據存儲在存儲部32中的程序來控制上述硬件，從而實現這些功能。此外，在存儲部32的內部設置有存儲CAD信息的CAD信息存儲部32a和存儲判斷結果的判斷結果存儲部32b。
(基板檢查處理)接著，敘述上述基板檢查裝置1中的基板檢查處理。此處，作為基板檢查處理的一例，說明焊腳檢查(判斷焊腳的形狀是否良好的檢查)。
如圖3A所示，在良品的焊腳中，從部件21的引線末端到基板20上的焊盤形成了山麓那樣的傾斜面。相對于此，若發生焊錫不足，則傾斜面的面積減小。
利用基板檢查裝置1拍攝這些的焊腳時，分別得到圖3B所示的圖像。紅色、綠色、藍色的照射光以各不相同的角度入射到焊腳上，因此，入射到攝像部25中的反射光的色相與焊腳的傾斜對應地發生變化。即，在傾斜急劇的部分中入射角度最小的藍色光的反射光為主導，相對于此，在幾乎沒有傾斜的部分中紅色光的反射光成為主導。因此，在良品的焊腳中，藍色的色相的區域變大，在次品的焊腳中，藍色以外的色相的區域變大。在本實施方式的焊腳檢查中，利用這樣的色彩圖案的傾向，根據藍色區域的大小(面積)，判斷焊腳的良否。
但是，在圖像中，不只反映了作為檢查對象區域的焊錫部分，還一同反映了部件的引線(電極)。該引線的末端部分(與焊錫相鄰的部分)與基板平行，因此在圖像中呈現紅色系。即，引線部分的顏色容易與不良的焊錫部分的顏色混淆，有可能使焊腳檢查的精度下降。
因此，在本實施方式中，在主檢查之前，進行確定引線部分和焊錫部分之間的邊界而僅提取作為檢查對象的焊錫部分的檢查對象確定處理。下面，沿著圖4的流程圖，依次說明對基板上的安裝部件進行拍攝的處理、檢查對象區域確定處理、以及主檢查處理。
(1)部件拍攝處理指示信息受理功能10處于等待狀態，直到輸入了指示執行基板檢查的指示信息(步驟S100；“否”，步驟S101)為止。通過輸入部40的操作，或通過通信I/F 43從外部設備輸入了指示信息時，指示信息受理功能10將指示信息發送給基板運入功能11、CAD信息讀入功能12以及檢查邏輯讀入功能15(步驟S100；“是”)。在該指示信息中含有作為檢查對象的基板的信息(型號等)。
檢查邏輯讀入功能15從檢查邏輯存儲部35中讀入與基板的型號對應的檢查邏輯(步驟S102)。此處，讀入焊腳檢查用的檢查邏輯。在該檢查邏輯中包含檢查對象區域確定處理用的第一參數集和主檢查處理用的第二參數集。第一參數集包含二值化處理用的第一顏色參數和邊界判斷用的第一判斷條件。第二參數集包含二值化處理用的第二顏色參數和良否判斷用的第二判斷條件。
基板運入功能11基于指示信息，從印刷基板運入部將作為檢查對象的基板20運入到傳送帶27上(步驟S103)，CAD信息讀入功能12從CAD信息存儲部32a中讀入與基板的型號對應的CAD信息(步驟S104)。
接著，工作臺操作功能13根據所讀入的CAD信息而得到基板20的尺寸、形狀、部件的配置等信息，通過XY工作臺控制部37來操作X工作臺22以及Y工作臺23，使得安裝在基板20上的多個部件21依次與觀測位置(攝像位置)對齊(步驟S105)。
另一方面，攝像功能14通過攝像控制器31使投光部24的三個光源28、29、30發光，同時向基板20上照射紅色、綠色、藍色的光。此外，攝像功能14通過攝像控制器31控制攝像部25，與工作臺22、23的操作同步地對基板20上的部件21進行拍攝(步驟S106)。拍攝到的圖像取入到存儲器38中。
(2)檢查對象區域確定處理如圖5A所示，檢查功能16首先通過圖像處理部34來從攝像圖像中提取包括引線和焊錫的部分圖像(步驟S107)。然后，檢查功能16使用第一顏色參數將提取出的部分圖像二值化(步驟S108)。第一顏色參數是規定傾向于在引線部分中呈現出的顏色(紅色系)的顏色條件，由紅色的色度的下限和上限、以及明度的下限和上限的4個值構成。通過二值化處理，由顏色參數定義的顏色范圍內所包含的像素被轉換為白像素，其余的像素被轉換為黑像素。因此，如圖5B所示，在二值化后的圖像中，在引線部分呈現出較大的白像素區域。
接著，檢查功能16通過圖像處理部34來提取白像素區域的特征量(步驟S109)。具體來說，如圖5C所示，檢查功能16提取構成白像素區域的線中、具有大于等于由第一判斷條件規定的寬度(以下稱為“規定寬度”)的長度的線(以下稱為“規定寬度線”)，計算該規定寬度線連續排列幾根(幾個像素)(以下稱為“規定寬度線數”)。
接著，檢查功能16通過比較規定寬度線數和第一判斷條件中所包含的閾值，確定引線部分和焊錫部分之間的邊界(步驟S110)。例如，若作為閾值設定為“5根”，則檢查功能16將白像素區域中、規定寬度線連續排列5根(5個像素)或以上的范圍看作引線部分，將該引線部分的邊緣看作引線和焊錫之間的邊界。
通過以上的處理，可以自動確定相互鄰接的引線部分和焊錫部分之間的邊界，能夠僅提取作為檢查對象的焊錫部分的圖像(檢查對象區域)。
(3)主檢查處理檢查功能16使用第二顏色參數將在檢查對象區域確定處理中提取出的焊錫部分的圖像二值化(步驟S111)。第二顏色參數是規定傾向于在良品的焊錫部分中呈現出的顏色(藍色系)的顏色條件，由藍色的色度的下限和上限、以及明度的下限和上限的4個值構成。如圖5D所示，通過利用該第二顏色參數進行二值化，可將焊錫的藍色系部分提取為白像素區域。
接著，檢查功能16計算白像素區域的面積值，作為該白像素區域的特征量(步驟S112)。而且，將該面積值傳送給判斷部36，由判斷部36對白像素區域的面積值和第二判斷條件的閾值進行比較(步驟S113)。在面積值超過閾值的情況下，判斷為該部件的焊錫安裝質量為良(步驟S114)，在面積值小于等于閾值的情況下，判斷為次品(步驟S115)。
判斷結果寫入功能17將上述判斷結果與位置ID(用于確定部件的信息)一起寫入到判斷結果存儲部32b中(步驟S116)。
對基板20上的所有部件進行檢查之后，基板運出功能18通過印刷基板運送部來運出基板20，結束基板檢查處理(步驟S117)。
根據以上敘述的基板檢查處理，通過二維圖像所呈現的色彩圖案來可靠地掌握焊腳的三維形狀，因此可準確地判斷焊錫安裝質量的良否。而且，在良否判斷時，能夠自動地將可能成為噪聲的引線部分的顏色排除，因此能夠提高判斷精度。
另外，為了實現沒有次品的漏檢、且過檢小于等于允許值的高判斷精度，需要預先根據檢查對象將檢查邏輯的參數設定為最佳的值。在本實施方式中，通過參數設定裝置2自動地進行這些參數的生成(訓練)。以下，詳細說明生成檢查對象區域確定處理用的第一顏色參數和第一判斷條件的處理。
(參數設定裝置的結構)如圖1所示，參數設定裝置2由通用的計算機(信息處理裝置)構成，所述計算機由下述部分作為基本硬件CPU、存儲器、硬盤、I/O控制部、通信I/F、顯示部、信息輸入部(鍵盤或鼠標)等。
圖6表示參數設定裝置2的功能結構。參數設定裝置2具有指示信息受理功能50、訓練圖像讀入功能51、圖像取得功能52、參數設定功能53、映射功能54、圖案選擇功能55、顏色范圍搜索功能56、二值化功能57、判斷條件計算功能58、檢查邏輯生成功能59、以及檢查邏輯寫入功能60。通過把存儲在存儲器或硬盤中的程序讀入到CPU中來執行而實現這些功能。
此外，在硬盤內設有存儲訓練所使用的訓練圖像的訓練圖像DB 61。訓練圖像是通過基板檢查裝置1拍攝到的安裝部件的圖像。優選在生成檢查對象區域確定處理用的參數時，僅將良品樣本的圖像用作為訓練圖像。這是因為，良品的引線和焊錫的顏色分布傾向的差異明顯。另外，為了提高訓練的可靠性，可以準備幾十～幾千個訓練圖像。
(參數設定處理)沿著圖7的流程圖，說明參數設定處理的流程。
指示信息受理功能50處于等待狀態，直到輸入了指示檢查邏輯的自動生成的指示信息為止(步驟S200；“否”，步驟S201)。在從信息輸入部輸入了指示信息時，指示信息受理功能50向訓練圖像讀入功能51傳達指示信息(步驟S200；“是”)。在該指示信息中含有確定作為檢查邏輯生成對象的訓練圖像的信息以及檢查邏輯的類型等。
訓練圖像讀入功能51根據指示信息，從訓練圖像DB 61中讀入與應作成的檢查邏輯對應的多個訓練圖像(步驟S202)。圖8A示出了訓練圖像的一例。
若讀入了訓練圖像，圖像取得功能52分別對訓練圖像大致確定引線部分和焊錫部分(焊盤部分)的位置(步驟S203)。如圖8B所示，圖像取得功能52具有由部件主體窗口70、引線窗口71以及焊盤窗口72構成的模板，一邊放大/縮小這些模板，或錯開相對位置，一邊將各窗口70、71、72與圖像中的部件主體、引線、焊盤對準。對于窗口的對準，例如可以利用模板匹配等的圖像處理方法。另外，可以大體地進行這里的區分(窗口的對準)。
接著，參數設定功能53分別針對訓練圖像設定多個圖案的顏色采集區域(步驟S204)。顏色采集區域由用于采集引線部分的顏色的第一區域和用于采集焊錫部分的顏色的第二區域構成。如圖8C所示，第一區域73配置在引線窗口71中，第二區域74配置在焊盤窗口72中。利用相對于各窗口的相對值來定義第一區域73和第二區域74各自的形狀和大小。在本實施方式中，使用基于1種第一區域和3種第二區域之間的組合的、3種圖案的顏色采集區域。圖案A是從引線和焊錫的整個邊界區域中采集顏色的圖案，圖案B是僅從邊界的中央部采集顏色的圖案，圖案C是僅從邊界的兩側部采集顏色的圖案。
接著，映射功能54分別針對圖案A～C，將第一區域和第二區域的所有像素的顏色映射到顏色直方圖上(步驟S205)。此時，第一區域的像素作為“對象點”，第二區域的像素作為“排除點”，采用相互可區別的形式進行映射。此處，顏色直方圖是指在色彩空間內的各點上記錄了像素頻數(個數)的圖。通過顏色直方圖，能夠分別掌握第一區域、第二區域的像素的顏色分布。另外，這里所說的像素是指圖像的最小分辨率。若由多個像素集中執行映射處理，則發生混色，因此，最好按照每個像素進行處理。
一般，色彩空間至少由色相、色度、明度的多維空間構成。因此，為了準確地掌握像素的顏色分布，優選使用將像素顏色映射到多維顏色空間上的多維顏色直方圖。
但是，在色彩增強方式中，光源使用紅色/藍色，因此焊錫部分(第二區域)傾向于呈現出藍色(這是因為在焊錫表面上產生接近于鏡面反射的反射。)。并且，如上所述，在引線部分(第一區域)中傾向于呈現出紅色。因此，如果目的是決定用于確定引線部分和焊錫部分之間的邊界的顏色參數，則只要考慮一種顏色(例如藍色或紅色)或者二種顏色(例如藍色和紅色)即可。這里，在本實施方式中，選擇藍色作為傾向于在第二區域中包含較多且在第一區域中幾乎不包含的色相，使用將像素的顏色映射到由藍色的色度軸和明度軸構成的二維色彩空間中而得到的二維顏色直方圖。由此，求出顏色參數的最佳解的算法變得極其簡單。另外，也可以使用由紅色(傾向于在第一區域中包含較多且在第二區域中幾乎不包含的色相)的色度軸和明度軸構成的二維色彩空間。
圖8D表示二維顏色直方圖的一例。橫軸表示藍色的色度，正值越大藍色成分越強，負值越大則作為藍色的補色的黃色成分越強。縱軸表示明度，值越大則表示明度越強。直方圖中的白圈(○)表示對象點，黑三角(▲)表示排除點。可知，在對象點和排除點上顏色分布不同，而且各顏色采集區域的每個圖案具有不同的顏色分布傾向。
接著，圖案選擇功能55分別對圖案A～C計算顏色直方圖中的對象點分布和排除點分布之間的分離度(步驟S206)。在本實施方式中，作為分離度，采用對象點的集合與排除點的顏色集合之間的距離，距離越大分離度越大。另外，以往提出了多種計算集合之間的距離的方法。此處，可以利用任意一種方法。例如，可考慮“排除點分布的重心和對象點分布之間的馬氏(Mahalanobis)距離”、“排除點分布與對象點分布的重心間的歐氏(Euclidean)距離”等。并且，也可以利用經驗數值，使用“針對重心之間的距離(為了重視明度值)、對明度軸方向上的距離進行加權”這樣的方法。
而且，圖案選擇功能55選擇分離度最大的圖案作為邊界確定中所使用的顏色采集區域(步驟S207)。根據此處選擇出的顏色采集區域，第一區域(引線部分)和第二區域(焊錫區域)的顏色分布傾向之差最顯著地出現，因此可高精度地判斷引線與焊錫之間的邊界。
接著，顏色范圍搜索功能56根據二維顏色直方圖，搜索將選擇出的圖案中的對象點的顏色分布和排除點的顏色分布最佳地分開的顏色范圍(步驟S208)。在本實施方式中，為了算法的簡化，如圖9A所示，考慮由色度的下限(BInf)和上限(BSup)、以及明度的下限(LInf)和上限(LSup)構成的矩形的顏色范圍。這里應求出的最佳解是盡可能多地包含對象點(○)且幾乎不含有排除點(▲)的顏色范圍。
具體來說，顏色范圍搜索功能56一邊改變BInf、BSup、LInf、LSup各自的值，一邊對各顏色范圍計算頻數合計值E(參照式1)，求出頻數合計值E為最大的顏色范圍。頻數合計值E是表示顏色范圍所包含的對象點的數量(頻數)和排除點的數量(頻數)之差的指標。圖9B表示頻數合計值E為最大的顏色范圍。
E=Σb=BInfBSupΣI=LInfLSup{S(b,1)-R(b,1)}]]>b色度l明度S(b，l)點(b，l)處的對象點的頻數R(b，l)點(b，l)處的排除點的頻數而且，顏色范圍搜索功能56將頻數合計值E為最大的顏色范圍設定為檢查對象區域確定處理用的第一顏色參數(顏色條件)(步驟S209)。這樣，根據本實施方式，可以自動地生成將引線部分的顏色(對象點)和焊錫部分的顏色(排除點)適當地分開的顏色參數。
接著，使用上述顏色參數，執行自動生成檢查對象區域確定處理用的第一判斷條件(規定寬度以及規定寬度線數)的處理。
首先，二值化功能57使用上述第一顏色參數，將各訓練圖像二值化(步驟S210)。通過該二值化處理，由顏色參數定義的顏色范圍內所包含的像素被轉換為白像素，除此之外的像素被轉換為黑像素。圖10A示出了將訓練圖像二值化的結果。可知，在引線部分中呈現出了大塊的白像素區域。利用這樣的二值化圖像時，很容易定量地計算用于識別引線與焊錫之間的邊界的特征量。
如下所述，判斷條件計算功能58通過對所有的訓練圖像的白像素區域所具有的特征量進行統計分析，自動計算用于判斷引線部分和焊錫部分之間的邊界的條件(規定寬度以及規定寬度線數)。
首先，使用步驟S203中的引線部分和焊錫部分的確定結果(模板匹配結果)，確定邊界候選范圍(步驟S211)。具體來說，將以引線窗口71和焊盤窗口72之間的邊界為中心的±α像素的范圍設定為邊界候選范圍(α是任意的數，在本例中設為α＝2)。即，在“真正的邊界位于與模板匹配結果的邊界接近的位置處”這一前提下，通過縮小邊界存在的范圍而簡化邊界搜索處理。
接著，判斷條件計算功能58如下地設定寬度以及線數的搜索范圍(步驟S212)。另外，以相對于引線窗口71的寬度的比例來定義寬度。
寬度Wmin～Wmax(％)(Wmin、Wmax是任意的數，在本例中設定為Wmin＝40％、Wmax＝90％)線數Lmin～Lmax(條)(Lmin、Lmax是任意的數，在本例中設定為Lmin＝1條、Lmax＝5條)然后，判斷條件計算功能58對于各訓練圖像搜索滿足如下條件的矩形，該條件為白像素區域所內包的矩形，且其寬度和線數(長度)包含在上述搜索范圍內，而且，其端部(邊緣)包含在上述邊界候選范圍內(步驟S213)(參照圖10B)。而且，從這些矩形中選擇面積最大的矩形，將該選擇出的矩形的寬度和線數描繪到圖中(步驟S214)(參照圖10C)。
對所有的訓練圖像的描繪結束后，判斷條件計算功能58將描繪最多的寬度和線數設定成作為檢查對象區域確定處理用的第一判斷條件的規定寬度以及規定寬度線數(步驟S215)。
通過以上的處理，自動生成檢查對象區域確定處理所需的所有的參數。
然后，檢查邏輯生成功能59根據第一顏色參數、規定寬度以及規定寬度線數生成檢查邏輯的第一參數集(步驟S216)，檢查邏輯寫入功能60將該第一參數集寫入到基板檢查裝置1的檢查邏輯存儲部35中(步驟S217)。以上，結束了檢查對象區域確定處理用的參數設定處理。
另外，對于主檢查處理用的第二參數集，有通過參數設定裝置2自動生成的情況、以及以手動方式設定的情況。在自動生成的情況下，使用上述第一參數集，從良品和次品的訓練圖像中提取檢查對象區域(焊錫區域)，將良品圖像的檢查對象區域中所包含的像素作為對象點，將次品圖像的檢查對象區域中所包含的像素作為排除點，映射到二維顏色直方圖上，采用與上述相同的方式，生成用于將對象點和排除點分開的第二顏色參數即可。并且，關于第二判斷條件，分別利用第二顏色參數將良品圖像和次品圖像二值化，根據白像素區域的特征量(面積等)的差異，計算用于判斷良/不良的閾值即可。將這樣生成的第二參數集也存儲到檢查邏輯存儲部35中。
根據以上敘述的本實施方式，選擇出引線部分和焊錫部分的顏色分布傾向的差異最顯著地出現的顏色采集區域，因此，根據顏色分布傾向上具有偏差的訓練圖像，也可自動生成為確定引線部分和焊錫部分之間的邊界而使用的參數，可實現訓練作業的縮減、進而實現訓練的自動化。而且，可使用該參數高精度地提取檢查對象區域(焊錫部分)，因此能夠提高基板檢查的精度以及可靠性。
<變形例>
上述實施方式只不過例示了本發明的一個具體例子。本發明的范圍不限于上述實施方式，在其技術思想的范圍內可以進行各種變形。
此外，在上述實施方式中使用了二維的顏色直方圖(色彩空間)，但也可以使用多維(色相、色度、明度)的顏色直方圖。并且，對于二維顏色直方圖，也可以不使用紅色的色度軸，而使用藍色、綠色、黃色等其它色相的色度軸，或不使用色度軸，而使用色相軸。可以根據由基板檢查裝置拍攝到的部件圖像所具有的色彩圖案的傾向來確定顏色直方圖的軸的選擇。
并且，顏色范圍不限于矩形，還可以使用圓形、多邊形、自由曲線圖形等。而且，在顏色直方圖為多維的情況下，顏色范圍也可以是多維形狀。
權利要求
1.一種基板檢查裝置的參數設定方法，自動生成基板檢查處理中所使用的參數，該基板檢查處理為，為了在以不同的入射角對基板上的安裝部件照射多種顏色的光、對其反射光進行拍攝而得到的圖像中，確定基板上的第一部分和與第一部分相鄰的第二部分之間的邊界，從所述圖像中提取滿足規定傾向于在所述第一部分中出現的顏色的預定的顏色條件的區域，對所提取出的區域所具有的特征量與預定的判斷條件進行比較，由此確定所述邊界，在該方法中，包括取得對部件進行拍攝而得到的多個訓練圖像的步驟；分別針對所述訓練圖像、對顏色采集區域設定多個圖案，該顏色采集區域由用于采集所述第一部分的顏色的第一區域和用于采集所述第二部分的顏色的第二區域構成的步驟；關于所述顏色采集區域各自的圖案，將第一區域內的各像素的顏色作為對象點、將第二區域內的各像素的顏色作為排除點，分別映射到色彩空間中的步驟；關于所述顏色采集區域各自的圖案，計算所述色彩空間中的對象點分布和排除點分布的分離度的步驟；選擇所述分離度為最大的顏色采集區域的圖案的步驟；求出分割所述色彩空間的顏色范圍，使得所述選擇出的圖案中的對象點的數量和排除點的數量之差最大的步驟；以及將所求出的所述顏色范圍設定為在所述基板檢查處理中使用的顏色條件的步驟。
2.根據權利要求1所述的基板檢查裝置的參數設定方法，其中，所述色彩空間是至少由關于如下色相的色度軸和明度軸構成的多維色彩空間，該色相具有大部分包含在所述第一部分內且幾乎不包含在所述第二部分內的傾向、或者具有大部分包含在所述第二部分內且幾乎不包含在所述第一部分內的傾向。
3.根據權利要求2所述的基板檢查裝置的參數設定方法，其中，所述顏色條件由色度的下限和上限、以及明度的下限和上限構成。
4.根據權利要求1所述的基板檢查裝置的參數設定方法，其中包括分別從所述訓練圖像中提取滿足所述顏色條件的像素區域的步驟；通過對這些像素區域所具有的特征量進行統計分析，計算用于判斷所述第一部分和第二部分之間的邊界的條件的步驟；以及將所計算出的所述條件設定為在所述基板檢查處理中使用的判斷條件的步驟。
5.一種基板檢查裝置的參數設定裝置，自動生成基板檢查處理中所使用的參數，該基板檢查處理為，為了在以不同的入射角對基板上的安裝部件照射多種顏色的光、對其反射光進行拍攝而得到的圖像中，確定基板上的第一部分和與第一部分相鄰的第二部分之間的邊界，從所述圖像中提取滿足規定傾向于在所述第一部分中出現的顏色的預定的顏色條件的區域，對所提取出的區域所具有的特征量與預定的判斷條件進行比較，由此確定所述邊界，該裝置具有圖像取得單元，其取得對部件進行拍攝而得到的多個訓練圖像；圖案設定單元，其分別針對所述訓練圖像、對顏色采集區域設定多個圖案，該顏色采集區域由用于采集所述第一部分的顏色的第一區域和用于采集所述第二部分的顏色的第二區域構成；映射單元，其關于所述顏色采集區域各自的圖案，將第一區域內的各像素的顏色作為對象點、將第二區域內的各像素的顏色作為排除點，分別映射到色彩空間中；圖案選擇單元，其關于所述顏色采集區域各自的圖案，計算所述色彩空間中的對象點分布和排除點分布的分離度，選擇所述分離度為最大的顏色采集區域的圖案；顏色范圍搜索單元，其求出分割所述色彩空間的顏色范圍，使得所述選擇出的圖案中的對象點的數量和排除點的數量之差最大；以及顏色條件設定單元，其將所求出的所述顏色范圍設定為在所述基板檢查處理中使用的顏色條件。
6.根據權利要求5所述的基板檢查裝置的參數設定裝置，其中，所述色彩空間是至少由關于如下色相的色度軸和明度軸構成的多維色彩空間，該色相具有大部分包含在所述第一部分內且幾乎不包含在所述第二部分內的傾向、或者具有大部分包含在所述第二部分內且幾乎不包含在所述第一部分內的傾向。
7.根據權利要求6所述的基板檢查裝置的參數設定裝置，其中，所述顏色條件由色度的下限和上限、以及明度的下限和上限構成。
8.根據權利要求5所述的基板檢查裝置的參數設定裝置，其中，還具有區域提取單元，其分別從所述訓練圖像中提取滿足所述顏色條件的像素區域；條件確定單元，其通過對這些像素區域所具有的特征量進行統計分析，計算用于判斷所述第一部分和第二部分之間的邊界的條件；以及判斷條件設定單元，其將所計算出的所述條件設定為在所述基板檢查處理中使用的判斷條件。
9.一種基板檢查裝置，具有存儲部，其存儲通過權利要求8所述的參數設定裝置設定的顏色條件和判斷條件；投光單元，其以不同的入射角對基板上的安裝部件照射多種顏色的光；邊界確定單元，其為了在對其反射光進行拍攝而得到的圖像中確定基板上的第一部分和與第一部分相鄰的第二部分之間的邊界，從所述圖像中提取滿足所述顏色條件的區域，對所提取出的區域所具有的特征量與所述判斷條件進行比較，由此確定所述邊界；以及檢查單元，其基于所述邊界，提取檢查對象區域，對所述檢查對象區域實施檢查處理。
全文摘要
本發明提供可自動生成為在圖像中確定相鄰的2個部分之間的邊界而使用的參數的技術。分別針對訓練圖像、對顏色采集區域設定多個圖案，該顏色采集區域由用于采集第一部分的顏色的第一區域和用于采集第二部分的顏色的第二區域構成，關于顏色采集區域各自的圖案，將第一區域內的各像素的顏色作為對象點、將第二區域內的各像素的顏色作為排除點，分別映射到色彩空間中，關于顏色采集區域各自的圖案，計算色彩空間中的對象點分布和排除點分布的分離度，選擇分離度為最大的顏色采集區域的圖案，求出分割色彩空間的顏色范圍，使得所選擇出的圖案中的對象點的數量和排除點的數量之差最大，將所求出的顏色范圍設定為在基板檢查處理中使用的顏色條件。
文檔編號G01R31/309GK1885014SQ20061009312
公開日2006年12月27日 申請日期2006年6月22日 優先權日2005年6月22日
發明者森谷俊洋, 和田洋貴, 大西貴子, 清水敦, 仲島晶 申請人:歐姆龍株式會社