基于顯微鏡以及計算機視覺的微小電子元件定位識別方法
【專利摘要】本發明公開了一種基于顯微鏡以及計算機視覺的微小電子元件定位識別方法，該方法包括以下步驟：使用工業電子CCD攝像頭，連接光學顯微鏡，通過光學顯微鏡對載物臺上的散落的大量電子元件進行拍攝，得到整幅圖片；切割所述整幅圖片，提取出其中的單個電子元件圖片；對切割得到的各單個電子元件圖片進行圖像增強；依據上述步驟三圖像增強的各單個電子元件圖片，實現電子元件識別，重復步驟三、四，直至所有電子元件均完成識別定位。與現有技術相比，本發明能夠極大地提高微小電子元件定位識別的效率，并且識別結果具有極好的穩定性和精度；同時，所使用的圖像增強處理對顯微鏡采集的電子元件圖像有明顯的辨別度提升，能夠幫助識別算法更好地界定邊界。
【專利說明】基于顯微鏡以及計算機視覺的微小電子元件定位識別方法
【技術領域】
[0001]本發明涉及電子元件工業識別技術，特別是涉及一種基于顯微鏡和工業攝像技術的元件定位識別方法。
【背景技術】
[0002]隨著高新技術的發展，尤其是電子產業的飛速發展、質量規格標準化進程加速以及相關質量控制體系的完善，現代電子企業對于電子元件的幾何尺寸和形狀位置的檢測精度、速度和效益提出了越來越高的要求。
[0003]對于電子元件生成廠商，如三星、Intel、京瓷、飛思卡爾等，每天都會產出上千萬數量級的電子元件，而這些元件的良品率是對該電子元件生產線評價的重要標準，同時物理尺寸又是良品率的一個重要參考項。如何對超大量的電子元件更高效、更準確的進行物理識別成為了現代企業質量控制的關鍵環節。
[0004]目前大多數企業仍然在采用傳統的識別方式，也就是人工進行識別的方式，通過千分尺和螺旋測微計進行識別。然而傳統的人工識別有著極大的弊端:
[0005]1、識別效率低下
[0006]現今電子元件多是微小部件，人工拿放尚不易，操作對其的識別更是困難。對于越是尺寸小的電子元件，識別的速度就越慢。經調查，在實際生成過程中，需要進行尺寸識別的最小元件是長400um，寬約200um，高約200um的元件，人工采用螺旋測微器進行識別，每測I個元件，熟練的員工大概需要2分鐘時間，一個人工作8小時每天，全時段高效工作，一天能識別240個此類零件，這樣的數量對于上千萬的電子元件的日產能，質量檢測的效率太過低下。目前大多數廠商的應對方法都是增加人工以及減少抽樣比，然而增加人工必定導致企業成本的迅速增長，減少抽樣比會使得產品的品質得不到保障，所以這是目前大多數電子元件生產廠商面臨的最為嚴峻的問題。
[0007]2、識別過程的人員差異性大，難以將識別標準化
[0008]由于識別效率比較低下，所以通常對于電子元件的尺寸識別都是由大量工作人員進行。同時由于采用的是千分尺以及螺旋測微器此類機械識別工具，操作過程很難進行標準化，每個人對于機械工具擰到位的認知不同，并且很大程度依賴于自己的主管觸覺，這樣的操作方式就導致了同樣的一個元件，同樣的識別工具給不同的工作人員進行識別仍然會出現很大的差異。同時由于電子制造業的工作不穩定性，工作人員經常變動，所以人員識別過程的差異性極大地影響了識別的可靠性。
[0009]3、識別設備容易產生損耗
[0010]傳統識別過程采用的是千分尺以及螺旋測微器這類機械設備，在識別使用過程中，由于每次識別都需要與電子元件進行物理接觸，所以非常容易造成識別工具的磨損，并影響識別結果。目前企業常用的應對方式就是加快識別設備的校準頻率，然而這樣的方式必然影響識別效率，同時也并沒有從根本上解決問題。
[0011]4、識別容易被雜質影響[0012]傳統人工識別方式，識別過程電子元件必定會接觸人手，人手上的雜質非常容易粘到電子元件上，雖然雜質都很微小，但是相對于微小的電子元件來說，這樣的誤差是很嚴重的。同時雜質有在識別過程中粘到識別工具的可能性，這樣將對后續的所有識別都有影響。目前企業產用的解決方案是，定期使用如酒精的液體擦拭識別工具，以保證識別工具的潔凈，然而這樣的方式同樣也會影響識別效率，同時解決不了太大的問題。
[0013]所以，目前對于微小電子元件的高效的、準確的、標準化的識別成為了工業識別領域一個亟待解決的問題，同時也是有著極大應用前景的技術。
[0014]現代視覺理論和技術的發展，不僅在于模擬人眼能完成的功能，更重要的是它能完成人眼所不能勝任的工作，所以計算機視覺識別技術作為當今最新技術，在電子、光學和計算機等技術不斷成熟和完善的基礎上得到了突飛猛進的發展。與計算機視覺側重研究視覺模式識別、視覺理解等內容不同，計算機視覺識別技術重點研究物體的幾何尺寸及物體的位置識別。
[0015]同時，基于計算機 視覺的識別技術有以下幾方面的優勢:
[0016]I)提高效率；使用計算機視覺技術，通常可以在一幅圖像中批量處理多個元件，從而極大提高了效率，并且計算機處理不需要對過小元件進行物理操作，能夠加快操作流程。
[0017]2)消除差異性；機器容易標準化，容易消除不同個體帶來的差異。
[0018]3)無識別損耗；
[0019]4)無需接觸人體，不易受人體雜質影響。
[0020]參考文獻:
[0021][I]Breu H，Gil Jj Kirkpatrick Djet al.Linear time Euclidean distancetransform algorithms [J].Pattern Analysis and Machine Intelligence，IEEETransactions on, 1995，17 (5):529-533.[0022][2] Beucher S.The watershed transformation applied to imagesegmentation[J].SCANNING MICROSCOPY-SUPPLEMENT-，1992:299-299.[0023][3]Zheng-hu Z H U.0ptimized Research on Assembly Quality of MLCC[J].Electronics Process Technology, 2008，6:003.[0024][4]Van der HeijdenF.1mage based measurement systems:object recognitionand parameter estimation [J].1994.[0025][5] Baird H S，Jones S E，Fortune S J.1mage segmentation by shape-directedcovers[C]//Pattern Recognition, 1990.Proceedings.，10th International Conferenceon.1EEE, 1990，1:820-825.[0026][6]Nikolaidis A，Pitas 1.Region-based image watermarking [J].1EEETransactions on image processing, 2001，10 (11): 1726-1740.[0027][7]Wang Jj Mei A.1ndustrial monitoring and controlling system for anintegrated single-chip computer with a linear CCD image sensor [C].NondestructiveEvaluation Techniques for Aging Infrastructures&Manufacturing.1nternationalSociety for Optics and Photonics, 1999:84-92.[0028][8]Sankowski D，Strzecha K，Jezewski S，et al.Computerized device withCCD camera for measurement of surface tension and wetting angle in solid-liquidsystems [C].1nstrumentation and Measurement Technology Conference, 1999.1MTC/99.Proceedings of thel6th IEEE.1EEE, 1999，1:164-168.[0029][9]張業鵬，何濤.機器視覺在工業識別中的應用與研究[J].光學精密工程，2001，9(4):324-329.[0030][10]席斌，錢峰.機器視覺識別系統在工業在線檢測中的應用[J].工業控制計算機，2006，18(11):75-76.[0031][11]李慶利.尺寸識別中的邊緣檢測算法研究[J].計算機識別與控制，2004，12(4):334-337.
【發明內容】
[0032]為了克服上述現有技術存在的問題，本發明提出一種基于顯微鏡以及計算機視覺的微小元件定位識別方法，通過顯微鏡以及工業數字攝像頭獲取待識別工業元件圖像，并使用圖像分割、圖像增強、圖像識別等相應圖像處理方式進行組合，實現全自動大批量的工業元件定位識別。
[0033]本發明提出了一種基于顯微鏡以及計算機視覺的微小電子元件定位識別方法，該方法包括以下步驟:
[0034]步驟一、使用工業電子CXD攝像頭，連接光學顯微鏡，通過光學顯微鏡對載物臺上的散落的大量電子元件進行拍攝，得到整幅圖片；
[0035]步驟二、切割所述整幅圖片，提取出其中的單個電子元件圖片；
[0036]步驟三、對切割得到的各單個電子元件圖片進行圖像增強；
[0037]步驟四、依據上述步驟三圖像增強的各單個電子元件圖片，實現電子元件識別；
[0038]對切割得到的下一單個電子元件重復步驟三、四，直至整幅圖片中所有電子元件均完成識別定位。
[0039]所述步驟二的切割所述整幅圖片，提取出其中的單個電子元件圖片，還包括以下處理:
[0040]對所述的整幅圖片進行二值化操作，得到二值化圖像，進行前景、后景標記；
[0041]對上述的二值化圖像進行距離變換，得到灰度圖像；
[0042]將灰度圖像進行歸一化處理并二值化，得到區域掩碼(Mask)灰度圖像；
[0043]以區域掩碼(Mask)作為分水嶺算法的各初始區域，依據分水嶺算法進行所述整幅圖片切割，最終得到各單個電子元件的位置和輪廓，提取出單個電子元件圖片。
[0044]所述步驟三的對切割得到的各單個電子元件圖片進行圖像增強，還包括以下處理:
[0045]獲取某單個電子元件圖片，計算其灰度直方圖；
[0046]記錄下其主要集中分布區間，即找到直方圖中灰度集中部分的最小點與最大點，分別為Si與IDi ;
[0047]將單個電子元件圖片進行灰度壓縮，將主要分布區間以外的灰度值都設置成相應的主要分布區間邊界；即遍歷所有像素點，對于灰度值小于％的將其灰度值設置為％，對于灰度值大于h的將其灰度值設置為bi;以此將原灰度0-255的變化空間，壓縮至a1-bi的空間中；
[0048]歸一化圖像，進行灰度空間拉伸恢復，使得圖像的灰度空間再度擴充到0-255之間，增強電子元件的邊緣圖像細節，使得邊緣部分的灰度變化更加細致，具階梯化。
[0049]所述步驟四的對經圖像增強的各單個電子元件圖片，實現電子元件識別，還包括以下處理:
[0050]對經圖像增強的各單個電子元件圖片從圖像中點進行漫水填充，使得圖像變成電子元件為前景，其余為背景的二值圖像；
[0051]使用連通區域標記，尋找最大連通區域，也就是電子元件的所在；
[0052]使用最小面積外包絡矩形算法計算出電子元件的長與寬。
[0053]與現有技術相比，本發明的實驗結果標明:提出的圖像增強方法對顯微鏡采集的電子元件圖像有明顯的辨別度提升，能夠幫助識別算法更好地界定邊界。同時本發明的整套識別框架能夠極大地提高微小元件的識別效率，并且識別結果具有極好的穩定性和精度。
【專利附圖】
【附圖說明】
[0054]圖1為本發明的基于顯微鏡以及計算機視覺的微小元件定位識別方法整體流程圖；
[0055]圖2為本發明的實施例的識別設備結構示意框圖；
[0056]圖3為微小元件切割標記流程圖；
[0057]圖4為微小元件切割標記示例效果圖；
[0058]圖5為對微小元件邊緣圖像增強示例效果圖；
[0059]圖6為多尺寸MLCC識別，與人工識別對比圖。
【具體實施方式】
[0060]首先，使用工業電子CXD攝像頭，連接光學顯微鏡采集系統，由測試人員在PC端控制攝像頭拍攝包括散落在顯微鏡的載物臺上的電子元件的整幅圖片；之后，通過圖像分割算法(距離變換和分水嶺分割的方法)將元件輪廓提取分割出來；然后，通過對圖像進行灰度空間壓縮以及歸一化操作增加圖片，加強邊緣灰度變化細節；最后，將加強的圖片使用漫水填充以及最小包圍矩形算法識別電子元件的長和寬的物理信息，將單個元件定位并把其圖像片段提取出來，使用自主創新的方法對圖片進行增強，最后進行圖像識別。
[0061]下面將結合附圖對本發明【具體實施方式】作進一步地詳細描述。
[0062]第一步:架設光學顯微鏡，由測試人員在PC端控制工業電子CXD攝像頭通過光學顯微鏡對載物臺上的散落的大量電子元件的進行拍攝，得到整幅圖片I，將圖片I傳輸到計算機上。
[0063]在電子元件散落過程，如果采用人工擺放的方式將每個元件放置到預先設置的位置，達到某給定區域僅有此一元件，這樣的擺放方式將極大方便后繼的圖像處理識別過程，然而這樣的擺放方式極度耗時耗力，嚴重影響識別的效率。所以，本發明的解決方案僅需要測試工作人員隨意灑落在顯微鏡的載物臺上(沒有遮擋即可)，并通過圖片切割的處理方法將單個元件提取出來。[0064]第二步:切割圖片，對單個電子元件進行定位和提取。
[0065]2.1、對圖片I選擇合適閾值或者采用自適應閾值進行二值化操作，得到二值化圖像圖片Ibin，進行前景、后景標記；
[0066]2.2、對二值化圖像Ibin進行距離變換，得到灰度圖像Idistancs ；
[0067]將前景的每個像素到其最近的后景像素的距離記錄下來，用此距離作為結果圖片的距離變換值
[0068]D(p) = min{d(p, q) | q e Q}
[0069]其中p表示前景的某一點，D(p)表示該點在結果圖片的值，Q表示背景的所有點，q e Q表示對背景的所有點進行遍歷，d(p，q)表示兩像素的距離。
[0070]2.3、將灰度圖像Idistams歸一化并二值化，得到區域掩碼(Mask)灰度圖像Imask ;通過標記確定好切割區域邊界的連通區域，另一方面，將各不連通區域用不同的標號和背景標記出來，得到一個標記好不同區域掩碼(Mask)。
[0071]2.4、進行分水嶺分割，標記各區域，并提取相應的小圖片集合{IJ。
[0072]上述切割圖片的處理方法主要可以描述為以下幾個步驟:
[0073](I)對圖片進行距離變換；首先對圖片的圖像選擇合適閾值或者采用自適應閾值進行二值化操作，得到的二值圖像進行前景、后景標記，距離變換就是將前景的每個像素到其最近的后景像素的距離記錄下來，用此距離作為結果圖片的距離變換值。
[0074]D(p) = min{d(p, q) | q e Q}
[0075]其中p表示前景的某一點，D(p)表示該點在結果圖片的值，Q表示背景的所有點，q e Q表示對背景的所有點進行遍歷，d(p，q)表示兩像素的距離；(請補充Q表示的含義)。
[0076](2)、確定切割區域邊界；對得到的圖片的距離變換值D(p)進行歸一化處理，然后通過選擇合適閾值或者采用自適應閾值確定切割區域邊界(也是采用二值化處理)。
[0077](3)、做切割區域標記；通過連通區域標記方式，將確定好切割區域邊界的各不連通區域用不同的標號標記出來，同時也將背景標記出來，此時將得到一個標記好不同區域掩碼(Mask)。
[0078](4)、使用分水嶺算法進行圖像切割；通過步驟(2)得到的掩碼(Mask)作為分水嶺算法的各初始區域，進行基于模擬浸水(Flooding)的分水嶺切割，將得到最終各電子元件的位置，以及可提取出單個元件圖片。
[0079]正如現有技術的記載:在該算法中，可將灰度圖看做是地勢圖，也可叫做等高線圖，每個像素的灰度值就可以看做該地點的高度。基于模擬浸水(Flooding)的分水嶺切割設想此地形中的最低點(種子點)即盆地，當水從盆地底不斷的浸入其中，則該地形由谷底向上將逐漸的被淹沒，當兩個集水盆地的水將要匯合時，可在匯合處建立堤壩，直到整個地形都被淹沒，從而就得到了各個堤壩(分水嶺)和一個個被堤壩分開的盆地(目標物體)。分水嶺算法的優點在于它可以得到單一像素寬度的連續的邊界，能檢測出圖像中粘連物體的微弱的邊緣。
[0080]基于模擬浸水(Flooding)的分水嶺變換算法分為3步:
[0081]a)按灰度值的遞增順序給像素排序并存儲，以便于直接快速訪問相關像素；
[0082]b)使用區域掩碼(Mask)作為各目標物體的已有區域，并分別賦予相應的不同的盆地標號；[0083]c)模擬浸水(Flooding)過程，步驟如下:①設置閾值h，對于所有未被標記的灰度值為h+Ι的像素，尋找其四連通區域像素，如其中有I個像素具有盆地標號，則將該灰度值為h+Ι的像素標記為對應的盆地標號，如果其中2個或以上的像素具有盆地標號，則將灰度值為h+Ι的像素標記為分水嶺(也就是物體邊界)，如果沒有盆地標號則先不處理；②接著對h+2的像素進行如①的掃描過程，直到達到圖像的最高灰度值，循環處理；③如果尚有沒標記的像素，則將該像素設置為閾值，再進行①，②，③的處理。
[0084]第三步:對切割得到的各單個電子元件圖片進行圖像增強:
[0085]3.1、獲取某單個元件圖片Ii，計算其灰度直方圖1iisti ；
[0086]3.2、記錄下其主要集中分布區間，即找到直方圖中灰度集中部分的最小點與最大點，分別為Si與IDi ;
[0087]3.3、將單個元件圖片進行灰度壓縮，將主要分布區間以外的灰度值都設置成相應的主要分布區間邊界；即遍歷所有像素點，對于灰度值小于％的將其灰度值設置為％，對于灰度值大于h的將其灰度值設置為bi;以此將原灰度0-255的變化空間，壓縮至a1-bi的空間中；
[0088]3.4、歸一化圖像，進行灰度空間拉伸恢復，使得圖像的灰度空間再度擴充到0-255之間，增強電子元件的邊緣圖像細節，使得邊緣部分的灰度變化更加細致，具階梯化。
[0089]未經過圖像增強的單個電子元件圖片邊緣信息很模糊，如果直接將其應用到圖像識別中將對識別結果的準確性產生不良影響，同時也易造成識別結果的不穩定。所以，本解決方案在測試了大量圖像增強，邊緣定位，以及亞像素邊緣提取等方案后，因此上述圖像增強是本發明自主創新的一種應用于電子元件識別效果很好的圖像增強方法。
[0090]第四步:對單個元件圖片進行圖像識別:
[0091]4.1、對上述已經增強處理的電子元件圖片從圖像中點進行漫水填充，使得圖像變成元件為前景，其余為背景的二值圖像；
[0092]4.2、使用連通區域標記，尋找最大連通區域，也就是元件的所在；
[0093]4.3、使用最小面積外包絡矩形算法計算出電子元件的長與寬。
[0094]實施效果驗證，包括以下兩個方面的驗證結果:
[0095]與人工識別結果準確性比對驗證:
[0096]使用對比試驗的方法驗證本發明的識別準確性。隨機各挑選出20個0402，0603以及1005尺寸的MLCC電子元件，將電子元件編號保存。第一組使用本發明的方法進行識另O，并記錄下識別結果以及相應編號；第二組將同一批電子元件采用人工進行識別，讓同一熟練工人使用全新識別設備進行識別，并且每次識別完一個零件均使用酒精清洗識別設備以保證測試準確性。
[0097]最終結果表明，本發明的識別結果與人工相比較，0402元件在±4um之間，0603元件在±5um之間，1005元件在±6um之間。具有很高的準確性。
[0098]表1:對于MLCC的0402尺寸多個元件識別，與人工識別準確度對比表
[0099]
【權利要求】
1.一種基于顯微鏡以及計算機視覺的微小電子元件定位識別方法，其特征在于，該方法包括以下步驟: 步驟一、使用工業電子CXD攝像頭，連接光學顯微鏡，通過光學顯微鏡對載物臺上的散落的大量電子元件進行拍攝，得到整幅圖片； 步驟二、切割所述整幅圖片，提取出其中的單個電子元件圖片； 步驟三、對切割得到的單個電子元件圖片進行圖像增強； 步驟四、依據上述步驟三圖像增強的單個電子元件圖片，實現電子元件識別， 對切割得到的下一單個電子元件重復步驟三、四，直至整幅圖片中所有電子元件均完成識別定位。
2.如權利要求1所述的基于顯微鏡以及計算機視覺的微小電子元件定位識別方法，其特征在于，所述步驟二的切割所述整幅圖片，提取出其中的單個電子元件圖片，還包括以下處理: 對所述的整幅圖片進行二值化操作，得到二值化圖像，進行前景、后景標記； 對上述的二值化圖像進行距離變換，得到灰度圖像； 將灰度圖像進行歸一化處理并二值化，得到區域掩碼灰度圖像； 以區域掩碼作為分水嶺算法的各初始區域，依據分水嶺算法進行所述整幅圖片切割，最終得到各單個電子元件的位置和輪廓，提取出單個電子元件圖片。
3.如權利要求1所述的基于顯微鏡以及計算機視覺的微小電子元件定位識別方法，其特征在于，所述步驟三的對切割得到的各單個電子元件圖片進行圖像增強，還包括以下處理: 獲取某單個電子元件圖片，計算其灰度直方圖； 記錄下其主要集中分布區間，即找到直方圖中灰度集中部分的最小點與最大點，分別為Si與IDi ; 將單個電子元件圖片進行灰度壓縮，將主要分布區間以外的灰度值都設置成相應的主要分布區間邊界；即遍歷所有像素點，對于灰度值小于％的將其灰度值設置為ai;對于灰度值大于4的將其灰度值設置為bi;以此將原灰度0-255的變化空間，壓縮至a1-bi的空間中； 歸一化圖像，進行灰度空間拉伸恢復，使得圖像的灰度空間再度擴充到0-255之間，增強電子元件的邊緣圖像細節，使得邊緣部分的灰度變化更加細致，具階梯化。
4.如權利要求1所述的基于顯微鏡以及計算機視覺的微小電子元件定位識別方法，其特征在于，所述步驟四的對經圖像增強的各單個電子元件圖片，實現電子元件識別，還包括以下處理: 對經圖像增強的各單個電子元件圖片從圖像中點進行漫水填充，使得圖像變成電子元件為前景，其余為背景的二值圖像； 使用連通區域標記，尋找最大連通區域，也就是電子元件的所在； 使用最小面積外包絡矩形算法計算出電子元件的長與寬。
【文檔編號】G01B11/00GK103994718SQ201410232006
【公開日】2014年8月20日 申請日期:2014年5月27日 優先權日:2014年5月27日
【發明者】王建榮, 楊亞龍 申請人:天津大學