本發明涉及圖像特征點檢測領域,特別涉及一種基于特征點和實例分割的微小元器件分選方法。
背景技術:
1、元器件分選具有“批次多,總量小”的特點,人工篩選難度大,因此使用人工智能設備使用圖像識別算法輔助識別,提高分選效率。在圖像識別階段,圖像的質量會極大的影響到目標檢測算法的性能,元器件圖像較小,無法在同一畫面中保持相同的角度,直接檢測會導致識別精度低,速度慢,因此需要將圖像進行切割,使用傳統的二值化方法會受到多方面的影響,因此可以使用實例子分割技術提高圖像分割的精準度和泛化性。一張圖像的角度旋轉等會影響到一個計算機視覺模型精確度的高低,提高模型對于多角度圖像的識別準確率的難度較大,識別模型對于全新未知且旋轉角度未統一的圖像檢測的泛化性不高,導致了識別模型的準確度進一步降低。因此圖像旋轉是亟需解決的問題,通過對于圖像的預處理減少了研發難度和時間。僅需在每一個批次提供一個“模板”圖像用于將該批次的微小元器件使用特征點的方法旋轉至相同角度,提高檢測模型識別的準確度,提升元器件智能分選效率。
技術實現思路
1、本發明的目的在于提供一種基于特征點和實例分割的微小元器件分選方法,以解決航天微小元器件分選過程人工效率低下的問題。
2、為了解決上述技術問題,本發明的技術方案是:提供一種基于特征點和實例分割的微小元器件分選方法,包括如下步驟:
3、s1、獲取元器件圖像;
4、s2、獲取單個元器件的參數;
5、s3、獲取多張單個元器件圖像;
6、s4、計算最大內接矩形與水平線的夾角;
7、s5、旋轉圖像;
8、s6、查找特征關鍵點;
9、s7、計算匹配度;
10、s8、再次旋轉圖像;
11、s9、圖像識別。
12、進一步的,所述步驟s1中,使用兩千萬像素的工業相機拍攝微小元器件,通過設置曝光、增益相機參數獲取清晰的原圖。
13、進一步的,所述步驟s2中,根據圖片識別算法,獲取元器件圖片的長度像素與寬度像素,得到單個元器件的最大外接矩形,得到元器件的中心點坐標。
14、進一步的,所述步驟s3中,通過最大外接矩形框四個角的坐標,在原圖中根據坐標裁剪出多張單個元器件的目標區域圖像,方便后續步驟處理。
15、進一步的,所述步驟s4具體為:
16、在單個元器件的圖像中,通過圖像外觀輪廓算法檢測出最大內接矩形,再根據最右側矩形的邊和水平線計算出夾角。
17、進一步的,所述步驟s5具體為:
18、根據圖像的中心點坐標和圖像與水平線的夾角,使用仿射變換將傾斜的圖像旋轉為和水平線相切的圖像。
19、進一步的,所述步驟s6具體為:
20、對模板圖像和所述步驟s5得到圖像分別使用sift算法獲得各自圖像的特征關鍵點。
21、進一步的,所述步驟s7具體為:
22、對所述步驟s6得到兩組圖像的特征關鍵點的進行匹配,人工設定閾值為0.5,小于0.5的匹配可能性直接刪除,留下大于0.5匹配度的關聯特征點。
23、進一步的,所述步驟s8具體為:
24、對所述步驟s7得到的關聯特征點進行根據四個象限的匹配程度進行計算,得到模板和待測圖像之間的對應關系,最后使用仿射變化旋轉待測圖像,即可得到和模板相似的圖像。
25、進一步的,所述步驟s9具體為:
26、對所述步驟s8得到的圖像使用基于深度學習的計算機視覺圖像識別方法,對元器件圖像表面文字進行檢測,將不是該批次的元器件圖像在原圖中使用醒目的紅框標出,即可進行混批識別,實現智能分選。
27、本發明提供的基于特征點和實例分割的微小元器件分選方法取得的有益效果是:
28、本發明實現了微小元器件的智能識別,其中圖像切割使用實例分割的方法,不僅提高了切割準確率,而且能夠區分元器件的正反面,有利于后續檢測算法的實施。其中圖像旋轉方案減少了繁瑣的標注工作量,提高了后續計算機視覺模型的檢測準確率。使用基于深度學習的計算機視覺圖像識別方法對元器件圖像表面文字進行檢測,對元器件進行智能分選。提高了工作人員的檢測效率,有利于實際的工程應用。
1.一種基于特征點和實例分割的微小元器件分選方法,其特征在于,包括如下步驟:
2.如權利要求1所述的基于特征點和實例分割的微小元器件分選方法,其特征在于,所述步驟s1中,使用兩千萬像素的工業相機拍攝微小元器件,通過設置曝光、增益相機參數獲取清晰的原圖。
3.如權利要求2所述的基于特征點和實例分割的微小元器件分選方法,其特征在于,所述步驟s2中,根據圖片識別算法,獲取元器件圖片的長度像素與寬度像素,得到單個元器件的最大外接矩形,得到元器件的中心點坐標。
4.如權利要求3所述的基于特征點和實例分割的微小元器件分選方法,其特征在于,所述步驟s3中,通過最大外接矩形框四個角的坐標,在原圖中根據坐標裁剪出多張單個元器件的目標區域圖像,方便后續步驟處理。
5.如權利要求4所述的基于特征點和實例分割的微小元器件分選方法,其特征在于,所述步驟s4具體為:
6.如權利要求5所述的基于特征點和實例分割的微小元器件分選方法,其特征在于,所述步驟s5具體為:
7.如權利要求6所述的基于特征點和實例分割的微小元器件分選方法,其特征在于,所述步驟s6具體為:
8.如權利要求7所述的基于特征點和實例分割的微小元器件分選方法,其特征在于,所述步驟s7具體為:
9.如權利要求8所述的基于特征點和實例分割的微小元器件分選方法,其特征在于,所述步驟s8具體為:
10.如權利要求9所述的基于特征點和實例分割的微小元器件分選方法,其特征在于,所述步驟s9具體為: