本發明屬于產品質量檢測技術領域,具體涉及一種基于旋轉不變紋理特征的粉管表面瑕疵分類方法及其分類系統。
背景技術:
在節能燈管的生產過程中,需要用熒光粉均勻地涂在玻璃管壁上,因此熒光粉噴涂質量就直接影響到節能燈的生產合格率。如果在生產過程中,由于機器設備或其他偶然因素造成熒光粉涂層刮擦、噴涂不均勻等瑕疵時,這些次品燈管需要按照不同瑕疵類別進行二次加工。因此燈管表面瑕疵檢測和分類對節能燈的產品質量檢測至關重要。
在對節能燈管表面瑕疵情況進行檢測和分類過程中,能夠準確并且高效地在線實時檢測和分類是十分重要的。然而,由于生產加工過程中產生瑕疵方向的不定性等因素,成品節能燈管的質量檢測成為產品質量自動檢測領域的一個技術難題。
在現有的工藝條件下,節能燈管的瑕疵檢測和分類一般是采用離線人工肉眼進行檢測和分類,根據一些先驗的經驗來確定瑕疵的類別。雖然在一定程度上滿足了需求,但是由于檢測分類效率的低下、自動化程度低、人工檢測易于出錯和出現誤檢等問題,不能夠滿足現代化企業對于瑕疵燈管的檢測和分類的實際需求。
專利號為ZL 201310015434.4的中國發明專利“一種基于機器視覺的U型粉管的檢測方法及其檢測系統”公開了一種通過圖像采集、特征提取、瑕疵判別計算,最終判定被測粉管涂粉質量合格還是不合格,該方法及系統能夠實現U型粉管涂粉效果的實時檢測,但是無法有效判斷瑕疵的不同類別,不能有效地對U型粉管瑕疵進行在線實時的分類。
技術實現要素:
針對現有技術所存在的上述技術缺陷及不足,本發明提供了一種基于旋轉不變紋理特征的燈管表面瑕疵分類方法和系統。
基于上述瑕疵分類方法本發明還提供了一種基于旋轉不變紋理特征的燈管表面質量檢測和瑕疵分類方法和系統。
本發明實現了燈管成品表面瑕疵的實時檢測以及瑕疵類型的區分,檢測效率和分類精度高,提高了節能燈管生產流水線的效率,同時大大降低了檢測人員的勞動強度。
為解決上述技術問題,本發明提供的技術方案分別如下:
一種基于旋轉不變紋理特征的燈管表面瑕疵分類方法,其特征在于,包括如下步驟:
(1)采集各類別瑕疵燈管的瑕疵圖像,按照設定方向,建立樣本庫;該步驟實際操作時,預先收集節能燈管生產公司人工分揀出的節能燈管次品,對次品粉管(燈管)按照瑕疵種類進行人工區分,將粉管瑕疵歸類為幾種典型類別,對各類別瑕疵采集一定數量圖像,并按照設定方向對這些圖像進行旋轉,并保存這些圖片,建立樣本庫;
(2)采集待分類瑕疵燈管的燈管圖像,讀取燈管圖像中包含瑕疵的感興趣區域(ROI,Region of Interesting),截取瑕疵圖像的感興趣區域部分,得到待分類圖像;
(3)在設定角度方向上求取待分類圖像的灰度共生矩陣,同時計算相應設定角度方向上灰度共生矩陣的特征參數,根據所述特征參數判斷出待分類圖像中燈管瑕疵的方向;
(4)根據求得的燈管瑕疵的方向,將待分類圖像進行旋轉校正,使得燈管瑕疵的方向接近設定方向;該步驟中,所述的設定方向一般是指與樣本庫中指定的方向一致,以便于后續的計算和對比;
(5)提取旋轉校正后圖像的LBP(Local Binary Patterns,局部二值模式)特征,并結合該待分類圖像的特征參數,得到待分類圖像的紋理特征矩陣;
(6)根據求得的紋理特征矩陣,計算待分類圖像與各類瑕疵圖像的相似度;
(7)將待分類圖像歸類為相似度最大的一類。
作為優選,步驟(3)中,判斷燈管瑕疵的方向的具體方法如下:
(4-1)在0-180°角度范圍內,以設定大角度間隔△θ1得到若干大角度方向,在得到的大角度方向上分別求取待分類圖像的灰度共生矩陣,并計算該灰度共生矩陣的特征參數,判斷出燈管瑕疵的大致方向范圍;
(4-2)針對判斷出的大致方向范圍,再以設定小角度間隔△θ2細分出相應的多個細分方向,計算出多個細分方向上相應的灰度共生矩陣,并計算該灰度共生矩陣的特征參數,判斷出燈管瑕疵的燈管瑕疵的準確方向范圍。
采用上述方案,先確定大致方向范圍,再在該范圍內細分計算,大大提高了計算的針對性,可進一步提高計算效率。
作為優選,所述△θ1=45°,所述若干大角度方向分別為0°、45°、90°、135°。即,在步驟(4-1)中,計算待分類圖像在0°、45°、90°、135°4個方向的灰度共生矩陣。步驟(4-1)中,根據特征參數得到的符合的要求的角度值定義為大致角度目標值,定義為θ’,所述大致方向范圍=θ’±△θ1。比如,步驟(4-1)中,判斷出大致角度目標值為90°,得到的所述燈管瑕疵的大致方向范圍為45-135°。
作為優選,所述△θ2=15°。即,步驟(4-2)中,利用步驟(4-1)所判斷出的大致方向范圍,再以15°為間隔,細分出6個方向,并計算出6個方向上相應的灰度共生矩陣;計算出6個細分方向上灰度共生矩陣的能量、對比度、同質性、相關性4個參數,并判斷出燈管瑕疵的準確方向范圍。步驟(4-2)中,根據特征參數得到的符合的要求的角度值定義為準確角度目標值,定義為θ”,所述準確方向范圍=θ”±△θ2。比如,步驟(4-2)中,判斷出大致角度目標值為90°,得到的所述燈管瑕疵的準確方向范圍為75-105°。
作為優選,所述特征參數為灰度共生矩陣的能量(Energy)、對比度(Contrast)、同質性(Homogeneity)、相關性(Correlation)的4個參數。
對瑕疵方向進行判斷時,首先計算灰度共生矩陣的能量(Energy)、對比度(Contrast)、同質性(Homogeneity)、相關性(Correlation)4個參數:
其中k為灰度共生矩陣的行數(列數),P(i,j)為圖像在(i,j)處的灰度值,μi,μj,σi,σj計算公式如下:
然后,判斷燈管瑕疵的大致方向可采用公式(10)~(13)中的一個或者多個:
φ1=f(max{Energyθ}) (10)
φ2=f(min{Contrastθ}) (11)
φ3=f(max{Homogeneityθ}) (12)
φ4=f(max{Correlationθ}) (13)
其中函數f(x)是在特征x下所對應的方向,θ為各個方向的角度,正常情況下φ1=φ2=φ3=φ4,取燈管瑕疵大致方向φ=φ1±△θ1=[φiφi+1];
作為優選,所述準確方向為一個角度范圍θ0~θ1,所述旋轉校正時,旋轉的方向為即θ”。
一種基于旋轉不變紋理特征的燈管表面質量檢測和瑕疵分類方法,包括上述任一方案所述的基于旋轉不變紋理特征的燈管表面瑕疵分類方法,其中,步驟(2)替換為:
(2)在線實時采集待檢測燈管的燈管圖像;利用滑動窗口方法檢測上述燈管圖像是否存在瑕疵:若待檢測圖像存在瑕疵,計算出燈管圖像中包含瑕疵的感興趣區域,得到待分類圖像;若不存在瑕疵,則輸出燈管合格;
重復步驟(2)-(7)實現對多個燈管的質量檢測,以及對多個燈管或者一個燈管多個瑕疵的瑕疵分類。
利用上述方案,可實現燈管的實時在線檢測。
本發明還提供一種基于旋轉不變紋理特征的燈管表面瑕疵分類系統,包括:
圖像采集單元,用于采集待分類瑕疵燈管的燈管圖像;
圖像處理單元,用于對所述的燈管圖像進行處理,并計算出瑕疵分類結果;
檢測結果顯示單元,用于顯示圖像處理單元檢測結果;
所述的圖像處理單元對所述的燈管圖像進行處理,并計算出瑕疵分類結果時,具體方法為:
(i)讀取燈管圖像中包含瑕疵的感興趣區域,得到待分類圖像;
(ii)在設定角度方向上求取待分類圖像的灰度共生矩陣,同時計算相應設定角度方向上灰度共生矩陣的特征參數,根據所述特征參數判斷出待分類圖像中燈管瑕疵的方向;
(iii)根據求得的燈管瑕疵的方向,將待分類圖像進行旋轉校正,使得燈管瑕疵的方向接近設定方向;
(iv)提取旋轉校正后圖像的LBP特征,并結合該待分類圖像的特征參數,得到待分類圖像的紋理特征矩陣;
(v)根據求得的紋理特征矩陣,計算待分類圖像與各類瑕疵圖像的相似度;
(vi)將待分類圖像歸類為相似度最大的一類。
本發明提供了一種基于旋轉不變紋理特征的燈管表面質量檢測和瑕疵分類系統,包括:
圖像采集單元,用于實時采集待檢測燈管的燈管圖像;
圖像處理單元,用于對所述的燈管圖像進行處理,并計算出瑕疵分類結果;
檢測結果顯示單元,用于顯示圖像處理單元檢測結果;
所述的圖像處理單元對所述的燈管圖像進行處理,并計算出瑕疵分類結果時,具體方法為:
(i)利用滑動窗口方法檢測上述燈管圖像是否存在瑕疵,若待檢測圖像存在瑕疵,計算出燈管圖像中包含瑕疵的感興趣區域,得到待分類圖像;若不存在瑕疵,則輸出燈管合格;
(ii)在設定角度方向上求取待分類圖像的灰度共生矩陣,同時計算相應設定角度方向上灰度共生矩陣的特征參數,根據所述特征參數判斷出待分類圖像中燈管瑕疵的方向;
(iii)根據求得的燈管瑕疵的方向,將待分類圖像進行旋轉校正,使得燈管瑕疵的方向接近設定方向;
(iv)提取旋轉校正后圖像的LBP特征,并結該待分類圖像的特征參數,得到待分類圖像的紋理特征矩陣;
(v)根據求得的紋理特征矩陣,計算待分類圖像與各類瑕疵圖像的相似度;
(vi)將待分類圖像歸類為相似度最大的一類。
所述的圖像處理單元為工業控制計算機,通過分類算法和軟件編程實現節能燈管表面瑕疵的分類。同時,為便于燈管質量檢測過程的監控,所述圖像處理單元內還可以包括人機界面軟件,用于實時顯示所述的待分類節能燈管瑕疵圖像以及瑕疵分類結果,記錄分類歷史數據,并接收用戶的操作指令對軟件進行參數設定。
針對節能燈管現有的工藝水平和實際環境產生的瑕疵方向不定性問題,本發明充分考慮了對于燈管瑕疵方向的不定性因素,實現了基于旋轉不變紋理特征的節能熒光管粉管瑕疵的分類,并且能夠高效的批量檢測、在線實時分類。
本發明通過高速工業攝像機,配合背光源實時采集流水線上的節能燈管圖像,利用灰度共生矩陣和LBP紋理特征方法,實現對節能燈管產品質量快速分類,具有旋轉不變、連續、實時、精度高的優點;在保證測量精度的前提下大大縮減了相應的檢測成本。
本節能燈管成品質量檢測方法,檢測效率和分類精度高,同時大大降低了檢測人員的勞動強度。
附圖說明
圖1為本發明的節能燈管成品質量檢測和瑕疵分類方法的步驟流程示意圖。
圖2為3×3鄰域的LBP舉例示意圖。
圖3為實施例中具體的待分類瑕疵圖像以及相似度對比圖。
具體實施方式
為了更為具體地描述本發明,下面結合附圖及具體實施方式對本發明的技術方案進行詳細說明。
如圖1所示,一種基于旋轉不變紋理特征的節能燈管成品質量檢測和瑕疵分類方法,包括如下步驟:
(1)預先收集節能燈管生產公司人工分揀出的節能燈管次品,對次品粉管按照瑕疵種類進行人工區分,將粉管瑕疵歸類為幾種典型類別,令各個類別為In,n=1,...,z,z是瑕疵類別數,針對各類別瑕疵采集一定數量瑕疵圖像,將瑕疵圖像的方向旋轉至設定角度(比如水平方向),得到樣本庫圖像,構建樣本庫;
(2)實時采集待檢測的節能燈管的燈管圖像;
(3)利用滑動窗口方法檢測上述燈管圖像是否存在瑕疵,若待檢測圖像存在瑕疵,計算出燈管圖像中包含瑕疵的感興趣區域(ROI,Region of Interesting);若待檢測圖像不存在瑕疵,則燈管為合格品,可對下一個燈管進行檢測;
(4)截取瑕疵燈管圖像的感興趣區域部分(ROI),得到待分類圖像,并計算ROI在0°、45°、90°、135°角度方向上的灰度共生矩陣;
P(i,j)=#{(x1,y1),(x2,y2)∈M×N|f(x1,y1)=i,f(x2,y2)=j} (1)
其中#(x)表示集合x中的元素個數,P(i,j)表示灰度共生矩陣在(i,j)處的灰度值,f(x1,y1)和f(x2,y2)分別表示在(x1,y1)和(x2,y2)處的灰度值;(x1,y1)和(x2,y2)指待分類圖像中的任意兩個點。
(5)分別計算在各個角度方向上灰度共生矩陣的能量(Energy)、對比度(Contrast)、同質性(Homogeneity)、相關性(Correlation)4個特征參數:
其中k為灰度共生矩陣的行數(列數),P(i,j)為圖像在(i,j)處的灰度值,μi,μj,σi,σj計算公式如下:
(6)判斷燈管瑕疵的大致方向:
φ1=f(max{Energyθ}) (10)
φ2=f(min{Contrastθ}) (11)
φ3=f(max{Homogeneityθ}) (12)
φ4=f(max{Correlationθ}) (13)
其中函數f(x)是在特征x下所對應的方向,θ為各個方向的角度,正常情況下φ1=φ2=φ3=φ4,所以判斷時,可選擇式(10)~(13)中一個或多個式子進行判斷,取燈管瑕疵大致方向為:φ=φ1±45°;
(7)根據大致方向φ,在[φiφi+1]區間內,再以15°為間隔,再細分6個方向,并以步驟(6)的方式,判斷出燈管瑕疵的具體方向范圍[ρ1ρ2];
(8)將待檢測的燈管瑕疵圖像順時針旋轉角度(水平方向),進行旋轉校正:
(9)截取旋轉校正圖像的最大內接矩形,計算旋轉校正后每個像素的LBP值,形成LBP特征矩陣:
其中P為采樣點個數,R為采樣半徑,gc為中心像素的灰度值,gp為采樣點的灰度值,如圖2所示(起點為235);
(10)計算待檢測燈管瑕疵的紋理特征矩陣:
C=[k1×M1 k2×M2] (17)
其中k1,k2為特征系數,M1為LBP特征矩陣,M2為旋轉校正前待分類的燈管瑕疵圖像在方向上能量、對比度、同質性、相關性這4個參數組成的特征矩陣;
(11)計算待分類圖像與每一個瑕疵圖像類的相似度:
其中CI(i,j)為預收集瑕疵的紋理特征矩陣;
(12)將待分類圖像歸類為相似度最大的一類:
重復步驟(3)~(12)實現對多個節能燈管的質量檢測和瑕疵分類。
圖3為本發明具體應用在具體的一個瑕疵燈管的檢測和分類結果,圖3中上面的為待分類瑕疵圖像;經過本發明的方法,最終得到該待分類瑕疵圖像與圖3下面的第一個圖像的相似度最大(為0.9161);從瑕疵圖像我們也可以看出,圖3中的待分類圖像與圖3下面第一張圖像屬于同一類瑕疵。這也進一步證明了本實施方式的檢測方法得出的燈管表面瑕疵分類結果具有較高的效率和可靠性,值得信賴。
本燈管瑕疵分類系統包括圖像采集單元、圖像處理單元和分類結果顯示單元。
圖像采集單元,用于實時采集待測節能燈管圖像;可采用工業攝像機、鏡頭和照明光源實現。工業攝像機使用大恒DH-GV400UM黑白1/3英寸CMOS攝像機,全幀曝光掃描方式,分辨率為752×480,幀率可達60幀/秒,輸出接口為USB,鏡頭卡口為C/CS口,體積小巧,易于安裝,能滿足實時檢測要求;鏡頭選用日本Computar的8mm無畸變鏡頭。光源選用緯朗160×160mm面形藍色LED光源,光源控制器選用緯朗VL-LC-11-4CH型號USB光源控制器。
圖像處理單元,用于對所述的節能燈管圖像進行處理,并計算出燈管瑕疵分類結果;圖像處理單元硬件可采用工業控制計算機,核心部分為編寫的計算機軟件。具體工作方式為:
(i)在圖像采集單元采集的節能燈管圖像中,利用滑動窗口方法獲取燈管瑕疵部位;
(ii)通過計算灰度共生矩陣的能量、對比度、同質性、相關性的4個參數,判斷出瑕疵的方向,同時對瑕疵圖像進行旋轉校正;
(iii)計算旋轉校正后圖像的LBP特征,并得到最終紋理特征矩陣;
(iv)計算待分類瑕疵圖像與預收集的各類瑕疵樣本圖像的相似度,最終將待分類圖像歸類為相似度最大的一類。
所述的圖像處理單元通過軟件編程以及上述分類算法實現節能燈管表面瑕疵的分類。同時,為便于燈管質量檢測過程的監控,所述圖像處理單元內還可以包括人機界面軟件,用于實時顯示所述的待分類節能燈管瑕疵圖像以及瑕疵分類結果,記錄分類歷史數據,并接收用戶的操作指令對軟件進行參數設定。實際過程中通過顯示屏顯示。工業控制計算機通過USB數據線連接工業攝像機和光源控制器。工業控制計算機采用研華工業控制計算機,該機采用Intel雙核處理器,主頻3.0GHz,內存2G,硬盤160G,19寸液晶顯示器,滿足工業現場惡劣環境的要求。
檢測結果顯示單元,實際上可選擇與工業控制計算機相連的顯示器,配合編寫的產品瑕疵分類系統監控軟件,可直觀地顯示圖像處理單元分類結果。