本發明涉及工業機器人技術領域,更具體的說是涉及一種基于檢測產品特性的圖像處理與檢測系統。
背景技術:
現代工業中,許多產品(如電子與器件、五金器件零部件等)的生產在自動線上完成,各生產環節都涉及到產品的質量檢測,一些企業投入大量人力,采用肉眼檢測的方式來控制產品質量,但由于一些人為因素,產品質量難以保證。為提高檢測效率和保證產品質量,采用機器視覺技術代替人的視覺進行產品質量的自動檢測是解決問題的有效方法。
機器視覺由于可快速獲取大量信息,且易于同設計信息和控制信息進行集成,因此在現代制造生產過程中,機器視覺被廣泛的用于質量檢測、生產控制等。相對于人眼視覺,機器視覺具有很大的優勢和發展前景,因此近年來機器視覺得以迅速發展,其廣泛應用于醫療、工業、農業、軍事、交通等各個領域。
在我國,直到90年代中后期機器視覺技術才逐漸被人們認識和了解,目前,用在制造業中機器視覺仍存在產品質量檢測效率低下的問題,因此難以推廣。
技術實現要素:
針對現有技術存在的不足,本發明的目的在于提供基于檢測產品特性的圖像處理與檢測系統,可以提高產品質量檢測效率。
為實現上述目的,本發明提供了如下技術方案:
一種基于檢測產品特性的圖像處理與檢測系統,包括依次連接的圖像預處理模塊、圖像分割模塊、特征抽取模塊、數據預處理模塊、神經網絡學習模塊以及神經網絡檢測模塊;
所述圖像預處理模塊用于修正原始圖像的灰度級和平滑原始圖像的噪聲;
所述圖像分割模塊用于對修正處理和平滑處理后的圖像進行分割;
所述特征抽取模塊用于對分割后的圖像的灰度進行度量,并產生相應的特征向量;
所述數據預處理模塊用于將特征向量歸一化到0至1之間,并輸入至所述神經網絡學習模塊;
所述神經網絡學習模塊用于根據原始圖像獲取歸一化后的特征向量,并生成相應的輸入網絡模式;
所述神經網絡檢測模塊用于對輸入網絡模式進行識別和分類。
作為一種可實施方式,所述圖像分割模塊用于根據閾值分割法對修正處理和平滑處理后的圖像進行分割;其中,圖像分割模塊先根據修正處理和平滑處理后的圖像選取相應的灰度級閾值,再將修正處理和平滑處理后的圖像中的每個像素灰度和灰度級閾值進行比較,并在像素灰度高于閾值時分配以最大灰度,在像素灰度低于閾值時分配以最小灰度,從而形成相應的二值圖像。
作為一種可實施方式,所述特征抽取模塊用于從二值圖像和原始圖像中抽取相關于灰度信息的特征,并生成相應的矩形區域,然后從矩形區域中提取背景光亮度值和矩形區域光斑的大小,產生相應的特征向量。
作為一種可實施方式,所述數據預處理模塊用于根據s函數將特征向量歸一化到0至1之間,并輸入至所述神經網絡學習模塊;其中,s函數為f(x)=1/(1+e-x)。
作為一種可實施方式,所述神經網絡學習模塊用于根據原始圖像獲取歸一化后的特征向量確定bp神經網絡的最佳結構,其中,確定bp神經網絡的最佳結構的方式為依次確定輸入層節點數、輸出層節點數以及隱含層節點數;再根據確定的輸入層節點數、輸出層節點數以及隱含層節點數生成相應的輸入網絡模式。
作為一種可實施方式,在所述bp神經網絡的最佳結構中,特征向量為4維,輸入層節點數為4個,隱含層節點數估算方法為
其中,nh為最佳隱含層節點數;ni為輸入層節點數;no為輸出層節點數;np為訓練樣本數。
作為一種可實施方式,在所述bp神經網絡的最佳結構中,還根據反向傳播法來產生新的權值和閾值,所述反向傳播法為:
δw(k+1)=(1-mc)·α+mc·δw(k);
δθ(k+1)=(1-mc)·d+mc·δθ(k);
其中,δw為新的權值,δθ為新的閾值,α、d分別為系數,k為訓練次數,mc為動量因子。
作為一種可實施方式,mc為0.95。
本發明相比于現有技術的有益效果在于:
本發明提供了一種基于檢測產品特性的圖像處理與檢測系統,包括圖像預處理模塊、圖像分割模塊、特征抽取模塊、數據預處理模塊、神經網絡學習模塊和神經網絡檢測模塊,其中,預處理模塊采用對環境光強差異下的灰度級修正以及噪聲平滑處理,提高圖像的灰度對比度,實現檢測圖像與模板圖像的匹配;圖像分割模塊采用了閾值分割技術,通過對系統定義感興趣區域aoi進行局部動態閾值分割,使質量檢測區域更具有針對性;特征抽取模塊通過產品質量缺陷種類定義相應算法提取圖像特征向量,提高產品質量檢測效率。
附圖說明
圖1為本發明提供的基于檢測產品特性的圖像處理與檢測系統的框圖。
圖中:100、圖像預處理模塊;200、圖像分割模塊;300、特征抽取模塊;400、數據預處理模塊;500、神經網絡學習模塊;600、神經網絡檢測模塊。
具體實施方式
以下結合附圖,對本發明上述的和另外的技術特征和優點進行清楚、完整地描述,顯然,所描述的實施例僅僅是本發明的部分實施例,而不是全部實施例。
參照圖1,本發明提供了一種基于檢測產品特性的圖像處理與檢測系統,包括依次連接的圖像預處理模塊100、圖像分割模塊200、特征抽取模塊300、數據預處理模塊400、神經網絡學習模塊500以及神經網絡檢測模塊600。其中,預處理模塊采用對環境光強差異下的灰度級修正以及噪聲平滑處理,提高圖像的灰度對比度,實現檢測圖像與模板圖像的匹配;圖像分割模塊200采用了閾值分割技術,通過對系統定義感興趣區域aoi進行局部動態閾值分割,使質量檢測區域更具有針對性;特征抽取模塊300通過產品質量缺陷種類定義相應算法提取圖像特征向量,提高產品質量檢測效率。
以下,對圖像預處理模塊100、圖像分割模塊200、特征抽取模塊300、數據預處理模塊400、神經網絡學習模塊500以及神經網絡檢測模塊600逐個進行說明。
本發明提供的基于檢測產品特性的圖像處理與檢測系統,采用的圖像預處理灰度級修正、平滑噪聲的方法對圖像進行預處理。這一過程由圖像預處理模塊100實現。
本發明提供的基于檢測產品特性的圖像處理與檢測系統,采用閾值分割法對圖像進行分割,首先根據被檢測產品的特征選取一個適當的灰度級門限(閾值),然后將產品圖像中的每個像素灰度和它進行比較,超過門限的重新分配以最大灰度(255),低于門限的分配以最小灰度(0),這樣就能組成一個新的二值圖像,并成功地把對象從背景中顯露出來。這一過程由圖像分割模塊200實現。
本發明提供的基于檢測產品特性的圖像處理與檢測系統,在圖像分割的基礎上對圖像灰度信息進行度量,產生一組特征,把這些特征組合在一起,就形成了特征向量,被檢產品圖像的二值圖及原圖包含的信息量通常很大,不能直接將其提供給bp神經網絡來檢測判斷,因此必須從二值圖及原圖中抽取一些特征,系統定義將包含質量問題可能出現的范圍的矩形區域稱為感興趣區域aoi(areaofinterest,aoi),提取背景光亮度值,aoi光斑的大小,aoi中的最大灰度值和aoi中光斑離背景光的距離4個特征構成bp神經網絡的輸入特征向量。這一過程由特征抽取模塊300實現。
本發明提供的基于檢測產品特性的圖像處理與檢測系統,特征提取模塊獲取的數據采用s函數f(x)=1/(1+e-x)進行歸一化到0至1之間,以便輸入神經網絡處理。這一過程由數據預處理模塊400實現。
本發明提供的基于檢測產品特性的圖像處理與檢測系統,產品質量缺陷種類較多、真缺陷與假缺陷不易區別。因此特征選取需根據具體要求而定。如在玻璃生產中質檢人員根據缺陷的種類和產品需要,常常將玻璃塊(產品)分成兩個階段進行檢查。第一個階段是對單個玻璃缺陷的檢測,其目標是發現玻璃的缺陷,包括:氣泡、夾雜、光畸變、粘錫、劃傷、線道。第二個階段是在第一階段檢測的基礎上對整塊玻璃分級。因此單個缺陷的檢測是分類分級的基礎。質檢員對單個缺陷的大小十分關注,通常以長徑來表示。對氣泡而言即為最大的軸向距離,對不規則的夾雜而言即為核心缺陷曲邊上兩點間的最大距離,而對線性缺陷則指線長度。檢測時必須將長徑計算出來。軟件的神經網絡學習首先要確定bp神經網絡的最佳結構。其中,輸入層節點數取決于輸入特征向量的維數,本系統中輸入特征向量為4維,所輸入層節點數為4個。輸出層節點數一般可等于模式類別數,也可用輸出結點的編碼表示各模式類別。由于產品的質量問題類型一般只有兩種:合格與不合格。因此,可確定輸出層單元數為1,其輸出為0時表示產品合格,輸出為1時表示產品不合格。隱含層節點數目一般與問題的要求、輸入輸出單元的多少及訓練樣本數都有直接的關系,本系統采用隱含層節點數估算方法為:
其中,nh為最佳隱含層節點數;ni為輸入層節點數;no為輸出層節點數;np為訓練樣本數。
本系統采用附加動量法,在每一個權值和閾值的變化上加上一項正比于前次變化量的值,并根據反向傳播法來產生新的權值和閾值,可以避免bp神經網絡在學習過程中陷于局部極小值,加快學習速度。
δw(k+1)=(1-mc)·α+mc·δw(k);
δθ(k+1)=(1-mc)·d+mc·δθ(k);
其中,k為訓練次數;mc為動量因子,一般取0.95左右。
在給定精度要求mse≤104下,bp神經網絡對選取的28個樣本經過503次學習收斂后,將得到的權值和閾值寫入文件保存起來,這是網絡的學習結果。
系統通過對被檢測產品的圖像進行處理來獲取特征向量,此向量作為輸入網絡的新模式。這一過程由神經網絡學習模塊500實現。
本發明提供的基于檢測產品特性的圖像處理與檢測系統,神經網絡檢測就是通過調用bp神經網絡的學習結果來對輸入網絡的新模式進行識別和分類,即對產品圖像特征進行檢測,并輸出檢測結果,最后由執行機對被檢測玻璃瓶作相應處理。
以上所述的具體實施例,對本發明的目的、技術方案和有益效果進行了進一步的詳細說明,應當理解,以上所述僅為本發明的具體實施例而已,并不用于限定本發明的保護范圍。特別指出,對于本領域技術人員來說,凡在本發明的精神和原則之內,所做的任何修改、等同替換、改進等,均應包含在本發明的保護范圍之內。