一種改進的藥液異物圖像局部特征匹配方法
【專利摘要】本發明公開了一種改進的藥液異物圖像局部特征匹配方法，利用改進的特征匹配算法尋找特征點，并利用特征點之間的漢明距離來進行序列圖像中待檢藥品圖像的匹配，計算幀間圖像的偏差，并對位移的偏差進行補償，彌補機械電氣所造成的圖像偏差，提高異物檢測準確率；由于特征匹配算法的定位精確至亞像素級，補償的精確度理論上也可達到亞像素級；本發明所述的方法實時性高，對480*1280分辨率圖像的處理可達到80ms，遠高于目前擁有的算法。相較于現有人工方法，該方法具有檢測精度高、速度快、重復性好等優勢，滿足現有生產線實時在線檢測的需求，穩定可靠。
【專利說明】
-種改進的藥液異物圖像局部特征匹配方法
技術領域
[0001] 本發明屬于圖像識別領域，特別設及一種改進的藥液異物圖像局部特征匹配方 法。
【背景技術】
[0002] 藥品灌裝質量檢測是制藥過程的一個重要環節，是藥品質量安全的可靠保證。在 灌裝過程中，藥液會出現玻璃碎屑、侶屑、橡皮屑、毛發、纖維等可見異物，當異物隨藥液注 入人體血液后，可能導致循環障礙，或者因組織缺氧、靜脈炎、水腫等嚴重后果。目前，醫藥 生產企業對注射液的檢測方式多為人工檢測，要求工作人員在暗室中進行，配備簡單的檢 測燈箱，在異物檢測時手持待檢測藥品輕輕翻轉，通過目視檢測異物，此方法存在操作繁 瑣、檢查速度慢，檢查人員長時間檢測后眼睛容易疲勞，影響檢測結果，而且人工燈檢易造 成二次污染，存在效率低、可靠性差、質量安全得不到保障等諸多缺點，智能燈檢機代替人 工暗室檢測藥液異物已成為主流趨勢。
[0003] 智能燈檢機主要采用序列圖像的帖間差分算法來實現對藥液中異物的識別與跟 蹤。但由于機器構件存在安裝間隙或外力導致的抖動、機械電氣系統的跟蹤誤差或伺服電 機的不同步，CCD工業相機所拍取的序列圖像會在水平方向和豎直方向產生偏差，因而導致 在序列圖像差分時產生許多錯誤的特征，造成圖像提取運動異物失敗，異物識別與檢測無 法正常完成，增加了錯誤剔除率。
【發明內容】
[0004] 本發明提供了一種改進的藥液異物圖像局部特征匹配方法，其目的在于，通過改 進的特征匹配算法來進行序列圖像中待檢藥品圖像的匹配，計算帖間圖像的偏差，并對位 移的偏差進行補償，，能彌補機械電氣所造成的圖像偏差，提高異物檢測準確率。
[0005] -種改進的藥液異物圖像局部特征匹配方法，包括W下步驟：
[0006] 步驟1:連續采集P張生產線上同一藥瓶的序列圖像；
[0007] 步驟2:利用AGAST算法檢測序列圖像每帖圖像中的特征點；
[000引步驟3:利用采樣模板在步驟2所得的每個特征點周圍確定n個采樣點；
[0009] 步驟4:利用每個特征點對應的采樣點中任意兩個采樣點的灰度值進行比較，按設 定的比較準則定義采樣點對對應的二進制描述符值，獲得每個特征點的IXCn2維的描述符；
[0010] 由于智能燈檢機在序列圖像上只會產生水平方向和豎直方向的偏差，故省去了描 述子旋轉方向上的賦值，提高了算法的運算速度；
[0011] 步驟5: W第一帖為參考帖，分別計算當前帖與參考帖兩帖圖像中任意兩個特征點 的描述符之間的漢明距離，W符合設定漢明距離闊值范圍的漢明距離對應的特征點對作為 兩帖圖像的匹配點對；
[0012] 步驟6:利用每對匹配點對在對應圖像中的像素坐標差值的平均值作為當前帖圖 像與參考帖圖像之間的位移偏差；
[0013] 步驟7:利用步驟6得到的位移偏差對當前帖圖像進行位移偏差補償，從而完成序 列圖像的匹配。
[0014] 所述利用AGAST算法檢測序列圖像每帖圖像中的特征點的具體過程如下：
[0015] 步驟2.1:依次W圖像中每個像素作為圓屯、P，半徑為3像素，構建圓區域；
[0016] 步驟2.2:在每個圓周上連續選取16個像素X;
[0017] 步驟2.3: -個像素 X關于它的核P的狀態表示為被分配如下：
[001 引
[0019] 其中，S'表示像素 X的前一個狀態，I表示像素的灰度值，U表示狀態仍然未知，t 為設定的灰度闊值；
[0020] 一個像素 X關于它的核P的狀態分別有"更脖'記作d、"相似"記作S、"更亮"記作b、 "沒有更亮"記作*和"沒有更暗"記作之五種狀態；
[0021] 步驟2.4:統計圖像中所有像素點的不同狀態概率，從而獲得圖像中像素點五種狀 態的概率分布，采用逆向歸納法對概率分布構建最優二叉決策樹，選出候選特征點；
[0022] 步驟2.5:利用非極大值抑制的方法從候選特征點中選取最終特征點，用于步驟3 的處理。
[0023] 所述采樣模板是指W步驟2所得的特征點為圓屯、，分別WS，％，3S，4S，5S為半徑做 同屯、圓，再W過圓屯、的水平軸為基線;分別順時針，逆時針旋轉60度，生成3根軸線；W軸線 與同屯、圓形成的交點所在同屯、圓組中的位置形成的采樣模板；
[0024] 所述采樣點是指將采樣模板的圓屯、與特征點重合放置，特征點周圍的像素與采樣 模板重合的點，且包含特征點本身。
[00巧]利用每帖圖像中所有特征點的IxQ維描述符構建每帖圖像的描述符矩陣D，對每 帖圖像的描述符矩陣D進行降維處理，取描述符矩陣D的前256列，確定每帖圖像中每個特征 點的描述符為IX 256維。
[00%] 所述降維處理的具體步驟如下：
[0027]步驟A:計算描述符矩陣D的每一列的均值R"
[002引步驟B:計算每一列均值Rj與0.5的差的絕對值Sj= Ir廣0.5I ;
[0029] 步驟。按&從小到大的順序，對描述符矩陣D的各列進行排序；
[0030] 步驟D:選取前256列作為每帖圖像的最終的描述符矩陣。
[0031] 所述利用每個特征點對應的采樣點中任意兩個采樣點的灰度值進行比較，按設定 的比較準則定義采樣點對對應的二進制描述符值是指，根據W下公式確定采樣點對的二進 制描述符值
[0032]
[0033] 其中，依次W每個采樣點為基點，分別于其他采樣點作對比，P(X)和p(y)分別表示 基點與對比點的灰度值，不取重復點對。
[0034] 有益效果
[0035] 本發明提供了一種改進的藥液異物圖像局部特征匹配方法，利用改進的特征匹配 算法尋找特征點，并利用特征點之間的漢明距離來進行序列圖像中待檢藥品圖像的匹配， 計算帖間圖像的偏差，并對位移的偏差進行補償，彌補機械電氣所造成的圖像偏差，提高異 物檢測準確率；由于特征匹配算法的定位精確至亞像素級，補償的精確度理論上也可達到 亞像素級;本發明所述的方法實時性高，對480*1280分辨率圖像的處理可達到80ms，遠高于 目前擁有的算法。相較于現有人工方法，該方法具有檢測精度高、速度快、重復性好等優勢， 滿足現有生產線實時在線檢測的需求，穩定可靠。
【附圖說明】
[0036] 圖1為待檢測點與周圍的像素及其編號；
[0037] 圖2為本發明所采用的采樣模板示意圖；
[0038] 圖3為本發明所述方法的流程圖；
[0039] 圖4為利用本發明所述方法得到的匹配結果示意圖；
[0040] 圖5為圖4對應的匹配結果數據圖。
【具體實施方式】
[0041 ]下面將結合附圖和實施例對本發明做進一步的說明。
[0042] 如圖3所示，一種改進的藥液異物圖像局部特征匹配方法，包括W下步驟：
[0043] 步驟1:利用智能燈檢機中的CCD工業相機連續采集裝有藥液的藥瓶4-8張序列圖 像，其中CCD與藥瓶同步運動，跟蹤拍攝序列圖像；
[0044] 步驟2:對步驟1所采集的序列圖像，W第一帖圖像為參考帖，其他帖分別作為當前 帖與參考帖進行匹配，利用AGAST(Adaptive and Generic Accelerated Se卵ent Test,自 適應通用加速分割檢測)算法檢測當前帖與參考帖特征點；
[0045] 具體過程如下：
[0046] 步驟2.1:依次W圖像中每個像素作為圓屯、P，半徑為3像素，構建圓區域；
[0047] 步驟2.2:在每個圓周上連續選取16個像素X，依次編號為1-16，如圖1所示；
[004引步驟2.3: -個像素X關于它的核P的狀態表示為被分配如下：
[0049]
[0050] 其中，表示像素X的前一個狀態，I表示像素的灰度值，U表示狀態仍然未知，t 為設定的灰度闊值；
[0051] -個像素X關于它的核P的狀態分別有"更暗"記作d、"相似"記作S、"更亮"記作b、 "沒有更亮"記作^和"沒有更暗"記作3五種狀態；
[0052] 步驟2.4:統計圖像中所有像素點的不同狀態概率，從而獲得圖像中像素點五種狀 態的概率分布，采用逆向歸納法對概率分布構建最優二叉決策樹，選出候選特征點；
[0053] 步驟2.5:利用非極大值抑制的方法從候選特征點中選取最終特征點，用于步驟3 的處理。
[0054] 步驟3:利用新型采樣模板在步驟2所得的特征點周圍確定采樣點，采樣點個數為 31，如圖2所示；
[0055] 所述采樣模板是指W步驟2所得的特征點為圓屯、，分別WS，％，3S，4S，5S為半徑做 同屯、圓，再W過圓屯、的水平軸為基線;分別順時針，逆時針旋轉60度，生成3根軸線；W軸線 與同屯、圓形成的交點所在同屯、圓組中的位置形成的采樣模板；
[0056] 所述采樣點是指將采樣模板的圓屯、與特征點重合放置，特征點周圍的像素與采樣 模板重合的點，且包含特征點本身。
[0057] 步驟4:利用每個特征點對應的采樣點中任意兩個采樣點的灰度值進行比較，按設 定的比較準則定義采樣點對對應的二進制描述符值，獲得每個特征點的Ix巧f維的描述符；
[0058] 根據W下公式確定采樣點對的二進制描述符值
[0化9]
[0060] 其中，依次W每個采樣點為基點，分別于其他采樣點作對比，P(X)和p(y)分別表示 基點與對比點的灰度值，不取重復點對。
[0061] 取不同點對判斷其為1或〇，共€^種不同點對，故二進制描述符有位1或0,生成 一行=465維的描述符
[0062] 步驟5:將利用步驟4所得的所有特征點的N個465維描述符構建成矩陣D，生成了一 個N X 465的描述符矩陣；
[0063] 步驟6:對步驟5所得描述符矩陣進行降維處理，取前256列，形成N個特征點的最終 描述符；
[0064] 步驟A:計算描述符矩陣D的每一列的均值R"
[0065] 步驟B:計算每一列均值Rj與0.5的差的絕對值Sj= |Rj-0.5| ;
[0066] 步驟。按&從小到大的順序，對描述符矩陣D的各列進行排序；
[0067] 步驟D:選取前256列作為每帖圖像的最終的描述符矩陣。
[0068] 步驟7:分別計算通過步驟6所得兩帖圖像最終描述符的每一個漢明距離，因此來 進行兩帖圖像的匹配，取好的匹配點對為good matChes，個數記為m;
[0069] 步驟7.1:取兩帖需要進行匹配的圖像，將兩帖圖像的特征點分別記為1，2,…，N和 1'，2';
[0070] 步驟7.2:將兩帖圖像分別根據步驟6算出各自的描述符；
[0071] 步驟7.3:分別對其中一帖圖像第1個特征點描述符與另一帖圖像所有特征點1/， 2/，…，的描述符進行漢明距離的計算；
[0072] 步驟7.4:重復上一步，直至計算出其中一帖圖像所有N個特征點與另一帖圖像所 有個描述符的漢明距離；
[0073] 步驟7.5 :匹配點對漢明距離d中的最小距離記為distmin = 3，最大距離記為distmax =134，利用公式(1131：<3*(1131：1113義
[0074] 選取滿足公式的匹配點對為好的匹配點對，記為good matches,其中dist為當前 描述子的計算距離，S為倍數闊值，運里取S = 0.3，則dist小于40.2時，取為good matches， 個數記為m= 10。
[00對步驟8:利用步驟7的good matches中第i對點對的當前帖圖像點坐標P2, i (X2, i， y2,i)減參考帖圖像點坐標Pl,i(Xl,i，yl,i)，得到位移偏差量Axi，Ayi(單位均為像素數）；
[0076] a)將步驟7的good matches中的點對第1對點對的當前帖圖像點坐標P2,日（X2,0， y2,o)減參考帖圖像點坐標Pl,日(Xl,日，yl,日），得到位移偏差量Ax日，Ay日(單位均為像素數）；
[0077] b)對10個good matches點對依次重復上一步，求得10個水平位移偏差量A Xi, 10 個豎直位移偏差量Ayi;
[007引步驟9:將所有good matches的A X和A y求和再平均得.心和卸.，則.心與'即 為當前帖對于參考帖的位移偏差補償量；
[0079] a)將步驟7所得10個good matches,分別通過步驟8得到的A X0, A XI，…，A X9,與 Ayo, Ayi,...，Ayg;
[0080] b)利用公式：
[0081]
[0082]
[0083] 求出水平位移偏差的補償量為-友= -6,75，豎直位移偏差的補償量為
； 如圖4和圖5所示。
[0084] 應用本發明所述的方法可W準確快速的找出序列圖像中存在的位移偏差。
[0085] 最后應當說明的是：W上實施例僅用W說明本發明的技術方案而非對其限制，盡 管參照上述實施例對本發明進行了詳細的說明，所屬領域的普通技術人員應當理解:依然 可W對本發明的【具體實施方式】進行修改或者等同替換，而未脫離本發明精神和范圍的任何 修改或者等同替換，其均應涵蓋在本發明的權利要求范圍當中。
【主權項】
1. 一種改進的藥液異物圖像局部特征匹配方法，其特征在于，包括以下步驟： 步驟1:連續采集P張生產線上同一藥瓶的序列圖像； 步驟2:利用AGAST算法檢測序列圖像每幀圖像中的特征點； 步驟3:利用采樣模板在步驟2所得的每個特征點周圍確定η個采樣點； 步驟4:利用每個特征點對應的采樣點中任意兩個采樣點的灰度值進行比較，按設定的 比較準則定義采樣點對對應的二進制描述符值，獲得每個特征點的I X ^維的描述符； 步驟5:以第一幀為參考幀，分別計算當前幀與參考幀兩幀圖像中任意兩個特征點的描 述符之間的漢明距離，以符合設定漢明距離閾值范圍的漢明距離對應的特征點對作為兩幀 圖像的匹配點對； 步驟6:利用每對匹配點對在對應圖像中的像素坐標差值的平均值作為當前幀圖像與 參考幀圖像之間的位移偏差； 步驟7:利用步驟6得到的位移偏差對當前幀幀圖像進行位移偏差補償，從而完成序列 圖像的匹配。2. 根據權利要求1所述的方法，其特征在于，所述利用AGAST算法檢測序列圖像每幀圖 像中的特征點的具體過程如下： 步驟2.1:依次以圖像中每個像素作為圓心Ρ，半徑為3像素，構建圓區域； 步驟2.2:在每個圓周上連續選取16個像素 X，像素 X的灰度值記作Ih; 步驟2.3: -個像素 X關于它的核P的狀態表示為Sh〇被分配如下：其中，S7Ρ-χ表示像素 X的前一個狀態，I表示像素的灰度值，u表示狀態仍然未知，t為設 定的灰度閾值； 一個像素 X關于它的核P的狀態分別有"更暗"記作d、"相似"記作S、"更亮"記作b、"沒有 更亮"記作S和"沒有更暗"記作?五種狀態； 步驟2.4:統計圖像中所有像素點的不同狀態概率，從而獲得圖像中像素點五種狀態的 概率分布，采用逆向歸納法對概率分布構建最優二叉決策樹，選出候選特征點； 步驟2.5:利用非極大值抑制的方法從候選特征點中選取最終特征點，用于步驟3的處 理。3. 根據權利要求2所述的方法，其特征在于，所述采樣模板是指以步驟2所得的特征點 為圓心，分別以3,23,33,43,53為半徑做同心圓，再以過圓心的水平軸為基線;分別順時針， 逆時針旋轉60度，生成3根軸線；以軸線與同心圓形成的交點所在同心圓組中的位置形成的 米樣模板； 所述采樣點是指將采樣模板的圓心與特征點重合放置，特征點周圍的像素與采樣模板 重合的點，且包含特征點本身。4. 根據權利要求1-3任一項所述的方法，其特征在于，利用每幀圖像中所有特征點的 IxU維描述符構建每幀圖像的描述符矩陣D，對每幀圖像的描述符矩陣D進行降維處理，取 描述符矩陣D的前256列，確定每幀圖像中每個特征點的描述符為IX 256維。5. 根據權利要求4所述的方法，其特征在于，所述降維處理的具體步驟如下： 步驟A:計算描述符矩陣D的每一列的均值Rj; 步驟B:計算每一列均值Rj與0.5的差的絕對值Sj= |Rj-0.5| ; 步驟C:按&從小到大的順序，對描述符矩陣D的各列進行排序； 步驟D:選取前256列作為每幀圖像的最終的描述符矩陣。6. 根據權利要求5所述的方法，其特征在于，所述利用每個特征點對應的采樣點中任意 兩個采樣點的灰度值進行比較，按設定的比較準則定義采樣點對對應的二進制描述符值是 指，根據以下公式確定采·樣點對的二進制描述符值τ (p; X，y):其中，依次以每個采樣點為基點，分別與其他采樣點作對比，PU)和P(y)分別表示基點 與對比點的灰度值。
【文檔編號】G06K9/62GK106022347SQ201610374970
【公開日】2016年10月12日
【申請日】2016年5月31日
【發明人】張輝, 阮峰, 李宣倫
【申請人】長沙理工大學