一種帶有文本行的柱面圖像的定位方法
【專利摘要】本發明涉及一種帶有文本行的柱面圖像的定位方法，包括：對柱面圖像進行二值化，求取圖像的上下與左右邊界，將柱面圖像從背景區域中提取出來；二值圖像噪聲的形態學剔除；確定文本行連通區域；提取各個具有一定長度的文本行連通區域的基準線；對柱面圖像進行分區域展平；采用SURF特征檢測算法對展平后的柱面圖像和模板圖像分別進行SURF特征檢測；利用最近鄰方法進行特征點粗匹配；獲得展平后的柱面圖像和模板圖像精確的匹配對；在展平后的柱面圖像中找出與模板圖像匹配的子圖，實現模板圖像的精確定位。本發明可以實現帶有文本行的柱面圖像精確定位。
【專利說明】
一種帶有文本行的柱面圖像的定位方法
技術領域
[0001] 本發明屬于數字圖像處理技術，涉及一種連通區域標記，柱面圖像展平，非線性變 換圖像匹配。 技術背景
[0002] 隨著現代社會的發展與進步，人們對工業生產效率與質量都有較高的要求，傳統 的靠工人手工完成的生產由于效率慢、成本高等原因，已經很難滿足大規模生產的要求。現 代社會的流水生產線越來越智能化，由于流水線生產出來的產品不能保證100%的合格，為 了保證所制造的產品質量，在產品出廠之前都需要對其進行檢測，其中一個比較重要的檢 測就是對產品的外觀是否有缺陷進行檢測。圖像處理技術在產品外觀錯誤檢測方面發揮了 重要的作用，對促進生產線的自動化、降低生產成本都具有一定的幫助。圖像錯誤檢測算法 是一個綜合性的算法，包括圖像增強、圖像降噪、圖像分割以及圖像匹配等多個方面，所以 大部分圖像錯誤檢測算法都是針對于某一個產品而設計的，其中對于柱面圖像錯誤檢測的 算法比較少，因此，提出一個完整的柱面圖像錯誤檢測算法具有比較大的價值。
【發明內容】
[0003] 為了實現對柱面圖像的錯誤檢測，本發明提供一種帶有文本行的柱面圖像精確定 位方法。本發明的技術方案如下：
[0004] -種帶有文本行的柱面圖像的定位方法，包括下列步驟：
[0005] 1)對柱面物體拍照，獲得帶有文本行的柱面圖像；
[0006] 2)對柱面圖像進行二值化，求取圖像的上下與左右邊界，將柱面圖像從背景區域 中提取出來；
[0007] 3)根據字符大小設定面積閾值，對柱面圖像的二值圖像進行連通區域標記，將面 積小于預設面積閾值的連通區域剔除，實現對二值圖像噪聲的形態學剔除；
[0008] 4)采用長度為柱面圖像中每兩個字符之間的距離、高度為每個字符高度1/3的矩 形結構元素對經過形態學噪聲剔除的二值化圖像進行開運算，使每個文本行連成同一連通 區域，計算每個連通區域左右邊界像素位置l sjPlel，以及連通區域每列像素高度值1π(Χ)，? 表示不同的連通區域；
[0009] 5)確定文本行連通區域:計算每個連通區域的平均高度，將連通區域的平均高度 出大于預設高度T h的連通區域剔除，實現對插圖連通區域的剔除;將長度IfU-U短于預 設長度閾值!^的連通區域剔除，實現對較短文本行連通區域的剔除，最后剩下的即為具有 一定長度的文本行連通區域；
[0010] 6)提取各個具有一定長度的文本行連通區域的基準線；
[0011] 7)對柱面圖像進行分區域展平，首先對步驟6)提取的各條基準線進行Hough變換， 找出基準線中最長的直線方向，即為柱面圖像展平的方向，將圖像旋轉使圖像展平方向轉 為水平方向，然后將每條基準線展平，并分區域按照基準線對柱面圖像展平；
[0012] 8)輸入模板圖像，采用SURF特征檢測算法對展平后的柱面圖像和模板圖像分別進 行SURF特征檢測；
[0013] 9)利用最近鄰方法進行特征點粗匹配，將粗匹配的潛在匹配對按照特征點在模板 圖像中橫坐標由小到大的順序進行排序；
[0014] 10)計算每個潛在匹配對中兩個特征點所在位置的歐式距離cU，以特征點在模板 圖像中橫坐標^為自變量，以實際的歐式距離cU為因變量，進行曲線擬合，得出擬合曲線fd (X)，然后將每個潛在匹配對的橫坐標入曲線fd(x)中，計算出曲線擬合出的兩個特征點 間的歐式距離fd(Xl)，并計算和實際的歐式距離cU的差值AzIfdUO-cUl^Si大于預設誤 差閾值Ts則認為是誤匹配，進行剔除；
[0015] 11)按照步驟10)的方法，對匹配對內兩個特征點所構成的連線與水平方向的夾角 進行曲線擬合，剔除角度不滿足變換趨勢的點，獲得展平后的柱面圖像和模板圖像精確的 匹配對；
[0016] 12)根據展平后的柱面圖像和模板圖像中精確匹配的特征點對的坐標位置關系， 在展平后的柱面圖像中找出與模板圖像匹配的子圖，實現模板圖像的精確定位。
[0017] 作為優選實施方式，步驟2)采用Niblack算法對柱面圖像進行二值化。步驟5)中計 算每個連通區域的平均高度的公式為：
[0019] 步驟6)的方法如下:提取具有一定長度文本行連通區域的上下邊界fu(x)和fKx)， 計算上下邊界的中線f m(x)，即為文本行的中線，對文本行中線匕(4進行三階曲線擬合，擬 合出的曲線即為柱面圖像此文本行連通區域的基準線g m(x)。
[0020] 步驟7)中分區域按照基準線對柱面圖像展平的方法如下:對于最頂部基準線上面 的區域和最底部基準線下面的區域，由于只有一個邊界具有基準線，采用將每列像素按照 豎直移動的方式展平，對于柱面圖像中間的區域，由于每個區域兩邊都有基準線，采用將每 列像素豎直移動同時進行圖像縮放處理的方式進行展平，圖像縮放處理采用雙線性插值 法，最后實現對柱面圖像的展平。
[0021] 步驟9)中的粗匹配方法如下:計算展平后柱面圖像中的某一特征點的特征向量和 模板圖像中所有特征點特征向量的歐式距離，找出最小的歐式距離和次小的歐式距離，若 (最小歐氏距離)/(次小歐氏距離)〈距離閾值，就把相應的特征點當作一對潛在的匹配點。 [0022]本發明對于采集的圖像，先采用二值圖像投影的方式提取出柱面物體所在的區 域，然后將柱面圖像展平，并對展平后的柱面圖像和模板進行配準，最后進行檢測與分析的 算法。其中，柱面圖像的展平是基于文本行中線擬合出的基準線，具有較快的速度與精度。 展平后柱面圖像和模板圖像配準的過程是基于SURF特征匹配與曲線擬合相結合的方法，能 夠提高展平后的柱面圖像在非線性變換區域的匹配精度。由于對二值化柱面圖像采用的開 運算矩形結構高度約為字符高度的1/3,長度約為每兩個字符之間的距離，使得開運算之后 的文本行連通區域能夠和文字的上下邊界幾乎完全重合，由此計算出的文本行中線和文本 行中線擬合出的基準線都具有較高的精度，按照基準線展平后的柱面圖像也比較的工整。 展平后的柱面圖像和模板圖像匹配的過程中，由于采用的是基于曲線擬合的誤匹配剔除算 法，對于存在一定非線性變換的展平后柱面圖像邊界區域，能計算出非線性變換匹配對的 歐式距離、連線斜率變化趨勢，找出不符合趨勢的匹配對，進行剔除，所以相對于傳統的只 能計算單一線性變換模型的匹配算法能夠具有更好的匹配效果。通過對算法進行實驗和分 析，證明此算法能夠對柱面圖像進行高精度的展平，并且展平后柱面圖像和模板圖像的匹 配效果較好，算法可以有效地應用在工業生產中，對柱面物體具有檢測質量高速度快的優 點，能夠實現工業生產自動化。
【附圖說明】
[0023]圖1柱面圖像展平與檢測流程圖 [0024]圖2原始的采集圖 [0025]圖3二值化并取反的采集圖 [0026]圖4(a)二值圖像的垂直投影圖 [0027]圖4(b)二值圖像的水平投影圖 [0028]圖5柱面圖像的上下左右邊界
[0029] 圖6柱面圖像的提取圖
[0030] 圖7開運算后的圖 [0031]圖8柱面圖像的基準線 [0032]圖9柱面圖像展平圖 [0033]圖10角度曲線擬合結果 [0034]圖11歐氏距離曲線擬合結果
[0035] 圖12展平后的柱面圖像和模板圖像匹配結果
[0036] 圖13存在污點的柱面圖像展平匹配結果，（a)為采集圖，（b)為模板圖與展平后柱 面圖，（c)污點區域的匹配結果
【具體實施方式】
[0037] 在對柱面物體進行定位和檢測的應用中，首先需要采集柱面物體的圖像，為了保 證采集的圖像能夠完全包括柱面物體，初期采集的圖像會包括一部分背景區域，本發明通 過二值圖像投影的方式找出柱面物體在圖像中的上下左右邊界，將柱面圖像從背景區域中 提取出來。本發明所檢測的是具有一定文本行的柱面圖像，因此采用提取文本行中線并對 其進行曲線擬合的方式提取柱面圖像的基準線，然后按照基準線對柱面圖像分區域進行展 平。對于展平后的柱面圖像邊緣部分和模板圖像會存在一定非線性變換的情況，本發明采 用結合SURF特征檢測和曲線擬合的方法對展平后的柱面圖像和模板圖像進行配準，提高定 位和檢測的精度。整個算法具體實現步驟如下：
[0038] 1)采用Niblack算法對圖像進行二值化，則圖像的背景區域像素灰度值均為0,圖 像的前景區域像素灰度值均為255,然后對二值化圖像分別進行水平和豎直投影，找出兩個 灰度投影線的起點與終點，即圖像的上下與左右邊界，如圖5所示。最后將柱面圖像從背景 區域中提取出來。
[0039] 2)對提取的柱面二值圖像進行連通區域標記，將面積小于30像素的連通區域剔 除，實現對柱面二值圖像噪聲的形態學剔除。然后采用長度約為柱面圖像中每兩個字符之 間的距離、高度約為每個字符高度1/3的矩形結構元素對二值化圖像進行開運算，使每個文 本行連成同一連通區域。計算每個連通區域左右邊界像素位置:和，以及連通區域每列像素 高度值，表示不同的連通區域。按照公式1計算每個連通區域的平均高度，由于插圖連通區 域比文本行連通區域的平均高度要大很多，所以將連通區域的平均高度大于一定值的連通 區域剔除，實現對插圖連通區域的剔除。將連通區域的長度較短的提取剔除，實現對較短文 本行連通區域的剔除，最后剩下的即為具有一定長度的文本行連通區域。
[0040]
[0041] 3)計算步驟2提取的具有一定長度文本行連通區域的上下邊界:和，計算上下邊界 的中線：，即為文本行的中線。對文本行中線進行三階曲線擬合，擬合出的曲線即為柱面圖 像的基準線。
[0042] 4)對柱面圖像進行分區域展平，首先對基準線進行Hough變換找出基準線中最長 的直線方向，即為柱面圖像展平的方向，將圖像旋轉使圖像展平方向轉為水平方向。然后 將每條基準線展平，同時對被基準線分割的柱面圖像小區域按照基準線進行展平。對于最 頂部基準線上面的區域和最底部基準線下面的區域，由于只有一個邊界具有基準線，采用 將每列像素按照豎直移動的方式展平。對于柱面圖像中間的小區域，由于每個小區域兩邊 都有基準線，采用將每列像素豎直移動同時進行圖像縮放處理的方式進行展平，圖像縮放 處理采用雙線性插值法。最后實現對柱面圖像的展平。
[0043] 5)采用SURF特征檢測算法對展平后的柱面圖像和模板圖像分別進行SURF特征檢 測，計算展平后柱面圖像中的某一特征點的特征向量和模板圖像中所有特征點特征向量的 歐式距離，并找出最小的歐式距離和次小的歐式距離，若(最小歐氏距離)/(次小歐氏距離） 〈閾值(這個閾值通常取0.6-0.8)，就把它們當作一對匹配點，即利用最近鄰方法進行特征 點粗匹配。將粗匹配的匹配對按照特征點在模板圖像中橫坐標由小到大的順序進行排序。
[0044] 6)計算每個匹配對中兩個特征點所在位置的歐式距離，以特征點在模板圖像中橫 坐標為自變量，以歐式距離為因變量，進行三階曲線擬合，得出擬合曲線，然后將每個匹配 對的橫坐標代入曲線中，計算出曲線擬合出的兩個特征點間的歐式距離，并計算和實際的 歐式距離的差值：，若大于一定閾值則認為是誤匹配，進行剔除。同樣，對匹配對內兩個特征 點所構成的連線與水平方向的夾角進行曲線擬合，剔除角度不滿足變換趨勢的點。
[0045] 通過上述步驟可以獲得展平后的柱面圖像和模板圖像精確的匹配對。根據展平后 的柱面圖像和模板圖像中匹配的特征點對的坐標位置關系，可以在展平后的柱面圖像中找 出與模版匹配的子圖，實現模板圖在采集圖上的精確定位。
[0046] 由于對二值化柱面圖像采用的開運算矩形結構高度約為字符高度的1/3,長度約 為每兩個字符之間的距離，使得開運算之后的文本行連通區域能夠和文字的上下邊界幾乎 完全重合，由此計算出的文本行中線和文本行中線擬合出的基準線都具有較高的精度，按 照基準線展平后的柱面圖像也比較的工整。展平后的柱面圖像和模板圖像匹配的過程中， 由于采用的是基于曲線擬合的誤匹配剔除算法，對于存在一定非線性變換的展平后柱面圖 像邊界區域，能計算出非線性變換匹配對的歐式距離、連線斜率變化趨勢，找出不符合趨勢 的匹配對，進行剔除，所以相對于傳統的只能計算單一線性變換模型的匹配算法能夠具有 更好的匹配效果。
[0047]圖9是基于基準線的柱面圖像展平結果，由于基準線是由柱面圖像文本行的中線 通過三階曲線擬合獲得，使得計算出的基準線不僅能夠比較精準地表示柱面圖像每個文本 行的彎曲程度，又能不受文本行中字體內部形狀、比重的影響，具有較高的穩定性。圖12是 通過對SURF最近鄰粗匹配進行曲線擬合并剔除誤匹配之后的模板和展平后柱面的匹配圖。 采用曲線擬合的方式能夠找出非線性變換區域匹配對位置關系的趨勢，剔除不符合此種 趨勢的誤匹配，相對于傳統的只能計算單一線性變換模型的匹配算法，能夠在剔除誤匹配 的同時保留大量的正確匹配對，提高了展平后柱面圖像和模板圖像匹配的精度。
【主權項】
1. 一種帶有文本行的柱面圖像的定位方法，包括下列步驟： 1) 對柱面物體拍照，獲得帶有文本行的柱面圖像； 2) 對柱面圖像進行二值化，求取圖像的上下與左右邊界，將柱面圖像從背景區域中提 取出來； 3) 根據字符大小設定面積闊值，對柱面圖像的二值圖像進行連通區域標記，將面積小 于預設面積闊值的連通區域剔除，實現對二值圖像噪聲的形態學剔除； 4) 采用長度為柱面圖像中每兩個字符之間的距離、高度為每個字符高度的矩形結 構元素對經過形態學噪聲剔除的二值化圖像進行開運算，使每個文本行連成同一連通區 域，計算每個連通區域左右邊界像素位置Isi和lei，W及連通區域每列像素高度值hi(X)，i表 示不同的連通區域； 5) 確定文本行連通區域:計算每個連通區域的平均高度，將連通區域的平均高度出大于 預設高度化的連通區域剔除，實現對插圖連通區域的剔除;將長度li = lei-lsi短于預設長度 闊值Τι的連通區域剔除，實現對較短文本行連通區域的剔除，最后剩下的即為具有一定長 度的文本行連通區域； 6) 提取各個具有一定長度的文本行連通區域的基準線； 7) 對柱面圖像進行分區域展平，首先對步驟6)提取的各條基準線進行化U曲變換，找出 基準線中最長的直線方向，即為柱面圖像展平的方向，將圖像旋轉使圖像展平方向轉為水 平方向，然后將每條基準線展平，并分區域按照基準線對柱面圖像展平； 8) 輸入模板圖像，采用SURF特征檢測算法對展平后的柱面圖像和模板圖像分別進行 SURF特征檢測； 9) 利用最近鄰方法進行特征點粗匹配，將粗匹配的潛在匹配對按照特征點在模板圖像 中橫坐標由小到大的順序進行排序. 10) 計算每個潛在匹配對中兩個特征點所在位置的歐式距離di，W特征點在模板圖像中 橫坐標XI為自變量，W實際的歐式距離di為因變量，進行曲線擬合，得出擬合曲線fd(X)，然 后將每個潛在匹配對的橫坐標XI代入曲線fd(x)中，計算出曲線擬合出的兩個特征點間的歐 式距離fd(Xi)，并計算和實際的歐式距離di的差值:Si= |fd(Xi)-di|，若Si大于預設誤差闊值 Ts則認為是誤匹配，進行剔除； 11) 按照步驟10)的方法，對匹配對內兩個特征點所構成的連線與水平方向的夾角進行 曲線擬合，剔除角度不滿足變換趨勢的點，獲得展平后的柱面圖像和模板圖像精確的匹配 對； 12) 根據展平后的柱面圖像和模板圖像中精確匹配的特征點對的坐標位置關系，在展 平后的柱面圖像中找出與模板圖像匹配的子圖，實現模板圖像的精確定位。2. 根據權利要求1所述的帶有文本行的柱面圖像的定位方法，其特征在于，步驟2)采用 Niblack算法對柱面圖像進行二值化。3. 根據權利要求1所述的帶有文本行的柱面圖像的定位方法，其特征在于，步驟5)中計 算每個連通區域的平均高度的公式為：4. 根據權利要求1所述的帶有文本行的柱面圖像的定位方法，其特征在于，步驟6)的方 法如下:提取具有一定長度文本行連通區域的上下邊界fu(x)和fi(x)，計算上下邊界的中線 fm(x)，即為文本行的中線，對文本行中線fm(X)進行Ξ階曲線擬合，擬合出的曲線即為柱面 圖像此文本行連通區域的基準線gm(X)。5. 根據權利要求1所述的帶有文本行的柱面圖像的定位方法，其特征在于，步驟7)中分 區域按照基準線對柱面圖像展平的方法如下:對于最頂部基準線上面的區域和最底部基準 線下面的區域，由于只有一個邊界具有基準線，采用將每列像素按照豎直移動的方式展平， 對于柱面圖像中間的區域，由于每個區域兩邊都有基準線，采用將每列像素豎直移動同時 進行圖像縮放處理的方式進行展平，圖像縮放處理采用雙線性插值法，最后實現對柱面圖 像的展平。6. 根據權利要求1所述的帶有文本行的柱面圖像的定位方法，其特征在于，步驟9)中的 粗匹配方法如下:計算展平后柱面圖像中的某一特征點的特征向量和模板圖像中所有特征 點特征向量的歐式距離，找出最小的歐式距離和次小的歐式距離，若(最小歐氏距離)/(次 小歐氏距離)< 距離闊值T，就把相應的特征點當作一對潛在的匹配點。
【文檔編號】G06K9/46GK106096490SQ201610073394
【公開日】2016年11月9日
【申請日】2016年2月2日 公開號201610073394.2, CN 106096490 A, CN 106096490A, CN 201610073394, CN-A-106096490, CN106096490 A, CN106096490A, CN201610073394, CN201610073394.2
【發明人】肖夏, 田健飛
【申請人】天津大學