圖像變換方法及其裝置以及圖像識別方法及其裝置的制造方法
【技術領域】
[0001]本發明涉及圖像處理領域，具體涉及一種圖像變換方法、圖像識別方法以及與二者分別對應的裝置。
【背景技術】
[0002]圖像變換是很多圖像處理操作的有益預處理步驟，例如，圖像識別操作。當待識別圖像的方向如圖1所示不正時，圖像識別操作的性能不可避免地下降，或者導致圖像識別算法變得復雜而增加計算時間。所以，有益地，在進行圖像識別前，首先將待識別圖像轉正至如圖2所示的正方向。這里，“正”是指端正的、不歪斜的。
[0003]現有一些方法可以完成圖像變換操作。
[0004]在一類方法中，已知圖像邊框為矩形。可以通過檢測圖像邊框并將其與矩形框比對來完成圖像變換，例如轉正。這類方法依賴于邊框檢測，當邊框不明顯時容易變換失敗。
[0005]在另一類方法中，利用已知的模板圖像，由其確定待變換圖像的變換目標。具體地，首先通過尋找待變換圖像和模板圖像中的角點找到關鍵點，在關鍵點鄰域提取描述子。之后，在兩個圖像中基于描述子生成候選匹配對。然后，在候選匹配對中選擇一組自洽的候選匹配對，并基于此生成圖像間的幾何變換。最后，可根據該幾何變換變換待變換圖像。當上述圖像變換方法用于文檔印刷件圖像時，由于文字的角點繁多且相似度高，導致候選匹配對繁多，顯著增加了計算量且容易造成變換失敗。
[0006]圖像變換的計算量直接影響圖像識別的計算量，而且如果圖像變換失敗，將很可能造成圖像識別發生錯誤。
【發明內容】
[0007]鑒于上述問題，提出了本發明以便提供一種至少部分地解決上述問題的圖像變換方法、圖像識別方法以及與二者分別對應的裝置。
[0008]根據本發明一個方面，提供了一種圖像變換方法。該圖像變換方法，包括:步驟SlOO:對包含文字的待變換圖像進行文字預識別；步驟S200:基于待變換圖像的文字預識別結果以及模板圖像的文本區域，生成待變換圖像與模板圖像之間的候選匹配對；步驟S300:在候選匹配對中選擇自洽的候選匹配對并且根據自洽的候選匹配對生成待變換圖像到模板圖像的幾何變換；以及步驟S400:根據幾何變換變換待變換圖像，使得在待變換圖像中的文字與在模板圖像中的對應文字大小和方向相同。
[0009]可選地，上述步驟SlOO包括:對待變換圖像進行文字樣式識別。其中，文字樣式可以包括以下項中的一項或多項:文字字體、文字顏色、文字長寬比、文字大小和文字特殊效果O
[0010]可選地，上述步驟SlOO進一步包括:針對所預識別的文字，確定文字識別的識別置信度，其中識別置信度作為文字預識別結果的一部分。
[0011]可選地，上述步驟S200包括:識別文字預識別結果中的預定字；以及針對文字預識別結果中的、預定字以外的字生成候選匹配對。
[0012]根據本發明另一方面，還提供了一種圖像識別方法。該圖像識別方法包括:步驟a:按照上述圖像變換方法對包含文字的待識別圖像進行變換；以及步驟b:對經變換的圖像進行模式識別。
[0013]可選地，上述模式識別是字符識別。
[0014]可選地，上述步驟b包括:根據經變換的圖像與模板圖像的文字對應關系，提取經變換的圖像的結構化信息；以及根據結構化信息確定經變換的圖像中的文字內容。
[0015]根據本發明又一方面，還提供了一種圖像變換裝置。該圖像變換裝置包括:預識別模塊，用于對包含文字的待變換圖像進行文字預識別；粗匹配模塊，用于基于待變換圖像的文字預識別結果以及模板圖像的文本區域，生成待變換圖像與模板圖像之間的候選匹配對；細匹配模塊，用于在候選匹配對中選擇自洽的候選匹配對并且根據自洽的候選匹配對生成待變換圖像到模板圖像的幾何變換；以及變換模塊，用于根據幾何變換變換待變換圖像，使得在待變換圖像中的文字與在模板圖像中的對應文字大小和方向相同。
[0016]可選地，上述預識別模塊包括:樣式識別模塊，用于對待變換圖像進行文字樣式識另O。其中，文字樣式可以包括以下項中的一項或多項:文字字體、文字顏色、文字長寬比、文字大小和文字特殊效果。
[0017]可選地，上述預識別模塊進一步包括:置信度確定模塊，用于針對所預識別的文字，確定文字識別的識別置信度，其中識別置信度作為文字預識別結果的一部分。
[0018]可選地，上述粗匹配模塊包括:預定字識別模塊，用于識別文字預識別結果中的預定字；以及匹配對生成模塊，用于針對文字預識別結果中的、預定字以外的字生成候選匹配對。
[0019]根據本發明再一方面，還提供了一種圖像識別裝置。該圖像識別裝置包括:上述圖像變換裝置，用于對包含文字的待識別圖像進行變換；以及模式識別模塊，用于對經變換的圖像進行模式識別。
[0020]可選地，上述模式識別模塊具體用于對經變換的圖像進行字符識別。
[0021]可選地，上述模式識別模塊包括:信息提取模塊，用于根據經變換的圖像與模板圖像的文字對應關系，提取經變換的圖像的結構化信息；以及內容確定模塊，用于根據結構化信息確定經變換的圖像中的文字內容。
[0022]根據本發明的圖像變換方法、圖像識別方法以及與二者分別對應的裝置，既避免了現有技術中過分依賴邊框檢測的問題，又避免了現有技術中包含文字的圖像變換時角點過多且相似度高以及其帶來的候選匹配對繁多、計算量大、變換容易錯誤的問題。相應地，取得了圖像變換的計算量小，正確率高的有益效果。因為圖像變換的計算量小、結果準確，上述圖像識別方法和其對應裝置也在具有較小計算量的前提下，能夠由于文字變正而取得較好識別效果。
[0023]上述說明僅是本發明技術方案的概述，為了能夠更清楚了解本發明的技術手段，而可依照說明書的內容予以實施，并且為了讓本發明的上述和其它目的、特征和優點能夠更明顯易懂，以下特舉本發明的【具體實施方式】。
【附圖說明】
[0024]通過閱讀下文優選實施方式的詳細描述，各種其他的優點和益處對于本領域普通技術人員將變得清楚明了。附圖僅用于示出優選實施方式的目的，而并不認為是對本發明的限制。而且在整個附圖中，用相同的參考符號表示相同的部件。在附圖中:
[0025]圖1和圖2分別示出了根據本發明一個實施例的、兩個不同方向的圖像的示意圖；
[0026]圖3示出了根據本發明一個實施例的圖像變換方法的流程圖；
[0027]圖4示出了根據本發明一個實施例的待變換圖像到模板圖像的幾何變換示意圖；
[0028]圖5示出了根據本發明一個實施例的圖像識別方法的流程圖；
[0029]圖6示出了根據本發明一個實施例的、經文字識別的圖像的示意圖；
[0030]圖7示出了根據本發明一個實施例的圖像變換裝置的示意性框圖；以及
[0031]圖8示出了根據本發明一個實施例的圖像識別裝置的示意性框圖。
【具體實施方式】
[0032]下面將參照附圖更詳細地描述本公開的示例性實施例。雖然附圖中顯示了本公開的示例性實施例，然而應當理解，可以以各種形式實現本公開而不應被這里闡述的實施例所限制。相反，提供這些實施例是為了能夠更透徹地理解本公開，并且能夠將本公開的范圍完整的傳達給本領域的技術人員。
[0033]文字是人類用來交流的符號系統，是紀錄思想和事件的書寫形式。文字是由簡單圖形形成，早期更加接近圖畫，現在更加接近幾何線條。例如拉丁字母是簡單的直線、弧線和點構成。漢字主要是由直線構成，所以叫做“方塊漢字”。包含文字的圖像，可能包含過多圖像亮度變化劇烈的點或圖像邊緣曲線上曲率極大值的點，也即角點。這給基于角點的圖像變換帶來了極大負面影響，進而也對圖像識別造成了很大困擾。
[0034]為解決上述問題，根據本發明一個方面，提供了一種