專利名稱：一種基于手持設備的菜譜識別及注解方法和裝置的制作方法
技術領域：
本發明涉及光學字符識別(Optical Character Recognition,以下簡稱OCR)技術領域，尤其涉及一種基于手持設備的菜譜識別及注解方法和裝置。
背景技術：
具有拍攝功能的手持設備如拍照手機現在已經普及，但是基于手持設備攝像頭的應用還是很貧乏，沒有發揮出應有的作用。目前OCR技術已經非常成熟，但是其應用還是局限于掃描儀圖像的識別，在手持設備上的實際應用還不是很多。結合手持設備攝像頭、OCR和特定知識庫的應用幾乎沒有。平是我們在用餐的時候，特別是一些外國朋友，如果他們能夠通過他們的手持設備能夠知道他們要點的菜一些信息如翻譯菜名、制作原料、制作方法、相關典故等，他們會了解更多，選擇更好。
發明內容
本發明的目的是提供一種基于手持設備的菜譜識別及注解方法和裝置，用以克服OCR技術并未應用到手持設備上來方便人們了解菜譜的缺陷，實現對菜譜的識別和注解，方便廣大美食愛者了解和選擇他們的佳肴。 為實現上述目的，本發明提供了一種基于手持設備的菜譜識別及注解方法，所述手持設備至少裝設有圖像獲取裝置以及OCR識別引擎，用于對所述圖像獲取裝置拍攝的菜譜圖像進行識別及注解，所述方法至少包括以下步驟
a.定位所述菜譜圖像中需要識別的菜名區域； b.通過所述OCR識別引擎識別需要識別的菜名，得到所述需要識別的菜名的文字
編碼流，所述需要識別的菜名位于所述需要識別的菜名區域內； c.根據所述文字編碼流，獲取與所述需要識別的菜名相關的信息。 優選地，在步驟a前還包括對所述菜譜圖像進行清晰度判斷的步驟利用菜譜圖
像的平均邊緣強度作為檢測值，當平均邊緣強度小于預先設定的閾值時，則圖像模糊，手持
設備通過裝設的所述圖像獲取裝置進行重新拍攝。 優選地，所述步驟a包括用戶指定需要識別的菜名的粗略位置，得到一個或者兩個坐標點；以所述一個或者兩個坐標點為初始點進行上下左右條件擴展，得到一個僅包含所述需要識別的菜名的外接矩形區域。 優選地，所述步驟C包括通過所述文字編碼流在菜譜數據庫中檢索與所述需要識別的菜名相關的信息；或者，通過所述文字編碼流在互聯網上檢索與所述需要識別的菜名相關的信息。 優選地，所述步驟C后面還包括步驟d:在所述手持設備上顯示與所述需要識別的菜名相關的信息。 為實現上述目的，本發明還提供了一種基于手持設備的菜譜識別及注解裝置，包括至少裝設有OCR識別引擎和圖像獲取裝置的手持設備，以及模塊a、 b和c ;其中模塊
3
a.定位所述圖像獲取裝置拍攝的菜譜圖像中需要識別的菜名區域； b.通過所述OCR識別引擎識別需要識別的菜名，得到所述需要識別的菜名的文字
編碼流，所述需要識別的菜名位于所述需要識別的菜名區域內； c.根據所述文字編碼流，獲取與所述需要識別的菜名相關的信息。 優選地，在模塊a前還包括對菜譜圖像進行清晰度判斷的模塊利用菜譜圖像的
平均邊緣強度作為檢測值，當平均邊緣強度小于預先設定的閾值時，則圖像模糊，所述手持
設備通過裝設的圖像獲取裝置進行重新拍攝。 本發明提出了一種OCR新的應用方向，先用圖像獲取裝置進行圖像采集，而后OCR引擎進行菜譜字符的光學字符識別，再加上菜譜知識庫的菜譜識別及注解的應用方法，根據識別出的菜名，檢索菜譜字典數據庫或互聯網，輸出跟該菜相關的信息例如翻譯名字，制作材料，制作裝置，烹制方法，相關典故等等。本發明能夠很好的解決菜譜識別和注解的問題，方便廣大美食愛者了解和選擇他們的佳肴。
圖1為本發明的菜譜識別及注解方法的流程圖； 圖2至圖5為本發明的一個實施例中對手機所拍攝的菜譜進行識別及注解的示意圖。
具體實施例方式
以下結合附圖對本發明的方法進行詳細說明。應該說明的是，本發明所說的手持設備至少設有圖像獲取裝置、以及OCR識別引擎。在某些應用中，本發明所說的手持設備還應該裝有可以無線上網的裝置。以下以手機為例說明在手持設備上使用的本發明的菜譜識別及注解方法和裝置，應該注意的是所謂手持設備可包括但不限于手機和PDA等。如圖1
所示，本發明的菜譜識別及注解方法包括的主要步驟 步驟IO，菜譜圖像拍攝通過手機攝像頭拍攝得到待處理的菜譜圖像；這里，手機的攝像頭作為圖像獲取裝置。 步驟20，圖像清晰度判斷手機拍攝的菜譜圖像，有時候由于手抖動，導致圖像很虛，字符模糊，達不到OCR識別的要求。所以對拍攝的菜譜圖像進行清晰判定，以確定是否進行下一步處理。在這里我們利用菜譜圖像的平均邊緣強度作為檢測值，當平均邊緣強度小于預先設定的閾值T時，我們認為菜譜圖像模糊，需要利用作為圖像獲取裝置的攝像頭進行重新拍攝。這里的平均邊緣強度是指由邊緣算法如Sobel、 Roberts算法等，作用于輸入圖像所得的邊緣圖像中所有邊緣值的平均量。例如檢測到的圖像的平均邊緣強度為30，預先設定的閾值為60，則認定輸入的圖像為模糊圖像；若檢測到的平均邊緣強度為IOO，則認定輸入的圖像為清晰圖像；如圖2所示為本發明的一個實施例中手機所拍攝的菜譜圖像。 步驟30，用戶指定識別菜名區域當拍攝的菜譜圖像顯示在手機交互界面上，用戶通過交互操作，指定需要識別的菜名的粗略位置，通過這一步我們得到圖像中的下一坐標信息。交互方式如可以用筆點擊菜名矩形內的任何一點，我們可以得到用戶興趣區域內的一個坐標點；也可以畫一個包含菜名的矩形框，我們可以得到用戶興趣區域內的兩個坐
4標點。如圖2中位于"家常豆腐"字樣上方的十字光標就是用戶指定需要識別的菜名；也可以是如圖3中矩形框，就是用戶指定的需要識別的菜名區域。 步驟40，指定識別區域智能調整用戶交互的時候，不可能定位到需要處理菜名的精確位置，只是給出一個或者兩個坐標點。我們通過這些坐標點，智能地定位到需要處理的菜名字符區域。以用戶給定一個坐標點為例，先求邊緣圖像，而后進行膨脹，然后以該坐標為初始點進行上下左右條件擴展，也就是距離在一定范圍內的邊緣點為有效邊緣點，進行擴展，否則不進行擴展，得到一個僅包含需要識別的菜名的外接矩形區域，即為需要識別的菜名區域內，如圖4所示。 步驟50，調用光學字符識別OCR引擎將定位到的菜名圖像文字區域，送入OCR識別引擎進行處理，得到需要識別的菜名的文字編碼流，需要識別的菜名位于需要識別的菜名區域內。 步驟60，檢索菜名相關信息在一個實施例中，本發明的手機裝設有菜譜數據庫，通過識別出來的字符文字編碼流，可以檢索菜譜數據庫，找到與此菜相關的信息，也可以通過互聯網查找相關的信息。由于OCR識別率不可能達到100%，所以在一個優選實施例中，可以采用支持模糊匹配的檢索方法，以提高檢索的命中率。 步驟70，顯示相關信息將檢索得到的相關信息如翻譯菜名、相關典故、制作方法、制作裝置、制作原料等，顯示到手機的用戶界面上，如圖5所示的實施例中，這部分信息是顯示在菜譜圖像的下方，在其他實施例中也可顯示在其他位置。 應用實例用戶拍攝菜譜圖像，然后點選識別區域，識別區智能定位，OCR引擎識別菜名，在本機數據庫進行模糊查找和匹配，將檢索到的信息反饋給用戶；OCR識別引擎識別菜名以后，如果本機無法檢索或者用戶想了解更多，可以啟動網絡功能，通過網絡查找更多的信息反饋給用。 本發明實施例還提供了一種基于手持設備的菜譜識別及注解裝置，該裝置包括至
少裝設有OCR識別引擎的手持設備，以及模塊a、 b和c ;其中模塊 a.定位圖像獲取裝置拍攝的菜譜圖像中需要識別的菜名區域； b.通過OCR識別引擎識別需要識別的菜名，得到菜名的文字編碼流，需要識別的
菜名位于需要識別的菜名區域內；這里，模塊b與OCR識別引擎通信連接， c.根據文字編碼流，獲取與需要識別的菜名相關的信息。 進一步地，在模塊a前還可以包括對菜譜圖像進行清晰度判斷的模塊利用菜譜圖像的平均邊緣強度作為檢測值，當平均邊緣強度小于預先設定的閾值T時，則圖像模糊，此時，手持設備通過裝設的圖像獲取裝置進行重新拍攝。 進一步地，模塊a可以包括用戶通過交互操作，指定需要識別的菜名的粗略位置，得到一個或者兩個坐標點；以坐標為初始點進行上下左右條件擴展，得到一個僅包含需要識別的菜名的外接矩形區域。 進一步地，模塊C可以包括通過文字編碼流在手持設備的菜譜數據庫中檢索與需要識別的菜名相關的信息；或者通過文字編碼流在互聯網上檢索與需要識別的菜名相關的信息。 具體地，與需要識別的菜名相關的信息可以包括菜的翻譯菜名、相關典故、制作裝置、制作原料。
進一步地，模塊C后面還可以包括模塊d :顯示與需要識別的菜名相關的信息。
具體地，模塊d可以包括在手持設備用戶界面上顯示與需要識別的菜名相關的信息。 具體地，手持設備可以包括手機或PDA。 本發明的上述實施例中，通過手持設備的圖像獲取裝置進行圖像采集，而后OCR識別引擎進行菜譜字符的光學字符識別，再加上菜譜知識庫或者互聯網的菜譜識別及注解的應用方法，根據識別出的菜名，檢索菜譜字典數據庫，輸出跟該菜相關的信息例如翻譯名字，制作材料，制作裝置，烹制方法，相關典故等等。本發明能夠很好的解決菜譜識別和注解的問題，方便廣大美食愛者了解和選擇他們的佳肴。 應該注意的是上述實施例是示例而非限制本發明，本領域技術人員將能夠設計很多替代實施例而不脫離附后的權利要求書的范圍。
權利要求
一種基于手持設備的菜譜識別及注解方法，所述手持設備至少裝設有圖像獲取裝置以及OCR識別引擎，用于對所述圖像獲取裝置拍攝的菜譜圖像進行識別及注解，其特征是所述方法至少包括以下步驟a.定位所述菜譜圖像中需要識別的菜名區域；b.通過所述OCR識別引擎識別需要識別的菜名，得到所述需要識別的菜名的文字編碼流，所述需要識別的菜名位于所述需要識別的菜名區域內；c.根據所述文字編碼流，獲取與所述需要識別的菜名相關的信息。
2. 如權利要求1所述的方法，其特征是在步驟a前還包括對菜譜圖像進行清晰度判斷的步驟利用菜譜圖像的平均邊緣強度作為檢測值，當平均邊緣強度小于預先設定的閾值時，則圖像模糊，手持設備通過裝設的所述圖像獲取裝置進行重新拍攝。
3. 如權利要求1或2所述的方法，其特征是所述步驟a包括用戶指定需要識別的菜名的粗略位置，得到一個或者兩個坐標點；以所述一個或者兩個坐標點為初始點進行上下左右條件擴展，得到一個僅包含所述需要識別的菜名的外接矩形區域。
4. 如權利要求1所述的方法，其特征是所述步驟C包括通過所述文字編碼流在菜譜數據庫中檢索與所述需要識別的菜名相關的信息；或者，通過所述文字編碼流在互聯網上檢索與所述需要識別的菜名相關的信息。
5. 如權利要求4所述的方法，其特征是與所述需要識別的菜名相關的信息包括菜的翻譯菜名、相關典故、制作方法和制作原料。
6. 如權利要求1所述的方法，其特征是所述步驟C后面還包括步驟d :在所述手持設備上顯示與所述需要識別的菜名相關的信息。
7. —種基于手持設備的菜譜識別及注解裝置，其特征是包括至少裝設有OCR識別引擎和圖像獲取裝置的手持設備，以及模塊a、b和C ;其中模塊a. 定位所述圖像獲取裝置拍攝的菜譜圖像中需要識別的菜名區域；b. 通過所述OCR識別引擎識別需要識別的菜名，得到所述菜名的文字編碼流，所述需要識別的菜名位于所述需要識別的菜名區域內；c. 根據所述文字編碼流，獲取與所述需要識別的菜名相關的信息。
8. 如權利要求7所述的裝置，其特征是在模塊a前還包括對菜譜圖像進行清晰度判斷的模塊利用菜譜圖像的平均邊緣強度作為檢測值，當平均邊緣強度小于預先設定的閾值時，則圖像模糊，所述手持設備通過裝設的圖像獲取裝置進行重新拍攝。
全文摘要
本發明涉及一種基于手持設備的菜譜識別及注解方法和裝置，手持設備至少裝設有圖像獲取裝置以及OCR識別引擎，用于對圖像獲取裝置拍攝的菜譜圖像進行識別及注解，該方法至少包括以下步驟a，定位菜譜圖像中需要識別的菜名區域；b，通過OCR識別引擎識別需要識別的菜名，得到需要識別的菜名的文字編碼流，需要識別的菜名位于需要識別的菜名區域內；c，根據文字編碼流，獲取與需要識別的菜名相關的信息。本發明通過手持設備的圖像獲取裝置進行圖像采集，而后OCR識別引擎進行菜譜字符的光學字符識別，最終輸出跟需要識別的菜名相關的信息。
文檔編號G06F17/30GK101751566SQ200810239539
公開日2010年6月23日 申請日期2008年12月12日 優先權日2008年12月12日
發明者朱軍民, 王琛 申請人:漢王科技股份有限公司