終端裝備中的用于識別字符的設備和方法
【專利摘要】提供一種終端裝備中的用于識別字符的設備和方法。一種移動終端的文本識別方法包括：顯示從相機輸入的預覽圖像；識別在預覽圖像上的文本指示器被放置處的文本圖像；顯示識別的文本數(shù)據(jù)和與識別的文本數(shù)據(jù)相應的至少一個功能項；當功能項被選擇時，執(zhí)行映射到選擇的功能項映射的功能。
【專利說明】終端裝備中的用于識別字符的設備和方法
【技術(shù)領域】
[0001]本公開涉及一種移動終端的文本識別設備和方法，具體地講，涉及一種用于識別由相機拍攝的圖像中的文本的設備和方法。
【背景技術(shù)】
[0002]最近，移動終端配備有用于接收裝置控制命令和數(shù)據(jù)輸入的觸摸面板和用于獲得按照各種格式處理和存儲的圖像的相機。一些移動終端配備有文本和語音識別功能。
[0003]用于移動終端的文本識別方法識別由相機拍攝的或從互聯(lián)網(wǎng)下載的圖像中的字符。
【發(fā)明內(nèi)容】
[0004]為了解決上述缺點，本公開的實施例提供一種用于實時識別由配備相機的移動終端的相機實時拍攝的圖像中的字符的設備和方法。
[0005]為了完成這點，本公開包括用于識別由配備有相機的移動終端顯示的預覽圖像中的聚焦位置處的字符，并且用預定功能處理識別結(jié)果。
[0006]另外，本公開包括 一種用于執(zhí)行以下操作的設備和方法:識別由配備有相機的移動終端捕獲的圖像中的字符，呈現(xiàn)與預定功能相關(guān)的字符，并且執(zhí)行與從呈現(xiàn)的字符中選擇的字符相應的功能。
[0007]本公開的特定實施例包括一種移動終端的文本識別方法。所述方法包括:顯示從相機輸入的預覽圖像；識別在預覽圖像上的指示器被放置處的文本圖像；顯示識別的文本數(shù)據(jù)以及與識別的文本數(shù)據(jù)相應的至少一個功能項；當功能項被選擇時，執(zhí)行映射到選擇的功能項的功能。
[0008]本公開的特定實施例包括一種用于識別包括鏈接信息的文本的方法。所述方法包括:顯示從相機輸入的預覽圖像；識別在預覽圖像上的指示器被放置處的鏈接信息文本圖像；顯示用于執(zhí)行與識別的文本數(shù)據(jù)相關(guān)的功能的至少一個功能項和相應的鏈接信息；當功能項被選擇時，基于鏈接信息執(zhí)行選擇的項的功能。
[0009]本公開的特定實施例包括一種移動終端的文本識別設備。所述設備包括:相機，用于捕獲包括文本的圖像；輸入單元，用于接收輸入信號；控制單元，用于識別在預覽圖像上的文本指示器被放置處的文本圖像，顯示識別的文本數(shù)據(jù)以及與識別的文本數(shù)據(jù)相應的至少一個功能項，當功能項被選擇時，執(zhí)行映射到選擇的功能項的功能；顯示單元，用于在控制單元的控制下顯示文本識別執(zhí)行屏幕。
[0010]在進行下面的詳細描述之前，闡述貫穿本專利文檔中使用的特定詞語和短語的定義會是有益的:術(shù)語“包括”和“包含”及其派生物表示沒有限制的包括；術(shù)語“或”是表示和/或的包括；短語“與…相關(guān)的”和“與其相關(guān)的”及其派生物可表示包括、被包括在…中、與…相互連接、包含、被包含在…中、連接到或與…連接、結(jié)合到或與…結(jié)合、可與…通信、與…協(xié)作、交叉、并列、與…近似、綁定到或與…綁定、具有、具有…的性質(zhì)等；術(shù)語“控制器”表示控制至少一個操作的任何裝置、系統(tǒng)或其部件，這樣的裝置可被實現(xiàn)為硬件、固件或軟件或者所述硬件、固件和軟件中的至少兩個的一些組合。應該注意，無論在本地或遠程，與任何特定的控制器相關(guān)的功能可以是集中式或分布式的。貫穿本專利文檔提供對特定詞語和短語的定義，本領域的普通技術(shù)人員應該理解，在很多情況下(如果不是大多數(shù)示例)，這樣的定義適用于這樣定義的詞語和短語的先前以及將來的使用。
【專利附圖】
【附圖說明】
[0011]為了更全面的理解本公開及其優(yōu)點，現(xiàn)參考下面結(jié)合附圖的描述，在附圖中相同的標號表不相同的部件:
[0012]圖1示出根據(jù)本公開的實施例的終端裝置的配置；
[0013]圖2A到圖2N示出根據(jù)本公開的實施例的在文本識別模式中由移動終端顯示的鍵
屏眷;
[0014]圖3示出根據(jù)本公開的實施例的移動終端的文本識別模式處理；
[0015]圖4示出根據(jù)本公開的實施例的移動終端的預覽模式文本識別處理；
[0016]圖5示出根據(jù)本公開的實施例的移動終端的捕獲圖像模式文本識別處理；
[0017]圖6示出根據(jù)本公開的實施例的在直接鏈接模式下識別來自預覽圖像的文本的處理；
[0018]圖7示出根據(jù)本公開的實施例的在直接鏈接模式下識別捕獲圖像的文本的處理；
[0019]圖8示出圖6和圖7中的糾正識別的文本中的錯誤的處理；
[0020]圖9A到圖9H示出根據(jù)本公開的實施例的與預覽圖像文本識別過程相關(guān)地顯示的
屏眷;
[0021]圖1OA到圖1OE示出根據(jù)本公開的實施例的與捕獲的屏幕圖像文本識別過程相關(guān)地顯示的屏幕；
[0022]圖11示出根據(jù)本公開的實施例的在詞典模式下識別來自預覽圖像的詞語的處理；
[0023]圖12示出根據(jù)本公開的實施例的在詞典模式下識別包括在捕獲的圖像中的所有詞語的處理；
[0024]圖13示出糾正圖11和圖12中的識別的詞語中的錯誤的處理；
[0025]圖14A到圖14F示出根據(jù)本公開的實施例的在詞典模式下與預覽圖像文本識別過程相關(guān)地顯示的屏幕；
[0026]【具體實施方式】
[0027]在本專利文檔中的用于描述本公開的原理的下面討論的圖1到圖15以及各種實施例僅是說明的方式，并不應解釋為以任何方式限制本公開的范圍。本領域的技術(shù)人員將理解，本公開的原理可被實現(xiàn)在任何適當布置的無線通信裝置或系統(tǒng)中。參照附圖詳細描述本公開的實施例。整個附圖中使用相同的標號指示相同或相似部件。
[0028]對實時識別由移動終端的相機拍攝的圖像中的字符的需要正在增加。也就是說，需要一種用于識別位于顯示在配備相機的移動終端上的預覽圖像的預期區(qū)域處的字符，并且基于識別結(jié)果執(zhí)行操作的方法。
[0029]本公開涉及一種用于識別從配備相機的移動終端的相機輸入的預覽圖像中的聚焦位置處的字符以及包括在響應于捕獲請求捕獲的屏幕中的字符的設備和方法。本公開能夠基于字符的檢測來檢查預定功能，按照彈出窗口的形式顯示與字符相應的功能項，并且執(zhí)行與由用戶選擇的項相應的功能。
[0030]圖1示出根據(jù)本公開的實施例的終端裝置的配置。這里，終端裝置是移動終端，諸如，包括智能電話的蜂窩電話以及包括MP3播放器、平板計算機、臺式電腦的其它數(shù)字裝置
坐寸ο
[0031]參照圖1，通信單元120負責與基站進行無線通信。這里，通信單元120包括用于對發(fā)送信號進行上變頻和放大的發(fā)送器和用于對接收到的信號進行低噪放大和下變頻的接收器。通信單元120包括調(diào)制器和解調(diào)器。調(diào)制器對發(fā)送信號進行調(diào)制來將調(diào)制信號輸出到發(fā)送器，解調(diào)器對由接收器接收到的信號進行解調(diào)。調(diào)制器/解調(diào)器可被配置來支持LTE、WCDMA、GSM、W1-F1、WIBRO、NFC、藍牙等。在本公開的實施例中，假設通信單元120包括LTE, W1-Fi和藍牙通信模塊。
[0032]相機160響應于拍攝命令來捕獲圖像。
[0033]控制單元100控制移動終端的整體操作，具體地，識別從相機160輸入的預覽圖像上的聚焦位置處的字符和包括在響應于捕獲請求捕獲的屏幕圖像中的字符。在文本輸入模式下，控制單元100控制檢查預配置功能，根據(jù)檢查的功能，顯示與在由相機160捕獲的圖像中識別的字符相應的功能項，并且執(zhí)行與由用戶選擇的項相應的功能。
[0034]存儲器110包括用于存儲操作系統(tǒng)(OS)和與根據(jù)本公開的實施例的文本識別方法的操作相關(guān)的程序的程序存儲器以及用于存儲用于終端的操作的表和由程序產(chǎn)生的數(shù)據(jù)的數(shù)據(jù)存儲器。
[0035]顯示單元130在控制單元100的控制下顯示關(guān)于正在運行的應用的信息。顯示單元130可使用液晶顯示器(IXD)或有機發(fā)光二級管(OLED)來實現(xiàn)。第一觸摸面板140可被實現(xiàn)為電容式或電阻式，并且將用戶的觸摸(例如，手指觸摸)的位置信息產(chǎn)生到控制單元100。第二觸摸面板150可按照EMR傳感器基座的形式實現(xiàn)，以檢測用筆做出的觸摸，并且將相應的信號產(chǎn)生到控制單元100。顯示單元130、觸摸面板140和EMR面板150可被集成在信號單元中。
[0036]在上述結(jié)構(gòu)的移動終端中，在文本識別模式下，控制單元100激活相機160，并且識別由相機160拍攝的圖像，并且根據(jù)識別結(jié)果執(zhí)行預定功能。圖2A到圖2M是示出根據(jù)本公開的實施例的在文本識別模式下由移動終端顯示的鍵屏幕的示圖。
[0037]在圖2A中，標號210表示以用于配置識別模式的菜單圖標的形式呈現(xiàn)的識別模式項。在本公開的實施例中，假設模式項(菜單圖標)210包括:文本搜索器項211，用于在識別字符圖像時搜索設置的文本；直接鏈接項213，用于作為識別屏幕上的字符圖像的結(jié)果使用識別的字符來執(zhí)行通信功能；詞典(翻譯器)項215，用于作為識別字符圖像的結(jié)果顯示識別的詞語的詞義。標號220是用于將從相機160輸入的圖像捕獲為捕獲圖像的捕獲圖標。標號230是用于指示將被識別的字符的位置的文本指示器。由文本指示器230選擇的字符圖像的識別結(jié)果(即，識別的字符)可被呈現(xiàn)在文本指示器230和用于執(zhí)行與識別的字符相應的功能的功能項的下面。標號240表示示出由相機160輸入的圖像的屏幕圖像。所述圖像可以是預覽模式。在文本識別模式下，實時識別文本指示器230被放置處的字符圖像的字符，并且如果對捕獲項220 (例如，掃描按鈕)做出觸摸，則整體掃描屏幕圖像。項包括按鈕(由圖標表示)和菜單執(zhí)行屏幕。
[0038]圖2B到圖2D示出與圖2A的文本搜索器項211相關(guān)地顯示屏幕。如果選擇文本搜索器項211，則控制單元100顯示包括SIP鍵盤和文本輸入窗口的屏幕251 (在圖2B中示出)。如果在屏幕251的文本輸入窗口中輸入關(guān)鍵字，則控制單元100搜索用于匹配文本(關(guān)鍵字)的圖像，并且如圖2C的屏幕253所示突出顯示匹配文本(關(guān)鍵字)。在完成文本搜索之后，匹配的數(shù)量被指示在顯示單元130的屏幕的上側(cè)。也就是說，如果文本搜索模式被激活，則控制單元100顯示關(guān)鍵字窗口和SIP鍵盤來自動地搜索與輸入在關(guān)鍵字輸入窗口中的關(guān)鍵字匹配的文本，并且如圖2D的屏幕255所示指示搜索結(jié)果。
[0039]圖2E到圖2H示出與圖2A的直接鏈接項213相關(guān)地顯示的屏幕。如果選擇直接鏈接項213，則控制單元100如圖2E的屏幕261所示呈現(xiàn)文本指示器230，如果文本指示器被放置在用于文本識別的文本圖像上，則控制單元100識別相應的位置處的文本，并且如圖2F的屏幕263所示在文本下面顯示功能項。此時，功能項顯示區(qū)域顯示與識別的文本和字符相應的能夠執(zhí)行的功能項。如果如圖2G的屏幕265所示，在預覽模式下選擇捕獲項(掃描圖標)220，則如圖2H的屏幕267所示，控制單元100檢測所述選擇，并且識別與在鏈接模式下可用的類型相應的文本。這里，在鏈接模式下能夠識別的文本包括通信中使用的電子郵件地址、URL、電話號碼或SNS標識符。在識別出鏈接模式下能夠識別的文本的狀態(tài)下，如果用戶選擇識別的文本中的一個，則在屏幕267中示出在鏈接模式下的與選擇的文本相關(guān)的多個能夠執(zhí)行功能項。
[0040]圖21到圖2L示出與在圖2A中的詞典模式(翻譯器)項215相關(guān)地顯示的屏幕。如果選擇詞典項215，則如圖21的屏幕圖像271所示，控制單元100在屏幕上呈現(xiàn)文本指示器230。如果文本指示器230位于文本圖像上，則如圖2J的屏幕273所示，控制單元100自動識別相應位置處的文本并且顯示包括在下面的文本中的詞語的詞義。此時，按照在文本上呈現(xiàn)詞語的簡要含義，隨后呈現(xiàn)詳細描述的方式提供文本的詞義。如果如屏幕275所示，在預覽模式下選擇捕獲項(掃描圖標)220，則如圖2L的屏幕277所示，控制單元100檢測所述選擇，并且識別在鏈接模式下能夠可識別的文本。如果用戶選擇識別的文本中的一個，則控制單元100呈現(xiàn)選擇的文本的詞義。
[0041]在如圖2B到圖2L中所示的識別文本的處理中，控制單元100根據(jù)識別文本的字符大小和長度來改變文本指示器230的大小。另外，控制單元100可改變文本指示器230的顏色來指示識別結(jié)果是否成功。也就是說，在如圖2M的屏幕281到屏幕285所示成功執(zhí)行識別的情況下，在用特定動畫指示識別處理狀態(tài)的同時，文本指示器230根據(jù)由標號287表示的識別出的文本的大小來改變大小。如果確定已經(jīng)成功完成識別，則文本指示器230保持它的初始顏色(例如，白色)。然而，在如圖2N的屏幕291到屏幕295所示執(zhí)行識別失敗的情況下，在用特定動畫指示識別處理的同時，文本指示器230可根據(jù)由標號297表示的識別出的文本的大小來改變大小。如果確定已經(jīng)識別失敗，則文本指示器230將初始顏色(例如，白色)改變?yōu)榱硪活伾?例如，紅色)。此時，如果識別正常結(jié)束，則如屏幕285所示，控制單元100突出顯示識別的文本。
[0042]圖3示出根據(jù)本公開的實施例的移動終端的文本識別模式過程。
[0043]參照圖1到圖3，當用戶執(zhí)行文本識別模式(指示器和)應用時，在塊311，控制單元100檢測文本識別模式，并且在塊313，激活相機160并且顯示在圖2A中示出的鍵屏幕。接下來，在塊315，控制單元100執(zhí)行預覽模式操作來在顯示單元130的屏幕上顯示從相機160輸入的圖像。在這種情況下，顯示單元130的屏幕圖像240包括由相機160拍攝的圖像。在文本識別模式下，用戶可按照執(zhí)行文本識別應用并在如圖2A所示呈現(xiàn)鍵屏幕的狀態(tài)下對目標模式項做出觸摸手勢的方式來選擇識別模式項210中的一個。在文本識別模式下，如果文本指示器230被放置(或聚焦)在文本圖像上，則控制單元100對文本指示器在塊323的位置處的文本進行識別，并且在塊325，對識別的文本進行分析以按照彈出窗口的形式顯示與在顯示單元130的屏幕上的識別的文本相應的功能項。如果用戶(用在第一觸摸面板140上做出的手指觸摸或在第二觸摸面板150上做出的筆觸摸)選擇功能項中的一個，則在塊325，控制單元100檢測所述選擇，并且執(zhí)行映射到相應的功能項的命令。
[0044]根據(jù)用戶的操作(例如，在第一觸摸面板上的手指觸摸或在第二觸摸面板上的筆觸摸)，將文本指示器230放置在屏幕圖像240上的特定位置處。在下面的描述中，假設文本指示器230的初始位置被固定在屏幕的中心。選擇的文本提供與識別的文本相應的功能或含義相關(guān)的至少一個功能項。
[0045]如果在文本識別模式下用在第一觸摸面板140和第二觸摸面板150中的一個上做出的觸摸手勢選擇捕獲項220，則在塊321，控制單元100檢測所述選擇，并且在塊331，將通過相機160輸入的圖像捕獲為靜止圖像以識別在捕獲的靜止圖像中的文本。此時，控制單元100突出顯示在屏幕圖像上識別的文本中的與當前模式有關(guān)的文本。之后，如果用戶將文本指示器230放置在特定文本上，則在塊333，控制單元100對文本指示器230被放置處的文本進行分析，并且顯示與和識別的模式相關(guān)的識別的文本相應的功能項。如果用用戶的觸摸手勢(手指觸摸或筆觸摸)來選擇功能項中的一個，則控制單元100檢測所述選擇，并且根據(jù)選擇的功能項來執(zhí)行由與識別的文本信息相應的功能項表示的功能。
[0046]如果用戶在完成文本識別操作之前或之后請求終止過程，則在塊341，控制單元100檢測對終止的請求，并且結(jié)束文本識別過程。
[0047]當在文本識別操作中發(fā)生錯誤時，用戶可糾正錯誤字符。當檢測到文本識別錯誤時，控制單元100控制改變文本指示器230的顏色(在本實施例中改變?yōu)榧t色)。如果用戶用文本指示器130選擇字符，則控制單元100控制在顯示單元130上顯示的屏幕圖像150的預定位置(在本實施例中顯示區(qū)域的底側(cè))處顯示輸入文本的鍵盤(SIP鍵盤)連同可代替錯誤字符的推薦字符。此時，用戶能夠按照將文本指示器130放置在錯誤字符的位置處并且輸入代替的字符的方式來糾正錯誤字符。
[0048]圖4示出根據(jù)本公開的實施例的移動終端的預覽模式文本識別過程。圖5示出根據(jù)本公開的實施例的移動終端的捕獲圖像模式文本識別過程。
[0049]參照圖4，如圖3所示，在文本識別模式下用相機160的激活顯示預覽屏幕的狀態(tài)下，過程開始。在這個狀態(tài)下，顯示單元130如示出通過相機輸入的圖像的圖2A所示將鍵屏幕顯示為預覽圖像。在預覽模式下，在塊411，控制單元100分析識別模式。這里，識別模式包括用于掃描屏幕圖像的文本搜索器模式、用于識別與通信功能相關(guān)的文本以直接執(zhí)行通信功能的直接鏈接模式和用于提供關(guān)于從屏幕圖像上識別的文本中選擇的詞語的簡要含義和/或細節(jié)的詞典模式。在檢查當前識別模式之后，控制單元100對屏幕圖像執(zhí)行文本識別，并且顯示與識別的文本相關(guān)的功能項。也就是說，用戶將文本指示器230放置在文檔或通過相機輸入的圖像(例如，廣告牌圖像)上的目標文本的位置處。隨后，在塊411，控制單元100對文本指示器230被放置的位置處的文本進行識別，并且顯示與識別的文本相應的功能項。這里，功能項包括執(zhí)行與識別的文本相應的功能的項。功能項可根據(jù)與識別的文本相關(guān)的通信功能具有不同的形狀。詞典模式的功能項提供相應詞語的詞義的簡要內(nèi)容，并且如果識別的詞語具有多種含義，則通過詞性(諸如，動詞和名詞)呈現(xiàn)相應的詞語的代表性含義。
[0050]如果識別錯誤發(fā)生，則控制單元100進行控制，使得文本指示器230通過改變它的顏色來指示識別錯誤。如果用戶指示識別錯誤，則用戶可選擇錯誤識別的字符的位置，使得控制單元100通過第一觸摸面板140和第二觸摸面板150中的一個來檢測所述選擇，并且在屏幕圖像240的預定位置處顯示用于錯誤糾正的鍵盤(SIP鍵盤)。如果用戶使用SIP鍵盤輸入代替字符，則在塊419，控制單元100用代替字符糾正錯誤識別的字符。
[0051]在糾正錯誤識別的字符或執(zhí)行步驟419之后，如果選擇功能項中的一個，則在塊421，控制單元100檢測所述選擇，并且在塊423，執(zhí)行由選擇的項表示的功能服務。此時，如果識別模式是直接鏈接模式，則自動執(zhí)行與識別的文本相應的通信應用。如果識別模式是詞典模式，則顯示選擇的詞語的定義。
[0052]文本識別和功能服務繼續(xù)直到過程結(jié)束。當功能服務結(jié)束時或者響應于對終止過程的用戶請求，過程結(jié)束。如果過程終止請求被產(chǎn)生，則在塊431，控制單元100檢測所述過程終止請求，并且結(jié)束識別模式。
[0053]參照圖5，在文本識別模式下在激活相機160之后通過觸摸捕獲項220捕獲的靜止圖像被顯示為屏幕圖像的狀態(tài)下，過程開始。在這個狀態(tài)下，顯示單元130如圖2所示顯示鍵屏幕，并且捕獲的圖像被呈現(xiàn)為屏幕圖像240。在捕獲識別模式下，在塊511，控制單元100檢查識別模式。如上所述，識別模式可以是文本搜索器模式、直接鏈接模式和詞典模式中的任意。在檢查識別模式之后，在塊513，控制單元100掃描捕獲的屏幕圖像以識別整個文本。如果識別模式是直接鏈接模式，則控制單元100進行控制使得在整個文本中突出顯示與通信相關(guān)的文本。如果識別模式是詞典模式，則控制單元100進行控制使得以詞語為單位突出顯示文本。在已經(jīng)識別出整個文本的狀態(tài)下，用戶可通過將文本指示器230放置在識別的文本中的相應文本的位置處來選擇用于功能服務的文本。隨后，在塊515，控制單元100指示在文本指示器230被放置的位置處的識別的文本，并且顯示與識別的文本相應的功能項。所述功能項是與在直接鏈接模式下的與識別的文本相應的通信以及在詞典模式下的包括在識別的文本中的詞語的簡要定義有關(guān)的項。
[0054]如果識別錯誤發(fā)生，則控制單元100進行控制使得改變文本指示器230的顏色以指示識別錯誤的發(fā)生。如果將識別錯誤呈現(xiàn)給用戶或者由用戶檢查識別錯誤，則用戶可選擇錯誤識別的字符的位置，使得在塊517，控制單元100檢測所述選擇，并且在塊519，在屏幕圖像240的預定位置處顯示用于字符糾正的鍵盤(SIP鍵盤)。如果用戶使用SIP鍵盤輸入代替字符，則在塊521，控制單元100用代替字符糾正錯誤識別的字符。
[0055]在塊521，在糾正錯誤識別的字符之后，如果選擇功能項中的一個，則在塊523，控制單元100檢測所述選擇，并且在塊525，執(zhí)行與選擇的項相應的功能服務。此時，功能服務可包括在直接鏈接模式下執(zhí)行與識別的文本相應的通信應用或在詞典模式下呈現(xiàn)關(guān)于選擇的詞語的詳細定義。
[0056]如果檢測到過程終止請求，則在塊527，控制單元100檢測所述請求，并且結(jié)束捕獲屏幕文本識別模式。
[0057]下面對在直接鏈接模式和詞典模式下的文本識別過程進行描述。在下面的描述中，由“T”表示文本搜索器模式項(如由圖9A的項901所示)，由“D”表示直接鏈接項(如由圖9A的項902所示)，由“D”表示詞典模式項(如由圖9A的項903所示)，由“捕獲”表示捕獲模式項(如由圖9A的項905所示)。
[0058]首先，對在鏈接模式下的識別方法進行描述。圖6示出根據(jù)本公開的實施例的在直接鏈接模式下從識別預覽圖像識別文本的過程。圖7示出根據(jù)本公開的實施例的在直接鏈接模式下識別捕獲圖像的文本的過程。圖8更具體地示出糾正在圖6和圖7中的識別的文本中的錯誤的處理。這里，在直接鏈接模式下的預覽圖像文本識別對于對具有與通信相關(guān)的信息(諸如，電話號碼和/或電子郵件)的名片、廣告?zhèn)鲉魏驼信茍?zhí)行文本識別是有用的。捕獲屏幕圖像文本識別對于對具有各種與通信相關(guān)的文本信息的手冊或小冊子執(zhí)行文本識別是有用的。圖9A到圖9H是示出根據(jù)本公開的實施例的與預覽圖像文本識別過程相關(guān)地顯示的屏幕的示圖，圖1OA到圖1OE是示出根據(jù)本公開的實施例的與捕獲的屏幕圖像文本識別過程相關(guān)地顯示的屏幕的示圖。
[0059]參照圖6，如果選擇直接鏈接模式，則在塊611，控制單元100檢測所述選擇，并且在塊613激活相機160。在塊615，如圖2A所示，控制單元100將從相機單元160輸入的圖像作為即時示圖顯示在顯示單元130的屏幕上，并且呈現(xiàn)鍵屏幕(文本識別Π)。此時，顯示單元130顯示圖9A的屏幕921。這里，識別模式與直接鏈接項902相應，并且屏幕圖像可以是在預覽模式下從相機160輸入的即時圖像。如果在預覽模式下用戶將文本指示器904放置在特定位置處(這里，在郵件文本圖像處)，則如圖9B的屏幕923所示，控制單元100識別并且突出顯示文本指示器904被放置的行906上的文本，并且在塊625，顯示識別的文本907和與識別的文本相應的功能項910。這里，由于識別的文本907是電子郵件地址，因此控制單元100顯示用于執(zhí)行文本消息和郵件的功能項(例如，“發(fā)送電子郵件”、“保存到聯(lián)系人”、“共享”等)。在圖9C中，在橫向模式下顯示屏幕925，使得對橫向模式預覽圖像執(zhí)行文本識別。
[0060]如上所述，基于直接鏈接模式的文本識別方法將直接鏈接的實時模式顯示為執(zhí)行應用時的主屏幕。基于直接鏈接模式的文本識別方法能夠識別在屏幕圖像上的文本指示器被放置處的鏈接信息以提供可用于鏈接信息的性質(zhì)的直接鏈接菜單項(功能項)。參照圖9D，如屏幕931所示，如果文本指示器被放置在預覽圖像的電子郵件地址的位置處，則控制單元100對文本指示器904被放置處的電子郵件地址執(zhí)行文本識別，并且突出顯示識別的文本(即，電子郵件地址)。此時，控制單元100可以以行為單位執(zhí)行文本識別，并且從以行為單位識別的文本中提取與鏈接信息相關(guān)的文本。之后，如在屏幕935中所示，控制單元100按照彈出窗口的形式顯示識別的電子郵件地址和相關(guān)的功能項，并且如果已經(jīng)成功執(zhí)行識另O，則去除突出顯示效果使得連同文本指示器僅顯示功能項。
[0061]在識別文本指示器904被放置處的行上的文本的處理中可發(fā)生錯誤。在這種情況下，如果用戶在識別的文本呈現(xiàn)區(qū)域907中已經(jīng)發(fā)生錯誤的位置處做出觸摸，則在塊627，控制單元檢測所述錯誤，并且在塊629，糾正錯誤識別的字符。在塊629中，在如圖8所示的過程中糾正錯誤識別的字符。
[0062]參照圖8，如果用戶對識別的文本呈現(xiàn)區(qū)域907的特定位置做出觸摸輸入，則在塊811，控制單元100檢測到用于糾正文本的位置被選擇。觸摸手勢可以是手指觸摸手勢或筆觸摸手勢，控制單元100通過第一觸摸面板140和第二觸摸面板150中的一個來檢測做出觸摸手勢的位置(即，錯誤識別字符的位置)。圖9E是針對“η”被錯誤識別為“h”的情況(即，“nam”的文本圖像被錯誤識別為“ham”)。在這種情況下，如果如屏幕941所示，在識別的文本呈現(xiàn)區(qū)域907中輕擊錯誤識別字符的位置，則如屏幕943所示，控制單元100在顯示單元130的屏幕上顯示SIP鍵盤911。之后，用戶使用SIP鍵盤911輸入代替字符，在塊815，控制單元100接收輸入，并且如屏幕945所示，用由用戶輸入的代替字符糾正錯誤識別的字符。如果在這種狀態(tài)下選擇功能項，則在塊817，控制單元100檢測所述選擇，并且執(zhí)行與選擇的功能項相應的功能。然而，如果在沒有選擇任意功能項的情況下終止過程，則過程返回到圖6的主例程。
[0063]此時，錯誤識別可以是下面中的任意:在文本指示器被放置的行上的整個文本的識別失敗以及在識別的文本中錯誤識別至少一個字符的字符識別失敗。在前者情況下，如圖2N的標號291到標號297所示，由于沒有用于顯示的識別的文本，因此需要再次執(zhí)行文本識別處理。在后者情況中，然而，已經(jīng)成功執(zhí)行文本識別處理，但是在文本中至少一個字符被錯誤識別。這是在如圖9E所示在鏈接信息的文本中已經(jīng)發(fā)生錯誤識別時或者在如圖9F所示在鏈接信息中重要的文本數(shù)據(jù)錯誤時的情況。也就是說，如果如圖9F所示，在電子郵件地址中錯誤識別的字符是則控制單元100將電子郵件信息(例如，Kihoonisamsung.com)識別為URL (samsung.com)。在這種情況下，用戶能夠?qū)㈠e誤識別為URL的鏈接信息糾正為原始電子郵件地址。
[0064]在通過圖9E的過程糾正錯誤識別的文本數(shù)據(jù)的情況下，在顯示單元130的屏幕上功能項910被向上移動以保護用于呈現(xiàn)SIP鍵盤911的空間。在這種情況下，由SIP鍵盤911或功能項910隱藏文本指示器904被放置處的行的文本。在這種情況下，用戶無法檢查將被糾正的文本。因此，為了便于糾正錯誤識別的文本，如圖9G所示，進一步提供用于呈現(xiàn)由功能項910或SIP鍵盤911隱藏的文本的識別的文本呈現(xiàn)區(qū)域915。也就是說，如果在文本指示器904被放置處的文本中檢測到任意錯誤識別的字符，并且如果用戶選擇錯誤識別的字符位置，則控制單元100如屏幕965所示顯示SIP鍵盤911，并且顯示由標號915表示的在識別的文本數(shù)據(jù)907和功能項910上面的文本。因此，用戶能夠在查看鏈接信息的文本的同時，糾正錯誤識別的文本。
[0065]在如圖9H中所示的支持語音識別功能的情況下，可通過語音識別處理來糾正錯誤識別的文本。也就是說，如果在如屏幕971所示在預覽圖像上識別文本的狀態(tài)下，在屏幕973中的識別的文本中檢查出錯誤識別的字符，則用戶能夠通過語音識別處理糾正錯誤識別的字符。在這種情況下，如果用戶做出語音輸入以產(chǎn)生“編輯”命令，則控制單元100執(zhí)行語音識別處理以檢測“編輯命令”并且根據(jù)“編輯”命令來糾正錯誤識別的字符。這里，可用“刪除全部”、“退格”和“字母字符”的語音來輸入語音命令。隨后，控制單元100根據(jù)語音命令來糾正錯誤識別的字符，并且執(zhí)行由用與糾正的鏈接信息相關(guān)的語音命令(例如，“發(fā)送電子郵件”、“保存到聯(lián)系人”、“共享”等)選擇的功能項表示的功能。
[0066]當按照語音命令的形式輸入“編輯”命令時，在塊831，控制單元100檢測所述輸入，在塊833，分析語音編輯命令，并且在塊835，根據(jù)分析的語音編輯命令糾正錯誤識別的子符。之后，如果選擇功能項，則在塊837，控制單兀100檢測所述選擇，并且在塊839，執(zhí)燈選擇的項的功能服務。此時，可通過語音輸入或?qū)δ茼椀挠|摸手勢輸入來選擇所述功能項以執(zhí)行相應的功能。
[0067]如果在圖6的塊617中選擇捕獲項，則控制單元100將當前屏幕圖像捕獲為靜止圖像，并且對捕獲的屏幕圖像執(zhí)行文本識別以識別鏈接信息?？扇鐖D7中所示執(zhí)行捕獲圖像文本識別。捕獲屏幕圖像文本識別對于識別包括在文檔圖像(諸如，手冊和小冊子)中的多個鏈接信息項是有益的。
[0068]參照圖7，控制單元100響應于捕獲請求，將預覽模式屏幕圖像捕獲為靜止圖像，在塊721，對整個靜止圖像執(zhí)行文本識別，并且在塊723，如圖1OA的屏幕1021和圖1OB的屏幕1023分別所示，突出顯示包括鏈接信息項的文本。在圖1OA示出的縱向模式屏幕圖像1021中的識別結(jié)果。在圖1OB中示出在橫向模式屏幕圖像1023中的識別結(jié)果。在圖1OA中，標號1001表示在捕獲屏幕圖像中識別的文本和鏈接信息項的數(shù)量的指示，標號1002表示捕獲屏幕剪裁模式的指示，標號1003表示當在屏幕上存在任意識別的直接鏈接時呈現(xiàn)的“保存到聯(lián)系人”的指示，標號1004表示在整個文本上的“文本解析”的指示。用指示由標號1005表示的直接鏈接的類型的圖標以及由標號1006表示的識別為鏈接信息的文本來呈現(xiàn)識別的鏈接信息。這里，鏈路信息的類型可以是URL、電子郵件、電話號碼、地址或SNS標識符中的任意；并且突出顯示識別的鏈接信息項和圖標。
[0069]如果在按照類型分類顯示鏈接信息項的狀態(tài)下，用戶選擇特定鏈接信息，則在塊725，控制單元100檢測所述選擇，并且在塊727顯示選擇的鏈接信息的文本以及與相應的鏈接信息相關(guān)的功能項 。如圖1OC所示，如果在預覽模式下輸入捕獲請求，則如屏幕1031中所示，控制單元100識別文本，如屏幕1033所示，突出顯示識別的鏈接信息項的文本，并且顯示識別的鏈接信息的數(shù)量的指示1001。如果在上述狀態(tài)下選擇特定文本的文本，則控制單元100檢測所述選擇，并且如屏幕1035中所示，顯示選擇的鏈接信息的文本以及與該鏈接信息相關(guān)的功能項。此時，如表1 (下面)所示按照鏈接信息的類型分類功能項。
[0070]表1
[0071]
【權(quán)利要求】
1.一種移動終端的文本識別方法，所述方法包括: 顯示從相機輸入的預覽圖像和鍵屏幕； 從在預覽圖像上的指示器被放置處的文本圖像中識別文本數(shù)據(jù)； 顯示識別的文本數(shù)據(jù)以及與識別的文本數(shù)據(jù)相應的至少一個功能項； 響應于功能項被選擇，執(zhí)行映射到選擇的功能項的功能。
2.如權(quán)利要求1所述的方法，還包括: 響應于用于呈現(xiàn)識別的文本數(shù)據(jù)的識別的文本數(shù)據(jù)區(qū)域被選擇，顯示鍵盤； 用通過鍵盤輸入的文本糾正識別的文本數(shù)據(jù)。
3.如權(quán)利要求2所述的方法，其中，顯示鍵盤的步驟包括: 將鍵盤布置在屏幕的底部區(qū)域； 在屏幕上向上移動選擇的文本數(shù)據(jù)、識別的文本和功能項。
4.如權(quán)利要求2所述的方法，其中，糾正的步驟包括:編輯與在識別的文本數(shù)據(jù)區(qū)域中選擇的文本數(shù)據(jù)相應的文本。
5.如權(quán)利要求2所述的方法，還包括: 在預覽模式下，響應于捕獲請求，捕獲當前屏幕圖像； 在捕獲屏幕的文本圖 像上識別文本數(shù)據(jù)； 響應于特定文本圖像被選擇，顯示從文本圖像中識別的文本數(shù)據(jù)以及與所述文本數(shù)據(jù)相應的功能項； 響應于功能項被選擇，執(zhí)行由選擇的功能項表示的功能。
6.如權(quán)利要求5所述的方法，其中，所述鍵屏幕包括用于選擇相應的識別模式的多個模式項和用于捕獲屏幕圖像的捕獲項。
7.如權(quán)利要求6所述的方法，其中，所述模式項包括: 用于識別在屏幕圖像上的具有鏈接信息的文本圖像的鏈接模式項， 用于提供在屏幕圖像上的識別的文本的詞義的詞典模式項。
8.如權(quán)利要求7所述的方法，其中，所述鏈接信息包括統(tǒng)一資源定位符URL、電子郵件地址和電話號碼中的至少一個。
9.一種移動終端的文本識別設備，所述設備包括: 相機，被配置為拍攝包括文本的圖像； 控制單元，被配置為: 從在預覽圖像上的指示器被放置處的文本圖像中識別文本數(shù)據(jù)， 顯示識別出的文本數(shù)據(jù)以及與識別的文本數(shù)據(jù)相應的至少一個功能項， 響應于功能項被選擇，執(zhí)行映射到選擇的功能項的功能； 顯示單元，被配置為在控制單元的控制下顯示文本識別執(zhí)行屏幕和鍵屏幕。
10.如權(quán)利要求9所述的設備，其中，控制單元被配置為響應于用于呈現(xiàn)識別的文本數(shù)據(jù)的識別的文本數(shù)據(jù)區(qū)域被選擇，控制顯示單元顯示鍵盤，并且用通過鍵盤輸入的文本糾正識別的文本數(shù)據(jù)。
11.如權(quán)利要求10所述的設備，其中，控制單元被配置為將鍵盤布置在屏幕的底部區(qū)域，并且在屏幕上向上移動選擇的文本數(shù)據(jù)、識別的文本和功能項。
12.如權(quán)利要求10所述的設備，其中，控制單元被配置為糾正與在識別的文本數(shù)據(jù)區(qū)域中選擇的文本數(shù)據(jù)相應的文本。
13.如權(quán)利要求9所述的設備，其中，控制單元被配置為: 在預覽模式下，響應于捕獲請求，捕獲當前屏幕圖像； 在捕獲屏幕的文本圖像上識別文本數(shù)據(jù)； 響應于特定文本圖像被選擇，顯示從文本圖像中識別的文本數(shù)據(jù)以及與所述文本數(shù)據(jù)相應的功能項； 響應于功能項被選擇，執(zhí)行由選擇的功能項表示的功能。
14.如權(quán)利要求13所述的設備，其中，所述鍵屏幕包括用于選擇相應的識別模式的多個模式項和用于捕獲屏幕圖像的捕獲項。
15.如權(quán)利要求13所述的設備，其中，所述控制單元還被配置為包括:識別在屏幕圖像上的具有鏈接信息的文本圖像并且提供在屏幕圖像上的識別的文本的詞義。
16.如權(quán)利要求15所述的設備，其中，所述鏈接信息包括統(tǒng)一資源定位符URL、電子郵件地址和電話號碼中的至少·一個。
【文檔編號】G06K9/20GK103714333SQ201310379000
【公開日】2014年4月9日 申請日期:2013年8月27日 優(yōu)先權(quán)日:2012年8月27日
【發(fā)明者】張時學, 金善花, 金熙璡, 樸美貞 申請人:三星電子株式會社