專利名稱：移動設備可視輸入系統和方法
技術領域：
本發明一般涉及圖像捕獲和處理，并且更具體地，涉及經由移動設備的圖像捕獲和處理。
背景技術：
由于物理信息輸入控件(按鈕，按鍵)的大小和數量，諸如PDA和智能電話之類的便攜信息設備受限于信息輸入的用戶界面能力。輸入信息還常常意欲用于第二信息處理的立即使用，并且，從除了鍵盤鍵入以外的輸入方法傳輸的信息通常未被無縫地融合，其導致對用戶操作的破壞和缺乏直覺性。因此，本發明的目的是向移動設備提供改進的圖像捕獲和識別功能。在以下的公開中至少滿足了這些目標中的某些。
發明內容
本發明提供了針對諸如PDA(個人數字助理)之類的便攜通信設備或配備有成像能力的智能電話的改進的用戶界面和信息處理能力。在本發明中，由內嵌的相機所捕獲的圖像被分析，以檢測相關信息的存在，即，利用圖像識別軟件和0CR(光學特征識別)技術來捕獲商用名片的圖像。該相關信息包括名字、電話號碼、電子郵件地址、因特網訪問地址等。 所檢測到的相關信息被作為覆蓋層顯示在原始圖像之上。該覆蓋層可將相關信息加下劃線、加框或高亮，并且，將其與屏幕上的控制(超鏈接)相關聯，以用于后續的用戶操作。與具體的相關信息相關聯的控制執行具體的動作。例如，如果檢測到電話號碼，則用戶可打電話或發送SMS (短消息服務)至電話號碼。如果檢測到電子郵件id，則新的電子郵件創作屏幕被在便攜設備中打開。另外，所捕獲的原始圖像可與其所檢測到的元素(電話號碼、郵件id等)和某些另外的可用信息一起編碼，并且，被發明到服務器以用于進一步的處理，諸如，存檔、共享和分析。網絡服務器分析該圖像，以用于提取設備無法提取的另外的信息。服務器將所檢測到的信息作為原始圖像的元數據的索引。然后，服務器可利用該元數據以用于進一步的應用，諸如，用戶上載文件的關系數據庫、對其他專用和公用網絡內容的推薦等。本發明的系統包括將相關的檢測到的信息作為覆蓋層顯示在所捕獲的圖像之上，該覆蓋層帶有用于后續用戶操作的屏幕上的控制；將屏幕上的控制與具體的用戶動作 (發送郵件、呼叫等)相關聯，將所捕獲的圖像與其他信息(日期、時間等)一起編碼為標準格式，并且，將其發送到網絡服務器以用于進一步的處理，并且，在網絡服務器處接收已編碼的圖像，并且，將所包含的信息做索引以用于第二應用(對網絡內容的推薦等)。本發明包括用于應用帶有文本和/或模式檢測算法的便攜信息/通信設備的可視圖像輸入以提高從所捕獲的圖像所包含的信息的可用性的系統和方法。本發明利用嵌入式相機輸入并組合圖像處理技術、模式識別技術和通信/信息處理步驟，以提供改進的圖像數據。一方面是一種用于在移動設備上處理圖像的系統，包括移動設備，該移動設備包括相機，該相機用于捕獲數字圖像；顯示器，該顯示器用于顯示所捕獲的圖像；以及圖像處理模塊，該圖像處理模塊被配置為檢測包括在所捕獲的圖像中的一個或多個類型的信息；其中，圖像處理模塊被配置為將所檢測到的信息作為單獨層覆蓋在所捕獲的圖像之上， 以用于在顯示器上查看。在一個實施例中，所覆蓋的信息被修改圖形，以將其從所捕獲的圖像中可視地區分開。在另一實施例中，所檢測到的信息包括文本；并且其中，文本的一個或多個部分是各自可被選擇的，以用于執行關于所選文本的后續動作。一個或多個控制被應用到所檢測到的信息，使得一個或多個控制提供在選擇文本的一個或多個部分時在移動設備上執行動作的指令。例如，圖像處理模塊可被配置為識別與電話號碼相關聯的文本，使得一旦選擇與電話號碼相關聯的文本，應用到電話號碼的控制自動撥叫電話號碼。另外，圖像處理模塊可被配置為識別與電子郵件地址相關聯的文本，使得應用到電子郵件地址的控制包括超鏈接，一旦選擇與電子郵件地址相關聯的文本，該超鏈接打開消息應用。另外，圖像處理模塊被配置為識別與URL相關聯的文本，使得應用到URL的控制包括超鏈接，一旦選擇與URL相關聯的文本，該超鏈接自動打開瀏覽器應用。在另一實施例匯總，該系統包括遠程服務器；以及無線連接，該無線連接將移動設備耦合到遠程服務器，使得所捕獲的圖像和檢測到的信息可被上載到遠程服務器以用于進一步的處理。所捕獲的圖像和所檢測到的信息在上載前被編碼成標準成像格式。在優選的實施例中，遠程服務器包括被配置為從所捕獲的圖像檢測第二信息的第二圖像處理模塊。例如，第二圖像處理模塊被配置為將檢測到的信息作為第二應用的元數據的索引。第二圖像處理模塊被配置為上載所檢測到的信息，以用于在關系數據庫中使用。在一個實施例中，遠程服務器包括被配置為將所檢測到的第二信息上載回移動設備的數據傳輸模塊。
另一方面是一種用于在移動設備上處理圖像的方法，包括用與移動設備相關聯的相機捕獲數字圖像；檢測包括在所捕獲的圖像中的一個或多個類型的信息；將所檢測到的信息作為單獨層覆蓋在所捕獲的圖像之上；以及將所捕獲的圖像和所檢測到的信息覆蓋顯示在與移動設備相關聯的顯示器上；在優選實施例中，所覆蓋的信息被修改圖形，以將其從所捕獲的圖像中可視地區分開。當所檢測到奧的信息包括文本時，該方法還包括將文本的一個或多個部分指定為各自可選的，以用于執行關于所選文本的后續動作；在另一實施例中，該方法還包括將一個或多個控制應用到所檢測到的信息；并且其中，一個或多個控制提供一旦選擇文本的一個或多個部分就在移動設備上執行動作的指令。在移動設備上執行動作包括以下的一個或多個一旦選擇與電話號碼相關聯的文本就自動撥叫電話號碼，一旦選擇與電子郵件相關聯的文本就打開消息應用，或一旦選擇與URL 相關聯的文本就打開瀏覽器應用。在另一實施例中，該方法還包括經由無線連接，將移動設備耦合到遠程服務器； 將所捕獲的圖像和所檢測到的信息上載到遠程服務器；以及執行對所捕獲的圖像和所檢測到的信息的另外處理。在另一實施例中，執行另外的處理可包括從所捕獲的圖像檢測第二信息，將檢測到的信息作為第二應用的元數據的索引和/或上載所檢測到的信息，以用于在關系數據庫中使用。另一方面是一種移動設備，包括相機，該相機用于捕獲數字圖像；顯示器，該顯示器用于顯示所捕獲的圖像；以及圖像處理模塊，該圖像處理模塊被配置為檢測包括在所捕獲的圖像中的一個或多個類型的信息；其中，圖像處理模塊被配置為將所檢測到的信息作為單獨層覆蓋在所捕獲的圖像之上，以用于在顯示器上查看。將在說明書的以下部分中給出發明的其他方面，其中，詳細的描述是出于完全公開發明的優選實施例的目的，而不是對其進行限制。
通過參照以下的圖，可更加完整地理解發明，該圖僅用于示出目的圖1是根據本發明的用于圖像捕獲和識別的系統的示意圖。圖2示出了在圖1的系統中所使用的各種軟件應用模塊。圖3示出了根據本發明的用于處理圖像數據的方法的流程圖。圖4示出了根據本發明的方法的所捕獲的圖像和所識別的數據。
具體實施例方式更具體地參照圖，出于示出的目的，本發明體現在圖1至圖4中所一般示出的裝置中。將理解，該裝置可隨著配置和部件的細節的不同而不同，并且，該方法可隨著具體的步驟和序列的不同而不同，只要不偏離此處所公開的基本概念即可。本發明包括連同圖像處理技術、模式識別技術一起的嵌入式相機輸入，并且，通信 /信息處理步驟提高了相機電話/設備的信息處理能力的可用性。
圖1示出了根據本發明的圖像識別系統10。系統10包括經由無線連接14耦合到遠程服務器16的嵌入了相機的電話(例如，智能電話等)/PDA12。電話12包括相機觀、顯示器M、鍵盤22和存儲器20，該存儲器20包括根據本發明所適配的軟件，以用于經由處理器18來處理所捕獲的圖像。電話12還包括天線26，以用于無線地與其他電話或服務器16
ififn。圖2示出了存儲在存儲器20和服務器16中的用于根據本發明處理圖像數據的軟件模塊。電話存儲器20包括圖像捕獲模塊30、圖像預處理模塊32、用戶輸入/操縱模塊 36，以及數據傳輸模塊38，該數據傳輸模塊38用于無線地將已經預處理的圖像傳輸到網絡服務器以用于高級圖像處理。服務器16包括用于對圖像的進一步處理的高級圖像處理模塊49和數據傳輸模塊42，該數據傳輸模塊42用于接收已經預處理的電話數據并將已經高級處理的圖像返回到電話以供用戶使用。圖3示出了根據本發明的圖像識別方法100。在輸入階段期間，圖像捕獲操作一般由用戶執行。可以是圖像捕獲模塊30的一部分的圖像識別算法以預定間隔搜索相機觀實時示圖查找器模式的輸入圖像，以在步驟102處搜索預定義信息類型的一般模式。這些模式可包括電話號碼、電子郵件地址文本信息、條形碼信息等。當所希望的信息圖像被在所捕獲的幀中合適地定位時，圖像被捕獲到設備104。該捕獲控制可由如下中的任一個調用1)通過控制輸入的用戶操作，諸如，物理的(例如，鍵盤22或屏幕上的“快門”按鈕)、2~)用于進一步處理的適當定位的自動圖像區域提取算法、 或3)其他輸入傳感器信號，諸如，來自單獨嵌入到設備上的麥克風的音頻輸入、加速計等 (未示出)。接下來，圖像預處理模塊32可被用于檢測/識別階段，圖4中進一步示出了該檢測/識別階段。圖4示出了對商用名片的圖像捕獲150，該商用名片152具有文本信息154 和其他圖形信息，諸如，圖片156和商標158。在步驟106處，所捕獲的圖像150被分析以用于模式/文本識別。該預處理模塊包括特別配置用于識別各種信息類型(諸如，電話號碼 176、電子郵件地址168、因特網接入地址/網站174、或一般字/短語級別文本識別)的軟件/代碼。然后，所檢測/識別的文本或其他信息160被顯示為所捕獲的原始圖像150之上的覆蓋層，以創建新處理的圖像180(帶有覆蓋160)。在步驟110處，所捕獲的信息160可被顯示為加下劃線的、帶框的、加粗的、高亮的、或其他可視修改，以與原始圖像的信息相區另IJ，并且，在步驟112處，可與屏幕上的控制(超鏈接)相關聯，以用于后續的用戶操作。可選地，如果針對在一個原始捕獲的圖像中的不同信息類型，檢測到多個區域 (例如，文本區域160.、圖片區域170、商標區域172)，在步驟108處，它們被同時呈現，以用于用戶后續選擇在原始圖像中所識別的選項中的一個。在步驟112的信息處理階段期間，取決于檢測到的信息類型，附加到所捕獲圖像 150的控制(例如，超鏈接)被與動作相關聯。例如，電話號碼176可具有設置有預處理模塊32的動作的預定集合。針對電話號碼176，控制動作(例如，通過選擇相關聯的超鏈接)可以是通過呼叫設備12系統的電話呼叫應用(未示出)的對檢測到的號碼176的電話呼叫的開始。可選地，通過當操作超鏈接控制時的另外的下拉菜單選項，SMS/MMS消息開始選項(例如，發送文本、消息等)可被作為可替換選項包括。針對電子郵件地址168，編程的控制動作可以是通過存儲在設備上的電子郵件應用(未示出)打開新的電子郵件創作屏幕。當檢測到諸如URL之類的因特網接入地址174時，編程的控制動作可以是通過利用設備上的網頁瀏覽應用(未示出)而打開因特網頁面。針對一般的文本或不落入具體的與應用相關聯的動作中的任一個的所識別的信息(例如，名字162、位置164、或公司名字166)，默認的控制動作可以是對網頁瀏覽應用的預定義網絡服務的因特網搜索查詢請求，或對專用網絡搜索查詢客戶端應用的因特網搜索查詢請求。用戶指定的動作階段可以經由用戶輸入模塊36發起，并且，可基于在步驟114處從原始捕獲150檢測到的信息來向用戶提供提示或菜單。所捕獲信息的各自組成部分(例如，電話號碼、電子郵件等)可各自由用戶選擇，以用于操作關于所選擇的組成部分的命令。在步驟114中的用戶控制操作或之前的步驟112的多個檢測到的動作中的一個之后， 所希望的應用程序可被激活。在優選的實施例中，系統10可包括另外的基于服務器的處理階段。在步驟114處的用戶指定的動作的背景中，或其完成之后，所捕獲的圖像與檢測到的信息元素一起被在步驟116處編碼成標準的成像格式(例如，諸如JPG、GIF、PNG、TIF等的壓縮格式)。可選地，另外的信息也可與圖像一起編碼，例如，其他傳感器輸入，諸如，日期/時間、地理位置日期等，其可被設備I2系統軟件的其他組件可用。該數據可被編碼為標簽數據，或者在圖像文件格式中，或作為單獨的元數據文件。在步驟118處，已編碼并已預處理的一個或多個文件被經由數據傳輸模塊38 (其可包括用于圖像編碼/加標簽步驟116的代碼)在無線連接14上上載到預定義的網絡服務，該預定義的網絡服務具有被配置用于存檔、共享和分析/合成上載數據的計算機/服務器16。網絡服務服務器優選地包括高級圖像處理應用40，該高級圖像處理應用40被配置為利用服務器16的另外的計算處理功率來在步驟120處進一步分析圖像并執行第二圖像分析和數據提取。應用10可提取另外的信息元素，諸如，第二文本信息元素(如可被作為原始圖像150的更小區域捕獲)，其可能需要另外的在便攜設備系統上不能立即可用的圖像處理功率。處理還可在包括數據的圖形或其他類型的其他指定區域(例如，170、172) 上完成。在步驟122處，網絡服務服務器可將檢測到的元素(例如，文本數據160)作為原始圖像150的元數據做索引。然后，該元數據可被用于服務或設備其他應用對信息的第二應用。這些第二應用的示例是1)用戶上載的檔案文件的關系數據庫、幻對其他專用或公用網絡內容的推薦、3)與其他通信服務的關聯/開始，作為向家人、朋友或社區的通知、4) 與用戶指定的檔案存儲方法的自動同步(諸如，家用計算機上的庫備份)、幻對上載信息的排序/分類，以用于對原始圖像等的進一步搜索。在步驟IM處，第二圖像、或其部分，以及已處理的圖像可隨后被上載回設備12。通過在便攜設備12和遠程服務器16處將一般的圖像文本識別處理分為軟件組件和處理，該便攜設備12可限制對處理功率的需求，以僅本地提取與便攜設備12和其嵌入式設備的立即功耗相關的信息元素。另外，立即提取的信息元素160被立即提供為對原始圖像150和超鏈接動作控制的覆蓋。對輸入到設備特征的物理信息的直覺性關聯是終端用戶很容易識別的，從而提高了設備的可用性。通過無縫地集成網絡上載，對標簽/索引信息元素的詳細分析和對用戶網絡服務 /應用環境的關系分析以及相同的物理輸入(主要是原始圖像數據150)可被合成到更大的信息結構上下文的一部分之中。通過參照對根據發明的實施例的方法和系統的流程圖闡釋，描述了本發明的實施例。這些方法和系統還可被實現為計算機程序產品。在這方面，流程圖的每個塊或步驟以及流程圖中的塊(和/或步驟)的組合可通過各種裝置實現，諸如，硬件、固件和/或軟件， 該軟件包括體現為計算機可讀程序代碼邏輯的一個或多個計算機測繪那個徐指令。如將被理解的，任意這種計算機程序指令可被載入到計算機中，包括但不限于通用計算機或專用計算機、或其他制造機器的可編程處理裝置，使得在計算機或其他可編程處理裝置上執行的計算機程序指令創建用于實現在一個或多個流程圖的一個或多個塊中所指定的功能。因此，流程圖的塊支持用于執行所指定功能的裝置的組合、用于執行所指定功能的步驟的組合、以及計算機程序指令，諸如，體現在計算機可讀程序代碼邏輯裝置中，以用于執行所指定的功能。還將理解，流程圖闡釋的每個塊以及流程圖闡釋中的塊的組合可由基于硬件的專用計算機系統實現，該基于硬件的專用計算機系統可執行所指定的功能或步驟、或專用硬件和計算機可讀程序代碼邏輯裝置的組合。另外，諸如體現為計算機可讀程序代碼邏輯之類的這些計算機程序指令還可被存儲在計算機可讀存儲器中，該計算機可讀存儲器可指導計算機或其他可編程處理裝置來以特定的方式工作，使得存儲在計算機可讀存儲器中的指令制造包括指令裝置的制品，該指令裝置實現了在一個或多個流程圖的一個或多個塊中所指定的功能。計算機程序指令還可被載入到計算機或其他可編程處理裝置上，以導致一系列操作步驟在計算機或其他可編程處理裝置上執行，以產生計算機實現的處理，使得在計算機或其他可編程處理裝置上執行的指令提供用于實現在一個或多個流程圖中的一個或多個塊中所指定的功能的步驟。因此，可見本發明中包括以下創造性實施例1. 一種移動設備，包括相機，該相機用于捕獲數字圖像；顯示器，該顯示器用于顯示所捕獲的圖像；以及圖像處理模塊，該圖像處理模塊被配置為檢測包括在所述所捕獲的圖像中的一個或多個類型的信息；其中，所述圖像處理模塊被配置為將所檢測到的信息作為單獨層覆蓋在所述所捕獲的圖像之上，以用于在所述顯示器上查看。2.根據實施例1所述的設備，其中，所覆蓋的信息被修改圖形，以將其從所述所捕獲的圖像中可視地區分開。3.根據實施例1所述的設備其中，所述所檢測到的信息包括文本；并且其中，所述文本的一個或多個部分是各自可被選擇的，以用于執行關于所選文本的后續動作。4.根據實施例2所述的設備其中，一個或多個控制被應用到所述所檢測到的信息；并且其中，所述一個或多個控制提供在選擇文本的一個或多個部分時在所述移動設備上執行動作的指令。5.根據實施例3所述的設備其中，所述圖像處理模塊被配置為識別與電話號碼相關聯的文本；并且其中，一旦選擇與所述電話號碼相關聯的文本，應用到所述電話號碼的控制自動撥叫所述電話號碼。6.根據實施例3所述的設備其中，所述圖像處理模塊被配置為識別與電子郵件地址相關聯的文本；并且其中， 應用到所述電子郵件地址的控制包括超鏈接，一旦選擇與所述電子郵件地址相關聯的文本，該超鏈接自動打開消息應用。7.根據實施例3所述的設備其中，所述圖像處理模塊被配置為識別與URL相關聯的文本；并且其中，應用到所述URL的控制包括超鏈接，一旦選擇與所述URL相關聯的文本，該超鏈接自動打開瀏覽器應用。8. 一種用于在移動設備上處理圖像的系統，包括(a)移動設備，所述移動設備包括(i)相機，該相機用于捕獲數字圖像；(ii)顯示器，該顯示器用于顯示所捕獲的圖像；以及(iii)圖像處理模塊，該圖像處理模塊被配置為檢測包括在所述所捕獲的圖像中的一個或多個類型的信息；(iv)其中，所述圖像處理模塊被配置為將所檢測到的信息作為單獨層覆蓋在所述所捕獲的圖像之上，以用于在所述顯示器上查看；(b)遠程服務器；以及(c)無線連接，該無線連接將所述移動設備耦合到所述遠程服務器，使得所述所捕獲的圖像和檢測到的信息可被上載到所述遠程服務器以用于進一步的處理。9.根據實施例8所述系統，其中，所覆蓋的信息被修改圖形，以將其從所述所捕獲的圖像中可視地區分開。10.根據實施例8所述的系統其中，所述所檢測到的信息包括文本；并且其中，所述文本的一個或多個部分是各自可被選擇的，以用于執行關于所選文本的后續動作。11.根據實施例9所述的系統其中，一個或多個控制被應用到所述所檢測到的信息；并且其中，所述一個或多個控制提供在選擇文本的一個或多個部分時在所述移動設備上執行動作的指令。12.根據實施例10所述的系統其中，所述圖像處理模塊被配置為識別與電話號碼相關聯的文本；并且其中，一旦選擇與所述電話號碼相關聯的文本，應用到所述電話號碼的控制自動撥叫所述電話號碼。13.根據實施例10所述的系統其中，所述圖像處理模塊被配置為識別與電子郵件地址相關聯的文本；并且其中，應用到所述電子郵件地址的控制包括超鏈接，一旦選擇與所述電子郵件地址相關聯的文本，該超鏈接自動打開消息應用。14.根據實施例10所述的系統其中，所述圖像處理模塊被配置為識別與URL相關聯的文本；并且其中，應用到所述URL的控制包括超鏈接，一旦選擇與所述URL相關聯的文本，該超鏈接自動打開瀏覽器應用。15.根據實施例8所述的系統，其中，所述所捕獲的圖像和所檢測到的信息在上載前被編碼成標準成像格式。16.根據實施例8所述的系統，其中，所述遠程服務器包括被配置為從所述所捕獲的圖像檢測第二信息的第二圖像處理模塊。17.根據實施例16所述的系統，其中，所述第二圖像處理模塊被配置為將檢測到的信息作為第二應用的元數據的索引。18.根據實施例16所述的系統，其中，所述第二圖像處理模塊被配置為上載所述所檢測到的信息，以用于在關系數據庫中使用。19.根據實施例16所述的系統，其中，所述遠程服務器包括被配置為將所檢測到的第二信息上載回所述移動設備的數據傳輸模塊。20. 一種用于在移動設備上處理圖像的方法，包括用與所述移動設備相關聯的相機捕獲數字圖像；檢測包括在所述所捕獲的圖像中的一個或多個類型的信息；將所述所檢測到的信息作為單獨層覆蓋在所捕獲的圖像之上；將所述所捕獲的圖像和所檢測到的信息覆蓋顯示在與所述移動設備相關聯的顯不器上。21.根據實施例20所述的方法，其中，所覆蓋的信息被修改圖形，以將其從所述所捕獲的圖像中可視地區分開。22.根據實施例20所述的方法，其中，所檢測到的信息包括文本，所述方法還包括將所述文本的一個或多個部分指定為各自可選的，以用于執行關于所選文本的后續動作。23.根據實施例20所述的方法，還包括將一個或多個控制應用到所述所檢測到的信息；并且其中，所述一個或多個控制提供在選擇文本的一個或多個部分時在所述移動設備上執行動作的指令；24.根據實施例23所述的方法，其中，在所述移動設備上執行動作包括以下的一個或多個一旦選擇與所述電話號碼相關聯的文本就自動撥叫電話號碼，一旦選擇與電子郵件相關聯的文本就打開消息應用，或一旦選擇與URL相關聯的文本就打開瀏覽器應用。25.根據實施例20所述的方法，還包括經由無線連接，將所述移動設備耦合到遠程服務器；將所述所捕獲的圖像和所檢測到的信息上載到所述遠程服務器；以及執行對所述所捕獲的圖像和所檢測到的信息的另外處理。26.根據實施例25所述的方法，其中，所述所捕獲的圖像和所檢測到的信息在上載前被編碼成標準成像格式。27.根據實施例25所述的方法，其中執行另外的處理包括從所述所捕獲的圖像
檢測第二信息。28.根據實施例27所述的方法，還包括將檢測到的信息作為第二應用的元數據的索引。29.根據實施例觀所述的方法，還包括上載所述所檢測到的信息，以用于在關系數據庫中使用。
30.根據實施例27所述的方法，還包括將所檢測到的第二信息上載回所述移動設備。雖然以上的描述可包括細節，但是，這些不應當被看作是限制發明的范圍，而是僅提供對該發明的當前優選的實施例中的某些的闡釋。因此，將理解，本發明的范圍完全涵蓋對本領域技術人員而言可變得顯然的其他實施例，并且因此，本發明的范圍僅由所附權利要求限定，其中，對單體的參照并不意欲意味著“一個并且僅一個”，除非如此明確地聲明， 而是意味著“一個或多個”。本領域技術人員所公知的等同于上述優選實施例的元素的所有結構的、化學的和功能的等同物都通過引用被明確結合于此，并且，意欲被當前的權利要求所涵蓋。另外，設備或方法不必涉及由本發明所尋求解決的每一個問題，因為其將由本權利要求所涵蓋。另外，本公開中的元素、組成部分或方法步驟都不意欲專用于公共，不管元素、組成部分或方法步驟是否明確地在權利要求中敘述。此處，沒有權利要求元素將在35U. S. C. 112的第六段所提供的法理下理解，除非元素被用短語“用于…的裝置”而被明確描述。
權利要求
1.一種移動設備，包括相機，該相機用于捕獲數字圖像；顯示器，該顯示器用于顯示所捕獲的圖像；以及圖像處理模塊，該圖像處理模塊被配置為檢測包括在所述所捕獲的圖像中的一個或多個類型的信息；其中，所述圖像處理模塊被配置為將所檢測到的信息作為單獨層覆蓋在所述所捕獲的圖像之上，以用于在所述顯示器上查看。
2.根據權利要求1所述的設備，其中，所覆蓋的信息被修改圖形，以將其從所述所捕獲的圖像中可視地區分開。
3.根據權利要求1所述的設備其中，所述所檢測到的信息包括文本；并且其中，所述文本的一個或多個部分是各自可被選擇的，以用于執行關于所選文本的后續動作。
4.根據權利要求2所述的設備其中，一個或多個控制被應用到所述所檢測到的信息；并且其中，所述一個或多個控制提供在選擇文本的一個或多個部分時在所述移動設備上執行動作的指令。
5.根據權利要求3所述的設備其中，所述圖像處理模塊被配置為識別與電話號碼相關聯的文本；并且其中，一旦選擇與所述電話號碼相關聯的文本，應用到所述電話號碼的控制自動撥叫所述電話號碼。
6.根據權利要求3所述的設備其中，所述圖像處理模塊被配置為識別與電子郵件地址相關聯的文本；并且其中，應用到所述電子郵件地址的控制包括超鏈接，一旦選擇與所述電子郵件地址相關聯的文本，該超鏈接自動打開消息應用。
7.根據權利要求3所述的設備其中，所述圖像處理模塊被配置為識別與URL相關聯的文本；并且其中，應用到所述URL的控制包括超鏈接，一旦選擇與所述URL相關聯的文本，該超鏈接自動打開瀏覽器應用。
8.一種用于在移動設備上處理圖像的系統，包括(a)移動設備，所述移動設備包括 (i)相機，該相機用于捕獲數字圖像；( )顯示器，該顯示器用于顯示所捕獲的圖像；以及(iii)圖像處理模塊，該圖像處理模塊被配置為檢測包括在所述所捕獲的圖像中的一個或多個類型的信息；(iv)其中，所述圖像處理模塊被配置為將所檢測到的信息作為單獨層覆蓋在所述所捕獲的圖像之上，以用于在所述顯示器上查看；(b)遠程服務器；以及(c)無線連接，該無線連接將所述移動設備耦合到所述遠程服務器，使得所述所捕獲的圖像和檢測到的信息可被上載到所述遠程服務器以用于進一步的處理。
9.根據權利要求8所述系統，其中，所覆蓋的信息被修改圖形，以將其從所述所捕獲的圖像中可視地區分開。
10.根據權利要求8所述的系統其中，所述所檢測到的信息包括文本；并且其中，所述文本的一個或多個部分是各自可被選擇的，以用于執行關于所選文本的后續動作。
11.根據權利要求9所述的系統其中，一個或多個控制被應用到所述所檢測到的信息；并且其中，所述一個或多個控制提供在選擇文本的一個或多個部分時在所述移動設備上執行動作的指令。
12.根據權利要求10所述的系統其中，所述圖像處理模塊被配置為識別與電話號碼相關聯的文本；并且其中，一旦選擇與所述電話號碼相關聯的文本，應用到所述電話號碼的控制自動撥叫所述電話號碼。
13.根據權利要求10所述的系統其中，所述圖像處理模塊被配置為識別與電子郵件地址相關聯的文本；并且其中，應用到所述電子郵件地址的控制包括超鏈接，一旦選擇與所述電子郵件地址相關聯的文本，該超鏈接自動打開消息應用。
14.根據權利要求10所述的系統其中，所述圖像處理模塊被配置為識別與URL相關聯的文本；并且其中，應用到所述URL的控制包括超鏈接，一旦選擇與所述URL相關聯的文本，該超鏈接自動打開瀏覽器應用。
15.根據權利要求8所述的系統，其中，所述所捕獲的圖像和所檢測到的信息在上載前被編碼成標準成像格式。
16.根據權利要求8所述的系統，其中，所述遠程服務器包括被配置為從所述所捕獲的圖像檢測第二信息的第二圖像處理模塊。
17.根據權利要求16所述的系統，其中，所述第二圖像處理模塊被配置為將檢測到的信息作為第二應用的元數據的索引。
18.根據權利要求16所述的系統，其中，所述第二圖像處理模塊被配置為上載所述所檢測到的信息，以用于在關系數據庫中使用。
19.根據權利要求16所述的系統，其中，所述遠程服務器包括被配置為將所檢測到的第二信息上載回所述移動設備的數據傳輸模塊。
20.一種用于在移動設備上處理圖像的方法，包括 用與所述移動設備相關聯的相機捕獲數字圖像；檢測包括在所述所捕獲的圖像中的一個或多個類型的信息； 其中，所檢測到的信息包括文本；將所述文本的一個或多個部分指定為各自可選的，以用于執行關于所選文本的后續動作；將所述所檢測到的信息作為單獨層覆蓋在所捕獲的圖像之上；將所述所捕獲的圖像和所檢測到的信息覆蓋顯示在與所述移動設備相關聯的顯示器上；將一個或多個控制應用到所述所檢測到的信息；其中，所述一個或多個控制提供在選擇文本的一個或多個部分時在所述移動設備上執行動作的指令；經由無線連接，將所述移動設備耦合到遠程服務器；將所述所捕獲的圖像和所檢測到的信息上載到所述遠程服務器；以及執行對所述所捕獲的圖像和所檢測到的信息的另外處理。
全文摘要
用于在移動設備上處理圖像的系統和方法，包括移動設備，該移動設備包括相機，該相機用于捕獲數字圖像；顯示器，該顯示器用于顯示所捕獲的圖像；以及圖像處理模塊，該圖像處理模塊被配置為檢測包括在所捕獲的圖像中的一個或多個類型的信息。圖像處理模塊被配置為將所檢測到的信息作為單獨層覆蓋在所捕獲的圖像之上，以用于在顯示器上查看。該系統還包括無線連接，該無線連接將移動設備耦合到遠程服務器，使得所捕獲的圖像和檢測到的信息可被上載到遠程服務器以用于進一步的處理。
文檔編號H04W4/12GK102474902SQ201080035845
公開日2012年5月23日 申請日期2010年10月1日 優先權日2009年10月5日
發明者白井和彥, 羽原恭寬 申請人:索尼公司, 索尼電子有限公司