翻譯裝置的制作方法

本發明涉及對拍攝的圖像中包含的字符進行識別，并對識別出的字符進行翻譯的翻譯裝置等。

背景技術：

以往，已知通過OCR(Optical Character Recognition：光學字符識別)來識別拍攝中的圖像中包含的字符串，并對得到的字符串進行翻譯并顯示的便攜終端。另外，在便攜終端中，有辨別畫面的縱橫，表示當前的畫面是縱畫面還是橫畫面的規格的便攜終端。而且，在專利文獻1中，公開了表示拍攝裝置的傾斜狀態的技術。

現有技術文獻

專利文獻

專利文獻1：日本公開特許公報“特開2009-122628號公報(2009年6月4日公開)”

技術實現要素：

發明要解決的問題

在通過OCR識別并翻譯圖像中包含的字符串的情況下，若裝置要翻譯的字符串的方向和實際的字符串的方向不同，則翻譯變得困難。

參照圖7對此進行說明。如上所述，便攜終端中具有具備判斷本終端是縱畫面還是橫畫面的功能的便攜終端。并且，在本終端為縱畫面的情況下，如圖7(a)所示，要翻譯的字符串的方向例如在翻譯英語的情況下為便攜終端的短邊方向。另外，在本終端為橫畫面的情況下，如圖7(b)所示，要翻譯的字符串的方向為便攜終端的長邊方向。

因此，在用戶無法容易地識別本終端是縱畫面還是橫畫面的情況下，可能造成便攜終端要翻譯的字符串的方向和實際的字符串的 方向不同。例如，如圖7(c)所示在拍攝桌子上的書籍(傳單)的情況下，便攜終端的畫面成為與地面水平的狀態，用戶難以識別是縱畫面還是橫畫面。由此，用戶識別要翻譯的字符串的方向和實際的字符串的方向是否一致是困難的。

這不能通過上述專利文獻1記載的技術消除。

本發明是鑒于上述問題而完成的，其目的在于提供用戶能識別要翻譯的字符串的方向的翻譯裝置等。

用于解決問題的方案

為了解決上述問題，本發明的一方式的翻譯裝置對拍攝圖像中包含的字符進行識別，對識別出的字符進行翻譯并將其顯示在顯示部，上述翻譯裝置的特征在于，具備：翻譯字符串方向決定單元，其決定翻譯字符串方向，上述翻譯字符串方向是要翻譯的字符串的方向；翻譯字符串方向顯示控制單元，其將翻譯字符串方向信息顯示在顯示部，上述翻譯字符串方向信息是表示上述翻譯字符串方向決定單元決定的翻譯字符串方向的信息；以及翻譯單元，其針對上述識別出的字符，將上述翻譯字符串方向決定單元決定的方向視為字符串的方向來對一串字符進行翻譯。

發明效果

根據本發明的一方式，由于提示表示要翻譯的字符串的方向的信息，因此具有用戶能容易識別要翻譯的字符串的方向的效果。

附圖說明

圖1是表示本發明的實施方式的翻譯裝置的主要部分構成的框圖。

圖2是表示上述翻譯裝置的畫面例的圖。

圖3是表示上述翻譯裝置的翻譯處理的流程的流程圖。

圖4是表示上述翻譯裝置的翻譯處理的流程的流程圖。

圖5是表示上述翻譯裝置的翻譯處理的流程的流程圖。

圖6是表示上述翻譯裝置的翻譯處理的流程的流程圖。

圖7是用于說明以往技術的問題點的圖，(a)是表示縱畫面的 例子的圖，(b)是表示橫畫面的例子的圖，(c)是表示縱畫面和橫畫面的區別是困難的狀況的圖。

具體實施方式

〔實施方式1〕

參照圖1～圖3說明本發明的一實施方式。圖1是表示本實施方式的便攜終端(翻譯裝置)1的主要部分構成的框圖。便攜終端1通過OCR(Optical Character Recognition：光學字符識別)對拍攝中的圖像中包含的字符串進行字符識別處理，并進行通過字符識別處理取得的字符(串)的翻譯。在執行翻譯處理時，若通過字符識別處理取得的字符串的方向和執行翻譯處理的字符串的方向(以下，稱為翻譯字符串方向)不同，則不能準確地執行翻譯處理。由此，便攜終端1將表示執行翻譯處理的字符串的方向的信息在適當的定時顯示在適當的位置。由此，用戶能容易地識別翻譯字符串方向。

〔便攜終端1的構成〕

如圖1所示，便攜終端1包含控制部10、觸摸面板11、拍攝部12以及方向檢測部13。

觸摸面板11具備顯示部16和操作接收部17(輸入面)，接收對輸入面的接觸或接近，將表示有接觸或接近的位置的信息通知給控制部10，并且顯示由控制部10通知的信息。

顯示部16進行信息的顯示，例如是液晶顯示器、有機EL顯示器等。操作接收部17是接收用戶的輸入操作的用戶界面，配置在與顯示部16的顯示畫面重疊的位置。

拍攝部12是用于拍攝對象物的拍攝裝置，是所謂的照相機。此外，拍攝部12可以拍攝照片等靜止圖像，也可以拍攝動態圖像等視頻。另外，也能拍攝靜止圖像和視頻兩者。拍攝部12由控制部10控制，拍攝對象物。另外，拍攝部12將拍攝到的靜止圖像、動態圖像輸出給圖像取得部21。

方向檢測部13檢測便攜終端1的方向，并將檢測到的結果通知 給顯示控制部23。作為方向檢測部13的例子，可列舉地磁傳感器、陀螺儀傳感器等。

控制部10執行包含取得的圖像的字符識別處理、翻譯處理等的便攜終端1的各種處理，包含圖像取得部21、AF處理部22、翻譯字符串方向決定部(翻譯字符串方向決定單元)23、翻譯字符串方向顯示控制部(翻譯字符串方向顯示控制單元)24、字符識別部(被拍攝體角度判斷單元)25以及翻譯部(翻譯單元)26。

圖像取得部21通過拍攝部12取得圖像，并將取得的圖像發送給字符識別部25。

AF處理部22進行對準拍攝部12的焦點的處理(AF(Auto Focus：自動對焦)處理)，并且在開始了該處理時，將這一情況通知給翻譯字符串方向判斷部23。

翻譯字符串方向決定部23在從AF處理部22接收到開始AF處理的通知時，參照由方向檢測部13通知的便攜終端1的方向，決定便攜終端1的方向和進行翻譯處理的字符串的方向的關系。更詳細地說，例如，在將英語翻譯成其它語言的情況下，由于英語的字符串是橫的，因此當便攜終端1處于縱畫面狀態時，將便攜終端1的短邊方向決定為翻譯字符串方向，當便攜終端1處于橫畫面狀態時，將便攜終端1的長邊方向決定為翻譯字符串方向。在此，縱畫面狀態是指在顯示畫面為長方形的便攜終端1中顯示畫面的長邊比短邊接近垂直的狀態的情況下的顯示狀態，橫畫面狀態是指短邊比長邊接近垂直的狀態的情況下的顯示狀態。

翻譯字符串方向顯示控制部24將表示翻譯字符串方向決定部23決定的翻譯字符串方向的信息按規定時間顯示在顯示部16。表示翻譯字符串方向的信息是表示字符的方向及字符串的方向與便攜終端1的方向的關系的信息。

圖2示出表示翻譯字符串方向的信息的例子。圖2表示便攜終端1的顯示畫面例，圖標(翻譯字符串方向信息)101是表示翻譯字符串方向的信息。圖標101由“A”表示字符的方向，由幾行橫線(橫杠)表示翻譯字符串的方向。由此，在圖標101的例子中，表示進 行字符的方向為顯示畫面的長邊方向而字符串的方向為顯示畫面的短邊方向的字符串的翻譯。此外，圖標101不限于此，只要是能識別字符的方向和字符串的方向的顯示，可以是任意的。例如，字符的方向不限于“A”這樣的顯示，可以是其它字母，也可以是其它語言。另外，也可以使用不是語言的箭頭等來進行顯示。另外，字符串的方向不限于線，也可以是箭頭、語句、圖形等。另外，圖標101也可以是半透明的。

另外，圖標101的顯示位置在作為翻譯對象的字符串的附近，例如，在顯示畫面的大致中央。由此，用戶能明確地識別圖標101。這是因為，用戶注視作為翻譯對象的字符串的可能性高，如果將圖標101顯示在作為翻譯對象的字符串的附近，則圖標101進入用戶的視野的可能性變高。

另外，規定時間是指用戶能夠識別并且顯示圖標101不會讓用戶感到煩擾的時間，例如為1秒程度(0.5秒～1.5秒)。

字符識別部25進行圖像取得部21取得的圖像中包含的字符的識別處理。例如通過OCR進行字符識別處理。然后，將字符識別處理的結果通知給翻譯部26。

翻譯部26對由字符識別部25通知的字符識別處理的結果進行翻譯處理。將在翻譯字符串方向決定部23決定的方向排列的字符作為一個字符串來進行翻譯處理。

〔翻譯處理的流程〕

接著，參照圖3說明便攜終端1的翻譯處理的流程。圖3是表示便攜終端1的翻譯處理的流程的流程圖。如圖3所示，當開始拍攝時，AF處理部22開始AF處理(S1)，并且與之并行地，圖像取得部21取得圖像(S21)。

并且，當開始AF處理時，翻譯字符串方向決定部23決定翻譯字符串方向(S2)，翻譯字符串方向顯示控制部24將表示決定的翻譯字符串方向的信息(翻譯字符串方向信息)顯示在顯示部16(S3)。之后，當便攜終端1的方向有變化時(在S4中為“是”)，翻譯字符串方向決定部23將翻譯字符串方向決定為與變化后的便攜終端1的 方向一致，翻譯字符串方向顯示控制部24將表示決定的翻譯字符串方向的翻譯字符串方向信息顯示在顯示部16。并且，在便攜終端1的方向不變化(在S4中為“否”)，經過規定時間(在S5中為“是”)時，翻譯字符串方向顯示控制部24消去翻譯字符串方向信息(S6)。

另一方面，由字符識別部25對由圖像取得部21取得的圖像進行字符識別處理(S22)，翻譯部26在字符串排列在翻譯字符串方向決定部23決定的翻譯字符串方向的情況下對字符識別處理的結果進行翻譯處理(S23)。然后，將翻譯結果顯示在顯示部16(S24)。

另外，開始AF處理，之后，在AF處理結束后(在S11中為“是”)，當焦點不對準或探測到對觸摸面板11的接觸時(在S12中為“是”)，返回步驟S1的AF處理。另一方面，如果焦點對準，或沒有對觸摸面板11的接觸(在S12中為“否”)，直接返回拍攝中。

此外，步驟S3的翻譯字符串方向顯示處理和步驟S11的AF處理結束沒有關系，不管AF處理是否結束(不管焦點對準還是不對準)，都進行翻譯字符串方向顯示處理。

〔實施方式2〕

參照圖4說明本發明的另一實施方式。在本實施方式中，顯示表示被拍攝體傾斜的信息這一點與上述實施方式1不同。被拍攝體(例如，記載有字符等的書)傾斜的狀態是指被拍攝體與便攜終端1的拍攝方向不垂直(或大致垂直)的狀態。

在被拍攝體傾斜的情況下，記載在被拍攝體上的字符也會以具有角度的狀態被拍攝，由此使字符識別處理的精度降低。并且，當字符識別處理的精度降低時，之后的翻譯結果會變得不準確。由此，將被拍攝體處于傾斜的狀態的內容通知給用戶，由此能確保翻譯處理的正確性。

在本實施方式中，使用字符識別部25的字符識別處理的結果，提取被拍攝體的傾斜度，在傾斜度超過規定值的情況下，將該傾斜度通知給翻譯字符串方向顯示控制部24。當字符識別部25將表示傾斜度超過規定值的信息通知給翻譯字符串方向顯示控制部24時，使顯示部16顯示的圖標101的顯示改變顏色、閃爍等而變得不同。例 如，在傾斜度不超過規定值的情況下，使圖標101的顏色呈白色，當傾斜度超過規定值的情況下，使圖標101的顏色呈紅色。或者，在傾斜度不超過規定值的情況下，直接顯示圖標101，在傾斜度超過規定值的情況下，閃爍地顯示圖標101。另外，可以根據傾斜度的程度來改變顏色的濃度，也可以改變閃爍的周期。

此外，在字符識別處理中，檢測被拍攝體的傾斜度的技術是公知的，因此在此省略其說明。

參照圖4說明本實施方式的翻譯處理的流程。在圖4中，與上述實施方式1的圖3不同的點是步驟3和步驟S22。在本實施方式中，加入步驟22a的“字符識別處理和傾斜度提取”來代替圖3的步驟22的“字符識別處理”，加入步驟3a的“翻譯字符串方向顯示(包含傾斜度信息)”來代替圖3的步驟3的“翻譯字符串方向顯示”。

〔實施方式3〕

參照圖5、6說明本發明的另一實施方式。在本實施方式中，與上述實施方式不同的是顯示圖標101的定時。在上述實施方式中，開始AF處理時，決定翻譯字符串方向，進行圖標101的顯示，但是在本實施方式中，方向檢測部13檢測便攜終端1的縱橫，在便攜終端1的縱橫有變化，換句話說，在縱畫面狀態和橫畫面狀態有切換時，決定翻譯字符串方向，進行圖標101的顯示。

圖5表示代替上述實施方式1的AF處理而進行便攜終端1的縱橫切換檢測的情況下的流程圖。在本實施方式中，經過了代替圖2的步驟S1的“AF處理開始”的步驟S31的“縱/橫切換檢測”時(在S31中為“是”)，進入下一步驟S2。

圖6表示代替上述實施方式2的AF處理而進行便攜終端1的縱橫切換檢測的情況下的流程圖。在本實施方式中，經過了代替圖3的步驟S1的“AF處理開始”的步驟S31的“縱/橫切換檢測”時(在S31中為“是”)，進入下一步驟S2。

〔其它〕

此外，在上述實施方式中，是以字符串是橫的語言(例如英語)為前提進行記載的，但是翻譯對象語言不限于此，也可以是字符串 為縱的語言。特別是，本發明的圖標101明確地顯示作為翻譯對象的字符的方向和字符串的方向。因此，可以說在字符串不限定于橫的情況的方面，本發明是更有效的。這是因為，便攜終端1的方向僅表示字符的方向，不表示橫寫或縱寫的信息。因此，用戶難以判斷哪個方向的字符串被翻譯。

另外，作為上述本實施方式的便攜終端1的適用場景，可以列舉以下的例子。例如，在由便攜終端1執行字符串的翻譯處理的情況下，用戶注視作為翻譯對象的字符串。由此，即使在顯示部16的角部提示某種信息，用戶也可能識別不到。并且，作為一般的人的傾向，調整便攜終端1(的照相機(拍攝部12)的位置)，使得作為翻譯對象的字符串盡量寫在顯示部16的中央附近。

并且，在記載有翻譯對象的字符串的書等水平放置于桌子等的情況下，拍攝該字符串的便攜終端1也處于接近水平的狀態。在該狀態下，便攜終端1的縱畫面狀態和橫畫面狀態頻繁切換的可能性高，用戶難以識別便攜終端1是縱畫面還是橫畫面。由此，有可能處于與用戶的意圖不同的畫面狀態。并且，在這種狀態下不能適當地執行翻譯的情況下，用戶無法知道不能適當翻譯的理由是什么，會帶來困惑。

根據上述本實施方式，將表示翻譯字符串方向的信息(圖標101)顯示在進入用戶的視野的可能性高的位置，因此在翻譯對象的字符串的方向與翻譯字符串方向不同的情況下，用戶能容易地對其進行識別。由此，能防止由于翻譯對象的字符串的方向和翻譯字符串方向不同而不能適當地執行翻譯處理而給用戶帶來困惑的情況。

此外，在上述實施方式中說明了執行翻譯處理的便攜終端1，但是也能應用到僅進行字符識別處理的裝置、在字符識別處理之后進行各種檢索的裝置等。

〔軟件的實現例〕

便攜終端1的控制部分(特別是圖像取得部21、AF處理部22、翻譯字符串方向決定部23以及翻譯字符串方向顯示控制部24)可以 由形成于集成電路(IC芯片)等的邏輯電路(硬件)實現，也可以使用CPU(Central Processing Unit：中央處理單元)由軟件實現。

在后者的情況下，便攜終端1具備：執行實現各功能的軟件即程序的命令的CPU、將上述程序和各種數據能讀取地記錄在計算機(或CPU)中的ROM(Read Only Memory：只讀存儲器)或存儲裝置(將其稱為“記錄介質”)、展開上述程序的RAM(Random Access Memory：隨機存取存儲器)等。并且，通過使計算機(或CPU)從上述記錄介質讀取并執行上述程序，能實現本發明的目的。作為上述記錄介質，能使用“非暫時性有形介質”，例如，磁帶、磁盤、卡、半導體存儲器、可編程邏輯電路等。另外，上述程序可以通過能傳送該程序的任意的傳送介質(通信網絡、廣播波等)提供給上述計算機。此外，在本發明中，上述程序代碼也能以在電子傳送中具體化的、載波上承載的數據信號的形式實現。

〔總結〕

本發明的方式1的翻譯裝置是對拍攝圖像中包含的字符進行識別，對識別出的字符進行翻譯并將其顯示在顯示部的翻譯裝置(便攜終端)，上述翻譯裝置(便攜終端)具備：翻譯字符串方向決定單元(翻譯字符串方向決定部)，其決定翻譯字符串方向，上述翻譯字符串方向是要翻譯的字符串的方向；翻譯字符串方向顯示控制單元(翻譯字符串方向顯示控制部)，其將翻譯字符串方向信息顯示在顯示部，上述翻譯字符串方向信息是表示上述翻譯字符串方向決定單元決定的翻譯字符串方向的信息；以及翻譯單元(翻譯部)，其針對上述識別出的字符，將上述翻譯字符串方向決定單元決定的方向視為字符串的方向來對一串字符進行翻譯。

根據上述構成，由于將翻譯字符串方向顯示在顯示部，用戶能容易識別翻譯字符串方向。

本發明的方式2的翻譯裝置可以是，在上述方式1中，上述翻譯字符串方向顯示控制單元在上述顯示部在與顯示著的翻譯對象的字符重疊的位置、要接觸的位置或者在上述顯示部的中央顯示上述翻譯字符串方向信息。

一般而言，在拍攝中將某種信息顯示在顯示部的情況下，為了不影響被拍攝體，盡量顯示在顯示部的角部的情況較多。

然而，根據上述構成，將翻譯字符串方向信息顯示在與翻譯對象字符重疊的位置、要接觸的位置或顯示部的中央，因此用戶能以非常高的準確率識別翻譯字符串方向信息。由此，能防止用戶忽視翻譯字符串方向信息而不能識別翻譯字符串方向而感到困惑。

本發明的方式3的翻譯裝置可以是，在上述方式1或2中，上述翻譯字符串方向顯示控制單元在本裝置的拍攝處理中的自動對焦已開始時，或者在本裝置的上述顯示部切換了縱畫面狀態和橫畫面狀態時，將上述翻譯字符串方向信息顯示在上述顯示部，上述縱畫面狀態是矩形的上述顯示部的長邊比短邊接近垂直的狀態的情況下的顯示，上述橫畫面狀態是上述顯示部的短邊比長邊接近垂直的狀態的情況下的顯示。

在自動對焦開始時，或者在本裝置的縱畫面狀態和橫畫面狀態切換時，用戶對本終端進行某種操作的可能性高。由此，根據上述構成，能在用戶對本終端進行某種操作的可能性高時，換句話說在用戶注視本終端的可能性高時，顯示翻譯字符串方向信息。

本發明的方式4的翻譯裝置可以是，在上述方式1～3的任一個中，上述翻譯字符串方向顯示控制單元將顯示在上述顯示部的上述翻譯字符串方向信息在經過規定時間后從該顯示部消去。

根據上述構成，將翻譯字符串方向信息經過規定時間后從顯示部消去，因此能防止由于持續顯示翻譯字符串方向信息，用戶難以看到翻譯對象字符、翻譯結果的情況。此外，規定時間是顯示不會讓用戶感到煩擾的時間，例如1秒程度(0.5秒～1.5秒)。

本發明的方式5的翻譯裝置可以是，在上述方式1～4的任一個中，具備被拍攝體角度判斷單元，上述被拍攝體角度判斷單元判斷被拍攝體和與拍攝方向垂直的面的角度是否超過規定值，在上述被拍攝體角度判斷單元判斷為上述角度超過規定值時，上述翻譯字符串方向顯示控制單元使上述翻譯字符串方向信息包含表示上述角度超過規定值的要點的信息，并將其顯示在上述顯示部。

一般而言，當被拍攝體和與拍攝方向垂直的面的角度大到一定程度以上時，不能準確地進行字符識別處理。并且，如果字符識別處理不準確，則翻譯處理也不準確。根據上述構成，當被拍攝體和與拍攝方向垂直的面的角度超過規定值時，顯示翻譯字符串方向信息，該翻譯字符串方向信息包含表示超過規定值的意思的信息。由此，用戶能知道被拍攝體的角度是不合適的，能防止翻譯處理不準確。此外，拍攝方向是拍攝部拍攝的方向(照相機面對著的方向)。

本發明的方式6的翻譯裝置的控制方法是對拍攝圖像中包含的字符進行識別，對識別出的字符進行翻譯并將其顯示在顯示部的翻譯裝置的控制方法，上述翻譯裝置的控制方法的特征在于，針對上述翻譯裝置，包含：翻譯字符串方向決定步驟，決定翻譯字符串方向，上述翻譯字符串方向是要翻譯的字符串的方向；翻譯字符串方向顯示控制步驟，將翻譯字符串方向信息顯示在顯示部，上述翻譯字符串方向信息是表示在上述翻譯字符串方向決定步驟中決定的翻譯字符串方向的信息；以及翻譯步驟，針對上述識別出的字符，將上述翻譯字符串方向決定步驟中決定的方向視為字符串的方向來對一串字符進行翻譯。

由此，得到與上述方式1相同的效果。

本發明的各方式的翻譯裝置可以由計算機來實現，在該情況下，通過使計算機作為上述翻譯裝置具備的各單元來工作而由計算機實現上述翻譯裝置的翻譯裝置的控制程序以及記錄其的計算機可讀取記錄介質也納入本發明的范疇。

本發明不限于上述各實施方式，能在權利要求示出的范圍內做各種變更，將不同的實施方式中分別公開的技術手段適當組合而得到的實施方式也包含在本發明的技術范圍中。而且，通過將各實施方式中分別公開的技術手段組合，能形成新的技術特征。

工業上的可利用性

本發明能利用于具備翻譯功能的便攜終端。

附圖標記說明

1 便攜終端(翻譯裝置)

21 圖像取得部

22 AF處理部

23 翻譯字符串方向決定部(翻譯字符串方向決定單元)

24 翻譯字符串方向顯示控制部(翻譯字符串方向顯示控制單元)

25 字符識別部(被拍攝體角度判斷單元)

26 翻譯部(翻譯單元)

101 圖標(翻譯字符串方向信息)。