專利名稱：圖像處理方法、圖像處理裝置以及圖像形成裝置的制作方法
技術領域：
本發明涉及判斷圖像數據的頂底方向來進行文字識別的圖像處理方法、圖像處理 裝置以及圖像形成裝置、程序以及記錄介質。
背景技術：
一直以來，作為圖像處理技術之一，公知有識別在圖像數據中包含的文字的技術。 該文字識別技術是例如針對由圖像讀取裝置讀取到的原稿圖像的圖像數據進行文字識別 的技術。在進行文字識別時，如果將圖像數據從正規的狀態旋轉90度或者180度，則無法 正確地識別文字。因此，必須判斷圖像數據的頂底，基于該判斷結果表示的頂底方向進行文 字識別。另一方面，在圖像數據之中存在包含文字的表和圖表等形式不同的多個區域。對 于這種圖像數據很難單純地判斷頂底。因此，例如在專利文件1中將文檔圖像中的文字區 域分離為文本區域、標題區域、表中的文字區域以及圖的說明文字區域各部分區域。然后采 用下述的某一種方法來判斷文檔圖像的方向在全部文字區域執行文字識別。(1)對文本區域、標題區域、表中的文字區域以及圖的說明文字區域進行優先排 序，并使用優先級別高的區域判斷文檔方向，并將其判斷結果作為文檔方向。(2)在文字區域的方向判斷中使用自信度高的判斷結果，在該判斷結果在多個文 字區域一致的情況下，將該方向決定為文檔方向。(3)進行全部文字區域的方向判斷，參考判斷結果中次數多的方向決定文檔的方 向。此外，在專利文件2中記載了如下的技術。即，將圖像數據分為多個區域，針對各 分割區域求取將它們適用于對原稿整體的頂底識別時的可靠度。接著，從可靠度最高的值 的區域提取出文字數據來進行頂底識別處理。專利文件1 日本公開專利公報“特開平9-69136號公報(1997年3月11日公開)”專利文件2 日本公開專利公報“特開2000-32247號公報(2000年1月28日公 開)”專利文件3 日本公開專利公報“特開平6-189083號公報(1994年7月8日公開)”專利文件4 日本國公開特許公報“特開平7-192086號公報(1995年7月28日公 開)”專利文件1、2所示的技術都是將圖像數據分為多個區域，針對分割的各區域求取 頂底方向，將這些頂底方向作為圖像數據整體的頂底方向。例如，將分割的區域的頂底方向 中的可靠度高的頂底方向作為圖像數據的頂底方向。因此，在根據這樣決定的頂底方向進 行圖像數據整體的文字識別的情況下存在如下的問題，例如在文字方向相互不同的多個區 域存在于圖像數據中的情況下，無法針對這些區域正確地進行文字識別。另一方面，為了提 高文字的識別率，在進行文字識別時，考慮使圖像數據或者所參照的詞典數據旋轉來進行文字識別。但是，在這種情況下，必須針對所有的方向使圖像數據全體、或者詞典數據全體 旋轉，因此會產生識別處理需要很長時間的問題。
發明內容
本發明的圖像處理裝置具備區域分割部，其將輸入的圖像數據分給為多個部分區 域；頂底判斷部，其分別求出將部分區域的圖像數據的上下左右4個方向作為頂底方向時 的可靠度，并將求得的可靠度中的可靠度最高的方向設定為該部分區域的頂底方向；顯示 控制部，其針對由頂底判斷部設定了頂底方向的部分區域，生成用于使對象部分區域以及 非對象部分區域中的至少對象部分區域的圖像和指示區域的圖像顯示在顯示裝置上的顯 示用圖像數據，其中，該對象部分區域是頂底方向的可靠度比規定值低的部分區域，該非對 象部分區域是可靠度在規定值以上的部分區域，該指示區域用于接受指定對象部分區域的 頂底方向的用戶輸入；文字識別部，其針對對象部分區域將對指示區域指定的頂底方向作 為頂底方向，針對非對象部分區域將由頂底判斷部設定的頂底方向作為頂底方向，對各部 分區域各自進行文字識別。本發明的圖像處理方法具備將輸入的圖像數據分為多個部分區域的區域分割步 驟；分別求出將上述部分區域的圖像數據的上下左右4個方向作為頂底方向時的可靠度， 并將求出的可靠度中的可靠度最高的方向設定為該部分區域的頂底方向的頂底判斷步驟; 針對由上述頂底判斷步驟設定了頂底方向的部分區域，生成使對象部分區域以及非對象部 分區域中的至少上述對象部分區域的圖像和指示區域的圖像顯示在顯示裝置上的顯示用 圖像數據的顯示控制步驟，其中，該對象部分區域是頂底方向的可靠度比規定值低的部分 區域，該非對象部分區域是可靠度在規定值以上的部分區域，該指示區域用于接受指定上 述對象部分區域的頂底方向的用戶輸入；針對上述對象部分區域將對上述指示區域指定的 頂底方向作為頂底方向，針對上述非對象部分區域將由上述頂底判斷部設定的頂底方向作 為頂底方向，對各部分區域進行文字識別的文字識別步驟。根據上述構成，針對由頂底判斷部(頂底判斷步驟)設定的頂底方向的可靠度在 規定值以上的部分區域(非對象部分區域)，按照該頂底方向利用文字識別部(文字識別步 驟)進行文字識別。另一方面，針對由頂底判斷部(頂底判斷步驟)設定的頂底方向的可 靠度在比規定值低的部分區域(對象部分區域)，在顯示裝置上顯示該對象部分區域的圖 像和接受指定該對象部分區域的頂底方向的用戶輸入的指示區域的圖像。并且針對對象部 分區域，按照由用戶對指示區域指定的頂底方向利用文字識別部(文字識別步驟)進行文 字識別。由此，例如即使對于頂底方向的可靠度低的部分區域(對象部分區域)和可靠度 高的部分區域(非對象部分區域)混合存在的輸入圖像數據，也能夠對各部分區域按照正 確的頂底方向進行正確的文字識別。此外，在對象部分區域和非對象部分區域中，以可按照 正確的頂底方向進行文字識別的方式使處理順序不同，因此能夠抑制包含到文字識別處理 為止的處理時間，同時可以對輸入圖像數據整體進行高精度的文字識別處理。根據本發明的構成，例如即使對于頂底方向的可靠度低的部分區域(對象部分區 域)和可靠度高的部分區域(非對象部分區域)混合存在的輸入圖像數據，也能夠對各部 分區域按照正確的頂底方向進行正確的文字識別。此外，在對象部分區域和非對象部分區
5域中，以可按照正確的頂底方向進行文字識別的方式使處理順序不同，因此能夠抑制包含 到文字識別處理為止的處理時間，同時可以對輸入圖像數據整體進行高精度的文字識別處理。
圖1是表示本發明實施方式的圖像處理裝置的概略構成的框圖。圖2 (a)是表示例如通過輸入裝置(掃描儀)取得的輸入圖像數據的一個例子的 說明圖，圖2(b)是表示利用圖1所示的區域分割部從圖2(a)所示的輸入圖像數據中分割 的多個部分區域的說明圖。圖3(a)是表示利用圖1所示的區域分割部從具有文字區域的屬性不同的多個部 分區域的圖像數據提取出的多個區塊(部分區域)的說明圖，圖3(b)是表示利用相同的區 域分割部從圖像數據提取出的、表中文字區域的一例的說明圖，圖3(c)是表示利用相同的 區域分割部從圖像數據提取出的、說明文字區域的一例的說明圖。圖4(a)是表示在一個部分區域內存在頂底方向不同的兩種文字圖像時該部分區 域中的各頂底方向的可靠度的設定結果的說明圖。圖4(b)是表示在部分區域內的文字圖 像的方向是一個方向時該部分區域中的各頂底方向的可靠度的設定結果的說明圖。圖4(c) 是表示在部分區域內文字圖像少時該部分區域中的各頂底方向的可靠度的設定結果的說 明圖。圖5(a)是表示利用圖1所示的頂底判斷部算出的、針對圖2 (b)所示的第一 第 三部分區域在0度、90度、180度、270度各頂底方向下的可靠度的說明圖，圖5 (b)表示基于 圖5(a)所示的第一 第三部分區域中的各頂底方向的可靠度決定的、第一 第三部分區 域的頂底方向的說明圖。圖6(a)是表示利用圖1所示的頂底判斷部算出的、針對圖2 (b)所示的第一 第 三部分區域的頂底方向和可靠度的說明圖，圖6(b)表示基于各部分區域的頂底方向的可 靠度和可靠度的閾值的關系的、針對各部分區域的圖1所示的顯示裝置的預覽、輸入指示 顯示的是否需要的例子的說明圖。圖7是表示圖1所示的顯示控制部的構成的框圖。圖8是表示圖2所示的顯示裝置的顯示畫面上顯示的、包含對象部分區域的圖像 數據的預覽圖像的說明圖。圖9是針對圖1所示的頂底判斷部的頂底方向判斷時可靠度低的第二部分區域顯 示了圖像數據的預覽圖像的顯示畫面上，將與第二部分區域對應的選擇區域以及指示區域 彈出顯示的狀態的說明圖。圖10是表示在圖9所示的彈出顯示中，以所操作的指示區域的方向變為頂部方向 的方式使對象部分區域(選擇區域)旋轉的狀態的流程圖。圖11是表示圖1所示的圖像處理裝置1的動作的流程圖。圖12是表示接著圖11的動作的圖像處理裝置1的動作的流程圖。圖13是表示在圖1所示的顯示裝置上顯示的預覽圖像上將圍繞起各部分區域的 矩形框相應于各部分區域的頂底方向的可靠度而以不同顏色區分顯示的例子的說明圖。圖14是表示在圖1所示的顯示裝置上顯示的預覽圖像上將各部分區域相應于可靠度按順序并列配置的狀態的說明圖。圖15(a)是表示圖1所示的顯示裝置上預覽顯示的部分區域的4個方向的頂底方 向與可靠度的關系的說明圖，圖15(b)是在圖15(a)所示的部分區域的彈出顯示上，與各頂 底方向的可靠度相應地使指示區域的濃度或者顏色不同的狀態的說明圖。圖16(a)是在與圖15(b)所示的4個方向的頂底方向對應的4個指示區域中，按照 頂底方向的可靠度高的順序使指示區域的濃度(顏色)變化的情況下的、可靠度從第一位 至第四位的指示區域的顏色的例子的說明圖，圖16(b)是表示圖16(a)所示的R(R1 R4) 的值的說明圖，圖16(c)是表示圖16(a)所示的R(R1 R4)的值的其他的決定方法的說明 圖。圖17是在圖9所示的部分區域的彈出顯示上，與各頂底方向的可靠度相應地使指 示區域的尺寸不同的狀態的說明圖。圖18(a)是在與4個方向的頂底方向對應的4個指示區域中按照頂底方向的可靠 度高的順序使指示區域的尺寸(長度)變化的情況下的可靠度從第一位至第四位的指示區 域的尺寸(長度)的例子的說明圖，圖18(b)是表示圖18(a)所示的M(M1 M4)的值(倍 率)的說明圖，圖18(c)是表示圖18(a)所示的M(M1 M4)值的其他決定方法的說明圖，圖 18(d)是表示與圖18(c)所示的可靠度相應的倍率(Cl C4)的值的決定方法的說明圖。圖19是表示本發明的實施方式的圖像形成裝置的打印動作的狀態的框圖。圖20是表示本發明的實施方式的圖像形成裝置的預覽顯示的動作狀態的框圖。圖21是表示本發明的實施方式的圖像形成裝置的圖像發送狀態的框圖。圖22是表示圖19所示的第1原稿檢測部的構成的框圖。圖23是表示圖19所示的第2原稿檢測部的構成的框圖。圖24(a)是表示與顯示裝置的顯示特性相應的Y校正曲線的一例的曲線圖，圖 24(b)是表示使文字變得清楚的、校正曲線的一例的曲線圖。圖25是表示本發明的實施方式的圖像讀取裝置的構成的框圖。附圖標記說明1圖像處理裝置；2顯示裝置；11區域分割部；12頂底判斷部；13文字識別部；14 顯示控制部；21是否需要預覽判斷部；22預覽圖像生成部(顯示用圖像生成部)；23預覽 圖像輸出部(顯示用圖像輸出部)；24旋轉處理部；31選擇區域；32指示區域；33預覽圖 像；41第1部分區域；41a矩形框；42第2部分區域；42a矩形框；43第3部分區域；43a矩 形框；51部分區域；200圖像形成裝置；201圖像處理裝置；202圖像輸入裝置；203圖像輸 出裝置(打印裝置)；205圖像顯示裝置；224第1原稿檢測部；225原稿校正部；231區域分 離部；232第2原稿檢測部；233文字識別部；300圖像讀取裝置；301圖像處理裝置。
具體實施例方式(實施方式1)圖1是表示本發明的實施方式的圖像處理裝置1的概略構成的框圖。圖像處理裝 置1設置在例如圖像輸入裝置上。圖像輸入裝置從原稿讀取圖像，取得圖像數據。進而，圖 像輸入裝置設置在復印機或者除了復印功能之外還具有其他多種功能的復合機上。圖像處 理裝置1對上述圖像數據進行圖像處理。
7
如圖1所示，圖像處理裝置1與顯示裝置2以及存儲裝置3連接。顯示裝置2設 置在例如上述圖像形成裝置的操作面板上。該顯示裝置2具有作為觸摸面板的功能，同時 也作為圖形用戶接口發揮作用。另外，作為顯示裝置2，采用液晶顯示器等一般的圖像顯示 單元。存儲裝置3是設置在上述圖像形成裝置中的數據保存單元。作為存儲裝置3，可以 使用普通的硬盤裝置或者其他存儲裝置。在圖1的構成中，由圖像輸入裝置取得的圖像數據被保存在存儲裝置3中。圖像 處理裝置1對從存儲裝置3讀出的圖像數據實施圖像處理并再此保存到存儲裝置3。此外， 圖像處理裝置1使上述圖像數據，或者使根據上述圖像數據生成的預覽圖像顯示在顯示裝 置2上。如圖1所示，圖像處理裝置1具備區域分割部11、頂底判斷部12、文字識別部13 以及顯示控制部14。區域分割部11將所輸入的圖像數據(輸入圖像數據)中的文字區域，按文字區 域的屬性分為標題區域、正文區域、表中文字區域、說明文字區域(圖形區域附帶的文字區 域)等區域，并計算出各屬性區域的外接矩形(外接坐標)。另外，也可以構成為在處理文 字以外的包含圖像的圖像數據時，在區域分割部11的前段設置后述的區域分離部231 (參 照圖20)，通過區域分離部231從輸入圖像數據中分離文字區域。圖2(a)是表示例如通過上述輸入裝置取得的輸入圖像數據的一個例子的說明 圖，圖2(b)是表示利用區域分割部11從圖2(a)所示的輸入圖像數據中分割的多個部分區 域(屬性區域)、即第一部分區域41、第二部分區域42以及第三部分區域43的狀態的說明 圖。在圖2(a)的例子中，輸入圖像數據作為文字區域具有3種屬性區域。區域分割部 11對該輸入圖像數據，將文字區域按照各上述屬性區域分割而變成3個部分區域，并生成 部分區域信息。利用區域分割部11取得的文字區域的圖像數據(部分區域的文字圖像數據)以 及部分區域信息被后段的頂底判斷部12以及文字識別部13利用。在此，針對區域分割部11進行的區域分割處理的詳細情況進行說明。在區域分割 部11中將區域分割處理按照下面的(al) (a8)的次序進行。該處理是用于將圖像數據 分為例如標題、作者名、摘要以及正文的處理。(al)將所輸入的圖像數據的起始行作為關注行，給黑色像素設置標簽。即進行標
記。 (a2)接著將關注行下錯一行，給黑色像素設置與上述行不同的標簽。(a3)接著，判斷關注行與關注行的上一行上的黑色像素的連接狀態。在該判斷結 果是連接的情況下判斷像素相連并置換為相同的標簽(上行的標簽)。(a4)反復以上的(al) (a3)的處理，提取文字區域。基于提取出的文字區域的 上端、下端、左端以及右端的像素位置，提取針對文字區域的外接矩形。另外，對于像素位置 的坐標來說，將被輸入的圖像數據的左端的位置作為原點求取。(a5)接著，計算出相鄰的外接矩形間的距離，基于所獲得的外接矩形間的距離分 別確定由相鄰的文字群構成的文字列。就是說，間隔小于規定值的外接矩形彼此屬于相同的文字列，間隔大于規定值的外接矩形彼此不屬于相同的文字列，因此通過計算出相鄰的 外接矩形間的距離可以確定各文字列。(a6)接著，將任一個文字列作為關注文字列，求取屬于關注文字列的外接矩形的 垂直方向(相對于上述行的垂直方向)的長度的平均值。此外，該平均值是去掉垂直方向 的長度小于閾值的外接矩形后算出的。這是為了去除被設定在標點符號上的外接矩形。此 外，求取屬于關注文字列的外接矩形的下邊的坐標值的平均值。(a7)接著，根據屬于關注文字列的外接矩形的下邊的坐標值的平均值，判斷在朝 向上述垂直方向，以上述外接矩形的規定方向的長度的平均值為基準的規定范圍內，是否 存在其他的文字列。該判斷結果是在上述規定的范圍內存在其他的文字列時，將該文字列 判斷為是與關注文字列相同的區域。此外，在上述規定的范圍內不存在其他的文字列時，判 斷為在上述規定范圍內不存在屬于跟該關注文字列相同區域的文字列。另外，上述的規定 范圍是指例如外接矩形的上述垂直方向的長度的平均值的1. 5倍的范圍。(a8)變更關注文字列并反復(a6)以及(a7)。由此可以例如將原稿圖像根據文字 區域的屬性分成多個區域。圖3(a)是表示利用區域分割部11從具有文字區域的屬性不同的多個區域的圖像 數據中提取出的多個區塊(部分區域)的說明圖，圖3(b)是表示利用區域分割部11從圖 像數據中提取出的、表中文字區域的一例的說明圖，圖3(c)是表示利用區域分割部11從圖 像數據中提取出的、說明文字區域的一例的說明圖。在圖3(a)中，部分區域AE是標題。該標題存在于圖像數據(原稿圖像)的上部 或者右端，部分區域AE (外接矩形)的尺寸大。該尺寸(行方向的尺寸)是被看作正文的 部分區域(外接矩形)的尺寸的例如1.5倍以上。此外，在該圖中，部分區域B是作者名、 部分區域C是摘要(沒有必要與正文區別的區域)、部分區域D是正文。圖3(b)所示的表中文字區域，如該圖所示，在外接矩形(部分區域)被格線(連 續的黑色像素)圍起來時，判斷為是表中文字區域。圖3(c)所示的說明文字區域，如該圖 所示，在外接矩形(部分區域)存在于線(連續的黑色像素)的附近時，判斷為是說明文字 區域。在該判斷中，上述線(連續的黑色像素)為例如成為說明文字區域的外接矩形(部 分區域)的垂直方向的長度的平均值的1.5倍的范圍內。頂底判斷部12使用由區域分割部11提供的部分區域的文字圖像數據以及部分區 域信息，按部分區域的每個文字圖像數據判斷頂底方向。在各該部分區域的頂底判斷中，首 先計算出將頂底方向設為例如0度、90度、180度、270度4個方向時的各個頂底方向的可靠 度。接著，頂底判斷部12針對各部分區域，將每個頂底方向的可靠度中可靠度最高的頂底 方向決定為該部分區域的頂底方向。因此，部分區域的頂底方向的可靠度變為可靠度最高 的頂底方向的可靠度。另外，頂底方向為0度是指表示該部分區域的頂底方向與文字的正規的頂底方向 一致。頂底方向為90度是指表示該部分區域的頂底方向相對于文字的正規的頂底方向逆 時針旋轉90度(如果使該部分區域順時針旋轉90度則文字變為正規的頂底方向)。頂底 方向為180度是指表示該部分區域的頂底方向相對于文字的正規的頂底方向旋轉180度 (如果使該部分區域旋轉180度則文字變為正規的頂底方向)。頂底方向為270度是指表 示該部分區域的頂底方向相對于文字的正規的頂底方向逆時針旋轉270度(如果使該部分區域順時針旋轉270度則文字變為正規的頂底方向)。接著，詳細說明在頂底判斷部12的頂底判斷動作。在頂底判斷部12中，例如使用 JP特開平6-189083號公報(專利文獻3)記載的方法來對每個部分區域進行圖像的頂底判 斷。頂底判斷處理的次序如下。(bl)使用OCR技術進行文字識別，將輸入圖像內一個一個文字分別提出，并將該 文字圖案化。(b2)比較輸入圖像的文字圖案(以下稱為輸入文字圖案)的特征和被數據庫化的 文字圖案(以下稱為數據庫化文字圖案)。作為匹配的方法，使由輸入圖像提出的輸入文字 圖案重疊于數據庫化文字圖案上，比較每個像素的黑白。在全部的像素的黑白均相符時判 斷為輸入文字圖案是所比較的數據庫化文字圖案。在不是相對于輸入文字圖案全部的像素 的黑白均匹配的數據庫化文字圖案時，判斷為與輸入文字圖案匹配的像素最多的數據庫化 文字圖案的文字是輸入文字圖案的文字。另外，如果不能達到規定的匹配比例則判斷為不 能判斷。(b3)使提出的輸入文字圖案按90度、180度、270度的次序依次旋轉，在各旋轉角 度上反復上述(b2)的處理。(b4)作為頂底方向的判斷結果，輸出在0度、90度、180度以及270度4個方向上 可判斷的文字數。接著，說明在頂底判斷部12的頂底判斷的可靠度的設定處理。利用上述頂底判斷 處理獲得各頂底方向上的可判斷的文字數。在頂底判斷部12中，根據這些文字數設定0度、 90度、180度以及270度4個方向上的可靠度。圖4(a)是表示在一個部分區域內存在頂底方向不同的兩種文字圖像時各頂底方 向的可靠度的設定結果的說明圖。圖4(b)是表示在部分區域內的文字圖像的方向是一個 方向時各頂底方向的可靠度的設定結果的說明圖。圖4(c)是表示在部分區域內文字圖像 少時各頂底方向的可靠度的設定結果的說明圖。如圖4(a)所示，在一個部分區域內存在頂底方向不同的2種文字圖像(頂底方向 是0度以及270度方向的文字圖像)時、在0度以及270度方向上可靠度高。其中，此時兩 個方向的可靠度之差小。此外，如圖4(b)所示，在部分區域內的文字圖像的方向是一個方 向(0度方向)時，在0度方向上可靠度變高。此外，如圖4(c)所示，在部分區域內文字圖 像少時，在所有的頂底方向上的可靠度都降低。圖5(a)是表示利用頂底判斷部12算出的、針對圖2(b)所示的第一 第三部分區 域41 43在0度、90度、180度、270度的各頂底方向下的可靠度的說明圖，圖5 (b)表示 基于圖5(a)所示的第一 第三部分區域41 43中的各頂底方向的可靠度決定的、針對第 一 第三部分區域41 43的頂底方向的說明圖。在圖5(b)的結果中，頂底方向決定為 第1部分區域41是90度、第2部分區域42是270度、第3部分區域43是180度。顯示控制部14、取得由頂底判斷部12決定的、關于各部分區域的頂底方向的可靠 度，在可靠度不到規定的閾值的部分區域(以下稱為對象部分區域)包含在圖像數據中的 情況下，針對包含該對象部分區域的圖像數據做成預覽圖像，并輸出到顯示裝置2。在該預 覽圖像中包含催促指定針對對象部分區域的圖像數據的頂底方向的輸入的顯示。另外，上 述預覽圖像也可以僅包含輸入圖像數據中的、對象部分區域的圖像數據。
圖6(a)是表示根據利用頂底判斷部12算出的圖5(a)以及圖5(b)所示判斷結果 得到的針對第一 第三部分區域41 43的頂底方向和可靠度的說明圖，圖6(b)表示基于 針對各部分區域的頂底方向的可靠度和可靠度的閾值的關系的、針對各部分區域在顯示裝 置2上是否需要預覽顯示的例子的說明圖。 如圖6 (a)所示，各部分區域的頂底方向和其可靠度(頂底方向/可靠度)，第1部 分區域41是90度/80、第2部分區域42是270度/40、第3部分區域43是180度/90。在 此，將頂底方向的可靠度的上述閾值設為70時，如圖6(b)所示，針對第1以及第3部分區 域41，43不需要預覽顯示，針對第2部分區域42需要預覽顯示(預覽顯示對象)。為了進行上述動作，顯示控制部14如圖7所示具備是否需要預覽判斷部21、預覽 圖像生成部(顯示用圖像生成部)22、預覽圖像輸出部(顯示用圖像輸出部)23以及旋轉處 理部24。圖7是表示圖1所示的顯示控制部14的構成的框圖。是否需要預覽判斷部21，將針對由頂底判斷部12決定的各部分區域的頂底方向 的可靠度與規定的閾值進行比較，針對各部分區域判斷是否需要接受用戶對頂底方向的指 定。即，至少判斷該對象部分區域以及用于用戶指定該對象部分區域上的頂底方向的指示 區域32是否需要預覽顯示。(1-1)是否顯示預覽的第1判斷方法具體來說，是否需要預覽判斷部21取得由頂底判斷部12決定的、各部分區域上的 頂底方向的可靠度，并將這些可靠度與規定的閾值比較。然后，針對頂底方向的可靠度不足 規定的閾值的部分區域(對象部分區域)必須進行上述預覽顯示，而對于頂底方向的可靠 度在規定的閾值以上的部分區域不需要上述預覽顯示。另外，作為對于是否需要上述預覽顯示的判斷方法除了上述第1判斷方法以外還 有后述的判斷方法。預覽圖像生成部22，在通過是否需要預覽判斷部21判斷出對象部分區域包含在 上述圖像數據中時，至少生成針對該對象部分區域的預覽圖像。或者、生成包含對象部分區 域的圖像數據全體的預覽圖像。是否生成某種預覽圖像可以在圖像處理裝置1中適宜地設 定。在此，針對生成后者的預覽圖像的情況進行說明。預覽圖像生成部22生成的預覽圖像至少包含指示區域。進而還可以包含選擇區 域。選擇區域是相當于上述對象部分區域的區域，是由觸摸面板構成的區域。指示區 域是通過用戶的輸入操作指定作為上述選擇區域顯示的對象部分區域的頂底方向的區域。 選擇區域如后述那樣用于彈出顯示的情況。生成選擇區域時，預覽圖像生成部22從存儲裝置3讀出包含對象部分區域的圖像 數據。接著，參照由從區域分割部11提供的部分區域信息中的、與對象部分區域相關的部 分區域信息，在讀出的上述圖像數據中，計算并提取與對象部分區域相當的區域的坐標來 生成選擇區域。然后，配置成將生成的選擇區域重疊于上述圖像數據的對象部分區域上。指示區域是由例如沿上述選擇區域的4個邊配置的框狀的由觸摸面板構成的區 域。在上述指示區域中，通過用戶操作沿上述4個邊中的某一個部分，從而指定對象部分區 域并且可以指定該對象部分區域的頂底方向。生成指示區域時，預覽圖像生成部22計算并 求出指示區域的配置位置的坐標，配置在選擇區域(對象部分區域)的周圍。
預覽圖像輸出部23將由預覽圖像生成部22生成的預覽圖像輸出到顯示裝置2。 此時，預覽圖像輸出部23，對預覽圖像進行像素間隔剔除處理或者擴大處理，以便使預覽圖 像全體在顯示裝置2上以適當的尺寸顯示。然后，預覽圖像輸出部23進行與顯示裝置2的 顯示特性相應的灰度校正(Y校正)。作為針對圖像的像素的間隔剔除處理或者放大處理例如公知有最鄰近法、雙線性 內插法以及雙三次插值法。對最鄰近法來說，對最接近插補的像素的像素的值、或者將與內插的像素處于規 定的位置關系的現有像素的值設定為插補的像素的值。對雙線性內插法來說，求取以與圍 繞插補的像素周圍4點的現有像素的距離成比例的方式加權得到值的平均值，使所求出的 值為該插補像素的值。雙三次插值法是指利用除在包圍插補的像素的四點之外，還加上包 圍這些的12點、共計16點的現有像素，進行插補運算。旋轉處理部24進行使顯示在顯示裝置2上的圖像(圖像數據)旋轉的旋轉處理。 例如，在對上述指示區域進行了指定圖像的頂底方向的用戶的輸入的情況下，基于用戶選 擇的指示區域的位置進行圖像數據的轉換處理即旋轉處理。圖像數據的旋轉在本實施方式 中，利用90度、180度或者270度的90度為單位例如順時針進行。文字識別部13對包含在圖像數據中的各部分區域的圖像數據，比較圖像數據與 詞典數據來進行文字識別。具體來說，利用轉換為黑白二值(亮度信號)的低分辨率(例 如300dpi)的圖像數據，提取圖像數據的特征量，與詞典數據比較來進行文字識別。此時，文字識別部13，對可靠度在閾值以上的部分區域的圖像數據，按照由頂底判 斷部12決定的頂底方向進行文字識別。相反，由于可靠度不足閾值而由用戶對指示區域指 定了頂底方向的對象部分區域的圖像數據，按照所指定的頂底方向進行文字識別。另外， 在對對象部分區域指定了頂底方向的情況下，對象部分區域的圖像數據通過旋轉處理部24 被旋轉到所指定的頂底方向。因此，文字識別部13對旋轉處理后的圖像數據進行文字識 別。例如，因為在第1部分區域41的頂底方向的判斷結果為90度，所以對于第1部分 區域41的圖像數據，將圖像數據順時針旋轉90度旋轉之后進行文字識別。由此，減輕了頂 底方向不同帶來的誤識別，提高了文字識別精度。(2-1)部分區域的矩形框的第1顯示例在不僅對象部分區域，所有的部分區域都進行預覽顯示時，或者在對象部分區域 包含在輸入圖像數據中的狀態下進行預覽顯示時，也可以顯示包圍對象部分區域的矩形 框。圖8是表示在顯示裝置2的顯示畫面2a上顯示的、包含對象部分區域的圖像數據的預 覽圖像的說明圖。在該例中，僅作為對象部分區域的第2部分區域42顯示矩形框。此外， 第2部分區域42的矩形框42a變為上述的指示區域。另外，作為部分區域的矩形框的顯示 例，除了上述第1顯示例之外，還有后述的顯示例。(3-1)彈出顯示的第1例圖9是表示在頂底方向的可靠度低(比與可靠度有關的規定的閾值低)的第2部 分區域42上顯示了圖像數據的預覽圖像的顯示畫面2a上，彈出顯示了與第2部分區域42 對應的選擇區域31以及指示區域32的狀態的說明圖。如上述那樣，在頂底方向的可靠度比規定的閾值低的部分區域(對象部分區域)至少預覽顯示該對象部分區域的圖像。在該預覽顯示時也可以彈出顯示該對象部分區域的 圖像。圖9的顯示狀態通過在圖8所示的顯示狀態下，以在第2部分區域42上配置了由 觸摸面板構成的選擇區域31的構成為前提，由用戶操作該選擇區域31、或者由用戶操作指 示區域32而獲得。在圖9的顯示中，彈出顯示對象部分區域的圖像，然后將指示區域重疊于彈出顯 示的對象部分區域的周圍來彈出顯示。此外，在彈出顯示時，將圖像數據全體作為預覽圖像 顯示，其中也可以僅彈出顯示對象部分區域、或者也可以僅將對象部分區域作為預覽圖像 彈出顯示。在圖9中表示后者的情況。此情況的選擇區域以及指示區域的生成方法如前所 述。此外，在圖9的顯示中，在彈出顯示對象部分區域(選擇區域31)時，對該對象部 分區域(選擇區域31)以按照由頂底判斷部12決定的頂底方向使其旋轉了的狀態來顯示。 此時的旋轉處理通過旋轉處理部24來進行。另外，在頂底判斷部12中，在圖6(a)所示的第2部分區域42的頂底方向的判斷 中發生了誤判斷。即，在頂底判斷部12的判斷結果中，雖然可靠度最高的頂底方向是270 度，但是正確的結果是90度。因此，在圖9的彈出顯示中，按照誤判斷的頂底方向使第2部 分區域42順時針旋轉270度來顯示。此外，作為彈出顯示的例子，除了上述第1例之外還 有后述的例子。在彈出顯示中，某一個指示區域32被操作了的情況下，如圖10所示，例如以被操 作的指示區域32的方向變為頂部方向的方式使對象部分區域(選擇區域31)旋轉。該旋 轉處理通過旋轉處理部24進行。在圖10的例子中，示出了配置指示區域32a 32d，由用 戶操作了指示區域32a的情況。此外，在顯示輸入圖像數據全體的預覽圖像的情況下，不僅對象部分區域，還可以 在所有的部分區域上進行。此時的各部分區域的彈出顯示的方法與彈出顯示部分區域(選 擇區域31)以及指示區域32等僅彈出顯示上述的對象部分區域的情況相同。另外，彈出顯示以及預覽顯示的結束通過操作未圖示的顯示結束按鈕來進行。此 外，對于輸入圖像數據全體的頂底方向，在顯示了預覽圖像的狀態下，在顯示裝置2的顯示 畫面2a上，也可以確認輸入圖像數據全體的頂底方向，并且進行催促用戶進行指定頂底方 向的輸入的顯示。在上述的構成中，基于圖11以及圖12的流程圖在下面說明本發明的實施方式的 圖像處理裝置1的動作。圖11是表示圖1所示的圖像處理裝置1的動作的流程圖，圖12 是表示接著圖11的動作的圖像處理裝置1的動作的流程圖。在圖像處理裝置1中，將所輸入的圖像數據存儲在存儲裝置3(S11)。該輸入圖像 數據例如是由圖像讀取裝置讀取到的原稿的圖像數據。接著，區域分割部11從存儲裝置3讀出輸入圖像數據，將該圖像數據分為多個部 分區域(S12)。接著，頂底判斷部12針對各部分區域計算關于第1方向 第4方向(0度方向、90 度方向、180度方向、270度方向)的頂底方向的可靠度(S13)。接著，將各部分區域中的頂底方向的可靠度是第1位的頂底方向作為各部分區域的頂底方向儲存(S14)。接著，顯示控制部14判斷在輸入圖像數據中是否包含可靠度低的部分區域、即在 輸入圖像數據中是否包含部分區域的頂底方向(部分區域中的可靠度是第1位的頂底方 向)的可靠度不足規定的閾值的部分區域(S15)。該判斷結果，在輸入圖像數據中包含頂底方向的可靠度不足規定的閾值的部分區 域(對象部分區域)的情況下，顯示控制部14做成針對該對象部分區域的指示區域(觸摸 區)32和選擇區域(觸摸區)31 (S16)。另外，對象部分區域存在多個的情況下，針對各對象 部分區域做成指示區域32以及選擇區域31。接著，顯示控制部14從存儲裝置3讀出應預覽顯示的輸入圖像數據(S17)，對該輸 入圖像數據進行用于預覽顯示的間隔剔除處理(S18)。接著，顯示控制部14在間隔剔除處理后的輸入圖像數據的對象部分區域上重疊 選擇區域31和指示區域32，將該輸入圖像數據作為預覽顯示用的圖像數據輸出到顯示裝 置2。由此，在顯示裝置2上進行預覽顯示(S19)。在該預覽顯示狀態下，在顯示裝置2上接受對選擇區域31的選擇(S20)。此時，顯 示控制部14也可以在顯示裝置2上進行旨在顯示選擇區域31被ON操作時對象部分區域 彈出顯示的情況。其后，也可以沒有對選擇區域31的選擇的輸入(S21)，此外，對全部的對象部分區 域進行了向指示區域32指定頂底方向的輸入之后(S22)結束處理。另一方面，在S21，當進行對在對象部分區域上設定的選擇區域31進行選擇的輸 入操作后，顯示控制部14將與進行了輸入操作的選擇區域31對應的對象部分區域從輸入 圖像數據(例如上述的完成了間隔剔除處理的圖像數據)提出(S23、圖12)。接著，顯示控制部14擴大提出的對象部分區域(S24)，使擴大的對象部分區域與 指示區域32暫時旋轉(S25)。該暫時旋轉是指如上述那樣，將該對象部分區域按照由頂底 判斷部12決定的頂底方向旋轉的處理。接著，顯示控制部14將在S25處理的對象部分區域與指示區域32作為彈出顯示 用的圖像數據輸出到顯示裝置2。由此，在顯示裝置2中彈出顯示了對象部分區域和指示區 域32 (S26)。另外，用于該彈出顯示的一系列處理，也可以不將用戶向選擇區域31的輸入作 為要件(不經過S20以及S21的處理)，而在例如S19對象部分區域的預覽顯示時自動地進 行。在該彈出顯示狀態下，在顯示裝置2上接受對指示區域32的選擇(S27)。此時，顯 示控制部14也可以在顯示裝置2上顯示催促用戶在指示區域32輸入對圖像的頂底方向進 行指定的意思。其后，當對對象部分區域周圍的某一個指示區域32進行了用戶輸入時(S28)，顯 示控制部14將與進行了用戶輸入的指示區域32對應的對象部分區域的頂底方向更新為通 過對指示區域32的輸入操作指定的頂底方向(S29)。接著，顯示控制部14，使對象部分區域和指示區域32以與通過對指示區域32的用 戶輸入指定的頂底方向一致的方式旋轉(S30)，并返回S26的處理。由此，在顯示裝置2中， 對象部分區域在被旋轉到通過對指示區域32的用戶輸入所指定的頂底方向的狀態下被彈 出顯示。
另一方面，在S28中，在對對象部分區域周圍的任一個指示區域32都沒有用戶輸 入的狀態下，例如通過用戶輸入指示了彈出顯示結束時(S31)，返回S20而變為對選擇區域 31的選擇接受狀態。此外，在S28中對于對象部分區域周圍任一個指示區域32都沒有用戶輸入，并且 在S31中沒有通過例如用戶輸入指示了彈出顯示的結束的狀態下，在S21從對選擇區域31 的輸入操作起經過規定時間后(S32)返回S20而變成對選擇區域31的選擇接受狀態。另 外，在S21對選擇區域31的輸入操作起未經過規定時間的狀態下，反復S26、S27、S28、S31、 S32的處理。如以上那樣，在本實施方式的圖像處理裝置1中，對于頂底方向的可靠度低的部 分區域(對象部分區域)和高的部分區域(非對象部分區域)混合存在的輸入圖像數據 (例如PDF數據)也可以針對各部分區域按照正確的頂底方向進行正確的文字識別。此外， 在對象部分區域和非對象部分區域中，以可以按照正確的頂底方向進行文字識別的方式使 處理次序不同，因此抑制了包含到文字識別處理為止的處理時間，同時可以對輸入圖像數 據全體進行高精度的文字識別處理。另外，作為上述預覽顯示的是否需要的判斷方法除了上述的第1判斷方法之外還 有下述的判斷方法。(1-2)是否需要預覽顯示的第2判斷方法是否需要預覽判斷部21取得由頂底判斷部12決定的、在各部分區域上的頂底方 向的可靠度，求取在各部分區域上可靠度是第1位的頂底方向的可靠度Rl和可靠度是第2 位的頂底方向的可靠度R2之比(R1/R2)。然后比較各部分區域的比(R1/R2)與規定的閾 值TC(例如TC = 2)。該比較的結果是，對于比(R1/R2)在規定的閾值TC以下的部分區域 (對象部分區域)上述預覽顯示是必要的、比(R1/R2)大于規定的閾值TC的部分區域不需 要上述預覽顯示。(1-3)是否需要預覽顯示的第3判斷方法是否需要預覽判斷部21取得由頂底判斷部12決定的、各部分區域上的頂底方 向的可靠度，針對各部分區域比較可靠度是第1位的頂底方向的可靠度Rl與規定的閾值 Ta(例如Ta = 70)。此外，在各部分區域上求取可靠度是第1位的頂底方向的可靠度Rl和 可靠度是第2位的頂底方向的可靠度R2之比(R1/R2)，并比較該比(R1/R2)與規定的閾值 TC (例如TC = 2)。對于該比較的結果是可靠度Rl是規定的閾值Ta以下并且比(R1/R2)在 規定的閾值TC以下的部分區域，需要上述預覽顯示，而對于可靠度Rl大于規定的閾值Ta、 或者比(R1/R2)大于規定的閾值TC的部分區域，不需要上述預覽顯示。此外，作為部分區域的矩形框的顯示例除了上述第1顯示例之外還有下述的顯示 例。(2-2)部分區域的矩形框的第2顯示例不僅對象部分區域，在全部的部分區域上預覽顯示的情況下，也可以將各部分區 域與頂底方向的可靠度相應地以不同顏色區分顯示。此時，可以例如改變顏色來顯示將各 部分區域圍起來的矩形框。圖13是表示在顯示裝置2上顯示的預覽圖像33上，將把各部 分區域圍起來的矩形框與各部分區域的頂底方向的可靠度相應地以不同顏色區分顯示的 例子的說明圖。在圖13中，頂底方向的可靠度是第1位的第3部分區域43的矩形框43a表示為濃度低的顏色(淺色)、將頂底方向的可靠度是第2位的第1部分區域41的矩形框 41a表示為濃度是中間色、將頂底方向的可靠度是第3位的第2部分區域42的矩形框42a 表示為濃度高的顏色(深色)。另外，各矩形框41a 43a也可以具有與上述的指示區域 32相當的功能。(2-3)部分區域的矩形框的第3顯示例不僅對象部分區域，在全部的部分區域進行預覽顯示的情況下，也可以將各部分 區域按照與頂底方向的可靠度相應的順序排列配置。圖14是表示在顯示裝置2上顯示的 預覽圖像33上，將各部分區域按照與可靠度相應的順序排列配置的狀態的說明圖。在圖14 的例子中，第1 第3部分區域41 43按照頂底方向的可靠度從低到高的順序從左向右 排列。另外，各矩形框41a 43a也可以具有與上述指示區域32相當的功能。此外，作為彈出顯示的例子，除了上述第1例之外還有下述的例子。(3-2)彈出顯示的第2例在上述(3-1)的例子中，構成為用戶操作對象部分區域上的、由觸摸面板構成的 選擇區域31或者指示區域32，從而彈出顯示對象部分區域(選擇區域31)。與此相對，也 可以構成為在將對象部分區域作為預覽圖像彈出顯示的情況下，也可以不經過圖8的顯示 狀態，如圖9所示那樣直接彈出顯示對象部分區域。(3-3)彈出顯示的第3例在圖9的彈出顯示中，將對象部分區域(選擇區域31)以按照由頂底判斷部12決 定的頂底方向旋轉的狀態來顯示。相對于此，可以在將對象部分區域(選擇區域31)不按 照由頂底判斷部12決定的頂底方向旋轉的狀態，即圖像數據中的第2部分區域42的頂底 方向原樣顯示。(3-4)彈出顯示的第4例在例如圖9所示的彈出顯示中，顯示出以將對象部分區域(選擇區域31)圍起來 的方式呈矩形框狀配置的4個指示區域32。該例是使這些指示區域32的顯示濃度或者顯 示顏色與對象部分區域上的每個頂底方向的可靠度相應地不同的例子。圖15(a)是表示在顯示裝置2上預覽顯示的部分區域的4個方向的頂底方向與可 靠度的關系的說明圖。圖15(b)是表示在圖15(a)所示的部分區域的彈出顯示上與各頂底 方向的可靠度相應地使指示區域32的濃度或者顏色不同的狀態的說明圖。在圖15(a)所示的部分區域51中，頂底方向與可靠度的關系從逆時針方向來看是 0度/35、90度/10、180度/80、270度/15。對于這樣的部分區域51，在圖15(b)所示的彈 出顯示中，與可靠度最低的頂底方向對應的指示區域32濃度最低(最淺色)而隨著可靠度 變高指示區域32的濃度變高(深色)。圖16(a)是在與圖15(b)所示的4個方向的頂底方向對應的4個指示區域中，按 照頂底方向的可靠度從高到低的順序使指示區域的濃度(顏色)變化的情況下的、可靠度 從第一位至第四位的指示區域的顏色的例子的說明圖，圖16(b)是表示圖16(a)所示的 R(R1 R4)的值的說明圖，圖16(c)是表示圖16(a)所示的R(R1 R4)的值的其他的決定 方法的說明圖。在圖15(a)所示的部分區域51中，各頂底方向的可靠度的順序是第1位180度、 第2位0度、第3位270度、第4位90度。另一方面，在圖16 (a)的例子中，使表示指示區域32的顏色的R，G，B的值中的G( = 0)以及B(=127)恒定，而使R的濃度變化。此外， 在圖16(b)的例子中從Rl朝向R4濃度降低。因此，指示區域32的顏色，在與第1位的180 度對應的指示區域32的顏色最深，對于第2位的0度、第3位的270度、第4位的90度，顏 色依次變淺。但是，在此指示區域32的值濃度(顏色)不僅由可靠度的值決定還根據可靠 度的順序來決定。在圖16(c)的例子中，以頂底方向的可靠度是第1位的可靠度為基準，求取相對于 該可靠度的其他的頂底方向的可靠度的比C，利用該比C決定與各頂底方向對應的指示區 域32的濃度(顏色)。(3-5)彈出顯示的第5例該例子是在例如圖9所示的彈出顯示中，使與各頂底方向對應的4個指示區域32 的顯示尺寸與每個對象部分區域51的頂底方向的可靠度相應地不同的例子。圖17是表示在圖9所示的部分區域的彈出顯示上與各頂底方向的可靠度對應地 使指示區域32的尺寸不同的狀態的說明圖。在該例子中，呈矩形顯示的指示區域32的長 度不同。在圖17所示的部分區域51中，頂底方向與可靠度的關系如圖15(a)所示那樣從 逆時針方向看是0度/35、90度/10、180度/80、270度/15。相對于這種部分區域51，在圖 17所示的彈出顯示中，與可靠度最低的頂底方向對應的指示區域32最短，而隨著可靠度變 高指示區域32的長度變長。圖18(a)是在與4個方向的頂底方向對應的4個指示區域中按照頂底方向的可靠 度從高到低的順序使指示區域的尺寸(長度)變化的情況下的可靠度從第一位至第四位的 指示區域的尺寸(長度)的例子的說明圖，圖18(b)是表示圖18(a)所示的M(M1 M4)的 值(倍率)的說明圖，圖18(c)是表示圖18(a)所示的M(M1 M4)的值的其他的決定方法 的說明圖，圖18(d)是表示與圖18(c)所示的可靠度相應的倍率(Cl C4)的值的決定方 法的說明圖。在圖15(a)所示的部分區域51中，各頂底方向的可靠度的順序是第1位180度、 第2位0度、第3位270度、第4位90度。另一方面，在圖18 (a)的例子中，將各指示區 域32的尺寸(長度)確定為給指示區域32的基準尺寸(例如最大尺寸)乘以倍率M而獲 得。倍率M如圖18(b)所示，頂底方向的可靠度越高則越大。因此，指示區域32的尺寸(長 度)是，與第1位的180度對應的指示區域32的尺寸(長度)最大、朝向第2位的0度、第 3位的270度、第4位的90度依次變小。但是，在此指示區域32的尺寸不僅由可靠度的值 決定還根據可靠度的順序決定。在圖18(c)的例子中，將上述倍率M(M1 M4)設為與可靠度的值相應的值C(C1 C4)。即，為了求取各指示區域32的尺寸(長度)，如圖18(d)所示，將指示區域32的基準 尺寸乘的倍率M設為其他的頂底方向的可靠度相對于頂底方向的可靠度是第1位的可靠度 之比。(實施方式2)以下，基于
本發明的其他實施方式。本實施方式表示將圖1所示的圖像 處理裝置1應用于復合機即圖像形成裝置的例子。圖19是表示圖像形成裝置200中的打 印動作的狀態的框圖。圖20是表示圖像形成裝置200的預覽顯示的動作狀態的框圖。圖
1721是表示圖像形成裝置200的圖像發送狀態的框圖。本實施方式的圖像形成裝置200是具備復印功能(復印模式)、打印功能(打 印模式)、傳真收發功能(傳真送信模式、傳真接收模式)以及掃描并發送郵件(scan to e-mail)功能(掃描并發送郵件模式)等的數字彩色復合機。復印模式是讀取原稿的圖像數據，并將該圖像數據的圖像打印到紙張上的模式。 打印模式是將從與圖像形成裝置200連接的終端裝置送來的圖像數據的圖像打印到紙張 上的模式。傳真送信模式是讀取原稿的圖像數據，并將該圖像數據經電話線路向外部裝置 發送的模式。傳真接收模式是將圖像數據自外部裝置由傳真接收，并將接收到的圖像數據 的圖像打印到紙張上的模式。掃描并發送郵件模式是將讀取原稿而生成的圖像數據添加到 電子郵件中并向所指定的地址發送的模式。另外，圖像輸出裝置(打印裝置)是再現電子 照相方式打印機、噴墨方式打印機等的圖像的裝置。圖像形成裝置，例如如圖19所示，具備圖像處理裝置201、圖像輸入裝置202、圖像 輸出裝置203、收發裝置204、圖像顯示裝置205、存儲裝置204以及控制裝置207。圖像輸入裝置202具備CCD (Charge Coupled Device)線性傳感器，進行原稿的讀 取動作。即，對原稿照射光線，將從原稿反射來的光轉換為被色分解為R、G、B(R 紅、G 綠、 B:藍)的電信號。圖像處理裝置201對自圖像輸入裝置202輸入的圖像數據實施圖像處 理。圖像輸出裝置203是例如電子照相方式的打印機或噴墨打印機方式的打印機，將自圖 像處理裝置201輸入的圖像數據的圖像打印到紙張上。收發裝置204與電話線路或者因特 網連接，在與外部裝置之間收發圖像數據。圖像顯示裝置205是圖像形成裝置200的操作 面板(未圖示)上所具備的觸摸面板式的例如液晶顯示器，可彩色顯示。該圖像顯示裝置 對應于圖1所示的顯示裝置2。存儲裝置206對應于圖1所示的存儲裝置3。控制裝置207是包含CPU的計算機， 統一控制圖像形成裝置200具備的各種硬件、各硬件間的數據轉送等。此外，控制部108也 具有圖像形成裝置200中所具備的進行各種控制的功能。圖像處理裝置201具有A/D (模擬/數字)轉換部221、黑斑校正部222、輸入處理 部223、第1原稿檢測部224、顏色校正部226、黑生成/底色去除部227、空間濾波部228、輸 出灰度校正部229、灰度級生成部230以及區域分離處理部231、第2原稿檢測部232、文字 識別部233、描畫命令生成部234以及格式化處理部235。A/D轉換部221將從圖像輸入裝置202輸入的模擬RGB圖像信號轉換為數字RGB 圖像數據。黑斑校正部222對從A/D轉換部221輸入的圖像數據實施去除由圖像輸入裝置 202的照明系統、成像系統、攝像系統產生的各種變形。輸入處理部223對從黑斑校正部222 輸入的RGB圖像數據分別實施Y校正處理等灰度轉換處理。第1原稿檢測部224對利用輸入處理部223處理過的圖像數據進行原稿的傾斜檢 測。原稿校正部225基于由第1原稿檢測部224的傾斜檢測的結果，對圖像數據進行傾斜 校正處理。顏色校正部226將從原稿校正部225輸入的RGB圖像數據轉換為CMY圖像數據， 同時對該圖像數據實施提高顏色再現性的處理。黑生成/底色去除部227根據從顏色校正部226輸入的CMY圖像數據來生成黑 (K)的圖像數據，并根據從輸入的CMY圖像數據減去黑(K)的圖像數據來生成新的CMY的圖像數據。空間濾波部228對從黑生成/底色去除部227輸入的CMYK或者CMY的圖像數據， 進行以區域分離數據為基礎利用數字濾波器實施空間濾波處理(強調處理、平滑化處理
寸J ο輸出灰度校正部229對從空間濾波部228輸入的圖像數據進行用于輸出到紙張等 記錄介質上的Y校正處理。灰度級生成部230對從輸出灰度校正部229輸入的圖像數據，利用誤差擴散法和 抖動法，在圖像輸出裝置203中進行打印圖像所需的灰度再現處理(灰度級生成處理)。區域分離部231，針對從原稿校正部225輸入的RGB圖像數據，判斷各像素屬于例 如黑色文字區域、彩色文字區域或者網格區域中的哪一個區域，并生成表示其判斷結果的 區域分離數據。生成的區域分離數據被輸出到黑生成/底色去除部227、空間濾波部228以 及灰度級生成部230。第2原稿檢測部232具有與圖1所示的區域分割部11、頂底判斷部12以及顯示控 制部14對應的功能。文字識別部233與圖1所示的文字識別部13對應，并具有與文字識別部13同樣 的功能。描畫命令生成部234針對圖像數據進行將利用文字識別部233作出的文字識別結 果作為透明文本嵌入的處理。格式化處理部235將被輸入的圖像數據轉換為外部裝置可處理的通用的格式(文 件形式)。圖22是表示第1原稿檢測部224的構成的框圖。第1原稿檢測部224，如圖22所 示，具備信號轉換部241、2值化處理部242、分辨率轉換部243以及原稿傾斜檢測部244。信號轉換部241通過下述的運算將RGB彩色圖像數據轉換為亮度信號。Yi = 0. 30Ri+0. 59Gi+0. IlBiY:各像素的亮度信號R，G，B 各像素的各色成分的值下標i 給予每個像素的值(i是1以上的整數)另外，也可以在利用信號轉換部241的處理中，將RGB信號轉換為CIE1976L*a*b* Ih^ (CIE Commission International del' Eclairage> L*a*, b*)
也可以使用G信號。2值化處理部242將從信號轉換部241輸入的圖像數據2值化。在圖像數據是8 比特時例如將閾值設為128。或者，由多個像素(例如5X5)構成的區塊，也將濃度(像素 值)的平均值設為閾值。分辨率轉換部243將由2值化處理部242被2值化的圖像數據的分辨率低分辨率 化。例如，將以1200Dpi或者600Dpi讀入的圖像數據轉換為300dpi。分辨率轉換的方法利 用公知的最鄰近法、雙線性內插法、雙三次插值法等進行。原稿傾斜檢測部244利用例如JP特開平7-192086號公報(專利文獻4)所記載 的方法進行原稿的傾斜檢測。該原稿傾斜檢測，是指為了讀取原稿圖像而校正放置在作為 掃描儀的圖像輸入裝置202上的原稿傾斜的讀取圖像(圖像數據)。在此，原稿傾斜檢測是通過下面的次序進行。(cl)從由2值化處理部242被2值化的圖像數據中，提取多個黑色像素和白色像 素的交界點，求出各交界點的點列的坐標數據。此時，黑色像素和白色像素的交界點是例如 各文字的上端的白/黑交界點的坐標，求取該坐標并存儲到存儲裝置206。(c2)參照由通過上述(Cl)的處理獲得的多個交界點的坐標構成的點列坐標數 據，并根據該點列坐標求出回歸直線，計算該回歸系數b并存儲到存儲器中(下述(1)式)。
在此，(1)式的Sx、Sy分別是用變量χ和y的殘差平方和，Sxy是χ的殘差和y的 殘差之積的和。即，用下面的(2) (4)式表示。
利用回歸系數b通過(5)式計算出圖像的傾斜角度(Θ)。tan θ = b (5)從原稿校正部225將校正了原稿的傾斜的300dpi的圖像數據輸出到第2原稿檢 測部232。在第2原稿檢測部232上設置的區域分割部11中，由于只要分開其布局即可，所 以也可以通過上述分辨率轉換部243生成75dpi的圖像數據并輸出到第2原稿檢測部232， 而將300dpi的圖像數據向文字識別部233輸出。原稿校正部225，如前述那樣，基于在第1原稿檢測部224的傾斜檢測的結果，對圖 像數據進行傾斜校正處理。將圖像數據以原點為中心，逆時針傾斜校正了角度θ時校正前后的坐標的關系 用以下的(6)式表示，并使用該式進行原稿的傾斜校正。校正前坐標(X，Y)、校正后坐標(X’，Y’ ) 例如、將圖像數據以原點為中心，逆時針旋轉角度為90度、180度、270度時旋轉前 后的坐標的關系用下式表示。在此，使用下述式來進行原稿的傾斜校正。旋轉前坐標(X，Y)、旋轉后坐標(X’，Y’ )旋轉90度時
X’ =原始圖像Y方向尺寸-Ι-ΥY，= X旋轉180度時X’ =原始圖像X方向尺寸-I-XY’ =原始圖像γ方向尺寸-I-Y旋轉270度時X，= YY’ =原始圖像X方向尺寸-I-X圖23是表示第2原稿檢測部232的構成的框圖。第2原稿檢測部232具備區域 分割部251、頂底判斷部252以及頂底判斷校正部253。區域分割部251與圖1所示的區域 分割部11對應，具有與區域分割部11相同的功能。頂底判斷部252與圖1所示的頂底判 斷部12對應，具有與頂底判斷部12相同的功能。頂底判斷校正部253使從頂底判斷部252 輸出的2值圖像數據以90度為單位旋轉。旋轉多少度根據頂底判斷部252的頂底判斷結果。在上述的構成中，針對圖像形成裝置200中的復印模式下的打印動作(圖19)來 說明。此時，利用圖像輸入裝置202讀取原稿的圖像，將模擬的彩色圖像信號(RGB模擬信 號)從圖像輸入裝置202輸入圖像處理裝置201。該圖像信號由A/D轉換部221被轉換為 數字信號，并通過黑斑校正部222去除在圖像輸入裝置202的照明系統、成像系統、攝像系 統生成的各種變形。其后，在輸入處理部223對各個RGB信號實施校正γ的處理等。由輸 入處理部223處理過的圖像數據臨時被存儲在存儲裝置206。接著，第1原稿檢測部224對存儲在存儲裝置206的上述圖像數據進行原稿的傾 斜檢測。接著，原稿校正部225基于在第1原稿檢測部224的傾斜檢測的結果對上述圖像 數據進行傾斜校正處理。另外，由原稿校正部225處理過的圖像數據也可以作為歸檔數據來管理。此時，上 述圖像數據可以基于例如JPEG壓縮算法而被壓縮為JPEG代碼來進行儲存。上述JPEG代碼，在指示了復印輸出動作和打印輸出動作時從存儲裝置206被讀 出，在JPEG擴展部(未圖示)進行解碼處理并轉換為RGB數據。相反，在圖像發送動作時， 從存儲裝置206被讀出并經網絡或通信線路向外部連接裝置或通信線路輸出。另外，歸檔 數據的管理和數據交接的動作控制由控制裝置207進行。在顏色校正部226中，生成作為RGB信號的補色的CMY (C 青，M 品紅，Y 黃)信 號同時實施提高顏色再現性的處理，在黑生成/底色去除部227被轉換為CMYK(K 黑)4色 信號。在空間濾波部228對CMYK信號實施強調處理和平滑化處理，在輸出灰度校正部229 實施用于輸出到紙張等記錄介質上的輸出Y校正處理。在灰度級生成部230進行用于輸 出圖像的灰度再現處理。從灰度級處理部230輸出的CMYK信號被輸入圖像輸出裝置203， 作為可視圖像打印到紙張。在此，說明在輸出灰度校正部229進行的γ校正。圖24(a)是表示與顯示裝置的 顯示特性相應的Y校正曲線的一例的曲線圖，圖24(b)是表示使文字變得清楚的Y校正 曲線的一例的曲線圖。用于在圖像輸出裝置203的印刷的利用輸出灰度校正部229的γ校 正中，如圖24(b)的實線所示那樣，進行不同于與顯示裝置的顯示特性相應的Y校正(虛線)的Y校正，以便使打印的文字變得鮮明。另一方面，從區域分離部231輸出的區域分離數據被輸入黑生成/底色去除部 227、空間濾波部228、灰度級生成部230，在上述各功能部中進行與各種區域相應的適當處 理的切換。接著，說明圖像形成裝置200中的圖像發送動作(圖21)。此時的圖像輸入裝置 202、A/D轉換部221、黑斑校正部222、輸入處理部223以及區域分離部231的處理內容與 在前述的復印模式下的印刷動作時是相同的。顏色校正部226中，將從原稿校正部225輸入的圖像數據轉換為適合于一般普及 的顯示裝置的顯示特性的R’ G’ B’圖像數據(例如，sRGB數據)。在空間濾波部228，以從 對象部分區域231輸出的區域分離數據為基礎對輸入的圖像數據進行利用數字濾波器的 空間濾波處理(強調處理，平滑化處理)。在輸出灰度校正部229中，對例如文字區域進行 利用了圖24(b)的、校正曲線的校正，對文字區域以外的區域進行利用了圖24(a)的、 校正曲線的校正。另外，黑生成/底色去除部227以及灰度級生成部230不對所輸入的圖像數據進 行處理，而將該圖像數據直接送入后段的模塊中。因此，從輸出灰度校正部229輸出的是 R’G’B’圖像數據。另一方面，在第2原稿檢測部232具有校正了頂底方向的部分區域的圖像數據，對 經第2原稿檢測部232的處理的各部分區域的圖像數據，在文字識別部233進行文字識別 處理。接著，在描畫命令生成部234，對包含上述的各部分區域的圖像數據進行配置透明文 本的命令的生成。從輸出灰度校正部229輸出的R’ G’ B’的圖像數據以及從描畫命令生成部234輸 出的識別數據，由格式化處理部235被轉換為PDF文件等的圖像文件。利用描畫命令生成 部234將文字識別的結果作為透明文本嵌入該圖像文件中。被格式化的圖像文件在未圖示 的郵件處理部(任務裝置)被添加到電子郵件，并經由網絡將該電子郵件發送到對象目的 地。接著，說明圖像形成裝置200上的預覽顯示的動作(圖20)。在該動作中，通過指 示區域231、第2原稿檢測部232以及文字識別部233進行與圖1所示的圖像處理裝置1相 同的動作。此時，第2原稿檢測部232作為圖1所示的區域分割部11、頂底判斷部12以及 顯示控制部14發揮作用，區域分割部11基于來自區域分離部231的區域分離數據將圖像 數據分為部分區域。圖像顯示裝置205作為圖1的顯示裝置發揮作用。(實施方式3)基于附圖來說明本發明的其他的實施方式。本實施方式表示將圖1所示的圖像處 理裝置1應用于圖像讀取裝置(掃描儀)的例子。圖25是表示圖像讀取裝置300的構成 的框圖。圖像讀取裝置300具備圖像輸入裝置202和圖像處理裝置301。圖像處理裝置301 具備A/D轉換部221、黑斑校正部222、輸入處理部223、第1原稿檢測部224、原稿校正部 225、顏色校正部226、第2原稿檢測部232、文字識別部233、描畫命令生成部234以及格式 化處理部235。圖像處理裝置301的各處理部的處理內容與前述的圖像形成裝置200中的 圖像發送的情況相同。
在圖像處理裝置301中實施了處理的圖像數據、例如PDF文件向計算機、硬件、網 絡等輸出。此外，在圖像顯示裝置205中，在對頂底方向的可靠度低的部分區域(對象部分 區域)進行預覽顯示這點、以及對該預覽顯示的指示區域32由用戶指定了頂底方向的情況 下，將對象部分區域的頂底方向變為所指定的頂底方向這點，與圖像處理裝置1的情況相 同。本發明還能夠在記錄了用于讓計算機執行的程序代碼(執行形成程序、中間代碼 程序、源代碼程序)的計算機可讀取的記錄介質上，記錄了圖像處理方法，該圖像處理方法 判斷上述的原稿的方向并重疊顯示對原稿實施旋轉處理的方向。其結果，可以便攜地提供記錄了執行圖像處理方法的程序，該圖像處理方法判斷 原稿的方向并在重疊顯示原稿實施旋轉處理的方向。另外，在本實施方式中，作為該記錄介質，可以是用于利用微型計算機進行處理的 未圖示的存儲器、例如是ROM那樣的自身為程序介質，此外，作為外部存儲裝置(未圖示)， 也可以是設有程序讀取裝置，通過將記錄介質插入其而可讀取的程序介質。在任一種情況下，所存儲的程序代碼都可以是微型處理器訪問執行的構成，或者 在任一種情況下都讀出程序代碼，讀出的程序代碼是被下載到微型計算機的未圖示的程序 存儲區域中，執行該程序代碼的方式。該下載用的程序預先存儲在主體裝置中。在此，上述程序介質是可與主體分離地構成的記錄介質，也可以是磁帶和卡帶等 帶系、軟(注冊商標)盤和硬盤等磁盤CD-R0M/M0/MD/DVD等光盤的盤系、IC卡(包含存儲 卡)/光卡等卡系、或者掩模 R0M、EPR0M(Electrically Erasable Programmable Readonly Memory) > EEPROM (ElectricalIy Erasable Programmable ReadOnly Memory)、閃存 ROM 等 的包含半導體存儲器的固定承載程序代碼的介質。此外，在本實施方式中，是可連接包含因特網的通信網絡的系統構成，因此也可以 是從通信網絡下載程序代碼那樣地流動地承載程序代碼的介質。另外，這樣在從通信網絡 下載程序代碼時，也可以是將該下載用的程序預先存儲到主體裝置、或者從其他的記錄介 質安裝的內容。另外，本發明也可以以上述的程序代碼用電子轉送被具體化的、嵌入載波的 計算機數據信號的方式來實現。上述記錄介質通過由在數字彩色圖像形成裝置和計算機系統上設置的程序讀取 裝置讀取來執行上述的圖像處理方法。計算機系統構成為包括計算機，其使平板掃描儀、薄片掃描儀、數字攝像機等圖 像輸入裝置、通過下載規定的程序來進行上述圖像處理方法等各種處理；顯示計算機的處 理結果的CRT顯示器、液晶顯示器等圖像顯示裝置以及將計算機的處理結果輸出到紙上的 打印機。進而，設置有作為經網絡與服務器等連接的通信單元的網卡和調制解調器等。如上所述，在本發明的圖像處理裝置中，上述顯示控制部也構成為具備生成上述 對象部分區域的圖像和上述指示區域的圖像的顯示用圖像生成部、放大上述對象部分區域 的圖像和指示區域的圖像并作為上述顯示用圖像數據輸出的顯示用圖像輸出部。根據上述的構成，在催促用戶指定對象部分區域的頂底方向時，放大顯示對象部 分區域的圖像和指示區域的圖像。由此用戶可以容易地知道存在應指定頂底方向的對象部 分區域，此外，向指示區域的輸入變得容易。在上述圖像處理裝置中，上述顯示控制部也可以構成為具備按照對上述指示區域指定頂底方向的輸入使上述顯示用圖像數據旋轉，做成上述顯示用圖像數據輸出的旋轉 處理部。根據上述的構成，在顯示裝置上顯示的顯示用圖像數據，按照用戶對指示區域指 定的頂底方向被旋轉處理并再此顯示。因此，用戶可以現場確認對對象部分區域的頂底方 向的指定正確與否。此外，在上述顯示用圖像輸出部中進行了顯示用圖像數據的間隔剔除 處理時，旋轉處理部對被進行了間隔剔除處理的顯示用圖像數據(預覽用圖像數據)進行 旋轉處理，因此可以減輕處理的負擔。在上述的圖像處理裝置中也可以構成為，上述文字識別部針對上述非對象部分區 域按照由上述頂底判斷部設定的頂底方向使上述非對象部分區域旋轉之后，針對上述對象 部分區域按照對上述指示區域指定頂底方向的輸入使上述對象部分區域旋轉之后進行上 述文字識別。根據上述的構成，文字識別部在參照詞典數據進行文字識別時，不對數據容量大 的詞典數據進行旋轉，而使非對象部分區域以及對象部分區域旋轉來進行文字識別。因此， 可以減輕文字識別的負擔并且縮短處理時間。在上述的圖像處理裝置中，上述顯示控制部也可以構成為將上述指示區域配置在 相對于上述對象部分區域的上下左右4個位置上，使各指示區域的尺寸以及顏色中至少一 個，根據與利用上述頂底判斷部求出的上述4個方向的可靠度的不同而不同。根據上述的構成，配置在對象部分區域周圍的4個位置(4個方向的位置)的指示 區域，根據作為頂底方向的4個方向的可靠度，以尺寸以及顏色中的至少一個相互不同的 狀態顯示。因此，用于對指示區域指定對象部分區域的頂底方向的情況下，將各指示區域的 顯示狀態的不同作為參考，可以容易地指定針對指示區域的頂底方向。在發明的詳細說明中說明的具體實施方式
或者實施例只不過是將本發明的技術 內容明確化了的說明，不應狹義地限定于該具體例來解釋，在本發明的精神和后述的權利 要求書的范圍內可以進行各種變更來實施。
權利要求
一種圖像處理裝置，其特征在于，具備區域分割部，其將輸入的圖像數據分為多個部分區域；頂底判斷部，其分別求出將上述部分區域的圖像數據的上下左右4個方向作為頂底方向時的可靠度，并將求得的可靠度中的可靠度最高的方向設定為該部分區域的頂底方向；顯示控制部，其針對由上述頂底判斷部設定了頂底方向的部分區域，生成用于使對象部分區域和非對象部分區域中的至少上述對象部分區域的圖像以及指示區域的圖像顯示在顯示裝置上的顯示用圖像數據，其中，該對象部分區域是頂底方向的可靠度低于規定值的部分區域，該非對象部分區域是可靠度在規定值以上的部分區域，該指示區域用于接受指定上述對象部分區域的頂底方向的用戶輸入；文字識別部，其針對上述對象部分區域將對上述指示區域指定的頂底方向作為頂底方向，針對上述非對象部分區域將由上述頂底判斷部設定的頂底方向作為頂底方向，來對各部分區域進行文字識別。
2.根據權利要求1所述的圖像處理裝置，其特征在于，上述顯示控制部具備生成上述 對象部分區域的圖像和上述指示區域的圖像的顯示用圖像生成部、和將上述對象部分區域 的圖像和指示區域的圖像放大并作為上述顯示用圖像數據輸出的顯示用圖像輸出部。
3.根據權利要求2所述的圖像處理裝置，其特征在于，上述顯示控制部具備旋轉處理 部，該旋轉處理部按照對上述指示區域指定頂底方向的輸入使上述顯示用圖像數據旋轉， 并作為上述顯示用圖像數據輸出。
4.根據權利要求1所述的圖像處理裝置，其特征在于，上述文字識別部，在針對上述非 對象部分區域按照由上述頂底判斷部設定的頂底方向使上述非對象部分區域旋轉，針對上 述對象部分區域按照對上述指示區域指定頂底方向的輸入使上述對象部分區域旋轉之后， 進行上述文字識別。
5.根據權利要求1所述的圖像處理裝置，其特征在于，上述顯示控制部，將上述指示區 域配置在相對于上述對象部分區域的上下左右4處位置上，使各指示區域的尺寸以及顏色 中的至少一個，根據由上述頂底判斷部求出的上述4個方向的可靠度的不同而不同。
6.根據權利要求5所述的圖像處理裝置，其特征在于，上述顯示控制部，使上下左右4 個位置的指示區域的尺寸根據由上述頂底判斷部求出的上述4個方向的可靠度的不同而 不同，與頂部方向對應的指示區域的可靠度越高，則使指示區域的尺寸越大。
7.根據權利要求5所述的圖像處理裝置，其特征在于，上述顯示控制部，使上下左右4 個位置的指示區域的顏色的濃度根據由上述頂底判斷部求出的上述4個方向的可靠度的 不同而不同，與頂部方向對應的指示區域的可靠度越高，則使指示區域的顏色的濃度越大。
8.一種圖像形成裝置，其特征在于，具備權利要求1所述的圖像處理裝置、顯示上述顯示用圖像數據的顯示裝置、將圖像數據 打印到紙張上的打印裝置。
9.根據權利要求8所述的圖像形成裝置，其特征在于，上述顯示裝置是觸摸面板方式的顯示裝置，上述顯示控制部將用戶對顯示裝置的畫面的觸摸操作作為上述用戶輸入接受。
10.一種圖像處理方法，其特征在于，具備區域分割步驟，將輸入的圖像數據分為多個部分區域；頂底判斷步驟，分別求出將上述部分區域的圖像數據的上下左右4個方向作為頂底方 向時的可靠度，并將求出的可靠度中的可靠度最高的方向設定為該部分區域的頂底方向；顯示控制步驟，針對由上述頂底判斷步驟設定了頂底方向的部分區域，生成使對象部 分區域和非對象部分區域中的至少對象部分區域的圖像和指示區域的圖像顯示在顯示裝 置上的顯示用圖像數據，其中，該對象部分區域是頂底方向的可靠度比規定值低的部分區 域，該非對象部分區域在作為可靠度在規定值以上的部分區域，該指示區域接受指定上述 對象部分區域的頂底方向的用戶輸入；文字識別步驟，針對上述對象部分區域將對上述指示區域指定的頂底方向作為頂底方 向，針對上述非對象部分區域將由上述頂底判斷部設定的頂底方向作為頂底方向，對各部 分區域進行文字識別。
全文摘要
本發明提供一種圖像處理裝置，具備區域分割部，其將輸入的圖像數據分為多個部分區域；頂底判斷部，其求出將部分區域的圖像數據的上下左右4個方向設為頂底方向時的可靠度，并將求可靠度最高的方向設為該部分區域的頂底方向；顯示控制部，其針對由頂底判斷部設定了頂底方向的部分區域，生成包含對象部分區域的圖像和指示區域的圖像的顯示用圖像數據，其中，該對象部分區域是頂底方向的可靠度低于規定值的部分區域，該指示區域接受指定該對象部分區域的頂底方向的用戶輸入；文字識別部，其針對對象部分區域將對指示區域被指定的頂底方向作為頂底方向，針對其以外的部分區域將由頂底判斷部設定的頂底方向作為頂底方向，對各部分區域進行文字識別。
文檔編號G06K9/32GK101923644SQ201010203299
公開日2010年12月22日 申請日期2010年6月11日 優先權日2009年6月15日
發明者森本淳壽 申請人:夏普株式會社