便攜終端裝置、圖像處理聯合系統及畫面數據的顯示方法與流程

本發明是以下專利申請的分案申請：申請號：201310632644.8，申請日：2013年12月2日，發明名稱：便攜終端裝置、圖像處理聯合系統及畫面數據的顯示方法

本發明涉及能夠通過無線通信連接到作為多功能數字復合機的mfp(多功能一體機)等的圖像處理裝置的智能手機、平板終端等的便攜終端裝置、包括該便攜終端裝置和圖像處理裝置的圖像處理聯合系統及在所述便攜終端裝置中執行的畫面數據的顯示方法。

背景技術：

近年來，智能手機、平板終端等的便攜終端裝置能夠存儲電子化的文本，無論時間和地點，都能夠閱覽或者編輯文本。此外，能夠將在便攜終端裝置中進行了編輯等的文件發送到所述mfp等的圖像處理裝置，使圖像處理裝置執行印刷或者保存等的處理。此外，也能夠將由圖像處理裝置的掃描儀部讀取的原稿的圖像數據等構成的文件發送到便攜終端裝置，在便攜終端裝置中進行編輯等。

但是，需要分別單獨地操作便攜終端裝置和圖像處理裝置，存在操作變得煩雜的問題。

因此，最近，提出了使得能夠將用于使用圖像處理裝置的功能的圖像處理裝置側的操作畫面等作為遠程畫面而顯示在便攜終端裝置的顯示部中，從便攜終端裝置聯合操作圖像處理裝置的、圖像處理裝置和便攜終端裝置的聯合系統。在該聯合系統中，基于從圖像處理裝置發送的畫面數據而顯示在便攜終端裝置的顯示部中顯示的圖像處理裝置側的遠程畫面。

即，表示進行了操作的信息從便攜終端裝置發送到圖像處理裝置，圖像處理裝置基于該信息而生成下一個畫面數據，并將該畫面數據發送到便攜終端裝置，便攜終端裝置基于該畫面數據對遠程畫面進行更新顯示。

另一方面，便攜終端裝置包括觸摸面板，用戶通過對顯示畫面進行雙指縮小(pinchin)、雙指放大(pinchout)等的手勢操作，能夠對圖像進行變倍或者旋轉。

另外，當用戶對在便攜終端裝置中顯示的圖像處理裝置側的遠程畫面進行了用于指示變倍或旋轉等的手勢操作的情況下，發生如下的問題。

另外，在專利文獻1中，公開了如下技術：由發送源的裝置判別在外部圖像顯示裝置中顯示的層(layer)和不顯示的層，只將顯示層發送到外部顯示裝置，從而減輕傳輸路徑的業務量。

現有技術文獻

專利文獻

專利文獻1：日本特開2006-519401號公報

即，雙指縮小、雙指放大等的手勢操作是使觸摸到觸摸面板的手指連續性地移動的操作，伴隨于此，圖像也連續地進行變倍或者旋轉。

因此，即使對在便攜終端裝置中顯示的圖像處理裝置側的遠程畫面進行了用于指示變倍或旋轉等的手勢操作的情況下，也需要實時更新遠程畫面，但由于在手指每次移動時，表示進行了操作的信息從便攜終端側依次發送到圖像處理裝置，從圖像處理裝置對便攜終端依次發送對應的畫面數據而顯示，所以存在對于操作的畫面變更的響應性差，不能確保操作性的問題。

尤其，由于便攜終端裝置與圖像處理裝置之間的無線通信狀態差，所以在通信速度慢或者發生通信的中斷這樣的狀況下，存在響應性加速降低，越發不能確保操作性的問題。

另外，在前述的專利文獻中記載的技術并不能對這樣的問題提供解決對策。

技術實現要素：

本發明是鑒于這樣的情況而完成的，其課題在于，提供一種在將圖像處理裝置側的畫面數據作為遠程畫面顯示在便攜終端裝置中，從便攜終端裝置進行圖像處理裝置的聯合操作的情況下，在對所述遠程畫面進行了指示變倍/旋轉等的編輯加工的手勢操作的情況下，能夠響應性好地顯示被進行了編輯加工的畫面的便攜終端裝置、包括該便攜終端裝置和圖像處理裝置的圖像處理聯合系統，進而，提供一種在所述便攜終端裝置中執行的畫面數據的顯示方法。

通過以下手段解決上述課題。

一種便攜終端裝置，其特征在于，包括：無線通信部件，能夠通過無線通信與圖像處理裝置連接；接收部件，以能夠通過所述無線通信部件與所述圖像處理裝置進行無線連接的狀態，從所述圖像處理裝置接收在圖像處理裝置側的存儲部中存儲的畫面數據；信息取得部件，取得有關與圖像處理裝置的無線通信狀態的信息；顯示部件，顯示基于由所述接收部件接收到的畫面數據的遠程畫面；觸摸操作部件，設置在所述顯示部件中；存儲部件，存儲由所述接收部件接收到的畫面數據；以及控制部件，在用戶經由所述觸摸操作部件對在所述顯示部件中顯示的所述遠程畫面進行了指示畫面數據的編輯加工的手勢操作時，在基于所述信息取得部件取得的信息的無線通信狀態超過規定等級時，將指示畫面數據的編輯加工的信息發送到所述圖像處理裝置，從圖像處理裝置取得對所述圖像處理裝置側的所述存儲部中存儲的圖像數據進行編輯加工而生成的畫面數據并使所述顯示部件顯示，在所述信息取得部件取得的通信狀態為規定等級以下時，使用在該便攜終端裝置側的所述存儲部件中存儲的畫面數據進行編輯加工，并使所述顯示部件顯示編輯加工后的畫面數據。

一種畫面數據的顯示方法，在能夠通過無線通信與圖像處理裝置連接的便攜終端裝置中執行，其特征在于，包括：接收步驟，以與所述圖像處理裝置進行無線連接的狀態，從所述圖像處理裝置接收在圖像處理裝置側的存儲部中存儲的畫面數據；信息取得步驟，取得有關與圖像處理裝置的無線通信狀態的信息；顯示步驟，將基于在所述接收步驟中接收到的畫面數據的遠程畫面顯示在顯示部件中；存儲步驟，將在所述接收步驟中接收到的畫面數據存儲在存儲部件中；以及控制步驟，在用戶經由觸摸操作部件對在所述顯示部件中顯示的所述遠程畫面進行了指示畫面數據的編輯加工的手勢操作時，當基于在所述信息取得步驟中取得的信息的無線通信狀態超過規定等級時，將指示畫面數據的編輯加工的信息發送到所述圖像處理裝置，從圖像處理裝置取得對所述圖像處理裝置側的所述存儲部中存儲的圖像數據進行編輯加工而生成的畫面數據并使所述顯示部件顯示，當基于在所述信息取得步驟中取得的信息的無線通信狀態為規定等級以下時，使用在該便攜終端裝置側的所述存儲部件中存儲的畫面數據進行編輯加工，并使所述顯示部件顯示編輯加工后的畫面數據。

一種圖像處理聯合系統，包括通過無線通信而相互連接的便攜終端裝置和圖像處理裝置，其特征在于，所述便攜終端裝置包括：無線通信部件，能夠通過無線通信與圖像處理裝置連接；接收部件，以與所述圖像處理裝置進行無線連接的狀態，從所述圖像處理裝置接收在圖像處理裝置側的存儲部中存儲的畫面數據；信息取得部件，取得有關與圖像處理裝置的無線通信狀態的信息；顯示部件，顯示基于由所述接收部件接收到的畫面數據的遠程畫面；觸摸操作部件，設置在所述顯示部件中；存儲部件，存儲由所述接收部件接收到的畫面數據；以及控制部件，在用戶經由所述觸摸操作部件對在所述顯示部件中顯示的所述遠程畫面進行了指示畫面數據的編輯加工的手勢操作時，在基于所述信息取得部件取得的信息的無線通信狀態超過規定等級時，將指示畫面數據的編輯加工的信息發送到所述圖像處理裝置，從圖像處理裝置取得對所述圖像處理裝置側的所述存儲部中存儲的圖像數據進行編輯加工而生成的畫面數據并使所述顯示部件顯示，在所述通信狀態取得部件取得的通信狀態為規定等級以下時，使用在該便攜終端裝置側的所述存儲部件中存儲的畫面數據進行編輯加工，并使所述顯示部件顯示編輯加工后的畫面數據，所述圖像處理裝置包括：接收部件，接收來自所述便攜終端裝置的指示所述第二畫面區域的畫面數據的編輯加工的信息；編輯加工部件，基于由所述接收部件接收到的指示所述畫面數據的編輯加工的信息，對畫面數據進行編輯加工；以及發送部件，將畫面數據發送到所述便攜終端裝置，且在畫面數據通過所述編輯加工部件進行了編輯加工的情況下，將該進行了編輯加工的畫面數據發送到所述便攜終端裝置。

(1)一種便攜終端裝置，其特征在于，包括：無線通信部件，能夠通過無線通信與圖像處理裝置連接；接收部件，以能夠通過所述無線通信部件與所述圖像處理裝置進行無線連接的狀態，接收圖像處理裝置側的畫面數據；顯示部件，顯示基于由所述接收部件接收到的畫面數據的遠程畫面；觸摸操作部件，設置在所述顯示部件中；取得部件，當基于所述畫面數據而在所述顯示部件中顯示的遠程畫面內的區域被進行對該遠程畫面指示畫面數據的編輯加工的手勢操作時，取得屬性信息，該屬性信息表示是設定了在本裝置中進行編輯加工的第一畫面區域，還是設定了在圖像處理裝置中進行編輯加工的第二畫面區域；存儲部件，存儲由所述接收部件接收到的所述畫面數據以及所述取得的屬性信息；判斷部件，判斷用戶經由所述觸摸操作部件對在所述顯示部件中顯示的所述遠程畫面進行的指示畫面數據的編輯加工的手勢操作是對所述第一畫面區域進行的操作，還是對所述第二畫面區域進行的操作；以及控制部件，在所述判斷部件判斷為是對所述第一畫面區域進行的操作的情況下，使用在所述存儲部件中存儲的所述第一畫面區域的畫面數據進行編輯加工，并使所述顯示部件顯示編輯加工后的畫面數據，在判斷為是對所述第二畫面區域進行的操作的情況下，對圖像處理裝置發送指示所述第二畫面區域的畫面數據的編輯加工的信息，從圖像處理裝置取得編輯加工后的畫面數據并使所述顯示部件顯示。

(2)上述(1)中記載的便攜終端裝置還包括：信息取得部件，取得有關與所述圖像處理裝置的無線通信狀態的信息；所述控制部件在基于所述信息取得部件取得的信息的無線通信狀態超過規定等級時，即使是對所述第一畫面區域進行的指示畫面數據的編輯加工的操作，也將指示所述第一畫面區域的畫面數據的編輯加工的信息發送到所述圖像處理裝置，從圖像處理裝置取得編輯加工后的畫面數據并使所述顯示部件顯示。

(3)一種便攜終端裝置，其特征在于，包括：無線通信部件，能夠通過無線通信與圖像處理裝置連接；接收部件，以能夠通過所述無線通信部件與所述圖像處理裝置進行無線連接的狀態，從所述圖像處理裝置接收圖像處理裝置側的畫面數據；信息取得部件，取得有關與圖像處理裝置的無線通信狀態的信息；顯示部件，顯示基于由所述接收部件接收到的畫面數據的遠程畫面；觸摸操作部件，設置在所述顯示部件中；存儲部件，存儲由所述接收部件接收到的畫面數據；以及控制部件，在用戶經由所述觸摸操作部件對在所述顯示部件中顯示的所述遠程畫面進行了指示畫面數據的編輯加工的手勢操作時，在基于所述信息取得部件取得的信息的無線通信狀態超過規定等級時，將指示畫面數據的編輯加工的信息發送到所述圖像處理裝置，從圖像處理裝置取得編輯加工后的畫面數據并使所述顯示部件顯示，在所述信息取得部件取得的通信狀態為規定等級以下時，使用在所述存儲部件中存儲的畫面數據進行編輯加工，并使所述顯示部件顯示編輯加工后的畫面數據。

(4)在上述(3)中記載的便攜終端裝置中，所述控制部件根據手勢操作的連續性的手指的移動，在通信狀態超過規定等級時，重復進行指示畫面數據的編輯加工的信息向所述圖像處理裝置的發送、從圖像處理裝置的編輯加工后的畫面數據的取得、對顯示部件的顯示，在通信狀態為規定等級以下時，重復進行使用在存儲部件中存儲的畫面數據的編輯加工、編輯加工后的畫面數據對顯示部件的顯示。

(5)在上述(1)至(4)的任一項中記載的便攜終端裝置中，所述控制部件在用戶對所述遠程畫面進行了指示向下一個畫面的更新的手勢操作的情況下，將有關更新的信息發送到所述圖像處理裝置，且在從圖像處理裝置取得了被更新的下一個畫面數據時，將基于下一個畫面數據的畫面顯示在所述顯示部件中。

(6)在上述(5)中記載的便攜終端裝置中，在用戶進行的手勢操作為一點觸摸操作的情況下，手勢操作被判斷為是指示向下一個畫面的更新的操作，在為兩點觸摸操作的情況下，手勢操作被判斷為是指示畫面數據的編輯加工的操作。

(7)在上述(6)中記載的便攜終端裝置中，所述兩點觸摸操作的手勢操作是雙指縮小操作或者雙指放大操作。

(8)在上述(1)至(4)、(6)以及(7)的任一項中記載的便攜終端裝置中，所述畫面數據的編輯加工為畫面數據的變倍或者旋轉。

(9)在上述(1)至(4)、(6)以及(7)的任一項中記載的便攜終端裝置中，指示所述畫面數據的編輯加工的信息是所述遠程畫面中的觸摸位置的坐標數據。

(10)在上述(6)或(7)中記載的便攜終端裝置中，有關所述更新的信息是所述遠程畫面中的觸摸位置的坐標數據。

(11)在上述(10)中記載的便攜終端裝置中，所述接收部件還接收與所述圖像處理裝置的顯示部件的畫面尺寸有關的信息，所述控制部件在所述接收的圖像處理裝置的顯示部件的畫面尺寸與本裝置的顯示部件的畫面尺寸不同的情況下，將所述觸摸位置的坐標數據變換為與圖像處理裝置的顯示部件對應的坐標數據，并發送到圖像處理裝置。

(12)一種畫面數據的顯示方法，在能夠通過無線通信與圖像處理裝置連接的便攜終端裝置中執行，其特征在于，包括：接收步驟，以能夠與圖像處理裝置進行無線連接的狀態，接收圖像處理裝置側的畫面數據；顯示步驟，將基于在所述接收步驟中接收到的畫面數據的遠程畫面顯示在顯示部件中；取得步驟，當基于所述畫面數據而在所述顯示部件中顯示的遠程畫面內的區域被進行對該遠程畫面指示畫面數據的編輯加工的手勢操作時，取得屬性信息，該屬性信息表示是設定了在本裝置中進行編輯加工的第一畫面區域，還是設定了在圖像處理裝置中進行編輯加工的第二畫面區域；存儲步驟，將在所述接收步驟中接收到的所述畫面數據以及所述取得的屬性信息存儲在存儲部件中；判斷步驟，判斷用戶經由在所述顯示部件中設置的觸摸操作部件對在所述顯示部件中顯示的所述遠程畫面進行的指示畫面數據的編輯加工的手勢操作是對所述第一畫面區域進行的操作，還是對所述第二畫面區域進行的操作；以及控制步驟，在所述判斷步驟中判斷為是對所述第一畫面區域進行的操作的情況下，使用在所述存儲部件中存儲的所述第一畫面區域的畫面數據進行編輯加工，并使所述顯示部件顯示編輯加工后的畫面數據，在判斷為是對所述第二畫面區域進行的操作的情況下，對圖像處理裝置發送指示所述第二畫面區域的畫面數據的編輯加工的信息，從圖像處理裝置取得編輯加工后的畫面數據并使所述顯示部件顯示。

(13)一種畫面數據的顯示方法，在能夠通過無線通信與圖像處理裝置連接的便攜終端裝置中執行，其特征在于，包括：接收步驟，以與所述圖像處理裝置進行無線連接的狀態，從所述圖像處理裝置接收圖像處理裝置側的畫面數據；信息取得步驟，取得有關與圖像處理裝置的無線通信狀態的信息；顯示步驟，將基于在所述接收步驟中接收到的畫面數據的遠程畫面顯示在顯示部件中；存儲步驟，將在所述接收步驟中接收到的畫面數據存儲在存儲部件中；以及控制步驟，在用戶經由觸摸操作部件對在所述顯示部件中顯示的所述遠程畫面進行了指示畫面數據的編輯加工的手勢操作時，當基于在所述信息取得步驟中取得的信息的無線通信狀態超過規定等級時，將指示畫面數據的編輯加工的信息發送到所述圖像處理裝置，從圖像處理裝置取得編輯加工后的畫面數據并使所述顯示部件顯示，當基于在所述信息取得步驟中取得的信息的無線通信狀態為規定等級以下時，使用在所述存儲部件中存儲的畫面數據進行編輯加工，并使所述顯示部件顯示編輯加工后的畫面數據。

(14)一種圖像處理聯合系統，包括通過無線通信而相互連接的便攜終端裝置和圖像處理裝置，其特征在于，所述便攜終端裝置包括：無線通信部件，能夠通過無線通信與圖像處理裝置連接；接收部件，以與所述圖像處理裝置進行無線連接的狀態，接收圖像處理裝置側的畫面數據；顯示部件，顯示基于由所述接收部件接收到的畫面數據的遠程畫面；觸摸操作部件，設置在所述顯示部件中；取得部件，當基于所述畫面數據而在所述顯示部件中顯示的遠程畫面內的區域被進行對該遠程畫面指示畫面數據的編輯加工的手勢操作時，取得屬性信息，該屬性信息表示是設定了在本裝置中進行編輯加工的第一畫面區域，還是設定了在圖像處理裝置中進行編輯加工的第二畫面區域；存儲部件，存儲由所述接收部件接收到的所述畫面數據以及所述取得的屬性信息；判斷部件，判斷用戶經由所述觸摸操作部件對在所述顯示部件中顯示的所述遠程畫面進行的指示畫面數據的編輯加工的手勢操作是對所述第一畫面區域進行的操作，還是對所述第二畫面區域進行的操作；以及控制部件，在所述判斷部件判斷為是對所述第一畫面區域進行的操作的情況下，使用在所述存儲部件中存儲的所述第一畫面區域的畫面數據進行編輯加工，并使所述顯示部件顯示編輯加工后的畫面數據，在判斷為是對所述第二畫面區域進行的操作的情況下，對圖像處理裝置發送指示所述第二畫面區域的畫面數據的編輯加工的信息，從圖像處理裝置取得編輯加工后的畫面數據并使所述顯示部件顯示，所述圖像處理裝置包括：接收部件，接收來自所述便攜終端裝置的指示所述第二畫面區域的畫面數據的編輯加工的信息；編輯加工部件，基于由所述接收部件接收到的指示所述畫面數據的編輯加工的信息，對畫面數據進行編輯加工；以及發送部件，將畫面數據發送到所述便攜終端裝置，且在畫面數據通過所述編輯加工部件進行了編輯加工的情況下，將該進行了編輯加工的畫面數據發送到所述便攜終端裝置。

(15)一種圖像處理聯合系統，包括通過無線通信而相互連接的便攜終端裝置和圖像處理裝置，其特征在于，所述便攜終端裝置包括：無線通信部件，能夠通過無線通信與圖像處理裝置連接；接收部件，以與所述圖像處理裝置進行無線連接的狀態，從所述圖像處理裝置接收圖像處理裝置側的畫面數據；信息取得部件，取得有關與圖像處理裝置的無線通信狀態的信息；顯示部件，顯示基于由所述接收部件接收到的畫面數據的遠程畫面；觸摸操作部件，設置在所述顯示部件中；存儲部件，存儲由所述接收部件接收到的畫面數據；以及控制部件，在用戶經由所述觸摸操作部件對在所述顯示部件中顯示的所述遠程畫面進行了指示畫面數據的編輯加工的手勢操作時，在基于所述信息取得部件取得的信息的無線通信狀態超過規定等級時，將指示畫面數據的編輯加工的信息發送到所述圖像處理裝置，從圖像處理裝置取得編輯加工后的畫面數據并使所述顯示部件顯示，在所述通信狀態取得部件取得的通信狀態為規定等級以下時，使用在所述存儲部件中存儲的畫面數據進行編輯加工，并使所述顯示部件顯示編輯加工后的畫面數據，所述圖像處理裝置包括：接收部件，接收來自所述便攜終端裝置的指示所述第二畫面區域的畫面數據的編輯加工的信息；編輯加工部件，基于由所述接收部件接收到的指示所述畫面數據的編輯加工的信息，對畫面數據進行編輯加工；以及發送部件，將畫面數據發送到所述便攜終端裝置，且在畫面數據通過所述編輯加工部件進行了編輯加工的情況下，將該進行了編輯加工的畫面數據發送到所述便攜終端裝置。

根據上述(1)中記載的發明，若用戶經由觸摸操作部件對在顯示部件中顯示的所述遠程畫面進行指示畫面數據的編輯加工的手勢操作，則判斷該手勢操作是對第一畫面區域進行的操作，還是對第二畫面區域進行的操作。然后，在判斷為是對第一畫面區域進行的操作的情況下，使用從圖像處理裝置發送并在存儲部件中存儲的第一畫面區域的畫面數據進行編輯加工，并顯示編輯加工后的畫面數據。另一方面，在判斷為是對第二畫面區域進行的操作的情況下，對圖像處理裝置發送指示第二畫面區域的畫面數據的編輯加工的信息，從圖像處理裝置取得編輯加工后的畫面數據并顯示在顯示部件中。

即，若用戶對第一畫面區域進行變倍或旋轉這樣的指示畫面數據的編輯加工的手勢操作，則使用已經接收完畢的第一畫面區域的畫面數據，在便攜終端裝置的內部進行編輯加工處理，所以即使進行觸摸的手指連續性地移動，追隨該手指的畫面數據也在短時間內依次被加工編輯，響應性好地顯示。因此，相應地，能夠比以往提高畫面顯示的響應性，能夠緩和不能確保操作性的問題。

此外，在對第二畫面區域進行了指示畫面數據的編輯加工的手勢操作的情況下，由于與以往相同地，通過圖像處理裝置進行了編輯加工的畫面數據顯示在顯示部件中，所以例如關于預覽圖像區域等，能夠防止如使用在便攜終端裝置側已經發送完畢的圖像進行了編輯加工的情況那樣的畫質的惡化，能夠顯示更清晰的圖像。

根據上述(2)中記載的發明，由于在圖像處理裝置和便攜終端裝置的無線通信狀態超過規定等級時、即通信狀態好時，即使是指示對第一畫面區域進行的畫面數據的編輯加工的操作，也能夠抑制響應性的惡化，所以顯示在圖像處理裝置中進行了編輯加工的畫面數據。

根據上述(3)中記載的發明，由于在圖像處理裝置和便攜終端裝置的通信狀態超過規定等級時、即通信狀態好時，顯示在圖像處理裝置中進行了編輯加工的畫面數據，在通信狀態為規定等級以下時、即通信狀態不好時，對在存儲部件中存儲的已經接收完畢的畫面數據進行了編輯加工的畫面數據顯示在顯示部件中，所以在通信狀態好時和差時，都能夠對變倍或旋轉這樣的指示畫面數據的編輯加工的手勢操作響應性好地實時顯示畫面。

根據上述(4)中記載的發明，能夠追隨變倍或旋轉這樣的指示畫面數據的編輯加工的手勢操作，響應性好地連續改變畫面。

根據上述(5)中記載的發明，在用戶對所述遠程畫面進行的手勢操作為指示向下一個畫面的更新的操作的情況下，從圖像處理裝置取得被更新的下一個畫面數據，并顯示在顯示部件中。

根據上述(6)中記載的發明，根據是一點觸摸操作還是兩點觸摸操作，能夠判斷手勢操作是指示向下一個畫面的更新的操作，還是指示畫面數據的編輯加工的操作。

根據上述(7)中記載的發明，在為雙指縮小操作或者雙指放大操作的情況下，判斷為是指示畫面數據的編輯加工的操作。

根據上述(8)中記載的發明，在進行了指示畫面數據的變倍或者旋轉的手勢操作的情況下，應用本發明。

根據上述(9)中記載的發明，圖像處理裝置能夠基于遠程畫面中的觸摸位置的坐標數據，進行畫面數據的編輯加工。

根據上述(10)中記載的發明，圖像處理裝置能夠基于遠程畫面中的觸摸位置的坐標數據，將被更新的下一個畫面數據發送到便攜終端裝置。

根據上述(11)中記載的發明，由于在圖像處理裝置的顯示部件的畫面尺寸與本裝置的顯示部件的畫面尺寸不同的情況下，觸摸位置的坐標數據變換為與圖像處理裝置的顯示部件對應的坐標數據，并發送到圖像處理裝置，所以圖像處理裝置能夠生成準確地對應于用戶的觸摸操作的畫面數據。

根據上述(12)中記載的發明，若用戶對第一畫面區域進行變倍或旋轉這樣的指示畫面數據的編輯加工的手勢操作，則使用已經接收完畢的第一畫面區域的畫面數據，在便攜終端裝置的內部進行編輯加工處理，所以即使進行觸摸的手指連續性地移動，追隨該手指的畫面數據也在短時間內依次被加工編輯，響應性好地顯示。因此，相應地，能夠比以往提高畫面顯示的響應性，能夠緩和不能確保操作性的問題。

根據上述(13)中記載的發明，在圖像處理裝置和便攜終端裝置的通信狀態好時和差時，都能夠對變倍或旋轉這樣的指示畫面數據的編輯加工的手勢操作響應性好地實時顯示畫面。

根據上述(14)中記載的發明，成為即使進行觸摸的手指連續性地移動，追隨該手指的畫面數據也在短時間內依次被加工編輯，響應性好地顯示。因此，相應地，能夠比以往提高畫面顯示的響應性，能夠緩和不能確保操作性的問題的系統。

根據上述(15)中記載的發明，成為在圖像處理裝置和便攜終端裝置的通信狀態好時和差時，都能夠對變倍或旋轉這樣的指示畫面數據的編輯加工的手勢操作響應性好地實時顯示畫面的系統。

附圖說明

圖1是使用本發明的一實施方式的便攜終端裝置的圖像處理聯合系統的結構圖。

圖2是表示圖像處理裝置以及便攜終端裝置的電結構的方框圖。

圖3是表示圖像處理裝置以及便攜終端裝置的固件結構的方框圖。

圖4是表示圖像處理裝置以及便攜終端裝置的各軟件的關系的圖。

圖5是在對在便攜終端裝置的顯示部中顯示的遠程畫面進行了操作的情況下顯示的畫面的說明圖。

圖6是表示聯合操作時的便攜終端裝置的動作的流程圖。

圖7是表示聯合操作時的圖像處理裝置的動作的流程圖。

圖8是用于說明本發明的其他實施方式的圖，且是圖示了圖像處理裝置以及便攜終端裝置的處理的圖。

圖9是表示執行圖8所示的實施方式的情況下的便攜終端裝置的動作的流程圖。

圖10是表示本發明的再其他實施方式的圖，且是表示便攜終端裝置的動作的流程圖。

圖11是用于說明在便攜終端裝置的畫面尺寸和圖像處理裝置的畫面尺寸不同的情況下的坐標變換方法的圖。

標號說明

1圖像處理裝置

2便攜終端裝置

101cpu

102rom

107b顯示部

109wifi模塊

201cpu

202ram

203存儲部

204顯示部

205wifi模塊

209聯合部

具體實施方式

以下，基于附圖說明本發明的實施方式。

圖1是使用本發明的一實施方式的便攜終端裝置的圖像處理聯合系統的結構圖。

該圖像處理聯合系統包括圖像處理裝置1和由智能手機或平板終端等構成的便攜終端裝置2，這些圖像處理裝置1和便攜終端裝置2能夠經由無線lan路由器3、網絡4而相互連接。另外，圖像處理裝置1和便攜終端裝置2能夠通過usb接口等進行有線連接，但在該實施方式中，通過無線通信相互連接。

在該實施方式中，作為圖像處理裝置1，使用具有復印功能、打印功能、掃描功能、傳真功能等的前述的mfp。以下，也將圖像處理裝置記為mfp。此外，也將便攜終端裝置記為便攜終端。

圖2是表示所述mfp1和便攜終端2的電結構的方框圖。

mfp1包括cpu101、rom102、ram103、掃描儀部104、打印部105、存儲部106、操作面板部107、wifi(wirelessfidelity,無線保真)模塊109、lan(局域網)控制器110、usb接口(usbi/f)111等。

所述cpu101根據在rom102等中存儲的動作程序進行動作，從而統一控制mfp1的全體。例如，除了將mfp1的各種功能控制為能夠使用之外，在該實施方式中，基于來自便攜終端2的請求，生成在便攜終端2中顯示的mfp1的操作畫面的畫面數據并發送到便攜終端2，或者生成用于表示畫面數據的區域為第一畫面區域還是第二畫面區域的屬性信息(后述)并發送到便攜終端2，或者基于在便攜終端側進行的用戶操作而進行了編輯加工的畫面數據或在便攜終端側進行的用戶操作，將接下來顯示的畫面數據等發送到便攜終端2。

所述rom102是存儲cpu101等的動作程序等的存儲器，ram103是提供cpu101根據動作程序而動作時的作業區域的存儲器。

所述掃描儀部104讀取在未圖示的壓印玻璃(platenglass)上設置的原稿或在同樣未圖示的自動原稿搬運裝置中設置的原稿的圖像，輸出作為電子數據的圖像數據。

所述打印部105將由掃描儀部104讀取的原稿的圖像數據或從便攜終端2等發送的打印數據印刷在用紙上。

所述存儲部106存儲各種數據或應用程序等，使用硬盤裝置等。尤其，在該實施方式中，存儲要在操作面板部107中顯示的各種操作畫面的顯示用數據，通過cpu101從存儲部106調用對應于用戶的操作的操作畫面的顯示用數據，顯示在操作面板部107中，或者發送到便攜終端2。此外，保存由掃描儀部104讀取的圖像數據構成的文本文件或從外部裝置發送的文本文件等的多個文件。

操作面板部107操作mfp1或者對用戶顯示消息等，包括具有開始鍵、數字鍵等的鍵部107a以及由液晶等的觸摸面板構成的顯示部107b。

所述wifi模塊109是用于與便攜終端2進行無線連接的接口，所述lan控制器110控制與個人計算機或其他的mfp等的外部裝置之間的通信。

所述usb接口111是用于與便攜終端2進行有線連接的接口。

另一方面，在便攜終端2中，使用智能手機、平板終端、電子紙等。便攜終端2包括cpu201、ram202、存儲部203、顯示部204、wifi模塊205、lan控制器206、usb接口207、文件處理部208a、208b、聯合部209等。

所述cpu201統一控制便攜終端2的全體，根據作為基本軟件的os(操作系統)或后述的聯合應用程序或者通用應用程序而動作。

所述ram202是成為cpu201根據動作程序而動作時的作業區域的存儲器。

所述存儲部203存儲各種數據或應用程序等，使用硬盤裝置等。在該實施方式中，存儲從mfp1發送的畫面數據或表示該畫面數據中的第一畫面區域以及第二畫面區域的屬性信息、基本os、聯合應用程序、通用應用程序等的程序。另外，所述屬性信息并不限定于從mfp1發送的情況，也可以便攜終端2預先保持。此外，在以下的說明中，也將應用程序簡稱為應用。

所述顯示部204由具有可進行觸摸操作輸入的觸摸面板的液晶等的設備構成。觸摸操作通常通過根據觸摸的手指的數目或者手指的移動而規定操作內容的手勢操作而進行。作為手勢操作的一例，能夠例示用于對在畫面中顯示的圖像指示變倍(放大或縮小)或旋轉等的編輯加工的雙指縮小操作、雙指放大操作等。

所述wifi模塊205是用于將便攜終端2與mfp1進行無線連接的接口，所述lan控制器206控制與用戶終端等的外部裝置之間的通信。此外，所述usb接口207是用于將便攜終端2與mfp1進行有線連接的接口。

所述文件處理部208a、208b對文件實施編輯、轉發或者郵件發布等的處理。以下，也將文件處理部208a、208b中的任一個記為文件處理部208。

所述聯合部209是為了靈活地進行mfp1與便攜終端2之間的功能聯合，使得能夠使用mfp1的功能的部分。具體而言，將為了使用mfp1的復印功能、打印功能、掃描功能、傳真功能等而用于再現與在mfp1的操作面板部107中顯示的畫面相同的畫面的畫面數據等，從mfp1接收并作為遠程畫面而顯示在顯示部204中，或者在用戶操作了所顯示的遠程畫面時，檢測畫面上的操作位置的坐標并發送到mfp1。mfp1通過分析所述操作位置的坐標，確定用戶的操作指示，執行與操作指示對應的動作。

所述文件處理部208通過cpu201執行通用應用而實現其功能。即，通用應用是用于實現處理各種文件的文件處理部208的軟件，例如能夠使用文件編輯用應用、具有將文件通過電子郵件發布的功能的應用、具有在網絡上存儲文件的功能的應用等各種應用。

此外，所述聯合部209通過cpu201執行前述的聯合應用而實現這些功能。即，聯合應用是用于實現mfp1與便攜終端2的平穩的功能聯合的軟件。此外，能夠在聯合應用和通用應用之間進行文件的轉發或下載。

圖3是表示mfp1和便攜終端2的固件結構的方框圖。

mfp1在應用層上具有操作面板(應用)121或開放api(openapplicationprograminterface，開放應用程序接口)122等，在公共api層上具有公共api(commonapi)125或面板顯示圖像生成部126等，在硬件依賴層上具有面板畫面生成部123、面板控制部124、便攜終端用控制部127等。

進一步，在核心(kernel)層上具有面板輸入控制部129、面板lcd控制部130、jpeg編碼驅動器131等，在設備層上具有操作面板部107、usb接口111、jpeg壓縮部133、wifi模塊109等。

面板畫面生成部123在從便攜終端2進行聯合操作的情況下，生成要在操作面板部107中顯示的mfp1側的畫面數據。

面板控制部124進行與操作面板部107的通信狀態的控制等。此外，面板顯示圖像生成部126生成表示在聯合操作時顯示在便攜終端2的遠程畫面的畫面內的區域是前述的第一畫面區域還是第二畫面區域的屬性信息。另外，生成的屬性信息與畫面數據一同發送到便攜終端裝置2。

這里，第一畫面區域是用戶在遠程畫面中進行了畫面數據的編輯加工指示操作時，設定了在便攜終端裝置2中進行編輯加工的畫面區域，第二畫面區域是設定了在mfp1中進行編輯加工的畫面區域。預先設定了在畫面數據的區域中將哪個區域設為第一畫面區域還是第二畫面區域。

例如在一個畫面數據中存在文件的預覽圖像的顯示區域和操作按鈕的顯示區域的情況下，由于預覽圖像的顯示區域在編輯加工后也要求清晰的圖像，所以設定為在保有原來的圖像數據的mfp1中進行編輯加工的第二畫面區域，由于例如操作按鈕的顯示區域不那么需要清晰的圖像，所以設定為在便攜終端2中進行編輯加工的第一畫面區域。

屬性信息并不是必須直接表示第一畫面區域和第二畫面區域的各自的信息，既可以通過只表示第一畫面區域而間接表示除了第一畫面區域的區域為第二畫面區域，也可以通過只表示第二畫面區域而間接表示除了第二畫面區域的區域為第一畫面區域。

便攜終端用控制部127在與便攜終端2的聯合處理時，控制用于與便攜終端2進行通信的接口等。

面板輸入控制部129進行與操作面板部107的操作輸入有關的控制，面板lcd控制部130進行操作面板部107的顯示部107b的顯示控制。jpeg壓縮部133對經由jpeg編碼驅動器131從便攜終端用控制部127發送來的畫面數據等進行jpeg壓縮，被壓縮的數據經由usb接口111或wifi模塊109發送到便攜終端2。

另一方面，便攜終端2由具有圖像顯示應用221、顯示圖像生成應用222、jpeg展開應用223、瀏覽器等的各種應用程序的應用層、具有各種管理器225、226等的平臺層、具有各種程序庫227以及核心228的os層、硬件229構成。

所述jpeg展開應用223對從mfp1發送來的壓縮數據進行擴展。

顯示圖像生成應用222當用戶對在便攜終端2的顯示部204中顯示的遠程畫面的第一畫面區域進行了畫面數據的編輯加工指示操作時，使用當前顯示且在存儲部203中存儲的第一畫面區域的畫面數據，在本裝置中進行編輯加工，并顯示在顯示部204中。

所述圖像顯示應用221使用從mfp1發送并在jpeg展開應用223中擴展的畫面數據，作為遠程畫面而生成mfp1的畫面，并顯示在顯示部204中。

另外，在該實施方式中，圖像顯示應用221、顯示圖像生成應用222、jpeg展開應用223作為在聯合應用中實現的功能的一部分而構成。

接著，說明將mfp1和便攜終端2進行聯合操作的情況下的處理。

假設用戶想要將便攜終端2經由網絡與mfp1無線連接，將便攜終端2和mfp1進行聯合操作。便攜終端2和mfp1的聯合操作通過用戶啟動在便攜終端2中安裝的聯合應用而開始。

圖4是表示mfp1以及便攜終端2的各軟件的關系的圖，左側表示mfp1側的軟件，右側表示便攜終端2的軟件。

便攜終端2的聯合應用位于便攜終端2的os和作為通用的軟件的應用軟件的中間，能夠取得用戶的操作信息、與便攜終端2的發送接收數據、便攜終端2側的畫面數據，并根據需要將這些數據發送到mfp1。即，便攜終端2的聯合軟件執行應用的調用等的便攜終端2側的用戶操作接受處理、mfp1的操作畫面顯示用數據的接收/顯示處理(便攜終端側操作畫面處理)、便攜操作關聯處理等。作為聯合操作關聯處理，舉出表示操作的內容的操作信息與mfp1的通信等。

另一方面，mfp1的聯合應用在mfp1側的os或mfp1用的應用軟件全部為本公司設計/本公司定制且能夠獲取全部需要的信息的情況下，也可以位于os-應用軟件之間，也可以通過與os或應用軟件獨立且與os或應用軟件進行通信，從而獲得需要的信息。mfp1的聯合應用執行應用的調用等的mfp1側的用戶操作接受處理、對于便攜終端2的mfp側畫面數據的發送處理(mfp側操作畫面處理)、聯合操作關聯處理等。作為聯合操作關聯處理，舉出來自便攜終端2的操作信息等的接收/執行處理等。

若用戶選擇在便攜終端2的顯示部204中顯示的操作畫面中的聯合操作圖標，指示mfp聯合，則便攜終端2的聯合軟件進行對于注冊的mfp1的通信，調用mfp1的聯合軟件，請求畫面數據的取得。由此，開始聯合操作模式，在mfp1的顯示部105a和便攜終端2的顯示部204中顯示mfp側的畫面。另外，也可以不進行mfp1的顯示部105a中的畫面顯示。

若用戶對作為在便攜終端2中顯示的mfp1側的畫面的遠程畫面進行觸摸操作，則判斷觸摸操作是指示畫面數據的編輯加工的手勢操作，還是對于下一個畫面的更新指示操作。然后，若判斷為觸摸操作是指示畫面數據的編輯加工的手勢操作，則在遠程畫面的區域中判斷是在第一畫面區域中進行了操作，還是在第二畫面區域中進行了操作。

圖5(a)表示在便攜終端2的顯示部204中顯示遠程畫面d1的狀態。

該遠程畫面d包括第一畫面區域d11和第二畫面區域d12。如前所述，第一畫面區域d11以及第二畫面區域d12的范圍作為屬性信息與畫面數據一同從mfp1發送，并存儲在存儲部203中。

在圖5(a)的例子中，第一畫面區域d11是顯示了多個操作按鈕的區域，第二畫面區域d12是顯示了文件等的預覽圖像的區域。

這里，假設用戶對遠程畫面d1的第一畫面區域d11作為指示編輯加工的操作，為了圖像放大而進行了作為手勢操作的雙指放大操作。

于是，便攜終端2判斷為是對于第一畫面區域d11的雙指放大操作，在存儲部203中存儲的畫面數據中使用第一畫面區域的數據對其進行放大加工，如圖5(c)所示，被放大的畫面d3顯示在顯示部204中。

在雙指放大操作中，手指每次在觸摸面板上移動時，畫面數據被放大加工而顯示在顯示部204中。由于放大加工是使用在便攜終端2中存儲的數據而便攜終端自己進行，所以處理速度極快，因此，能夠響應性好地追隨在面板上移動的手指的動作，連續地顯示放大圖像。

接著，假設用戶對遠程畫面d1的第二畫面區域d12作為指示編輯加工的操作，為了圖像放大而進行了作為手勢操作的雙指放大操作。

于是，便攜終端2判斷為是對于第二畫面區域d12的雙指放大操作，對mfp1發送指示第二畫面區域d12的畫面數據的放大的信息。具體而言，指示第二畫面區域d12的畫面數據的放大的信息為遠程畫面d1中的觸摸裝置的位置信息(坐標數據)。

mfp1若接收到該位置信息，則分析該位置信息，對第二畫面區域d12的畫面數據進行放大處理，并將處理后的畫面數據發送到便攜終端2。

便攜終端2接收該畫面數據，并如圖5(b)所示，將具有被放大的第二畫面區域d22的畫面d2顯示在顯示部204中。在該實施方式中，由于第二畫面區域為預覽區域，所以在放大后也要求更清晰的圖像。因此，假設第二畫面區域的放大處理不是使用已經接收完畢的畫面數據而進行的，而是使具有原始的畫面數據的mfp1執行放大處理，接收放大處理后的畫面數據而顯示。由于便攜終端2接收完畢的畫面數據是壓縮發送的，所以若擴展并進一步放大該畫面數據，則畫質惡化。

圖6是表示聯合操作時的便攜終端2的動作的流程圖。

另外，這個動作是通過便攜終端2的cpu201根據在存儲部203等中存儲的動作程序動作而執行。

在聯合應用的啟動后，在步驟s01中，將畫面數據的取得請求發送到mfp1。在步驟s02中，等待來自mfp1的畫面數據(在步驟s02中“否”)。若取得畫面數據(在步驟s02中“是”)，則在步驟s03中在顯示部204中顯示之后，在步驟s04中，將取得的畫面數據和與該畫面數據一同發送來的表示第一畫面區域、第二畫面區域的屬性信息存儲在存儲部203中。

接著，在步驟s05中，判斷是否進行了觸摸操作。在進行了觸摸操作的情況下(在步驟s05中“是”)，在步驟s06中判斷觸摸操作是否為指示畫面數據的編輯加工的手勢操作。在該實施方式中，將基于雙指縮小操作、雙指放大操作的顯示畫面的放大或縮小操作或旋轉操作作為指示編輯加工的手勢操作來例示，但并不限定于此。

是否為指示編輯加工的手勢操作能夠根據是一點觸摸操作還是兩點觸摸操作而容易判斷。例如，在雙指縮小操作、雙指放大操作的情況下，由于是兩點觸摸操作，所以判斷為是指示畫面數據的編輯加工的手勢操作。在一點觸摸操作的情況下，由于認為是在遠程畫面中顯示的操作按鈕等的按壓操作，所以判斷為是對于下一個畫面的更新指示操作。

若在步驟s06中，觸摸操作被判斷為是顯示畫面的變倍/旋轉操作(在步驟s06中“是”)，則在步驟s07中，判斷觸摸操作是否為第一畫面區域中的操作。若觸摸操作被判斷為是第一畫面區域中的操作(在步驟s07中“是”)，則在步驟s08中，使用在存儲部203中存儲的畫面數據，進行對應于操作的變倍處理或者旋轉處理之后，在步驟s09中，將處理后的畫面數據顯示在顯示部204中。在顯示后，返回到步驟s05。另外，變倍處理或者旋轉處理后的畫面數據存儲在存儲部203中，用于下一個變倍處理或者旋轉處理。

另一方面，在步驟s06中，觸摸操作被判斷為不是顯示畫面的變倍/旋轉操作、即是對于下一個畫面的更新指示操作的情況下(在步驟s06中“否”)，進入步驟s10，作為有關更新的信息，發送遠程畫面中的觸摸位置的坐標數據。mfp1根據觸摸位置的坐標數據，識別為是一點觸摸，將對應于此的下一個畫面數據(更新畫面的數據)發送到便攜終端2。

另一方面，即使在步驟s07中，觸摸操作被判斷為是第二畫面區域中的操作的情況下(在步驟s07中“否”)，也進入步驟s10，作為指示第二畫面區域的畫面數據的編輯加工的信息，將觸摸位置的坐標數據發送到mfp1。

mfp1根據觸摸位置的坐標數據，識別為是兩點觸摸，進行對應于此的編輯加工，并將編輯加工后的畫面數據發送到便攜終端2。

便攜終端2在步驟s11中，接收到來自mfp1的畫面數據之后，進入步驟s09，并顯示在顯示部204中。

由于雙指縮小操作、雙指放大操作等使觸摸到觸摸面板的手指連續性地移動，所以只要移動狀態繼續，則重復步驟s05～s11的動作。

通過步驟s05～09的動作的重復，根據第一畫面區域中的雙指縮小操作、雙指放大操作的手指的連續性的移動，在顯示部204中響應性好地連續顯示進行變倍或旋轉的圖像數據。

若規定期間沒有觸摸操作(在步驟s05中“否”)，則當做觸摸操作結束，結束處理。

通過第二畫面區域中的雙指縮小操作、雙指放大操作的手指的連續性的移動，也從mfp1發送進行變倍或旋轉的畫面數據。此時，雖然響應性不好，但得到清晰的圖像。

圖7是表示聯合處理時的mfp1的動作的流程圖。這個動作通過mfp1的cpu101根據在rom102等中存儲的動作程序動作而執行。

在步驟s21中，判斷是否從便攜終端2有操作畫面的取得請求，若沒有則直接結束處理。若有取得請求(在步驟s21中“是”)，則在步驟s22中，將被請求的畫面數據和前述的屬性信息發送到便攜終端2。

接著，在步驟s03中，判斷是否從便攜終端2接收到坐標數據。若沒有接收(在步驟s23中“否)，則結束處理。在接收的情況下(在步驟s23中“是”)，在步驟s24中分析坐標數據，判斷觸摸操作是否為顯示畫面的變倍/旋轉操作。

若判斷為是變倍/旋轉操作(在步驟s24中“是”)，則在步驟s25中，進行了對應于操作的變倍處理或者旋轉處理之后，在步驟s26中，將處理后的畫面數據發送到便攜終端2。在發送之后，返回到步驟s23。

在步驟s24中，觸摸操作被判斷為不是顯示畫面的變倍/旋轉操作、即是對于下一個畫面的更新指示操作的情況下(在步驟s24中“否”)，進入步驟s27，將對應的下一個畫面數據發送到便攜終端2之后，返回到步驟s23。

由于雙指縮小操作、雙指放大操作等使觸摸到觸摸面板的手指連續移動，所以只要移動狀態繼續，則重復步驟s23～s27的動作。

若規定時間沒有觸摸操作(在步驟s23中“否”)，則當做觸摸操作結束，結束處理。

圖8是用于說明本發明的其他實施方式的圖，是圖示了mfp1以及便攜終端2的處理的圖。

在本實施方式中，便攜終端2的cpu201具有以與mfp1進行無線通信連接的狀態取得有關無線通信狀態的信息，判斷無線通信狀態的好壞的功能。另外，通信狀態的好壞能夠根據對通信速度或通信頻帶等取得的信息來判斷。另外，也可以由mfp1判斷無線通信狀態的好壞，并通過接收該信息而便攜終端2判斷無線通信狀態的好壞。

在對遠程畫面進行了指示變倍、旋轉等的編輯加工的手勢操作時，根據mfp1和便攜終端2之間的無線通信狀態的好壞，決定在便攜終端2中執行編輯加工處理，還是在mfp1中執行。

在mfp1通過無線通信連接到智能手機、平板終端等的其他的便攜終端的狀態下，mfp1和便攜終端2之間的無線通信狀態惡化，對于遠程畫面的操作的mfp1的響應性降低。因此，在無線通信狀態惡化的情況下，不進行在與mfp1之間的畫面數據的發送接收，通過便攜終端2進行畫面數據的編輯加工而確保響應性，在未惡化的情況下，mfp1的響應性降低的危險少，所以在mfp1中進行編輯加工。

便攜終端2在步驟s31中，根據jpeg圖像生成遠程畫面并顯示在顯示部204中。若對遠程畫面有例如進行雙指縮小操作、雙指放大操作，則在步驟s32中檢測觸摸位置的坐標，在步驟s33中判斷手勢操作的內容，判斷是變倍、旋轉等的編輯加工指示還是對于下一個畫面的更新指示。

在步驟s35中監視與mfp1的通信狀態，在手勢操作為編輯加工的指示的情況下，根據通信狀態，在步驟s34中進行選擇。即，在通信狀態不好的情況下，如箭頭a所示，在步驟s37中，對在存儲部203中存儲的畫面數據的接收數據(jpeg數據)進行變倍處理等，在步驟s38中，將處理后的數據顯示在顯示部204中。

另一方面，在通信狀態好的情況下，如箭頭b所示，在步驟s31中，作為指示畫面數據的編輯加工的信息，將觸摸操作位置的坐標數據發送到mfp1。mfp1在步驟s41中識別操作內容，在步驟s42中生成對應于操作的畫面數據，并發送到便攜終端2。便攜終端2接收該數據，并在步驟s38中進行顯示。

圖9是表示在執行圖8所示的實施方式的情況下的便攜終端2的動作的流程圖。

另外，該動作通過便攜終端2的cpu201根據在存儲部203等中存儲的動作程序動作而執行。

在聯合應用的啟動后，在步驟s51中，將畫面數據的取得請求發送到mfp1，在步驟s52中，等待來自mfp1的畫面數據(在步驟s52中“否”)。若取得畫面數據(在步驟s52中“是”)，則在步驟s53中顯示在顯示部204中之后，在步驟s54中，將取得的畫面數據存儲在存儲部203中。

接著，在步驟s55中，判斷是否進行了觸摸操作。在進行了觸摸操作的情況下(在步驟s55中“是”)，在步驟s56中，判斷觸摸操作是否為手勢操作的變倍/旋轉操作。

在步驟s56中，若觸摸操作被判斷為是顯示畫面的變倍/旋轉操作(在步驟s56中“是”)，則在步驟s57中，判斷與mfp1的無線通信狀態是否超過規定等級(通信狀態是否好)。

若通信狀態被判斷為是規定等級以下(在步驟s57中“否”)，則由于無線通信狀態不好，所以在步驟s58中，使用在存儲部203中存儲的畫面數據，進行對應于操作的變倍處理或者旋轉處理之后，在步驟s59中，將處理后的畫面數據顯示在顯示部204中。顯示后，返回到步驟s55。另外，變倍處理或者旋轉處理后的畫面數據存儲在存儲部203中，用于下一個變倍處理或者旋轉處理。

另一方面，在步驟s56中，觸摸操作被判斷為不是顯示畫面的變倍/旋轉操作、即是對于下一個畫面的更新指示操作的情況下(在步驟s56中“否”)，進入步驟s60，作為有關更新的信息，發送遠程畫面的觸摸位置的坐標數據。mfp1根據觸摸位置的坐標數據識別為是一點觸摸，并將對應于此的下一個畫面數據(更新畫面的數據)發送到便攜終端2。

此外，在步驟s57中，判斷為與mfp1的無線通信狀態超過規定等級的情況下、即無線通信狀態好的情況下(在步驟s57中“是”)，進入步驟s60，作為指示畫面數據的編輯加工的信息，將觸摸位置的坐標數據發送到mfp1。

mfp1根據觸摸位置的坐標數據識別為是兩點觸摸，進行對應于此的編輯加工，并將編輯加工后的畫面數據發送到便攜終端2。

便攜終端2在步驟s61中，接收來自mfp1的畫面數據之后，進入步驟s59，將接收到的畫面數據顯示在顯示部204中。

由于雙指縮小操作、雙指放大操作等使觸摸到觸摸面板的手指連續性地移動，所以只要移動狀態繼續，則重復步驟s55～s61的動作。

通過步驟s55～59的動作的重復，根據第一畫面區域中的雙指縮小操作、雙指放大操作的手指的連續性的移動，在顯示部204中響應性好地連續顯示進行變倍或旋轉的圖像數據。

若規定時間沒有觸摸操作(在步驟s55中“否”)，則當做觸摸操作結束，結束處理。

由此，在本實施方式中，在mfp1和便攜終端2的通信狀態超過規定等級時、即通信狀態好時，顯示在mfp1中進行了編輯加工的畫面數據，在通信狀態為規定等級以下時、即通信狀態不好時，對在存儲部203中存儲的已經接收完畢的畫面數據進行了編輯加工的畫面數據顯示在顯示部204中，所以在通信狀態好時和差時，都能夠對變倍或旋轉這樣的指示畫面數據的編輯加工的手勢操作響應性好地實時顯示畫面。

圖10是表示本發明的再其他的實施方式的圖，且是表示便攜終端2的動作的流程圖。

另外，本動作通過便攜終端2的cpu201根據在存儲部203等中存儲的動作程序動作而執行。

與圖6所示的實施方式相同地，本實施方式在對遠程畫面的第一畫面區域進行了指示編輯加工的手勢操作的情況下，在便攜終端2中進行編輯加工處理，但在與mfp1的無線通信狀態好的情況下，即使進行了對遠程畫面的第一畫面區域進行了指示編輯加工的手勢操作，也將指示第一畫面區域的畫面數據的編輯加工的信息發送到mfp1，在mfp1中執行編輯加工處理。

在啟動聯合應用之后，在步驟s71中，將畫面數據的取得請求發送到mfp1，在步驟s72中，從mfp1等待畫面數據的取得請求(在步驟s72中“否”)。若取得畫面數據(在步驟s72中“是”)，則在步驟s73中顯示在顯示部204之后，在步驟s74中，將取得的畫面數據和與該畫面數據一同發送來的表示第一畫面區域、第二畫面區域的屬性信息存儲在存儲部203中。

接著，在步驟s75中，判斷是否進行了觸摸操作。在進行了觸摸操作的情況下(在步驟s75中“是”)，在步驟s76中，判斷觸摸操作是否為手勢操作的變倍/旋轉操作。

在步驟s76中，若觸摸操作被判斷為是顯示畫面的變倍/旋轉操作(在步驟s76中“是”)，則在步驟s77中，判斷觸摸操作是否為第一畫面區域中的操作。若觸摸操作被判斷為是第一畫面區域中的操作(在步驟s77中“是”)，則在步驟s78中，判斷與mfp1的無線通信狀態是否超過規定等級(通信狀態是否好)。

若通信狀態被判斷為是規定等級以下(在步驟s78中“否”)，則由于無線通信狀態不好，所以在步驟s79中，使用在存儲部203中存儲的畫面數據，進行對應于操作的變倍處理或者旋轉處理之后，在步驟s80中，將處理后的畫面數據顯示在顯示部204中。在顯示后，返回到步驟s75。另外，變倍處理或者旋轉處理后的畫面數據存儲在存儲部203中，用于下一個變倍處理或者旋轉處理。

另一方面，在步驟s76中，觸摸操作被判斷為不是顯示畫面的變倍/旋轉操作、即是對于下一個畫面的更新指示操作的情況下(在步驟s76中“否”)，進入步驟s81，作為有關更新的信息，發送遠程畫面中的觸摸位置的坐標數據。mfp1根據觸摸位置的坐標數據，識別為是一點觸摸，將對應于此的下一個畫面數據(更新畫面的數據)發送到便攜終端2。

此外，在步驟s77中，觸摸操作被判斷為是第二畫面區域中的操作的情況下(在步驟s77中“否”)，也進入步驟s81，作為指示第二畫面區域的畫面數據的編輯加工的信息，將觸摸位置的坐標數據發送到mfp1。

此外，在步驟s78中，與mfp1的無線通信狀態被判斷為超過規定等級的情況下、即無線通信狀態好的情況下(在步驟s78中“是”)，也進入步驟s81，作為指示畫面數據的編輯加工的信息，將觸摸位置的坐標數據發送到mfp1。

mfp1根據觸摸位置的坐標數據識別為是兩點觸摸，進行對應于此的編輯加工，并將編輯加工后的畫面數據發送到便攜終端2。

便攜終端2在步驟s82中，接收來自mfp1的畫面數據之后，進入步驟s80，將接收到的畫面數據顯示在顯示部204中。

由于雙指縮小操作、雙指放大操作等使觸摸到觸摸面板的手指連續性地移動，所以只要移動狀態繼續，則重復步驟s75～s82的動作。

若規定時間沒有觸摸操作(在步驟s75中“否”)，則當做觸摸操作結束，結束處理。

由此，在本實施方式中，在與mfp1的無線通信狀態超過規定等級時、即通信狀態好時，即使是對第一畫面區域進行的指示畫面數據的編輯加工的手勢操作，也因響應性的惡化得以抑制，所以在mfp1中進行編輯加工。

另外，在從便攜終端2對mfp1發送遠程畫面中的觸摸位置的坐標數據作為指示畫面數據的編輯加工的信息或者有關更新的信息的情況下，在便攜終端2的顯示部204的畫面尺寸與mfp1的顯示部107b的畫面尺寸不同的情況下，便攜終端2的顯示部204中的坐標數據與mfp1的顯示部107b的坐標數據并不以1對1對應。因此，即使將便攜終端2的顯示部204中的坐標數據直接發送到mfp1，mfp1也不能準確地生成對應于便攜終端2的操作的畫面數據。

因此，在該實施方式中，便攜終端2從mfp1預先接收與顯示部107b的畫面尺寸有關的信息，且在接收到的mfp1的畫面尺寸與便攜終端2的畫面尺寸不同的情況下，將所述觸摸位置的坐標數據變換為與mfp1的畫面尺寸對應的坐標數據，并發送到mfp1。

具體而言，如圖11(a)、(b)所示，若假設mfp1的顯示部107a的畫面尺寸為α2×β2、便攜終端2的顯示部204的畫面尺寸為α1×β1、便攜終端2的顯示部204的觸摸位置的坐標設為(x1，y1)，則便攜終端2將對mfp1發送的坐標數據(x2，y2)通過以下式進行變換而發送。

x2＝(α2/α1)×x1，y2＝(β2/β1)×y1

通過這樣的坐標變換，mfp1能夠生成準確地對應于用戶的觸摸操作的畫面數據，進而，能夠將對應于用戶操作的遠程畫面顯示在便攜終端2中。