遠程作業支持系統以及遠程作業支持程序存儲介質的制作方法
【技術領域】
[0001]本申請主張2013年3月29日申請的日本申請、特愿2013-071671號的優先權，并且將其整體通過參照弓I入本說明書中。
[0002]本發明涉及遠程作業支持系統和存儲有遠程作業支持程序的永久性存儲介質，例如，可應用于在指示者與被指示者之間共享作業信息的同時支持遠程作業的遠程作業支持系統以及存儲有程序的永久性存儲介質。
【背景技術】
[0003]例如，一般情況下，在制造廠商中，設計者等作業指示者(以下，稱為指示者)針對生產現場等的作業者，直接指導作業內容。但是，有時制造廠商的生產據點與設計者的據點設置在分開的位置，存在指示者無法對作業者指導直接作業指示的情況。
[0004]針對于此，以往，作為指示者針對在遠距離的現場進行作業的作業者進行作業的指示及指導支持的系統，存在遠程作業支持系統。
[0005]日本特開2008-107871號公報中記載的技術是如下這樣的技術:經由網絡連接了指示者的終端與作業者的終端，將指示者拍攝到的影像放映到作業者的終端，兩終端共享影像。由此，指示者和作業者能夠一邊觀察相同的影像，一邊由指示者通過電話利用語音對作業者進行作業指示。
[0006]此外，在上述文獻所記載的技術中，對放映到指示者自身的終端的影像畫面上賦予箭頭，一邊利用該箭頭進行位置確認一邊進行作業指示。
【發明內容】
[0007]發明要解決的課題
[0008]然而，在上述文獻所記載的技術中，盡管在指示者和作業者的顯示器上放映相同的影像，但是，關于詳細的指示，利用語音進行指示，從而指示者無法直觀地利用簡單的操作來進行作業指示。
[0009]此外，盡管能夠在放映到顯示器的影像上簡單地顯示箭頭等，但是，當作業者進行觀察時，箭頭在畫面上連續移動地放映出來，作業者也無法判斷作為作業重點的部位，無法準確地目視判斷作業指示。
[0010]此外，在上述文獻所記載的技術中，在指示者側的影像上重疊顯示箭頭等。但是，例如，在像指示者側利用指針指示作業者側的影像等那樣，影像的拍攝源與指針的指示源不同的情況下，由于兩終端的畫面尺寸不同，影像的大小不同，因此，需要對放映的影像的坐標軸與指針的坐標軸進行調整。在沒有采取影像與指針的位置信息的坐標調整的情況下，會產生位置信息的偏差，因此，例如在進行螺絲緊固等細致的作業指示時，有時指示者無法準確地利用指針指示螺絲(指示對象)的位置。
[0011]因此，要求如下這樣的遠程作業支持系統以及遠程作業支持程序存儲介質:既能夠進行語音通信，又能夠在多個便攜終端之間，共享準確地進行了坐標調整的影像以及指針信息，作業指示者能夠進行直觀的指示，作業者能夠通過目視準確地識別作業指示。
[0012]用于解決課題的手段
[0013]本發明的第一方式是一種遠程作業支持系統，所述遠程作業支持系統具有多個便攜終端，經由網絡在多個便攜終端之間發送或者接收圖像，且在所述圖像上顯示指針而支持遠程作業，多個便攜終端各自具有:(I)呼叫連接部，其與其他便攜終端之間進行呼叫連接；(2)觸摸面板部，其具有顯示畫面，通過感知該顯示畫面的接觸位置來確定操作位置，所述顯示畫面在呼叫連接后顯示與其他便攜終端之間共享的圖像；(3)指針顯示控制部，其使觸摸面板部的顯示畫面顯示指針，且在顯示畫面上進行指針的顯示控制；以及(4)畫面控制部，其根據顯示畫面所顯示的圖像的特征點的位置信息與指針的位置信息之間的相對位置關系，形成將所述圖像的特征點作為原點的相對坐標系，進行坐標調整，該坐標調整是根據與共享圖像的其他便攜終端之間的顯示畫面尺寸的差異而進行的。
[0014]本發明的第二方式是一種永久性存儲介質，所述永久性存儲介質存儲了使計算機執行遠程作業支持處理的程序，所述處理包括:(I)經由網絡與其他便攜終端之間進行呼叫連接，(2)感知顯示畫面的接觸位置來確定操作位置，由此作為觸摸面板發揮功能，所述顯示畫面在呼叫連接后，顯示與其他便攜終端之間共享的圖像，(3)使所述顯示畫面顯示指針，在顯示畫面上進行指針的顯示控制，(4)根據所述顯示畫面所顯示的圖像的特征點的位置信息與指針的位置信息之間的相對位置關系，形成將上述圖像的特征點作為原點的相對坐標系，進行坐標調整，該坐標調整是根據與共享圖像的另一便攜終端之間的顯示畫面尺寸的差異而進行的。
[0015]發明效果
[0016]根據本方式，能夠在多個便攜終端之間共享影像和指針信息，作業指示者能夠進行直觀的指示，作業者能夠通過目視準確地識別作業指示。
【附圖說明】
[0017]圖1是示出實施方式的遠程作業支持系統的整體結構的整體結構圖。
[0018]圖2是示出實施方式的便攜終端的內部結構的內部結構圖。
[0019]圖3是說明實施方式的便攜終端的控制部的主要功能的功能框圖。
[0020]圖4是說明實施方式的指針的顯示種類的設定及變更的說明圖。
[0021]圖5是示出實施方式的遠程作業支持處理的開始菜單畫面的一例的畫面圖。
[0022]圖6是示出實施方式的作為呼叫源的便攜終端的呼叫畫面的一例的畫面圖。
[0023]圖7是示出實施方式的便攜終端之間的呼叫控制處理的時序圖。
[0024]圖8是說明實施方式的會話建立后的便攜終端之間的語音通信及影像通信的情形的說明圖。
[0025]圖9是示出實施方式的便攜終端中的畫面及指針的坐標調整處理的流程圖。
[0026]圖10是說明在實施方式的便攜終端的顯示畫面上顯示的指針的初始位置的說明圖。
[0027]圖11是示出實施方式的指針信息的通信處理的時序圖。
[0028]圖12是說明實施方式的固定指針的說明圖。
[0029]圖13是說明實施方式的指針的移動的說明圖。
【具體實施方式】
[0030](A)主要實施方式
[0031]以下，一邊參照附圖，一邊對本方式的遠程作業支持系統和存儲有遠程作業支持程序的永久性存儲介質的主要實施方式進行詳細說明。
[0032](A-1)實施方式的結構
[0033](A-1-1)整體結構
[0034]圖1是示出實施方式的遠程作業支持系統的整體結構的整體結構圖。在圖1中，本實施方式的遠程作業支持系統10具有能夠與網絡3連接的、多個(在圖1中，示出了 2臺的情況)便攜終端1-1和1-2、以及呼叫控制裝置2。
[0035]呼叫控制裝置2是進行便攜終端1-1與便攜終端1-2之間的會話控制的裝置。呼叫控制裝置2的通信協議沒有特別限定，例如可以采用由SIP(Sess1n Initiat1nProtocol:會話發起協議)或ITU-T建議的H.323等規定的協議。在本實施方式中，舉例示出了呼叫控制裝置2是SIP服務器的情況。
[0036]便攜終端1-1和1-2是由作業者、指示者所持有的便攜終端，只要是具有觸摸面板方式的操作顯示部的便攜終端即可，可以采用各種便攜終端。便攜終端1-1和1-2例如可以采用智能手機、平板電腦、便攜電話、游戲終端、筆記本型個人計算機、數碼照相機等。在本實施方式中，便攜終端1-1是指示者的便攜終端，便攜終端1-2是作業者的便攜終端。
[0037]另外，在本實施方式中，為了便于說明，舉例示出具有2臺便攜終端1-1和1-2的功能的情況。但是，便攜終端的個數也可以為3臺以上。例如，在指示者同時向多個作業者提供作業指示的情況下，也可以為具有I臺指示者的便攜終端與2臺以上的作業者的便攜終端等。
[0038]便攜終端1-1和1-2具有語音通信功能、通信功能、拍攝功能、影像顯示功能、指向功能等，該指向功能對在影像畫面上指示位置信息的作為圖形或圖像的鼠標指針(以下，簡稱為指針)進行顯示、移動、變更等。
[0039]便攜終端1-1和1-2通過呼叫控制裝置2的控制，建立終端彼此之間的會話，在會話建立后，進行語音數據包(packet)、影像數據包、指針信息數據包等的收發。
[0040]這里，關于語音通信，便攜終端1-1和1-2可以進行雙向通信。
[0041]此外，關于影像通信，在便攜終端1-1和1-2中，將任意一個便攜終端所拍攝的影像顯示在該一個便攜終端上，并且將包含拍攝影像的影像數據包發送給另一個便攜終端。即，影像通信是單向通信，將一個便攜終端拍攝到的影像發送給另一個便攜終端。
[0042]影像通信例如可以通過向便攜終端1-1和1-2分配影像發送權限來實現。當向現場的作業者側的便攜終端1-2分配了影像發送權限的情況下，具有影像發送權限的便攜終端1-2進行拍攝，將包含其拍