零件安裝作業支持系統及零件安裝方法
【技術領域】
[0001]本發明涉及一種用來利用復合現實感技術支持零件的安裝作業的零件安裝作業支持系統，尤其，涉及適合于零件的預焊作業的支持的零件安裝作業支持系統及使用該系統的零件安裝方法。
【背景技術】
[0002]以往，在將懸吊金屬件等零件焊接在工件的情況下，如圖7 (a)所示，在工件40上的安裝零件41的位置預先進行劃線42，作業者將該劃線42作為記號進行零件41的預焊(圖 7(b))。
[0003]然而，在安裝零件的工件的尺寸較大，或者工件具有曲面的情況下等，存在有時劃線作業本身難以進行，而劃線作業花費較多的時間的情況。
[0004]另外，若在工件的成形前進行劃線，則也存在因成形時的塑性變形而劃線位置偏移的問題。
[0005]另外，將零件的安裝位置劃線來記載安裝的零件的信息等，但有時作業者在預焊時弄錯安裝方向。其結果存在產生返工作業而作業效率降低的情況。
[0006]進而，在將零件安裝在工件之后的檢查中，也必須對照圖式等確認安裝狀態，所以也存在難以直觀地判斷安裝狀態的良否的問題。
[0007]此外，近年來，將假想空間的圖像重疊在任意視點上的現實空間的圖像，并將由此獲得的合成圖像提示給觀察者的復合現實感(MR:Mixed Reality)技術，作為使現實世界與假想世界無縫地實時地融合的圖像技術受到關注(專利文獻1-4)。
[0008][現有技術文獻]
[0009][專利文獻]
[0010]專利文獻1:日本專利特開2005-107968號公報
[0011]專利文獻2:日本專利特開2005-293141號公報
[0012]專利文獻3:日本專利特開2003-303356號公報
[0013]專利文獻4:日本專利特開2008-293209號公報
【發明內容】
[0014][發明要解決的問題]
[0015]因此，本發明的目的在于提供一種能夠利用復合現實感技術解決零件向工件安裝的作業中的所述問題，實現作業效率的大幅的提高的零件安裝作業支持系統及使用該系統的零件安裝方法。
[0016][解決問題的技術手段]
[0017]為了解決所述問題，本發明的特征在于，其是一種零件安裝作業支持系統，用來支持零件的安裝作業，且包括:攝像機構，用來在作業者的視點位置對作業者的視線方向上的作業空間與應安裝所述零件的工件一起拍攝；位置姿勢信息取得機構，用來取得表示所述作業者的視點與所述作業空間中的所述工件的相對性的位置姿勢關系的位置姿勢信息；假想圖像產生機構，用來基于所述位置姿勢信息而產生表示所述作業者的所述視點位置及作業者的視線方向上的安裝后的所述零件的三維的假想圖像；圖像合成機構，用來使所述假想圖像重疊在通過所述攝像機構拍攝的所述作業空間的現實圖像而產生合成圖像；及顯示機構，用來顯示所述合成圖像。
[0018]另外，優選為，所述位置姿勢信息取得機構具有復合現實感用標記，該復合現實感用標記暫定地設置在相對于所述工件上的基準點的特定的相對位置。
[0019]另外，優選為，所述位置姿勢信息取得機構具有位置方向測量裝置，該位置方向測量裝置用來測量所述作業者的視點位置及作業者的視線方向、以及所述工件的位置。
[0020]另外，優選為，所述假想圖像是包含所述安裝作業中的容許安裝誤差而產生。
[0021]另外，優選為，本發明的零件安裝作業支持系統還包括誤差判定部，該誤差判定部用來在所述顯示部顯示安裝后的所述零件的所述現實圖像與所述假想圖像的不一致部位。
[0022]為了解決所述問題，本發明是一種零件安裝方法，使用用來支持零件的安裝作業的零件安裝作業支持系統，且包括:攝像步驟，在作業者的視點位置對作業者的視線方向上的作業空間與應安裝所述零件的工件一起拍攝；位置姿勢信息取得步驟，取得表示所述作業者的視點與所述作業空間中的所述工件的相對性的位置姿勢關系的位置姿勢信息；假想圖像產生步驟，基于所述位置姿勢信息而產生表示所述作業者的所述視點位置及作業者的視線方向上的安裝后的所述零件的三維的假想圖像；圖像合成步驟，使所述假想圖像重疊在通過所述攝像機構拍攝的所述作業空間的現實圖像而產生合成圖像；及顯示步驟，用來顯示所述合成圖像。
[0023]另外，優選為，所述位置姿勢信息取得步驟包含標記設置步驟，該標記設置步驟將復合現實感用標記暫定地設置在相對于所述工件上的基準點的特定的相對位置。
[0024]另外，優選為，一面確認作為顯示在所述合成圖像的所述假想圖像的所述零件與作為顯示在所述合成圖像的所述現實圖像的所述零件的位置關系，一面將所述現實圖像的所述零件與所述假想圖像的所述零件位置對準。
[0025][發明的效果]
[0026]根據本發明的零件安裝作業支持系統及使用該系統的零件安裝方法，通過利用復合現實感技術，而不需要以往的劃線作業，或者使劃線作業容易化，所以能夠使零件安裝的作業效率大幅提高。
【附圖說明】
[0027]圖1是表示本發明的一實施方式的零件安裝作業支持系統的概略構成的框圖。
[0028]圖2是表示圖1所示的零件安裝作業支持系統的概略構成的示意圖。
[0029]圖3是將圖1所示的零件安裝作業支持系統的標記構件放大而表示的立體圖。
[0030]圖4是表示使用圖1所示的零件安裝作業支持系統將零件安裝在工件的情況的示意圖。
[0031]圖5是表示圖1所示的零件安裝作業支持系統的一變形例的概略構成的框圖。
[0032]圖6是表示圖1所示的零件安裝作業支持系統的另一變形例的概略構成的示意圖。
[0033]圖7是用以說明以往的零件安裝作業的示意圖。
【具體實施方式】
[0034]以下，對本發明的一實施方式的零件安裝作業支持系統進行說明。此外，成為本系統的支持的對象的零件安裝作業典型而言為零件向工件的預焊作業，但除了零件的預焊作業以外，還可支持將零件安裝在工件的各種安裝作業。
[0035]本實施方式的工件加工作業支持系統使用復合現實感技術，所以首先對復合現實感技術進行概述。
[0036]如上所述般，所謂復合現實感技術是指使假想空間的圖像重疊在任意視點上的現實空間的圖像，并將由此獲得的合成圖像提示給觀察者，使現實世界與假想世界無縫地實時地融合的影像技術。
[0037]也就是說，該復合現實感技術將通過將現實空間圖像與根據觀察者的視點位置、視線方向而產生的假想空間圖像合成所得的合成圖像提供給觀察者。而且，能夠使觀察者以實際尺寸感知假想物體的比例，感知假想物體真正存在于現實世界。
[0038]根據該復合現實感技術，并非利用鼠標或鍵盤來操作計算機圖形(CG)，而觀察者能夠實際移動并從任意的位置或角度觀察。也就是說，能夠利用圖像位置對準技術將CG放置在指定的場所，使用例如透明型的頭戴式顯示器(HMD:Head Mount Display)，從各種角度觀察該CG。
[0039]為了表現復合現實感空間(MR空間)，必須取得在現實空間中定義的基準坐標系，即成為決定想要重疊在現實空間的假想物體的位置姿勢的基準的現實空間中的坐標系與攝像部的坐標系(照相機坐標系)之間的相對性的位置姿勢關系。
[0040]作為用于此的適當的圖像位置對準技術，例如，可列舉利用磁傳感器、光學式傳感器、或超音波傳感器的技術，或利用標記、陀螺儀的技術等。
[0041]此處，所謂標記(也稱為“地標”)，是指用于圖像的位置對準而使用的指標，且是能夠通過利用安裝在HMD的照相機(攝像裝置)拍攝配置在現實空間內的標記，而利用圖像處理來推斷照相機的位置姿勢。
[0042]也就是說，在現實空間中的已知的三維坐標配置具有特定的視覺特征的標記，檢測現實圖像中所包含的標記，根據已經檢測出的標記的構成要素(標記的中心或頂點等)的二維圖像位置與已知的三維坐標而計算出照相機(攝像裝置)的位置姿勢。
[0043]本實施方式的零件安裝作業支持系統利用所述復合現實感技術，以下參照圖1及圖2對本系統的構成進行說明。
[0044]如圖1及圖2所示，本實施方式的零件安裝作業支持系統I包括系統主體2、在與該系統主體2之間進行數據通訊的頭戴式顯示器(HMD) 3、及標記構件8。
[0045]零件安裝作業支持系統I的系統主體2由包括CPU (Central Processing Unit,中央處理器)、RAM (Random Access Memory，隨機存取存儲器)、ROM (Read Only Memory，只讀存儲器)、外部存儲裝置、存儲媒體驅動裝置、顯示裝置、輸入元件等的計算機而構成。
[0046]如圖2所示，HMD3安裝在作業者4的頭部，包括攝像部5及顯示部6。攝像部5及顯示部6分別設置有2個，攝像部5R及顯示部6R為右眼用，攝像部5L及顯示部6L為左眼用。根據該構成，能夠對將HMD3安裝在頭部的作業者4的右眼與左眼提示視差圖像，并能夠三維顯示MR圖像(合成圖像)。
[0047]HMD3的攝像部5對在標記設置步驟中暫定地設置在工件7上的MR用標記構件8與作為零件的安裝對象的工件7 —起拍攝(攝像步驟)。標記構件8設置在相對于工件7上的基準點的特定的相對位置。此外，在圖2中，利用虛線表示零件的假想圖像30V。
[0048]如圖3所示，本實施方式的標記構件8包括:三角形的框部9 ;各支撐部10，設置在三角形的框構件9的各頂點的下表面；及各復合現實感用標記11，設置在三角形的框構件9的各頂點的上表面。
[0049]如圖1所示，通過HMD3的攝像部5取得的現實空間的現實圖像被輸入至系統主體2的現實圖像取得部12。該現實圖像取得部12將所輸入的現實圖像的數據輸出至系統主體2的存儲部13。
[0050]存儲部13保持用于MR圖像(合成圖像)的提示處理所需要的信息，根