移動體用手勢引導裝置、移動體用手勢引導系統及移動體用手勢引導方法
【專利摘要】本發明的移動體用手勢引導裝置、移動體用手勢引導系統及移動體用手勢引導方法算出根據3D攝像頭(6)的檢測信號確定的操作者A的手部位置與用于進行手勢操作的預先規定的手部位置的差所對應的強調度R，在每次根據3D攝像頭(6)對操作者(A)的手部的檢測，算出強調度(R)時，以所算出的強調度(R)通知手勢操作的操作對象物，從而將操作者(A)的手部向預先規定的手部位置引導。
【專利說明】移動體用手勢引導裝置、移動體用手勢引導系統及移動體用手勢引導方法
技術領域
[0001]本發明涉及一種識別移動體內操作者手勢的移動體用手勢引導裝置、移動體用手勢引導系統及移動體用手勢引導方法。
【背景技術】
[0002]已提出一種系統，其識別操作者所做的手勢后，對移動體內存在于離開操作者的位置的設備進行操作。這種系統需要正確識別手勢后進行操作，因此將用于做手勢的空間位置告知操作者很重要。
[0003]例如，專利文獻I已公開一種系統，其使用全息圖等技術將操作開關和按鈕等操作系統的虛像顯示在空間，識別對該虛像做出的手勢后對設備進行操作。該系統中，顯示在空間內的虛像如同實際的操作對象設備的操作系統一般，能夠對其做手勢。因此，操作者能夠輕易得知顯示虛像的位置是用于做手勢的空間位置。
[0004]此外，專利文獻2所記載的發明中，將操作者的視點位置與操作對象物的位置用直線連接，在該直線上的空間內檢測到操作者的手指時，判斷正在對該操作對象物進行操作。通過如上方式，操作者能夠根據自己的視點與操作對象物的三維位置關系得知用于做手勢的空間位置。
現有技術文獻 [專利文獻]
[0005][專利文獻I]日本專利特開2005-234676號公報[專利文獻2]日本專利特開2005-280396號公報
【發明內容】
發明所要解決的技術問題
[0006]專利文獻I需要一種特殊裝置，其使用全息圖等技術將操作開關和按鈕等操作系統的虛像顯示在空間，因此存在系統結構復雜而導致成本增加的課題。
[0007]此外，專利文獻2以操作者的視點作為基準判斷用于做手勢的空間位置，因此根據操作者的頭部動作，用于做手勢的空間位置也會發生偏移。因此，由于頭部動作導致錯誤檢測操作者的視點時，操作者無法得知用于做手勢的位置，可能無法正確進行操作。
[0008]本發明為解決上述課題開發而成，其目的在于得到一種移動體用手勢引導裝置、移動體用手勢引導系統及移動體用手勢引導方法，其能夠以簡單結構實現，且能夠引導成用于進行手勢操作的合適狀態。
解決技術問題所采用的技術方案
[0009]本發明所述的移動體用手勢引導裝置具備:強調度算出部，所述強調度算出部根據檢測操作者的手部的傳感器的檢測信息，確定操作者的手部位置，算出操作者的手部位置與進行手勢操作的預先規定的位置的差所對應的強調度；以及通知控制部，所述通知控制部在每次根據傳感器對操作者的手部的檢測，由強調度算出部算出強調度時，以所算出的強調度將手勢操作的操作對象物通知給通知裝置后，將操作者的手部向預先規定的位置引導。
發明效果
[0010]根據本發明，具有能夠以簡單結構實現，且能夠引導成用于進行手勢操作的合適狀態的效果。
【附圖說明】
[0011]圖1是表示本實施方式I所述的移動體用手勢引導裝置的結構的方塊圖。
圖2是表示實施方式I所述的移動體用手勢引導裝置的動作的流程圖。
圖3是表示操作者的手部、操作對象物及做手勢區域的位置關系的圖。
圖4是表示操作者的手部形狀的圖。
圖5是表示實施方式I的操作對象物的通知方式的圖。
圖6是表示實施方式2的操作對象物與做手勢區域的關系的圖。
圖7是表示操作者的手部距做手勢區域的中心位置的偏離方向所對應的通知方式的一例的圖。
圖8是表示實施方式3的操作對象物與所對應的多個做手勢區域的關系的圖。
圖9是表示實施方式3的各做手勢區域與操作對象物的關系的圖。
圖10是表示實施方式3的各通知裝置的操作對象物與做手勢區域的關系的圖。
圖11是表示本發明實施方式4所述的移動體用手勢引導裝置的結構的方塊圖。
圖12是表示做手勢區域的設定畫面的一例的圖。
【具體實施方式】
[0012]以下根據附圖對更詳細說明本發明和實施本發明的方式進行說明。
實施方式1.圖1是表示本實施方式I所述的移動體用手勢引導裝置的結構的方塊圖。移動體用手勢引導裝置I在乘坐在車輛等移動體上的操作者對操作對象物進行手勢操作時，將操作者的手部向預先規定的做手勢區域引導，并向對該手勢操作預先規定的手部形狀引導。
圖1中，移動體用手勢引導裝置I具備運算部2、I/F(接口)部3、以及事件檢測部4，上述各部通過總線5分別連接。
此外，移動體用手勢引導裝置I經由I/F部3與3D攝像頭6、揚聲器7、HUD(平視顯示器)8、以及中心顯示器9連接。
[0013]運算部2相當于安裝在移動體用手勢引導裝置I上的CPU，進行各種控制的運算處理。此外，運算部2如圖1所示，具備通知控制部20、強調度算出部21、以及手勢識別部22。例如，通知控制部20、強調度算出部21、以及手勢識別部22通過由軟件編程的CPU實現。
[0014]通知控制部20在每次根據3D攝像頭6對操作者的手部的檢測，由強調度算出部21算出強調度時，以所算出的強調度將手勢操作的操作對象物通知給通知裝置，來將操作者的手部向預先規定的位置和對手勢操作預先規定的手部形狀引導。此處，操作對象物例如是作為手勢操作對象的元件或應用。 此外，通知裝置是將操作對象物通知給操作者的裝置，圖1中相當于揚聲器7、HUD8、中心顯示器9。即，操作對象物的通知方式包括:通過由揚聲器7輸出的聲音進行通知的方式；以及通過HUD8或中心顯示器9顯示的顯示物進行通知的方式。
此時，通過聲音進行通知的方式中，根據強調度改變通知聲音的音量、聲音的種類等。通過顯示物進行通知的方式中，根據強調度改變顯示物的透明度、顏色、大小、形狀等。
[0015]強調度算出部21根據操作者的手部的檢測信息，確定操作者的手部位置及形狀，算出操作者的手部位置及形狀與進行手勢操作的預先規定的手部位置及形狀的差所對應的強調度。
例如，將操作者的手部位置與做手勢區域的位置的差定量化，并將操作者的手部形狀與對操作對象物的手勢操作預先規定的手部形狀的差定量化后，分別得出差異度，然后分別使用該差異度算出強調度。此時，強調度算出部21算出強調度，使得操作者的手部越靠近做手勢區域且操作者的手部形狀越接近預先規定的形狀，強調度的值越大。
通過如上方式，操作者的手部越靠近對操作對象物預先規定的做手勢區域，越強調通知操作對象物。如此，操作者通過將手部向強調操作對象物的方向移動，從而操作者的手部被引導至進行手勢操作的預先規定的手部位置(做手勢區域)，并被引導成對該手勢操作預先規定的手部形狀。
[0016]I/F部3是在移動體用手勢引導裝置1、3D攝像頭6、揚聲器7、HUD8、以及中心顯示器9之間進行信息交換的接口。另外，由移動體用手勢引導裝置1、3D攝像頭6、揚聲器7、HUD8、以及中心顯示器9構成將操作者的手部向做手勢區域和預先規定的手部形狀引導的移動體用手勢引導系統。
[0017]事件檢測部4經由天線4a及總線5檢測來自外部的事件。此處，事件的含義是指產生了應該通知用戶的信息，所述信息包括:經由天線4a檢測到的來自車輛外部的郵件來信、或者經由總線5從車載傳感器(圖中未顯示)獲得的缺少汽油等信息。
[0018]3D(三維)攝像頭6是檢測操作者的手部的傳感器。例如，根據3D攝像頭6的檢測信息(拍攝信息)，獲得用于確定拍攝視野內的操作者的手部的空間位置(深度信息)及手部形狀的圖像信息。強調度算出部21輸入這些信息作為3D攝像頭6的檢測信息，從而確定操作者的手部位置及形狀。
3D攝像頭6例如能夠使用立體攝像頭或T0F(Time Of Flight:飛行時間)攝像頭實現。
[0019]揚聲器7是通過聲音輸出以聽覺方式通知操作對象物的通知裝置。此外，HUD8及中心顯示器9是顯示操作對象物所對應的顯示物來以視覺方式通知的通知裝置。另外，HUD8是設置在駕駛座前方的擋風玻璃或方向盤與擋風玻璃之間的投影板等上投影顯示信息的顯示器。中心顯示器9是配置在車室內前方的儀表板的中央部附近的顯示器。
[0020]另外，如圖1所示的示例中，移動體用手勢引導裝置I具備手勢識別部22，表示出手勢識別部22識別做手勢區域中操作者的手勢操作的結構，但是并不限定于此。
即，也可以通過如下方式構成:將識別手勢操作的構成要素設置在與移動體用手勢引導裝置I不同的裝置上，與通知控制部20及強調度算出部21協同來識別手勢操作。
此外，表示出移動體用手勢引導裝置I將操作者的手部向進行手勢操作的預先規定的手部位置(做手勢區域)引導，并向對該手勢操作預先規定的手部形狀引導的示例，但是并不限定于此。 例如，強調度算出部21根據傳感器的檢測信息，僅確定操作者的手部位置，算出該操作者的手部位置與做手勢區域的差所對應的強調度。
而且，通知控制部20在每次根據傳感器對操作者的手部的檢測，由強調度算出部21算出強調度時，以所算出的強調度將手勢操作的操作對象物通知給通知裝置，從而將操作者的手部向預先規定的位置引導。
[0021]接著對動作進行說明。
圖2是表示實施方式I所述的移動體用手勢引導裝置的動作的流程圖，并根據該圖2所示流程圖的流程進行說明。
首先，事件檢測部4檢測事件(步驟ST1)。事件檢測部4通知檢測到事件后，強調度算出部21將預先規定的強調度R的初始值輸出到通知控制部20。此處，為了在事件發生時便于用戶識別該事件所對應的操作對象物，將強調度R的初始值設為最高的強調度或者與其相應的值。
[0022]通知控制部20對通知裝置進行控制，使其以強調度R的初始值通知事件所對應的操作對象物。具體地進行說明，即通知控制部20根據事件檢測部4檢測到的事件的相關信息與從強調度算出部21輸入的強調度R的初始值，確定事件所對應的操作對象物，并輸出以強調度R的初始值通知所確定的操作對象物的通知命令。通知命令經由I/F部3被輸出給通知裝置(揚聲器7、HUD8、中心顯示器9)。揚聲器7、HUD8、中心顯示器9根據通知命令以強調度R的初始值通知事件所對應的操作對象物(步驟ST2)。
[0023]圖3是表示操作者的手部、操作對象物及做手勢區域的位置關系的圖。圖3中，操作者A是用方向盤12進行駕駛的駕駛員。例如，事件是郵件來信時，郵件來信所對應的圖標10顯示在HUD8的投影構件(擋風玻璃或投影板)8a上。此處，圖標10是作為手勢操作對象的操作對象物。一旦出現郵件來信，由于已設定強調度R的初始值，因此圖標10被立即明確顯示，便于操作者A確認。例如，圖標10以最低的透明度顯示。
[0024]如上述所示，操作對象物的相關事件發生，從而通知裝置以強調度R的初始值通知操作對象物時，如果該事件發生后已經過設定時間，則強調度算出部21依次算出從強調度R的初始值逐漸降低的強調度R。通知控制部20對通知裝置進行控制，使其以強調度算出部21依次算出的強調度R通知操作對象物。如此，通知裝置以逐漸降低的強調度R通知操作對象物(步驟ST3)。
[0025]如此，事件發生且通知操作對象物后經過設定時間仍未檢測到對該操作對象物進行手勢操作的操作者A的手部時，將強調度R逐漸降低來通知操作對象物。如此，能夠防止以較高的強調度R不必要地持續通知操作對象物。
例如，在HUD8的投影構件8a上顯示有圖標10時，圖標10被重疊顯示在駕駛員的前方視野中，從而阻礙駕駛員的視野。
因此，如果經過設定時間仍未檢測到操作者A的手部，則將強調度R逐漸降低，顯示圖標10使其透明度相應地變高。如此，圖標10逐漸變得不明顯，能夠抑制駕駛員的視野受到阻礙。
另外，經過上述設定時間后又經過預先規定的時間仍未檢測到操作者A的手部時，判斷操作者A沒有操作意愿，可以停止通知操作對象物。
[0026]事件發生后經過上述設定時間前或者經過上述設定時間后通知裝置以逐漸降低的強調度R通知操作對象物的期間，強調度算出部21處于3D攝像頭6檢測操作者A的手部的檢測等待狀態。此處，如果未檢測到操作者A的手部(步驟ST4:否)，則該檢測等待狀態持續。
3D攝像頭6檢測到操作者A的手部后(步驟ST4:是)，強調度算出部21根據3D攝像頭6的檢測信息，確定操作者A的手部位置及形狀。3D攝像頭6的檢測信息是3D攝像頭6拍攝到的3D影像，能夠從該3D影像中得到操作者A的手部的二維影像及該影像的各像素所具有的縱深坐標。根據這些信息，確定操作者A的手部位置(空間位置)及手部形狀。
[0027]接著，強調度算出部21算出所確定的操作者A的手部位置與預先規定的做手勢區域11的位置差及所確定的操作者A的手部形狀與對操作對象物的手勢操作預先規定的手部形狀的差異度所對應的強調度R(步驟ST5)。此處，做手勢區域11如圖3所示，被配置在操作者A與操作對象物即圖標10之間。通過如上方式，操作者A能夠一邊視覺確認操作對象物一邊直觀地進行手勢操作。
[0028]此外，強調度R例如根據下述式(I)算出。其中，下述式(I)中，如圖3所示，d是從做手勢區域11的中心O的位置坐標到操作者A的手部位置坐標的距離。另外，距離d是O以上的值，在操作者A的手部位于中心O時其值為O。此外，s是操作者A的手部形狀與對操作對象物的手勢操作預先規定的手部形狀的差異度。相互的形狀差異越大，差異度s取越大的正值。另外，α和β是正系數，用α和β設定強調度R中距離d和差異度s的影響程度。
另外，將操作者A的手部向做手勢區域11引導，但不將操作者A的手部形狀向對手勢操作預先規定的手部形狀引導時，即在算出強調度R的過程中不考慮差異度s時，例如將系數β設為O即可。
R= I/(α.d+β.s)......(I)
[0029]圖4是表示操作者的手部形狀的圖。例如，對操作對象物的手勢操作預先規定的手部形狀是如圖4(a)所示的形狀a時，如果操作者A的手部是類似形狀a的形狀，則差異度s為較小值。另一方面，操作者A將手部形狀變為圖4(b)所示的形狀b或圖4(c)所示的形狀c時，差異度s的值變大。如此，操作者A的手部偏離做手勢區域11或者與預先規定的手部形狀不同時，根據上述式(I)算出的強調度R為較低值。即，上述式(I)中，操作者A的手部越靠近做手勢區域11內且操作者A的手部形狀越接近預先規定的手部形狀，強調度R的值越大。
[0030]通知控制部20對通知裝置進行控制，使其按照步驟ST5以強調度算出部21算出的強調度R通知操作對象物。如此，通知裝置以強調度R通知操作對象物(步驟ST6)。重復執行從步驟ST4到步驟ST6的處理，直至操作者A的手部進入做手勢區域11內(直至距離d為O)。即，通知控制部20對通知裝置進行控制，使其在上述重復期間，在每次由3D攝像頭6依次檢測到操作者A的手部，相應地由強調度算出部21算出強調度R時，以所算出的強調度R通知操作對象物。通知裝置根據通知控制部20的控制，以強調度算出部21依次算出的強調度R通知操作對象物。
[0031]圖5是表示實施方式I的操作對象物的通知方式的圖，示出了通知郵件來信所對應的操作對象物的情況。如圖5所示，強調度R為最大時，將郵件來信所對應的圖標的透明度設為最小后顯不。此外，通知郵件來?目的通知聲首的首量也設為最大。相反地強調度R為最小時，將郵件來信所對應的圖標的透明度設為最大來顯示，通知郵件來信的通知聲音的音量也設為最小。通知裝置根據操作者A的手部位置及形狀，以強調度算出部21依次算出的強調度R顯示圖標并輸出通知聲音。操作者A將手部向圖標明確顯示且通知聲音變大的方向移動，從而操作者A的手部被引導至做手勢區域11。
[0032]強調度算出部21根據3D攝像頭6的檢測信息算出強調度R后，根據距離d判定操作者A的手部是否存在于做手勢區域11內(步驟ST7)。此處，如果操作者A的手部未進入做手勢區域11內(步驟ST7:否)，則返回步驟ST4的處理。
另外，事件發生后經過設定時間仍未檢測到操作者A的手部進入做手勢區域11內時，強調度算出部21依次算出強調度R使其逐漸降低，通知控制部20可以對通知裝置進行控制，以由強調度算出部21依次算出的強調度R通知操作對象物。通過如上方式，也能夠防止持續通知不必要的操作對象物。
[0033]另一方面，操作者A的手部位于做手勢區域11內時(步驟ST7:是)，強調度算出部21將此情況通知給通知控制部20。
通知控制部20從強調度算出部21接到上述通知后，對通知裝置進行控制，通知操作者A的手部存在于做手勢區域11內(步驟ST8)。例如，從揚聲器7輸出特殊聲音，或者對操作對象物進行特殊顯示。如此，操作者A能夠識別出在移動體用手勢引導裝置I中能夠識別手勢操作。
[0034]此后，手勢識別部22對做手勢區域11內的操作者A的手部的指尖轉動、搖手、特殊手部形狀等手勢操作進行識別(步驟ST9)。如此執行手勢操作的識別結果的相應處理。
例如，事件為郵件來信時，執行指示閱讀郵件的“選擇”或者結束通知而不拆封郵件的“取消”等處理。
[0035]另外，由手勢識別部22識別出“用手向右滑動”等表示不需要操作對象物的手勢操作時，通知控制部20對通知裝置進行控制，結束該操作對象物的通知。即，消除操作對象物的顯示或停止通知聲音的輸出。如此，能夠防止持續通知不必要的操作對象物。例如，能夠消除HUD8上阻礙駕駛員的視野的不必要的操作對象物。
[0036]手勢識別部22無法識別手勢操作且操作者A的手部遠離做手勢區域11時，通知控制部20對通知裝置進行控制，輸出特殊聲音或進行特殊顯示，從而將處于手勢操作無法識別狀態的情況通知給操作者A。如此，操作者A能夠直觀地得知已遠離做手勢區域11，能夠立即轉到從步驟ST4開始的處理。
[0037]此外，實施方式I所述的移動體用手勢引導裝置I中，如圖3所示，手勢識別部22使操作對象物與做手勢區域11 一對一對應，來對做手勢區域11中進行的手勢操作進行識別。例如，使多個不同的操作對象物與公共的做手勢區域對應時，需要在公共的做手勢區域對各個操作對象物進行手勢操作。此時，如果每個操作對象物對應不同的手勢操作，則容易引起操作失誤。因此，使操作對象物與做手勢區域11一對一對應，從而操作者A在每個操作對象物的做手勢區域中進行操作對象物所對應的手勢操作即可。如此，能夠減少操作失誤的發生。
[0038]如以上所示，根據本實施方式I，強調度算出部21根據3D攝像頭6的檢測信號，確定操作者A的手部位置，算出操作者A的手部位置與進行手勢操作的預先規定的手部位置的差所對應的強調度R。通知控制部20在每次根據3D攝像頭6對操作者A的手部的檢測，由強調度算出部21算出強調度R時，以所算出的強調度R將手勢操作的操作對象物通知給通知裝置，來將操作者A的手部向預先規定的位置引導。
特別是強調度算出部21算出操作者A的手部位置與進行手勢操作的預先規定的做手勢區域11的中心位置的距離d所對應的強調度R。
采用這種結構后，無需為了對操作對象物的手勢操作進行識別而使用全息圖等將操作對象物的虛像顯示在空間，能夠以簡單結構實現移動體用手勢引導裝置I。此外，操作者A將手部向強調通知操作對象物的方向移動，從而操作者A的手部被引導至進行手勢操作的預先規定的手部位置(做手勢區域)。如此，操作者A的手部被引導至用于進行手勢操作的合適位置，能夠提高手勢操作的識別精度。
[0039]此外，根據本實施方式I，強調度算出部21根據3D攝像頭6的檢測信息，進一步確定操作者A的手部形狀，算出操作者A的手部位置及形狀與進行手勢操作的預先規定的位置及對手勢操作預先規定的手部形狀的差所對應的強調度R，通知控制部20以強調度算出部21算出的強調度R將手勢操作的操作對象物通知給通知裝置后，將操作者A的手部向預先規定的位置和對手勢操作預先規定的手部形狀引導。
特別是強調度算出部21算出操作者A的手部位置與做手勢區域11的中心位置的距離d及操作者A的手部形狀與對操作對象物的手勢操作預先規定的手部形狀的差異度s所對應的強調度R。
通過采用這種結構，能夠將操作者A的手部向用于進行手勢操作的做手勢區域11引導，進而向對該手勢操作預先規定的手部形狀引導。如此，能夠將操作者A的手部向用于進行手勢操作的合適狀態引導，能夠提高手勢操作的識別精度。
[0040]進而，根據本實施方式I，在操作對象物的相關事件發生，導致通知裝置通知該操作對象物時，如果事件發生后經過設定時間，則強調度算出部21依次算出強調度R使其逐漸降低，通知控制部20對通知裝置進行控制，以由強調度算出部21依次算出的強調度R通知操作對象物。通過如上方式，能夠防止持續通知不必要的操作對象物。
[0041 ]進而，根據本實施方式I，手勢識別部22使操作對象物與做手勢區域11 一對一對應，來對做手勢區域11內的操作者A的手部的手勢操作進行識別。通過如上方式，操作者A在每個操作對象物的做手勢區域中進行操作對象物所對應的手勢操作即可。如此，能夠減少操作失誤的發生。
[0042]進而，根據本實施方式I，由手勢識別部22識別出表示不需要操作對象物的手勢操作時，通知控制部20對通知裝置進行控制，使其不通知該操作對象物。通過如上方式，能夠防止持續通知不必要的操作對象物。
[0043]進而，根據本實施方式I，通知控制部20對通知裝置進行控制，使其通知操作者A的手部已進入或者遠離做手勢區域11。通過如上方式，操作者A能夠直觀地得知已進入或者遠離做手勢區域11。
[0044]進而，根據本實施方式I，做手勢區域11被配置在操作者A與操作對象物之間。通過如上方式，操作者A能夠一邊確認操作對象物一邊直觀地進行手勢操作。
[0045]實施方式2.實施方式I中，強調度算出部21通過將從操作者A的手部位置到做手勢區域11的中心位置的距離d用于算出強調度R，從而將操作者A的手部位置與做手勢區域11的中心位置的差反饋給操作者A。但是，該方法中，操作者A無法得知手部向哪個方向偏離，將手部引導至做手勢區域11可能耗費較多時間。
因此，實施方式2中，算出在做手勢區域11的內外檢測到的操作者A的手部距做手勢區域11的中心位置的偏離方向，以與該偏離方向相應的通知方式通知操作對象物，來將操作者A的手部向做手勢區域11的中心位置引導。通過如上方式，操作者A能夠根據通知裝置對操作對象物的通知得知應該將手部向上下左右的哪個方向移動。
[0046]實施方式2所述的移動體用手勢引導裝置I與上述實施方式I所示的結構基本相同，但是如上述所示，通知控制部20及強調度算出部21的內部處理不同。因此，以下參照圖1對實施方式2所述的移動體用手勢引導裝置I的結構進行說明。
[0047]圖6是表示實施方式2的操作對象物與做手勢區域的關系的圖。圖7是表示操作者的手部距做手勢區域的中心位置的偏離方向所對應的通知方式的示例的圖。圖6中，操作者A是用方向盤12進行駕駛的駕駛員，手勢操作對象的圖標10顯示在HUD8的投影構件8a上。做手勢區域11是例如圖6所示的長方體的空間區域。將該做手勢區域11的中心O設為原點，定義xy平面與操作者A側相對的xyz坐標系。
[0048]實施方式2中，算出操作者A的手部相對于做手勢區域11內的xy面的中心O的位置向左右方向偏離的dx的值及向上下方向偏離的dy的值，根據dx及dy的值確定操作者A的手部相對于中心O的偏離方向。
進而，如圖7(a)所示，將做手勢區域11內的上述xy面投影到操作者A側，算出操作者A的手部相對于操作者A的手部位置的上述xy面的投影面的中心位置(從中心O向操作者A側延長的延長線(z軸)與該投影面的交點位置)向左右方向偏離的dx的值及向上下方向偏離的dy的值，根據dx及dy確定操作者A的手部相對于上述投影面的中心位置的偏離方向。
[0049]強調度算出部21將對由3D攝像頭6在做手勢區域11的內外檢測到的操作者A的手部算出的強調度R、以及如上述確定的操作者A的手部距做手勢區域11的中心位置的偏離方向通知給通知控制部20。
通知控制部20對通知裝置進行控制，以強調度算出部21算出的強調度R及偏離方向的相應通知方式通知操作對象物。
[0050]例如，操作對象物為與郵件來信相對應的圖標10時，如圖7(b)所示，圖標1a中，dx及dy均為正值，操作者A的手部相對于中心O或從中心O向操作者A側延長的延長線(z軸)上的點(xy面的投影面的中心)向右上方向偏離。
因此，圖標1a中，為了以視覺方式表示操作者A的手部相對于中心O或從中心O向操作者A側延長的延長線(z軸)上的點(上述投影面的中心)向右上方向偏離，其右上部分以操作者A的手部位置及形狀(距離d及差異度s)所對應的強調度R即強調度R所對應的透明度顯示，其他部分以高于右上部分的透明度顯示。
[0051]此外，圖標1b中，dx及dy均為0，操作者A的手部位于中心O或上述投影面的中心位置。圖標1b中，如圖7(b)所示，圖標整體以操作者A的手部位置及形狀(距離d及差異度S)所對應的強調度R所對應的透明度顯示。
[0052]同樣地，圖標1c中，dx及dy均為負值，操作者A的手部相對于中心O或上述投影面的中心向左下方向偏離。
因此，圖標1c中，為了以視覺方式表示操作者A的手部相對于中心O或上述投影面的中心向左下方向偏離，其左下部分以操作者A的手部位置及形狀(距離d及差異度s)所對應的強調度R的透明度顯示，其他部分以高于左下部分的透明度顯示。
[0053]圖標1d中，dx為正值，dy為負值，操作者A的手部相對于中心O或上述投影面的中心向右下方向偏離。
因此，圖標1d中，為了以視覺方式表示操作者A的手部相對于中心O或上述投影面的中心向右下方向偏離，其右下部分以操作者A的手部位置及形狀(距離d及差異度s)所對應的強調度R的透明度顯示，其他部分以高于右下部分的透明度顯示。
[0054]如上述所示，圖標1a僅右上部分以較深的顏色顯示，操作者A能夠以視覺方式得知手部相對于做手勢區域11的中心O或上述投影面的中心向右上方向偏離。
另一方面，圖標1b的整體的顏色深度均勻，操作者A能夠以視覺方式得知手部位于做手勢區域11的中心O或上述投影面的中心。通過如上方式，操作者A能夠直觀地理解自己的手部相對于做手勢區域11的位置向上下左右的哪個方向偏離，從而能夠更輕易地進行正確的手勢操作。
[0055]此外，已示出根據操作者A的手部的偏離方向改變顯示方式的情況，但是也可以改變利用聲音的聽覺方式。例如，事先設定相對于做手勢區域11的中心O或上述投影面的中心的上下左右偏離的相應的種類互不相同的聲音。
操作者A的手部相對于中心O或從中心O向操作者A側延長的延長線(z軸)上的點(上述投影面的中心)向右上方向偏離時，由揚聲器7輸出右上方向偏離所對應的種類的聲音。
另一方面，操作者A的手部位于中心O或上述投影面的中心時，由揚聲器7輸出手部位于中心時所對應的種類的聲音。另外，揚聲器7輸出的聲音的音量與強調度R相對應。
[0056]如以上所示，根據本實施方式2，強調度算出部21進一步算出由3D攝像頭6在做手勢區域11的內外檢測到的操作者A的手部距做手勢區域11的中心O或從該中心O向操作者A側延長的延長線(z軸)上的點(xy面的投影面與z軸的交點)的偏離方向，通知控制部20以由強調度算出部21算出的強調度R及偏離方向所對應的通知方式將操作對象物通知給通知裝置后，將操作者A的手部向做手勢區域11的中心位置引導。
通過如上方式，操作者A能夠直觀地理解相對于做手勢區域11的位置向上下左右的哪個方向偏離，從而能夠更輕易地進行正確的手勢操作。
[0057]實施方式3.實施方式3中，對存在多個做手勢區域的情況進行敘述。通過設置多個做手勢區域，能夠擴大進行手勢操作的場所及手勢操作的種類范圍。
[0058]實施方式3所述的移動體用手勢引導裝置I與上述實施方式I所示的結構基本相同，但是如上述所示，在使用多個做手勢區域的方面，內部處理不同。因此，以下參照圖1對實施方式3所述的移動體用手勢引導裝置I的結構進行說明。
[0059]圖8是表示實施方式3的操作對象物與所對應的多個做手勢區域的關系的圖。圖8中，操作者A是用方向盤12進行駕駛的駕駛員，作為手勢操作對象的圖標10顯示在HUD8的投影構件8a上。做手勢區域13，14為操作者A對圖標10的左手用和右手用的做手勢區域。
[0060]手勢識別部22中，使圖標10與做手勢區域13—對一對應或者使圖標10與做手勢區域14 一對一對應，來對操作者A的手部的手勢操作進行識別。即，操作者A可以對圖標10在任意做手勢區域中進行手勢操作。如此在如圖8所示的情況下，無論操作者A是左撇子還是右撇子，都能夠用便于松開方向盤12的手進行手勢操作。
[0061]同樣地也可以設置對圖標10的副駕駛座或后座的乘客用的做手勢區域。通過如上方式，乘客也能夠對圖標10進行手勢操作。
[0062]圖9是表示實施方式3的各做手勢區域與操作對象物的關系的圖。圖9中，操作者A是用方向盤12進行駕駛的駕駛員，作為手勢操作對象的圖標10，15顯示在HUD8的投影構件8a上。圖標1是做手勢區域16所對應的圖標，圖標15是做手勢區域17所對應的圖標。
[0063]操作者A在做手勢區域16內對圖標10進行手勢操作，從而執行來信郵件的閱讀處理。此外，在做手勢區域17內對圖標15進行手勢操作，從而執行到加油站的導航處理。
如此識別出在各做手勢區域中各不相同的操作對象物的手勢操作，因此能夠執行多個操作對象物所對應的處理。此外，對“用手滑動”等手勢操作設定在各做手勢區域中各不相同的含義，從而能夠擴大手勢操作的種類范圍。
[0064]圖10是表示實施方式3的各通知裝置的操作對象物與做手勢區域的關系的圖。圖10中，操作者A是用方向盤12進行駕駛的駕駛員，作為手勢操作對象的圖標10顯示在HUD8的投影構件8a上，同樣地手勢操作對象的圖標15顯示在中心顯示器9的畫面9a上。此外，做手勢區域18是圖標10所對應的做手勢區域，做手勢區域19是圖標15所對應的做手勢區域。
[0065]識別出操作者A在做手勢區域18進行的手勢操作時，通知控制部20對做手勢區域18所對應的HUD8，輸出手勢操作的處理結果的通知命令。同樣地，操作者A在做手勢區域19進行手勢操作時，通知控制部20對做手勢區域19所對應的中心顯示器9，輸出手勢操作的處理結果的通知命令。
即，通知控制部20進行控制，使由手勢識別部22識別出手勢操作的做手勢區域所對應的通知裝置輸出手勢操作的處理結果。通過如上方式，操作者A能夠根據做手勢區域選擇希望輸出手勢操作的處理結果的通知裝置。
[0066]如以上所示，根據本實施方式3，在多個部位設置做手勢區域，因此能夠擴大進行手勢操作的場所及手勢操作的種類范圍。
例如，設置左手用和右手用的做手勢區域13，14，從而無論操作者A是左撇子還是右撇子，都能夠用便于松開方向盤12的手對操作對象物進行手勢操作。此外，設置駕駛員以外的同行乘客用的做手勢區域，使得乘客也能夠對操作對象物進行手勢操作。
[0067]此外，根據本實施方式3，手勢識別部22對各做手勢區域中各不相同的操作對象物的手勢操作進行識別。通過如上方式，能夠執行多個操作對象物所對應的處理。此外，能夠對“用手滑動”等手勢操作設定在各做手勢區域中各不相同的含義。
[0068]進而，根據本實施方式3，通知控制部20進行控制，使由手勢識別部22識別出手勢操作的做手勢區域所對應的通知裝置輸出手勢操作的處理結果。通過如上方式，操作者A能夠根據做手勢區域選擇希望輸出手勢操作的處理結果的通知裝置。
[0069]實施方式4.圖11是表示本發明實施方式4所述的移動體用手勢引導裝置的結構的方塊圖。圖11中，實施方式4所述的移動體用手勢引導裝置IA具有與實施方式I的結構不同的運算部2A，運算部2A具備實施區域設定部23。實施區域設定部23是改變做手勢區域11的位置的位置改變部。此外，實施區域設定部23具備調整部23a，所述調整部23a根據來自外部的指示調整做手勢區域11的位置。另外，圖11中，對與圖1相同的構成要素賦予相同符號，并省略說明。
[0070]例如，用戶或維護的負責人通過使用實施區域設定部23從而能夠在任意時刻改變做手勢區域11的位置。
圖12是表示做手勢區域的設定畫面的一例的圖。首先，用戶或維護的負責人在中心顯示器9等顯示裝置所顯示的菜單畫面中進行選擇，來啟動實施區域設定部23。
實施區域設定部23啟動后，調整部23a將圖12所示的設定畫面9b顯示在中心顯示器9上。另外，設定畫面也可以顯示在HUD8上。
[0071]設定畫面9b具有設定欄9c，所述設定欄9c用于設定做手勢區域11的中心O的位置坐標(中心坐標)、以及表示其大小的寬度和高度。通過由用戶使用觸摸屏或硬件按鍵等輸入裝置在設定欄9c中設定中心坐標、寬度和高度，從而調整部23a在基于該設定值的位置上設定做手勢區域U。如此，用戶能夠將做手勢區域11的位置改變到便于進行手勢操作的場所。
[0072]圖12中，例如，在從通知裝置的HUD8上顯示的操作對象物沿其顯示面的法線方向(z軸)向操作者A側設定10cm。進而，距該顯示面1cm的位置為中心0，以該中心O作為原點在X軸方向設定20cm(經由中心O在-X軸方向設置-1Ocm且在+X軸方向設置+1cm)的值，在y軸方向設定20cm(經由中心O在-y軸方向設置-1Ocm且在+y軸方向設置+1cm)的值。進而設定寬度20cm后，在z軸方向規定20cm(經由中心O在_z軸方向設置-1Ocm且在+z軸方向設置+1cm)的值，通過將高度設為20cm后，將包括中心O在內的xy面在z軸方向規定在投影到-1Ocm位置的面到投影到+1cm位置的面的區間，形成長方體的空間區域，將該長方體的空間區域定義為做手勢區域。
[0073]另外，設定欄9c中，可以將操作者A的位置與操作對象物之間的任意空間位置預先設定為做手勢區域11的初始位置。通過如上方式，如果上述初始位置便于操作者A進行手勢操作，則不需要進行位置改變，因此能夠簡化做手勢區域11的位置設定。
此外，圖12中已示出將操作對象物的位置作為基準改變做手勢區域11的位置的情況，但是操作者A是用方向盤12進行駕駛的駕駛員時，也可以將方向盤12的位置(例如方向盤12的左端位置)作為基準。
[0074]此外，實施區域設定部23也可以對由手勢識別部22識別出手勢操作的操作者A的手部位置進行學習，根據該學習結果改變做手勢區域11的位置。
例如，實施區域設定部23依次儲存由操作者A進行手勢操作的手部位置，算出過去進行過預先規定次數的手勢操作的位置中的相同次數超過閾值的位置或者過去進行過預先規定次數的手勢操作的平均位置。然后，實施區域設定部23將算出的位置作為中心O或者作為頂點位置等改變做手勢區域11的位置。
通過如上方式，能夠將做手勢區域11的位置改變到適合操作者A的位置。
[0075]但是，做手勢區域11過于接近方向盤12等時，操作者A對方向盤12的操作可能被誤判為手勢操作。
因此，可以由實施區域設定部23對可改變的做手勢區域11的位置范圍設定限制。例如，在實施區域設定部23中將位于距方向盤12預先規定的距離內的空間位置設定為禁止位置，以免將做手勢區域11的位置改變到該禁止位置。通過如上方式，能夠減少手勢操作的誤識別。
[0076]如以上所示，根據本實施方式4，具有改變做手勢區域11的位置的實施區域設定部23，因此能夠移動做手勢區域，而不是將其設為固定位置。此外，由于具備根據來自外部的設定內容調整做手勢區域11的位置的調整部23a，能夠將做手勢區域11設定在操作者A喜好的場所。
[0077]此外，根據本實施方式4，實施區域設定部23對識別出手勢操作的操作者A的手部位置進行學習，根據該學習結果改變做手勢區域11的位置。通過如上方式，能夠設定便于操作者A進行手勢操作的做手勢區域11。此時，由實施區域設定部23在可改變的做手勢區域11的位置范圍設定限制。如此，能夠防止將做手勢區域11設定在容易引起誤識別的場所，能夠減少手勢操作的誤識別。
[0078]另外，本發明在該發明的范圍內，可進行各實施方式的自由組合，或進行各實施方式的任意構成要素的變形，又或者在各實施方式中可省略任意構成要素。
工業上的實用性
[0079]本發明所述的移動體用手勢引導裝置能夠以簡單結構實現，且能夠引導成用于進行手勢操作的合適狀態，例如，優選作為車載信息設備的操作裝置。
[符號說明]
[0080]I, IA移動體用手勢引導裝置2,2k 運算部
3I/F 部
4事件檢測部 4a 天線
5總線
63D攝像頭
7揚聲器
8HUD
8a投影構件
9中心顯示器 9a 畫面
9b設定畫面
9c設定欄
10，10a?10d，15 圖標11，13，14，16?19做手勢區域12方向盤
20通知控制部
21強調度算出部
22手勢識別部
23實施區域設定部 23a 調整部
【主權項】
1.一種移動體用手勢引導裝置，其特征在于， 具備: 強調度算出部，所述強調度算出部根據檢測操作者的手部的傳感器的檢測信息，確定所述操作者的手部位置，算出所述操作者的手部位置與進行手勢操作的預先規定的位置的差所對應的強調度；以及 通知控制部，所述通知控制部在每次根據所述傳感器對所述操作者的手部的檢測，由所述強調度算出部算出強調度時，以所算出的強調度將所述手勢操作的操作對象物通知給通知裝置，來將所述操作者的手部向所述預先規定的位置引導。2.如權利要求1所述的移動體用手勢引導裝置，其特征在于， 所述強調度算出部還根據所述傳感器的檢測信息，確定所述操作者的手部形狀，算出所述操作者的手部位置及形狀與進行所述手勢操作的預先規定的位置及對所述手勢操作預先規定的手部形狀的差所對應的強調度， 所述通知控制部以由所述強調度算出部算出的強調度將所述手勢操作的操作對象物通知給所述通知裝置，來將所述操作者的手部向所述預先規定的位置和對所述手勢操作預先規定的手部形狀引導。3.如權利要求1所述的移動體用手勢引導裝置，其特征在于， 所述強調度算出部算出所述操作者的手部位置與進行所述手勢操作的預先規定的做手勢區域的中心位置的距離所對應的強調度。4.如權利要求2所述的移動體用手勢引導裝置，其特征在于， 所述強調度算出部算出所述操作者的手部位置與所述做手勢區域的中心位置的距離、以及所述操作者的手部形狀與對所述手勢操作預先規定的手部形狀的差異度所對應的強調度。5.如權利要求1所述的移動體用手勢引導裝置，其特征在于， 所述操作對象物的相關事件發生，導致所述通知裝置通知了該操作對象物時，如果所述事件發生后經過設定時間，則所述強調度算出部依次算出強調度使其逐漸降低， 所述通知控制部對所述通知裝置進行控制，使其以所述強調度算出部依次算出的強調度通知所述操作對象物。6.如權利要求3所述的移動體用手勢引導裝置，其特征在于， 所述強調度算出部進一步算出由所述傳感器在所述做手勢區域的內外檢測到的所述操作者的手部距該做手勢區域的中心或從該中心向操作者側延長的延長線上的點的偏離方向， 所述通知控制部以由所述強調度算出部算出的強調度及與所述偏離方向相對應的通知方式將所述操作對象物通知給所述通知裝置，來將所述操作者的手部向所述做手勢區域的中心位置引導。7.如權利要求3所述的移動體用手勢引導裝置，其特征在于， 具備手勢識別部，所述手勢識別部使所述操作對象物與所述做手勢區域一對一對應，來對所述做手勢區域的所述操作者的手部的手勢操作進行識別。8.如權利要求7所述的移動體用手勢引導裝置，其特征在于， 由所述手勢識別部識別出表示不需要所述操作對象物的手勢操作時，所述通知控制部對所述通知裝置進行控制，使其不通知該操作對象物。9.如權利要求7所述的移動體用手勢引導裝置，其特征在于， 在多個部位設置所述做手勢區域。10.如權利要求9所述的移動體用手勢引導裝置，其特征在于， 所述手勢識別部對各做手勢區域中各不相同的操作對象物的手勢操作進行識別。11.如權利要求9所述的移動體用手勢引導裝置，其特征在于， 所述通知控制部進行控制，使由所述手勢識別部識別出手勢操作的做手勢區域所對應的通知裝置輸出所述手勢操作的處理結果。12.如權利要求9所述的移動體用手勢引導裝置，其特征在于， 所述多個做手勢區域是移動體的駕駛員的右手用和左手用的做手勢區域或所述駕駛員以外的乘客用的做手勢區域。13.如權利要求9所述的移動體用手勢引導裝置，其特征在于， 所述做手勢區域被配置在所述操作者與所述操作對象物之間。14.如權利要求3所述的移動體用手勢引導裝置，其特征在于， 具備位置改變部，所述位置改變部改變所述做手勢區域的位置。15.如權利要求14所述的移動體用手勢引導裝置，其特征在于， 所述位置改變部具備調整部，所述調整部根據來自外部的設定內容調整所述做手勢區域的位置。16.如權利要求14所述的移動體用手勢引導裝置，其特征在于， 所述位置改變部對識別出手勢操作的所述操作者的手部位置進行學習，根據該學習結果改變所述做手勢區域的位置。17.如權利要求16所述的移動體用手勢引導裝置，其特征在于， 由所述位置改變部在可改變的所述做手勢區域的位置范圍設定限制。18.如權利要求3所述的移動體用手勢引導裝置，其特征在于， 所述通知控制部對所述通知裝置進行控制，使其通知所述操作者的手部已進入或者離開所述做手勢區域。19.一種移動體用手勢引導系統，其特征在于， 具備: 傳感器，所述傳感器檢測操作者的手部； 通知裝置，所述通知裝置通知操作對象物； 強調度算出部，所述強調度算出部根據所述傳感器的檢測信息，確定所述操作者的手部位置，算出所述操作者的手部位置與進行手勢操作的預先規定的手部位置的差所對應的強調度；以及 通知控制部，所述通知控制部在每次根據所述傳感器對所述操作者的手部的檢測，由所述強調度算出部算出強調度時，以所算出的強調度將所述手勢操作的操作對象物通知給所述通知裝置，來將所述操作者的手部向所述預先規定的位置引導。20.一種移動體用手勢引導方法，其特征在于， 包括如下步驟: 由強調度算出部根據檢測操作者的手部的傳感器的檢測信息，確定所述操作者的手部位置，算出所述操作者的手部位置與進行手勢操作的預先規定的手部位置的差所對應的強調度；以及 由通知控制部在每次根據所述傳感器對所述操作者的手部的檢測，由所述強調度算出部算出強調度時，以所算出的強調度將所述手勢操作的操作對象物通知給所述通知裝置，來將所述操作者的手部向所述預先規定的位置引導。
【文檔編號】G06F3/01GK106030460SQ201480075742
【公開日】2016年10月12日
【申請日】2014年2月18日
【發明人】平野敬, 熊谷太郎, 太田脩平
【申請人】三菱電機株式會社