一種人機交互系統的制作方法
【專利摘要】本實用新型公開一種人機交互系統，涉及人機交互技術領域，為解決用戶進行虛擬現實技術的人機交互活動的操作便利性較低的問題。所述人機交互系統包括可穿戴設備和顯示設備，可穿戴設備包括攝像頭、存儲器、處理器和投影鏡頭；攝像頭用于采集用戶的當前手勢圖像和顯示設備的顯示圖像；處理器用于將當前手勢圖像與存儲器中預存的手勢進行匹配，根據匹配出的手勢的手勢類別，查找預設的與匹配出的手勢的手勢類別對應的虛擬工具圖像；投影鏡頭用于在可穿戴設備前方投影出包括虛擬工具圖像和顯示設備的顯示圖像的虛擬圖像。本實用新型提供的人機交互系統用于人機交互活動。
【專利說明】
一種人機交互系統
技術領域
[0001]本實用新型涉及人機交互技術領域，尤其涉及一種人機交互系統。
【背景技術】
[0002]隨著電子信息科學技術的發展，人與計算機的交互活動在人們的日常生活中占據了重要的地位，其中，結合虛擬現實技術利用人的動作進行人機交互活動也成為了人機交互活動的一個主要發展趨勢。
[0003]現有技術中，結合虛擬現實技術進行人機交互活動時，用戶需要與計算機直接接觸，或者使用實體輸入裝置對計算機發出操作指令。比如，用戶對計算機進行觸摸操作，從而實現計算機的各種功能，或者，計算機連接有鼠標和鍵盤，用戶利用鼠標和鍵盤對計算機發出操作指令，從而實現計算機的各種功能。但是，由于用戶需要使用實體物理裝置來操作計算機的方式較為復雜，使得用戶進行虛擬現實技術的人機交互活動的操作便利性較低。
【實用新型內容】
[0004]本實用新型的目的在于提供一種人機交互系統，用于提高用戶進行虛擬現實技術的人機交互活動的操作便利性。
[0005]為了實現上述目的，本實用新型提供如下技術方案:
[0006]—種人機交互系統，包括:可穿戴設備和顯示設備；
[0007]所述可穿戴設備包括攝像頭、存儲器、處理器和投影鏡頭；
[0008]所述攝像頭、投影鏡頭、存儲器分別與所述處理器信號連接，所述攝像頭用于采集用戶的當前手勢圖像和所述顯示設備的顯示圖像，并提供給處理器；
[0009]所述處理器用于將所述當前手勢圖像與所述存儲器中預存的手勢進行匹配，根據匹配出的手勢的手勢類別，查找預設的與所述匹配出的手勢的手勢類別對應的虛擬工具圖像，并將所述虛擬工具圖像和所述顯示設備的顯示圖像提供給投影鏡頭；
[0010]所述投影鏡頭用于在所述可穿戴設備前方投影出包括所述虛擬工具圖像和所述顯示設備的顯示圖像的虛擬圖像。
[0011]本實用新型提供的人機交互系統中，攝像頭采集用戶的當前手勢圖像和顯示設備的顯示圖像，處理器將當前手勢圖像與存儲器中預存的手勢進行匹配，根據匹配出的手勢的手勢類別，查找預設的與匹配出的手勢的手勢類別對應的虛擬工具圖像，投影鏡頭投影出包括虛擬工具圖像和顯示設備的顯示圖像的虛擬圖像。與需要利用物理實體裝置實現人機交互活動的現有技術相比，本實用新型利用用戶的手勢就能生成控制指令，生成與控制指令對應的虛擬工具圖像，使用戶能夠通過可穿戴設備看到包括虛擬工具圖像和顯示設備的顯示圖像的虛擬圖像，不需要特意使用物理實體裝置對顯示設備進行操作，就能夠實現虛擬現實技術中的人機交互活動，提高了用戶進行虛擬現實技術的人機交互活動的操作便利性。
【附圖說明】
[0012]此處所說明的附圖用來提供對本實用新型的進一步理解，構成本實用新型的一部分，本實用新型的示意性實施例及其說明用于解釋本實用新型，并不構成對本實用新型的不當限定。在附圖中:
[0013]圖1為本實用新型實施例一中人機交互系統的結構示意圖；
[0014]圖2為本實用新型實施例三、四中人機交互系統的結構示意圖；
[0015]圖3為本實用新型實施例三中智能眼鏡的結構示意圖；
[0016]圖4為本實用新型實施例二中人機交互系統的結構示意圖；
[0017]圖5為本實用新型實施例四中人機交互系統的結構示意圖；
[0018]圖6為本實用新型實施例四中用戶的視覺效果圖。
[0019]附圖標記:
[0020]10-人機交互系統，11-可穿戴設備，12-顯示設備，13-鏡片，14-鏡架，15-虛擬筆，16-智能眼鏡，111-攝像頭，112-存儲器，113-處理器，114-投影鏡頭，115-信息發送接口，141-鏡框，142-鏡腿，1111-圖像處理器，1131-比較電路。
【具體實施方式】
[0021]為了進一步說明本實用新型實施例提供的人機交互系統，下面結合說明書附圖進行詳細描述。
[0022]實施例一
[0023]請參閱圖1，本實用新型實施例提供的人機交互系統10包括可穿戴設備11和顯示設備12，可穿戴設備11包括攝像頭111、存儲器112、處理器113和投影鏡頭114;攝像頭111、存儲器112、投影鏡頭114分別與處理器113信號連接，攝像頭111用于采集用戶的當前手勢圖像和顯示設備12的顯示圖像，并將當前手勢圖像和顯示設備12的顯示圖像提供給處理器113，具體的，攝像頭111也可以替換為拍照鏡頭或圖像傳感器等具有圖像采集功能的結構；處理器113用于將當前手勢圖像與存儲器112中預存的手勢進行匹配，根據匹配出的手勢的手勢類別，查找預設的與匹配出的手勢的手勢類別對應的虛擬工具圖像，并將虛擬工具圖像和顯示設備12的顯示圖像提供給投影鏡頭114，虛擬工具圖像為某種工具的虛擬顯示圖像，如虛擬筆的圖像、虛擬放大鏡的圖像或虛擬手槍的圖像等，需要說明的是，存儲器112中存儲有手勢數據庫，手勢數據庫中包括多種手勢以及多種手勢自身的各類屬性或特征，其中，手勢類別就是手勢自身的一種屬性，在具體實施過程中，存儲器112還具有自學習的功能，能夠將學習到的新的手勢添加到手勢數據庫中；投影鏡頭114用于在可穿戴設備11前方投影出包括虛擬工具圖像和顯示設備12的顯示圖像的虛擬圖像，且該虛擬圖像會根據攝像頭111采集到的當前手勢圖像和顯示設備的顯示圖像進行實時更新，也就是說，投影鏡頭114能夠投影出連貫的畫面;具體的，顯示設備12具體可以為智能手機、平板電腦等便于攜帶的手持顯示終端，在此并不限定。
[0024]本實用新型提供的人機交互系統10中，攝像頭111采集用戶的當前手勢圖像和顯示設備的顯示圖像，處理器113將當前手勢圖像與存儲器112中預存的手勢進行匹配，根據匹配出的手勢的手勢類別，查找預設的與匹配出的手勢的手勢類別對應的虛擬工具圖像，投影鏡頭114投影出包括虛擬工具圖像和顯示設備12的顯示圖像的虛擬圖像。與需要利用物理實體裝置實現人機交互活動的現有技術相比，本實用新型利用用戶的手勢就能生成控制指令，生成與控制指令對應的虛擬工具圖像，使用戶能夠通過可穿戴設備看到包括虛擬工具圖像和顯示設備的顯示圖像的虛擬圖像，不需要特意使用物理實體裝置對顯示設備進行操作，就能夠實現虛擬現實技術中的人機交互活動，提高了用戶進行虛擬現實技術的人機交互活動的操作便利性。
[0025]實施例二
[0026]請參閱圖4，在實施例一的基礎上，可穿戴設備11還包括信息發送接口115，信息發送接口 115與處理器113信號連接，用于將處理器根據手勢類別提供的控制指令發送給顯示設備12，信息發送接口 115可以根據可穿戴設備11與顯示設備12之間使用的通信技術而定，可穿戴設備11與顯示設備12之間能夠通過有線連接，也可以通過無線連接，優選無線連接，比如利用WiFi (WIreless-Fidel ity，無線寬帶)、藍牙、ZigBee (紫蜂協議)等無線通訊手段進行通信，從而使用對應的信息發送接口 115，信息發送接口 115優選為無線接口，具體的，信息發送接口 115可以為WiFi模塊、藍牙模塊、ZigBee模塊等。
[0027]實施例三
[0028]請參閱圖2和圖3，可穿戴設備具體可以為智能眼鏡、穿戴頭盔、智能手環等設備，下面以智能眼鏡16為例進行說明。智能眼鏡16包括與左右眼對應的兩個鏡片13和用于支撐鏡片的鏡架14，具體的，攝像頭111、存儲器112、處理器113均設置在鏡架14上，投影鏡頭114設置在鏡架14或鏡片13上;鏡架14包括鏡框141和鏡腿142，鏡片13設置在鏡框141中，鏡片13為具有投影功能的近眼透鏡，顯示設備12上的顯示圖像以及用戶的手勢圖像均可以通過鏡片13透射至佩戴智能眼鏡16的用戶的雙眼，使得用戶能夠通過智能眼鏡16觀看虛擬工具圖像和顯示設備12的顯示圖像，或者觀看虛擬工具圖像、顯示設備12的顯示圖像和用戶的當前手勢圖像。攝像頭111設置在鏡框141上，具體的，攝像頭111的數量為兩個，兩個攝像頭111分別設置在鏡框141上靠近鏡腿142的區域。
[0029]實施例四
[0030]請參閱圖5，下面將介紹上述人機交互系統中可穿戴設備中的某些部件的具體構成，具體說明如下:
[0031]攝像頭111包括圖像處理器1111，用于在同時采集到包含用戶當前手勢和所述顯示設備的顯示圖像的混合圖像時，從所述混合圖像中分別識別出當前手勢圖像和所述顯示設備的顯示圖像，需要說明的是，在用戶還未做出手勢，即攝像頭111中的圖像處理器1111還未拍攝到用戶的手勢圖像時，圖像處理器1111先拍攝顯示設備12的顯示圖像，從而得到當前場景下手勢圖像所處的主體環境，在圖像處理器1111同時拍攝到手勢圖像和顯示設備12的顯示圖像的混合圖像時，圖像處理器1111利用背景分離方法將當前手勢圖像和顯示設備12當前的顯示圖像分離。
[0032]處理器113包括比較電路1131，比較電路1131用于比較當前手勢圖像的手勢邊緣輪廓和存儲器112預存的手勢的手勢邊緣輪廓，以及比較當前手勢圖像的手勢運動軌跡和存儲器112預存的手勢的手勢運動軌跡，輸出與當前手勢圖像的手勢邊緣輪廓和手勢運動軌跡匹配的預存的手勢的手勢邊緣輪廓和手勢運動軌跡對應的手勢類別。也就是說，當存儲器中預存的某一手勢的手勢邊緣輪廓與當前手勢圖像的手勢邊緣輪廓匹配，且存儲器中預存的該手勢的手勢運動軌跡與當前手勢圖像的手勢運動軌跡匹配，則存儲器中預存的該手勢的手勢類別與當前手勢圖像相對應，比較電路輸出存儲器中預存的該手勢的手勢類另IJ。需要說明的是，手勢邊緣輪廓用于表示手勢的輪廓和具體形狀，手勢運動軌跡用于表示手勢的運動方向以及變化過程等，比如:攝像頭111中的圖像處理器1111采集到用戶的手握成實心拳，在顯示設備12前直線移動的手勢，其中，手勢邊緣輪廓表示握成實心拳的手的輪廓為近似于圓形的形狀，以及實心拳的具體各個手指的形狀和位置，手勢運動軌跡表示實心拳呈直線運動;再比如，攝像頭111中的圖像處理器1111采集到用戶的手握成空心拳，在顯示設備12前曲線移動的手勢，手勢邊緣輪廓表示握成空心拳的手的外部輪廓為近似于圓形的形狀，以及空心拳的具體各個手指的形狀和位置，手勢運動軌跡數據表示空心拳呈曲線運動；當區分實心拳與空心拳時，由于實心拳與空心拳這兩個手勢中各個手指的形狀和位置不同，故可以由手勢邊緣輪廓來區分實心拳和空心拳的不同。值得一提的是，用于表征手勢的特征包括但并不限于上述手勢邊緣輪廓和手勢運動軌跡，能夠表征手勢的不同的特征均屬于本實用新型的保護范圍。
[0033]下面以一具體舉例來進行本實施例中人機交互系統實現人機交互活動的說明:如圖2所示，智能眼鏡16利用攝像頭111中的圖像處理器1111采集圖像，顯示設備12為平板電腦，平板電腦上顯示的畫面是文字閱讀界面，圖像處理器1111對平板電腦顯示的文字閱讀界面進行拍攝，得到平板電腦的顯示圖像；用戶此時希望對文字閱讀界面中的某句文字進行標記，故用戶做出握筆手勢，想要在該句文字對應的位置做出標記，需要注意的是，用戶手中不存在觸摸筆等真實物理工具，此時，圖像處理器1111拍攝到了平板電腦顯示的文字閱讀界面和用戶的握筆手勢，從而得到顯示圖像和當前手勢圖像；智能眼鏡16中的處理器113中的比較電路1131比較用戶的握筆手勢的手勢邊緣輪廓與存儲器112中存儲的手勢的手勢邊緣輪廓，并比較用戶的握筆手勢的手勢運動軌跡與存儲器112中存儲的手勢的手勢運動軌跡，從而輸出握筆手勢的手勢類別為握筆標記手勢，投影鏡頭114在用戶的視野范圍內投射出虛擬筆15的圖像，以及握筆手勢對應的文字處的標記，使得用戶可以通過智能眼鏡16看到虛擬筆15的圖像以及文字閱讀界面的標記，用戶看到的效果圖為圖6，與用戶使用觸摸筆等真實物理工具進行標記的效果相同。
[0034]下面再以另一具體舉例來進行本實施例中人機交互系統實現人機交互活動的說明:智能眼鏡16利用攝像頭111中的圖像處理器1111采集圖像，顯示設備12為平板電腦，平板電腦上顯示的畫面是文字閱讀界面或游戲界面，用戶需要將文字閱讀界面或游戲界面放大，則可做出手持放大鏡的手勢或加號手勢，圖像處理器1111拍攝到手持放大鏡的手勢圖像或加號手勢圖像后，智能眼鏡16中的處理器113中的比較電路1131比較用戶的放大鏡的手勢圖像或加號手勢圖像的手勢邊緣輪廓與存儲器112中存儲的手勢的手勢邊緣輪廓，并比較用戶的放大鏡的手勢圖像或加號手勢圖像的手勢運動軌跡與存儲器112中存儲的手勢的手勢運動軌跡，從而輸出放大鏡的手勢或加號手勢的手勢類別為放大手勢，投影鏡頭114在用戶的視野范圍內形成虛擬放大鏡的圖像，并將文字閱讀界面或游戲界面放大，用戶可以通過智能眼鏡16看到虛擬放大鏡的圖像以及放大的文字閱讀界面或游戲界面。
[0035]本實施例中的人機交互系統10，可穿戴設備11利用手勢邊緣輪廓和手勢運動軌跡對采集到的手勢進行識別和匹配，并根據目標手勢生成控制指令，根據控制指令生成虛擬工具圖像，使得利用虛擬現實技術的人機交互活動更加精準、完善。
[0036]本說明書中的各個實施例均采用遞進的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。
[0037]在上述實施方式的描述中，具體特征、結構、材料或者特點可以在任何的一個或多個實施例或示例中以合適的方式結合。
[0038]以上所述，僅為本實用新型的【具體實施方式】，但本實用新型的保護范圍并不局限于此，任何熟悉本技術領域的技術人員在本實用新型揭露的技術范圍內，可輕易想到變化或替換，都應涵蓋在本實用新型的保護范圍之內。因此，本實用新型的保護范圍應以所述權利要求的保護范圍為準。
【主權項】
1.一種人機交互系統，其特征在于，包括:可穿戴設備和顯示設備； 所述可穿戴設備包括攝像頭、存儲器、處理器和投影鏡頭； 所述攝像頭、投影鏡頭、存儲器分別與所述處理器信號連接，所述攝像頭用于采集用戶的當前手勢圖像和所述顯示設備的顯示圖像，并提供給處理器； 所述處理器用于將所述當前手勢圖像與所述存儲器中預存的手勢進行匹配，根據匹配出的手勢的手勢類別，查找預設的與所述匹配出的手勢的手勢類別對應的虛擬工具圖像，并將所述虛擬工具圖像和所述顯示設備的顯示圖像提供給投影鏡頭； 所述投影鏡頭用于在所述可穿戴設備前方投影出包括所述虛擬工具圖像和所述顯示設備的顯示圖像的虛擬圖像。2.根據權利要求1所述的人機交互系統，其特征在于，所述可穿戴設備還包括信息發送接口，所述信息發送接口與所述處理器信號連接，用于向顯示設備發送所述處理器根據所述手勢類別提供的控制指令。3.根據權利要求1所述的人機交互系統，其特征在于，所述可穿戴設備為智能眼鏡，所述智能眼鏡包括鏡架和鏡片，以及設置在所述鏡架上的所述攝像頭、所述存儲器、所述處理器和設置在所述鏡架或所述鏡片上的所述投影鏡頭。4.根據權利要求3所述的人機交互系統，其特征在于，所述鏡架包括鏡框和鏡腿，所述攝像頭設置在所述鏡框上。5.根據權利要求3所述的人機交互系統，其特征在于，所述鏡片為具有投影功能的近眼透鏡。6.根據權利要求1所述的人機交互系統，其特征在于，所述攝像頭包括圖像處理器，用于在同時采集到包含用戶當前手勢和所述顯示設備的顯示圖像的混合圖像時，從所述混合圖像中分別識別出當前手勢圖像和所述顯示設備的顯示圖像。7.根據權利要求1所述的人機交互系統，其特征在于，所述處理器包括比較電路，用于比較所述當前手勢圖像的手勢邊緣輪廓和所述存儲器預存的手勢的手勢邊緣輪廓，以及比較所述當前手勢圖像的手勢運動軌跡和所述存儲器預存的手勢的手勢運動軌跡，輸出與所述當前手勢圖像的手勢邊緣輪廓和手勢運動軌跡匹配的預存的手勢的手勢邊緣輪廓和手勢運動軌跡對應的手勢類別。8.根據權利要求2所述的人機交互系統，其特征在于，所述信息發送接口為無線接口。9.根據權利要求4所述的人機交互系統，其特征在于，所述攝像頭的數量為兩個，分別設置在所述鏡框上靠近所述鏡腿的區域。
【文檔編號】G06F3/01GK205485916SQ201620006644
【公開日】2016年8月17日
【申請日】2016年1月4日
【發明人】盧永春
【申請人】京東方科技集團股份有限公司