體感指令的確定方法以及體感交互裝置的制造方法
【專利摘要】本發明公開了一種體感指令的確定方法以及體感交互裝置,所述確定方法包括:體感交互裝置建立當前感測對象的人體模型;其中,所述人體模型為多節點的人體骨架模型;分析得到所述人體模型中不同部位之間的夾角或所述夾角的變化范圍;根據所述夾角或所述夾角的變化范圍確定對應的體感指令。通過上述方式,不僅能夠提高感測對象的深度圖像數據對應的人體動作對受控設備的體感控制的準確率,減少誤操作現象,而且針對不同種類的受控設備具有通用性,降低研發人員的人力和財力成本。
【專利說明】
體感指令的確定方法以及體感交互裝置
技術領域
[0001 ]本發明涉及智能終端技術領域,特別是涉及一種體感指令的確定方法以及體感交 互裝置。
【背景技術】
[0002] 體感交互技術作為新一代的人機交互技術,相比于鍵盤、鼠標以及觸摸交互技術, 更加自然和直觀,例如體感游戲是通過自身的身體動作來操作游戲,相較于傳統的通過鍵 盤、鼠標以及有線手柄等的游戲,體感游戲不再是手指操作運動,身體的運動量和娛樂性都 得到了很大的提高,因此,體感游戲得到了很好的發展。
[0003] 上述列舉的體感游戲一般是利用體感技術與計算機、電視等智能設備中的軟件進 行交互,但是體感交互技術還有一種比較重要的應用為利用體感交互技術對硬件設備進行 操控,比如結合機器人、計算機、體感攝像頭可以實現機器人的自動跟蹤與壁障,同時可以 實現近距離手勢操控機器人等。
[0004] 由于體感操控一般是針對可移動的硬件設備,如機器人或無人駕駛車輛等,在對 這些硬件設備進行體感操控時,一般是通過人體動作語言來實現,然而,由于針對不同的硬 件設備往往設定的人體動作語言并不相同,兼容性差,而且,現有的人體動作語言對硬件設 備的控制準確率也并不高,往往存在誤操作現象。
【發明內容】
[0005] 本發明主要解決的技術問題是提供一種體感指令的確定方法以及體感交互裝置, 能夠有效提高體感交互的控制執行率,提高體感控制的兼容性和通用性。
[0006] 為解決上述技術問題,本發明采用的一個技術方案是:提供一種體感指令的確定 方法,所述確定方法包括:
[0007] 體感交互裝置建立當前感測對象的人體模型;其中,所述人體模型為多節點的人 體骨架模型;
[0008] 分析得到所述人體模型中不同部位之間的夾角或所述夾角的變化范圍;
[0009 ]根據所述夾角或所述夾角的變化范圍確定對應的體感指令。
[0010] 其中,所述體感指令包括加速、減速、前進、后退、左轉、右轉中的至少一種。
[0011] 其中,所述根據所述夾角或所述夾角的變化范圍確定對應的體感指令的步驟具體 包括:
[0012] 計算所述人體骨架中的人體軀干與左手大臂之間的夾角
并當0<α<30°時,確定為前進指令,否則確定為后退指令,其中,向量為人體軀干向 量,向量.^yv4為左手大臂向量。
[0013] 其中,所述根據所述夾角或所述夾角的變化范圍確定對應的體感指令的步驟具體 包括:
[0014] 計算所述左手大臂與左手小臂之間夾角
,并當m直相較于前 一時刻變大時,確定為加速指令,否則確定為減速指令,其中,向量為左手小臂向量。
[0015] 其中,所述根據所述夾角或所述夾角的變化范圍確定對應的體感指令的步驟具體 包括:
[0016] 計算右手大臂向量與人體軀干法線向量g之間的夾
> 并 當0< γ <90°時,確定為左轉指令,否則確定為右轉指令,其中,,向量 為右臂肩部向量。
[0017] 其中,所述建立當前感測對象的人體模型的步驟包括:
[0018] 采集當前感測對象的人體深度數據,利用所述人體深度數據建立所述人體模型。
[0019] 其中,在所述根據所述夾角或所述夾角的變化范圍確定對應的體感指令的步驟之 后,還包括:
[0020] 將所述體感指令發送至受控設備,以使所述受控設備執行所述體感指令。
[0021] 為解決上述技術問題,本發明采用的另一個技術方案是:提供一種體感交互裝置, 所述體感交互裝置包括:人體模型建立模塊、分析模塊以及體感指令確定模塊,
[0022] 所述人體模型建立模塊用于建立當前感測對象的人體模型;其中,所述人體模型 為多節點的人體骨架模型;
[0023] 所述分析模塊用于分析得到所述人體模型中不同部位之間的夾角或所述夾角的 變化范圍;
[0024] 所述體感指令確定模塊用于根據所述夾角或所述夾角的變化范圍確定對應的體 感指令。
[0025] 其中,所述體感指令包括加速、減速、前進、后退、左轉、右轉中的至少一種。
[0026] 其中,所述人體模型建立模塊具體用于采集當前感測對象的人體深度數據,利用 所述人體深度數據建立所述人體模型。
[0027] 本發明的有益效果是:區別于現有技術的情況,本實施方式的體感交互裝置建立 當前感測對象的人體模型后,分析得到該人體模型中不同部位之間的夾角或該夾角的變化 范圍,并根據該夾角或夾角的變化范圍確定對應的體感指令。通過上述方式,不僅能夠提高 感測對象的深度圖像數據對應的人體動作對受控設備的體感控制的準確率,減少誤操作現 象,而且針對不同種類的受控設備具有通用性,降低研發人員的人力和財力成本。
【附圖說明】
[0028] 圖1是本發明體感指令的確定方法一實施方式的流程示意圖;
[0029] 圖2是本發明體感交互系統一實施方式的結構示意圖;
[0030] 圖3是本發明體感交互系統另一實施方式的結構示意圖;
[0031 ]圖4是本發明人體模型一實施方式的結構示意圖;
[0032] 圖5是本發明體感指令的確定方法另一實施方式的流程示意圖;
[0033] 圖6是本本發明體感交互裝置一實施方式的結構示意圖;
[0034] 圖7是本發明體感交互裝置另一實施方式的結構示意圖;
[0035]圖8是本發明體感交互裝置再一實施方式的結構示意圖。
【具體實施方式】
[0036] 參閱圖1,圖1是本發明體感指令的確定方法一實施方式的流程示意圖,本實施方 式的體感確定方法包括如下步驟:
[0037] 101:體感交互裝置建立當前感測對象的人體模型;其中,所述人體模型為多節點 的人體骨架模型。
[0038]具體,參閱圖2,圖2為本發明體感交互系統一實施方式的結構示意圖。體感交互系 統包括體感交互裝置201以及受控設備202,其中,體感交互裝置201與受控設備202遠程無 線連接。
[0039] 其中,該受控設備302包括行走機器人、無人駕駛車輛等遠程操控設備中的至少一 種。
[0040] 其中,受控設備202的數量可以為1個,如圖2所示,也可以為多個,如圖3所示,當體 感交互裝置301遠程無線連接的受控設備302為多個時,實現一個體感交互裝置301控制多 個受控設備302的目的。例如可通過一個體感交互裝置301同時控制多個機器人進行閱兵或 者動作表演等。在此不做限定。
[0041] 體感交互裝置201為了實現對上述受控設備202的高精度體感操控,首先采集當前 感測對象的人體深度數據,利用所述人體深度數據建立所述人體模型,如圖4所示。具體地, 體感交互裝置201可通過深度相機、RGB相機以及S0C控制芯片中的至少一種來獲取該感測 對象的人體深度數據。
[0042] 102:分析得到所述人體模型中不同部位之間的夾角或所述夾角的變化范圍。
[0043]具體地,為了減小無線網絡傳輸的無效工作量,提高體感交互成功率,體感交互裝 置201先將受控設備202的體感指令進行分類,如前進指令、后退指令、加速指令、減速指令、 左轉指令以及右轉指令等,在此不做限定。然后根據設定的體感指令預設人體動作,并將該 人體動作與體感指令建立對應關系。
[0044]體感交互裝置201在采集到感測對象的人體深度數據后,首先判斷該人體深度數 據對應的人體動作是否在預先設定的人體動作范圍內,即判斷是否屬于預設人體動作,如 果屬于預設人體動作,進一步地分析對該人體模型中不同部位之間的夾角或所述夾角的變 化范圍。如人體骨架中的人體軀干與左手大臂之間的夾角,左手大臂與左手小臂之間的夾 角以及右手大臂向量與人體軀干法線向量之間的夾角等人體模型數據等。
[0045] 103:根據所述夾角或所述夾角的變化范圍確定對應的體感指令。
[0046] 其中,該體感指令包括加速、減速、前進、后退、左轉、右轉中的至少一種。
[0047]具體地,結合圖1、圖2和圖4,體感交互裝置201根據人體骨架中的人體軀干與左手 大臂之間的夾角α確定是前進指令或者是后退指令。其中,人體骨架中的人體軀干與左手大 ,并當0<α<30°時,確定為前進指令,否則確定為后退 指令,向量AVI為人體軀干向量,向量$厚4為左手大臂向量。
[0048]體感交互裝置201根據左手大臂與左手小臂之間夾角β確定是加速指令還是后退 指令。具體地,左手大臂與左手小臂之間夾角
1并當m直相較于前一時 刻變大時,確定為加速指令,否則確定為減速指令,其中,向量為左手小臂向量,如圖4 所示。
[0049]體感交互裝置201根據人體軀干與右手大臂的相對位置確定是左轉指令還是右轉 指令。具體地,通過右手大臂向量^與人體軀干法線向量g之間的夾角γ來確定,其中,
,并當〇< Υ <90°時,確定為左轉指令,否則確定為右轉指令,其中, ? = ^Ν-,χΝ^ζ,向量AyV3為右臂肩部向量。如圖4所示。
[0050] 以上指令結合了夾角以及夾角的變化范圍兩種方式,僅需要通過雙手就可以完整 地控制受控終端的運行。
[0051] 需要說明的是,上述對指令的確定和計算方法只是舉例,而非限定,在其他實施方 式中,也可以通過其他人體模型數據進行確定,本實施方式例舉的人體動作信息也可以代 表上述六種指令之外的其他體感指令,人體動作信息與體感指令之間的對應關系也可以互 換,只要是與預先設定的對應關系相符合即可,在此不做限定。
[0052] 進一步地,參閱圖5,體感交互裝置201在確定體感指令后,為了實現對受控設備 202的遠程控制,進一步的執行步驟504:將所述體感指令發送至受控設備202,以使所述受 控設備202執行所述體感指令。
[0053]受控設備202接收到該體感指令后,執行與該體感指令對應的功能操作,如接收到 左轉指令,則執行左轉操作,如接收到的是前進指令,則執行前進操作,如接收到的是加速 指令,則加快當前操作的速度等,在此不做限定。
[0054]在另一個實施方式中,為了更清楚的了解當前受控設備202所處的環境以及工作 狀況,提高遠程操控的可執行性,受控設備202采集所述受控設備202操作時的圖像數據,并 將所述圖像數據傳送至所述體感交互裝置201,所述體感交互裝置201顯示所述圖像數據。 在一個具體的實施方式中,受控設備202可通過攝像頭采集該圖像數據,體感交互裝置201 可通過液晶顯示屏或LED顯示屏顯示該圖像數據,以為用戶提供更加方便的體感反饋信息。 [0055]在另一個實施方式中,體感交互裝置201在接收到該受控設備202操作時的圖像數 據后,進一步地分析所述圖像數據得到所述受控設備的實際操作信息,判斷該實際操作信 息是否與體感交互裝置201發送的體感指令對應的操作是否相匹配,如果該實際操作信息 與對應的體感指令不或體感指令對應的操作不匹配時,發出數控設備出錯的通知,如通過 發出報警的方式來實現,在此不做限定。
[0056]區別于現有技術,本實施方式的體感交互裝置建立當前感測對象的人體模型后, 分析得到該人體模型中不同部位之間的夾角或該夾角的變化范圍,并根據該夾角或夾角的 變化范圍確定對應的體感指令。通過上述方式,不僅能夠提高感測對象的深度圖像數據對 應的人體動作對受控設備的體感控制的準確率,減少誤操作現象,而且針對不同種類的受 控設備具有通用性,降低研發人員的人力和財力成本。
[0057]另外,體感交互裝置通過遠程控制受控設備的方式能夠大大降低環境對控制準確 率的影響,而且,相較于現有技術,受控設備的設置位置也不再局限于其本身深度相機的感 測范圍,使體感交互技術對硬件設備的操控得到了更好的發展。而且一個體感交互裝置控 制多個受控設備的實施方式能夠進一步提高對受控設備遠程控制的效率,降低成本。
[0058]另外,受控設備采集其操作時的圖像數據,并將該圖像數據傳送至所述體感交互 裝置,體感交互裝置顯示所述圖像數據的實施方式,能夠使遠程的受控設備的周圍環境狀 況以及當前的實際操作情形一目了然的出現在控制端,為工作人員對當前受控設備工作狀 況的監控和調整提供依據,也能夠進一步的提高遠程操控的可執行性和受控設備的工作效 率。
[0059] 參閱圖6,圖6是本發明體感交互裝置一實施方式的結構示意圖。本實施方式的體 感交互裝置包括人體模型建立模塊601、分析模塊602以及體感指令確定模塊603。
[0060] 人體模型建立模塊601用于建立當前感測對象的人體模型;其中,所述人體模型為 多節點的人體骨架模型。
[0061] 具體的,體感交互裝置為了實現對受控設備的高精度體感操控,人體模型建立模 塊301首先采集當前感測對象的人體深度數據,利用所述人體深度數據建立所述人體模型, 具體地,人體模型建立模塊301可通過深度相機、RGB相機以及S0C控制芯片中的至少一種來 獲取該感測對象的人體深度數據。
[0062] 其中,該受控設備包括行走機器人、無人駕駛車輛等遠程操控設備中的至少一種。 [0063]其中,該受控設備與體感交互裝置通過遠程無線連接,與該體感交互裝置遠程無 線連接的受控設備的數量為一個或多個,當體感交互裝置遠程無線連接的受控設備為多個 時,可實現一個體感交互裝置控制多個受控設備的目的。例如可通過一個體感交互裝置同 時控制多個機器人進行閱兵或者動作表演等。在此不做限定。
[0064] 分析模塊602用于分析得到所述人體模型中不同部位之間的夾角或所述夾角的變 化范圍。
[0065] 具體地,為了減小無線網絡傳輸的無效工作量,提高體感交互成功率,分析模塊 602先將受控設備的體感指令進行分類,如前進指令、后退指令、加速指令、減速指令、左轉 指令以及右轉指令等,在此不做限定。然后根據設定的體感指令預設人體動作,并將該人體 動作與體感指令建立對應關系。
[0066]分析模塊602在人體模型建立模塊601采集到感測對象的人體深度數據后,首先判 斷該人體深度數據對應的人體動作是否在預先設定的人體動作范圍內,即判斷是否屬于預 設人體動作,如果屬于預設人體動作,進一步地分析對該人體模型中不同部位之間的夾角 或所述夾角的變化范圍。如人體骨架中的人體軀干與左手大臂之間的夾角,左手大臂與左 手小臂之間的夾角以及右手大臂向量與人體軀干法線向量之間的夾角等人體模型數據等。
[0067 ]體感指令確定模塊603用于根據所述夾角或所述夾角的變化范圍確定對應的體感 指令。
[0068] 其中,該體感指令包括加速、減速、前進、后退、左轉、右轉中的至少一種。
[0069] 具體地,體感指令確定模塊603根據人體骨架中的人體軀干與左手大臂之間的夾 角α確定是前進指令或者是后退指令。其中,人體骨架中的人體軀干與左手大臂之間的夾角
,并當0<α<30°時,確定為前進指令,否則確定為后退指令,向量 ^7為人體軀干向量,向量TV3<為左手大臂向量。
[0070] 體感指令確定模塊603根據左手大臂與左手小臂之間夾角β確定是加速指令還是 后退指令。具體地,左手大臂與左手小臂之間夾
,并當β值相較于前 一時刻變大時,確定為加速指令,否則確定為減速指令,其中,向量?為左手小臂向量。 [0071]體感指令確定模塊603根據人體軀干與右手大臂的相對位置確定是左轉指令還是 右轉指令。具體地,通過右手大臂向量^與人體軀干法線向量;;之間的夾角γ來確定,其 中:
,并當〇< Υ <90°時,確定為左轉指令,否則確定為右轉指令,其中, ft:d瑪況2X.iVjiVj,:向為右臂肩部向Μ。
[0072]需要說明的是,上述對指令的確定和計算方法只是舉例,而非限定,在其他實施方 式中,也可以通過其他人體模型數據進行確定,本實施方式例舉的人體動作信息也可以代 表上述六種指令之外的其他體感指令,人體動作信息與體感指令之間的對應關系也可以互 換,只要是與預先設定的對應關系相符合即可,在此不做限定。
[0073]進一步的如圖7所示,體感交互裝置除了包括人體模型建立模塊701、分析模塊702 以及體感指令確定模塊703,還包括發送模塊704,該發送模塊704用于將所述體感指令發送 至受控設備,以使所述受控設備執行所述體感指令。
[0074] 受控設備接收到該體感指令后,執行與該體感指令對應的功能操作,如接收到左 轉指令,則執行左轉操作,如接收到的是前進指令,則執行前進操作,如接收到的是加速指 令,則加快當前操作的速度等,在此不做限定。
[0075] 在另一個實施方式中,為了更清楚的了解當前受控設備所處的環境以及工作狀 況,提高遠程操控的可執行性,體感交互裝置還包括顯示模塊805,如圖8所示。該顯示模塊 805用于顯示受控設備返回的該受控設備操作時的圖像數據。
[0076] 具體的,受控設備通過其內設或外設的攝像頭或其他數據采集單元采集所述受控 設備操作時的圖像數據,并將所述圖像數據傳送至所述體感交互裝置,所述顯示單元804接 收到該圖像數據后,顯示所述圖像數據。其中,該顯示模塊804可通過液晶顯示屏或LED顯示 屏顯示該圖像數據,以為用戶提供更加方便的體感反饋信息。
[0077] 區別于現有技術,本實施方式的體感交互裝置的人體模型建立模塊建立當前感測 對象的人體模型后,分析模塊分析得到該人體模型中不同部位之間的夾角或該夾角的變化 范圍,體感指令確定模塊根據該夾角或夾角的變化范圍確定對應的體感指令。通過上述方 式,不僅能夠提高感測對象的深度圖像數據對應的人體動作對受控設備的體感控制的準確 率,減少誤操作現象,而且針對不同種類的受控設備具有通用性,降低研發人員的人力和財 力成本。
[0078] 另外,體感交互裝置通過遠程控制受控設備的方式能夠大大降低環境對控制準確 率的影響,而且,相較于現有技術,受控設備的設置位置也不再局限于其本身深度相機的感 測范圍,使體感交互技術對硬件設備的操控得到了更好的發展。而且一個體感交互裝置控 制多個受控設備的實施方式能夠進一步提高對受控設備遠程控制的效率,降低成本。
[0079] 另外,受控設備采集其操作時的圖像數據,并將該圖像數據傳送至所述體感交互 裝置,體感交互裝置顯示所述圖像數據的實施方式,能夠使遠程的受控設備的周圍環境狀 況以及當前的實際操作情形一目了然的出現在控制端,為工作人員對當前受控設備工作狀 況的監控和調整提供依據,也能夠進一步的提高遠程操控的可執行性和受控設備的工作效 率。
[0080] 以上所述僅為本發明的實施方式,并非因此限制本發明的專利范圍,凡是利用本 發明說明書及附圖內容所作的等效結構或等效流程變換,或直接或間接運用在其他相關的 技術領域,均同理包括在本發明的專利保護范圍內。
【主權項】
1. 一種體感指令的確定方法,其特征在于,所述確定方法包括; 體感交互裝置建立當前感測對象的人體模型;其中,所述人體模型為多節點的人體骨 架模型; 分析得到所述人體模型中不同部位之間的夾角或所述夾角的變化范圍; 根據所述夾角或所述夾角的變化范圍確定對應的體感指令。2. 根據權利要求1所述的確定方法,其特征在于,所述體感指令包括加速、減速、前進、 后退、左轉、右轉中的至少一種。3. 根據權利要求2所述的確定方法,其特征在于,所述根據所述夾角或所述夾角的變化 范圍確定對應的體感指令的步驟具體包括: 計算所述人體骨架中的人體軀干與左手大臂之間的夾角,并當0 《α《30°時,確定為前進指令,否則確定為后退指令,其中,向量為人體軀干向量,向 量兩^為左手大臂向量。4. 根據權利要求2所述的確定方法,其特征在于,所述根據所述夾角或所述夾角的變化 范圍確定對應的體感指令的步驟具體包括: 計算所述左手大臂與左手小臂之間夾角,并當β值相較于前一時 刻變大時,確定為加速指令,否則確定為減速指令,其中,向量為左手小臂向量。5. 根據權利要求2所述的確定方法,其特征在于,所述根據所述夾角或所述夾角的變化 范圍確定對應的體感指令的步驟具體包括: 計算右手大臂向量??^與人體軀干法線向量;;之間的夾^,并當〇《 丫《90°時,確定為左轉指令,否則確定為右轉指令,其中,;=萬,向量萬^為右 臂肩部向重。6. 根據權利要求1至5任一項所述的確定方法,其特征在于,所述建立當前感測對象的 人體模型的步驟包括: 采集當前感測對象的人體深度數據,利用所述人體深度數據建立所述人體模型。7. 根據權利要求1至5任一項所述的確定方法,其特征在于,在所述根據所述夾角或所 述夾角的變化范圍確定對應的體感指令的步驟之后,還包括: 將所述體感指令發送至受控設備,W使所述受控設備執行所述體感指令。8. -種體感交互裝置,其特征在于,所述體感交互裝置包括:人體模型建立模塊、分析 模塊W及體感指令確定模塊, 所述人體模型建立模塊用于建立當前感測對象的人體模型;其中,所述人體模型為多 節點的人體骨架模型; 所述分析模塊用于分析得到所述人體模型中不同部位之間的夾角或所述夾角的變化 范圍; 所述體感指令確定模塊用于根據所述夾角或所述夾角的變化范圍確定對應的體感指 令。9. 根據權利要求8所述的體感交互裝置,其特征在于,所述體感指令包括加速、減速、前 進、后退、左轉、右轉中的至少一種。10. 根據權利要求8所述的體感交互裝置,其特征在于,所述人體模型建立模塊具體用 于采集當前感測對象的人體深度數據,利用所述人體深度數據建立所述人體模型。
【文檔編號】G06K9/00GK106095083SQ201610390585
【公開日】2016年11月9日
【申請日】2016年6月2日 公開號201610390585.1, CN 106095083 A, CN 106095083A, CN 201610390585, CN-A-106095083, CN106095083 A, CN106095083A, CN201610390585, CN201610390585.1
【發明人】黃源浩, 劉龍, 肖振中, 許星
【申請人】深圳奧比中光科技有限公司