專利名稱：基于肢體動作的學(xué)習(xí)方法及其云服務(wù)系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及ー種交互方法及其服務(wù)系統(tǒng)，特別涉及基于肢體動作的學(xué)習(xí)方法及其云服務(wù)系統(tǒng)。
背景技術(shù)：
通過互聯(lián)網(wǎng)技術(shù)，終端是傳感器與計(jì)算機(jī)，通過嚴(yán)肅游戲的方式為兒童提供ー種通過肢體運(yùn)動控制虛擬世界里的人物完成一個(gè)任務(wù)，在完成任務(wù)的過程中學(xué)習(xí)各種知識。兒童通過肢體動作控制虛擬環(huán)境中對應(yīng)形象(人物、動物、創(chuàng)新形象等)的動作，虛擬環(huán)境中的形象在兒童肢體動作控制下觸碰虛擬環(huán)境中的各種物體，通過對自然環(huán)境的模擬，給出符合自然規(guī)律的反映。兒童通過控制虛擬形象去處理一系列知識語義匹配選擇，通過肢體觸碰同語義的語義容器實(shí)現(xiàn)匹配選擇任務(wù)。兒童在控制虛擬形象動作的同時(shí)學(xué)習(xí)相關(guān)知識，起到寓教于樂的作用。這種動態(tài)學(xué)習(xí)方法不僅有利于培養(yǎng)孩子的學(xué)習(xí)主動性與知識性，更有利于培養(yǎng)孩子的律動能力、身體協(xié)調(diào)能力、反應(yīng)能力等，將大腦與小腦的開發(fā)有機(jī)的融合在一起。兒童在學(xué)習(xí)過程中不需要身體觸碰任何控制器，僅依靠深度傳感器與攝像頭捕捉三維空間中的用戶肢體動作，實(shí)現(xiàn)自然和諧的互動?，F(xiàn)在的教育已經(jīng)不再是傳統(tǒng)呆板的板寫本抄、師講生聽了，各種現(xiàn)代化的教學(xué)エ具，新穎的教學(xué)模式都在改進(jìn)、提高了教育的質(zhì)量。尤其是面對低年級學(xué)生和學(xué)齡前兒童，由于他們的抽象思維和邏輯思維能力還尚不完善，就更需要一種新穎的，形象化的，快樂和諧的教學(xué)模式和教學(xué)工具來輔助課堂教育，提高教學(xué)質(zhì)量。本發(fā)明能讓兒童舞動身體，親身參與到游戲之中，融入到游戲世界中，在游戲的過程中學(xué)習(xí)知識、開動腦筋、接受事物、增長記憶，起到了寓教于樂的作用。它在培養(yǎng)孩子的學(xué)習(xí)能力的了同時(shí)，也培養(yǎng)了孩子的律動能力、身體協(xié)調(diào)能力、反應(yīng)能力等，將大腦與小腦的開發(fā)有機(jī)的融合在了一起?；谏鲜鲅芯?，我們專門研究和設(shè)計(jì)了一種基于肢體動作的學(xué)習(xí)方法及其云服務(wù)系統(tǒng)。本發(fā)明的基于肢體動作的學(xué)習(xí)方法及其云服務(wù)系統(tǒng)能很好的解決了以上的這些問題。
發(fā)明內(nèi)容
如圖I和圖2所示，本發(fā)明的目的在于提供了一種基于肢體動作學(xué)習(xí)方法的云服務(wù)系統(tǒng)，這種云服務(wù)系統(tǒng)是由顯示設(shè)備I、計(jì)算機(jī)2、體感傳感器3、用戶4、WIFI5、服務(wù)器6和云服務(wù)器7組成。其中，計(jì)算機(jī)2能通過WIFI5連接到云服務(wù)器7上面，獲得各種更新、應(yīng)用和升級。體感傳感器3采集用戶4的行為信息，經(jīng)過簡單的處理，傳輸?shù)接?jì)算機(jī)2上面，計(jì)算機(jī)2對用戶4的形象進(jìn)行動作分析，識別出主要關(guān)節(jié)特征，然后與顯示設(shè)備I里面顯示出來的形象進(jìn)行綁定，使得用戶4無論如何運(yùn)動，虛擬形象也同樣如何運(yùn)動。用戶4驅(qū)動虛擬形象運(yùn)動之后，在虛擬場景里面完成一系列的任務(wù)，虛擬場景模擬了物理世界里的各種物理特征，并且將學(xué)習(xí)的知識點(diǎn)融入到情節(jié)之中，虛擬環(huán)境與學(xué)習(xí)內(nèi)容通過互聯(lián)網(wǎng)從云服務(wù)器7上獲取得到。保證了軟件不被盜版，并且將內(nèi)容的推送實(shí)現(xiàn)定制服務(wù)。計(jì)算 機(jī)2發(fā)送/接受的數(shù)據(jù)通過WIFI5熱點(diǎn)無線連接到服務(wù)器6上面(這個(gè)可根據(jù)實(shí)際情況在每個(gè)教室、每個(gè)年級、每個(gè)區(qū)域里面安裝ー個(gè))，然后服務(wù)器6連接到云服務(wù)器7,或者計(jì)算機(jī)2直接訪問云服務(wù)器7，交換各種數(shù)據(jù)(例如課件、游戲等)。本發(fā)明的目的還在于提供了一種基于肢體動作的學(xué)習(xí)方法，這種學(xué)習(xí)方法的硬件基礎(chǔ)由3D體感攝影機(jī)，通過高清攝像機(jī)、紅外攝像機(jī)和深度傳感器對環(huán)境多元信息進(jìn)行掃描，具有對環(huán)境及人物的行為即時(shí)動態(tài)捕捉、影像辨識、麥克風(fēng)輸入、語音辨識、社群互動等組成，這種基于肢體動作的學(xué)習(xí)方法包括如下步驟
第一歩體感交互；
如圖I和圖2所示，所謂的體感交互就是用戶4通過身體行為對計(jì)算機(jī)2進(jìn)行控制，與其進(jìn)行互動；
第二步圖形識別；
如圖I和圖2所示，攝像頭捕獲人的圖像信息，對肢體的運(yùn)動進(jìn)行圖像識別；
第三步物理建模；
如圖I和圖2所示，提取運(yùn)動關(guān)節(jié)點(diǎn)，形成行為運(yùn)動模型，然后將運(yùn)動模型與設(shè)計(jì)好的動畫形象進(jìn)行匹配；
第四歩運(yùn)動引擎；
如圖I和圖2所示，通過動畫的運(yùn)動引擎控制動畫的行為；
第五步碰撞檢測；
如圖I和圖2所示，動畫形象觸及泡泡時(shí)，通過物理建摸，賦予泡泡各種屬性，模擬真實(shí)世界里的效果，系統(tǒng)最后呈現(xiàn)給用戶4的是人的行為直接控制顯示出來的動畫形象，在虛擬環(huán)境中觸碰泡泡，實(shí)現(xiàn)具有真實(shí)感的體感交互過程。本發(fā)明的目的還在于提供了一種基于肢體動作的雙人律動的學(xué)習(xí)方法，這種學(xué)習(xí)方法的硬件基礎(chǔ)由3D體感攝影機(jī)，通過高清攝像機(jī)、紅外攝像機(jī)和深度傳感器對環(huán)境多元信息進(jìn)行掃描，具有對環(huán)境及人物的行為即時(shí)動態(tài)捕捉、影像辨識、麥克風(fēng)輸入、語音辨識、社群互動等組成，這種雙人律動的學(xué)習(xí)方法包括如下步驟
第一歩啟動“雙人律動”后的起始畫面；
如圖2和圖3所示，兩個(gè)動畫小人坐在地上。右上角的紅色陰影就是3D體感攝影機(jī)捕捉到的真人動作行為的投影；
第二步系統(tǒng)默認(rèn)以“大力士”的動作作為啟動激活動作；
如圖2和圖4所示，當(dāng)3D體感攝影機(jī)捕捉到用戶做出了“大力士”的動作后，便啟動激活小人；
第三步進(jìn)入游戲，小人會站起，游戲開始播放背景音樂，各色的泡泡從天而降；
如圖2和圖5所示，小人會根據(jù)用戶的動作行為做出相同的動作，動作完全同步，其間沒有絲毫延遲。本發(fā)明的優(yōu)點(diǎn)在于
I.形式新穎，能很快吸引用戶的注意力，并使用戶投入進(jìn)去。寓教于樂，用戶在更形象、更生動、更快樂、更和諧的互動過程中，在一整套看似游戲的過程中，鍛煉了兒童的律動能力、身體協(xié)調(diào)能力、手眼協(xié)調(diào)能力、反應(yīng)能力等，也讓兒童學(xué)習(xí)了知識，增長了見識。2.靈活多變的使用形式，既可以整體代替一節(jié)傳統(tǒng)教學(xué)課，也可以以此作為切入點(diǎn)從而帶動兒童的學(xué)習(xí)積極性更有效的投入到下面的課程教授中去。3.云服務(wù)提供強(qiáng)大的后臺支持，云端提供多祥的虛擬環(huán)境和海量的課程內(nèi)容，滿足各年齡段、各種課程的需求。各項(xiàng)功 能和服務(wù)業(yè)會有升級服務(wù)支持，不斷完善用戶體驗(yàn)。云服務(wù)還保證了軟件不被盜版，并且將內(nèi)容的推送實(shí)現(xiàn)定制服務(wù)。4.廣泛的應(yīng)用方式也使本發(fā)明不僅僅限于教育領(lǐng)域，根據(jù)虛擬環(huán)境和互動內(nèi)容的不同組合及選擇，還能廣泛應(yīng)用于互動游戲娛樂、科技展示、安全學(xué)習(xí)、廣告游戲體驗(yàn)、迪廳互動、減肥活動、健身運(yùn)動等領(lǐng)域。
圖I為本發(fā)明的云服務(wù)系統(tǒng)的結(jié)構(gòu)示意圖。附圖標(biāo)記說明1_顯示設(shè)備；2_計(jì)算機(jī)；3_體感傳感器；4_用戶；5_WIFI ;6_服務(wù)器；7-云服務(wù)器7。圖2為本發(fā)明的基于肢體動作學(xué)習(xí)方法的流程圖。圖3為本發(fā)明的基于肢體動作學(xué)習(xí)方法中的啟動“雙人律動”后的狀態(tài)圖。圖4為本發(fā)明的基于肢體動作學(xué)習(xí)方法中的系統(tǒng)默認(rèn)以“大力士”動作作為啟動激活動作的狀態(tài)圖。圖5為本發(fā)明的基于肢體動作學(xué)習(xí)方法中的“小人會站起，各色泡泡從天而降”的狀態(tài)圖。
具體實(shí)施例方式以下結(jié)合說明書附圖對本發(fā)明創(chuàng)造作進(jìn)ー步的詳細(xì)說明。實(shí)施例一
如圖I和圖2所示，本發(fā)明的目的在于提供了一種基于肢體動作學(xué)習(xí)方法的云服務(wù)系統(tǒng)，這種云服務(wù)系統(tǒng)是由顯示設(shè)備I、計(jì)算機(jī)2、體感傳感器3、用戶4、WIFI5、服務(wù)器6和云服務(wù)器7組成。其中，計(jì)算機(jī)2能通過WIFI5連接到云服務(wù)器7上面，獲得各種更新、應(yīng)用和升級。體感傳感器3采集用戶4的行為信息，經(jīng)過簡單的處理，傳輸?shù)接?jì)算機(jī)2上面，計(jì)算機(jī)2對用戶4的形象進(jìn)行動作分析，識別出主要關(guān)節(jié)特征，然后與顯示設(shè)備I里面顯示出來的形象進(jìn)行綁定，使得用戶4無論如何運(yùn)動，虛擬形象也同樣如何運(yùn)動。用戶4驅(qū)動虛擬形象運(yùn)動之后，在虛擬場景里面完成一系列的任務(wù)，虛擬場景模擬了物理世界里的各種物理特征，并且將學(xué)習(xí)的知識點(diǎn)融入到情節(jié)之中，虛擬環(huán)境與學(xué)習(xí)內(nèi)容通過互聯(lián)網(wǎng)從云服務(wù)器7上獲取得到。保證了軟件不被盜版，并且將內(nèi)容的推送實(shí)現(xiàn)定制服務(wù)。計(jì)算機(jī)2發(fā)送/接受的數(shù)據(jù)通過WIFI5熱點(diǎn)無線連接到服務(wù)器6上面(這個(gè)可根據(jù)實(shí)際情況在每個(gè)教室、每個(gè)年級、每個(gè)區(qū)域里面安裝ー個(gè))，然后服務(wù)器6連接到云服務(wù)器7,或者計(jì)算機(jī)2直接訪問云服務(wù)器7，交換各種數(shù)據(jù)(例如課件、游戲等)。實(shí)施例ニ
本發(fā)明的目的還在于提供了一種基于肢體動作的學(xué)習(xí)方法，這種學(xué)習(xí)方法的硬件基礎(chǔ)由3D體感攝影機(jī)，通過高清攝像機(jī)、紅外攝像機(jī)和深度傳感器對環(huán)境多元信息進(jìn)行掃描，具有對環(huán)境及人物的行為即時(shí)動態(tài)捕捉、影像辨識、麥克風(fēng)輸入、語音辨識、社群互動等組成，這種基于肢體動作的學(xué)習(xí)方法包括如下步驟
第一歩體感交互；
如圖I和圖2所示，所謂的體感交互就是用戶4通過身體行為對計(jì)算機(jī)2進(jìn)行控制，與其進(jìn)行互動；
第二步圖形識別；
如圖I和圖2所示，攝像頭捕獲人的圖像信息，對肢體的運(yùn)動進(jìn)行圖像識別；
第三步物理建模；
如圖I和圖2所示，提取運(yùn)動關(guān)節(jié)點(diǎn)，形成行為運(yùn)動模型，然后將運(yùn)動模型與設(shè)計(jì)好的動畫形象進(jìn)行匹配；
第四歩運(yùn)動引擎；
如圖I和圖2所示，通過動畫的運(yùn)動引擎控制動畫的行為；
第五步碰撞檢測；
如圖I和圖2所示，動畫形象觸及泡泡時(shí)，通過物理建摸，賦予泡泡各種屬性，模擬真實(shí)世界里的效果，系統(tǒng)最后呈現(xiàn)給用戶4的是人的行為直接控制顯示出來的動畫形象，在虛擬環(huán)境中觸碰泡泡，實(shí)現(xiàn)具有真實(shí)感的體感交互過程。實(shí)施例三
本發(fā)明的目的還在于提供了一種基于肢體動作的雙人律動的學(xué)習(xí)方法，這種學(xué)習(xí)方法的硬件基礎(chǔ)由3D體感攝影機(jī)，通過高清攝像機(jī)、紅外攝像機(jī)和深度傳感器對環(huán)境多元信息進(jìn)行掃描，具有對環(huán)境及人物的行為即時(shí)動態(tài)捕捉、影像辨識、麥克風(fēng)輸入、語音辨識、社群互動等組成，這種學(xué)習(xí)方法包括如下步驟
第一歩啟動“雙人律動”后的起始畫面；
如圖2和圖3所示，兩個(gè)動畫小人坐在地上。右上角的紅色陰影就是3D體感攝影機(jī)捕捉到的真人動作行為的投影；
第二步系統(tǒng)默認(rèn)以“大力士”的動作作為啟動激活動作；
如圖2和圖4所示，當(dāng)3D體感攝影機(jī)捕捉到用戶做出了“大力士”的動作后，便啟動激活小人；
第三步進(jìn)入游戲，小人會站起，游戲開始播放背景音樂，各色的泡泡從天而降；如圖2和圖5所示，小人會根據(jù)用戶的動作行為做出相同的動作，動作完全同步，其間沒有絲毫延遲。
權(quán)利要求
1.一種基于肢體動作學(xué)習(xí)方法的云服務(wù)系統(tǒng)，其特征在于這種云服務(wù)系統(tǒng)是由顯不設(shè)備(I)、計(jì)算機(jī)(2)、體感傳感器(3)、用戶(4)、WIFI (5)、服務(wù)器(6)和云服務(wù)器(7)組成。
2.根據(jù)權(quán)利要求I所述的一種基于肢體動作學(xué)習(xí)方法的云服務(wù)系統(tǒng)，其特征在于計(jì)算機(jī)(2)能通過WIFI (5)連接到云服務(wù)器(7)上面，獲得各種更新、應(yīng)用和升級。
3.根據(jù)權(quán)利要求I所述的一種基于肢體動作學(xué)習(xí)方法的云服務(wù)系統(tǒng)，其特征在于體感傳感器(3)采集用戶(4)的行為信息，經(jīng)過簡單的處理，傳輸?shù)接?jì)算機(jī)(2)上面，計(jì)算機(jī)(2)對用戶(4)的形象進(jìn)行動作分析，識別出主要關(guān)節(jié)特征，然后與顯示設(shè)備(I)里面顯示出來的形象進(jìn)行綁定。
4.根據(jù)權(quán)利要求I所述的一種基于肢體動作學(xué)習(xí)方法的云服務(wù)系統(tǒng)，其特征在于虛擬環(huán)境與學(xué)習(xí)內(nèi)容通過互聯(lián)網(wǎng)從云服務(wù)器(7)上獲取得到。
5.根據(jù)權(quán)利要求I所述的一種基于肢體動作學(xué)習(xí)方法的云服務(wù)系統(tǒng)，其特征在于計(jì)算機(jī)(2)發(fā)送/接受的數(shù)據(jù)通過WIFI (5)熱點(diǎn)無線連接到服務(wù)器(6)上面，然后服務(wù)器(6)連接到云服務(wù)器(7 )上面，或者計(jì)算機(jī)(2 )直接訪問云服務(wù)器(7 )，交換各種數(shù)據(jù)。
6.一種基于肢體動作的學(xué)習(xí)方法，其特征在于，這種學(xué)習(xí)方法包括以下步驟 第一步體感交互； 第二步圖形識別； 攝像頭捕獲人的圖像信息，對肢體的運(yùn)動進(jìn)行圖像識別； 第三步物理建模； 提取運(yùn)動關(guān)節(jié)點(diǎn)，形成行為運(yùn)動模型，然后將運(yùn)動模型與設(shè)計(jì)好的動畫形象進(jìn)行匹配； 第四步運(yùn)動引擎； 通過動畫的運(yùn)動引擎控制動畫的行為； 第五步碰撞檢測。
7.根據(jù)權(quán)利要求6所述的一種基于肢體動作的學(xué)習(xí)方法,其特征在于在第一步中，所謂的體感交互就是用戶(4)通過身體行為對計(jì)算機(jī)(2)進(jìn)行控制，與其進(jìn)行互動。
8.根據(jù)權(quán)利要求6所述的一種基于肢體動作的學(xué)習(xí)方法，其特征在于在第五步中，動畫形象觸及泡泡時(shí)，通過物理建模，賦予泡泡各種屬性，模擬真實(shí)世界里的效果。
9.一種基于肢體動作的雙人律動的學(xué)習(xí)方法，其特征在于，這種學(xué)習(xí)方法包括以下步驟 第一步啟動“雙人律動”后的起始畫面； 第二步系統(tǒng)默認(rèn)以“大力士”的動作作為啟動激活動作； 當(dāng)3D體感攝影機(jī)捕捉到用戶做出了“大力士”的動作后，便啟動激活小人； 第三步進(jìn)入游戲，小人會站起，游戲開始播放背景音樂，各色的泡泡從天而降； 小人會根據(jù)用戶(4)的動作行為做出相同的動作，動作完全同步，其間沒有絲毫延遲。
10.根據(jù)權(quán)利要求9所述的一種基于肢體動作的雙人律動的學(xué)習(xí)方法,其特征在于在第一步中，兩個(gè)動畫小人坐在地上，右上角的紅色陰影就是3D體感攝影機(jī)(3)捕捉到的真人動作行為的投影。
全文摘要
本發(fā)明涉及一種基于肢體動作學(xué)習(xí)方法的云服務(wù)系統(tǒng)，這種云服務(wù)系統(tǒng)是由顯示設(shè)備1、計(jì)算機(jī)2、體感傳感器3、用戶4、WIFI5、服務(wù)器6和云服務(wù)器7組成。計(jì)算機(jī)2通過WIFI5連接到云服務(wù)器7，獲得各種更新、應(yīng)用和升級。體感傳感器3采集用戶4的行為信息，經(jīng)過簡單的處理，傳輸?shù)接?jì)算機(jī)2上，計(jì)算機(jī)2對用戶4的形象進(jìn)行動作分析，識別出主要關(guān)節(jié)特征，然后與顯示設(shè)備1里面顯示出來的形象進(jìn)行綁定，使得用戶4無論如何運(yùn)動，虛擬形象也同樣如何運(yùn)動。用戶4驅(qū)動虛擬形象運(yùn)動之后，在虛擬場景里面完成一系列的任務(wù)，虛擬場景模擬了物理世界里的各種物理特征，并且將學(xué)習(xí)的知識點(diǎn)融入到情節(jié)之中，虛擬環(huán)境與學(xué)習(xí)內(nèi)容通過互聯(lián)網(wǎng)從云服務(wù)器7上獲取得到。
文檔編號H04L29/08GK102662472SQ20121010221
公開日2012年9月12日 申請日期2012年4月10日 優(yōu)先權(quán)日2012年4月10日
發(fā)明者蘇菲 申請人:蘇州中科啟慧軟件技術(shù)有限公司