Ar增強現實教學系統的制作方法
【專利摘要】本發明涉及虛擬現實領域，具體涉及一種AR增強現實教學系統，包括設置有二維圖像的教材、用于識別教材中二維圖像并將二維圖像轉換為三維動畫并播放的用戶終端，所述用戶終端包括用于采集教材中二維圖像的圖像采集模塊、存儲有若干二維圖像和三維動畫的存儲模塊、用于識別圖像采集模塊采集到的二維圖像的識別模塊、用于根據識別模塊識別結果以播放存儲模塊中三維動畫圖像信息的播放模塊、用于播放三維動畫中音頻信息的聲音模塊、用于進行控制的控制模塊，所述控制模塊與圖像采集模塊、存儲模塊、識別模塊、播放模塊、聲音模塊電連接以進行控制。本發明識別精度高、識別效率高、能激發讀者興趣、提升閱讀效果。
【專利說明】
AR増強現實教學系統
技術領域
[0001 ]本發明涉及虛擬現實領域，特別是涉及一種AR增強現實教學系統。
【背景技術】
[0002] 傳統的教材，多為平面印刷的紙質書本，雖然色彩斑斕，但一方面，互動性較差，另 一方面，生產成本高，隨著電子技術的高速發展，出線了電子教材，電子教材，是指數字化、 交互功能的智能化將教材內容以科學直觀的視、音、圖、文展現出來的通過電子介質閱讀的 課本。電子課本多角度、多維度地呈現教材內容方便學生理解和掌握教材知識，為傳統教材 模式向網絡化教材轉變提供了良好范式。此外電子課本加入書簽、筆記和標注等功能，更好 的提尚了學生的積極性。
[0003] 但現有技術的電子教材仍然不能將教材中的環境真實的展現在學生面前，不能讓 學生感同身受，因此其互動性仍然有待提高，不能讓學生印象更加深刻。
[0004] 隨著虛擬現實技術的高速發展，誕生了 AR增強現實技術，它是一種實時地計算攝 影機影像的位置及角度并加上相應圖像、視頻、3D模型的技術，這種技術的目標是在屏幕上 把虛擬世界套在現實世界并進行互動，廣泛應用于教育行業。現有技術中，基于AR增強現實 的魔法書，對書中圖像識別度不高，導致設備反應時間長，且經常出現播放錯誤。
【發明內容】
[0005] 為解決上述問題，本發明提供一種識別精度高、識別效率高、能激發讀者興趣、提 升閱讀效果的AR增強現實教學系統。
[0006] 本發明所采用的技術方案是:AR增強現實的教學系統，包括設置有二維圖像的教 材、用于識別教材中二維圖像并將二維圖像轉換為三維動畫并播放的用戶終端，所述用戶 終端包括用于采集教材中二維圖像的圖像采集模塊、存儲有若干二維圖像和三維動畫的存 儲模塊、用于識別圖像采集模塊采集到的二維圖像的識別模塊、用于根據識別模塊識別結 果以播放存儲模塊中三維動畫圖像信息的播放模塊、用于播放三維動畫中音頻信息的聲音 模塊、用于進行控制的控制模塊，所述控制模塊與圖像采集模塊、存儲模塊、識別模塊、播 放模塊、聲音模塊電連接以進行控制。
[0007]對上述技術方案的進一步改進為，所述教材上的二維圖像中包括主體部分和背景 部分，所述主體部分為白色，所述背景部分為紅色或藍色或黃色中的一種或幾種，還包括用 于為教材上的二維圖像著色的色筆。
[0008]對上述技術方案的進一步改進為，所述色筆為彩色可擦筆。
[0009]對上述技術方案的進一步改進為，所述教材上二維圖像的主體部分線條寬度大于 背景部分線條寬度。
[0010]對上述技術方案的進一步改進為，所述識別模塊包括圖像檢測與定位單元、圖像 預處理單元、圖像特征提取單元和匹配識別單元;所述圖像特征提取單元提取的特征為全 局特征和局部特征中的一種或兩種。
[0011] 對上述技術方案的進一步改進為，所述用戶終端為手機或平板電腦，所述圖像采 集模塊為手機或平板電腦上的攝像頭，所述播放模塊為手機或平板電腦的顯示屏，所述聲 音模塊為手機或平板電腦的喇叭。
[0012] 本發明的有益效果為：
[0013] 1、一方面，本發明中，通過用戶終端采集教材上的二維圖像，將其轉換為三維動畫 并播放，實現二維圖像的三維化、動畫化，能更好的激發讀者的興趣，通過生動形象的動畫 加深讀者的印象，以提升閱讀效果。第二方面，圖像采集模塊采集教材中二維圖像信息，經 識別模塊識別并與存儲模塊中存儲的二維圖像進行匹配，根據匹配結果，在控制模塊控制 下，播放模塊和聲音模塊播放存儲模塊中對應該二維圖像的三維動畫圖像信息和音頻信 息，以形成帶聲音的動畫，智能化程度高，識別精度高，識別效率高，播放準確。
[0014] 2、教材上的二維圖像中包括主體部分和背景部分，所述主體部分為白色，所述背 景部分為紅色或藍色或黃色中的一種或幾種，還包括用于為教材上的二維圖像著色的色 筆。一方面，主體部分和背景部分色彩差異較大，便于識別模塊準確的識別二維圖像信息， 提高了本發明的識別精度，第二方面，讀者可根據自己的理解，通過色筆為二維圖像中的主 體部分著色，且著色過程會立刻體現在三維動畫中，進行實時渲染，以使得本發明更加形 象生動，同時通過讀者參與的方式激發讀者的興趣。
[0015] 3、色筆為彩色可擦筆，可重復著色并擦除，不同讀者可根據自己的理解，為主體部 分進行上色，提高了本發明的利用率。
[0016] 4、教材上二維圖像的主體部分線條寬度大于背景部分線條寬度，主體部分的線條 更突出，更便于識別模塊識別，進一步提高了本發明的識別精度和播放準確性。
[0017] 5、識別模塊包括圖像檢測與定位單元、圖像預處理單元、圖像特征提取單元和匹 配識別單元;所述圖像特征提取單元提取的特征為全局特征和局部特征中的一種或兩種。 首先，圖像檢測與定位單元對圖像采集模塊采集到的二維圖像進行檢測，將主體部分從背 景部分提取出來，檢測及定位主體部分的形狀、位置及尺寸等信息;然后，圖像預處理單元 對二維圖像進行預處理，主要是排除噪聲、光照條件、圖像采集角度等各種因素對采集的主 體部分的影響，使得主體部分對其他因素不敏感;然后，圖像特征提取單元通過全局特征和 局部特征相結合的方式提取主體部分的特征，識別精度高，如當主體部分為拿著蘿卜的兔子 時，整個拿著蘿卜的兔子為整體特征，描述主體部分的整體特性，得到的特征向量中每一維 都包含整個拿著蘿卜的兔子的信息，而對其中的兔子耳朵、眼睛、手、腳、蘿卜等為局部特征， 采用局部特征識別，當二維圖像中的一部分被遮擋時也能準確識別出該二維圖像，識別精 度高;再然后，通過匹配識別單元對圖像特征提取單元提取的全局特征或局部特征進行分 類或組合，以將該二維圖像與儲存模塊儲存的二維圖像相匹配。
[0018] 其中，全局特征提取為主成分分析，即將主體部分按行或列重新排列成一維向量， 然后將其視為一維離散信號進行后續處理。假設1=[^，1 2，一知]為主體部分的樣本集，其 中，xi(i = l，2,…η)表示樣本集中第i個樣本，W=[wi，w 2,…Wm]表示線性變換矩陣，其中， wj(j = 1，2，…m)表示第j個主成分，線性變換可表示為，.:其中，&為整個樣 本向量集的平均向量，yi是高維空間向量以線性變換后所對應的低維向量。主成分％是X的 協方差矩陣St對應的特征向量：
[0019]
[0020] 設A1，λ2，··~為矩陣St的特征值，且λι^：λ2^：…>λ Μ，則主成分矩陣中wj是特征值λ」 對應的特征向量，將這些特征向量轉為二維圖像的形式時仍然顯示為主體部分的輪廓。
[0021] 局部特征提取采用Gabor小波，在二維圖像中，釆取多個不同方向、不同尺度的的 濾波響應來描述二維圖像的局部紋理信息，識別精度高。
[0022] 二維Gabor小波定義為，
[0023]
[0024] 其中，（x，y)表示當前坐標，:：
Φν決定了濾波器的方向，而S和 k決定了高斯窗口的大小。
[0025] 6、用戶終端為手機或平板電腦，所述圖像采集模塊為手機或平板電腦上的攝像 頭，所述播放模塊為手機或平板電腦的顯示屏，所述聲音模塊為手機或平板電腦的喇叭，手 機或平板電腦體積較小，便于攜帶，且手機或平板電腦都設有攝像頭、顯示屏、喇叭等部件， 系統集成度高，進一步增加了本發明使用的便利性。
【附圖說明】
[0026] 圖1為本發明的結構不意圖；
[0027] 圖2為本發明的工作原理圖。
【具體實施方式】
[0028] 下面將結合附圖對本發明作進一步的說明。
[0029]如圖1和圖2所示，分別為本發明的結構示意圖和工作原理圖。
[0030] AR增強現實的教材110系統，包括設置有二維圖像的教材110、用于識別教材110中 二維圖像并將二維圖像轉換為三維動畫并播放的用戶終端120,所述用戶終端120包括用于 采集教材110中二維圖像的圖像采集模塊121、存儲有若干二維圖像和三維動畫的存儲模 塊122、用于識別圖像采集模塊121采集到的二維圖像的識別模塊123、用于根據識別模塊 123識別結果以播放存儲模塊122中三維動畫圖像信息的播放模塊124、用于播放三維動畫 中音頻信息的聲音模塊125、用于進行控制的控制模塊126,所述控制模塊126與圖像采集模 塊121、存儲模塊122、識別模塊123、播放模塊124、聲音模塊125電連接以進行控制。
[0031] 一方面，本發明中，通過用戶終端120采集教材110上的二維圖像，將其轉換為三維 動畫并播放，實現二維圖像的三維化、動畫化，能更好的激發讀者的興趣，通過生動形象的 動畫加深讀者的印象，以提升閱讀效果。第二方面，圖像采集模塊121采集教材110中二維圖 像信息，經識別模塊123識別并與存儲模塊122中存儲的二維圖像進行匹配，根據匹配結果， 在控制模塊126控制下，播放模塊124和聲音模塊125播放存儲模塊122中對應該二維圖像的 三維動畫圖像信息和音頻信息，以形成帶聲音的動畫，智能化程度高，識別精度高，識別效 率高，播放準確。
[0032]教材110上的二維圖像中包括主體部分111和背景部分112,所述主體部分111為白 色，所述背景部分112為紅色或藍色或黃色中的一種或幾種，還包括用于為教材110上的二 維圖像著色的色筆130。一方面，主體部分111和背景部分112色彩差異較大，便于識別模塊 123準確的識別二維圖像信息，提高了本發明的識別精度，第二方面，讀者可根據自己的理 解，通過色筆130為二維圖像中的主體部分111著色，且著色過程會立刻體現在三維動畫中， 進行實時渲染，以使得本發明更加形象生動，同時通過讀者參與的方式激發讀者的興趣。 [0033]色筆130為彩色可擦筆，可重復著色并擦除，不同讀者可根據自己的理解，為主體 部分111進行上色，提高了本發明的利用率。色筆130包括筆套、位于筆套一端的筆頭、設置 于筆套內部且連接于筆頭的筆芯，筆芯內灌有可擦除的油墨，且當筆芯內的油墨用完時，可 補充新的油墨，進一步提高了本發明的利用率。
[0034]教材110上二維圖像的主體部分111線條寬度大于背景部分112線條寬度，主體部 分111的線條更突出，更便于識別模塊123識別，進一步提高了本發明的識別精度和播放準 確性。
[0035] 識別模塊123包括圖像檢測與定位單元123a、圖像預處理單元123b、圖像特征提取 單元123c和匹配識別單元123d;所述圖像特征提取單元123c提取的特征為全局特征和局部 特征中的一種或兩種。首先，圖像檢測與定位單元123a對圖像采集模塊121采集到的二維圖 像進行檢測，將主體部分111從背景部分112提取出來，檢測及定位主體部分111的形狀、位 置及尺寸等信息；然后，圖像預處理單元123b對二維圖像進行預處理，主要是排除噪聲、光 照條件、圖像采集角度等各種因素對采集的主體部分111的影響，使得主體部分111對其他 因素不敏感;然后，圖像特征提取單元123c通過全局特征和局部特征相結合的方式提取主 體部分111的特征，識別精度高，如當主體部分111為拿著蘿卜的兔子時，整個拿著蘿卜的兔子 為整體特征，描述主體部分111的整體特性，得到的特征向量中每一維都包含整個拿著蘿卜 的兔子的信息，而對其中的兔子耳朵、眼睛、手、腳、蘿卜等為局部特征，采用局部特征識別， 當二維圖像中的一部分被遮擋時也能準確識別出該二維圖像，識別精度高;再然后，通過匹 配識別單元123d對圖像特征提取單元123c提取的全局特征或局部特征進行分類或組合，以 將該二維圖像與儲存模塊儲存的二維圖像相匹配。
[0036] 其中，全局特征提取為主成分分析，即將主體部分111按行或列重新排列成一維向 量，然后將其視為一維離散信號進行后續處理。假設1=[1 1，12，一心]為主體部分的樣本集， 其中，xi(i = l，2,…η)表示樣本集中第i個樣本，W= [Wiwn]表示線性變換矩陣，其中， Wj (j = 1，2，…m)表示第j個主成分，線性變換可表示為，?其中，$為整個樣 本向量集的平均向量，yi是高維空間向量以線性變換后所對應的低維向量。主成分％是X的 協方差矩陣St對應的特征向量：
[0037]
[0038] 設A1，λ2，一λΜ為矩陣St的特征值，且A1 >λ2彡…彡λΜ，則主成分矩陣中Wj是特征值λ」 對應的特征向量，將這些特征向量轉為二維圖像的形式時仍然顯示為主體部分111的輪 廓。
[0039]局部特征提取采用Gabor小波，在二維圖像中，釆取多個不同方向、不同尺度的的 濾波響應來描述二維圖像的局部紋理信息，識別精度高。
[0040] 二維Gabor小波定義為，
[0041]
[0042] 其中，（x，y)表示當前坐標 Φ N決定了濾波器的方向，而S和 k決定了高斯窗口的大小。
[0043] 用戶終端120為手機或平板電腦，所述圖像采集模塊121為手機或平板電腦上的攝 像頭，所述播放模塊124為手機或平板電腦的顯示屏，所述聲音模塊125為手機或平板電腦 的喇叭，手機或平板電腦體積較小，便于攜帶，且手機或平板電腦都設有攝像頭、顯示屏、喇 叭等部件，系統集成度高，進一步增加了本發明使用的便利性。
[0044] 本發明的工作原理為：
[0045] 首先，通過用戶終端120,手機或平板電腦上的攝像頭，采集教材110上的二維圖 像;然后，圖像檢測與定位單元123a對圖像采集模塊121采集到的二維圖像進行檢測，將主 體部分111從背景部分112提取出來，檢測及定位主體部分111的形狀、位置及尺寸等信息； 然后，圖像預處理單元123b對二維圖像進行預處理，主要是排除噪聲、光照條件、圖像采集 角度等各種因素對采集的主體部分111的影響，使得主體部分111對其他因素不敏感;然后， 圖像特征提取單元123c通過全局特征和局部特征相結合的方式提取主體部分111的特征， 識別精度高;再然后，通過匹配識別單元123d對圖像特征提取單元123c提取的全局特征或 局部特征進行分類或組合，以將該二維圖像與儲存模塊儲存的二維圖像相匹配;最后，根據 匹配結果，在控制模塊126控制下，播放模塊124和聲音模塊125播放存儲模塊122中對應該 二維圖像的三維動畫圖像信息和音頻信息，以形成帶聲音的動畫。
[0046] 以上所述實施例僅表達了本發明的幾種實施方式，其描述較為具體和詳細，但并 不能因此而理解為對本發明專利范圍的限制。應當指出的是，對于本領域的普通技術人員 來說，在不脫離本發明構思的前提下，還可以做出若干變形和改進，這些都屬于本發明的保 護范圍。因此，本發明專利的保護范圍應以所附權利要求為準。
【主權項】
1. AR增強現實教學系統，其特征在于:包括設置有二維圖像的教材、用于識別教材中二 維圖像并將二維圖像轉換為三維動畫并播放的用戶終端，所述用戶終端包括用于采集教材 中二維圖像的圖像采集模塊、存儲有若干二維圖像和三維動畫的存儲模塊、用于識別圖像 采集模塊采集到的二維圖像的識別模塊、用于根據識別模塊識別結果以播放存儲模塊中三 維動畫圖像信息的播放模塊、用于播放三維動畫中音頻信息的聲音模塊、用于進行控制的 控制模塊，所述控制模塊與圖像采集模塊、存儲模塊、識別模塊、播放模塊、聲音模塊電連接 以進行控制。2. 根據權利要求1所述的AR增強現實教學系統，其特征在于:所述教材上的二維圖像中 包括主體部分和背景部分，所述主體部分為白色，所述背景部分為紅色或藍色或黃色中的 一種或幾種，還包括用于為教材上的二維圖像著色的色筆。3. 根據權利要求2所述的AR增強現實教學系統，其特征在于:所述色筆為彩色可擦筆。4. 根據權利要求3所述的AR增強現實教學系統，其特征在于:所述教材上二維圖像的主 體部分線條寬度大于背景部分線條寬度。5. 根據權利要求4所述的AR增強現實教學系統，其特征在于:所述識別模塊包括圖像檢 測與定位單元、圖像預處理單元、圖像特征提取單元和匹配識別單元;所述圖像特征提取單 元提取的特征為全局特征和局部特征中的一種或兩種。6. 根據權利要求5所述的AR增強現實教學系統，其特征在于:所述用戶終端為手機或平 板電腦，所述圖像采集模塊為手機或平板電腦上的攝像頭，所述播放模塊為手機或平板電 腦的顯示屏，所述聲音模塊為手機或平板電腦的喇叭。
【文檔編號】H04N5/225GK106056992SQ201610575478
【公開日】2016年10月26日
【申請日】2016年7月20日
【發明人】彭學波, 彭學華, 莫朝余
【申請人】廣東沃賽科技有限公司