一種教育玩具套件及其敲擊動作檢測方法與流程
本發明涉及計算機視覺檢測處理技術領域，特別涉及一種教育玩具套件及其敲擊動作檢測方法。
背景技術：
現在平板電腦上有許多有趣的幼教游戲應用程序或者兒童游戲，但往往只是讓小朋友在屏幕上指指畫畫，互動性欠缺，長時間看著屏幕容易對眼睛造成傷害；而當下一些互動性強的傳統性游戲玩具已經脫離了時代的發展，形式上無法滿足孩子學習、玩耍的需求，也不便于孩子和家長的互動溝通。
為了解決上述問題，計算機視覺與圖像處理技術領域成功地開發了一種教育玩具套件，包括：支架、頭盔探測器，底板，在平板電腦內安裝游戲程序，通過平板電腦的攝像頭采集放置于平面上的底板的圖像。上述的教育玩具套件雖然解決了平板電腦中游戲的互動性欠缺的問題，動手能力差，游戲模式單一。
因此，計算機視覺與圖像處理技術領域急需一種教育玩具套件及其數字的識別方法，開發了手鼓游戲，增強動手能力，能夠基于手鼓顏色差異，識別手鼓的面積信息，判斷出手鼓是否被敲擊的狀態，增強游戲的趣味性以及互動性。
技術實現要素：
本發明為了解決上述問題，提供了一種教育玩具套件及其敲擊動作檢測方法，技術方案如下：
一種教育玩具套件，包括：支架、頭盔探測器、底板和手鼓，并且支架安裝于底板上，手鼓放置于底板上，頭盔探測器安裝于支架上，底板上方設置有第一凹槽；支架底部具有凸起，凸起安裝在第一凹槽內，頂部具有第二凹槽和第三凹槽，第二凹槽用于放置平板電腦；頭盔探測器安裝于第三凹槽內；
頭盔探測器，還包括：本體、第四凹槽、2個扇形塊和凸面鏡，并且第四凹槽位于本體內，用于夾持不同型號的平板電腦，在第四凹槽夾持平板電腦屏幕的端點處設置有凸面鏡，凸面鏡的另一端安裝于頭盔探測器邊緣上，凸面鏡與水平面夾角成銳角，第四凹槽夾持平板電腦屏幕的端點高于平板電腦的攝像頭位置，2個扇形塊位于凸面鏡的2個邊緣上，用于固定凸面鏡和夾持平板電腦。
優選的，在上述的一種教育玩具套件中，還包括：定位孔，設置于第三凹槽側壁的縱向中心軸上。
優選的，在上述的一種教育玩具套件中，手鼓為2個。
優選的，在上述的一種教育玩具套件中，2個手鼓的顏色分別為紫色與青色。
一種教育玩具套件中敲擊動作檢測方法，包括如下步驟：
步驟一，在平板電腦中安裝游戲程序，再將底板放置于平面上，2個不同顏色的手鼓分別放置于底板表面的左、右兩側，平板電腦的底端安裝于第一凹槽內，通過第二凹槽將頭盔探測器安裝于平板電腦的頂端；
步驟二，固定安裝好后，通過平板電腦的前置攝像頭實時采集手鼓的彩色圖像，當手放置于手鼓上，未敲擊時，則前置攝像頭采集到一幅手鼓未被敲擊的圖像；當手放置于手鼓上進行敲擊時，則前置攝像頭采集到一幅手鼓處于敲擊狀態下的圖像；
將平板電腦前置攝像頭所獲取的彩色圖像定義為Ixy，Ixy＝f(x，y)；
其中，(x，y)表示圖像像素點的位置坐標，f(x，y)表示圖像的在(x，y)上的像素值；
由于攝像頭采集的圖像為彩色圖片，因此f(x，y)＝(Rxy，Gxy，Bxy)；
其中，Rxy表示圖像像素點在紅色通道的色彩值，Gxy表示圖像像素點在綠色通道的色彩值，Bxy表示圖像像素點在藍色通道的色彩值；
步驟三，對步驟二中前置攝像頭實時采集到的手鼓彩色圖像進行檢測，得出位于底板上左、右手鼓的敲擊狀態。
優選的，在上述的一種教育玩具套件中敲擊動作檢測方法中，步驟三的具體步驟為：
1)由于2個手鼓顏色不同，因此將步驟二中前置攝像頭實時采集到的手鼓彩色圖像分為左手鼓區域和右手鼓區域2個圖像，并且提取出手鼓輪廓信息；
2)通過提取出的手鼓輪廓信息，計算輪廓面積和中心點，并將輪廓面積與該中心點的面積閾值進行比較，得出左、右手鼓是否處于敲擊狀態。
優選的，在上述的一種教育玩具套件中敲擊動作檢測方法中，步驟1)的具體步驟為：
a)首先在平板電腦安裝的游戲程序中預先定義手鼓可玩區域，然后通過圖像分割方法將步驟二中前置攝像頭實時采集到的手鼓彩色圖像分為左手鼓區域和右手鼓區域2個感興趣區域圖像，左手鼓區域和右手鼓區域都處于預先定義的手鼓可玩區域內；
b)因為手鼓的顏色在RGB顏色空間內不利于分割開來，對光照變化也比較敏感，所以，將提取出來的感興趣區域圖像由RGB顏色空間轉換到側重于色彩表示的HSV顏色空間，具體轉換公式為：
V＝max｛C(R′)、C(G′)、C(B′)｝；
其中，H表示色調值，S表示飽和度值，V表示亮度值，max{C(R′)、C(G′)、C(B′)}表示在原始圖像中一個像素點在紅、綠、藍三個通道的像素最大值，min{C(R′)、C(G′)、C(B′)}表示在原始圖像中一個像素點在紅、綠、藍三個通道的像素最小值，并且H的取值范圍位于0-360之間；
c)在HSV顏色空間內，根據手鼓紫色、青色顏色在HSV空間內的先驗閾值，將彩色圖像進行二值化處理，具體公式如下：
在二進制圖像中B(x，y)＝B_H(x，y)&B_S(x，y)&B_V(x，y)，生成二進制圖像；
其中，B(x，y)表示圖像像素點(x，y)的二進制像素值，H(x，y)、S(x，y)、V(x，y)分別表示圖像像素點(x，y)在HSV顏色空間內的色調值、飽和度值、亮度值；B_H(x，y)、B_S(x，y)、B_V(x，y)分別表示圖像像素點(x，y)是否分別在指定的H、S、V區域內，如果是，則取值為1，否則，取值為0；Hmin、Hmin分別表示手鼓紫色或者青色在HSV顏色空間內色調的先驗最小和最大值；Smin、Smax分別表示手鼓紫色或者青色在HSV顏色空間內飽和度的先驗最小和最大值；Vmin、Vmax分別表示手鼓紫色或者青色在HSV顏色空間內亮度的先驗最小和最大值；
d)掃描二值化圖像，找出所有邊緣輪廓；
二值化圖像為灰度圖像，圖像的邊緣是指灰度圖像中灰度變化比較劇烈的部分，灰度值的變化程度采用相鄰像素間的梯度變化來定量表示，梯度是一階二維導數的二維等效式，具體計算過程為：
首先，計算相鄰像素的差分，具體公式為：
Gx＝f[i，j+1]-f[i，j]
Gy＝f[i，j]-f[i+1，j]
其中，Gx表示相鄰像素在x方向上的差分，Gy表示相鄰像素在y方向上的差分，f[i，j+1]表示圖像在第i行第j+1列的像素值，f[i，j]表示圖像在第i行第j列的像素值；f[i+1，j]表示圖像在第i+1行第j列的像素值，
進一步地，計算相鄰像素間的梯度，具體公式為：
其中，G(x，y)表示表示圖像的在(x，y)點上梯度值，表示像素值在x方向上求導，表示像素值在y方向上求導；
進一步地，計算邊緣點的梯度幅值，所有邊緣點的梯度幅值集合即為提取的邊緣輪廓；
進一步地，利用手鼓形狀、邊長比例、大小、角度和位置的先驗知識過濾掉不合理的輪廓，具體濾除條件如下：
假設矩形的寬為w，高為h，矩形與水平方向的順時針旋轉角為Q，中心點為A，則計算出邊緣輪廓的最小外包矩形，再根據如下規則判斷是否需要濾除手鼓輪廓；
①如果寬高比超過寬高比閾值范圍，則濾除該手鼓輪廓，優選的，寬高比閾值范圍設置為(0.05，20)；
②如果中心點A與矩形的4個角和4條邊非常接近，則濾除該手鼓輪廓；
③如果w與h的乘積超過乘積閾值范圍，則濾除該手鼓輪廓。
優選的，在上述的一種教育玩具套件中敲擊動作檢測方法中，步驟2)的具體步驟為：
e)通過步驟d)中提取出的手鼓輪廓信息，計算輪廓面積和中心點；
輪廓面積就是輪廓里面像素點的個數，中心點就是輪廓的質心；
假設一個面積為N的輪廓，則輪廓的質心坐標計算公式為：
其中，X表示中心點(x，y)的x坐標，mi表示i質點的質量，xi表示i質點的x坐標，如果i質點的質量與中心點的質量相等，則mi＝1；
上述公式則可寫為
同理，可得出中心點(x，y)的y坐標
Y表示中心點(x，y)的y坐標，yi表示i質點的y坐標，因此中心點(x，y)可以表示為
由最大面積輪廓的中心點(x，y)值根據以下公式估算出該處手鼓的實際面積：
其中，A表示手鼓的實際面積，Amax表示當手鼓放置在可玩區域距離平板電腦最近位置時的手鼓面積，Amin表示當手鼓放置在可玩區域距離平板電腦最遠位置時的手鼓面積。Ymax和Ymin分別表示當手鼓放置在可玩區域距離平板電腦最遠和最近處點的y坐標，Ymin≤y≤Ymax；
如果Abig<Amax×coff，則認為手鼓被敲擊了，否則認為手鼓沒有被敲擊，其中，Abig表示的手鼓被覆蓋后，經過二值化圖形處理，沒有被覆蓋掉的最大的區域的面積，coff表示一個可調節的參數，取值范圍為0～1之間，根據實驗，得出最優值為0.5。
本發明的有益效果：
1、本發明巧妙的將應用計算機視覺圖形識別技術與HSV顏色空間、二值化處理相結合使用，能夠判斷出手鼓的敲擊狀態，具有運算速度快，定位準確，將硬件與軟件技術很好地統一起來，游戲交互設計巧妙；美觀簡單，判斷更加快速，同時增強了趣味性和直觀性。
2、本發明檢測算法更加科學、成熟，將圖像的色彩空間轉換、輪廓檢測、形態學處理等算法相結合使用，能夠快速的判斷出手鼓的敲擊狀態。
3、本發明計算速度快；每次定位檢測耗時在10ms左右，為玩家提供流暢的使用體驗。
4、本發明性能穩定，在不同光照、對不同平板電腦安裝于教育玩具套件內的情況下，針對3千幅圖片進行了采集測試，誤識別率和漏檢率在0.2％以下。
附圖說明
下面結合附圖和具體實施方式來詳細說明本發明：
圖1是本發明一種教育玩具套件的結構示意圖。
圖2是本發明一種教育玩具套件的支架的后視圖。
圖3是本發明一種教育玩具套件的支架的立體圖。
圖4是本發明一種教育玩具套件的底板的結構示意圖。
圖5是本發明葡萄探索號教育玩具套件的頭盔探測器的結構示意圖。
圖6是本發明葡萄探索號教育玩具套件的應用示意圖。
圖7是本發明一種教育玩具套件中敲擊動作檢測方法的流程圖。
其中，圖1-7中的附圖標記與部件名稱之間的對應關系為：
支架1，凸起101，第二凹槽102，第三凹槽103，碟狀底架104，圓形頂架105，露空提手106，頭盔探測器2，本體201，第四凹槽202，2個扇形塊203，凸面鏡204，固定支點205，底板3，第一凹槽301，手鼓4。
具體實施方式
為了使本發明技術實現的措施、創作特征、達成目的與功效易于明白了解，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。
實施例1：
圖1是本發明一種教育玩具套件的結構示意圖。
圖2是本發明一種教育玩具套件的支架的后視圖。
圖3是本發明一種教育玩具套件的支架的立體圖。
圖4是本發明一種教育玩具套件的底板的結構示意圖。
圖5是本發明葡萄探索號教育玩具套件的頭盔探測器的結構示意圖。
圖6是本發明葡萄探索號教育玩具套件的應用示意圖。
如圖1-6所示，一種教育玩具套件中敲擊動作檢測方法，包括：支架1、頭盔探測器2、底板3和手鼓4，并且支架1安裝于底板3上，手鼓4放置于底板3上，頭盔探測器2安裝于支架1上；底板3上方設置有第一凹槽301；支架1，底部具有凸起101，凸起101安裝在第一凹槽301內，頂部具有第二凹槽102和第三凹槽103，第二凹槽102用于放置平板電腦；頭盔探測器2，安裝于第三凹槽103內；頭盔探測器2還包括：本體201、第四凹槽202、2個扇形塊203和凸面鏡204，并且第四凹槽202位于本體201內，用于夾持不同型號的平板電腦，在第四凹槽202夾持平板電腦屏幕的端點處設置有凸面鏡204，凸面鏡204的另一端安裝于頭盔探測器2邊緣上，凸面鏡204與水平面夾角成銳角，第四凹槽202夾持平板電腦屏幕的端點高于平板電腦的攝像頭位置，2個扇形塊203位于凸面鏡204的2個邊緣上，用于固定凸面鏡204和夾持平板電腦。
本實施例中，還包括：定位孔104，設置于第三凹槽103側壁的縱向中心軸上。
本實施例中，手鼓4為2個；優選的，2個手鼓4的顏色分別為紫色與青色。
圖7是本發明一種教育玩具套件中敲擊動作檢測方法的流程圖。
如圖7所示，一種教育玩具套件中敲擊動作檢測方法，包括如下步驟：
步驟一，在平板電腦中安裝游戲程序，再將底板放置于平面上，2個不同顏色的手鼓分別放置于底板表面的左、右兩側，平板電腦的底端安裝于第一凹槽內，通過第二凹槽將頭盔探測器安裝于平板電腦的頂端；
步驟二，固定安裝好后，通過平板電腦的前置攝像頭實時采集手鼓的彩色圖像，當手放置于手鼓上，未敲擊時，則前置攝像頭采集到一幅手鼓未被敲擊的圖像；當手放置于手鼓上進行敲擊時，則前置攝像頭采集到一幅手鼓處于敲擊狀態下的圖像；
將平板電腦前置攝像頭所獲取的彩色圖像定義為Ixy，Ixy＝f(x，y)；
其中，(x，y)表示圖像像素點的位置坐標，f(x，y)表示圖像的在(x，y)上的像素值；
由于攝像頭采集的圖像為彩色圖片，因此f(x，y)＝(Rxy，Gxy，Bxy)；
其中，Rxy表示圖像像素點在紅色通道的色彩值，Gxy表示圖像像素點在綠色通道的色彩值，Bxy表示圖像像素點在藍色通道的色彩值；
步驟三，對步驟二中前置攝像頭實時采集到的手鼓彩色圖像進行檢測，得出位于底板上左、右手鼓的敲擊狀態，具體步驟為：
1)由于2個手鼓顏色不同，因此將步驟二中前置攝像頭實時采集到的手鼓彩色圖像分為左手鼓區域和右手鼓區域2個圖像，并且提取出手鼓輪廓信息，具體步驟為：
a)首先在平板電腦安裝的游戲程序中預先定義手鼓可玩區域，然后通過圖像分割方法將步驟二中前置攝像頭實時采集到的手鼓彩色圖像分為左手鼓區域和右手鼓區域2個感興趣區域圖像，左手鼓區域和右手鼓區域都處于預先定義的手鼓可玩區域內；
b)因為手鼓的顏色在RGB顏色空間內不利于分割開來，對光照變化也比較敏感，所以，將提取出來的感興趣區域圖像由RGB顏色空間轉換到側重于色彩表示的HSV顏色空間，具體轉換公式為：
V＝max{C(R′)、C(G′)、C(B′)}；
其中，H表示色調值，S表示飽和度值，V表示亮度值，max{C(R′)、C(G′)、C(B′)}表示在原始圖像中一個像素點在紅、綠、藍三個通道的像素最大值，min{C(R′)、C(G′)、C(B′)}表示在原始圖像中一個像素點在紅、綠、藍三個通道的像素最小值，并且H的取值范圍位于0-360之間；
c)在HSV顏色空間內，根據手鼓紫色、青色顏色在HSV空間內的先驗閾值，將彩色圖像進行二值化處理，具體公式如下：
在二進制圖像中B(x，y)＝B_H(x，y)&B_S(x，y)&B_V(x，y)，生成二進制圖像；
其中，B(x，y)表示圖像像素點(x，y)的二進制像素值，H(x，y)、S(x，y)、V(x，y)分別表示圖像像素點(x，y)在HSV顏色空間內的色調值、飽和度值、亮度值；B_H(x，y)、B_S(x，y)、B_V(x，y)分別表示圖像像素點(x，y)是否分別在指定的H、S、V區域內，如果是，則取值為1，否則，取值為0；Hmin、Hmin分別表示手鼓紫色或者青色在HSV顏色空間內色調的先驗最小和最大值；Smin、Smax分別表示手鼓紫色或者青色在HSV顏色空間內飽和度的先驗最小和最大值；Vmin、Vmax分別表示手鼓紫色或者青色在HSV顏色空間內亮度的先驗最小和最大值；
d)掃描二值化圖像，找出所有邊緣輪廓；
二值化圖像為灰度圖像，圖像的邊緣是指灰度圖像中灰度變化比較劇烈的部分，灰度值的變化程度采用相鄰像素間的梯度變化來定量表示，梯度是一階二維導數的二維等效式，具體計算過程為：
首先，計算相鄰像素的差分，具體公式為：
Gx＝f[i，j+1]-f[i，j]
Gy＝f[i，j]-f[i+1，j]
其中，Gx表示相鄰像素在x方向上的差分，Gy表示相鄰像素在y方向上的差分，f[i，j+1]表示圖像在第i行第j+1列的像素值，f[i，j]表示圖像在第i行第j列的像素值；f[i+1，j]表示圖像在第i+1行第j列的像素值，
進一步地，計算相鄰像素間的梯度，具體公式為：
其中，G(x，y)表示表示圖像的在(x，y)點上梯度值，表示像素值在x方向上求導，表示像素值在y方向上求導；
進一步地，計算邊緣點的梯度幅值，所有邊緣點的梯度幅值集合即為提取的邊緣輪廓；
進一步地，利用手鼓形狀、邊長比例、大小、角度和位置的先驗知識過濾掉不合理的輪廓；
假設矩形的寬為w，高為h，矩形與水平方向的順時針旋轉角為Q，中心點為A，則計算出邊緣輪廓的最小外包矩形，再根據如下規則判斷是否需要濾除手鼓輪廓；
①如果寬高比超過寬高比閾值范圍，則濾除該手鼓輪廓，優選的，寬高比閾值范圍設置為(0.05，20)；
②如果中心點A與矩形的4個角和4條邊非常接近，則濾除該手鼓輪廓；
③如果w與h的乘積超過乘積閾值范圍，則濾除該手鼓輪廓；
2)通過提取出的手鼓輪廓信息，計算輪廓面積和中心點，并將輪廓面積與該中心點的面積閾值進行比較，得出左、右手鼓是否處于敲擊狀態，具體步驟為：
e)通過步驟d)中提取出的手鼓輪廓信息，計算輪廓面積和中心點；
輪廓面積就是輪廓里面像素點的個數，中心點就是輪廓的質心；
假設一個面積為N的輪廓，則輪廓的質心坐標計算公式為：
其中，X表示中心點(x，y)的x坐標，mi表示i質點的質量，xi表示i質點的x坐標，如果i質點的質量與中心點的質量相等，則mi＝1；
上述公式則可寫為
同理，可得出中心點(x，y)的y坐標
Y表示中心點(x，y)的y坐標，yi表示i質點的y坐標，因此中心點(x，y)可以表示為
由最大面積輪廓的中心點(x，y)值根據以下公式估算出該處手鼓的實際面積：
其中，A表示手鼓的實際面積，Amax表示當手鼓放置在可玩區域距離平板電腦最近位置時的手鼓面積，Amin表示當手鼓放置在可玩區域距離平板電腦最遠位置時的手鼓面積。Ymax和Ymin分別表示當手鼓放置在可玩區域距離平板電腦最遠和最近處點的y坐標，Ymin≤y≤Ymax；
如果Abig<Amax×coff，則認為手鼓被敲擊了，否則認為手鼓沒有被敲擊，其中，Abig表示的手鼓被覆蓋后，經過二值化圖形處理，沒有被覆蓋掉的最大的區域的面積，coff表示一個可調節的參數，取值范圍為0～1之間，根據實驗，得出最優值為0.5。
本發明巧妙的將應用計算機視覺圖形識別技術與HSV顏色空間、二值化處理相結合使用，能夠判斷出手鼓的敲擊狀態，具有運算速度快，定位準確，將硬件與軟件技術很好地統一起來，游戲交互設計巧妙；美觀簡單，判斷更加快速，同時增強了趣味性和直觀性。
本發明檢測算法更加科學、成熟，將圖像的色彩空間轉換、輪廓檢測、形態學處理等算法相結合使用，能夠快速的判斷出手鼓的敲擊狀態。
本發明計算速度快；每次定位檢測耗時在10ms左右，為玩家提供流暢的使用體驗。
本發明性能穩定，在不同光照、對不同平板電腦安裝于教育玩具套件內的情況下，針對3千幅圖片進行了采集測試，誤識別率和漏檢率在0.2％以下。
以上顯示和描述了本發明的基本原理、主要特征和本發明的優點。本行業的技術人員應該了解，本發明不受上述實施例的限制，上述實施例和說明書中描述的只是說明本發明的原理，在不脫離本發明精神和范圍的前提下本發明還會有各種變化和改進，這些變化和改進都落入要求保護的本發明范圍內。本發明要求保護范圍由所附的權利要求書及其等同物界定。
- 還沒有人留言評論。精彩留言會獲得點贊！