一種用于言語障礙康復訓練的多通道交互方法和系統的制作方法
【技術領域】
[0001]本發明屬于人機交互領域，具體涉及一種用于言語障礙康復訓練的多通道交互方法和系統。
【背景技術】
[0002]兒童言語障礙大致可以分為四類:構音障礙、口吃、發音障礙和聽力障礙，其主要的原因是先天的聽力缺失。兒童認知的過程分為動作感知、前運算、具體運算和形式運算四個階段。其中，前運算階段為2歲到7歲。此階段中，由于語言的出現和發展，兒童以符號為中介來描述外部世界，具有形象思維。而先天的聽力缺失，導致兒童錯過了學習語言的黃金時期，形成言語障礙。由此可看出，兒童言語障礙不僅對影響兒童的心理健康，還會對兒童的認知能力產生影響。
[0003]言語障礙的康復過程對于有著言語障礙的兒童來說是非常重要的。近年來，隨著計算機技術的發展，計算機已經逐漸應用到言語障礙的康復訓練中。目前常用的軟件是將視聽反饋結合，例如美國泰億格電子有限公司出品的Dr.Speech系列軟件，高等教育出版社出版的《妙語快車》聾兒康復訓練軟件等，其都是利用小游戲方式，給兒童設定一些任務(通常是發音任務)，一旦完成即有動畫反饋顯示在屏幕上，提高了兒童的學習興趣，并可以部分減少教師的工作量。
[0004]然而在傳統的言語障礙康復系統中，沒有涉及到實物交互的相關內容。實物是外部世界的符號，通過對實物的理解、觸摸、感知和操縱等方式，可以讓兒童自然地理解和學習實物的相關知識，直觀、真實。因此在聲音交互之外，實物交互也可加入到言語障礙康復系統中，其對言語障礙的康復和兒童的認知有著重要的作用。
【發明內容】
[0005]本發明針對上述問題，首先提出一種實物位置跟蹤顯示方法及系統，在此基礎上提出一種用于言語障礙康復訓練的多通道交互方法和系統，將實物交互和傳統的聲音交互以及視覺反饋結合起來，可以更加生動有效地進行言語障礙的康復訓練。
[0006]本發明采用的技術方案如下:
[0007]—種用于言語障礙康復訓練的實物位置跟蹤顯示方法，其步驟包括:
[0008]I)對備選實物進行三維建模，將得到的三維模型儲存在實物數據庫中；
[0009]2)用戶根據預先設定的訓練任務將指定實物移動至特定位置，同時采集用戶的實物操作場景圖像；
[0010]3)將采集的用戶對該實物的操作場景圖像轉換為三維點云，并將表示桌面背景的點和表示使用者皮膚的點去除；
[0011]4)根據實物數據庫中該實物的三維模型，采用計算機視覺的跟蹤算法對該實物的三維點云進行三維跟蹤，以確定該實物的三維位置；
[0012]5)根據該實物的三維位置，將實物數據庫中存儲的該實物的三維點云繪制在顯示設備中。
[0013]進一步地，步驟I)還采集所述備選實物的圖像特征，并儲存在實物數據庫中；步驟4)在進行所述三維跟蹤時，通過檢測實物的圖像特征對所跟蹤的實物進行識別。
[0014]進一步地，步驟4)在進行所述三維跟蹤時，若之前幀成功跟蹤，則直接使用上一幀實物的位置作為當前幀跟蹤的初始位置；若之前幀未成功跟蹤，則通過檢測實物的圖像特征提供一個粗略的初始位置，供三維跟蹤時使用。
[0015]進一步地，所述實物的圖像特征采用計算機視覺中的圖像特征表示方式，可以是SIFT特征、SURF特征等。
[0016]進一步地，步驟4)采用計算機視覺中的跟蹤算法進行所述三維跟蹤，如ICP(Iterative Closest Point,迭代最近點)算法等。
[0017]進一步地，步驟3)采用基于色彩空間的人體膚色模型去除皮膚點，并采用如下方法去除背景:預先拍攝一幅實物操作場景的三維點圖，稱為背景深度圖，將輸入圖像中的每個點與背景深度圖中的對應點的深度比較，如果兩者之差小于一定閾值，即認為此點為背景點，予以去除。
[0018]一種采用上述方法的實物位置跟蹤顯示裝置，其特征在于，包括:
[0019]三維建模單元，用于對備選實物進行三維建模，將得到的三維模型儲存在實物數據庫中；實物數據庫，連接所述三維建模單元，用于儲存實物的三維模型數據；
[0020]圖像采集單元，用于采集用戶的實物操作場景圖像；
[0021]實物交互處理單元，連接所述實物數據庫和圖像采集單元，用于提取用戶的實物操作場景圖像中的三維點云信息，并結合實物數據庫中的三維模型進行跟蹤，獲得實物的三維位置；
[0022]顯示單元，連接所述實物交互處理單元，用于繪制實物的三維點云，顯示實物的三維位置。
[0023]在上述實物位置跟蹤顯示方案的基礎上，本發明提出一種用于言語障礙康復交互訓練的多通道交互方法和系統，具體說明如下:
[0024]一種用于言語障礙康復訓練的多通道交互方法，其步驟為:
[0025]I)選取一些實物供康復訓練使用，對其進行預處理操作，對所選實物進行三維建模并將三維模型等相關信息儲存在實物數據庫中；
[0026]2)設定訓練任務場景，根據訓練內容在其聲音場景中設置聲源，并建立圖像場旦牙、;
[0027]3)用戶根據預先設定好的訓練任務場景，將指定實物按照任務要求移動或擺放在特定位置，并根據任務要求進行聲音交互訓練；
[0028]4)拍攝其實物操作場景，同時采集用戶發出的聲音；
[0029]5)系統程序對拍攝的圖像進行處理，確定實物的位置，根據其位置，結合實物數據庫將其繪制在顯示設備上；并根據其位置，結合語音輸入內容，判斷是否符合訓練任務要求，并在顯示器上給予相應的反饋；如果符合，反饋正確的信息；如果不符合，反饋相應的錯誤提不;
[0030]6)重復步驟3) _5)，對連續的輸入進行處理，直至完成訓練任務。
[0031]進一步地，所述實物應結合兒童言語障礙康復訓練，使用幫助兒童認知的小動物或日常物品。大小以適合兒童單手抓握為宜。
[0032]進一步地，步驟I)所述對實物進行三維建模，可采用三維掃描儀或三維重建等方式。此建模結果儲存在程序的實物數據庫中，供交互過程中跟蹤和顯示使用。
[0033]進一步的，步驟2)所述訓練任務場景包含一次訓練的完整過程。此過程要求使用者將發音和操作實物相結合，完成一組訓練。所述訓練任務場景，每個訓練任務在系統中包含以下三個場景:聲音場景、圖像場景、實物操作場景。其中聲音場景和圖像場景為每個訓練任務單獨設定，實物操作場景即為桌面。三個場景相互對應相互映射，從每個場景均能映射到另外任意一個場景中。
[0034]進一步的，步驟5)所述系統程序包括:實物交互處理部分、聲音交互處理部分、交互判斷部分、顯示部分以及實物數據庫。其中，實物交互處理部分采用計算機視覺的算法提取圖像中的實物點云信息，并結合實物數據庫進行三維跟蹤，獲得實物的位置；聲音交互處理部分將用戶輸入的語音進行語音識別，另一方面在構建場景時在場景中添加聲源。交互判斷部分根據實物點云判定實物種類、根據實物位置判斷是否觸發聲源和學習任務、以及根據語音識別結果判定是否完成學習任務。顯示部