專利名稱：語音和手寫識別語言教學方法
技術領域：
本發明涉及一種語音和手寫識別語言教學方法，采用計算機語音和手寫文字識別技術，在語言教學中實現單人或多人的“人—人”、“人—機”對話和比賽，屬計算機識別技術領域。
在現有的計算機各種語言教學裝置中，通常采用錄音技術或語音頻譜圖形顯示技術，讓學習者自我監定發音的正誤，因此使學習效果帶有很大的隨意性。現有技術采用鍵盤或鼠標輸入拼寫信息，無法訓練學習者的手寫能力，尤其使非拼音文字(如中文)的教學受到很大限制。現有技術也沒有實現單機雙人和多機聯網條件下的語音和手寫輸入教學，從而不能在更大程度上增強語言教學的交互性和競爭性。這些不足，限制了計算機語言教學效率的進一步提高。
本發明的目的是設計一種語音和手寫識別語言教學方法，采用各種計算機語音和手寫文字識別技術，進行計算機軟件編程，在語言教學中實現特定人、非特定人語音識別和手寫識別，獲得多人在一個微機教學系統中進行語音手寫對話和比賽，從而顯著改善學習者的語言學習環境，實現高自然化、高重復率、高交互性、高競爭性的教學方法，大大提高語言學習的效率。
本發明設計的語音和手寫識別語言教學方法，由下列各步驟組成(1)教學模塊向學習者出題；(2)識別模塊對學習者的以語音、拼寫、手寫文字形式作出的回答進行判斷；(3)教學模塊對識別模塊的裁判結果記分，并將此結果告知學習者，并通過組織模塊將結果傳遞給微機扮演的比賽對手或其他學習者；(4)組織模塊將機器或其他學習者的答案信息反饋給教學模塊和學習者，學習者根據機器的反饋信息，確定重復練習還是進入新的學習內容。
本發明設計的語音和手寫識別語言教學方法，將現有的特定人、非特定人語音識別和手寫文字識別用于語言教學由不可能變為可能；計算機軟件人員可依據本發明提出的方法進行編程，將現有的微機輔助語言教學系統由聽、拼、讀三種功能擴展為聽、說、拼、讀、寫五種功能，并可無限擴充詞匯；將單機單人教學變為單機雙人、多機多人聯網教學，從而顯著提高語言教學的效率，將語言學習周期由5～8年縮短到1年內。例如現有英語學習需經中學四年、大學四年才能達到英語四級水平；而采用本發明的教學系統一年以內即可達到同等水平，其中口語熟練程度則可接近母語水平。
圖1是本發明設計的語言教學方法流程框圖。
圖2、圖3、圖4是本教學方法中用以進行識別的三種不同方法流程框圖。
圖5和圖6是本教學方法中用以進行教學的兩種不同方法流程框圖。
圖7、圖8、圖9是本教學方法中用以進行組織的三種不同方法流程框圖。
下面結合附圖詳細介紹本發明的內容。本發明由識別模塊、教學模塊、組織模塊三部分構成，圖1表示由三個模塊根據本發明的方法進行語言教學的流程。其中的識別模塊和教學模塊可采用帶讀采樣法、參考樣本法、標準樣本法等三種方法中的任何一種來實現。教學模塊可采用固定程序問答法、隨機情景問答法兩種方法中的任何一種來實現。組織模塊可采用單機雙人對話與比賽法、多機聯網對話法、多機聯網比賽法三種方法中的任何一種來實現。
圖2是識別模塊和教學模塊中采用帶讀采樣法實現的識別與教學過程，由下列各步驟組成第一步語音帶讀和跟讀，由計算機發出帶讀標準音，學習者跟讀；第二步語音采樣，由計算機通過麥克風和聲音卡將學習者的語音特點記錄下來，并同時對語音進行分析；第三步計算機從學習者的語音數據中提取特征數據，建立該學習者的語音樣本庫；第四步計算機向學習者出題；第五步學習者輸入語音答案；第六步計算機將學習者的語音答案發音特征與已經建立的該學習者語音樣本庫進行比對，通過比對，計算機對學習者的發音正確與否進行判斷；第七步學習者用鍵盤或鼠標輸入拼寫答案或用手寫識別板輸入手寫文字答案；第八步正誤轉向，如果學習者答案正確，轉向第九步；否則轉向第十一步；第九步通過顯示器用圖形、動畫、文字或通過音箱、耳機用語音輸出答案正確信息，并給學習者記分；第十步對該段落學習是否已結束作出判斷；第十一步提示答案出錯，轉向第四步繼續出題，或轉向第一步重新帶讀和跟讀；圖3是采用參考樣本法實現的識別與教學流程，包括以下各步驟第一步計算機預先建立發音規范的語音樣本庫，作為初步判斷學習者發音正確與否的參考樣本；第二步語音帶讀和跟讀，由計算機發出帶讀標準音，學習者跟讀；第三步語音采樣，由計算機通過麥克風和聲音卡將學習者的語音特點記錄下來，并同時對語音進行分析；第四步識別發音是否正確，計算機將第三步獲得的學習者跟讀發音采樣，與第一步建立的語音參考樣本進行比對，當相差小于允許閾值時，視為正確；相差大于允許閾值時，視為錯誤；第五步判斷轉向，當計算機將學習者的跟讀發音采樣判為錯誤時，轉向第二步，重新帶讀和跟讀；當判為正確時，轉向第六步；第六步建立學習者語音樣本庫，用作判斷以后學習者發音正誤的標準樣本；第七步計算機向學習者出題；第八步學習者輸入語音答案；
第九步計算機將學習者語音答案發音特征與第六步建立的學習者語音樣本進行比對，對學習者的發音正確與否進行邏輯判斷；第十步學習者用鍵盤、鼠標輸入拼寫答案或用手寫識別板輸入手寫文字答案；第十一步正誤轉向，如果學習者答案正確，轉向第十二步；否則轉向第十三步；第十二步通過顯示器用圖形、動畫、文字或通過音箱或耳機用語音輸出答案正確信息，并給學習者記分；第十三步通過顯示器、音箱或耳機輸出答案出錯信息，轉向第七步繼續出題，或轉向第二步重新帶讀和跟讀，以便糾正學習者的錯誤；第十四步對該段落學習是否已結束作出判斷，如果結束，則轉入下一輪帶讀和跟讀；如果沒有結束，則由計算機在第七步出題，進行新一輪出題和回答。
圖4是采用標準樣本法實現的語音識別與教學流程，包括以下各步驟第一步建立語音標準樣本庫；第二步計算機向學習者出題；第三步學習者輸入語音答案；第四步計算機將學習者的語音發音特征與第一步建立的語音標準樣本庫進行比對，并對學習者的發音正確與否進行判斷；第五步學習者用鍵盤、鼠標輸入拼寫答案或用手寫識別板輸入手寫文字答案；第六步正誤轉向，如果學習者答案正確，轉向第七步；否則轉向第八步；第七步通過顯示器用圖形、動畫、文字或通過音箱或耳機用語音輸出答案正確信息，并給學習者記分；第八步通過顯示器、音箱或耳機輸出答案出錯信息，轉向第二步繼續出題，或轉向第九步帶讀和跟讀，以便糾正學習者的錯誤；第九步計算機進行語音帶讀，學習者跟讀。
圖5是本發明的教學模塊中采用固定程序問答法實現的教學流程，包括以下各步驟第一步計算機依照一個固定的程序，用語音、圖片、動畫或文字提問；第二步學習者輸入語音答案；第三步語音答案正誤判斷；第四步學習者用鍵盤、鼠標輸入拼寫答案或用手寫識別板輸入手寫文字答案；第五步正誤轉向，如果學習者答案正確，轉向第六步；否則轉向第十步；第六步超時判斷，計算機對答案輸入時間是否在限定時間內進行判斷；第七步超時轉向，如果答案超時，轉向第八步；否則轉向第九步；第八步提示超時，通過顯示器或音箱、耳機輸出答案超時信息，并轉入第一步重新提問或進行下一輪提問；第九步提示正確并記分，通過顯示器或音箱、耳機輸出答案正確信息，給學習者記分，并轉入第一步重新提問或進行下一輪提問；
第十步提示答案錯誤，并轉入第一步重新提問或進行下一輪提問。
圖6是采用隨機情景問答法實現的教學流程，包括以下各步驟第一步情景A出現，計算機用圖片、動畫、語音或文字表現出第一個對話情景；第二步學習者輸入語音、拼寫或手寫答案；第三步答案正誤判斷；第四步正誤轉向，如答案正確，轉向第五步；否則轉向第九步；第五步超時判斷，計算機對答案輸入時間是否在限定時間內進行判斷；第六步超時轉向，如果答案超時，轉向第七步；否則轉向第十步；第七步情景B出現；第八步將情景B賦值為B+1，即依順序變為B的下一個情景；第九步將情景A賦值為A+1，即依順序變為A的下一個情景；第十步情景C出現；第十一步將情景C賦值為C+1，即依順序變為C的下一個情景。
圖7是本發明的組織模塊中，采用單機雙人對話與比賽法實現的組織流程，包括以下各步驟第一步計算機出題；第二步A、B兩位學習者分別輸入語音、拼寫或手寫答案；第三步判斷出A、B兩個答案輸入的先后次序；第四步先后轉向，若A先，轉向第五步；否則轉向第八步；第五步判斷A答案正確與否；第六步正誤轉向，如A答案正確，轉向第七步；否則轉向第八步；第七步計算機通過顯示器或音箱、耳機輸出A學習者答案正確的信息，并給A學習者記分，并轉入下一輪出題；第八步判斷B答案正確與否；第九步正誤轉向，如B答案正確，轉向第十步；否則轉向第一步，并轉入下一輪出題；第十步計算機通過顯示器或音箱、耳機輸出B學習者答案正確的信息，并給B學習者記分，并轉入下一輪出題。
圖8是采用多機聯網對話法實現的組織流程，包括以下各步驟第一步本機學習者輸入語音、拼寫或手寫答案信息；第二步計算機判斷該答案是否正確；第三步正誤轉向，如學習者輸入答案正確，轉向第四步；否則轉向第九步；第四步顯示本機學習者扮演的角色劇情并播出相應聲音；第五步外地學習者輸入答案，這些答案均已經過各自計算機判斷，正確者方準入，否則重新輸入，因此在網絡上傳輸的都是正確答案信息；第六步由本機程序對外地學習者進行角色判斷和區分；
第七步依據本機和外地學習者輸入的正確答案信息，激活預先編排好的劇情，使其故事發展，以顯示器顯示圖形、動畫并以音箱、耳機播出聲音；第八步將本機學習者輸入的正確答案信息向外地學習者發出；第九步提示本機學習者輸入答案出錯。
圖9是采用多機聯網比賽法實現的組織流程。這是多機聯網裝置上獲得兩人以上比賽的方法，包括以下各步驟第一步本機學習者輸入語音、拼寫或手寫答案信息；第二步計算機判斷該答案是否正確；第三步正誤轉向，如學習者輸入答案正確，轉向第五步和第八步；否則轉向第十步；第四步外地學習者輸入答案，這些答案均已經過各自計算機判斷，正確者方準入，否則重新輸入，因此在網絡上傳輸的都是正確答案信息；第五步判斷各學習者誰先輸入了正確答案，并依其先后進行排序；第六步先后轉向，如本機學習者答案在先，轉向第七步；否則轉向第九步；第七步計算機通過顯示器、音箱或耳機輸出本機學習者的成績并記分；第八步在判斷本機學習者輸入的答案正確之后，向外地教學裝置發出信息，其中包括本機學習者輸入答案的編號和時間；第九步顯示外地先輸入正確答案的學習者的成績；第十步向本機學習者提示答案出錯。
下面是本發明英語教學的應用實例微機顯示器上出現一個蘋果的圖形，音箱或耳機播放出一句英語問話“What isthis？”學習者看到、聽到后，對麥克風說“It’s an apple.”微機對此語音識別后如認為正確，即從音箱或耳機中播出回答“Right！”如認為不正確，則回答“You’ve got it wrong.”若教學模塊對上述答案判為正確，顯示器上出現“5分”字樣，并將此信息通過組織模塊傳給微機扮演的比賽對手或網絡上的其他學習者。
若在此前微機扮演的比賽對手或其他學習者已說出正確答案，則音箱或耳機中播出獲勝者的分數和歡呼聲。
下面是本發明中文教學的應用實例微機顯示器上出現一幅中國地圖，音箱或耳機播放出一句漢語“請寫出‘中國’兩個字”學習者看到、聽到后，用手寫文字識別板寫出“中國”二字，顯示器上同時顯示出學習者的筆跡。
微機對此筆跡識別后如認為正確，即從音箱或耳機中播出一句漢語聲音“你寫得很好。”如認為不正確，則回答“你寫得不對，請看我的示范。”
教學模塊對判為正確的結果，顯示器上出現“你獲得5分”字樣，并通過組織模塊告知微機扮演的比賽對手或網絡上的其他學習者。
若在此前微機扮演的比賽對手或其他學習者已搶先寫出正確答案，則音箱或耳機中播出聲音“你沒我寫得快。你看，5分被我得了！”顯示器上同時顯示這句話，并另外記分。
當學習者擴充教學內容時，可向識別模塊和教學模塊中自行增加新的詞匯、語句、語音、文字和文本，通過計算機硬盤存儲空間的擴大，這種擴充可以是無限的。
權利要求
1.一種語音和手寫識別語言教學方法，其特征在于該方法由下列各步驟組成(1)教學模塊向學習者出題；(2)識別模塊對學習者的以語音、拼寫、手寫文字形式作出的回答進行判斷；(3)教學模塊對識別模塊的裁判結果記分，并將此結果告知學習者，并通過組織模塊將結果傳遞給微機扮演的比賽對手或其他學習者；(4)組織模塊將機器或其他學習者的應答信息反饋給教學模塊和學習者。
2.如權利要求1所述的教學方法，其特征在于其中所述的識別模塊的識別過程包括以下各步驟第一步語音帶讀和跟讀，由計算機發出帶讀標準音，學習者跟讀；第二步語音采樣，由計算機通過麥克風和聲音卡將學習者的語音特點記錄下來，并同時對語音進行分析；第三步計算機從學習者的語音數據中提取特征數據，建立該學習者的語音樣本庫；第四步計算機向學習者出題；第五步學習者輸入語音答案；第六步計算機將學習者的語音答案發音特征與已經建立的該學習者語音樣庫進行比對；第七步學習者用鍵盤或鼠標輸入拼寫答案或用手寫識別板輸入手寫文字答案；第八步正誤轉向，如果學習者答案正確，轉向第九步；否則轉向第十一步；第九步通過顯示器用圖形、動畫、文字或通過音箱、耳機用語音輸出答案正確信息，并給學習者記分；第十步對該段落學習是否已結束作出判斷；第十一步即提示答案出錯，轉向第四步繼續出題，或轉向第一步重新帶讀和跟讀。
3.如權利要求1所述的教學方法，其特征在于其中所述的識別模塊的識別過程包括以下各步驟第一步計算機預先建立發音規范的語音樣本庫，作為初步判斷學習者發音正確與否的參考樣本；第二步語音帶讀和跟讀，由計算機發出帶讀標準音，學習者跟讀；第三步語音采樣，由計算機通過麥克風和聲音卡將學習者的語音特點記錄下來，并同時對語音進行分析；第四步識別發音是否正確，計算機將第三步獲得的學習者跟讀發音采樣，與第一步建立的語音參考樣本進行比對，當相差小于允許閾值時，視為正確；相差大于允許閾值時，視為錯誤；第五步判斷轉向，當計算機將學習者的跟讀發音采樣判為錯誤時，轉向第二步，重新帶讀和跟讀；當判為正確時，轉向第六步；第六步建立學習者語音樣本庫，用作判斷以后學習者發音正誤的標準樣本；第七步計算機向學習者出題；第八步學習者輸入語音答案；第九步計算機將學習者語音答案發音特征與第六步建立的學習者語音樣本進行比對，對學習者的發音正確與否進行邏輯判斷；第十步學習者輸入拼寫或手寫文字答案；第十一步正誤轉向，如果學習者答案正確，轉向第十二步；否則轉向第十三步；第十二步輸出答案正確信息，并給學習者記分；第十三步輸出答案出錯信息，轉向第七步繼續出題，或轉向第二步重新帶讀和跟讀，以便糾正學習者的錯誤；第十四步對該段落學習是否已結束作出判斷，如果結束，則轉入下一輪帶讀和跟讀；如果沒有結束，則由計算機在第七步出題，進行新一輪出題和回答。
4.如權利要求1所述的教學方法，其特征在于其中所述的識別模塊的識別過程包括以下各步驟第一步建立語音標準樣本庫；第二步計算機向學習者出題；第三步學習者輸入語音答案；第四步計算機將學習者的語音發音特征與第一步建立的語音標準樣本庫進行比對，對學習者的發音正確與否進行判斷；第五步學習者輸入拼寫或手寫文字答案；第六步正誤轉向，如果學習者答案正確，轉向第七步；否則轉向第八步；第七步輸出答案正確信息，并給學習者記分；第八步輸出答案出錯信息，轉向第二步繼續出題，或轉向第九步帶讀和跟讀，以便糾正學習者的錯誤；第九步計算機進行語音帶讀，學習者跟讀。
5.如權利要求1所述的語言教學方法，其特征在于其中所述的教學模塊的教學過程包括以下各步驟第一步計算機依照一個固定的程序，用語音、圖片、動畫或文字提問；第二步學習者輸入語音答案；第三步；語音正誤判斷；第四步學習者輸入拼寫或手寫文字答案；第五步正誤轉向，如果學習者答案正確，轉向第六步；否則轉向第十步；第六步超時判斷，計算機對答案輸入時間是否在限定時間內進行判斷；第七步超時轉向，如果答案超時，轉向第八步；否則轉向第九步；第八步提示超時，輸出答案超時信息，并轉入第一步重新提問或進行下一輪提問；第九步提示正確并記分，通過顯示器或音箱、耳機輸出答案正確信息，給學習者記分，并轉入第一步重新提問或進行下一輪提問；第十步提示答案錯誤，并轉入第一步重新提問或進行下一輪提問。
6.如權利要求1所述的語言教學方法，其特征在于其中所述的教學模塊的教學過程包括以下各步驟第一步情景A出現，計算機用圖片、動畫、語音或文字表現出第一個對話情景；第二步學習者輸入語音、拼寫或手寫答案；第三步答案正誤判斷；第四步正誤轉向，如答案正確，轉向第五步；否則轉向第九步；第五步超時判斷，計算機對答案輸入時間是否在限定時間內進行判斷；第六步超時轉向，如果答案超時，轉向第七步；否則轉向第十步；第七步情景B出現；第八步將情景B賦值為B+1，即依順序變為B的下一個情景；第九步將情景A賦值為A+1，即依順序變為A的下一個情景；第十步情景C出現；第十一步將情景C賦值為C+1，即依順序變為C的下一個情景。
7.如權利要求1所述的語言教學方法，其特征在于其中所述的組織模塊的組織過程包括以下各步驟第一步計算機出題；第二步A、B兩位學習者分別輸入語音、拼寫或手寫答案；第三步判斷出A、B兩個答案輸入的先后次序；第四步先后轉向，若A先，轉向第五步；否則轉向第八步；第五步判斷A答案正確與否；第六步正誤轉向，如A答案正確，轉向第七步；否則轉向第八步；第七步輸出A學習者答案正確的信息，并給A學習者記分，并轉入下一輪出題；第八步判斷B答案正確與否；第九步正誤轉向，如B答案正確，轉向第十步；否則轉向第一步，并轉入下一輪出題；第十步計算機輸出B學習者回答正確的信息，并給B學習者記分，并轉入下一輪出題。
8.如權利要求1所述的語言教學方法，其特征在于其中所述的組織模塊的組織過程包括以下各步驟第一步本機學習者輸入語音、拼寫或手寫答案；第二步計算機判斷該答案是否正確；第三步正誤轉向，如學習者輸入答案正確，轉向第四步；否則轉向第九步；第四步顯示本機學習者扮演的角色劇情并播出相應聲音；第五步外地學習者輸入答案；第六步對外地學習者進行角色判斷和區分；第七步依據本機和外地學習者輸入的正確答案信息，激活預先編排好的劇情，使其故事發展；第八步將本機學習者輸入的正確答案信息向外地學習者發出；第九步提示本機學習者輸入答案出錯。
9.如權利要求1所述的語言教學方法，其特征在于其中所述的組織模塊的組織過程包括以下各步驟第一步本機學習者輸入語音、拼寫或手寫答案信息；第二步計算機判斷答案是否正確；第三步正誤轉向，如學習者輸入正確，轉向第五步和第八步；否則轉向第十步；第四步外地學習者輸入答案；第五步判斷各學習者誰先輸入了正確答案，并依其先后進行排序；第六步先后轉向，如本機學習者答案在先，轉向第七步；否則轉向第九步；第七步計算機通過顯示器或音箱或耳機輸出本機學習者的成績并記分；第八步在判斷本機學習者輸入的正確答案之后，向外地教學裝置發出信息；第九步顯示外地先輸入正確答案的學習者的成績；第十步向本機學習者提示答案出錯。
全文摘要
本發明涉及一種語音和手寫識別語言教學方法,該方法的步驟為:教學模塊向學習者出題,然后識別模塊對學習者以語言、拼寫或手寫文字作出的回答進行裁判,然后教學模塊對識別模塊的裁判結果記分,并將此結果告知學習者,同時通過組織模塊傳遞給比賽對手,最后由組織模塊將傳回的比賽對手的應答信息反饋給教學模塊和學習者。本學習方法顯著改善學習者的語言學習環境,實現語言學習的高自然化、高重復率、高交互性和高競爭性,提高教學效率。
文檔編號G09B7/04GK1182252SQ97120279
公開日1998年5月20日 申請日期1997年11月12日 優先權日1997年11月12日
發明者楊南征 申請人:楊南征