專利名稱：一種電話連續(xù)語音識(shí)別系統(tǒng)性能的評(píng)測(cè)方法及其系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對(duì)電話連續(xù)語音識(shí)別系統(tǒng)性能進(jìn)行評(píng)測(cè)的方法及系統(tǒng)。
背景技術(shù)：
電話連續(xù)語音識(shí)別是指用計(jì)算機(jī)來識(shí)別經(jīng)電話通道傳來的人的連續(xù)語音，將其轉(zhuǎn)化為相應(yīng)的文本信息。與PC上的聽寫機(jī)式連續(xù)語音識(shí)別系統(tǒng)不同的是，電話連續(xù)語音識(shí)別系統(tǒng)并非用于文本錄入，而是多用于智能電話查詢系統(tǒng)和語音服務(wù)器等，其目的在于根據(jù)連續(xù)語音的語義給出相應(yīng)的回答或做出相應(yīng)的動(dòng)作。
電話連續(xù)語音識(shí)別系統(tǒng)的性能評(píng)測(cè)，是指設(shè)計(jì)測(cè)試數(shù)據(jù)，以測(cè)試數(shù)據(jù)為輸入運(yùn)行被測(cè)系統(tǒng)，根據(jù)系統(tǒng)的輸出結(jié)果計(jì)算事先設(shè)計(jì)的評(píng)測(cè)指標(biāo)，以此來評(píng)價(jià)一個(gè)電話連續(xù)語音識(shí)別系統(tǒng)的性能。目前常見的評(píng)測(cè)方法是仿照PC上的連續(xù)語音識(shí)別系統(tǒng)的評(píng)測(cè)方法，測(cè)試數(shù)據(jù)為連續(xù)語音，輸出結(jié)果為該連續(xù)語音對(duì)應(yīng)的文本，評(píng)測(cè)指標(biāo)為文字識(shí)別的錯(cuò)誤率或正確率。
但是，如上所說，大多數(shù)電話連續(xù)語音識(shí)別系統(tǒng)并非用于文字錄入，而是更多地用于理解語義并做出相應(yīng)動(dòng)作，所以，單純從文字識(shí)別的正確率角度并不能真正衡量一個(gè)電話連續(xù)語音識(shí)別系統(tǒng)的性能。目前，還沒有一種評(píng)測(cè)方法及系統(tǒng)能夠針對(duì)電話語音識(shí)別系統(tǒng)的應(yīng)用特點(diǎn)，從語義角度設(shè)計(jì)評(píng)測(cè)語料和評(píng)測(cè)指標(biāo)，客觀、準(zhǔn)確地評(píng)價(jià)系統(tǒng)性能。
發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題是提供一種電話連續(xù)語音識(shí)別系統(tǒng)性能的評(píng)測(cè)方法，可以針對(duì)電話連續(xù)語音識(shí)別系統(tǒng)的應(yīng)用特點(diǎn)，客觀、準(zhǔn)確地評(píng)價(jià)電話連續(xù)語音識(shí)別系統(tǒng)的性能。本發(fā)明還要提供一種實(shí)現(xiàn)該方法的系統(tǒng)。
為了解決上述技術(shù)問題，本發(fā)明提供了一種電話連續(xù)語音識(shí)別系統(tǒng)性能的評(píng)測(cè)方法，包括以下步驟(a)對(duì)電話查詢的若干領(lǐng)域，為每一領(lǐng)域制定一套語法，每個(gè)領(lǐng)域中，根據(jù)語法定義若干可以單獨(dú)表達(dá)一定語義的槽；(b)在各個(gè)領(lǐng)域按其語法展開，從生成的句子中選擇出作為評(píng)測(cè)語料的句子，并錄制選定的文本語料的測(cè)試語音；(c)將測(cè)試語音輸入要評(píng)測(cè)的電話連續(xù)語音識(shí)別系統(tǒng)，運(yùn)行被測(cè)系統(tǒng)，并將每個(gè)句子的語音識(shí)別結(jié)果解析為所包含的槽后輸出；(d)將系統(tǒng)輸出的識(shí)別結(jié)果與標(biāo)準(zhǔn)答案對(duì)照，計(jì)算槽識(shí)別正確率，得到系統(tǒng)性能的評(píng)判指標(biāo)。
進(jìn)一步地，上述評(píng)測(cè)方法還可具有以下特點(diǎn)所述步驟(a)中，采用的語法基于有限狀態(tài)網(wǎng)。
進(jìn)一步地，上述評(píng)測(cè)方法還可具有以下特點(diǎn)所述步驟(a)中，是將電話查詢的領(lǐng)域分為公交、餐飲、體育、旅游、天氣中的一個(gè)或任意組合。
進(jìn)一步地，上述評(píng)測(cè)方法還可具有以下特點(diǎn)所述步驟(a)中，每一領(lǐng)域定義的槽的個(gè)數(shù)為6～13個(gè)。
進(jìn)一步地，上述評(píng)測(cè)方法還可具有以下特點(diǎn)所述步驟(b)從生成的大量句子中選擇作為語料的句子時(shí)，是選擇符合正常人說話習(xí)慣的句子，并使所選句子盡可能多地覆蓋各種韻律學(xué)特征，在數(shù)量上盡可能地平均覆蓋各個(gè)槽。
進(jìn)一步地，上述評(píng)測(cè)方法還可具有以下特點(diǎn)所述步驟(d)中，將正確識(shí)別的槽的個(gè)數(shù)在槽的總數(shù)中所占的比率作為槽的識(shí)別正確率，只有作為槽的識(shí)別結(jié)果的字符串和答案完全一致才認(rèn)為槽識(shí)別正確。
進(jìn)一步地，上述評(píng)測(cè)方法還可具有以下特點(diǎn)所述定義的槽可以相互嵌套，相互嵌套的槽應(yīng)分別進(jìn)行正確識(shí)別與否的判斷和數(shù)量的統(tǒng)計(jì)。
進(jìn)一步地，上述評(píng)測(cè)方法還可具有以下特點(diǎn)所述步驟(d)中，還根據(jù)正確識(shí)別的句子個(gè)數(shù)在句子總數(shù)中所占的比率計(jì)算句子的識(shí)別正確率，作為系統(tǒng)的另一個(gè)評(píng)測(cè)指標(biāo)，其中句子識(shí)別正確是指句子中的所有槽都識(shí)別正確。
進(jìn)一步地，上述評(píng)測(cè)方法還可具有以下特點(diǎn)在計(jì)算槽的個(gè)數(shù)時(shí)，空槽不計(jì)入總數(shù)，如果識(shí)別結(jié)果中將本應(yīng)為空的槽填充，則在評(píng)判槽識(shí)別正確率時(shí)將被忽略。
進(jìn)一步地，上述評(píng)測(cè)方法還可具有以下特點(diǎn)所述步驟(a)定義槽時(shí)，每一領(lǐng)域的槽只需生成或組合生成該領(lǐng)域常用查詢句子的有效內(nèi)容。
本發(fā)明提供的電話連續(xù)語音識(shí)別系統(tǒng)性能的評(píng)測(cè)系統(tǒng)包括錄音模塊和被測(cè)的電話連續(xù)語音識(shí)別系統(tǒng)，其特點(diǎn)是，還包括語法庫、語法展開模塊、語料篩選模塊、槽解析模塊以及自動(dòng)評(píng)測(cè)模塊，其中所述語法庫，包括為電話查詢?nèi)舾深I(lǐng)域分別制定的一套語法，并在每個(gè)領(lǐng)域中根據(jù)語法定義了若干可以單獨(dú)表達(dá)一定語義的槽；所述語法展開模塊，用于將語法庫中的詞按其語法自動(dòng)展開，得到大量的句子；所述語料篩選模塊，用于將展開后得到的句子按設(shè)定策略篩選出用作測(cè)試語料的句子；所述槽解析模塊，用于將句子的識(shí)別結(jié)果按槽進(jìn)行解析，得到該句子中所包含的槽的識(shí)別結(jié)果；所述自動(dòng)評(píng)測(cè)模塊，用于比較槽的識(shí)別結(jié)果與標(biāo)準(zhǔn)答案，計(jì)算出槽識(shí)別正確率。
由上可知，本發(fā)明將評(píng)測(cè)限定在電話連續(xù)語音識(shí)別系統(tǒng)常用的幾個(gè)領(lǐng)域，通過使用給定語法限定了評(píng)測(cè)用的句子，通過引入槽的概念表示語義信息，并用槽識(shí)別正確率作為主要的評(píng)判指標(biāo)，比目前常用的聽寫機(jī)式的評(píng)測(cè)方法更符合電話連續(xù)語音識(shí)別系統(tǒng)的特點(diǎn)，能夠更準(zhǔn)確地評(píng)價(jià)電話連續(xù)語音識(shí)別系統(tǒng)性能。
圖1為本發(fā)明評(píng)測(cè)方法的示意圖。
圖2為本發(fā)明實(shí)施例評(píng)測(cè)系統(tǒng)的功能框圖。
圖3為本發(fā)明實(shí)施例評(píng)測(cè)方法的流程圖。
具體實(shí)施例方式
如圖1所示，本發(fā)明首先確定電話連續(xù)語音識(shí)別系統(tǒng)所針對(duì)的領(lǐng)域和所用語法，規(guī)定基于語義槽的評(píng)判指標(biāo)(任務(wù)規(guī)定階段)，然后生成并選擇文本語料，在真實(shí)環(huán)境錄制語音文件(語料準(zhǔn)備階段)，運(yùn)行被測(cè)連續(xù)語音識(shí)別系統(tǒng)產(chǎn)生識(shí)別結(jié)果(現(xiàn)場(chǎng)測(cè)試階段)，最后根據(jù)識(shí)別結(jié)果計(jì)算基于語義的評(píng)價(jià)指標(biāo)(結(jié)果評(píng)判階段)。
下面結(jié)合一個(gè)應(yīng)用實(shí)例來說明本實(shí)施例的評(píng)測(cè)方法，如圖2所示，該方法包括以下步驟步驟110，定義一個(gè)語法庫，為電話查詢常用的每一個(gè)領(lǐng)域制定一套語法，并在每個(gè)領(lǐng)域中根據(jù)語法定義若干可以單獨(dú)表達(dá)一定語義的槽(Slot)，每一領(lǐng)域的槽只需生成或組合生成該領(lǐng)域常用查詢句子的有效內(nèi)容；任何評(píng)測(cè)都要首先規(guī)定被測(cè)系統(tǒng)所要完成的任務(wù)，當(dāng)前的電話連續(xù)語音識(shí)別評(píng)測(cè)一般將任務(wù)規(guī)定為由語音識(shí)別出其對(duì)應(yīng)的文本。但這并不符合電話連續(xù)語音識(shí)別系統(tǒng)針對(duì)特定領(lǐng)域、注重語義的特點(diǎn)。
因此，本實(shí)施例提出了一種基于語法和語義的任務(wù)，針對(duì)所要評(píng)測(cè)的系統(tǒng)的應(yīng)用環(huán)境和特點(diǎn)選定針對(duì)的領(lǐng)域，將測(cè)試語料限于電話查詢較常用的領(lǐng)域，如公交、餐飲、體育、旅游、天氣等領(lǐng)域，為每一領(lǐng)域定義一套語法組成語法庫，所用的語法基于FSN(有限狀態(tài)網(wǎng))，每個(gè)領(lǐng)域用其語法定義若干(6-13)槽，每個(gè)槽都可以單獨(dú)表達(dá)一定的語義。槽其實(shí)就是語法中的非終結(jié)符，或稱Token，每個(gè)Token對(duì)應(yīng)一條或多條規(guī)則，每條規(guī)則都能推導(dǎo)出若干字符串，這些字符串就都稱作是該槽所產(chǎn)生的字符串。語法中有大量的Token，我們只選取其中若干個(gè)有完整語義的成分作為槽。
例如，語法庫可以根據(jù)北京市奧運(yùn)相關(guān)領(lǐng)域的真實(shí)問詢，經(jīng)人工抽象、形式化編寫而成，其中涉及的地名、公交站名、公交車次名、旅游景點(diǎn)名、飯店名等均為北京市真實(shí)存在的相應(yīng)名稱，其中涉及的體育賽事均為奧運(yùn)會(huì)中的真實(shí)賽事。
其中，公交領(lǐng)域可定義以下六個(gè)槽[departloc]，表示出發(fā)地點(diǎn)；[arriveloc]，表示目的地；[Route]，表示路線查詢；[bus_line]，表示公交車次；[query_bus]，表示公交車查詢；[Location]，表示地點(diǎn)。
槽之間可以嵌套，如上例中，[departloc]和[arriveloc]槽中都可以包含[Location]槽，[query_bus]槽中包含[bus_line]槽，[Route]槽中包含[departloc]和[arriveloc]槽。
由于實(shí)踐中，查詢者在開始和結(jié)束時(shí)經(jīng)常會(huì)說一些與查詢內(nèi)容無關(guān)的話，例如“你好，我問一下”，“您知道嗎”，“能不能查”，“謝謝”等。為了更符合真實(shí)應(yīng)用的要求，本實(shí)施例規(guī)定句子的前后可以有符合語境的無關(guān)內(nèi)容，句子的結(jié)構(gòu)為[無關(guān)內(nèi)容]語法生成的部分[無關(guān)內(nèi)容]方括號(hào)中的內(nèi)容可有可無。而中間的語法生成部分是查詢時(shí)的有效內(nèi)容，即真正涉及查詢內(nèi)容的有效部分，如公交領(lǐng)域的“從天安門到中關(guān)村怎么乘車？”。這樣限制了評(píng)測(cè)語料的范圍，更符合電話連續(xù)語音識(shí)別系統(tǒng)的真實(shí)應(yīng)用要求。
通過適當(dāng)?shù)囟x各領(lǐng)域的槽，可以使得各領(lǐng)域常見的查詢語句(例如詢問乘車路線，餐館地址，體育賽事時(shí)間，旅游景點(diǎn)簡介，天氣情況等)的有效部分可分解為由該領(lǐng)域所定義的一個(gè)或多個(gè)槽。反之，在為每個(gè)槽定義了若干的詞后，就可以將其按語法中規(guī)定的約束條件展開得到大量的句子。
步驟120，將被測(cè)系統(tǒng)的輸出定義為識(shí)別出的每個(gè)句子所含的槽，用槽識(shí)別正確率和句子識(shí)別正確率作為評(píng)價(jià)被測(cè)系統(tǒng)的性能的指標(biāo)。具體計(jì)算方法將在后面的步驟中再介紹。
步驟130，用語法展開模塊將各個(gè)領(lǐng)域的詞按其語法展開，采用人工和語料篩選模塊和人工從生成的大量句子中選擇出作為評(píng)測(cè)語料的句子；測(cè)試語料的準(zhǔn)備主要分為兩步文本語料的準(zhǔn)備和測(cè)試語音的錄制。在文本語料的準(zhǔn)備階段，使用語法展開模塊將各領(lǐng)域的語法展開(主要是將各個(gè)包括槽在內(nèi)的Token展開)，獲得大量的字符串，即句子，然后在這些句子中選擇一部分作為測(cè)試數(shù)據(jù)。選擇的原則如下A，所選的句子應(yīng)是符合正常人說話習(xí)慣的真實(shí)問訊。出于語法復(fù)雜度的考慮，由語法產(chǎn)生的句子中可能存在不符合真實(shí)應(yīng)用的句子，如“中國跳水隊(duì)和日本足球隊(duì)的比賽”等，為了貼近應(yīng)用，這些句子都不應(yīng)使用。這一工作由人工完成。
B，所選的句子應(yīng)盡可能多的覆蓋漢語的一些韻律學(xué)特征，如音節(jié)，二音子(Biphone)，三音子(Triphone)和音聯(lián)關(guān)系等。這是為了盡可能全面地考查被測(cè)系統(tǒng)對(duì)語音的處理性能。這一工作由語料篩選模塊完成。
C，每個(gè)領(lǐng)域所選的句子應(yīng)盡可能平均地覆蓋各個(gè)槽。這一工作由語料篩選模塊完成。
在應(yīng)用實(shí)例中，最終選出的句子數(shù)量為每個(gè)領(lǐng)域40句，共200句。
步驟140，在真實(shí)環(huán)境由錄音模塊錄制選定的文本語料的測(cè)試語音；在測(cè)試語音的錄制階段，要組織人員按照文本語料錄制語音數(shù)據(jù)。和多數(shù)評(píng)測(cè)方法一樣，錄音采用固定電話和插入PC機(jī)的Dialogic語音采集卡。錄音人男、女各半，錄音環(huán)境為辦公室等真實(shí)的噪音環(huán)境。在本應(yīng)用實(shí)例中，每句錄成一個(gè)wav文件，采用16KHz采樣，16Bit編碼。
步驟150，將測(cè)試語音輸入要評(píng)測(cè)的電話連續(xù)語音識(shí)別系統(tǒng)，運(yùn)行被測(cè)系統(tǒng)，并使用槽解析模塊對(duì)每個(gè)句子的語音識(shí)別結(jié)果按槽進(jìn)行解析，將得到的槽的識(shí)別結(jié)果作為系統(tǒng)輸出的識(shí)別結(jié)果；步驟160，用自動(dòng)評(píng)判模塊將系統(tǒng)輸出的識(shí)別結(jié)果與標(biāo)準(zhǔn)答案對(duì)照，計(jì)算槽識(shí)別正確率和句子識(shí)別正確率，得到系統(tǒng)性能的評(píng)判指標(biāo)。
計(jì)算公式如下槽識(shí)別正確率＝正確識(shí)別的槽的個(gè)數(shù)/槽的總數(shù)×100％；
句子識(shí)別正確率＝正確識(shí)別的句子的個(gè)數(shù)/句子總數(shù)×100％。
其中，正確識(shí)別的槽的個(gè)數(shù)指所有句子中被正確識(shí)別的槽的個(gè)數(shù)的和，槽的總數(shù)指所有句子中槽的個(gè)數(shù)的和。本發(fā)明也可以只計(jì)算槽識(shí)別的正確率指標(biāo)。
具體地說，每個(gè)槽的識(shí)別結(jié)果是一個(gè)字符串，只有這個(gè)字符串完全和答案一致時(shí)才認(rèn)為槽識(shí)別正確。而句子識(shí)別正確并非指識(shí)別出的該句對(duì)應(yīng)的字符串和標(biāo)準(zhǔn)答案的字符串完全一致，而是指句子中的所有槽都識(shí)別正確，這是與現(xiàn)有評(píng)測(cè)方法不同的。
槽與槽之間可能有嵌套，對(duì)于這種情況，所有存在的槽的識(shí)別結(jié)果都必須在輸出文件中給出。在統(tǒng)計(jì)槽的個(gè)數(shù)時(shí)，相互嵌套的槽應(yīng)累計(jì)。在統(tǒng)計(jì)槽識(shí)別正確率時(shí)，相互嵌套的每個(gè)槽正確與否都將被統(tǒng)計(jì)在內(nèi)。
在計(jì)算槽的個(gè)數(shù)時(shí)，空槽(為NULL的槽)并不計(jì)入總數(shù)。如果在識(shí)別結(jié)果中將本應(yīng)為空的槽填充，則在評(píng)判槽識(shí)別正確率時(shí)將被忽略，但在計(jì)算句子識(shí)別正確率時(shí)認(rèn)為該句識(shí)別錯(cuò)誤。
例如，輸入的測(cè)試語音為“查一下特五路上到的地方”時(shí)，識(shí)別結(jié)果為每個(gè)句子的槽解析結(jié)果，如下PHONE_C_B_001 Traffic查一下特五路上到的地方。
NULL[arriveloc]NULL[Route]NULL[bus_line] 特五[query_bus]特五路上到的地方[Location] NULL上述結(jié)果包括兩個(gè)槽(有嵌套關(guān)系)，通過比較每個(gè)槽的輸出文本串和標(biāo)準(zhǔn)答案，就可以判斷該槽是否識(shí)別正確。
又如，輸入的測(cè)試語音為“從天安門到中關(guān)村怎么乘車？”時(shí)，槽解析后的識(shí)別結(jié)果如下
PHONE_C_B_002 Traffic從天安門到中關(guān)村怎么乘車。從天安門[arriveloc] 到中關(guān)村[Route] 從天安門到中關(guān)村[bus_line] NULL[query_bus] NULL[Location] 天安門[Location] 中關(guān)村上述結(jié)果包括5個(gè)槽(有嵌套關(guān)系)，通過比較每個(gè)槽的輸出文本串和標(biāo)準(zhǔn)答案，就可以判斷該槽是否識(shí)別正確。
如圖3所示，本實(shí)施例的評(píng)測(cè)系統(tǒng)包括語法庫、語法展開模塊、語料篩選模塊、錄音模塊、被測(cè)的電話連續(xù)語音識(shí)別系統(tǒng)、槽解析模塊以及自動(dòng)評(píng)測(cè)模塊。其中語法庫，包括對(duì)電話查詢常用的每一個(gè)領(lǐng)域制定的一套語法，并在每個(gè)領(lǐng)域中根據(jù)語法定義若干可以單獨(dú)表達(dá)一定語義的槽；語法展開模塊，用于將語法庫中的詞按其語法自動(dòng)展開，得到大量的句子。
語料篩選模塊，用于將展開后得到的句子按設(shè)定策略篩選出用作測(cè)試語料的句子，所用策略可以是使覆蓋的漢語韻律學(xué)特征多，能平均地覆蓋各個(gè)槽等。
錄音模塊，用于完成基于測(cè)試語料的測(cè)試語音的錄制。
被測(cè)的電話連續(xù)語音識(shí)別系統(tǒng)，用于接收輸入的測(cè)試語音信號(hào)得到句子的識(shí)別結(jié)果。
槽解析模塊，用于將句子的識(shí)別結(jié)果按槽進(jìn)行解析，得到該句子中所包含的槽的識(shí)別結(jié)果。
自動(dòng)評(píng)測(cè)模塊，用于比較槽的識(shí)別結(jié)果與標(biāo)準(zhǔn)答案，計(jì)算槽識(shí)別正確率和句子識(shí)別正確率。
上述的語法展開模塊、語料篩選模塊、錄音模塊、槽解析模塊和自動(dòng)評(píng)測(cè)模塊均可在計(jì)算機(jī)上用軟件實(shí)現(xiàn)。
綜上所述，本發(fā)明的方法將評(píng)測(cè)限定在電話連續(xù)語音識(shí)別系統(tǒng)常用的幾個(gè)領(lǐng)域，通過使用給定語法限定了評(píng)測(cè)用的句子，通過引入槽的概念表示語義信息，并用槽識(shí)別正確率作為主要的評(píng)判指標(biāo)，從而比目前常用的聽寫機(jī)式的評(píng)測(cè)方法更符合電話連續(xù)語音識(shí)別系統(tǒng)的特點(diǎn)，能夠更準(zhǔn)確地評(píng)價(jià)系統(tǒng)性能。
權(quán)利要求
1.一種電話連續(xù)語音識(shí)別系統(tǒng)性能的評(píng)測(cè)方法，包括以下步驟(a)對(duì)電話查詢的若干領(lǐng)域，為每一領(lǐng)域制定一套語法，每個(gè)領(lǐng)域中，根據(jù)語法定義若干可以單獨(dú)表達(dá)一定語義的槽；(b)在各個(gè)領(lǐng)域按其語法展開，從生成的句子中選擇出作為評(píng)測(cè)語料的句子，并錄制選定的文本語料的測(cè)試語音；(c)將測(cè)試語音輸入要評(píng)測(cè)的電話連續(xù)語音識(shí)別系統(tǒng)，運(yùn)行被測(cè)系統(tǒng)，并將每個(gè)句子的語音識(shí)別結(jié)果解析為所包含的槽后輸出；(d)將系統(tǒng)輸出的識(shí)別結(jié)果與標(biāo)準(zhǔn)答案對(duì)照，計(jì)算槽識(shí)別正確率，得到系統(tǒng)性能的評(píng)判指標(biāo)。
2.如權(quán)利要求1所述的評(píng)測(cè)方法，其特征在于，所述步驟(a)中，采用的語法基于有限狀態(tài)網(wǎng)。
3.如權(quán)利要求1所述的評(píng)測(cè)方法，其特征在于，所述步驟(a)中的電話查詢領(lǐng)域?yàn)楣?、餐飲、體育、旅游、天氣中的一個(gè)或任意組合。
4.如權(quán)利要求3所述的評(píng)測(cè)方法，其特征在于，所述步驟(a)中，每一領(lǐng)域定義的槽的個(gè)數(shù)為6～13個(gè)。
5.如權(quán)利要求1所述的評(píng)測(cè)方法，其特征在于，所述步驟(b)從生成的大量句子中選擇作為語料的句子時(shí)，是選擇符合正常人說話習(xí)慣的句子，并使所選句子盡可能多地覆蓋各種韻律學(xué)特征，在數(shù)量上盡可能地平均覆蓋各個(gè)槽。
6.如權(quán)利要求1所述的評(píng)測(cè)方法，其特征在于，所述步驟(d)中，將正確識(shí)別的槽的個(gè)數(shù)在槽的總數(shù)中所占的比率作為槽的識(shí)別正確率，只有作為槽的識(shí)別結(jié)果的字符串和答案完全一致才認(rèn)為槽識(shí)別正確。
7.如權(quán)利要求1所述的評(píng)測(cè)方法，其特征在于，所述定義的槽可以相互嵌套，相互嵌套的槽應(yīng)分別進(jìn)行正確識(shí)別與否的判斷和數(shù)量的統(tǒng)計(jì)。
8.如權(quán)利要求1所述的評(píng)測(cè)方法，其特征在于，所述步驟(d)中，還根據(jù)正確識(shí)別的句子個(gè)數(shù)在句子總數(shù)中所占的比率計(jì)算句子的識(shí)別正確率，作為系統(tǒng)的另一個(gè)評(píng)測(cè)指標(biāo)，其中句子識(shí)別正確是指句子中的所有槽都識(shí)別正確。
9.如權(quán)利要求6所述的評(píng)測(cè)方法，其特征在于，在計(jì)算槽的個(gè)數(shù)時(shí)，空槽不計(jì)入總數(shù)，如果識(shí)別結(jié)果中將本應(yīng)為空的槽填充，則在評(píng)判槽識(shí)別正確率時(shí)將被忽略。
10.如權(quán)利要求1所述的評(píng)測(cè)方法，其特征在于，所述步驟(a)定義槽時(shí)，每一領(lǐng)域的槽只需生成或組合生成該領(lǐng)域常用查詢句子的有效內(nèi)容。
11.一種電話連續(xù)語音識(shí)別系統(tǒng)性能的評(píng)測(cè)系統(tǒng)，包括錄音模塊和被測(cè)的電話連續(xù)語音識(shí)別系統(tǒng)，其特征在于，還包括語法庫、語法展開模塊、語料篩選模塊、槽解析模塊以及自動(dòng)評(píng)測(cè)模塊，其中所述語法庫，包括為電話查詢?nèi)舾深I(lǐng)域分別制定的一套語法，并在每個(gè)領(lǐng)域中根據(jù)語法定義了若干可以單獨(dú)表達(dá)一定語義的槽；所述語法展開模塊，用于將語法庫中的詞按其語法自動(dòng)展開，得到大量的句子；所述語料篩選模塊，用于將展開后得到的句子按設(shè)定策略篩選出用作測(cè)試語料的句子；所述槽解析模塊，用于將句子的識(shí)別結(jié)果按槽進(jìn)行解析，得到該句子中所包含的槽的識(shí)別結(jié)果；所述自動(dòng)評(píng)測(cè)模塊，用于比較槽的識(shí)別結(jié)果與標(biāo)準(zhǔn)答案，計(jì)算出槽識(shí)別正確率。
全文摘要
本發(fā)明公開一種電話連續(xù)語音識(shí)別系統(tǒng)性能的評(píng)測(cè)方法及系統(tǒng)，該系統(tǒng)包括錄音模塊、被測(cè)的電話連續(xù)語音識(shí)別系統(tǒng)、語法庫、語法展開模塊、語料篩選模塊、槽解析模塊以及自動(dòng)評(píng)測(cè)模塊。先對(duì)電話查詢的若干領(lǐng)域，按其語法定義若干槽；在各個(gè)領(lǐng)域按其語法展開，從生成的句子中選擇出作為評(píng)測(cè)語料的句子并錄制測(cè)試語音；將測(cè)試語音輸入要評(píng)測(cè)的電話連續(xù)語音識(shí)別系統(tǒng)，將每個(gè)句子的語音識(shí)別結(jié)果解析為所包含的槽后輸出；將系統(tǒng)輸出的識(shí)別結(jié)果與標(biāo)準(zhǔn)答案對(duì)照，計(jì)算槽識(shí)別正確率，得到系統(tǒng)性能的評(píng)判指標(biāo)。本發(fā)明方法比目前常用的聽寫機(jī)式的評(píng)測(cè)方法更符合電話連續(xù)語音識(shí)別系統(tǒng)的特點(diǎn)，能夠更準(zhǔn)確地評(píng)價(jià)電話連續(xù)語音識(shí)別系統(tǒng)性能。
文檔編號(hào)G10L15/00GK1811915SQ20051001128
公開日2006年8月2日 申請(qǐng)日期2005年1月28日 優(yōu)先權(quán)日2005年1月28日
發(fā)明者王向東, 欒煥博, 林守勛, 錢躍良, 劉宏, 張勇東 申請(qǐng)人:中國科學(xué)院計(jì)算技術(shù)研究所