專利名稱：基于概念對語音文檔的跨媒體索引和檢索的制作方法
技術領域：
本發明一般涉及潛在語義索引技術。本發明尤其涉及索引、搜索、以及檢索 語音文檔的內容。
背景技術：
索引、搜索、以及檢索發音文檔(包括但不限于錄音書籍、音頻廣播、錄音 會話)的內容是個難題。當前的辦法典型地或者通過將用戶提供的文本查詢與文本 元數據相匹配或者通過在按音標轉錄該查詢后進行音標匹配來使得能夠經由關鍵 字匹配的等效技術方案進行搜索和檢索。該辦法產出很低的查全率，即對于查詢而 言可能有許多相關語音文檔沒有被尋找。代替關鍵字匹配，我們通過尋找和檢索在 概念級別與査詢相關的發音文檔——即便這些文檔并不包含發音的(或文本的)査 詢項——來解決此問題。
發明概述
現有技術提供音標索引，其中語音音頻文檔的音標內容被轉錄成中間語言并 且文本或聲音查詢也被轉錄成該相同的中間語言，如此使得語音片段能與査詢進行 匹配。相反，本發明從一種新穎的包括語音文檔的音標轉錄及其文本轉錄的"雙重 文檔"計算搜索空間。在此辦法中，雙重文檔是包含兩種語符(token)——詞和 音素——的"包"。這些雙重文檔的文集將被用作訓練集，其用于如此來計算在其 中音素、詞和文檔(語音和文本)將由矢量來代表的矢量空間以使得表達相關概念 的那些音素、詞和文檔在該空間中將是最近的鄰居。可利用最近鄰居關系來為或者 文本或者語音查詢尋找和檢索語音文檔，或為語音查詢尋找和檢索文本文檔。這將
4被引述為"基于概念的跨媒體信息檢索"。不像其他需要從語音翻譯成自然語言文 本以基于概念來索引內容的方法，本發明的有吸引力的特征之一在于內容是使用音 標轉錄在更抽象的概念級別來索引的。此特征降低了索引語音的出錯率和成本兩 者。
在結合附圖閱讀以下說明時將能更清楚地理解本發明。 附圖簡要說明
圖1是用于實踐本發明的語義索引系統的實施例的示意圖。 詳細說明
參考圖1，示意性地示出包括本發明的索引系統100的實施例。該系統包括攝 入/收集文檔102、預處理器/注冊文檔104、目錄文檔106、擴充目錄(SVD) 108 以及査詢引擎/目錄110。處理在機器或人將一組文檔放入文檔集合區域102中時 開始。圖書管理員注冊這些文檔并準備它們以供編目。編目在數據庫中為文檔創建 元數據的文本和數值兩種記錄，并且應用計算在其中所有文本連同其項和音素被索 引的矢量空間所需要的所有附加處理。該目錄可用新文檔通過遵循相同的攝入/收 集-注冊-目錄順序來規律地擴充。然而，在目錄擴充時文檔被索引但不用于計算矢 量空間。而且，最終用戶可規律地査詢該目錄、其矢量及其相關聯的元數據以尋找 相關文檔。文檔注冊、編目和査詢處理作為網絡服務而可用。 一旦這些服務由管理 員啟動，它們就對其用戶并對彼此可用。例如，注冊服務在有新文檔要索引時通知 目錄服務。圖書管理員必須通過使用所提供的圖形用戶界面(GUI) 114注冊文檔 來"觸發"該過程流。
根據本發明的原始源數據包括文本和語音文檔；這些中有一些是由語音文檔 及其相對應的文本轉錄構成的雙重文檔，而其他的是"單本"，即或者是文本或者 是語音文檔而沒有另一格式的對應表達。提供了用于將這些文檔攝入并收集到內容 儲存庫中的手段。這可能僅僅需要將文檔轉移到已知集合位置，例如文件目錄或 文件夾，在此它們可被注冊新文檔的過程檢測到。
文檔注冊在內容目錄中為文檔創建記錄，包括諸如文檔類型、創建日期和位 置之類的元數據的創建，并將該文檔排隊待預處理。在該預處理步驟中完成若干事 項。首先，必須將所有語音文檔按音標轉錄(116)成中間表達語言。 一種如此的 自動音標轉錄器是用于自動音標轉錄的Nexidia公司語音智能②(SpeechIntelligence )。本發明并不被限定于該特定的音標轉錄器。其次，使用文檔轉換 器118 (例如StellentTMO她^/Z產品)將文檔從本機格式轉換到UTF-8，即進行 基于概念的預處理所要求的文檔編碼。本發明并不被限定于該特定的文檔轉換器。 第三，文檔被分段(120)，即音標轉錄，并且其相應的文本被語符化如此使得能 夠獲得對索引項和音素112的計數。第四，使文檔入隊供編目，在此情形中是編目 文檔集合目錄。
進一步的處理要求集合在其訓練文檔與其他僅索引文檔之間加以區分。訓練 文檔用于計算概念矢量空間，而僅索引文檔則不然。在后一種情形下，矢量被計算 出(108)并用于擴充該目錄。由于本發明支持跨媒體的信息檢索，因此文檔還應 該按媒體類型——在此情形中是文本或語音——被隔離。
一旦集合中的所有文檔都被預處理了，詞/音素計數就被存儲在集合目錄106 中作為文檔的元數據的一部分。從這些計數構造非常大的稀疏矩陣，其中為訓練集 中的每一項和每一音素創建一行，并為該訓練集中的每一文檔創建一列。該"項-音素/文檔"矩陣中的條目是詞和音素計數，即特定的可索引詞和可索引音素在文 檔中出現的次數。在可以用該矩陣來計算矢量空間之前，必須將其條目歸一化。該 要求的原因是一些文檔可能比其他的長很多，而一些項或音素可能有在文檔或在集 合中比其他的項或音素出現得頻繁得多的趨勢。因此，有必要減少文檔長度和高頻 度語符在訓練集中的作用。這通過對項-音素/文檔矩陣112中的原始語符計數應用 恰適的加權來達成。
如以上述及的，本發明使用以奇異值分解(或即SVD)著稱的統計技術108 來從由訓練文檔集構造出的項-音素/文檔矩陣112計算矢量空間。所產生的結果是 較低維的數值空間，其中概念上相關的項-音素和文檔矢量是最近的鄰居。就是這 種特性允許為查詢找到項或文檔——即便這些文檔并不擁有這些査詢項中的任一 個；這些文檔不必包含該査詢，它們僅需要是計算出的矢量空間中與査詢矢量最近 的鄰居。
一旦己為訓練文檔集計算出矢量空間，就必須為新文檔計算矢量，并且隨后 將這些矢量添加到該空間中。此操作僅僅要求將這些新文檔放入也為圖書管理員所 知的團隊集合區域中。 一旦在這里了，圖書管理員就可以如對訓練集那樣通過注冊 它們來將它們入隊供處理。類似于訓練文檔，為每一文檔在內容目錄中創建包括詞 或音素計數的記錄；然而不同于訓練文檔，這些文檔并不用于計算矢量空間。出于 調入目的，文檔可僅包含詞或僅包含音素，而不必包含這兩者。其矢量表達將用其詞矢量或音素矢量來計算。通過對每一文檔包含的詞和音素進行項或音素矢量求 和——其中每一項或音素矢量由其各自的詞或音素計數來加權——來為該文檔創 建矢量。 一旦這些新文檔的矢量被"調入"到矢量空間中，這些文檔就與已在那里 的文檔一起可以用搜索。
文檔查詢使得必須搜索內容目錄以尋找相關元數據，包括搜索計算出的矢量 空間以尋找類似于或"接近于"為一組一個或更多個査詢項或音素計算出的矢量的 矢量。査詢引擎110窮盡地計算該査詢矢量與空間中的所有其他矢量之間的余弦 值，并且以列表來返回具有最高余弦值的那些項-音素和/或文檔。很像文檔矢量的 是，查詢矢量僅僅是其包含的詞或音素的矢量之和，其每一個由它們在該査詢中出 現的頻度(這對于大多數自組織查詢而言僅為一次)來加權。査詢可由詞或由音
素構成。其矢量用從計算出的LSI矢量空間推導出的或者這些詞矢量或者音素矢量 的加權和來計算。LSI是潛在語義索引。應注意，査詢矢量也可從文檔的全部或部 分諸如在"相關性反饋"中的部分來計算。在將相關文檔作為査詢提交給査詢引擎 以尋找"更多像這樣的文檔"的場合就是這種情形。再次，這些可以是或者語音或 者文本文檔。最終用戶可選擇命中列表上的項以用于從內容儲存庫中檢索，因為該 列表還傳達與內容描述性元數據一起存儲在目錄中的訪問描述性元數據，例如文檔 的URL。
以上所描述的算法和建模能夠在諸如計算設備之類的指令執行系統、裝置、 或設備上執行。這些算法自身可包含在計算機可讀介質上，計算機可讀介質可以是 能夠包含、存儲、傳遞、傳播、或傳送程序供由諸如計算機之類的指令執行系統、 裝置、或設備使用或聯合其使用的任何裝置。
雖然已描述和圖解了索引、搜索以及檢索語音文檔的方法和系統，但對于本 領域技術人員顯而易見的是，變形和修改是可能的而不會脫離本發明的廣泛教示和 原理，本發明應單單由所附權利要求書的范圍來限定。
權利要求
1. 一種跨媒體索引、注冊和檢索語音文檔的方法，包括以下步驟注冊訓練文檔集；預處理每一訓練文檔；從所述訓練文檔的元數據構造項-音素/文檔矩陣，其中為所述訓練文檔中的項和每一音素創建行，并為每一訓練文檔創建列；歸一化所述項-音素/文檔矩陣中的條目；通過從所述項-音素/文檔矩陣計算來從所述訓練文檔計算概念矢量空間；為新文檔計算矢量并將所述矢量添加到所述矢量空間；搜索所述計算出的矢量空間以尋找接近為查詢項或音素計算出的矢量的矢量；以及提供具有最高值的那些語音和/或文本文檔的列表。
2. 如權利要求1所述的方法，其特征在于，所述預處理包括為每一訓練文檔 創建記錄，包括為每一訓練文檔創建元數據。
3. 如權利要求1所述的方法，其特征在于，所述預處理包括將每一語音文檔 按音標轉錄成中間表達語言；將每一文檔從本機格式轉換成UTF-8格式；將每一 文檔分段；以及將每一文檔入隊供編目。
4. 如權利要求3所述的方法，其特征在于，所述分段包括語符化每一音標轉 錄和經轉換的文本如此使得能獲得對索引項和音素的計數。
5. 如權利要求1所述的方法，其特征在于，所述計算概念矢量空間包括使用 奇異值分解技術。
6. 如權利要求1所述的方法，其特征在于，所述為新文檔計算矢量并將其矢 量添加到所述矢量空間包括為每一文檔通過對所述文檔包含的詞和音素進行項或 音素矢量求和——其中每一項或音素矢量由其各自的詞或音素計數來加權——來 創建。
7. 如權利要求l所述的方法，其特征在于，所述搜索計算出的矢量空間以尋 找接近為査詢項或音素計算出的矢量的矢量包括計算査詢矢量與所述空間中的所 有其他矢量之間的余弦值，并且以列表返回具有最高余弦值的文本和/或語音文檔。
8. —種用于跨媒體索引、注冊和檢索語音文檔的系統，包括以下步驟 文檔集合裝置，用于注冊訓練文檔集、準備所述訓練文檔集供編目、以及索引所述訓練文檔集，包括文檔項和音素；預處理器，用于預處理每一訓練文檔以及通過從所述訓練文檔集計算矢量來 從所述訓練文檔計算形成概念矢量空間的矢量；從所述訓練文檔的元數據構造的項-音素/文檔矩陣，其中為所述訓練文檔中的 每一項和每一音素創建行，并為每一訓練文檔創建列，并且所述項-音素/文檔矩陣 中的條目被歸一化；奇異值分解裝置，用于從所述項-音素/文檔矩陣計算矢量空間；所述預處理器還預處理每一新文檔并從所述新文檔計算矢量并且將所述矢量 添加到所述矢量空間；以及査詢引擎，用于搜索所述計算出的矢量空間以尋找接近為一個或更多個査詢 項或音素計算出的矢量的矢量；以及提供具有最高值的那些文本和/或語音文檔的 列表。
9. 如權利要求8所述的系統，其特征在于，所述預處理器為每一訓練文檔創 建記錄，包括為每一訓練文檔創建元數據。
10. 如權利要求8所述的系統，其特征在于，所述預處理器將每一語音文檔按 音標轉錄成中間表達語言；將每一文檔從本機格式轉換成UTF-8格式；將每一文 檔分段；以及將每一文檔隊列供編目。
11. 如權利要求IO所述的系統，其特征在于，所述預處理器通過語符化每一 音標轉錄和經轉換的文本如此使得能獲得對索引項和音素的計數來將每一文檔分 段。
12. 如權利要求8所述的系統，其特征在于，所述預處理器進一步為每一文檔 通過對所述文檔包含的詞或音素進行項或音素矢量求和——其中每一項或音素矢 量由其各自的詞或音素計數來加權——來為新文檔計算矢量并將所述矢量添加到 所述矢量空間。
13. 如權利要求8所述的系統，其特征在于，所述搜索引擎通過計算査詢矢量 與計算出的矢量空間中的所有其他矢量之間的余弦值、并且以列表返回具有最高余 弦值的文本和/或語音文檔來搜索所述空間以尋找接近為查詢項或音素計算出的矢
全文摘要
通過尋找和檢索在概念級別與查詢項相關的語音文檔——即便這些語音文檔并不包含發音的(或文本的)查詢項——來達成索引、搜索、以及檢索語音文檔(包括但不限于錄音書籍、音頻廣播、錄音會話)的內容。使用基于概念的跨媒體信息檢索。從訓練文檔集構造項-音素/文檔矩陣。文檔隨后被添加到從訓練數據構造成的矩陣中。使用奇異值分解來從該項-音素/文檔矩陣計算矢量空間。結果是較低維的數值空間，其中項-音素和文檔矢量在概念上作為最近鄰居來相關。查詢引擎計算該查詢矢量與該空間中的所有其他矢量之間的余弦值，并且返回具有最高余弦值的那些項-音素和/或文檔的列表。
文檔編號G01L21/00GK101512521SQ200780020395
公開日2009年8月19日 申請日期2007年6月1日 優先權日2006年6月2日
發明者C·A·伯赫恩斯, D·伊甘, D·巴蘇 申請人:特爾科迪亞技術股份有限公司