根據所捕捉的語音和音頻內容來填充列表和任務的制作方法

專利名稱：根據所捕捉的語音和音頻內容來填充列表和任務的制作方法
技術領域：
本發明涉及生成與填充列表和任務，尤其是根據音頻內容來生成與填充列表和任務。
背景技術：
隨著計算機和計算機軟件的出現，已經作出幫助人們管理他們的工作和非工作生活這二者的大量進步。為了幫助正嘗試同時進行工作、家庭以及二者間的多項任務的人們，已經開發了電子任務和日歷程序以輔助維護、跟蹤和記憶每天必須完成的所有事情的經常令人畏縮的任務。不幸的是，許多人通常被縮減到為自己手寫大量的備忘錄到小紙片上、記事本上、便簽上等。看到許多備忘錄被粘在個人書桌、計算機屏幕、家庭電冰箱等以提醒個人處理一個或多個任務是普遍的。雖然個人可以訪問并且可以利用好的電子任務或日歷程 序，但是他或她就是無法抗拒手寫許多備忘錄以跟蹤他或她認為“真正”重要的那些事情。隨著移動計算設備(例如，移動電話和移動計算機)的劇增和使用，雖然大多數人可能無法容易地獲得小紙片、記事本或便簽，但他們手邊通常就有至少一個移動計算設備，可用這至少一個移動計算設備將任務或列表輸入到一個或多個電子任務列表、日歷、或列表。然而，在特定情況下，例如當用戶正在駕駛時或當用戶正在行進中時，使用用于輸入任務或列表項的這種設備可能不容易獲得或者不合適。本發明正是對于這些和其它考慮事項而做出的。

發明內容
本發明的各實施例通過經由通過能夠錄制音頻的移動計算設備(諸如移動電話或移動計算機)的、或通過與固定或有線計算設備相關聯的語音或音頻捕捉工具(例如話筒)的語音或音頻輸入，提供自動捕捉并將任務和列表項填充到電子任務或列表表面，來解決上述和其他問題。根據各個實施例，語音或音頻任務或列表項可被捕捉以供輸入到任務應用界面中或輸入到列表創作表面界面中，以便隨后被用作任務項、提醒、“待完成”項、列表項、日程項、工作組織概要等。所捕捉的語音或音頻內容可被本地或遠程地轉錄，并且所轉錄的內容可被填充到任務或列表創作表面用戶界面中，該任務或列表創作表面用戶界面可被顯示在捕捉設備(例如移動電話)上，或可被遠程存儲并隨后與多個不同計算設備上的多個應用相關聯地顯示。另外，如果需要，包含所捕捉的語音或音頻內容的音頻文件可被附連到所轉錄和處理的內容，以便允許用戶與所捕捉的語音或音頻文件的被顯示的轉錄相關聯地回放所捕捉的音頻文件。可對被轉錄的語音或音頻內容執行自然語言處理，并且元數據可被應用到被轉錄和處理的內容以增強對內容的使用。例如，被應用到被轉錄和處理的內容的元數據可以允許對被轉錄和處理的內容的高效的過濾、編輯、搜索、分類或其他類似操作。使用“模糊”提醒方法的事件時間線可允許提醒與任務、事件和活動相關聯，其中一些任務、事件和/或活動必須在規定日期/時間完成或發生，但其他任務、事件和/活動可在寬松的或“模糊的”日期/時間范圍期間或不在特定日期/時間范圍期間完成或發生。—個或多個實施例的細節在附圖和以下描述中闡明。通過閱讀下面的詳細描述并參考相關聯的附圖，其他特征和優點將變得顯而易見。要理解的是下面的詳細描述僅僅是說明性的，而不是對所要求保護的發明的限制。提供本發明內容以便以簡化的形式介紹將在以下具體實施方式
中進一步描述的一些概念。本發明內容并不旨在標識出所要求保護的主題的關鍵特征或必要特征，也不旨在用于幫助確定所要求保護的主題的范圍。


圖I是示出在計算機監視器的顯示器屏幕上部署的列表創作表面用戶界面的簡化框圖。 圖2是示出在計算機監視器的顯示器屏幕上部署的，用一個或多個任務、事件、活動、或信息片段來填充的列表創作表面用戶界面的簡化框圖。圖3是示出從所選任務項透視出的信息列表的圖2的列表創作表面用戶界面的簡化框圖。圖4是可在其中實施本發明的各實施例的計算架構的簡化框圖。圖5是示出與所顯示的文檔相關聯地顯示的列表創作表面用戶界面的簡化框圖。圖6是示出移動計算設備并且示出在該移動計算設備的顯示器屏幕上部署的列表創作表面用戶界面的簡化框圖。圖7是示出移動計算設備并且示出在該移動計算設備的顯示器屏幕上部署的列表創作表面用戶界面的簡化框圖。圖8是示出可用其捕捉語音或音頻內容以便生成相關聯的任務或列表項的移動計算設備的簡化框圖。圖9是示出可用其捕捉語音或音頻內容以便生成相關聯的任務或列表項的移動計算設備的簡化框圖。圖10是示出在其上顯示從所捕捉的語音輸入中獲得的列表項的移動計算設備的簡化框圖。圖11是示出在其上顯示從所捕捉的語音輸入中獲得的列表項的移動計算設備的簡化框圖。圖12是示出在其上顯示日歷信息的移動計算設備的簡化框圖，該日歷信息與所捕捉和處理的語音或音頻輸入相關聯地顯示。圖13是示出用于捕捉語音和/或音頻輸入以及用從所捕捉的語音或音頻記錄中獲得的信息來填充電子任務或列表界面的方法的流程圖。圖14是可用其實施本發明的各實施例的計算設備的簡化框圖。圖15A和15B是可用來實施本發明的各實施例的移動計算設備的簡化框圖。圖16是可在其中實施本發明的各實施例的分布式計算系統的簡化框圖。
具體實施例方式如上面所簡要描述的，本發明的各實施例旨在經由通過能夠記錄音頻的移動計算設備(諸如移動電話或移動計算機)、或通過與固定或有線計算設備相關聯的語音或音頻捕捉工具(例如話筒)的語音或音頻輸入，自動捕捉任務和列表項，并將其填充到電子任務或列表表面。根據一個實施例，語音和音頻輸入可經由汽車或其他車輛中配備或嵌入的語音捕捉和識別系統來捕捉。例如，當用戶正在駕駛時、當用戶正在行進中時，任務或列表項可經由語音或音頻輸入來捕捉，并且可以捕捉長的項目列表而不需要用戶將視線從主要的焦點項移開。可用對捕捉設備(例如移動電話)的最小觸摸和/或交互來執行對這種信息的捕捉，并且可以執行對信息的捕捉而不必在各個任務或列表項的輸入間暫停。根據一個實施例，對這種信息的捕捉可由用戶提示經由語音命令(諸如命令“記錄”等)來啟動。另外，有關所捕捉的感興趣的項的決定或動作可被推遲到查看所捕捉的信息對用戶來說更合適的一捕捉后的時間。以下具體實施方式
參考各個附圖。只要可能，就在附圖和以下描述中使用相同的附圖標記來指示相同或相似的元件。盡管可能描述了本發明的實施例，但修改、改編、以及其他實現是可能的。例如，可對附圖中所示的元素進行置換、添加、或修改，并且可通過對所公開的方法置換、重新排序、或添加階段來修改本文中所描述的方法。因此，下文的詳細描 述不限制本發明，相反，本發明的合適范圍由所附權利要求來限定。根據各實施例，根據所記錄的語音和/或音頻輸入生成的任務項可被自動地填充到任務應用用戶界面中。另外，列表項，例如必要列表項(例如供應、雜貨列表等)、“待完成”列表項、日程列表項等，可根據所記錄的輸入來生成，并且可被填充到記錄設備(例如移動電話)上的、或向其分發列表項的任何其他移動或固定計算設備上的列表創作表面中。圖1-7的描述旨在生成、顯示和使用與任何應用和計算設備相關聯的列表創作表面和任務界面。圖8-13的描述旨在生成、顯示和使用與根據所記錄的語音和/或其他音頻內容生成的列表和任務相關聯的列表創作表面和任務界面。圖14-16的描述旨在可用其實施本發明的各實施例的操作環境。隨后參考圖1，列表創作表面的列表用戶界面120可被用作與用于手動或自動輸入列表項的一個或多個軟件應用顯示相關聯的電子備忘錄、小紙片、記事本、便簽等，所述列表項諸如用戶可能原本記在一張紙、記事本或其他介質上以將被認為對用戶來說重要的這種信息保持在最前面或提醒用戶的任務、事件、活動、或其他信息片段。除了將信息輸入到用戶界面120以外，用戶界面120可用于快速捕捉來自被打開的文檔的信息以及與被打開的文檔相關聯的信息，使得用戶不必為了啟動任務輸入用戶界面而離開當前應用。實際上，列表創作表面用戶界面(UI) 120可以與各種電子文件(諸如，電子文檔、電子郵件項、照片和其他圖像、聯系人項、社交聯網信息等)相關聯。除了這些內容項以外，列表創作表面還可以與在一個或多個任務方面輔助用戶的電子地圖相關聯。例如，如果用戶在超級市場中，使列表創作表面與位置信息相關聯可用于觸發對他/她需要購買的東西的提醒。如圖I所示，可在列表創作表面Π 120中提供用于編輯或以其他方式操控Π 120中包含的信息的一個或多個功能按鈕或控件125、130、135、140。例如，控件125可用于“核對”已完成的任務，控件130可用于添加額外的任務、事件或其他信息，控件135可用于導入信息或用于將信息注釋為要在用戶界面120中存儲或顯示，并且各種其他控件140可被提供用于對用戶界面120中包含的信息進行的其它類型的編輯、分類、過濾、搜索等。根據各實施例，對與任務或列表項相關聯的一個或多個功能控件的選擇可導致用與所選功能控件相關聯的元數據來標記任務或列表項，所選功能控件可用于隨后處理任務或列表項，如下面所述的。根據一實施例，一個這種控件可用于設置計算機，有了該計算機，列表創作表面被用作“勿打擾”模式，使得當“勿打擾”模式被激活時，沒有新的電子郵件項、即時消息通訊(IM)項、或其他令人分心的內容會到達列表創作表面。另一個這種控件140可允許對當前所顯示的任務應用“打盹”模式，使得改為顯示一個新的任務，并使得用戶將不必決定如何處理“打盹”任務。即，用戶能夠通過應用“打盹”模式來保持任務。另外，“打盹”模式可用于過濾掉僅與當前任務不相關的信息。例如，如果用戶將“打盹”模式應用到任務“計劃道德事件”，并且如果用戶的當前任務是“重新設計產品”，且用戶從他的/她的主管收到關于該項目的電子郵件，則可以顯示關于任務“重新設計產品”的電子郵件，而可以不向用戶顯示關于“計劃道德事件”任務的電子郵件。根據一個實施例，代替使用“勿打擾”或“打盹”功能，列表創作表面的功能可以檢測例如用戶何時忙于在電話上交談、準備文檔、玩電子游戲等，并且列表創作表面可以自動地保留“打盹”功能直到用戶有空。另外，用戶可以能夠在他們知道他們何時不忙時(例如， 下一個小時、明天、下周等)決定他們可以何時接收提醒。現在參考圖2，在示出各種列表項的擴展表中示出列表創作表面用戶界面120，列表項例如通過信息捕捉已經手動地或自動地輸入到列表創作表面中的任務、事件、活動或其他信息片段。例如，第一條目“關閉噴灑系統”220說明了一個任務，用戶可將該任務輸入到列表創作表面用戶界面120中以在用戶回家時提醒他處理該任務。對于另一個示例，第二條目“重新設計產品”225被示為具有與主任務225相關聯的多個子任務230。在LAS UI120中顯示的各項可根據一個或多個指定的顯示排列來顯示，例如基于規定的執行時間、最近的在頂部、用戶指定的前5項等。這種顯示排列也可應用于下面參考圖3所描述的透視顯不O有利的是，將信息輸入到列表創作表面Π 120中并編輯信息是容易且高效的。例如，可以用與將項目符號列表項輸入到文字處理文檔中相類似的方式將信息鍵入到Π中。即，用戶可以輸入一項，選擇“回車”鍵、“制表符”鍵等，而接下來的條目將被置于Π 120中的下一行或下一句子，但仍具有任何所應用的元數據的優點的全部。例如，LAS Π可以被格式化，使得簡單的回車或制表符選擇可在所輸入的列表項中創建可對用戶有益的分層結構。例如，用戶可以輸入第一任務“計劃餐會”，隨后是回車或制表符，接下來是條目“預訂餐廳”，隨后是另一個回車和條目“查看菜單供應”。通過對所輸入的項應用分層結構格式化，后兩項可被自動地列在第一項下面并相對于該第一項縮進，以在各項間創建所顯示的分層關系。根據各實施例，一旦數據或其他信息被填充到列表創作表面Π 120中，元數據(例如，短語“O團隊”235)就可被應用到關鍵詞、關鍵術語、關鍵短語、或其他信息成分，以允許對Π 120中包含的文本或信息的結構化、編輯、過濾、搜索、分類或其他自動化操控。例如，元數據“O團隊”235可被應用到任務“會見Contoso團隊并評估他們能支持我們的區域”，以指示示例任務是將由給定團隊完成的一個或多個任務中的一個。相反，元數據EriCGrUber”240被應用到任務“為下一次回顧設置會議”，以指示該任務與特定的人相關聯。
根據各實施例，可經由如下面參考14-16所描述的各種輸入手段將這種元數據應用到各種類型的信息項和成分。例如，可經由鍵擊輸入、觸摸屏輸入、語音或其他音頻輸入、姿勢輸入(其中相關聯的計算設備配備有用于捕捉和解釋用戶姿勢的檢測(例如，相機)功能)來輸入和應用任務和列表項以及所應用的元數據。例如，根據本發明的一個實施例，可通過用戶發言來應用元數據項，其中用戶說出如此處描述的用于應用到給定任務或列表項的這種元數據項。許多其它類型的元數據可被應用到列表創作表面Π 120中的信息。例如，雖然示例的符號在上面用于將任務與人或小組相關聯，但“#”符號可用于用隨機的元數據來標記任務或其他信息。對于其他示例，“$”能用于標記貨幣信息，“&”符號能用于標記日期或時間。應當理解，可以使用大量的這種元數據類型和符號中的任一個，并且前述僅出于示例的目的。有利的是，這種元數據項235、340可以與列表創作表面UI中的信息相關聯，而不輸入另一個文本或數據輸入字段、或不啟動任何其他用戶界面組件。還應當理解，被應用到列表創作表面Π 120中的各種信息的這種元數據將允許對Π 120中包含的信息進行分 類、搜索、過濾或其他方式的操控。例如，使用元數據團隊”235可允許對將由與元數據
團隊”相關聯的團隊成員執行的全部任務、事件、或其他信息片段的分類，或對同與元數據“O團隊”相關聯的團隊成員相關聯的全部任務、事件、或其他信息片段的分類。除了使用被應用的元數據來允許操控列表創作表面Π 120中的信息以外，被應用的元數據還可用于添加或操控其他用戶的其他列表創作表面Π中的數據。例如，根據一實施例，如果第一用戶在她的列表創作表面UI中輸入或捕捉給定的信息片段，并隨后將諸如“OSarah”的元數據項應用到該信息，則“Sarah”現在可具有被自動填充到她的列表創作表面Π中的已標記的信息，使得她也能看到已標記的信息。另一方面，其他用戶(例如，上面示例中的Sarah)可以選擇完全退出此功能，選擇成為特定類別的任務或列表項的一部分，或在稍后日期選擇與該功能相關聯。因此，如果將一項與另一用戶相關聯的元數據被應用到該項，則可基于其他用戶所選擇的訪問或隱私設置來限制功能的應用。應當理解，幾乎無限量和類型的元數據可被應用到被輸入到列表創作表面中的各種信息片段。例如，諸如日期、時間、位置、姓名、地址、電話號碼、文字數字、音頻、視頻等的這些元數據項可被應用到一個或多個詞語、短語、數據、文件等，以允許將來對列表創作表面中包含的信息進行編輯、分類、搜索或操控。例如，如果元數據類型“日期”被應用到列表創作表面Π 120中包含的全部日期，則這種元數據可用于標記Π 120中包含的日期，以允許用戶基于日期來過濾、分類或搜索Π 120中包含的數據。例如，用戶可能期望按日期對UI 120中包含的全部信息進行分類，以允許該用戶快速地查看正在發生或應當在今天執行的那些任務或事件。可以自動地應用某些類型的元數據。例如，可基于諸如與任務或列表項相關聯的日歷條目等可用信息來自動地應用日期和時間信息。對于另一個示例，位置信息，諸如與GPS系統相關聯地應用的位置信息，可被應用到任務或列表項，該任務或列表項可用于在用戶位于相關聯的位置附近(例如，在與雜貨列表相關聯的超級市場附近)時生成對用戶的提醒。除了將元數據應用到一個或多個詞語、短語或其他信息片段以外，自然語言處理可用于標記列表創作表面中包含的信息和/或將元數據應用到列表創作表面中包含的信息。例如，如果諸如“星期五下午6點在Bob的披薩店碰面”的短語被輸入到列表創作表面用戶界面120中，自然語言處理器可被應用到該短語以解析詞語來確定各詞語中的任一個是否與特定的信息或數據類型相關聯。例如，可以解析示例任務項中的每個詞語或多個詞語的組合，以確定是否包括任何特定的信息類型。例如，詞語“Bob的披薩店”可被標記為企業名稱，時間“下午6點”可被標記為時間，并且天“星期五”可被標記為特定的一天。自然語言處理器可以將這些短語解析成一個或多個詞語，并且這一個或多個詞語可用于搜索詞語的字典或存儲，以供將經解析的詞語與各個已知詞語(諸如餐廳名稱、時間、天等)進行匹配。一旦自然語言處理器將特定詞語或短語標識為屬于信息類型，可用元數據來標記那些詞語或短語，使得這些詞語或短語可用于搜索、分類、過濾、編輯或以其他方式操控信息，如上所述。除了對所列出的信息的這種操控以外，允許對所列出的信息進行操作同樣重要。例如，功能按鈕和控件可被展示在列表創作表面Π中，以允許針對所列出的項的動作。例如，列出聯系人項(諸如“Bob的披薩店”)可導致列出當被選中時使得電話程序呼叫所列出的聯系人的“呼叫”按鈕、或當被選中時可允許向聯系人發送電子郵件或文本消息的“電子郵件”、“文本”或類似的按鈕等。根據各實施例，這種電話程序是可以通過私人號碼來訪問的。即，如果用戶想要通過導航各個菜單來呼叫該私人號碼并聽到他的/她的全部記錄，則·他/她可以這樣做。這種功能出于安全目的可能是有用的，例如，如果用戶無法使用他的/她的主計算設備，則他/她可以訪問已記錄的任務和列表項。應當理解，可以為所列出的各項展示許多其它類型的動作控件。例如，可以展示用于向聯系人文件夾添加所列出的姓名和相關彳目息的控件等。根據各實施例，與任務或列表項相關聯的可被允許的其他動作包括經由社交網絡(像FACEB00K)向其他人發布那些項。因此，可經由一個或多個合適的命令(包括語音命令)、或經由元數據的應用向各個其他用戶發布經由一個或多個手段(包括語音捕捉)捕捉的任務或列表項，如此處所描述的。另一方面，用戶可以輸入私人的任務或列表項，包括對加密、口令、生物測定標識等的應用，使得只有正在輸入的用戶或指定的其他用戶可以訪問那些項。除自然語言處理以外，可以使用識別和利用特定信息片段的其他方法。例如，其他方法可包括解析文本或數據，并將所解析的文本或數據傳遞給一個或多個識別器模塊。其他方法還可包括使用數據分析來分析服務器上的所有數據，并示出自動完成或其他信息(例如，輸入“圣誕節”的每個人也碰巧用“#假期”來標記它，也許用戶，你，也想要這樣做)。另外，可以使用搜索，例如，輸入“Bob的披薩店”將通過進行搜索并看到“Bob的披薩店”實際上是具有相關聯的URL (諸如www. bobspizzaparlor. com)的餐廳,來引起檢測/標識。根據各實施例，除元數據標簽以外，包括其他形式的元數據的其他列表項屬性可被應用到輸入到列表創作表面中的列表項。例如，諸如團隊屬性、個人屬性、日期屬性、時間屬性、位置屬性、姓名屬性、地址屬性、電話號碼屬性、字母數字屬性、音頻屬性、視頻屬性等列表項屬性可被應用到給定的列表項。應當理解，列表項屬性可以是可擴展的以及可定制的，例如，價格屬性、購物清單上的東西在商店中的位置等。例如，可以用列表項屬性個人姓名(諸如“Joe”)來額外地注釋列表項團隊I于下午2點碰面來討論項目”，以創建經修改的列表項團隊I于下午2點在Joe的辦公室碰面來討論項目”。列表創作表面隨后可將第一元數據項“O團隊I”與列表項屬性“下午2點”和/或“Joe的辦公室”相關聯以生成任務，以供在是團隊I”的成員的全部用戶的列表用戶界面120中顯示。這些元數據項與列表項屬性的關聯可允許更有效地使用該任務。例如，所得的任務項可允許列表創作表面檢索關于“團隊I”的成員的信息，例如日歷信息，以確定成員是否在“下午2點”有空，和/或列表創作表面可以檢索聯系人信息以確定“Joe的辦公室”的位置。這種信息可作為從所得的任務透視出的項被自動地添加到列表創作表面120。應當理解，這些只是元數據項可與其他列表項屬性相關聯以增強列表創作表面中的任務項的有效性的許多方式的示例。如上所述，被輸入到列表創作表面Π 120中且根據一個或多個元數據類型、列表項屬性來標記或分組的、或與自然語言處理器相關聯地被標記或分組的信息隨后可按照各種有幫助的方式(包括所得任務的生成和顯示)來利用。例如，被應用到任務、事件、活動或其他信息片段(此后稱為“任務”)的日期和/或時間注釋或標記可用于根據任何所應用的元數據或列表項屬性(例如，日期/時間、人、團隊等)來操控(例如，編輯、分類、搜索或以其他方式操控)列表創作表面中包含的任務和相關信息。另外，可在事件時間線中組織用日期和/或時間元數據注釋的任務，并且該任務可被進一步注釋以幫助用戶沿著規定的時間線完成或以其他方式處理任務。如此處提到的，時間線可被廣義地定義為包括任何時間表示， 包括日期、時間、日歷信息、季節、年份等。例如，特定的任務可能具有規定的期限，例如，用戶可能無法移動的在特定日期和時間的醫生的約會。其他任務可能需要在規定的日期/時間范圍期間(例如，星期五下午6點之前的某個時間)完成或處理。根據本發明的各實施例，這種日期和/或定時信息可被應用到輸入到列表創作表面用戶界面120中的任務，以將“模糊性”應用到用戶界面中包含的任務的定時方面。例如，如果兩個任務必須在給定的一天的非常特定的時刻完成或以其他方式處理，則可用元數據來注釋那些任務，該元數據允許用戶基于所應用的規定日期/時間來分類、搜索、或以其他方式操控那些項。另一方面，如果一個或多個其他任務必須在同一天完成，但可以在給定結束時間(例如下午6點)前的任何時間完成，則可用一元數據類型來注釋那些任務，該元數據類型允許那些項在與必須在該規定日子完成或以其他方式處理的任務相關聯的事件時間線中移動，只要完成或以其他方式處理那些項的時間不超過規定的最后的時間限制(例如下午6點)。對于另一個示例，如果用戶想要在上午修剪他的/她的草坪并在晚上去一家特定的餐廳，則列表創作表面可允許以與使用紙質日歷相同的方式來捕捉像“上午”和“晚上”的時刻，它們可將修剪活動放在那天的框的頂部，并將餐廳名稱放在那天的框的底部，任一個都沒有特定的時間。根據一實施例，隨后，對列表創作表面UI 120中包含的列表項的分類、搜索或以其他方式的操控可針對具有規定日期/時間的列表項來完成，或可針對具有寬松或模糊的日期/時間的列表項來完成、或其組合來完成。為了進一步描述規定日期/時間以及寬松或模糊的日期/時間，參見2006年6月7日提交的題為“Entering and Using Time Ranges (輸入并使用時間范圍)”的美國專利序號11/422,837,以及 2007 年 I 月 23 日提交的題為 “FlexibleElectronic Calendar Integrating Tasksand Appointments (靈活的電子日歷集成任務和約會)”的美國專利序號11/625，914, 二者通過引用整體結合于此。列表創作表面UI 120可向用戶提供提醒以完成或以其他方式處理列表創作表面UI 120中包含的任務，并且包括與規定日期/時間相關聯的元數據以及與寬松或模糊的日期/時間相關聯的元數據可用于向用戶提供更加真實的體驗。例如，對即將到來的規定的日期/時間(例如，特定的約會)的提醒可以是一種類型的提醒，而與寬松或模糊的日期/時間相關聯的各種提醒，同與規定日期/時間相關聯的提醒相比，可能是不那么緊急的一種不同類型的提醒。另外，與寬松或模糊的日期/時間相關聯的任務可在給定一天的安排中自動地浮動，直到接近規定的結束點(例如不晚于下午6點)。因此，與寬松或模糊的日期/時間項相比，與規定的日期/時間項相關聯的提醒可以按照更接近地近似于用戶如何通過在小紙片、記事本、便簽等上記下各項來提醒他自己或她自己這些項的方式來完成。如下面更詳細地描述的，可以與多個軟件應用和數據相關聯地部署列表創作表面用戶界面120，該數據與不同的軟件應用類型相關聯。例如，列表創作表面可用于從各種電子文件接收信息或捕捉信息，電子文件諸如文字處理文檔、電子表格應用文檔、幻燈片演示應用幻燈片、因特網瀏覽器內容、社交媒體站點內容、視頻應用、音頻應用、電子墨跡(例如用指示筆和電子書寫板電子地書寫)、照片、電子郵件項、日歷項、來自其他任務的任務項、語音到文本文件等。另外，為列表創作表面存儲的信息可由其他應用用來增強列表創作表面的功能。 考慮以短語“星期五下午6點在Bob的披薩店碰面”形式的被輸入或捕捉的示例任務。如上所述，一旦對條目中的各個詞語或短語進行解析、識別、注釋或以其他方式用元數據標記，那些被標記的項就可由其他應用用來增強列表創作表面的功能。例如，企業名稱“Bob的披薩店”可被傳遞到一軟件應用，以確定Bob的披薩店的位置。Bob的披薩店的位置進而可被傳遞給用戶的全局設備(例如，電話、個人數字助理等)的全球定位系統(GPS)機制，與條目“星期五下午6點”相關聯的時間可被傳遞給用戶所使用的日歷功能，并且可因此利用短語中感興趣的任何其他詞語或短語。現在繼續該示例，如果用戶離開他的或她的辦公室并且正在使用他已經部署了列表創作表面UI 120的移動設備，如下面將描述的，當用戶接近示例“Bob的披薩店”的位置，或當用戶接近指定時間“星期五下午6點”時，或二者的組合時，可經由他的移動設備向該用戶提供提醒，在“Bob的披薩店”碰面的時間正在接近，或者“Bob的披薩店”的位置正在接近，或上面的組合。對在場數據(例如由信號強度或GSP定位所確定的移動設備的位置)的使用也可用于將列表創作表面中的信息或任務提醒與其他相關信息(諸如日歷項、會議位置等)相關。另外，如果會議提醒與特定的人或特定組的人相關聯，則列表創作表面可以查詢聯系人應用以得到該一個人或多個人的聯系人信息，并使該信息通過列表創作表面UI 120可用。對于另一個示例，如果用戶輸入與編輯給定文字處理文檔的特定部分相關聯的任務，則與該特定文檔的標識相關聯的元數據可被應用到輸入到列表創作表面用戶界面120中的任務。當用戶接下來打開指定的文字處理文檔時，提醒可以出現在列表創作表面Π120中以提醒用戶文字處理文檔中的特定段應當被編輯。根據一個實施例，如果這個文檔尚未被打開，如果用戶看到編輯所標識的文檔的提醒，則可通過選擇列表創作表面UI 120中標識的文檔直接從Π120打開該文檔。仍然參考圖2，可在用戶界面120中展示除了上文中參考圖I所描述的那些功能按鈕和控件以外的一個或多個功能按鈕和控件。提醒功能210可允許用戶在Π 120中標記給定的任務或信息項，以設置期望的提醒日期/時間。私人通知功能215可允許用戶將給定任務或信息項標記為“私人的”，使得該任務或信息項不會通過其他用戶的列表創作表面用戶界面展示給其他用戶。應當理解，功能210和215只是可在列表創作表面Π 120中展示以將有用的元數據或功能應用到Π 120中列出的任務或信息項的許多功能的示例。圖3是示出從所選任務項透視出的信息列表的圖2的列表創作表面用戶界面120的簡化框圖。應當理解，對于被輸入到列表創作表面中的任何單個任務或其他信息片段，一個或多個子任務、子事件或子信息項可以被輸入并與任何之前輸入的任務相關聯。例如，參考圖3，已經與父任務“重新設計產品”225相關聯地輸入各種任務或其他信息片段315、320根據一個實施例，對父任務225的選擇允許在列表創作表面用戶界面120內啟動透視表310，以顯示與父任務225相關聯的子任務315、320。如果用戶界面120的可用大小只提供對固定數量的任務、事件、活動或其他信息片段的初始顯示，則示出“更多”按鈕330以允許在所選擇的父任務225下面顯示額外的子任務。根據一個實施例，可以顯示指定的最大數量的被顯示子任務(例如5個子任務)，以將用戶的焦點保持在“前”幾項重要任務上。應當理解，可像主用戶界面120中包含的信息的情況那樣來過濾、搜索、分類或以其他方式操控透視表310中顯示的子任務信息。
圖4是可在其中實施本發明的各實施例的計算架構的簡化框圖。參考圖4，臺式或膝上型計算機405說明了用戶用于輸入、捕捉或以其他方式利用與此處描述的列表創作表面相關聯的數據的任何固定計算設備。移動設備410說明移動電話、個人數字助理、無線連接的膝上型計算機、板式或平板計算設備、或用戶可用其在移動環境中利用列表創作表面的任何其他計算設備。分布式計算網絡415說明了允許計算設備405、410經由遠程服務器420與一個或多個應用或數據庫通信的任何適合的手段，例如，因特網、企業內聯網、基于家庭的內聯網等。服務器420說明了作為遠程服務器來操作的通用計算設備，可在其上維護列表創作表面的功能以允許該列表創作表面跟隨用戶從一個設備405到另一個設備405到移動設備410，或者到如此處所述的可在其上部署列表創作表面Π120以供使用的任何其他設備。根據一個實施例，與列表創作表面相關聯的全部功能和數據存儲以及相關聯的用戶界面120可采取列表創作表面應用或模塊100的形式，該列表創作表面應用或模塊具有用于執行此處描述的功能的充足的計算機可執行指令。列表創作表面應用或模塊100和/或(下面描述的)語音記錄和處理應用101可以駐留在單個計算設備405或410上，以供與設備405和410可以訪問的數據相關聯地使用。或者，可在遠程服務器420處維護和操作列表創作表面的功能和相關聯的數據及其相關聯的用戶界面120，如圖4所示。列表425、1015說明了可通過設備405或410本地地訪問或經由服務器420訪問的數據庫列表或表格，可在服務器420處維護手動地或自動地輸入到列表創作表面中且經由相關聯的用戶界面420顯示的信息。應當理解，如果用戶不在分布式計算環境中，則列表425、1015以及相關聯的已存儲數據可被存儲或高速緩存在本地計算設備405、410上。SP，根據一個實施例，列表創作表面的每次實例化可導致生成在數據庫中維護的列表表格425、1015，該數據庫被本地地存儲在計算設備405、410上或與服務器420相關聯地存儲。在列表425、1015中，每個任務、事件、活動或其他信息片段可被指派到并存儲在列表425、1015的給定行中。除了存儲每個各自的條目以外，標識被應用到各個條目的注釋的信息(例如，元數據)或其他標識信息可與相關聯的信息條目一起被存儲在列表425、1015中。另外，如果信息與其他數據(例如，文檔、日歷項、電子郵件條目)相關聯，或者如果條目與其他信息(例如，全球定位系統位置數據、日期/時間數據等)相關聯，則標識這些關聯的信息也可被存儲在列表425、1015中的行上、或與被手動地或自動地輸入到列表創作表面中的每個相關聯的任務、事件、活動或其他信息片段一起被鏈接到不同的列表425、1015。當向列表創作表面用戶界面添加新的數據時，或者當改變列表創作表面中的數據時，或者當列表創作表面中包含的數據與其他信息相關聯時，更新存儲在列表425、1015中的數據。根據替換實施例，可根據除上面描述的數據庫行以外的各種不同的手段來存儲列表項425、1015和相關聯的數據。例如，列表項和相關聯的數據可被存儲為跨列表創作表面可用或可訪問的多個鏈接列表、表格等的可擴展標記語言(XML)表示或類似的表示。仍然參考圖4，示出了列表創作表面可用的各種信息源。例如，來自聯系人應用或數據庫430的信息可用于獲得輸入到列表創作表面中的信息。可類似地從日歷應用435和相關聯的數據存儲中獲得信息。如下面將描述的，來自電子郵件應用和相關聯的內容440的信息可用于填充列表創作表面。來自各種文檔445，例如文字處理文檔、幻燈片演示文檔、電子表格應用文檔等的信息可用于將數據填充到列表創作表面。墨水應用450說明了用于 例如通過指示筆與電子書寫板的接觸來允許數據輸入的電子筆和墨水應用。照片應用/存儲455說明了照片可通過其來獲得并被復制到或被移至列表創作表面的任何應用或數據存儲。音頻/視頻應用和存儲460說明了用于獲得音頻或視頻文件的一個或多個手段，例如，通過數字或模擬記錄設備或相機來操作的記錄機制(諸如通過移動電話等可用)。用于列表創作表面的內容也可來自因特網瀏覽器、社交媒體站點、或其他源465。應當理解，來自用于電子地移動或復制或以其他方式輸入數據的任何其他可用源的數據和信息可用于使用任務、事件或感興趣的其他信息來填充列表創作表面及其相關聯的用戶界面120。雖然圖4中所示的各個數據或信息被示為與服務器420相關聯，但是這些數據和/或信息源中的每一個還可以與本地計算設備405、410直接相關聯和/或被直接存儲在本地計算設備405、410。另外，根據各實施例，信息從一個或多個源到列表創作表面不是單向通信。即，根據各實施例，列表創作表面和/或各個任務列表或任務列表項可被鏈接到源，從該源(例如，文字處理文檔)獲得任務列表項，并且可將來自任務列表的信息推回到該源。例如，如果任務項形式的信息片段位于LAS UI 120中，則該信息可被推回到它所來自的源。應當理解，各種機制可用于將信息推回到源。到源的路徑可以與每個相應的任務列表項相關聯。對任務列表項的選擇可導致用于將所選項推回到源和/或用于啟動源文檔的可選擇按鈕或控件被展示在LAS UI 120中。圖5是示出列表創作表面界面120以及與所顯示的文檔相關聯的列表創作表面信息輸入組件510的簡化框圖。如上所述，信息可通過下面描述的信息捕捉被手動地或自動地輸入到列表創作表面用戶界面120中。如圖5所示,示例文檔530被示出與示例文字處理應用相關聯地顯示在計算機監視器顯示屏幕500上。根據本發明的各實施例，列表創作服務用戶界面120的擴展版本可如上面參考圖2和3所示和所描述的來部署，以供輸入包括關于所顯示的文檔530或與之相關聯的信息的任何期望的信息。根據另一個實施例，可以與列表創作表面用戶界面120相關聯地部署列表創作表面信息輸入組件510，以供輸入和注釋關于列表創作表面Π 120中的給定任務或信息項的數據。列表創作表面信息輸入組件510可被部署成用于創作文檔530的應用(例如，文字處理應用)的一部分，或者輸入組件510可被部署成與文檔鄰近地啟動的單獨的輸入應用，以供輸入和注釋關于給定任務或列表項的數據。根據圖5所示的示例，列表創作表面信息輸入組件510已與任務“重新設計產品”相關聯地啟動，并在列表創作表面Π 120中顯示。列表創作表面信息輸入組件510包括標題部分，用于提供數據以標識正被輸入的、與列表創作表面中包括的給定任務、事件或其他信息片段相關聯的信息。例如，與任務“準備廠商建議”相關聯地標識圖5中所示的列表創作表面信息輸入組件510，該任務是父任務“重新設計產品”的子任務。列表創作表面信息輸入組件510的標題部分的下面是評論部分520，用于允許用戶輸入評論，評論可以是與示例子任務相關聯的額外的任務、事件、活動或其他信息。例如，在評論部分520中輸入的評論可以是子任務“準備廠商建議”的子任務，或者在評論部分520中輸入的評論可以就是提醒用戶相關聯的子任務的各個方面的評論。提供用于允許將其他內容項(例如，文檔、音頻文件、視頻文件、或其他內容類型)與示例任務或子任務相關聯的內容部分525。在列表創作表面信息輸入組件510的底部示出用于將一個或多個人、多組人或團隊與子任務相關聯的“人”部分例如，如上面參考圖2所描述和所示的，可與元數據標簽團隊”235相關聯地使用的團隊分組可被應用到給定 的任務或子任務。其他分組或各個人可類似地與輸入到列表創作表面100及其相關聯的Π120中的一個或多個任務或子任務相關聯。應當理解，列表創作表面信息輸入組件510中示出的配置、布局和字段只是出于示例的目的，并且不對可在列表創作表面信息輸入組件510中提供的其他文本、數據條目或數據注釋字段或部分進行限制。仍然參考圖5，在顯示屏幕500上顯示的文檔530說明了任何文檔，諸如可在顯示屏幕500上顯示的文字處理文檔、電子表格文檔、幻燈片演示文檔、記事本文檔、任務文檔、日歷文檔等。如圖5所示，文檔530正由用戶以某種方式來處理，并且用戶決定經由列表創作表面信息輸入組件510向列表創作表面100輸入關于所顯不的文檔的信息。例如，當用戶正在編輯所顯示的文檔時，用戶可以記起應當執行與所顯示的文檔中參考的項目相關聯的一個或多個任務。因此，通過啟動列表創作表面用戶界面120并隨后啟動列表創作表面信息輸入組件510，用戶可以插入任務、評論、內容項，或將文檔、或文檔的部分、或與文檔相關聯的任務與一個或多個人、多組人或多隊人進行相關，就像用戶可能在小紙片或便簽上手寫這些備忘錄或注釋以提醒該用戶接下來處理那些事情。根據一個替換的實施例，在文檔530被打開時將任務或其他信息輸入到LAS UI 120中可能導致被輸入到Π 120中的任務或其他信息被自動地關聯到該文檔(即，表示該文檔的元數據可被應用到所輸入的任務或其他信息)。根據一個實施例，在其他創作應用(諸如電子郵件應用和記事本應用)中創作或以其他方式創建或捕捉任務列表或其他信息可被存儲在本地計算設備405、410上的列表創作表面中、或通過服務器420被遠程地存儲在列表創作表面中。如此處所描述的，隨后可將這些任務列表或其他信息與用戶已經輸入或捕捉到他的/她的列表創作表面中的信息進行同步，且可被顯示在LAS UI 120中。例如，LAS UI 120可部署在像因特網瀏覽器、電子郵件客戶端應用、文字處理應用、筆記應用、日歷應用等其他應用內部或與其相關聯地部署，并且輸入與那些應用之一相關聯的列表項可以填充LAS UI 120并與其他用戶的LASUI120相關聯。例如，用戶可在用戶正在生成以便邀請其他人參加餐會的電子郵件項內鍵入要帶到餐會的項目列表，隨后那些項可以自動地出現在用戶的列表創作表面Π 120中。如果用戶的LAS UI 120與其他用戶的LAS Π相同步，則當其他人更新電子郵件時他/她隨后可以能夠看到其他人帶什么到聚會上。另外，可以提供自動完成功能，其中可以基于該用戶或其他用戶過去已經輸入或捕捉的其他項來自動完成新的項和子列表。例如，當為旅行打包時，如果用戶鍵入“打包”，則可以為他的/她的列表自動地建議用戶過去針對“打包”的全部子項，這樣，他/她就不必重新鍵入或重新記起它們。并且，可通過當前用戶的LAS UI 120向他/她展示其列表創作表面與當前用戶相關聯的其他人(例如，用戶的社交網絡)的打包項。這可以使用搜索來處理當前用戶或其他相關聯的用戶的許多現有任務。根據一個實施例，列表創作表面可以自動地隱藏一些項或信息，使得列表不會太長。例如，當一個列表項已經位于用戶的列表上超過兩周、或超過到期日期兩周時，它會自動地隱藏，使得用戶不會對他/她尚未完成的事情或他/她不打算完成的事情感到不安或罪惡。或者，可在每項被添加時對其自動地設置期滿日期，使得在期滿日期過了之后那些項從顯示器中被隱藏。·
如上面參考圖4所示和所描述的，列表創作表面100及其相關聯的用戶界面120可在固定的計算系統405中使用，或者可與一個或多個移動設備410相關聯地利用列表創作表面。有利的是，如此處所描述的，存儲在與服務器420相關聯的列表425、1025中的列表創作表面中的信息可以跨各種應用來部署，并且當用戶正在行進中時在用戶的移動設備上部署。因此，實際上，列表創作表面通過使得列表創作表面及其相關聯的用戶界面120在用戶的移動計算設備(諸如移動電話、個人數字助理、板式或平板類型計算設備、無線游戲設備等)上部署，來允許用戶在他或她離開臺式操作環境時攜帶電子版本的“待完成”列表。根據各實施例，列表用戶界面可從遠程服務器420導入到固定的計算設備405以及移動計算設備410。當在列表用戶界面中顯示任務時，可在固定的計算設備上和移動計算設備上顯示該列表用戶界面的實例化。當對遠程服務器處的列表用戶界面中的任務進行改變時，將改變以在固定的計算設備上和移動計算設備上顯示的列表用戶界面的新的實例化的形式傳遞給固定和移動設備。另外，當對固定或移動計算設備處的列表創作表面Π 120中的任務進行改變時，這些改變可被向上傳遞給遠程服務器420處的列表創作表面和相關聯的數據存儲。圖6和7示出在移動環境中使用列表創作表面及其相關聯的用戶界面。如圖6所示，列表創作表面用戶界面620說明了如上所述的、在移動電話410的顯示屏幕615上部署的移動版本的列表創作表面UI 120。就像如上參考圖I到圖5所述的用戶可以在他的或她的計算機或膝上型計算機的顯示屏幕上部署列表創作表面用戶界面120，用戶也可在他的或她的移動設備上部署列表創作表面用戶界面620，以利用與可在固定計算環境中利用的相同的功能。參考圖7，如果用戶啟動圖6所示的列表創作表面用戶界面620，則可在用戶的移動設備的顯示屏幕上啟動“待完成”列表，以允許用戶查看一個或多個任務、事件、活動或其他信息，或允許用戶輸入額外的信息、編輯現有信息、或以其他方式操控現有信息。如果用戶確實經由他的或她的移動設備編輯了或以其他方式操控列表創作表面用戶界面中包含的信息，則經修改的信息可通過服務器420被存儲在列表425、1025，并且下一次用戶在他的或她的固定的計算設備上部署列表創作表面用戶界面120時，通過用戶的移動設備對包含其中的信息進行的那些改變或修改將出現在相對于用戶的固定計算環境中的一個或多個其他應用而部署的用戶界面120中。另外，移動設備410可用于快速捕捉可被直接導出到列表創作表面的信息。例如，移動電話的相機功能可用于拍攝可被自動導入到列表創作表面的照片。對于另一個示例，來自移動設備410或來自具有全球定位系統(GPS)或其他位置確定系統的任何移動計算設備(例如，膝上型計算機)的GPS數據可相對于特定的位置或地址被捕捉，并且可被導入到列表創作表面。如上面參考圖1-5所描述的，任務項和列表項可被手動地輸入或以其他方式被捕捉以輸入到列表創作表面，該列表創作表面可以跨多個應用且跨多個有線、無線、固定和移動計算設備(包括圖6和7中示出的移動計算設備410)來顯示。根據本發明的各實施例，如此處描述的，任務和列表項可經由語音或音頻輸入來捕捉，以在捕捉設備(例如移動電話)上或在任何其他有線或無線計算設備上的任務用戶界面或列表創作表面用戶界面中顯示。
例如，當用戶正在駕駛時、當用戶正在行進中時，任務或列表項可經由語音或音頻輸入來捕捉，并且可以捕捉長的列表項而不需要用戶的視線從主要的焦點項移開。可用對捕捉設備(例如移動電話)的最小觸摸和/或交互來執行對這種信息的捕捉，并且可以執行對信息的捕捉而不必在輸入各個任務或列表項之間暫停。另外，有關所捕捉的感興趣的項的決定或動作可被推遲到查看所捕捉的信息對用戶來說更合適的一捕捉后時間。例如，用戶可能需要為即將到來的辦公室午宴前往本地雜貨商店以購買各種東西。根據本發明的各實施例，用戶可查看他的/她的冰箱或碗櫥，并可將示例辦公室午宴所需要的東西列表記錄到他的/她的移動計算設備(例如移動電話)上。在記錄所需要的東西列表之后，所記錄的列表可在記錄設備上本地地或遠程地被自動轉錄，并且所轉錄的列表可被自動地填充到任務列表或列表創作表面中，以供用戶隨后查看。另外，根據各實施例，如果需要，所記錄的輸入的音頻文件可被附連到或以其他方式關聯到所轉錄且被顯示的列表或任務項，以允許用戶回放該音頻輸入。另外，可根據自然語言處理來處理所轉錄的音頻輸入(例如用戶記錄的語音輸入)，并且元數據可以與所轉錄且被處理的語音或音頻輸入相關聯，以提供對所捕捉的輸入的額外增強。例如，根據自然語言處理，所捕捉的語音輸入“在下午5點之后獲得雜貨東西”可帶來與文本部分“下午5點”相關聯的元數據，以允許為所捕捉的輸入生成可與用戶所使用的電子日歷應用相關聯的任務項，并且可為該任務項生成自動提醒以提醒用戶在下午5點之后獲得期望的雜貨東西。根據各實施例，其他傳感器或檢測手段可用于用元數據來標記任務和列表項。例如，GPS位置系統可用于在任務或列表項被記錄時用位置數據來標記任務或列表項，該位置數據與該任務或列表項相關聯。對于另一示例，時鐘、光傳感器、攝影功能等可用于將一個或多個上下文信息項與所捕捉的任務或列表項相關聯。一旦執行了捕捉、轉錄和處理語音和/或其他音頻輸入，所得的任務或列表項就可被本地地存儲在捕捉設備(例如移動電話)上、或可被遠程地存儲在遠程服務器420上，以便與其他計算設備相關聯地使用，例如，用于通過分布式計算網絡415在用戶的有線臺式計算機405上顯示的列表創作表面中使用，如上面參考圖4所描述的。S卩，如此處描述的，根據所記錄的語音和/或其他音頻輸入捕捉、轉錄和處理的任務和/或列表項可按照與用于列表創作表面及相關聯的內容的所描述的相同的方式(上面參考圖1-7所描述的)跨各種計算設備且跨各種軟件應用來使用。現在參考圖8-13，根據各實施例，語音/音頻記錄和處理應用(VRPA) 101可在設備410上本地地操作或者可由本地設備410從遠程服務器420訪問，以獲得此處描述的記錄、轉錄和處理功能。根據各實施例，在設備410捕捉語音或其他音頻記錄之后，該記錄可被本地地存儲在設備410，或者該記錄可被傳遞到遠程服務器420，以根據需要存儲和由設備410隨后檢索。根據各實施例，在捕捉給定的音頻記錄之后，如果用戶認為第一個記錄在某方面是錯誤或不正確的，則VRPA 101可允許重新記錄該音頻記錄。這種重新記錄可以整體進行，或者可以重新記錄所捕捉的音頻的多段或多行。例如，VRPA可允許回放所捕捉的記錄，并可允許重新記錄該記錄的多個部分或可允許插入額外的音頻記錄。一旦被記錄，這些項就像列表創作表面或其他合適列表中的任何其他輸入項(例如，鍵入的項)那樣表現。即，可按照與其他輸入相同的方式對它們進行重新排序、分類和編輯。而且，被應用這種輸入的元數據可按照如下所述的與其他輸入元數據相同的方式來編輯和利用。
·
轉錄應用可由VRPA 102本地地在設備410處或者遠程地在服務器420處操作，以自動地轉錄所捕捉的語音和/或其他音頻輸入。即，如上面參考圖1-7所描述的，在接收給定的語音和/或音頻輸入之后，輸入可被傳遞到本地或遠程轉錄應用以將輸入轉錄成相關聯的文本輸入，該文本輸入可用于填充任務列表或列表創作表面列表，該任務列表或列表創作表面列表可被顯示在設備410上或可被顯示在一個或多個其他計算機生成的顯示屏上。對所捕捉的語音和/或音頻輸入的轉錄可被本地地存儲在設備410，或者轉錄可被遠程地存儲在服務器420，以作為任務或列表項分發到用戶所使用的一個或多個其它計算設備。或者,轉錄應用可由VRPA 101本地地在設備410和遠程地在服務器420這兩處操作。例如，即時、快速的轉錄處理可本地地完成，而更全面且可能更準確的處理可在增強的處理速度和功能可能駐留的服務器420處完成。另外，代替運行在服務器420上的轉錄應用，應用可運行在另一個設備上，例如，與設備410相關聯的膝上型、板式、平板、或臺式計算機。圖8是示出可用其捕捉語音和/或音頻內容以便生成相關聯的任務或列表項的移動計算設備的簡化框圖。即，設備可用于捕捉用戶說出的語音內容，或者設備可用于捕捉其他音頻內容，諸如音樂、所播放的記錄等。另外，設備410可用于捕捉帶有相關聯的音頻內容的視頻內容。所捕捉的視頻內容的音頻部分可用于生成和注釋此處描述的任務和列表項。圖8中所示的計算設備410說明了任何設備，可用該設備來捕捉語音或其他音頻內容，以生成一個或多個任務或列表項供隨后使用，如此處描述的。根據各實施例，設備410可包括移動電話、板式和平板類型計算機、手持式計算設備、膝上型計算機，或者設備410可包括耦合到音頻捕捉裝置(例如話筒)的一個或多個有線或固定計算設備，以捕捉語音或其他音頻輸入。另外，設備410可包括與在墻表面上呈現對內容的顯示相關聯的計算設備，其中這種計算設備配備有記錄裝置，例如用于接收語音或其他音頻輸入的話筒、或可操作地連接到計算設備410或與之相關聯的電話設備。參考圖8中所示的設備410,示例移動電話被示為具有用于顯示內容的顯示屏幕805，該內容例如電話消息、語音消息、電子郵件消息、文本消息、以及根據本發明的各實施例生成和顯示的一個或多個任務或列表項。計算設備410可包括用于捕捉語音或其他音頻信息的一個或多個裝置。例如，可以包括用于捕捉一個或多個語音和/或音頻輸入的話筒820可以提供用于回放所捕捉的語音和/或音頻輸入、或播放通過設備410提供的任何其他音頻內容的揚聲器825。相機830說明了用于捕捉攝影圖像和視頻以供與所捕捉的語音和/或音頻輸入相關聯地使用的攝影裝置。根據各實施例，語音或音頻記錄的開始或者攝影或視頻內容捕捉的開始可通過一個或多個合適的裝置來完成。可提供用于激活錄音機或用于根據設備410的設計來激活相機的硬件按鈕815。例如，即使在設備410被鎖定時，硬件按鈕815也可用于捕捉語音和音頻。對硬件按鈕815的這種使用可允許快速的語音或音頻捕捉。例如，在針對按鈕815的按住動作之后，可以完成語音或音頻捕捉。對這種按住類型交互的使用允許避免意外的語音/音頻記錄。根據一個實施例，對硬件按鈕815的這種使用可允許快速捕捉音頻或語音內容，而不要求用戶解鎖或訪問相關聯的設備410的其他功能。另外，可以提供用于允許激活捕捉語音、音頻或攝影內容的記錄或攝影功能的各種觸摸激活的用戶界面按鈕，諸如記錄按鈕810。除了硬件按鈕815或用戶界面按鈕810以 夕卜，可通過語音命令來激活和控制記錄或攝影功能。例如，諸如“開始記錄”等的命令可被話筒820拾取以引起音頻記錄的開始。同樣，諸如“激活相機”等的語音命令可用于激活設備410的攝影功能。參考圖9，一旦對給定語音或音頻輸入的記錄開始了，可在設備410的顯示器上提供用戶界面體驗，以提供記錄在進行中的視覺指示910并提供用于停止記錄或繼續記錄的可選擇的控件905。例如，“記錄另一項”按鈕915可用于記錄前一項之后的接下來的任務或列表項。根據各實施例，VRPA 101可利用經優化的語法集合，以輔助響應于所捕捉的語音輸入來生成任務項或列表項。例如，諸如“開始”、“停止”、“下一個”、“開始”、“結束”、“任務”等的詞語可用于將所捕捉的語音和/或音頻輸入轉換成各個任務和/或列表項。例如，如果用戶說出雜貨列表“雞蛋，下一個，面包，下一個，牛奶”，則被插入到其他三個詞語之間的詞語“下一個”可由VRPA 101用來將其他三個詞語分隔成三個列表項“雞蛋”、“面包”和“牛奶”。同樣，諸如“任務”的詞語的發聲可用于指示VRPA 101跟在詞語“任務”后面的詞語、術語或短語可作為一個或多個任務項來接收。例如，一旦記錄了短語“任務一在星期二之前準備項目文檔”，則詞語“在星期二之前準備項目文檔”可被解釋為跟在詞語“任務”的發聲的后面的任務。應當理解，多個經優化的語法術語或短語可由VRPA 101用來使捕捉語音和/或其他音頻輸入的過程更高效。另外，如下面參考圖11所示的，可以提供用于允許與語音和/或其他音頻輸入相關聯地或除其以外地手動輸入任務或列表項以及相關聯的元數據項的硬件或用戶界面鍵盤1105。例如，用戶可以記錄一個或多個列表項，例如來自雜貨列表的項，然后在用戶可訪問硬件或用戶界面鍵盤的時候手動地輸入一個或多個額外的項。根據一個實施例，用戶可以按需來回地從語音記錄流暢地移動到手動輸入。例如，用戶可處于記錄一個或多個任務或列表項的過程中，按照需要接下來是除自動停止記錄功能以外的引起輸入額外項的手動輸入，接下來是額外的語音和/或音頻記錄。另外，音頻文件(例如，包含所捕捉的語音和/或音頻輸入的.wav文件)可同樣被本地地或遠程地存儲，并且可以與所轉錄的語音和/或音頻輸入相關聯，以供按需回放。例如，對所記錄的列表項的轉錄，例如“記住為Sarah購買生日賀卡和生日蛋糕”，可被手動地或自動地縮短以便輸入到列表創作表面列表或任務中，以成為諸如“生日蛋糕和賀卡”的任務或列表項。然而，包含整個音頻輸入的音頻文件可以與所存儲的任務或列表項相關聯。因此，用戶可選擇性地回放音頻文件，以接收用于生成縮短的任務或列表項的整個音頻輸入。例如，在接收到給定的音頻輸入的轉錄之后，用戶可手動地將所轉錄的音頻輸入縮短為可被用作任務或列表項的較短的短語，但是用戶隨后可期望回放整個音頻輸入以為該用戶提供任務或列表項的上下文。另外，如下所述，對于使用自然語言處理和元數據應用，來自所捕捉的語音和/或音頻輸入的關鍵詞可用于生成通過設備410或其他設備來呈現的任務或列表項，如上面參考圖I到7所描述的。例如，如果在音頻中使用諸如“下一個”等的關鍵詞，則所捕捉的文本可被劃分成單獨的子任務，并且相關聯的音頻文件可被修剪以只具有與子任務相關聯的實際子任務的音頻。另外，對這種自然語言處理和元數據應用的使用可用于抓住和丟棄或以其他方式處置不正確或錯誤的音頻記錄。在給定的語音和/或音頻輸入被捕捉和轉錄之后，所轉錄的內容可根據自然語言 處理來處理，如上所述，其中內容可被分割成各個詞語，其中每個詞語可與各個源(例如，字典、聯系人列表、日歷項等)進行比較，以獲得與包括所轉錄的內容的術語、詞語或短語相關聯的元數據。這種元數據到內容的應用可用于生成縮短的任務或列表項、或用于將所轉錄的內容與其他應用功能相關聯，可以為所轉錄的內容顯示該縮短的任務或列表項。例如，前述短語“記住為Sarah購買生日賀卡和生日蛋糕”可由自然語言解析器來解析，并且關鍵詞“記住”、“生日”、“賀卡”和“蛋糕”可用于生成縮短的任務項或列表項，諸如“記住生日賀卡和蛋糕”。另外，如果所轉錄的內容項包含諸如日期、時間、或可通過自然語言處理來標識的其他信息等信息，則這種信息可用于更高效且更有用地處理所捕捉的內容。例如，如果所捕捉的語音和/或音頻內容包括短語“在7月4日星期二下午5點之前”，則這種信息可用于通過標識所捕捉的內容中包括的日期和/或時間來生成任務提醒或日歷提醒。因此，這種元數據提取和利用可用于根據一個或多個應用功能(例如，任務提醒、日歷提醒等)從所捕捉的語音和/或音頻輸入項中創建任務或列表項。參考圖10，在設備410的用戶界面(例如，在設備用戶界面中顯示的列表創作表面)中呈現從所捕捉的語音記錄中轉錄的項目列表1015。如上所述，示例列表“雞蛋”、“面包”和“牛奶”可得自于用戶所記錄的雜貨列表。提供用于允許用戶選擇性地將所呈現的各項分組成期望的分組的“分組成列表”按鈕1020。例如，可響應于對14個不同項的記錄向用戶呈現14個雜貨項的列表。雜貨項中的5個的一個子集可以與特定的菜單項(例如蛋糕)相關聯。如果需要，用戶可將項目子集分組成與示例菜單項相關聯的特定分組。應當理解，可按照與上面參考圖4所描述的列表創作表面列表425的相同的方式來存儲和訪問任何列表項或任務項(包括列表項和任務項的分組)。或者，代替使用“分組成列表”功能1020，用戶可經由此處描述的任何合適的輸入裝置在列表上方輸入標題，例如，“Julie的生日蛋糕”，然后在標題下面縮進列表項，列表項可被自動地排列和存儲為父任務“Julie的生日蛋糕”下面的子任務。
仍然參考圖10,示出了每個所顯示的任務或列表項旁邊的音頻圖標1010,該圖標用于通知用戶該任務或列表項來自音頻記錄并且允許用戶回放與所呈現的任務或列表項相關聯的原始音頻記錄。例如，如上所述，可從過長的音頻文件中生成諸如“雞蛋”的給定任務或列表項，并且用戶可能期望聽到整個音頻文件以傾聽其中用戶最初記錄任務或列表項的上下文。此外，如果從所捕捉的記錄中生成的任務或列表項被分發給其他用戶，例如工作團隊的其他成員，則其他用戶可能期望聽到相關聯的音頻記錄，以獲取用于將任務或列表項中的一個或多個包括在給定的項目列表1015或項目分組中的了解或上下文。根據各實施例，如果回放給定的音頻記錄，則用戶可追加該記錄以將更多信息添加到該記錄，所添加的記錄內容可由VRPA 101用來生成額外的任務和/或列表項、或者用來修改之前生成的任務或列表項。除了將音頻文件與列表或任務項相關聯以外，其他內容同樣可與給定的列表或任務項相關聯。例如，與給定列表或任務項相關聯地拍攝的照片可以與該列表或任務項相關聯，從中讀取列表或任務項的語音記錄的文檔可與該列表或任務項相關聯，等等。根據各實施例，可按照與音頻圖標1010相同的方式來呈現所顯示的列表或任務項附近的對相關聯 的內容的視覺指示，以允許訪問(例如，顯示和編輯訪問)該相關聯的內容。如圖11所示，可以提供用于改變之前已分組項的分組的“解除分組”按鈕或控件1110。例如，圖10所示的項目組可被“解除分組”以移除作為指定的分組的項，并將各項放回到它們之前被提取以被分組到給定分組的一般項目列表中。在圖11中示出用于手動地輸入任務或列表項信息、或用于校正或以其他方式修改所轉錄且所顯示的任務或列表項的硬件或用戶界面鍵盤1105。例如，如果圖10中所示的詞語“面包(bread)”被轉錄且被顯示為“打斷(break)”，則鍵盤1105可用于按需編輯該條目。另外，語音控制的編輯可用于編輯所顯示的任務或列表項。例如，用戶可以輸入語音命令“用詞語面包代替詞語打斷”以使得VRPA 101用經校正的詞語“面包”來代替錯誤地轉錄和顯示的詞語“打斷”。如圖12所示，可以提供用于提供根據語音和/或音頻輸入來捕捉、轉錄和處理任務和列表項的提醒的日歷/提醒界面。如圖12所示，與從所捕捉的語音和/或音頻輸入提取的詞語、術語或短語相關聯的元數據可用于生成與所捕捉的輸入相關聯的提醒和/或日歷條目，如上所述。隨后，可以與所生成的任務項和列表項相關聯地使用各種任務應用和/或日歷應用功能1215、1220、1225，例如允許用戶向其他人警告給定的列表項或任務項，提供與任務或列表項相關聯的提醒，與其他用戶共享任務或列表項等。應當理解，如此處描述的，可根據此處描述的各種不同軟件應用的功能、以及如上面參考圖I到7所示出和所描述的列表創作表面所描述的，使用從所捕捉的語音和/或音頻輸入中生成的任務和/或列表項。例如，如上面為輸入到列表創作表面中的列表或任務項所描述的(參考圖1-7)，時間線可被啟用并且可用于生成與任何所生成的任務項或列表項相關聯的提醒和日歷條目，該時間線包括與根據所記錄的語音和/或音頻內容來生成的任務項或列表項相關聯的規定日期/時間以及寬松或模糊的日期/時間。即，由VRPA 101根據所記錄的語音和/或其他音頻輸入來生成的列表項和任務項可以根據一個或多個元數據類型、列表項屬性來標記或分組，或與如此處所描述的自然語言處理器相關聯地被標記或分組，并且隨后可按照各種有幫助的方式(包括所得任務項和列表項的生成和顯示)來利用。例如，被應用到任務、事件、活動或其他信息片段(即任務)的日期和/或時間注釋或標記可用于根據任何所應用的元數據或列表項屬性(例如，日期/時間、人、團隊等)來操控(例如，編輯、分類、搜索或以其他方式操控)列表項和任務和相關信息。另外，可在事件時間線中組織用日期和/或時間元數據注釋的任務，并且該任務可被進一步注釋以幫助用戶沿著規定的時間線完成或以其他方式處理任務。如此處提到的，時間線可被廣義地定義為包括任何時間表示，包括日期、時間、日歷信息、季節、年份等。例如，特定的任務可能具有規定的期限，例如，用戶可能無法移動的在特定日期和時間的醫生的約會。其他任務可能需要在規定的日期/時間范圍期間(例如，星期五下午6點之前的某個時間)完成或處理。根據本發明的各實施例，這種日期和/或定時信息可被應用到通過VRPA 101經由語音和/或音頻輸入捕捉和處理的任務或列表項，以將“模糊性”應用到這些任務項或列表項的定時方面。例如，如果兩個任務必須在給定的一天的非常特定的時刻完成或以其他方式處理，則可用元數據來注釋那些任務，該元數據允許用戶基于所應用的規 定日期/時間來分類、搜索、或以其他方式操控那些項。另一方面，如果一個或多個其他任務或列表項必須在同一天完成，但可以在給定結束時間(例如下午6點)前的任何時間完成，則可用一元數據類型來注釋那些任務或列表項，該元數據類型允許那些項在與必須在該規定的日子完成或以其他方式處理的任務相關聯的事件時間線中移動，只要完成或以其他方式處理那些項的時間不超過規定的最后的時間限制(例如下午6點)。根據一實施例，隨后，對根據語音和/或音頻輸入來捕捉和處理的列表項或任務項的分類、搜索或以其他方式的操控可針對具有規定日期/時間的列表項來完成，或可針對具有寬松或模糊的日期/時間的列表項來完成、或其組合來完成。如上面為列表創作表面100所描述的，語音記錄和處理應用(VRPA) 101可向用戶提供提醒以完成或以其他方式處理根據語音或其他音頻輸入來生成的任務項或列表項，并且包括與規定日期/時間相關聯的元數據以及與寬松或模糊的日期/時間相關聯的元數據可用于向用戶提供更加真實的體驗。例如，對即將到來的規定日期/時間(例如，特定的約會)的提醒可以是一種類型的提醒，與寬松或模糊的日期/時間相關聯的各種提醒同與規定日期/時間相關聯的提醒相比可以是不那么緊急的一種不同的類型的提醒。另外，與寬松或模糊的日期/時間相關聯的任務可在給定一天的安排中自動地浮動，直到接近規定的結束點(例如不晚于下午6點)。因此，與寬松或模糊的日期/時間項相比，與規定的日期/時間項相關聯的提醒可以按照更接近地近似于用戶如何通過在小紙片、記事本、便簽等上記下各項來提醒他自己或她自己這些項的方式來完成。根據各實施例，如上所述，給定任務或列表項的元數據可經由語音記錄來創建和應用。例如，一旦任務或列表項被記錄，用戶就可激活功能控件(諸如按鈕810)以將元數據添加到特定的任務或列表項。例如，在選擇給定的任務或列表項之后，用戶可選擇按鈕810，隨后說出詞語“今天上午12點”，以將示例天和時間作為元數據來應用到所選擇的任務或列表項。如果用戶目前正導航到圖12所示的日歷/提醒界面，則用戶與該界面的交互可向VRPA 101的語法系統提供上下文，以允許該VRPA語音/音頻捕捉語法系統更準確地捕捉到用戶正在說出日期信息(或地點信息或人的信息等)的事實，并因此創建記錄的更準確的解釋。已經描述了通過能夠記錄音頻的計算設備經由語音或音頻輸入來自動捕捉任務和列表項并將其填充到電子任務或列表表面中的系統和操作架構，圖13是示出捕捉語音和/或音頻輸入以及用從所捕捉的語音或音頻記錄中獲得的信息來填充電子任務或列表表面的方法的流程圖。例程1300在開始操作1305開始，并前進到操作1310，其中用戶開始記錄以生成要在捕捉設備(例如，用戶的移動電話)上顯示的、或要通過分布式計算系統415在另一個計算設備上顯示的一個或多個任務項或列表項，如上面參考圖4所描述的。例如，用戶可利用他的/她的移動電話來記錄該用戶在接下來的兩周過程中為工作任務需要執行的項目列表。如上所述，用戶可通過各種手段來開始記錄過程，各種手段例如硬件按鈕、用戶界面呈現的記錄按鈕(即觸摸屏交互)、語音命令激活、由記錄計算設備(例如，經由諸如相機或操作的運動傳感器或加速度計等姿勢檢測功能來將姿勢移動傳遞給可將姿勢解釋為命令的應用)接收和解釋的姿勢。在操作1315，在用戶停止記錄過程之后，所捕捉的音頻記錄 的音頻文件可被本地地存儲在記錄設備410，或者音頻文件可被遠程地存儲在服務器420。在操作1320，所存儲的音頻文件可被轉錄成一個或多個文本串，該一個或多個文本串可用于生成一個或多個任務和/或列表項，以供在任務列表或列表創作表面用戶界面中顯示，如上所示。另外，如上所述，在轉錄過程期間，給定的音頻記錄可被拆分成兩個或更多個單獨的文件，每個文件可接收元數據應用，并且每個文件可用作單獨的任務或列表項。如上所述，所轉錄的音頻文件可被本地地或遠程地存儲。在操作1325，所轉錄的音頻文件可根據自然語言處理來處理，其中所轉錄的音頻記錄可被分割成一個或多個術語、詞語、或短語。從所轉錄的音頻文件中提取的術語、詞語或短語中的每一個可對照各種源(例如，字典、聯系人列表、日歷項等)進行比較，以確定從所轉錄的音頻文件中提取的詞語、術語或短語中的任一個是否與一個或多個信息片段(例如，其他任務項、日歷項、日期、時間、人、標識等)相關聯。在操作1330，與所提取的術語、詞語或短語中任一個相關聯的元數據可被應用到所提取的術語、詞語或短語，以與一個或多個應用相關聯地利用該術語、詞語、短語或者由該術語、詞語或短語構成的文本串。例如，被應用到給定術語的元數據(例如，被應用到短語“下午5點”的日期或時間)可用于將短語標識為日期或時間，以將包含該短語的文本串作為提醒、任務項或日歷條目來輸入。如上所述，元數據可根據各種輸入手段被應用到任務或列表項，并且元數據可經由語音輸入來記錄，以與給定的任務或列表項相關聯。在操作1335，包括所生成的任務或列表項的經提取的術語、詞語或短語可由元數據來標記，以將所生成的任務或列表項與其他所存儲的信息(例如，聯系人項、日歷條目、其他所生成的任務或列表項等)相關聯。例如，通過“分組成列表”功能被分組到一起的所有列表項可使元數據被應用到每個被分組到一起的項，以將被分組到一起的的項中的每一個關聯為屬于一起的，直到它們以其他方式被解除分組或分開。在操作1345，可在捕捉設備的用戶界面中或在與另一個計算設備相關聯的任務界面或列表創作表面中顯示所生成的列表項或任務項，將所生成的列表項或任務項分發到該另一個計算設備。在操作1350，可以允許回放從中生成列表項或任務項的音頻文件，并且如果需要，可通過額外記錄添加額外的音頻內容來修改音頻文件。在操作1355，用戶可通過鍵擊輸入或通過語音激活的校正來糾正所顯示的列表項或任務項。在操作1360，任務或列表項可與其他內容項或動作相關聯。例如，任務或列表項可與地圖、其他任務或列表、各個其他用戶或可與被應用到任務或列表項的元數據相關聯的任何其他內容或動作相關聯。根據一個實施例，在操作1360，如上所述，任何時間線可被啟用并且可用于生成與任務項或列表項相關聯的提醒和日歷條目，該時間線包括與根據所記錄的語音和/或音頻內容來生成的任務項或列表項相關聯的規定日期/時間以及寬松或模糊的日期/時間。例如，從給定的電子任務項中提取的或被應用到給定的電子任務項的元數據可用于標識該任務項的完成時間，該給定的電子任務項是根據所捕捉的語音輸入來生成的。任務項隨后可與其他任務項一起被存儲，并且可以創建完成各個任務項(包括根據所捕捉的語音輸入來生成的任務項)的時間線。如上所述，根據對任務完成的規定日期/時間以及寬松或“模糊的”日期/時間的使用，所存儲的任務項可相對于彼此來安排，使得必須在特定時間執行的一個或多個任務項中的任一個根據該特定時間來安排，并且使得可在任何時間執行的一個或多個任務項中的任一個可被安排在不包括該特定時間的其他可用時 間。根據各實施例，在經由語音和其他音頻輸入來生成任務或列表項之后，用戶與任務或列表項的交互可以被跟蹤，包括跟蹤這些項何時被完成。可經由各種合適的手段，包括內聯網、基于因特網或基于云的通信系統，或經由一個或多個社交網絡向一個用戶或其他用戶發布關于與任務或列表項的用戶交互的信息，包括示出已完成的任務或列表項的數量的統計信息。對這些用戶交互信息的公布可能在幫助用戶理解他們的成就或他們為之接收這些消息的其他用戶的成就方面是重要的。該方法在操作1395結束。本文描述的實施例和功能可經許多計算系統來操作，包括有線和無線計算系統、移動計算系統(如移動電話、圖形輸入板或平板型計算機、膝上型計算機等)。此外，本文所述的實施例和功能可在分布式系統上操作，其中應用功能、存儲器、數據存儲和檢索、以及各種處理功能可在諸如因特網或內聯網之類的分布式計算網絡上彼此遠程地操作。各種類型的用戶界面和信息可經板載計算設備顯示器或經與一個或多個計算設備相關聯的遠程顯示單元被顯示。例如，各種類型的用戶界面和信息可在墻壁表面上被顯示和交互，各種類型的用戶界面和信息被投射在墻壁表面上。與可用于實施本發明的各實施例的許多計算系統的交互包括鍵擊輸入、觸摸屏輸入、語音或其他音頻輸入、姿勢輸入(其中相關聯的計算設備配備有用于捕捉和解釋用于控制計算設備的功能的用戶姿勢的檢測(如相機)功能)等。圖14-16及相關聯的描述提供了其中可實施本發明的各實施例的各種操作環境的討論。然而，關于圖14-16所示出和討論的設備和系統是用于示例和說明的目的，而非對可被用于實施本文所述的本發明的各實施例的大量計算設備配置的限制。圖14是示出可用來實施本發明的各實施例的計算設備1400的示例物理組件的框圖。下面描述的計算設備組件可適于上述計算設備，例如計算設備405、410以及服務器和數據庫系統420。在基本配置中，計算設備1400可包括至少一個處理單元1402和系統存儲器1404。取決于計算設備的配置和類型，系統存儲器1404可包括，但不限于，易失性存儲器(例如，隨機存取存儲器(RAM))、非易失性存儲器(例如，只讀存儲器(ROM ))、閃存、或任何組合。系統存儲器1404可包括操作系統1405、一個或多個編程模塊1406,且可包括LAS應用100,VRPA 101和web瀏覽器應用1420。例如，操作系統1405可適用于控制計算設備1400的操作。此外，本發明的實施例可結合圖形庫、其他操作系統、或任何其他應用程序來實踐，并且不限于任何特定應用或系統。該基本配置在圖14中由虛線1408內的那些組件示出。計算設備1400可具有附加特征或功能。例如，計算設備1400還可包括附加數據存儲設備(可移動和/或不可移動)，諸如例如，磁盤、光盤、或磁帶。這些附加存儲在圖14中由可移動存儲1409和不可移動存儲1410示出。如上所述，可在系統存儲器1404中存儲包括操作系統1405在內的多個程序模塊和數據文件。當在處理單元1402上執行時，諸如LAS應用100和語音記錄和處理應用(VRPA)IOl等編程模塊1406可執行各過程，包括例如，如上所述的一種或多種方法1300的各個階段。上述過程是一個示例，且處理單元1402可執行其他過程。根據本發明的實施例可使用的其他編程模塊可包括電子郵件和聯系人應用、文字處理應用、電子表格應用、數據庫應用、幻燈片演示應用、繪圖或計算機輔助應用等。一般而言，根據本發明的實施例，程序模塊可包括可執行特定任務或可實現特定抽象數據類型的例程、程序、組件、數據結構和其他類型的結構。此外，本發明的實施例可用 其他計算機系統配置來實踐，包括手持式設備、多處理器系統、基于微處理器的系統或可編程消費電子產品、小型機、大型計算機等。本發明的實施例還可在其中任務由通過通信網絡鏈接的遠程處理設備執行的分布式計算環境中實踐。在分布式計算環境中，程序模塊可位于本地和遠程存儲器存儲設備兩者中。此外，本發明的實施例可在包括分立電子元件的電路、包含邏輯門的封裝或集成電子芯片、利用微處理器的電路、或在包含電子元件或微處理器的單個芯片上實踐。例如，可以通過片上系統(SOC)來實施本發明的各實施例，其中，可以將圖14中示出的每個或許多組件集成到單個集成電路上。這樣的SOC設備可包括一個或多個處理單元、圖形單元、通信單元、系統虛擬化單元以及各種應用功能，所有這些都被集成到(或“燒錄到”)芯片基板上作為單個集成電路。當通過SOC操作時，在此所述的關于LAS應用100和/或VRPA應用101的功能可以通過在單個集成電路(芯片)上集成有計算設備/系統1400的其它組件的應用專用邏輯來操作。本發明的實施例還可使用能夠執行諸如例如，AND (與)、0R (或)和NOT(非)的邏輯運算的其他技術來實踐，包括但不限于，機械、光學、流體和量子技術。另外，本發明的實施例可在通用計算機或任何其他電路或系統中實踐。例如，本發明的實施例可被實現為計算機過程(方法)、計算系統、或諸如計算機程序產品或計算機可讀介質之類的制品。計算機程序產品可以是計算機系統可讀并對用于執行計算機過程的指令的計算機程序編碼的計算機存儲介質。本文所使用的術語計算機可讀介質可包括計算機存儲介質。計算機存儲介質可包括以用于存儲諸如計算機可讀指令、數據結構、程序模塊、或其他數據等信息的任何方法或技術實現的易失性和非易失性、可移動和不可移動介質。系統存儲器1404、可移動存儲1409和不可移動存儲1410都是計算機存儲介質(即，存儲器存儲)的示例。計算機存儲介質可包括，但不限于，RAM、ROM、電可擦除只讀存儲器(EEPR0M)、閃存或其他存儲器技術、CD-ROM、數字多功能盤(DVD)或其他光存儲、磁帶盒、磁帶、磁盤存儲或其他磁性存儲設備、或者可用于存儲信息且可由計算設備1400訪問的任何其他介質。任何這樣的計算機存儲介質都可以是設備1400的一部分。計算設備1400還可具有輸入設備1412，諸如鍵盤、鼠標、筆、聲音輸入設備、觸摸輸入設備等。還可包括輸出設備1414,諸如顯不器、揚聲器、打印機等。上述設備是示例，并且可使用其他設備。本文所使用的術語計算機可讀介質還可包括通信介質。通信媒介可由諸如載波或其他傳輸機制等已調制數據信號中的計算機可讀指令、數據結構、程序模塊、或其他數據來體現，并且包括任何信息傳遞介質。術語“已調制數據信號”可以描述以對該信號中的信息進行編碼的方式設定或者改變其一個或多個特征的信號。作為示例而非限制，通信介質包括諸如有線網絡或直接線連接等有線介質，以及諸如聲學、射頻(RF)、紅外線和其他無線介質等無線介質。圖15A和15B示出可用來實施本發明的各實施例的合適的移動計算環境，例如移動電話410、智能電話、平板個人計算機、膝上型計算機等。參考圖15A，示出了用于實現各實施例的示例移動計算設備410。在一基本配置中，移動計算設備410是具有輸入元件和輸出元件兩者的手持式計算機。輸入元件可包括允許用戶將信息輸入到移動計算設備410中的觸摸屏顯示器1505和輸入按鈕1510。移動計算設備410還可結合允許進一步的用戶輸入的可選的側面輸入元件815。可選的側面輸入元件815可以是旋轉開關、按鈕、或任何其他類型的手動輸入元件。在替代實施例中，移動計算設備410可結合更多或更少的輸入·元件。例如，在某些實施例中，顯示器1505可以不是觸摸屏。在又一替代實施例中，移動計算設備是便攜式電話系統，如具有顯示器1505和輸入按鈕1510的蜂窩電話。移動計算設備410還可包括可選的小鍵盤1105。可選的小鍵盤1105可以是物理小鍵盤或者在觸摸屏顯示器上生成的“軟”小鍵盤。移動計算設備410結合輸出元件，如可顯示圖形用戶界面(⑶I)的顯示器1505。其他輸出元件包括揚聲器825和LED光1520。另外，移動計算設備410可包含振動模塊(未示出)，該振動模塊使得移動計算設備410振動以將事件通知給用戶。在又一實施例中，移動計算設備410可結合耳機插孔(未示出)，用于提供另一手段來提供輸出信號。盡管此處組合移動計算設備410來描述，但在替代實施例中，本發明還可組合任何數量的計算機系統來被使用，如在臺式環境中、膝上型或筆記本計算機系統、多處理器系統、基于微處理器或可編程消費電子產品、網絡PC、小型計算機、大型計算機等。本發明的實施例也可在分布式計算環境中實踐，其中任務由分布式計算環境中通過通信網絡鏈接的遠程處理設備來執行；程序可位于本機和遠程存儲器存儲設備中。總而言之，具有多個環境傳感器、向用戶提供通知的多個輸出元件和多個通知事件類型的任何計算機系統可結合本發明的實施例。圖15B是示出在一個實施例中使用的諸如圖15A所示的計算設備等移動計算設備的組件的框圖。即，移動計算設備410可結合系統1502以實現某些實施例。例如，系統1502可被用于實現可運行與臺式或筆記本計算機的應用類似的一個或多個應用的“智能電話”，這些應用例如瀏覽器、日程安排、即時消息、以及媒體播放器應用。在某些實施例中，系統1502被集成為計算設備，諸如集成的個人數字助理(PDA)和無線電話。—個或多個應用程序1566可被加載到存儲器1562中并在操作系統1564上或與操作系統864相關聯地運行。應用程序的示例包括電話撥號程序、電子郵件程序、PIM (個人信息管理)程序、文字處理程序、電子表格程序、因特網瀏覽器程序、消息通信程序等等。系統1502還包括存儲器1562內的非易失性存儲1568。非易失性存儲1568可被用于存儲在系統1502斷電時不會丟失的持久信息。應用1566可使用信息并將信息存儲在非易失性存儲1568中，如電子郵件應用使用的電子郵件或其他消息等。同步應用(未示出)也駐留在系統1502上并被編程為與駐留在主機計算機上的對應同步應用進行交互，以保持存儲在非易失性存儲1568中的信息與存儲在主機計算機上的對應信息相同步。應當理解，其他應用可被加載到存儲器1562中且在設備410上運行，包括此處描述的列表創作服務應用100和語音記錄和處理應用101。系統1502具有可被實現為一個或多個電池的電源1570。電源1570還可包括外部功率源，如補充電池或對電池重新充電的AC適配器或加電對接托架。系統1502還可包括執行發射和接收無線電頻率通信的功能的無線電1572。無線電1572通過通信運營商或服務供應商方便了系統1502與“外部世界”之間的無線連接。來往無線電1572的傳輸是在操作系統1564的控制下進行的。換言之，無線電1572接收的通信可通過操作系統1564傳播到應用程序1566，反之亦然。無線電1572允許系統1502例如通過網絡與其他計算設備通信。無線電1572是 通信介質的一個示例。通信介質通常由諸如載波或其他傳輸機制之類的已調制數據信號中 的計算機可讀指令、數據結構、程序模塊、或其他數據來體現，并且包括任何信息傳送介質。術語已調制數據信號“”是指具有以在信號中編碼信息的方式被設定或改變其一個或多個特征的信號。作為示例而非限制，通信介質包括諸如有線網絡或直接線連接之類的有線介質，以及諸如聲學、RF、紅外及其他無線介質之類的無線介質。如此處所使用的術語“計算機可讀介質”包括存儲介質和通信介質兩者。系統1502的該實施例是以兩種類型的通知輸出設備來示出的可被用于提供視覺通知的LED 1520，以及可被用于揚聲器825提供音頻通知的音頻接口 1574。這些設備可直接耦合到電源1570，使得當被激活時，即使為了節省電池功率而可能關閉處理器1560和其它組件，它們也保留一段由通知機制指示的保持通電時間。LED 1520可被編程為無限地保持通電，直到用戶采取行動指示該設備的通電狀態。音頻接口 1574用于向用戶提供聽覺信號并從用戶接受聽覺信號。例如，除了被耦合到揚聲器825之外，音頻接口 1574還可被耦合到話筒820來接收可聽輸入，例如便于電話通話。根據本發明的各實施例，話筒820還可充當音頻傳感器來便于對通知的控制，如下文將描述的。系統1502可進一步包括允許板載相機830的操作來記錄靜止圖像、視頻流等的視頻接口 1576。移動計算設備實現系統1502可具有附加特征或功能。例如，其他傳感器或檢測裝置可與如上所述的系統1502 (諸如全球定位衛星系統(GPS)位置系統、時鐘系統、光傳感器、攝影功能等)相關聯地使用，該系統1502可用于輔助捕捉和生成任務或列表項，并將一個或多個上下文信息項與所捕捉的任務或列表項相關聯。對于另一個示例，設備還可包括附加數據存儲設備(可移動的/或不可移動的)，諸如磁盤、光盤或磁帶。此類附加存儲在圖15B中由存儲1568示出。計算機存儲介質可包括以用于存儲諸如計算機可讀指令、數據結構、程序模塊、或其他數據等信息的任何方法或技術實現的易失性和非易失性、可移動和不可移動介質。設備410生成或捕捉的且經系統1502存儲的數據/信息可如上所述本地存儲在設備410上，或數據可被存儲在可由設備通過無線電1572或通過設備410和與設備410相關聯的一分開的計算設備405之間的有線連接訪問的任何數量的存儲介質上，該計算設備如例如因特網之類的分布式計算網絡415中的服務器計算機。如應理解的，此類數據/信息可經設備410、經無線電1572或經分布式計算網絡415來被訪問。類似地，這些數據/信息可根據已知的數據/信息傳送和存儲手段來容易地在計算設備之間傳送以供存儲和使用，這些手段包括電子郵件和協作數據/信息共享系統。圖16示出用于經由分布式計算環境將經語音和/或音頻記錄捕捉的列表項和任務項在生成后提供給各個客戶機設備的系統架構。如前所述，語音記錄和處理應用(VRPA)101可根據所記錄的語音或其他音頻輸入生成一個或多個列表項或任務項并用元數據來標記。所捕捉的語音/音頻輸入和相關聯的元數據以及所生成的列表項和任務項還可被存儲在不同的通信通道中、或被存儲在其他存儲類型中。例如，可使用各種數據庫或諸如目錄服務1622、web門戶1624、郵箱服務1626、即時消息通訊存儲1628以及社交網絡站點1630等其他存儲手段來存儲列表項和任務項以及從中開發出該列表項和任務項的信息。系統/應用100、101可使用這些類型的系統中的任一個來開發列表項和任務項并將其儲存在存儲1616中。服務器420可向客戶機提供列表項和任務項。作為一個示例，服務器420可以是通過web提供列表項和任務項的web服務器。服務器420可通過網絡415在web上向客戶機提供在線列表項和任務項。可獲得列表項和任務項的客戶機的示例包括計算設備405，該計算設備可包括任何通用個人計算機1400、平板計算設備1603和/或可包括智能電話的移 動計算設備410。這些設備中的任一個可從存儲1616中獲得列表項和任務項。以上參考例如根據本發明的實施例的方法、系統和計算機程序產品的框圖和/或操作示圖描述了本發明的實施例。框中所注明的各功能/動作可按不同于任何流程圖所示的次序出現。例如，取決于所涉及的功能/動作，連續示出的兩個框實際上可基本同時執行，或者這些框有時可按相反的次序執行。盡管已描述了本發明的特定實施例，但也可能存在其他實施例。此外，雖然本發明的實施例被描述為與存儲在存儲器和其他存儲介質中的數據相關聯，但是數據還可被存儲在其他類型的計算機可讀介質上或從其讀取，諸如輔助存儲設備(像硬盤、軟盤、或CD-ROM)、來自因特網的載波、或其他形式的RAM或ROM。此外，所公開的方法的各步驟可以任何方式修改，包括通過對各步驟重新排序和/或插入或刪除步驟，而不背離本發明。對本領域的技術人員而言，顯然可對本發明作出各個修改或變化，而不背離本發明的范圍或精神。在考慮說明書和實現此處公開的本發明之后，本發明的其他實施例對本領域的技術人員而言將是顯而易見的。
權利要求
1.一種用于根據所捕捉的音頻輸入來生成電子列表項的方法，包括 接收第一音頻內容項(1310)； 將所述第一音頻內容項轉錄成表示所述第一音頻內容項的第一文本串(1320、1325)；以及 顯不所述第一文本串作為第一電子列表項(1345)。
2.如權利要求I所述的方法，其特征在于，還包括 將包含所述第一音頻內容項的音頻文件與所顯示的第一電子列表項相關聯(1330);在所述所顯示的第一電子列表項附近顯示相關聯的音頻文件的可選擇視覺指示符(1345)； 接收對相關聯的音頻文件的所述可選擇視覺指示符的選擇；以及 提供對包含所述第一音頻內容項的所述音頻文件的回放(1350)。
3.如權利要求I所述的方法，其特征在于，還包括在顯示所述第一文本串作為第一電子列表項之前，將一個或多個元數據項應用到所述第一文本串以標識所述第一文本串的一個或多個成分(1330)。
4.如權利要求3所述的方法，其特征在于，其中將一個或多個元數據項應用到所述第一文本串以標識所述第一文本串的一個或多個成分包括應用一個或多個元數據項以將所述第一電子列表項與一個或多個位置相關聯(1330)，所述一個或多個位置與所述第一電子列表項相關聯。
5.如權利要求3所述的方法，其特征在于，其中將一個或多個元數據項應用到所述第一文本串以標識所述第一文本串的一個或多個成分包括應用一個或多個元數據項以將所述第一電子列表項與一個或多個日期和時間相關聯(1330),所述一個或多個日期和時間與所述第一電子列表項相關聯。
6.如權利要求3所述的方法，其特征在于，還包括將所述第一文本串的所標識的一個或多個成分與根據第二音頻內容項轉錄的第二文本串的一個或多個所標識的成分進行比較，以將所述第一文本串與所述第二文本串相關聯(1335、1360)。
7.如權利要求6所述的方法，其特征在于，其中將所述第一文本串與所述第二文本串相關聯包括將所述電子列表項與根據所述第二文本串生成的第二電子列表項一起分組，并且還包括將所述第一和第二電子列表項一起顯不為相關的列表項分組(1335、1345、1360)。
8.如權利要求I所述的方法，其特征在于，還包括生成對完成所述第一電子列表項的提醒，以及在所述第一電子列表項的完成時間之前與所述第一電子列表項相關聯地呈現所述提醒。
9.一種包含計算機可執行指令的計算機可讀介質，所述指令在被計算機執行時執行一種用于根據所捕捉的音頻輸入來生成電子任務項的方法，包括 接收第一音頻內容項(1310)； 將所述第一音頻內容項轉錄成表示所述第一音頻內容項的第一文本串(1320)； 將一個或多個元數據項應用到構成所述第一文本串的一個或多個詞語的一個子集，以標識所述第一文本串的一個或多個成分(1325、1330)； 顯示構成所述第一文本串的一個或多個詞語的所述子集作為第一電子任務項(1345);以及將包含所述第一音頻內容項的音頻文件與所顯示的第一電子任務項相關聯(1330)。
10.一種用于根據所捕捉的音頻輸入來生成電子列表項的系統，包括 與能夠記錄的計算設備(405、410)相稱合的語音記錄和處理應用(101),所述語音記錄和處理應用用于 接收第一音頻內容項； 將所述第一音頻內容項轉錄成表示所述第一音頻內容項的第一文本串； 將一個或多個元數據項(235、240)應用到所述第一文本串，以標識所述第一文本串的一個或多個成分； 在與多個軟件應用用戶界面中任一個相關聯的列表創作用戶界面(120)中顯示所述第一文本串的一個或多個成分作為第一電子列表項(230)，所述多個軟件應用用戶界面用于顯示所述列表創作用戶界面； 將包含所述第一音頻內容項的音頻文件與所顯示的第一電子列表項相關聯； 在所述所顯示的第一電子列表項附近顯示相關聯的音頻文件的可選擇視覺指示符(1010)； 接收對相關聯的音頻文件的所述可選擇視覺指示符的選擇；以及 提供對包含所述第一音頻內容項的所述音頻文件的回放。
全文摘要
本發明描述了根據所捕捉的語音和音頻內容來填充列表和任務。提供了通過能夠記錄音頻的移動計算設備經語音或音頻輸入來自動捕捉任務和列表項并將其填充到電子任務或列表表面。語音或音頻任務或列表項可被捕捉以供輸入到任務應用界面中或列表創作表面界面中，以便隨后用作任務項、提醒、“待完成”項、列表項、日程項、工作組織概要等。所捕捉的語音或音頻內容可被本地或遠程地轉錄，并且所轉錄的內容可被填充到任務或列表創作表面用戶界面中，該任務或列表創作表面用戶界面可被顯示在捕捉設備(例如移動電話)上，或可被遠程存儲并隨后與多個不同計算設備上的多個應用相關聯地顯示。
文檔編號G10L21/10GK102945074SQ20121038459
公開日2013年2月27日 申請日期2012年10月11日 優先權日2011年10月12日
發明者N·B·弗蘭德, K·阿拉羅, M·雷－巴瓦羅, D·D·L·B·瓦爾德拉馬, E·基金-伊爾, M·J·科特勒, C·W·帕克, M·羅德里格, I·扎伊卡 申請人:微軟公司