專利名稱:用于電子視覺作品的配音的動態音頻重放的制作方法
技術領域：
背景技術：
電子書是一種主要包括文本但也可包含其它視覺媒體(例如圖形和圖像)的多媒體作品。雖然電子書中的文本可伴隨有其它視覺媒體，但通常希望從頭到尾閱讀電子書，但未必一口氣閱讀完。
存在若干用于電子書的文件格式，其包含但不限于各種類型的標示語言文檔類型(舉例來說，SGML、HTML、XMULaTex等等)，和其它數據文件類型，例如.pdf文件，純文本文 件等等。各種文件格式與電子書閱讀器一起使用，電子書閱讀器是例如來自Amazon, com的KINDLE閱讀器。這種電子書閱讀器通常為經設計成在平臺上運行的計算機程序，平臺是例如個人計算機、筆記本計算機、膝上型計算機、平板計算機、移動裝置或用于閱讀電子書的專用硬件系統(例如KINDLE閱讀器)。
發明內容
一種電子書具有配音，讀者可在閱讀電子書的同時聽配音。配音的目的是伴隨并提高閱讀體驗，其中讀者通常基于為電子書的部分的故事或其它視覺媒體而在他們的頭腦中形成圖像。配音的重放與電子書的視覺顯示同步。
在讀者閱讀電子書的同時使配音的重放與電子書的視覺顯示同步是一個挑戰性問題。不同個人以不同速度閱讀，且不同個人將在不同時間以不同速度閱讀。電子書的部分的視覺顯示的持續時間在從讀者到讀者的持續時間方面變化，且在不同時間點之間變化。換句話說，取決于用戶與電子書的互動，電子書的部分的視覺顯示的持續時間可變。然而，配音(一種時間相依媒體)的重放與此視覺顯示同步。
為了以適用于多個讀者的方式用配音提供良好的閱讀體驗，使音頻提示與文本中的不同點相關聯，且基于用戶與電子書的互動而與電子書的視覺顯示同步地動態重放這些提示。動態重放包括編輯并播放音頻提示，使得音頻提示具有一持續時間，所述持續時間是基于對電子書中提示與之同步的部分的持續時間的預測。當系統開始播放音頻提示時，系統預測下一個音頻提示應該何時開始。播放當前提示達預測的持續時間，且在適當時間起始到下一個音頻提示的轉變。
這種配音通常不只是任何音樂或聲音；一些音樂和聲音可分散讀者注意力而非提高閱讀體驗。取而代之，配音包含經設計成在讀者中所喚起的情感類似于由文本所喚起的那些情感的的音樂和聲音。通常，當存在很少歡快的瞬時聲音、無雜音且存在備用的有點催眠感覺的音樂時，用于電子書的配音受益。太快或太激烈的流派型音樂可分散注意力或難以閱讀。
在本發明的各種方面中，本發明可體現于計算機實施過程、機器(例如電子裝置，或通用計算機，或提供可供執行計算機程序的平臺的其它裝置)、由這些機器執行的過程或制造物品中。這些物品可包含計算機程序產品或數字信息產品(其中計算機可讀存儲媒體含有存儲于其上的計算機程序指令或計算機可讀數據)，和建立并使用這些制造物品的過程和機器。
因此，在一方面中，音頻動態重放包括接收有關用戶與電子視覺作品的部分的互動的數據。根據用戶與電子視覺作品的互動而使待重放的與電子視覺作品的部分相關聯的音頻區段動態調整長度。在一個實施方案中，根據有關用戶與電子視覺作品的部分的互動的接收數據來估計電子視覺作品的部分的視覺顯示的持續時間。選擇與電子視覺作品的部分相關聯的音頻的次混合序列，以便提供將匹配估計的持續時間的音頻要素。此估計可使用閱讀速度的歷史記錄而進行。
在另一方面中，與電子視覺作品的顯示同步地播放配音。將電子視覺作品接收到 存儲器中，也將使電子視覺作品的部分與標簽相關聯的信息接收到存儲器中。響應于用戶互動而顯示電子視覺作品的部分。存取具有標簽的音頻文件。根據與電子視覺作品的部分相關聯的標簽來選擇待與電子視覺作品的部分相關聯的音頻文件。接收有關用戶與電子視覺作品的部分的互動的數據，且根據用戶互動來動態調整與電子視覺作品的那個特定部分相關聯的音頻重放的持續時間。
在另一方面中，產生用于電子視覺作品的配音。將電子視覺作品接收到存儲器中。在存儲器中處理電子視覺作品，使得用將與加標簽的音頻文件的特定部分相關聯的標簽來標記電子視覺作品的部分。然后存取具有適當標簽的音頻文件，且選擇電子視覺作品的部分的目標音頻文件并使目標音頻文件相關聯以建立并重放所得配音。電子視覺作品可包含文本且處理包含處理文本。標簽可包含情感描述符。
在另一方面中，對于電子視覺作品的每一部分，提示列表包含情感描述符，其中情感描述符對應于也與音頻數據相關聯的情感描述符。
在另一方面中，音頻提示包含用于音樂作品的多個次混合(被稱作“符干”)的音頻數據，其可被混合以提供指示符干可如何被重復并組合以建立由讀者聽到的最終結果的音頻數據和信息。
在另一方面中，配音和其關聯電子視覺作品的分配以使能夠觀看電子視覺作品的方式而進行，觀看方式如同配音不可用的觀看方式。在讀者存取電子視覺作品之后，識別并閱讀提示列表。作為背景任務，下載音頻數據，同時與電子視覺作品的顯示同步地播放配音中的第一提示。
其它方面在以下詳細描述中予以闡明，且由本發明的這些不同方面的各種組合所提供。
圖I是具有動態音頻播放器的電子書閱讀器的數據流程圖。
圖2是圖I的動態音頻播放器的更多細節的數據流程圖。
圖3是提示列表的說明。[0020]圖4是音頻提示文件的說明。
圖5是當開啟電子書時的設置過程的流程圖。
圖6是描述音頻提示文件如何用于建立所需持續時間的音頻數據的流程圖。
圖7是描述如何計算閱讀速度的流程圖。
圖8是描述可如何為電子書自動產生配音的數據流程圖。
圖9是計算機系統的方塊圖。
具體實施方式
在以下描述中，給出特定細節以提供對實施例的透徹理解。然而，所屬領域的技術 人員將理解，可在不含這些特定細節的情況下實行實施例。舉例來說，可在方塊圖中展示軟件模塊、函數、電路等等，以便不會以不必要的細節使實施例晦澀難懂。在其它情況下，可能不詳細地展示熟知的模塊、結構和技術，以便不會使實施例晦澀難懂。
此外，應注意，實施例可被描述為過程，其被描繪為流程圖、結構圖或方塊圖。雖然流程圖可將操作描述為連續個過程，但許多操作可并行地或同時地執行。另外，可重新排列操作的次序。過程在其操作完成時終止。在計算機程序中，過程可對應于方法、函數、程序、子例程、子程序等等。當過程對應于函數時，其終止對應于函數的返回至調用函數或主函數。
下文所描述的系統和方法的方面可在任何類型的通用計算機系統或計算裝置(包含但不限于桌上型計算機、膝上型計算機、筆記本計算機、平板計算機或移動裝置)上是可操作的。術語“移動裝置”包含但不限于無線裝置、移動電話、移動通信裝置、用戶通信裝置、個人數字助理、移動手持型計算機、膝上型計算機、電子書閱讀器，和能夠閱讀電子內容的閱讀裝置，和/或通常由個人攜帶和/或具有某一形式的通信能力(舉例來說，無線、紅外線、近程無線電等等)的其它類型的移動裝置。
圖9是說明可與下文進一步詳細地描述的系統和方法的一個或多個方面一起使用的計算機系統900的內部功能架構的方塊圖。如圖9所示，計算機系統900可包含用于執行計算機可執行過程步驟的中央處理單元(CPU)914和與計算機總線916的接口。圖9中也展示網絡接口 918、顯示裝置接口 920、鍵盤或輸入接口 922、指向裝置接口 924、音頻接口 926、視頻接口 932和硬磁盤驅動器934或其它持久存儲器。
如上文所描述，磁盤934可存儲操作系統程序文件、應用程序文件、網頁瀏覽器、和其它文件。這些文件中的一些可使用安裝程序而存儲在磁盤934上。舉例來說，CPU914可執行安裝程序的計算機可執行過程步驟，使得CPU 914可適當地執行應用程序。
隨機存取主存儲器(“RAM”)936也可對接到計算機總線916以向CPU 914提供對存儲器的存取。當執行來自磁盤934的所存儲的計算機可執行過程步驟時，CPU 914存儲并執行在RAM 936外的過程步驟。待處理的步驟也可從這種存儲器936或存儲器934予以讀取，且存儲于這種存儲器936或存儲器934中。可提供只讀存儲器(“ROM”)938以存儲不變指令序列，例如起動指令序列或用于操作鍵盤922的基本輸入/輸出操作系統(BIOS)序列。
電子書閱讀器或用于提供電子書和其它多媒體作品的視覺顯示的其它應用程序可在例如圖9所描述的平臺上實施。[0033]在以下描述中，電子書和電子書閱讀器被用作多媒體作品和可與配音的重放同步的對應觀看器的種類的實例。其它種類的多媒體作品(其中作品的部分的視覺顯示的持續時間取決于用戶與作品的互動)也可使用此種類的同步。術語“電子書”意欲涵蓋書籍、雜志、新聞通訊、報紙、期刊、地圖、物品和主要為文本或伴隨有圖形或其它視覺媒體的文本的其它作品。
配音可與各種各樣的電子視覺作品(包含電子書)中任何一者相關聯。可使用的音樂或音頻的類型也有可能取決于作品的類型。舉例來說，對于小說作品，配音在目的上將類似于電影配音，即，為了支持故事——制造懸念、鞏固愛情趣味，或達到大的高潮。對于兒童書籍，音樂可類似于用于卡通片的音樂，可能包含更多的聲音效果，例如當翻頁的時候。對于教科書，配音可包含用以加強知識保持的已知韻律和音調，例如每分鐘約128或132節拍的材料和使用明顯的模態音調。經設計以支持冥想的一些書籍可具有帶有自然聲音的配音、周圍稀疏音樂、帶有軟音調的樂器等等。旅游書籍可帶有源于所描述的位置的音樂和聲音。對于雜志和報紙，不同章節或文章可具有不同配音和/或具有不同音樂風格。甚至閱讀同一書頁的不同段落可具有不同配音。廣告商也可使其音頻主題在這些作品的閱讀期間播放。在這些狀況下，可以類似于如何選擇基于廣告的文本以伴隨其它材料的方式來選擇 配音。
特別地，現在參考圖1，電子書110被輸入到電子書閱讀器112，電子書閱讀器112向終端用戶或讀者提供電子書的視覺顯示。電子書110是一個或多個至少含有文本且呈文件格式的計算機數據文件，所述文件格式經設計以使計算機程序能夠讀取、格式化和顯示文本。電子書中存在各種文件格式，包含但不限于各種形式的標示語言文檔類型(舉例來說，SGML、HTML、XML、LaTex等等)，和其它文檔類型，其實例包含但不限于EPUB、FictionBook^ plucker、PalmDoc、zTxt、TCR、CHM、RTF、OEB、PDF、mobipocket、Calibre、Stanza和純文本。一些文件格式是專有的且經設計以與專用電子書閱讀器一起使用。本發明不限于任何特定文件格式。
電子書閱讀器112可為任何經設計以在計算機平臺上運行的計算機程序，計算機平臺是例如上文結合圖9所描述，其實例包含但不限于個人計算機、平板計算機、移動裝置，或用于閱讀電子書且接收并顯示電子書110的內容的專用硬件系統。存在許多種商業或公開可購得的電子書閱讀器，其實例包含但不限于來自Amazon, com的KINDLE閱讀器、來自Barnes&Noble的Nook閱讀器、Stanza閱讀器和FBReader軟件(一開源項目)。然而，本發明不限于任何特定電子書閱讀器。
電子書閱讀器112也輸出指示用戶與電子書閱讀器112的互動的數據114，使得這些數據可由動態音頻播放器116使用。商業或公共可得的電子書閱讀器可根據本文中的描述而修改以提供這些輸出。
有關用戶與文本的互動的數據可呈各種各樣的形式。舉例來說，所閱讀的書的識別符(例如ISBN、e-ISBN數字或散列碼)，且可提供文本中的當前位置。通常，由電子書閱讀器將當前位置追蹤為所顯示的電子書的當前“頁”或部分。當此信息改變時，電子書閱讀器可輸出此信息。其它可有用的信息(如果由電子書閱讀器112提供)包含但不限于所顯示的文檔的當前范圍的字計數、用戶何時已退出電子書閱讀器應用程序的指示，和讀者是否已暫停閱讀或在暫停之后恢復閱讀的指示。[0039]在電子書閱讀器與動態音頻播放器之間所交換的信息和指令可通過應用程序設計接口(API)而實施，使得動態音頻播放器可請求電子書閱讀器提供狀態信息或執行某一動作，或使得電子書閱讀器可控制其它應用程序。動態音頻播放器也可經程序設計以實施此API。API的實例實施方案包含但不限于兩個接口，一個接口用于來自電子書閱讀器應用程序的調用，且另一個接口用于至電子書閱讀器應用程序的調用。
電子書閱讀器可對動態音頻播放器進行的實例調用包含
“ebookOpenedwithUniquelD”-當應用程序開啟電子書時由電子書閱讀器調用
此函數。此函數具有指定電子書的唯一識別符且電子書在之前是否已被開啟的參數。響應于此信息，動態音頻播放器設定當前提示。在電子書被開啟的第一時間，當前位置將被設定為第一提示的開始。
“ebookClosed”——當應用程序關閉電子書時由電子書閱讀器調用此函數。響應于此調用，動態音頻播放器可釋放存儲器并重設內部數據。
“ebookRemoved”——當電子書閱讀器已從其程序庫移除電子書時調用此函數，以便也可移除配音和音頻文件。
“displayPositionRangeChanged” -當電子書閱讀器改變其顯示(舉例來說，
歸因于翻頁、方位改變、字體改變等等)且提供新顯示的作品范圍的參數時調用此函數。響應于此調用，動態音頻播放器為新顯示的作品范圍設置音頻提示。
“readingResumed”-當在長時間不活動之后用戶已恢復閱讀時調用此函數，電
子書閱讀器通過在閱讀已被確定為“暫停”之后從用戶接收各種輸入中的任一種來檢測不活動周期。
“fetchSoundtrack”——由電子書閱讀器調用此函數以命令動態音頻播放器提取并輸入用于具有指定唯一識別符(作為此函數的參數而提供)的電子書的配音文件或提示列表。
“audioVolume”——由電子書閱讀器調用此函數以命令動態音頻播放器設定音頻
重放的音量。
“getCueLists”——由電子書閱讀器調用此函數以從動態音頻播放器檢索有關可用于當前開啟的電子書的提示列表和群組的信息。舉例來說，此函數也允許電子書閱讀器將此信息呈現給讀者。
“cueListEnabled”——由電子書閱讀器調用此函數以命令動態音頻播放器啟用或停用特定提示列表，例如，替代性配音、聲音效果、已記錄的閱讀器或文本/語音轉換。
“audiointensity”——由電子書閱讀器調用此函數以命令動態音頻播放器設定音頻重放的強度，例如降低音頻成分音量或使鼓符干(次混合)靜音。
“audioPreloadDefault”-調用此函數以設定下載音頻并為所有電子書保留在
手頭的默認時數。
“audioPreloadForEbook”--調用此函數以設定下載音頻并為特定電子書保留
的時數。
“downloadEnabled” -調用此函數以啟用或停用音頻下載。
動態音頻播放器可對電子書閱讀器進行的實例調用包含
“readingPaused” -如果此函數在預期時間內尚未從電子書閱讀器接收“displayedPositionRangeChanged”調用，那么由動態音頻播放器調用此函數。從這個信息，由動態音頻播放器假定用戶不再閱讀。在調用此函數之后，當用戶再次開始閱讀時，電子書閱讀器應調用“readingResumed”函數。
“gotoPosition”——由動態音頻播放器調用此函數以命令電子書閱讀器在書中設定當前位置，通常在響應于所調用的“ebookOpendedAtPath”函數而開啟電子書的第一時間的第一提示的開始點處。
“ WordCountForRange ”-由動態音頻播放器調用此函數以命令電子書閱讀器為
電子書的指定范圍提供大量的字，用于如下文更詳細地所描述的調度播放列表并追蹤閱讀速度。
下文更詳細地描述這些API調用的使用。電子書110具有下文結合圖3詳細地所描述的關聯提示列表118，其使文本的部分與音頻提示120相關聯。通常，用于唯一地識別電子書110的識別符用于通過將識別符嵌入到提示列表中或具有使書的識別符與提示列表118相關聯的查找表或地圖的形式而使提示列表118與書相關聯。音頻提示120是包含音頻數據的計算機數據文件。通常，在讀者閱讀文本的部分的同時重放通過提示列表118而與文本的那個部分相關聯的音頻提示120。舉例來說,文本的部分可由文本中的某一點表示，在這個點周圍音頻提示應開始播放，或文本的部分可由文本中的某一范圍表示，在這個范圍期間應播放音頻提示。動態音頻播放器116確定何時并如何停止播放一個音頻提示且開始播放另一個音頻提示。
動態音頻播放器116接收有關用戶與電子書閱讀器112互動的數據114，以及提示120和提示列表118。如下文將更詳細地描述，動態音頻播放器116使用用戶互動數據114和提不列表118以選擇待播放的首頻提不120,和何時并如何播放首頻提不120,以提供輸出音頻信號122。
在配音的重放期間，動態音頻播放器播放與當前閱讀的文本的部分相關聯的當前提示，且基于有關用戶與文本的互動的數據而確定如何并何時轉變下一個待播放的提示。如圖2更詳細地所示，動態音頻播放器200因此使用當前提示204和下一個提示210以產生音頻206。通過提示查找208使用有關用戶互動的數據212和提示列表202來確定待播放的提示204和210。在動態音頻播放器播放當前提示204的同時，動態音頻播放器監視傳入數據212以確定應何時播放下一個提示。當前提示204可能需要播放達比提示的實際持續時間更長或更短的時間。如下文更詳細地所描述，動態音頻播放器增長或縮短當前提示，以便配合用戶閱讀文本的關聯部分所花費的時間量，且然后在用戶達到與下一個提示相關聯的文本的估計時間實施轉變，例如交叉衰落。
現在參考圖3，現在將更詳細地描述圖I中提示列表118的實例實施方案。音頻提示(例如圖I中的120和圖2中的204、210)指派給文本的部分。此指派可使用使文本的部分與音頻文件相關聯的元標簽信息文件而進行。與音頻文件的關聯可為直接的或間接的，且可被靜態或動態定義。舉例來說，文本的不同部分可被指派指示待與文本的那些部分相關聯的音樂情感、心情或風格的不同字或其它標志。音頻文件因而可與這些字或標志相關聯。如下文更詳細地所描述，可選擇音頻文件且使音頻文件與文本靜態相關聯，或可在重放時間動態選擇音頻文件。或者，文本中的不同點可與音頻文件直接相關聯。
圖3展示實例元標簽信息文件。元標簽信息文件是代表提示的數據對302的列表300。代表提示的每一對302包含對文本的參考304，例如對在文本文檔內的標示語言要素、與文本文檔開始的偏移或在文本文檔內的范圍的參考。對302也包含指定提示的數據306。此數據可為字或標志，例如情感標簽，或此數據可為音頻文件的指示，例如文件名稱或任何其它可用于選擇音頻文件的數據。下文將更詳細地描述作曲家或計算機程序可如何建立這些提不列表。
元標簽信息文件可實施為是含有若干元數據文件的檔案的文件。這些文件可呈Java描述語言對象記法(JSON)格式。元標簽信息文件可包含含有有關配音的一般信息的聲明文件，例如與配音相關聯的電子書的唯一識別符、電子書的標題、計劃版本(為了兼容性的目的，萬一格式將來改變)，和檔案中其它文件的列表，其中檢查和用于完整性檢查。除了聲明文件之外，元標簽信息文件也包含提示列表文件，其含有配音中可用的提示列表描述符列表。每一提不列表描述符包含顯不名稱、用于查找目的的唯一識別符和提不列表的可選群組名稱。作為實例，可存在若干互斥主要提示列表，其僅對單一播放有意義。這些提示列表可能具有名為“主要”的群組名稱，然而帶有聲音效果或“讀給我聽”提示列表能夠同時播放這些提示列表，且因此將不利用群組名稱。元標簽信息文件也包含含有全部提示列表的提示描述符列表的提示文件。每一提示描述符包含由制作者給予提示描述符的描述性名稱。此描述符可使用為此目的的另一應用程序輸入，且可包含例如提示文件名稱的信息，其用于查找提示文件列表中的提示文件的位置，和在電子書中的內點和外點。
最后，元標簽信息文件包含“提示文件”文件，其含有提示文件描述符列表。提示文件指定提示文件的網絡位置。每一文件描述符包含由制作者給予提示文件且用作提示描述符中的提示文件名稱、用于檢索提示文件的統一資源定位符(URL)和提示文件的原始文件名稱的描述性名稱。
這種提示列表中所提到的音頻提示(圖I中的120)含有音頻數據，其可存儲為音頻文件格式，例如AIFF、MP3、AAC、m4a或其它文件類型。現在參考圖4，將描述音頻提示文件的實例實施方案。音頻提示文件400可包含多個“符干”(次混合)402，其中每一符干是為提示提供多部分音頻混合的一部分的單獨音頻文件。這些符干的使用允許動態音頻播放器從符干當中選擇加以重復，以便增長提示的重放時間。音頻提示文件也可包含有助于動態音頻播放器修改音頻提不被播放的持續時間的信息，例如循環標記404、欄位置406和推薦混合信息408。推薦混合信息包含用于組合音頻符干的指令列表，其中每一指令指示待使用的符干和區段，和待應用任何音頻效果處理。也可提供其它信息，例如指示意欲由指示流派、風格、樂器、情感、氣氛、地點、時代的音頻或數據所喚起的情感或心情的字或標志——被稱作描述符410。也可包含甚至更多的額外信息，例如替代性關鍵字、提示音量、交叉衰落或淡入/淡出形狀/強度和用于連續提示的推薦調和級數。
作為實例，音頻提示文件可實施為含有呈JSON格式的元數據文件和的提示符干的一個或多個音頻文件的檔案。元數據文件含有與音頻文件相關聯的元數據的描述符，其包含欄位置、循環標記、推薦混合信息、emode (情感內容元標簽)、音頻動態控制元數據(動態范圍壓縮)、樂器、氣氛和流派。音頻文件可包含每一符干的數據壓縮音頻文件和高分辨率原始音頻文件。保持每一符干的高分辨率版本會支援稍后使用音樂制作工具進行編輯。可制造不含原始音頻文件的音頻提示文件的副本以少量下載到電子書閱讀器。提示文件含有每一符干的壓縮音頻文件，其是用于在終端用戶應用程序中重放的文件。
可使用軟件工具來建立提示文件，軟件工具輸入一組標準音頻符干、添加描述符、循環點和推薦混合元信息作為分離的文本文件、最優化并壓縮用于網絡遞送的音頻，且輸出可上傳到數據庫的單獨封裝文件。可使用各種分析技術來分析音頻文件以定位區段、節拍、響度信息、衰落、循環點和鏈接。可使用描述符“流派、風格、樂器、情感、地點、時代”來選擇提示，且在由讀者使用提示在網絡上遞送提示。
提示列表和提示文件可被個別地加密并鏈接到它們在其中為配音的特定作品。可使用相同密鑰以存取作品和其配音。因此，文件可束縛于特定作品或供存取作品的特定觀看裝置，且可使用與作品相關聯的數字版權管理信息。
考慮到對提示列表、音頻提示和可用于與電子書閱讀器的互動，先前理解，現在將結合圖5到7來更詳細地描述動態音頻播放器。
為了在讀者第一次開啟(500)書時起始重放，電子書閱讀器調用 502 “ebookOpenedwithUqiquelD”函數,其指示書的唯一識別符及書過去是否已被開啟。動態音頻播放器接收504電子書的識別符，且下載或讀取506所識別書的提示列表。電子書閱讀器通過調用508 “getCueList”函數而提示動態音頻播放器注意有關提示列表的信息。動態音頻播放器發送510提示列表，電子書閱讀器將提示列表呈現給用戶以選擇512書的配音中的一者(如果存在一個以上配音)。可通過使用允許用戶評定配音的客戶反饋評定系統來提高這種選擇，且當由系統請求選擇配音時可將這些評定顯示給用戶。然后調用514 “cueListEnable”函數以向動態音頻播放器通知選定提示列表,動態音頻播放器通過函數調用而接收516選定提示列表。調用518 “fetchSoundtrack”函數以命令動態音頻播放器提取520提示供重放。
在此設置過程完成之后，動態音頻播放器具有開始提示和提示列表且具有當前提示以用于起始重放。大約在電子書閱讀器顯示電子書的此部分的時間可開始重放。動態播放器然后基于有關用戶與書籍的互動的數據而確定下一個待播放的提示、何時播放所述提示和如何從當前提示轉變到下一個提示。
動態音頻播放器延長或縮短提示的音頻符干文件的重放時間以配合估計的總提示持續時間。此估計的提示持續時間可以若干方式計算。實例實施方案使用閱讀速度的估計，下文將更詳細地描述閱讀速度的估計的計算。當前提示持續時間是響應于描述用戶與電子書閱讀器的互動的數據而更新，例如在每一翻頁時通過“displayPositionRangeChanged” 調用函數而提供。
通常，通過自動循環音頻符干文件的區段、改變個別符干混合且動態增加各種效果(例如混響、延遲和合唱)而修改提示的音頻符干文件的重放時間。音頻符干文件所特有的循環點和其它混合自動化數據存儲于提示文件的元數據中。在提示文件中可存在若干不同循環點。可選擇音頻符干的區段，使得當循環并再混合時其提供最有效的且有趣的音樂終端用戶體驗。此過程避免了產生含有明顯重復的音樂并最大化音樂內容以遞送持續時間可為原始音頻片段的持續時間的許多倍的音樂上愉悅的結果。當觸發下一個提示時，傳出音頻與傳入音頻之間的轉變也由相同過程所管理，其是通過使用提示文件元數據定義適當交叉衰落的風格和布置以產生無縫的音樂轉變而進行。
作為實例，假定提示文件含有四個音頻符干(旋律音軌、持續和弦或“墊”音軌、節奏敲擊(通常為鼓)音軌和節奏和聲音軌)，如果以單次播放，那么其將運行四分鐘。進一步假定此記錄具有三個相異區段A、B和C。提示文件中的元信息將包含
I.如何從先前提示轉變到所述提示。此包含轉變風格(即，慢、中等或快淡入，或以混響尾部停止先前提示且從提示開始起動新提示)、音樂欄和節拍標記，使得交叉衰落在音節上無縫。
2. A、B和C區段中每一者的時間位置可循環。
3.提示制作者的關于四個符干可如何再混合的輸入。舉例來說，只使用區段A播放符干1、2和3，然后只使用區段A播放符干1、3和4，將混響添加到符干3，且使用區段B播放符干3，然后從區段B播放符干3和4等等。使用這些種類的樂器意味著典型的四分鐘的音頻片段可被延長到40分鐘或更長而不含明顯的重復。此外，每一混合對于用戶是唯一的且在重放時間產生，因此更難復制未經授權的配音。
作為實例，現在參考圖6，將更詳細地描述此過程。考慮到提示和開始點，確定(600)直到播放下一個提示的持續時間。下文更詳細地提供計算此持續時間的實例方式。考慮到持續時間，處理提示制作者的輸入以產生所需持續時間的播放列表。換句話說，選擇602再混合信息中的第一指令并添加到播放列表。如果在604處確定音頻符干的此區段具有小于所需持續時間的持續時間，那么然后選擇606下一個指令，且重復此過程直到完成608所需持續時間的列表。在提示結束時，使用下一個提示的元數據中的轉變信息以選擇610當前列表中的開始點以實施從當前提示到下一個提示的交叉衰落。
估計提示的持續時間的一種方式是估計讀者的閱讀速度(每分鐘的字數)，且考慮到在提示中字數而確定讀者大概需要花費多長時間完成閱讀書的此部分。此估計可從讀者的閱讀速度信息的歷史記錄中計算得出。
當用戶開始閱讀書時，假定每分鐘特定字數的初始閱讀速度。此初始速度可從各種有關用戶從閱讀先前書的先前閱讀速度的歷史記錄的數據中計算得出，其可由作者、流派、當天時間、位置并跨越全部書而組織。如果不存在先前的閱讀歷史記錄，那么可使用其它用戶如何閱讀此標題的匿名的全部記錄。如果不存在歷史記錄，那么可使用典型的每分鐘400字。
現在參考圖7，每當顯示位置范圍改變時就追蹤用戶的閱讀速度，如由“displayedPositionRangeChanged”調用函數所指示。如果接收(700)此函數調用，那么隨后檢查702若干條件。這些條件包含但不限于全部要求用戶主動地閱讀，即，不在閱讀暫停狀態；新顯示位置范圍大于先前的顯示位置范圍；新顯示位置范圍的開始觸及到先前顯示位置范圍的結束；和字計數高于最小量(當前為150字)。自從最后改變以來的時間也應在易察覺的范圍內，例如檢查平均閱讀速度的平均閱讀速度的標準偏差在常規的預期變化量內。如果滿足這些條件，那么記錄704當前時間。計算并存儲706自從對顯示位置范圍的最后改變以來的時間，以及先前顯示位置范圍的字計數。計算708對此區段的閱讀速度。從所測量的閱讀速度的歷史數據，可計算平均閱讀速度并用于估計提示持續時間。
用于計算對頁p的閱讀速度(每秒的字數)Sp的公式為
權利要求
1.一種用于音頻動態重放的計算機實施方法，它包括 接收有關用戶與電子視覺作品的一部分的互動的數據；及 根據所述用戶互動來動態調整與所述電子視覺作品的所述部分相關聯的音頻重放的持續時間。
2.根據權利要求
I所述的計算機實施方法，它還包括 根據所述接收到的有關用戶與所述電子視覺作品的所述部分的互動的數據來估計所述電子視覺作品的所述部分的視覺顯示的持續時間；及 選擇與所述電子視覺作品的所述部分相關聯的音頻符干的混合序列，以便提供具有所述估計持續時間的音頻。
3.根據權利要求
2所述的計算機實施方法，其特征在于，使用閱讀速度的歷史來估計所述持續時間。
4.ー種用于與電子視覺作品的顯示同步地播放配音的計算機實施方法，它包括 將所述電子視覺作品接收到存儲器中； 將使所述電子視覺作品的部分與標簽相關聯的信息接收到存儲器中； 響應于用戶互動而顯示所述電子視覺作品的部分； 存取具有標簽的首頻文件； 使用處理器根據與所述電子視覺作品的部分相關聯的所述標簽來選擇與所述電子視覺作品的所述部分相關聯的音頻文件； 接收有關用戶與電子視覺作品的部分的互動的數據；及 根據所述用戶互動來動態調整與所述電子視覺作品的所述部分相關聯的音頻重放的持續時間。
5.一種用于產生電子視覺作品的配音的計算機實施方法，它包括 將所述電子視覺作品接收到存儲器中； 由處理器處理所述存儲器中的所述電子視覺作品，以通過在存儲器中使標簽與所述電子視覺作品的部分相關聯來標記所述電子視覺作品的部分； 存取具有標簽的首頻文件； 使用所述處理器根據與所述電子視覺作品的部分相關聯的所述標簽來選擇所述電子視覺作品的所述部分的音頻文件。
6.根據權利要求
5所述的計算機實施方法，其特征在于，所述電子視覺作品包含文本，且所述處理包含處理所述文本。
7.根據權利要求
6所述的計算機實施方法，其特征在于，所述標簽包含情感描述符。
8.ー種數字信息產品，它包括 計算機可讀媒體； 存儲于所述計算機可讀媒體上的計算機可讀數據，當由計算機處理時，所述計算機可讀數據由所述計算機解譯以界定包含提示列表的計算機可讀文件，對于電子視覺作品的每一部分，所述提示列表包含情感描述符，其特征在于，所述情感描述符對應于同樣與音頻數據相關聯的情感描述符。
9.ー種數字信息產品，它包括 計算機可讀媒體；存儲于所述計算機可讀媒體上的計算機可讀數據，當由計算機處理時，所述計算機可讀數據由所述計算機解譯以界定包含界定音頻提示的數據的計算機可讀文件，所述音頻提 示包含用于多個可被混合以提供音頻數據的符干的音頻數據和指示所述符干可如何被重復及組合的信息。
專利摘要
一種電子書具有配音，讀者可在閱讀電子書的同時聽配音。配音伴隨并提高閱讀體驗，其中讀者通常基于作為電子書一部分的故事或其它視覺媒體而在他們的頭腦中形成圖像。配音的重放與電子書的視覺顯示同步。音頻提示與文本中的不同點相關聯，且這些提示基于用戶與電子書的互動而與電子書的視覺顯示同步地動態重放。動態重放包括編輯并播放音頻提示，使得音頻提示具有一持續時間，該持續時間是基于對電子書中與提示同步的部分的持續時間的預測。當系統開始播放音頻提示時，系統預測下一個音頻提示應該何時開始。播放當前提示達預測的持續時間，且在適當時間起始到下一個音頻提示的轉變。
文檔編號G09B5/06GKCN102687182SQ201080060799
公開日2012年9月19日 申請日期2010年11月10日
發明者威廉·拉塞爾·亨歇爾, 格雷厄姆·愛德華·柳斯 申請人:杜爾塞塔有限公司導出引文BiBTeX, EndNote, RefMan