控制音頻信息的再現的制作方法

專利名稱：控制音頻信息的再現的制作方法
控制音頻信息的再現本發明涉及控制音頻信息聲音再現的方法和裝置。具體而言，本發明 涉及為了娛樂目的(例如業余活動)的體育中的聲音再現，或者為了治療 或診斷目的的身體活動。在大多數情況下，訓練過程包含有運動序列，具有周期性重復事件。 例如，在騎自行車時，學員或運動員以周期性循環的方式從上向自行車的 右腳踏板和/或左腳踏板施加力量。在跑步或步行過程中，可以將事件的時 間點規定為右腳和/或左腳觸地。在體育或訓練過程中人們會為了娛樂或促進而播放音樂。各種研究表 明，在跑步的過程中，利用音樂能夠提高耐力和跑步成績。跑步的人會更 加放松，呼吸更深、更均勻。這樣能夠使工作的肌肉接受更多氧氣，訓練 效果更好。有些運動員特別喜歡在訓練時聽喜歡的音樂。然而，音樂的節 奏并不經常和正在進行的運動或訓練效果最佳的運動節奏一致。人會讓他/ 她的運動適應音樂，多數情況下不能達到訓練目的。本發明的發明人已經 發明了一種裝置，這種裝置使音樂頻率適應周期性運動的頻率，而不改變音調。這一裝置和對應的方法能夠按照例如公布號為DE 103 09 834 Al的 德國專利申請所描述的方式實現和進行，盡管這一專利申請涉及語音信息 的再現。這一方法使得運動員能夠利用音樂的節奏進行訓練或開展體育運動， 這種訓練和體育運動是需要很長時間的，每次的持續時間恒定。然而，對 于節奏不斷變化的運動序列，學員或運動員要適應音樂就不那么容易。EP 1 533 784 A2描述了用于再現模式和方法的一種控制裝置。檢測用 戶上下方向的運動。檢測單元基于震動傳感器的輸出來檢測用戶的步態。 再現模式的控制實現對音樂內容再現速率的調節，使之適應用戶的步態。 這一文件的實例3描述了音樂再現裝置為什么不僅能改變再現速度，還能使用戶的動作與音樂節拍同步。2006年4月27日公布的WO 2006/043536 Al描述了如何檢測步行用戶的步態時序和用戶身體擺動的時序。音樂作品的內容和運動圖像等的再現 方式使得檢測到的時序與音樂作品的節拍時序或運動圖像的場景改變時序 同步。本發明的目的是提供前面提到的那種類型的一種方法和裝置，它能夠 提高運動中的人和再現的音頻信息之間的協調性。另一個目的是通過改變 運動的持續時間，以聲音方式再現的音頻數據能夠促使運動獲得成功。在這里提出控制或調節音頻數據的聲音再現，使得音頻數據中包含的 周期性重復音頻元素的再現與循環事件同步(特別是周期性地)。與此同時， 相對于循環事件之一的相應發生時間點，這種同步能夠偏移一段指定的時 間(偏移同步)。例如，跑步的人可以希望在他的腳已經在地上時音頻元素 已經被再現，盡管此時沒有對地面施加最大的力，檢測其中施加最大力的 時間點，它是循環事件的時間點。具體地說，提出一種方法，用于控制音頻數據的聲音再現，其中--音頻信息顯現出周期性重復的音頻元素；-采集關于運動過程的運動信息或者呈現這種運動信息，該運動過程包 括循環事件，-利用所述運動信息控制所述音頻數據的再現，使得至少在一個時間周 期內每個第n個周期性重復音頻元素在與所述循環事件之一的發生時間點 相同的時刻(同步)再現，或者在相對于所述循環事件之一發生時間點一 段指定時間偏移的時刻(偏移同步)再現，在這里n是一個正整數。聲音再現的控制還意味著會在調節中發生的過程。下面的同步還包括偏移同步。至少為各個周期預先確定指定偏移值(時 間值)。但是這些周期可能在再現期間發生改變，并且依賴于例如人的脈搏 頻率這種量。如果脈沖頻率例如上升到超出指定極限值，就降低再現速度， 發出警告信息，和/或第一次時早一些為未來的同步指定偏移值或一些其它 偏移值。在所有情況下，可以防止運動中的人采取比必要更多的任何體力。周期性重復的音頻元素專指要再現的音頻信息的那些元素，它表明或 形成節奏、韻律和/或節拍。與此同時，音樂中可能有例如套鼓或另一種節 奏樂器產生的音頻信號(例如所謂的節拍)。還有，可以考慮節拍的元素(也 就是均勻的基本節拍而沒有重音)。周期性音頻元素的另一種可能是具有變化聲音持續時間的有節奏的聲音序列和/或語音聲音，它的發生可能對應于 例如基本脈沖。但是，本發明不限于音樂。相反，還可以再現其它音頻信 息，例如有節奏的動物聲音、人說話產生的噪聲(例如有節奏的說話)，或 者人工產生的不是音樂的音頻信號。幾乎在運動節奏發生改變的任意時刻，都可以自身保證本發明中音頻 元素與運動事件的同步。為此，進行運動的人感受再現的音頻數據，作為 對運動的支撐。這個人不用使自己與音樂節奏或其它音頻信息同步。例如， 在訓練自行車上訓練時，不必根據音樂改變運動。具體地說，可以改變周期性重復的相應音頻元素，直到首次發生。這 是例如鼓手獨奏的情況。還有，可以改變循環周期。例如，存在節奏不斷 改變的音樂。可以確定所有相同的瞬間持續時間(如同下面將通過實施例 更加詳細地說明的一樣)，它可能源自音頻數據不變的再現。因此，還能將 音頻數據的再現與運動過程同步，如果音頻元素和/或循環周期發生改變。運動過程的(特別是周期性)循環事件可以根據運動過程來定義，但 是也可以以不同的方式定義在一個并且相同的運動過程中。對于跑步，將 事件定義為例如右/左腳踏在地面上。對于騎自行車，或者象跑步一樣包含 連續運動的其它運動過程，可以將事件的時間點定義為例如在部分運動序 列中施加最大力的時刻，或者最大加速度時刻和/或相應運動機制的特殊預 定義位置(例如家用訓練自行車的轉動踏板位置)。例如，在騎自行車的事 件中，可以將時間點定義為右腳/左腳從上往下對踏板之一施加最大力的時 間點。除了音頻數據的聲音再現以外，還可以輸出光信息，例如光脈沖和/或 光束圖像，其中光束的長度隨著如同均衡器顯示一樣的時間改變。光信息 可以用例如位于人的視場中合適的護目鏡或合適的眼鏡來顯示。與此同時， 與音頻元素的再現同步來再現光信息(例如在每個音頻元素再現的同一時 刻發出光脈沖)。可以給同步進程和同步輸入信息(特別是循環事件和音頻元素的時間 序列)制定協議和/或可以記錄對應的數據。這樣就能夠為運動過程進行事 后分析評估。被記錄了運動信息的運動過程可以由聽到音頻回放的人以外的某個人8來進行。例如，可以有幾個人一起進行體育運動，可以預先確定這些人中 的一個人的運動。可以將與這個人(第一人)的運動事件同步的音頻信息 以音頻方式輸出給所有人。例如，運動事件時間點信息可以通過無線方式 由第一人身上佩戴的裝置發射給其他人的裝置，在每種情況下，這些裝置 由其他人佩戴在身上，并由此實現同步。但是，也有可能將己經同步的音 頻信息發射給其他人。在任何情況下，第一人能夠指定運動節奏，其他人 能夠據此進行運動。如同上一段所述，可以在任何地方進行同步。在一種配置中，可以將 運動事件時間點的數據發送給中心裝置(例如固定服務器)，例如通過移動無線電網絡。中心裝置進行同步，并且轉發同步音頻數據再現給進行運動 的那些人和/或另一人。但是，同步和包含同步音頻數據的信號的輸出最好是由又小又緊湊的裝置進行，并且能夠佩戴在人的身上。這種裝置可以是例如改進的MP3播 放器，改進的移動電話，或者改進的PDA (個人數字助理)。這種裝置可以 具有如下具體配置。可以控制音頻信息的再現，使得在每種情況下運動過程循環事件之一 的任何發生時刻，下一周期性重復音頻元素都以聲音方式再現。具體地說， 為循環事件和要回放的音頻元素定義特征時間點，同樣如果音頻元素的回 放在簡短的時間幀里延伸。然而，總的來說，這種時間點的使用仍然是優 選的，如果在每種情況下下一周期性重復音頻元素的再現不在循環運動事 件之一的每個發生時間點。在這種一般情況下，至少在和循環事件之一發 生的時刻相同的一個時間周期內再現每個第n個周期性重復音頻元素，其 中n是正整數。下面將這些同步發生的時間點稱為同步時間點。特別是，再現音頻信息，使得音頻信息的音調不因為同步而發生改變。 這樣，有關的人不會感覺到音樂發生了改變，即使為了同步目的改變了音 樂的再現速度。例如從以下出版物能夠了解如何改變音樂再現速度 Flanagan, J. L.; Golden, R. M.: "Phase Vocoder", Bell System Technical Journal, 1966年11月，第1493 1509頁；以及Malah, D.: "Time-Domain Algorithms for Harmonie Bandwidth Reduction and Time Scaling of Speech Signal", IEEE Transactions on Acoustics, Speech and Signal Processing,第頁，1979年4月。但是這些出版物沒有描述本發明的同步方式。然而，可以將這些過程用于同步。例如，可以臨時改變再現速度來實 現同步。為了改變速度，例如，可以從頻率空間里的時間幀對音頻信息進 行傅里葉變換，如同Flanagan的出版物所描述的一樣。典型情況下，這一 變換和對應的后續變換會產生令人不愉快的聲音效果(所謂的"相位錯亂 (phasiness)"、"瞬時拖尾")。為了抑制這種效應，可以采取另外的處理步 驟(例如所謂的"相位鎖定"，如同以下出版物所描述的一樣Laroche, J.; Dolson, M.: "Improved Phase Vocoder Time-Scale Modification of Audio", IEEE Transactions on speech and audio processing, 第7巻，第3期，1999 年5月，第323-332頁)。上面提到的Malah的出版物描述了一種方法(所謂的時域諧波變換， TDHS)，它基于在時間范圍內對聲音信號的處理。代替在頻率范圍內對信 號進行變換，在分析階段將聲音信號劃分成很小的重疊的時間范圍，然后 將它們分別擴展或壓縮。在本發明的一個實施例中，利用來自音頻數據的數據形成一些塊，其 中的數據是音頻信息的部分數據。在再現速度維持不變(原始)的情況下， 每種情況下每一塊都對應于一個時間間隔，需要這個時間間隔來再現塊中 包含的數據。如果提高塊的再現速度，塊中數據量的就會減少。如果降低 塊的再現速度，塊中數據的量就會增加。與此同時，相對于原始再現速度， 數據量的增減都不會改變音調。這可以通過按照Malah的出版物中所描述 的類似的方式改變數據量來實現。最好按照這種方式來控制音頻數據的再現，使得至少在一個同步時間 周期內每個第n個周期性重復的音頻元素在與每個第m個循環事件的發生 時間點相同的時刻再現，或者在相對于每個第m個循環事件的發生時間點 一段指定時間偏移的時刻再現，在這里n、 m是正整數。最好是音頻元素的 持續時間和運動事件的持續時間至少在同步的時間周期內是恒定的。這一方法還適合于運動事件持續時間發生改變的情況下的同步。與此 同時，控制音頻數據的再現，使得至少在持續時間的改變之后和/或期間的 一個同步時間周期內，在與所述循環事件之一的發生時間點相同的時刻再現每個第O個周期性重復音頻元素，或者在相對于循環事件之一的發生時間點一段指定時間偏移的時刻再現，在這里o等于n或者是另一個正整數。 只要o不等于n，就改變同步節奏。實現同步的一種可能是事先計算時間點，在這個時間點有可能出現運 動的下一個循環事件或接下來的循環事件之一。于是可以確定過去發生的 循環事件的時間點和/或評估對應地儲存的數據。在這種情況下，根據過去 的時間點預測未來時間點，事先計算到未來時間點為止如何再現音頻信息， 從而，在這個時間點或者相對于這個時間點一個指定時間偏移的時刻再現 音頻信息的音頻元素。這種方法為不同類型的再現留下了余地。另一方面，在改變運動事件 的持續時間時，以及其它情形下(例如在再現開始)，同步應當盡快完成(再 一次)。另一方面，應當避免被再現音頻數據中速度發生能夠聽出來的改變 (特別是跳變)。可以不斷地改變直到未來時間點的音頻信息的再現速度，從而在這個 時間點或者相對于這個時間點有指定的時間偏移來再現音頻元素。具體地 說，可以改變速度，至少是間歇性、線性地直到未來時間點。在這里說的 改變是指時間的改變，不是正常再現速度的改變。第一時間幀內速度以第 一恒定速率線性地改變(相對于速度)，在第二時間幀內以第二恒定速率線 性地改變，用這種方式計算起來特別容易，幾乎不會被收聽人感覺到，其 中第一和第二改變速率不同。兩個時間幀可以是連續的。由于至少有兩個 不同的線性改變速率，因此能夠線性地改變速度，并且還能在改變速度的 時間周期結束的時候實現同步。特別是可以通過調整改變的兩個線性速率 來實現同步。但是，根據后面的權利要求，同步是通過進行調節來實現的。將再現 運動事件發生時間延遲的信號序列，與一個反饋(控制電路的輸出信號) 信號序列進行比較，將它們的差調整為零，或者調整為預定時間偏移，音 頻元素再現時間點與事件時間點相差這個時間偏移。與此同時，輸出信號 是再現循環音頻元素發生的時間延遲的信號。這意味著要再現音頻數據， 使得音頻元素的時間序列對應于控制電路的輸出信號。最好是利用比較器來比較這兩個信號。將比較器的輸出信號(對應于兩個信號之差)饋入濾波器(具體地說是低通濾波器)作為輸入信號。將 低通濾波器輸出端的輸出信號饋入控制音頻信息再現的激勵器。還提供一 種裝置，這種裝置根據校正信號(激勵器的輸出信號)和/或從低通濾波器 的輸出信號產生控制電路如上所述的輸出信號，將這個控制信號反饋回去。對于其它目的，這種調節被稱為鎖相環(PLL)。 還可以使用其它調節原理。反饋控制的優點是除了激勵器以外，它能夠用電子元件，尤其是標準 微電子元件來組成。激勵器也可以有標準電子元件，特別是微處理器。但 是，在這種情況下，還需要對微處理器編程，因為它要實現本發明中音頻 數據再現的控制。激勵器也可以是計算機的一部分，同時用于其它功能， 例如PDA的計算單元和/或用于對己編碼音頻數據(例如編碼成MP3格式) 進行譯碼。可以將這種反饋控制進一步設計得極其魯棒，在要認真考慮下一個或 接下來的運動事件時不需要預測(projection),并且不需要考慮如何同步音 頻數據的再現。與運動事件發生時間的預測相比，反饋控制的另一個優點是計算量最 小，因此數據處理器的負荷最小，音頻元素最少。反饋控制還對輸入信號 的改變(例如運動節奏)反應特別迅速。特別是不需要對反饋控制進行頻 率分析。另一方面，本發明可以跟反饋控制組合，或者還能跟另一種同步方法 組合，應當保證對控制或反饋控制的輸入變量的變化具有限定好的快速反 應。建議對時間幀以及運動事件和音頻元素有目的的同步的時間偏差的度 量(時間差)(也就是音頻元素再現時間點和運動事件發生時間點之間的偏 差)進行指定。達到或超過偏差的度量時，指定的時間幀開始。執行控制 或反饋控制——不晚于指定時間幀的結束時刻——再次達到或低于偏差度這種方法或相應地對應地配置的反饋控制可以通過例如選擇適當的反 饋控制參數來進行。在反饋控制過程中，不必監視對時間幀的依附，因為 反饋控制的參數是從開始選擇的，使得時間幀得以依附。在選擇參數時，可以假設偏差不大于指定值。但是，考慮指定時間幀和指定度量的過程也 可以是上述過程的一部分，預測其中下一個或接下來的循環運動事件之一 有可能發生的時間點。具體地說，在檢測某人跑步的步伐的情況下，盡管還使用其它事件檢 測器(例如機械傳感器)，它仍然會導致所謂的回彈效應，特別是表面上發 生其它事件。跟實際發生的循環事件的頻率相比，這些事件發生的頻率更 高，因此最好是將它們過濾掉(具體地說通過用軟件實現的濾波器)。濾波 器可以是例如周期性的濾波器和/或基于模型運動的濾波器。可以用這個模 型來說明檢測到的事件是人工贗象。然后可以將已濾波信號用于同步。具體地說，建議將記錄下來的運動數據進行濾波，將明顯實際上沒有 發生的運動事件從運動數據中過濾出去，或者將表面上的運動事件對同步 的影響減到最小。在一個具體實施例中，可以將兩個連續運動事件的時間差與門限值進行比較(在跑步過程中最大反彈值，例如250毫秒)。如果這個差低于門限 值，就將一個運動事件從運動數據中刪除。另外，或者取而代之，從運動 事件確定出來的事件發生頻率的起伏能夠得到衰減。經過了衰減的對應頻 率信號可以用于同步。檢測音頻數據中重復音頻元素是否存在的一種可能是再次形成上述 塊。具體地說，其中包含的數據信息指向作為時間函數的信號的幅度(例 如所謂波形格式中的數據)，由此可以將信號直接用于控制聲音再現裝置， 例如揚聲器。對于每種情況下的一塊或者對于幾個時間連續塊，為整塊或 相應塊序列中的幅度確定一個度量。與此同時，負的和正的幅度值類似地 進入確定。例如，考慮幅度的量或平方。例如，可以將幅度平方的時間平 均值作為一個度量。如果度量超過一個極限值(可以例如從開始確定這個 極限值，或者能夠根據評估大量塊的結果來確定這個極限值)，就確定這一 塊或塊序列包含這個音頻元素，具體地說例如利用套鼓產生的節拍，或者 另一種音樂聲音(相對于其它時間段的重音)。為了識別音頻元素的發生，可以反復進行限于具體時間幀的每種情況 里的頻率分析。如果例如時間幀由上述塊之一定義，就可以為每一塊進行 頻率分析。頻率分析的結果給出例如大量頻帶中每一個里的幅度值。如果幅度值在頻帶之一內，或者在一組指定頻帶內超過極限值(為相應頻帶專 門定義的)，就確定在這個時間幀內出現了音頻元素(例如節拍)。例如，在Eric. D. Scheirer: "Tempp and beat analysis of acoustic musical signal" J. Acoust Soc. Am.， 103 (1 ), 1998年1月，第588~601頁上，或 者在G Tzanetakis， G Essl禾B P. R. Cook: "Audio Analysis Using the Discrete Wavelet Transform",出版于"Proceedings of WSES International Conference, Acoustics and Music: Theory and Applications (AMTA)"， Skiathos， Greece, 2001年，中描述了所謂的"節拍檢測"的實例。在這里將這兩篇出版物全 部引入本說明書。還提出一種控制音頻數據聲音再現的設備，其中所述音頻信息包括周 期性重復的音頻元素，并且其中所述設備包括-檢測裝置，用于記錄關于運動過程的運動數據，所述運動過程具有循 環事件以及-控制裝置，配置成用于利用所述運動數據控制所述音頻信息的再現， 使得至少在一個時間周期內每個第n個周期性重復的音頻元素在與所述循 環事件之一的發生時間點相同的時刻(同步)再現(同步)，或者在相對于 所述循環事件之一發生時間點一段指定時間偏移的時刻再現(偏移同步)， 在這里n是正整數o可以將這種設備集成到移動裝置里去，用戶可以在運動過程中佩戴這 種設備，和/或能夠自己攜帶。與此同時，可以將這種檢測裝置連接到一個 或多個傳感器，用于記錄運動數據信號；這些傳感器根據運動情況發送信 號。檢測裝置評估信號，并且從中確定循環事件。例如，傳感器是放置在 跑步人鞋跟里的壓力傳感器。也可以將例如至少一個加速度傳感器(可以 從Analog Devices買至lj， 公司總部,One Technology Way, Nonwood， 馬 塞諸塞州，美國，名稱為"ADXL202 DUAL-AXIS ACCELEROMETER")， 和/或具有安裝在底上重量彈簧加載的至少一個彈簧機構，用來確定運動事 件。例如，對于底上的重量彈簧加載情形，隨后產生信號，無論何時重量 達到和/或撞擊特定位置。移動裝置可以是例如已知的音頻再現單元(例如MP3播放器、移動電 話和/或PDA、個人數字助理)，將它們改進為能夠實現同步。本發明的一部分還是計算機程序，在計算機(例如微電子CPU)或計算機網絡上運行的時候，用于實現本發明的方法。本發明的一部分還是計算機程序，它具有程序編碼模塊，在計算機或 計算機網絡上運行的時候，用于實現本發明的方法。具體地說，這種程序 編碼模塊可以儲存在計算機可讀介質上。本發明的一部分還是一種介質，上面儲存了數據結構，在載入計算機 或計算機網絡的工作和/或主存儲器以后，能夠實現本發明的方法。本發明的一部分還是一種計算機程序產品，具有程序編碼模塊，儲存 在機器可讀介質上，在計算機或計算機網絡上運行的時候，用于實現本發 明的方法。與此同時，計算機程序產品指的是作為商業產品的程序。它可以是任 意形式的，例如，在紙上，或者計算機可讀介質上，并且能夠通過數據傳 輸網絡進行分發。下面將參考附圖描述本發明的實施例。這些附圖包括

圖1說明再現音頻數據的步驟；圖2說明同步的步驟；圖3說明控制(在這里是調節)音頻數據再現的設備； 圖4是圖3所示設備的激勵器的特殊配置；圖5是設備按照圖3所示工作的時候信號的時間延遲；以及 圖6說明本發明的第二配置。控制音頻數據再現的設備具有例如圖1所示的元素。與此同時，這些 元素可以采用單^^共用硬件元件(例如微型計算機)整體實現，也可以在 特定配置中部分實現。還可以提供軟件，控制元件的工作過程。具體地說， 對下面描述的塊尺寸的改變進行控制最好是通過軟件來進行。按照例如已知方式(例如MP3格式)將音頻數據進行編碼，并將其儲 存在存儲器10中(圖l)。在再現音頻數據的第一步S1，從存儲器10讀出 己編碼數據，在解碼單元12中解碼。將作為解碼輸出的合適的幅度值用于 根據時間來再現音頻數據(例如所為波形格式的數據)。在第二步S2，將已解壓數據構造成塊B1、 B2、 B3、……、Bn (例如 利用軟件的對應數據字段進行管理)。每一塊B1、 B2、 B3、……、Bn包含 已解碼音頻數據的部分數據，在正常再現速度下，相應部分對應于指定尺 寸的一個時間間隔。這意味著在相應塊中管理的音頻數據清楚地決定了分 配的時間間隔中音頻數據的再現。解碼過程連續地產生進一步解碼的音頻 數據，可以將它們儲存在臨時的存儲器中，例如緩沖存儲器中。這樣，不 斷地產生新塊。這些塊形成臨時的有序序列。例如，在塊B1中管理的數據 再現一完成就再現塊B2中管理的數據。例如，已解碼數據對應于以44kHz 掃描模擬音頻信號，在每種情況下，在每一塊中管理256個臨時的序列掃 描值。但是，本發明不限于這些數值。可以采用其它掃描速率、可變掃描 速率和/或其它數據管理結構。塊結構的優點是這種結構可以被直接用于改變再現速度，例如可以將 它用于傅里葉分析。這種傅里葉分析發生在例如圖1中沒有示出的一個設 備元素中，這個設備元素能夠對數據進行頻率選擇性處理。這種處理對于 本發明而言不是必不可少的。用于處理的元素是例如所謂的均衡器。在歩驟S3 (圖1)，改變塊B1、 B2、 B3、……、Bn的尺寸，也就是說，改變各個塊中儲存的數據的量。如果增加塊中的數據量(例如從256個掃 描值改變成300個掃描值)，再現數據塊所需要的時間周期就會延長。如果 減少塊中的數據量，再現塊中音頻數據所需要的時間周期就縮短。換句話 說，數據量與再現數據量所需要的時間之比是恒定的。在步驟S3 (圖l), 數據量的改變不會帶來任何音調改變。在這個實施例中，塊B1中的數據量 顯著減少，例如從256個掃描值減少成200個掃描值。塊B2中的數據量進 一步減少，但是與塊B1中的減少量相比，只是略微減少一些。塊B3中數 據量的減少更少。這樣一來，首先顯著地提高速度(塊B1)，在從塊B1到 B3的回放中相對于正常再現速度則進一步減小。在步驟S4，將音頻數據一塊一塊地連續進行選擇處理(例如為音頻再 現匹配音量和/或匹配連續塊，使聽者感覺愉悅，例如平滑塊的過渡)，并且 將它們傳送給音頻再1L裝置，例如揚聲器或揚聲器系統16。用圖1中附圖 標記14表示的裝置進行進一步的選擇處理和轉發。下面描述步驟S3的細節。與此同時，這是圖2所示的一個實施例，但是步驟S3還可以用不同的方式執行，例如利用下面將描述的圖3和圖4所 示的設備的輸出信號。在步驟S20中，針對塊B1、 B2、 B3、 、 Bn連續確定相應塊中是否出現節拍。既然在實施例中以正常的音樂再現速度，最好是每秒有100 塊以上(例如以44 kHz的掃描速率和每塊256個掃描值的塊尺寸)，能夠 以很高的精度確定節拍的位置。根據節拍的發生歷史(例如在每種情況下 考慮最后10個節拍以及在正常再現速度下它們的時間點)，能夠計算下一 節拍的發生時刻。例如，可以在下一節拍按照己經發生的節拍序列同樣的 方式發生的假設下，計算下一節拍的未來時間點。與此同時，已經發生的 節拍之間的距離肯定不是恒定的。相反，可以確定在兩次節拍之間每種情 況下的距離已經發生改變，可以將這一發現的結果用于計算下一節拍的時 間點。還可以有不同類型的節拍，例如弱節拍和強節拍。在一種優選配置中， 只考慮強節拍，再現音頻數據的時候只讓強節拍與運動事件同步。這些節拍還可以與運動事件同步，使得不是每個運動事件都在時間上 與節拍重合。在跑步時，可以將它同步，使得節拍與右腳(或者左腳)落 在地上同步。此外，還可以有一些變化，例如，右腳或左腳每隔一次同步。 在音頻數據快速再現時，可以每個第n個節拍與下一只腳(也就是右腳或 左腳)同步(其中n是大于l的正整數)。具體地說，如果運動節奏改變，同步類型也可以改變。同步的正常再 現速度最好是在不超過0.6到1.6的因子變化范圍內改變，在0.75到1.5的 范圍內更好。最后運動中的人更加突然的減速(0.6的因子或者相應地0.75) 或者更加突然的加速(1.6的因子或者相應地1.5)被當作擾動，因為有時 不能識別音樂或其它音頻數據。同步類型的改變可能是必不可少的，特別是對于如上所述的運動頻率 改變。將步驟S20中的評估結果饋送給第一控制裝置24 (圖2)。第一控制裝 置24還接收(例如從腳步計數器)頻率f一step和時間點t一step。第一控制 裝置24由此計算數據量(例如原始模擬音頻數據正常掃描的掃描值的數 量)，加到塊上，或者從塊中去除，從而只是這些塊的整個數據量發生改變，在節拍和運動事件的下一次同步時間點回放。將評估結果饋送給第二控制裝置28，它的任務是改變各個塊中的數據 量。如果數據量減少或增加因子暫時是恒定的，那么可以按照這個因子增 加或減少要回放的所有塊。但是如果必須改變再現速度，那么第二控制裝置最好是執行以下計算方法從當前時間點到下一同步時間點線性地增加 每塊的數據量，在到下一同步時間點的剩余時間周期的第一部分時間周期 內，數據量在塊與塊之間按照第一速率增加，而在到下一個同歩時間點的 剩余時間周期的部分時間間隔內，數據量在塊與塊之間按照不同于第一速 率的第二速率增加。這一方式同樣適用于每一塊數據量的減少。在這種情 況下，利用塊與塊之間兩個不同增加速率減少數據量直到下一同步時間點。圖6說明塊尺寸的對應時間延遲。水平軸表示包含的塊的序列號。垂 直條表示塊極限。垂直軸表示每塊中的數據量。如同B4和箭頭所示，第四 塊包含節拍。包含節拍并且還要在運動事件發生時同步的下一塊是塊30(用 B30標記)。從圖中能夠很明顯地看出每塊數據量從第1塊每塊200個掃描 值到第30塊每塊280個掃描值的線性增加。與此同時，從第1塊到第14 塊增加的速率是恒定的，從第15塊到第30塊也是恒定的，但是改變的速 率更大。隨著每塊數據量的下降，每種情況下的數據量最好是從塊到塊的部分 時間間隔上改變，仍然以兩個不同的恒定速率。根據音頻數據的類型，步驟S20中進行的關于塊中是否包含節拍的識 別也可以僅僅在音頻數據再現的開頭進行，也就是在再現的開始確定節拍 的時間位置和發生周期。利用這一信息，可以利用合適的音頻數據進行可 靠的預測，直到再現結束，到這一塊，預期出現節拍。下面參考圖3~5描述控制同步的另一個優選實施例。與此同時，用PLL 控制電路(圖3)來實現控制。控制電路具有相位比較器PD、下游低通濾 波器Fl和下游激勵器VCO。將兩個不同的輸入信號饋入比較器PD,這兩 個信號可以是例如5伏的TTL信號。在這種情況下，短時間出現的較高信 號電平意味著出現節拍(在信號中的f_actual=在圖中的f一ist)或者相應地 出現運動的運動事件(在f—nominal信號中，f_nominal=在圖中的f—soll)。 比較器形成信號f一nominal和f_aCtual之間的差，并且將這個差傳送給濾波18器FI。通過設置低通濾波器FI的參數，能夠調整控制電路的調整性能。由 于低通特性，信號差短時間的(高頻)變化(因此同步中的偏差)被評估 得比長時間的差少。于是，可以將濾波器FI的對應輸出信號用于調整激勵 器，因此改變信號f一actual。如圖4所示，激勵器VCO最好是用第一模塊34和下游第二模塊36實 現。與此同時，將第一模塊34配置成特殊的示例性形式，用于根據它的輸 入信號VCO一in改變要再現的塊的尺寸。要再現的音頻數據，或者相應地對 應的塊，都可能是模塊34的輸入數據，如同M一in所示。如果輸入信號 VCOjn表明節拍暫時落后于運動事件(正的標稱偏差值)，模塊34至少以 暫時減少塊中的數據量來作出反應，于是，與正常再現速度相比，以更快 的速度再現音頻數據，使得節拍再次在運動事件的發生時間點再現。這種 情況的信號在圖5中說明。在圖示時間范圍的開始，運動事件(在時間點tl事件開始)發生的時 刻比節拍(在時間點t2節拍開始)發生的時刻早。于是，從時間點tl開始， 相位比較器PD的輸出信號PD一out增加到大于0的一個值。濾波器FI的對 應低通濾波輸出信號VCO—in (它是模塊34的輸入信號)因此從時間點tl 開始更加緩慢地增大，并且從時間點t2開始維持某個常數值，直到時間點 t3發生新的運動事件。到時間點t3，模塊34己經作出反應，加快了音樂的 回放速度。因此，運動事件(信號Oiominal)和節拍(信號f_actual)之間 的時間差變得較小。由于受控系統的惰性，音頻數據的再現速度仍然較高。 于是，下一節拍的時間點t5在下一運動事件開頭時間點t6之前。但是，因 此減小濾波器FI的濾波后輸出信號VCO_in。在下一運動事件的發生時間 點t7，同步幾乎完成。運動的人無法覺察這些最小偏差。將對應地修改過的音頻數據傳送給模塊34的輸出端,用于(如同M_out 所示)輸出給例如揚聲器16。還將信號M—out饋送給第二模塊36，這個模 塊由此產生信號f_actual。例如，為了這一目的，第二模塊36可以檢測信 號M一out中的節拍。可以通過未改變的數據按照前面描述的方式檢測節拍。
權利要求
1.一種方法，用于控制音頻信息的聲音再現，其中-所述音頻信息包括周期性重復的若干個音頻元素(A1～A5)；-采集關于運動過程的運動信息或者呈現這種運動信息，該運動過程包括若干個循環事件(E1～E5)；以及-利用所述運動信息調節所述音頻信息的再現，使得至少在一個時間周期內每個第n個周期性重復音頻元素(A1～A5)在與所述循環事件(E1～E5)之一的發生時間點(t1、t3、t5、t7、t8)相同的時刻(同步)再現(同步)，或者在相對于所述循環事件(E1～E5)之一發生時間點(t1、t3、t5、t7、t8)一段指定時間偏移的時刻再現(偏移同步)，在這里n是正整數；-其中將再現所述運動事件(E1～E5)的發生時間延遲的信號序列(f_nominal)與調節電路(PD、FI、VCO)的輸出端上作為輸出信號的反饋信號序列(f_actual)進行比較，其中所述信號序列(f_actual)再現所述循環音頻元素(A1～A5)的發生時間延遲，并且其中調整在所述比較中得到的所述音頻元素(A1～A5)之一和所述循環事件(E1～E5)之一之間所有情況下的時間差。
2. 如前一權利要求所述的方法，其中利用所述運動信息調節所述音頻信息的再現，使得至少在一個時間周 期內每個第n個周期性重復音頻元素在與每個第m個循環事件的發生時間 點相同的時刻再現，或者在相對于每個第m個循環事件的發生時間點一段 指定時間偏移的時刻再現，在這里n、 m是正整數。
3. 如以上權利要求中任一權利要求所述的方法，其中 改變所述循環事件的持續時間，并且其中調節所述音頻信息的再現，使得至少在所述改變之后和/或期間到所述持續時間的一個時間周期內，在 與所述循環事件之一的發生時間點相同的時刻再現所述周期性重復音頻元 素的每個第o個，或者在相對于所述循環事件之一發生時間點一段指定時 間偏移的時刻再現，在這里o等于n或者是另一個正整數。
4. 如以上權利要求中任一權利要求所述的方法，其中再現所述音頻信 息，而不因為所述同步改變所述音頻信息的音調。
5. 如前一權利要求所述的方法，其中形成具有數據的多塊(Bl Bn)，其中所述數據是所述音頻信息的部分數據；利用未改變的再現速度，所述多'塊(Bl Bn)中的每一塊在每種情況下 對應于再現所述塊(Bl Bn)中包含的數據所需要的一個時間間隔；減少所述多塊(Bl Bn)的至少一塊中數據的量，以加快所述再現速度；并且增加所述多塊(Bl Bn)的至少一塊中數據的量，以減慢所述再現速度。
6. 如以上權利要求中任一權利要求所述的方法，其中 對所記錄的運動信息進行過濾，從而將表面上發生但是實際上沒有發生的運動事件從所述運動信息中過濾出去，或者減少所述表面上發生的運 動事件對同步的影響。
7. 如以上權利要求中任一權利要求所述的方法，其中 為過去確定所述循環事件發生的時間點，和/或評估對應的儲存信息； 從過去時間點預測未來時間點；并且其中預測直到所述未來時間點如何再現所述音頻信息，因此在這個時 間點，或者在相對于這個時間點有所述指定時間偏移前后，再現所述音頻 信息的音頻元素。
8. 如前一權利要求所述的方法，其中總是修改直到所述未來時間點所述音頻信息的再現速度，因此在這個 時間點，或者在相對于這個時間點有所述指定時間偏移前后，再現所述音 頻元素。
9. 如前一權利要求所述的方法，其中將比較器(PD)用于進行比較；并且將所述比較器(PD)的輸出信號饋入控制所述音頻數據再現的激勵器 (VCO)。
10. 如前一權利要求所述的方法，其中將所述比較器(PD)的輸出信號(PD_out)饋入濾波器(FI)，特別是 低通濾波器，作為輸入信號；并且將所述輸出信號饋入所述激勵器(VCO)。
11. 如以上權利要求中任一權利要求所述的方法，其中 被反饋的所述控制電路的輸出信號(f—actual)是從所述激勵器(VCO)的輸出信號(M一out)和/或從所述濾波器的輸出信號產生的。
12. 存儲介質，特別是上面儲存了數據結構的微電子計算單元的工作 存儲器，其中所述數據結構被配置成當計算機運行時得到處理，從而執行以上權利要求中任一權利要求所述的方法。
13. —種控制音頻信息的聲音再現的設備，其中所述音頻信息包括周 期性重復的若干個音頻元素(A1 A5)，并且其中所述設備包括-檢測裝置(24)，用于采集關于運動過程的運動信息，所述運動過程 具有若干個循環事件(E1 E5);以及-調節裝置，配置成用于利用所述運動信息控制所述音頻信息的再現， 使得至少在一個時間周期內每個第n個周期性重復的音頻元素(A1 A5) 在與所述循環事件(E1 E5)之一的發生時間點(tl、 t3、 t5、 t7、 t8)相同 的時刻(同步)再現(同步)，或者在相對于所述循環事件(E1 E5)之一 發生時間點(tl、 t3、 t5、 t7、 t8)—段指定時間偏移的時刻再現(偏移同步)， 在這里n是正整數，其中所述調節裝置包括具有比較器(PD)的調節電路 (PD、 FI、 VCO)，在所述比較器上第一信號序列(f—nominal)作為第一輸 入信號，該第一輸入信號再現所述運動事件(E1 E5)的發生時間延遲，并且在所述比較器上，所述調節電路(PD、 FI、 VCO)的輸出反饋的輸出信 號作為第二輸入信號，該第二輸入信號是第二信號序列(f一actual)，其中所 述第二信號序列(f—actual)再現所述音頻元素(A1 A5)的發生時間延遲， 其中將所述比較器(PD)的輸出信號饋入激勵器(VCO)作為輸入信號， 所述輸出信號再現所述音頻元素(A1 A5)之一和所述循環事件(E1 E5) 之一之間每種情況下的時間差，其中所述調節電路(PD、 FI、 VCO)被配 置成將所述時間差設定為零或者將它設定為所述指定時間。
14.如前一權利要求所述的設備，其中所述檢測裝置連接到比較器(PD) 的第一輸入端，其中所述設備包括裝置(36)，該裝置(36)被配置成從所 述激勵器(VCO)的輸出信號產生所述反饋輸出信號(f—actual)，并且所述 反饋輸出信號(f一actual)所在的所述裝置(36)的輸出端連接到所述比較 器(PD)的第二輸入端。
全文摘要
本發明涉及對包含周期性重復的音頻元素(A1～A5)的音頻數據的聲音再現進行控制。檢測運動過程的運動數據，所述運動過程包括循環事件(E1～E5)。利用所述運動數據控制所述音頻數據的再現，使得至少在特定周期內，周期性重復的N個音頻元素(A1～A5)之一與所述循環事件(E1～E5)之一發生的時刻(t1、t3、t5、t7、t8)同步再現(同步)，或者相對于所述循環事件(E1～E5)之一的發生時刻偏移給定時間量(t1、t3、t5、t7、t8)再現(偏移同步)，n代表正整數。
文檔編號A63B69/00GK101326570SQ200680046299
公開日2008年12月17日 申請日期2006年10月12日 優先權日2005年10月13日
發明者G·比貝爾, H·迪納, M·科騰, M·邁因卡 申請人:弗勞恩霍弗應用技術研究院