聲場再現設備和聲場空間再現系統的制作方法

專利名稱：聲場再現設備和聲場空間再現系統的制作方法
技術領域：
本發明涉及一種聲場再現設備和聲場空間再現系統，該設備和系統提供帶有現實感覺的虛擬的現實空間。
背景技術：
揚聲器或立體聲耳機被用于再現三維聲場。當用揚聲器時，聲場在傳播到一定范圍的聆聽區域中再現。因為聲場被綜合地再現，聲場中的聆聽者就能精確地感覺到聲場中被想象將被聽到的聲音。另一方面，當用立體聲耳機時，被想象將再現到在聲場中的聆聽者耳朵的聲音通過控制再現和傳播到聆聽者耳朵的波形而再現到聆聽者的耳朵中。
對于常規的三維聲場再現，聆聽者將自己置于一個虛擬的現實空間中的預先確定的虛擬聆聽位置上，該聆聽位置是一個固定的位置，從而聆聽來自固定的或移動的虛擬聲源的再現的聲音。但通過這樣的技術，聆聽者只能聽到到達虛擬的現實空間中規定的聆聽位置及其附近的聲音。或者說，不可能以聆聽者能在虛擬的空間中自由移動這樣的方式再現聲場空間。
為了處理這個問題，專利文件1(日本專利申請待批公報7-312800號)提出了一種再現聲音圖象的技術，該技術將聆聽者的位置，方向，移動速度和移動方向與聲場空間中的每個聲源的位置，方向，移動速度和移動方向相匹配，該聲場空間是假設聆聽者用的是立體聲耳機，通過處理直接的聲音，最初反射的聲音以及回響的聲音，同時又考慮到該聲場空間的各種特性而產生的。
但是，上述專利文件1(日本專利申請待批公報7-312800號)中敘述的技術僅能將空間再現到聽見的感覺。也就是說，聆聽者不可能獲得在虛擬的現實空間中自由移動的感覺或者是自由下落的感覺。
另外，當聲場通過立體聲耳機的方式再現時，聆聽者不可能和其他的聆聽者一起共享所產生的聲場空間。或者說，聆聽者不可能有在再現的聲場中和其他聆聽者交流的樂趣。例如，不可能向移動車輛或餐車中的乘客提供這樣的空間。
關于再現一個空間，聆聽者可以獲得在一個實際的聲源被設置在一個聆聽室以及聆聽者在該室中移動這樣的空間中移動的聽覺感受。但是，這就必須準備一個全尺寸的聲場空間，而這樣的安排是不現實的。

發明內容
鑒于上述問題，因此本發明的一個目的是提供一種聲場再現設備和聲場空間再現系統，該設備和系統能在一個聆聽區域中綜合地產生符合要求的聲場，通過該設備和系統，在聆聽區域中的聆聽者能感受到虛擬空間中的聲音。
在本發明的一個方面，上述目的通過提供一種聲場再現設備而達到，該聲場再現設備適合于在現實空間的一個預先確定的區域中從內容數據再現虛擬空間中的聲場，該內容數據包括有關虛擬空間中聲源位置的信息和響應指出虛擬空間中聆聽者位置的有關聆聽者位置的信息的聲音數據，該設備包括聲場綜合參數產生裝置，頻率轉換裝置，聲場綜合裝置和聲場再現裝置。聲場綜合參數產生裝置用于響應聆聽者位置和聲源位置之間相對的位置關系在有關聆聽者位置的信息和有關聲源位置的信息的基礎上產生聲場綜合參數；頻率轉換裝置用于在作為根據有關聆聽者位置的信息和有關聲源位置的信息的相對位置關系的函數的聲音數據上進行頻率轉換操作；聲場綜合裝置用于在經受頻率轉換的聲音數據和所產生的聲場綜合參數上進行回旋操作和綜合n個聲道中的每一個聲道的聲音數據；聲場再現裝置用于進行波前綜合的操作，應用所綜合的每個聲道的聲音數據和在預先確定的區域中再現聲場。
在本發明的另一個方面提供了一種聲場空間再現系統，該系統包括聲場再現設備和回響設備。聲場再現設備適合于在現實空間的一個預先確定的區域中從內容數據再現虛擬空間中的聲場，該內容數據包括有關虛擬空間中聲源位置的信息和響應指出虛擬空間中聆聽者位置的有關聆聽者位置的信息的聲音數據；回響設備用于產生在現實空間中的一個虛擬空間中的環境的回響。所述聲場再現設備具有聲場綜合參數產生裝置，頻率轉換裝置，聲場綜合裝置和聲場再現裝置。聲場綜合參數產生裝置用于響應聆聽者位置和聲源位置之間相對的位置關系在有關聆聽者位置的信息和有關聲源位置的信息的基礎上產生聲場綜合參數；頻率轉換裝置用于在作為根據有關聆聽者位置的信息和有關聲源位置的信息的相對位置關系的函數的聲音數據上進行頻率轉換操作；聲場綜合裝置用于在經受頻率轉換的聲音數據和所產生的聲場綜合參數上進行回旋操作以及綜合n個聲道中的每一個聲道的聲音數據；聲場再現裝置用于進行波前綜合的操作，應用所綜合的每個聲道的聲音數據和在預先確定的區域中再現聲場。
這樣，通過根據本發明的聲場再現設備和聲場空間再現系統，真實空間的聆聽區域中綜合產生的聲場響應聆聽者位置和聲源位置之間的相對位置關系在有關聆聽者位置的信息和有關聲源位置的信息的基礎上受到控制。因此，聆聽者感受到響應如果存在的聆聽者的任何移動的聲音圖象，而如果聆聽者沒有移動，則聆聽者會感受到自己正在移動的任何一種適當的感覺。
另外，因為聲場空間在一個預先確定的區域中再現，所有處在該區域中的聆聽者都能分享同一個聲場空間。
還有，當物體和空氣流的加速響應聲音圖象相對于聆聽者的變化根據有關聆聽者位置的信息發生相對于聆聽者的變化時，聆聽者可以有一種在移動中的自然感受。


圖1是根據本發明的聲場再現設備第一實施例的說明其構型的示意性框圖；圖2是記錄在可用在第一實施例中的光盤中的數據的示意圖；圖3是可應用到本發明中的陣列揚聲器的示意圖；圖4A到4D是通過應用本發明實現的聲場綜合的示意圖；圖5是可用于本發明的目的的聲場綜合裝置的示意框圖；圖6是聲場再現設備的第一實施例的操作的前半部分流程圖；圖7是聲場再現設備的第一實施例的操作的后半部分流程圖；圖8是根據本發明的聲場再現設備的第二實施例的說明其構型的示意性框圖；圖9是聲場再現設備的第二實施例的操作的流程圖；圖10是根據本發明的聲場再現設備的第三實施例的說明其構型的示意性框圖；圖11是聲場再現設備的第三實施例的操作的流程圖；圖12是根據本發明的聲場空間再現系統的第四實施例的說明其構型的示意性框圖；圖13是根據本發明的聲場空間再現系統的第五實施例的說明其構型的示意性框圖。
具體實施例方式
現在，根據本發明的聲場再現設備將根據用于再現聲場空間的光盤重放單元進行敘述，該光盤重放單元通過應用聆聽者用其能感受到所需要的聲音圖象的陣列揚聲器而再現聲場空間。應注意，下文敘述中有關聲源位置的信息(下文將稱為聲源位置信息)和有關聆聽者位置的信息(下文將稱為聆聽者位置信息)分別指在虛擬空間中聲源的位置和聆聽者的位置。
圖1是根據本發明的聲場再現設備第一實施例的說明其構型的示意性框圖。參考圖1，以數據包格式的圖象數據，文本數據和聲音數據以圖2A所示的方式復合和記錄在和聲場再現設備一起使用的作為記錄媒介的光盤上。和陣列揚聲器的聲源一樣多的聲道如圖2B所示被分配給每一個聲音包。虛擬聲源上的聲音數據和有關虛擬聲源位置的信息如圖2C所示被分配給每一個聲道。應注意，為了本發明的目的，聲音數據不僅可被用于表達人類的聲音，也可用于表達鳥叫聲，機動車引擎聲，音樂，音響效果以及任何其他聲音。
圖1所示的第一實施例的聲場再現設備包括用于輸入虛擬空間中聆聽者位置的聆聽者位置信息輸入單元1，用于以被輸入的聆聽者位置信息為基礎重放光盤的光盤重放單元2，用于去復合再現數據的去復合電路3，用于解碼基于聆聽者位置信息和聲源位置信息選擇的數據包中每個聲道的聲音數據的聲音數據解碼電路4，用于儲存經解碼的聲源位置信息的聲源位置信息儲存緩沖器5，用于通過計算機確定根據聆聽者位置信息和聲源位置信息控制聲道的聲場綜合參數的聲場綜合參數計算裝置6，用于基于聲場綜合參數和聲道的聲音數據綜合聲場的聲場綜合裝置7，用于基于聆聽者位置信息控制聲場綜合參數計算裝置和聲場綜合裝置的聲場綜合控制單元8，用于放大聲場為其綜合的聲道的聲音信號的放大器電路9，用于通過使用聲道的聲源回響聲場空間的揚聲器系統10，用于解碼由去復合電路3分離的文本數據的文本數據解碼電路11，用于再現經解碼的文本數據的文本再現電路12，用于解碼由去復合電路3分離的圖象數據的圖象數據解碼電路13，用于基于聆聽者位置信息處理經解碼的圖象數據的聲場圖象處理電路14，用于再現已經為聲場和圖象處理過的圖象數據的圖象再現電路15，用于將文本套疊在圖象上的套疊電路16，和用于顯示再現圖象的圖象顯示單元17。
根據本發明，通過應用揚聲器系統10的陣列揚聲器以在聆聽區域回響所需要的聲場提供能被多人共享的聲場空間。應用這樣的陣列揚聲器的聲場回響系統是一種適合于控制從陣列揚聲器發射的聲波從而在聆聽區域回響聲場的聲場綜合系統，該回響的聲場和由從真實空間的聲源發射的聲波產生的聲場完全相同(見inter alia，Takeda et al.，“A Discussion on Synthesis UsingMulti-Channel Speaker Reproduction”，Collected Papers on Reports at AcousticalSociety of Japan，September 2000，pp.407-408)。更具體地說，如圖3所示，陣列揚聲器受到控制，從而在靠近陣列揚聲器的前線限定的評估區域中的每一個以及所有的評估點將由虛擬聲源產生的聲場和由陣列揚聲器產生的聲場之間的差異的錯誤減至最小，并且在評估區域中的聲場以這樣的方式回響，其發出的聲音就好象從虛擬的聲源位置發出一樣。或者說，串聯插入各個揚聲器的濾波器的傳輸函數H1(f)，...，H8(f)以這樣的方式受到控制，作為在從虛擬聲源位置到評估點的傳輸函數A(f)和從作為驅動點的陣列揚聲器中的每一個揚聲器到評估點的所有傳輸函數H1(f)C1(f)，...，H8(f)C8(f)的總和之間的差異的錯誤能量。此時，從每一個驅動點(揚聲器)到評估點的傳輸函數C1(f)，...，C8(f)被計算為距離衰減特性，假設驅動點為點聲源。這樣，從陣列揚聲器發出的聲波的波前被綜合為從聲源位置發出的聲波，因此，聆聽區域中的聲場由通過評估區域的聲波以這樣的方式回響，其發出的聲音就好象從虛擬的聲源位置發出一樣。
例如，在聆聽者H如圖4A所示在實際聲場中通過聲源A1，B1，C1移動的情況下回響聲場時，控制陣列揚聲器的聲場綜合裝置7的特性不受到實際聆聽室中聆聽者的聆聽位置的移動的影響，而僅受到如圖4C和4D所示的虛擬聲源的移動(例如A3→A4)的影響。
現在將參考圖1和圖5敘述通過應用陣列揚聲器的聲場的綜合。聲場綜合參數計算裝置6通過計算機確定根據聲源位置信息控制陣列揚聲器的各個揚聲器的聲道的數字濾波器系數(H1(f)，...，Hn(f))。如果探測到聆聽位置正在根據來自聆聽位置信息輸入單元1的聆聽位置信息移動，聲場綜合參數計算裝置6通過計算機確定相應于聆聽位置和聲源位置之間的相對位置關系的數字濾波器系數。
如圖5所示，聲場綜合裝置7具有濾波器系數修改電路7a，濾波器系數緩沖電路7b，回旋操作電路7c，頻率轉換系數計算電路7d和頻率轉換電路7e。濾波器系數修改電路7a修改由聲場綜合參數計算裝置通過計算機確定為聆聽位置和聲源位置之間的相對位置關系的變化的函數的數字濾波器系數，并將經修改的數字濾波器系數通過濾波器系數緩沖電路7b的途徑發送到回旋操作電路7c。由于聲源和聆聽者的相對移動速度而發生多普勒效應，頻率轉換系數計算電路7d通過計算機從聲源位置信息和聆聽者位置信息確定聲源的聲音數據的頻率轉換系數并由頻率轉換電路7e的方式進行頻率轉換操作。回旋操作電路7c根據經修改的濾波器系數和作為頻率轉換的結果獲得的聲音數據進行回旋操作并輸出聲學信號。因為由于多普勒效應引起的頻率變化的范圍被確定為通過媒介傳播的波的速度和聲源或聆聽點的移動速度之間的相對關系的函數，虛擬聲源的頻率轉換系數就從聲源位置信息中的聲源移動速度和聆聽點移動速度計算。雖然有各種用于頻率轉換的技術，日本專利申請待批公報6-20448號中揭示的方法可以適用于本發明的目的。
在這種方法中，聲場綜合裝置7具有不僅應用聲場綜合濾波器系數進行聲音數據的濾波操作，而且為了和由于聲源或聆聽位置的移動引起的多普勒效應相對應進行聲音數據的頻率轉換操作這樣的功能性特征，并且應用陣列揚聲器進行聆聽區域中聲場的回響。因此，雖然聆聽者是在一個有限的聲音空間中聆聽再現的聲音，但在聆聽區域中的聆聽者可具有聆聽聲音的同時在一個大空間中移動的感受。雖然圖5中回旋操作電路7c是在應用有限范圍脈沖響應(FIR)濾波器的假設下形成，但其也可以在應用無限脈沖響應(IIR)濾波器的假設下形成。
下文將參考圖6敘述第一實施例的聲場再現設備的操作。光盤重放單元2基于輸入到聆聽者位置信息輸入單元1的聆聽者位置信息從光盤讀出如圖2所示的復合數據(步驟S6-1)。然后去復合電路3將讀出的數據去復合并探測圖象數據，文本數據，聲音數據及其標題以便將其互相分離(步驟S6-2)。然后取決于光盤重放單元2的再現環境從標題數據選擇必要的數據包(步驟S6-3)并將經選擇的數據包的數據傳輸到相應于經選擇的數據包標題的解碼器(步驟S6-4)。再現環境以聆聽者位置信息為基礎因此可作為從聆聽者位置信息輸入單元1輸入的聆聽者位置信息的函數而變化。
在步驟S6-4中傳輸到聲音數據解碼電路4的聲音數據和聲源位置信息數據被解碼并儲存在緩沖器中(步驟S6-5)。指出每個聲道的聲源位置，聲源的移動速度和移動方向的聲源位置信息被儲存在聲源位置信息儲存緩沖器5中。
聲場綜合參數計算裝置6通過計算機確定用于根據來自聲源位置信息儲存緩沖器5的聲源位置信息控制陣列揚聲器的各個聲道的數字濾波器的系數(H1(f)，...，Hn(f))(步驟S6-6)。
如果在步驟S6-7中探測到聆聽者位置根據來自聆聽者位置信息輸入單元1的聆聽者位置信息移動，聲場綜合控制單元8將修改信息傳輸到聲場綜合參數計算裝置6和聲場綜合裝置7以便使其通過計算機再次從作為聆聽者位置和聲源位置的函數變化的聲源的相對位置確定數字濾波器參數(步驟S6-6)。如果沒有探測到聆聽者位置移動，聲場綜合裝置7通過計算機從聲源位置信息和聆聽者位置信息確定聲音數據的頻率轉換系數并在頻率轉換電路7e進行頻率轉換的操作(步驟S6-8)。
聲場綜合裝置7根據如步驟S6-6中計算的經修改的濾波器系數以及作為在步驟S6-8中頻率轉換的結果獲得的聲音數據重復回旋操作，重復的次數等于聲源的個數(步驟S6-9)。用于回旋操作的聲音數據被輸出到陣列揚聲器(步驟S6-10)。
在步驟S6-4中從去復合電路3傳輸的文本數據和圖象數據分別由文本數據解碼電路11和圖象數據解碼電路13根據標題數據中包含的編碼方法和幀速率解碼(步驟S6-11)。然后經解碼的圖象數據由聲場圖象處理電路14根據聆聽者位置信息處理(步驟S6-12)。例如，圖象數據將被處理后響應聆聽者的移動而移動場景圖象。另一方面，經解碼的文本信號根據在標題數據中包含的時序信息疊合在圖象信號上(步驟S6-13)并以和顯示單元匹配的圖象信號格式輸出到顯示單元(步驟S6-14)。
在這種方法中，作為通過計算機確定數字濾波器系數的結果，聆聽者即使完全沒有移動也可感覺到好象在移動一樣。
儲存為一定的聲源位置預先通過計算機確定的濾波器系數的濾波器系數庫可以替代通過計算機確定數字濾波器系數的聲源綜合參數計算裝置6而使用。濾波器系數庫選擇和聲源位置匹配的濾波器系數。如果聲源被發現處于中間位置并且濾波器系數庫未儲存任何匹配的濾波器系數，就用內推法通過計算機確定濾波器系數。
下文將參考圖7敘述包括替代聲場綜合參數計算裝置6的濾波器系數庫的聲場再現設備的操作。
光盤重放單元2基于輸入到聆聽者位置信息輸入單元1的聆聽者位置信息從光盤讀出如圖2所示的復合數據(步驟S7-1)。然后去復合電路3將讀出的數據去復合并探測圖象數據，文本數據，聲音數據及其標題以便將其互相分離(步驟S7-2)。然后取決于光盤重放單元2的再現環境從標題數據選擇必要的數據包(步驟S7-3)并將經選擇的數據包的數據傳輸到相應于經選擇的數據包標題的解碼器(步驟S7-4)。再現環境以聆聽者位置信息為基礎因此可作為從聆聽者位置信息輸入單元1輸入的聆聽者位置信息的函數而變化。
在步驟S7-4中傳輸到聲音數據解碼電路4的聲音數據和聲源位置信息數據被解碼并儲存在緩沖器中(步驟S7-5)。指出每個聲道的聲源位置，聲源的移動速度和移動方向的聲源位置信息被儲存在聲源位置信息儲存緩沖器5中。
濾波器系數庫選擇用于根據來自聲源位置信息儲存緩沖器5的聲源位置信息控制陣列揚聲器的各個聲道的數字濾波器的系數(H1(f)，...，Hn(f))(步驟S7-6)。此時確定將被選擇的濾波器系數是否在濾波器系數庫中發現(步驟S7-6)。如果確定沒有發現將被選擇的濾波器系數并且因此聲源被發現處于濾波器系數庫儲存系數參數的兩個位置的中間位置，則通過計算機計算內推數據(步驟S7-8)。另一方面，如果確定將選擇的濾波器系數在濾波器系數庫中被發現，則處理操作進行到步驟S7-9。
如果在步驟7-9探測到聆聽者位置根據來自聆聽者位置信息輸入單元1的聆聽者位置信息移動，聲場綜合控制單元8將修改信息傳輸到濾波器系數庫和聲場綜合裝置7以便使其再次從作為聆聽者位置和聲源位置的函數變化的聲源的相對位置選擇數字濾波器系數(步驟S7-6)。如果沒有探測到聆聽者位置移動，聲場綜合裝置7通過計算機從聲源位置信息和聆聽者位置信息確定聲音數據的頻率轉換系數并在頻率轉換電路7e進行頻率轉換的操作(步驟S7-10)。
聲場綜合裝置7根據如步驟S7-7中選擇的濾波器系數或在步驟S7-8中用內推法確定的濾波器系數和作為在步驟7-10中的頻率轉換的結果獲得的聲音數據重復回旋操作，重復的次數等于聲源的個數(步驟S7-11)。用于回旋操作的聲音數據被輸出到陣列揚聲器(步驟S7-12)。
在步驟S7-4中從去復合電路3傳輸的文本數據和圖象數據分別由文本數據解碼電路11和圖象數據解碼電路13根據標題數據中包含的編碼方法和幀速率解碼(步驟S7-13)。然后經解碼的圖象數據由聲場圖象處理電路14根據聆聽者位置信息處理(步驟S7-14)。例如，圖象數據將被處理后響應聆聽者的移動而移動場景圖象。另一方面，經解碼的文本信號根據在標題數據中包含的時序信息疊合在圖象信號上(步驟S7-15)并以和顯示單元匹配的圖象信號格式輸出到顯示單元(步驟S7-16)。
在這種方法中，通過將聲場再現設備構型成包括濾波器系數庫替代聲場綜合參數計算裝置6用于通過計算機確定控制陣列揚聲器的聲道的數字濾波器系數，就可以取消通過計算機確定濾波器系數并簡化系統。
圖8是根據本發明的聲場再現設備的第二實施例的說明其構型的示意流程圖。將使用的帶有本第二實施例的光盤適合于儲存和其他信息復合的聆聽者位置信息。該光盤儲存聆聽者2位置的聆聽者位置信息，該聆聽者位置可隨著重放光盤操作的進行而變化。
第二實施例的聲場再現設備從儲存聆聽者位置信息的光盤讀取聆聽者位置信息并根據該聆聽者位置信息再現聲場空間。
更具體地說，該實施例的聲場再現設備包括用于重放光盤的光盤重放單元201，用于去復合讀出數據的去復合電路301，用于解碼聆聽者位置信息的聆聽者位置解碼電路18，用于儲存經解碼的聆聽者位置信息的聆聽者位置信息儲存緩沖器19，用于解碼聲音數據包的每個聲道的聲音數據和聲源位置信息的聲音數據解碼電路4，用于儲存經解碼的聲源位置信息的聲源位置信息儲存緩沖器5，用于通過計算機確定根據聆聽者位置信息和聲源位置信息控制聲道的聲場綜合參數的聲場綜合參數計算裝置6，用于在聲場綜合參數和聲道的聲音數據的基礎上綜合聲場的聲場綜合裝置7，用于在聆聽者位置信息的基礎上控制聲場綜合參數計算裝置和聲場綜合裝置的聲場綜合控制單元8，用于放大聲場為之綜合的聲道的聲音信號的放大器電路9，用于通過使用n聲道的聲源回響聲場空間的揚聲器系統10，用于解碼由去復合電路301分離的文本數據的文本數據解碼電路11，用于再現經解碼的文本數據的文本再現電路12，用于解碼由去復合電路301分離的圖象數據的圖象數據解碼電路13，用于在聆聽者位置信息的基礎上處理經解碼的圖象數據的聲場圖象處理電路14，用于再現已經為聲場和圖象進行過處理的圖象數據的圖象再現電路15，用于將文本疊合在圖象上的疊合電路16以及用于顯示再現圖象的圖象顯示單元17。
下文將參考圖9敘述第二實施例的聲場再現設備的操作。光盤重放單元201從光盤讀出復合數據(步驟S9-1)。然后去復合電路301將讀出的數據去復合并探測圖象數據，文本數據，聲音數據及其標題以便將其互相分離(步驟S9-2)。然后取決于光盤重放單元2的再現環境從標題數據選擇必要的數據包(步驟S9-3)并將經選擇的數據包的數據傳輸到相應于經選擇的數據包標題的解碼器(步驟S9-4)。聆聽者可從為再現準備的并預先儲存在光盤上的場景中選擇再現環境。
在步驟S9-4中傳輸到聆聽者位置數據解碼電路18的聆聽者位置信息數據被解碼(步驟S9-5)并根據再現環境輸出到聲場綜合控制單元8和聲場圖象處理電路14(步驟S9-6)。
在步驟9-4中傳輸到聲音數據解碼電路4的聲音數據和聲源位置信息數據被解碼并儲存在緩沖器中(步驟S9-7)。指出每個聲道的聲源位置，聲源的移動速度和移動方向的聲源位置信息被儲存在聲源位置信息儲存緩沖器5中。
聲場綜合參數計算裝置6根據來自聲源位置信息儲存緩沖器5的聲源位置信息通過計算機確定控制陣列揚聲器的各個聲道的數字濾波器的系數(H1(f)，...，Hn(f)) (步驟S9-8)。
聲源的聲音數據的頻率轉換系數通過計算機從聲源位置信息和聆聽者位置信息中確定，然后頻率轉換電路7e進行頻率轉換的操作(步驟S9-9)。
聲場綜合裝置7根據如步驟S9-8中計算的經修改的濾波器系數以及作為在步驟S9-9中頻率轉換的結果獲得的聲音數據重復回旋操作，重復的次數等于聲源的個數(步驟S9-10)。用于回旋操作的聲音數據被輸出到陣列揚聲器(步驟S9-11)。
在步驟S9-4中從去復合電路301傳輸的文本數據和圖象數據分別由文本數據解碼電路11和圖象數據解碼電路13根據標題數據中包含的編碼方法和幀速率解碼(步驟S9-12)。然后經解碼的圖象數據由聲場圖象處理電路14根據聆聽者位置信息處理(步驟S9-13)。例如，圖象數據將被處理后響應聆聽者的移動而移動場景圖象。另一方面，經解碼的文本信號根據在標題數據中包含的時序信息疊合在圖象信號上(步驟S9-14)并以和顯示單元匹配的圖象信號格式輸出到顯示單元(步驟S9-15)。
濾波器系數庫可被用于替代如圖7所示通過計算機確定數字濾波器系數的聲場綜合參數計算裝置6。
在這種方法中，通過聲場再現設備的第二實施例，如果機動車運動但改變了機動車外的聲源和聆聽者之間的位置關系，可以再現不改變機動車中的聲源和聆聽者之間的位置關系的內容數據，因此聆聽者可感覺到好象在汽車或火車中移動一樣。
圖10是根據本發明的聲場再現設備第三實施例的說明其構型的示意性框圖。通過該第三實施例，設備的操作者為進行數據再現而操作設備，而再現進行控制單元根據進行數據再現的操作和當前的數據再現情形控制重放光盤的操作。光盤儲存該設備的操作者用其進行數據再現的操作的進行控制信息，聆聽者的位置可以取決于進行數據再現的操作而適當地改變。
這樣，通過該聲場再現設備的第三實施例，聆聽者位置信息被確定為進行數據再現的操作的函數。例如，在TV游戲的情況下，進行數據再現的操作相應于游戲機的操作，數據響應游戲機的操作而讀取，聆聽者位置根據游戲的控制進行信息而確定。
更具體地說，本實施例的聲場再現設備包括由設備的操作者操作的用于進行數據再現的進行操作信息輸入單元20，用于響應進行數據再現的操作控制聆聽者位置和確定聆聽者位置信息的再現進行控制單元21，用于響應進行數據再現的操作重放光盤的光盤重放單元202，用于去復合再現的數據的去復合電路302，用于解碼去復合的進行控制數據的進行控制數據解碼電路22，用于儲存經解碼的進行控制信息的進行控制信息儲存緩沖器23，用于解碼聲音數據包的每個聲道的聲音數據和聲源位置信息的聲音數據解碼電路4，用于儲存經解碼的聲源位置信息的聲源位置信息儲存緩沖器5，用于通過計算機確定根據聆聽者位置信息和聲源位置信息控制聲道的聲場綜合參數的聲場綜合參數計算裝置6，用于在聲場綜合參數和聲道的聲音數據的基礎上綜合聲場的聲場綜合裝置7，用于在聆聽者位置信息的基礎上控制聲場綜合參數計算裝置和聲場綜合裝置的聲場綜合控制單元8，用于放大聲場為之綜合的聲道的聲音信號的放大器電路9，用于通過使用n聲道的聲源回響聲場空間的揚聲器系統10，用于解碼由去復合電路301分離的文本數據的文本數據解碼電路11，用于再現經解碼的文本數據的文本再現電路12，用于解碼由去復合電路302分離的圖象數據的圖象數據解碼電路13，用于在聆聽者位置信息的基礎上處理經解碼的圖象數據的聲場圖象處理電路14，用于再現已經為聲場和圖象進行過處理的圖象數據的圖象再現電路15，用于將文本疊合在圖象上的疊合電路16以及用于顯示再現圖象的圖象顯示單元17。
下文將參考圖11敘述第三實施例的聲場再現設備的操作。光盤重放單元202在再現進行控制單元21的控制下從光盤讀出復合數據(步驟S11-1)。然后去復合電路301將讀出的數據去復合并探測圖象數據，文本數據，聲音數據及其標題以便將其互相分離(步驟S11-2)。然后取決于光盤重放單元2的再現環境從標題數據選擇必要的數據包(步驟S11-3)并將經選擇的數據包的數據傳輸到相應于經選擇的數據包標題的解碼器(步驟S11-4)。再現環境當再現進行控制單元21根據操作者為進行數據再現對設備進行的操作和當前的數據再現情形控制光盤重放單元202時獲得。
在步驟S11-4中傳輸到進行控制數據解碼電路22的進行控制數據被解碼，經解碼的進行控制信息被儲存在進行控制信息儲存緩沖器23中(步驟S11-5)。再現進行控制單元21比較儲存在進行控制信息儲存緩沖器23中的進行控制信息和由設備的操作者輸入的進行操作信息并根據進行數據再現控制聆聽者位置(步驟S11-6)。進行控制信息包括這樣的范圍上的信息，進行數據再現的操作被允許到這個范圍，因此操作者在該范圍內進行數據再現的操作。再現進行控制單元21根據進行控制信息確定聆聽者位置。在經確定的聆聽者位置上的聆聽者位置信息被輸出到光盤重放單元202，聲場綜合控制單元8和聲場圖象處理電路14(步驟S11-7)。
在步驟11-4中傳輸到聲音數據解碼電路4的聲音數據和聲源位置信息數據被解碼并儲存在緩沖器中(步驟S11-8)。指出每個聲道的聲源位置，聲源的移動速度和移動方向的聲源位置信息被儲存在聲源位置信息儲存緩沖器5中。
聲場綜合參數計算裝置6根據來自聲源位置信息儲存緩沖器5的聲源位置信息通過計算機確定控制陣列揚聲器的各個聲道的數字濾波器的系數(H1(f)，...，Hn(f))(步驟S11-9)。
如果在步驟11-10探測到聆聽者位置根據來自聆聽者位置信息輸入單元1的聆聽者位置信息移動，聲場綜合控制單元8將修改信息傳輸到聲場綜合參數計算裝置6和聲場綜合裝置7以便使其再次從作為聆聽者位置和聲源位置的函數變化的聲源位置的相對位置通過計算機確定數字濾波器系數(步驟S11-9)。如果沒有探測到聆聽者位置變化，聲場綜合裝置7通過計算機從聲源位置信息和聆聽者位置信息確定聲源的聲音數據的頻率轉換系數并在頻率轉換電路7e進行頻率轉換的操作(步驟S11-11)。
聲場綜合裝置7根據如步驟S11-9中計算的經修改的濾波器系數和作為在步驟S11-11中的頻率轉換的結果獲得的聲音數據重復回旋操作，重復的次數等于聲源的個數(步驟S11-12)。用于回旋操作的聲音數據被輸出到陣列揚聲器(步驟S11-13)。
在步驟S11-4中從去復合電路302傳輸的文本數據和圖象數據分別由文本數據解碼電路11和圖象數據解碼電路13根據標題數據中包含的編碼方法和幀速率解碼(步驟S11-14)。然后經解碼的圖象數據由聲場圖象處理電路14根據從再現進行控制單元21輸出的聆聽者位置信息處理(步驟S11-15)。例如，圖象數據將被處理后響應聆聽者的移動而移動場景圖象。另一方面，經解碼的文本信號根據在標題數據中包含的時序信息疊合在圖象信號上(步驟S11-16)并以和顯示單元匹配的圖象信號格式輸出到顯示單元(步驟S11-17)。
濾波器系數庫可以用于替代如圖7所示通過計算機確定數字濾波器系數的聲場綜合參數計算裝置6。
在這種方法中，通過聲場再現設備的第三實施例可以再現取決于如TV游戲的情況中的進行數據再現的操作改變聆聽者位置信息的內容數據。
圖12是根據本發明的聲場空間再現系統的第四實施例的說明其構型的示意性框圖。除了和第三實施例相同的聲場再現設備以外，該第四實施例還包括用于使聆聽者感覺到加速的座位驅動單元，該加速作為由進行數據再現的操作根據聆聽者位置信息產生的移動的結果被施加到聆聽者。
更具體地說，本發明的第四實施例的聲場空間再現系統包括和第三實施例相同的聲場再現設備，用于探測聆聽者的座位位置的位置傳感器24，用于在來自位置傳感器24的座位位置信息和來自再現進行控制單元21的聆聽者位置信息的基礎上控制移動距離和座位加速的移動距離/加速控制單元25，以及用于作為來自移動距離/加速控制單元25的座位的移動距離和加速的函數而驅動座位的座位驅動單元26。
圖11的流程圖也應用到第四實施例的聲場空間再現系統的操作上，因此下文僅敘述控制座位移動單元的操作。再現進行控制單元21根據和其他信息復合并儲存在光盤上的進行控制信息和有關進行操作的信息輸出聆聽者位置信息。移動距離/加速控制單元25基于作為來自再現進行控制單元21的進行控制信息和來自位置傳感器24的座位位置信息的函數變化的聆聽者位置信息確定使聆聽者感到好象正在移動的座位的移動距離和加速并將驅動信號傳輸到座位驅動單元26。
在這種方法中，第四實施例的聲場空間再現系統給聆聽者非常自然地移動的感覺。
圖13是根據本發明的聲場空間再現系統的第五實施例的說明其構型的示意性框圖。該第五實施例適合于控制空氣體積，空氣流方向，空氣流速率和空氣流溫度，該空氣流(風)根據由于進行操作產生的移動而可能改變的聆聽者位置被施加到聆聽者身上。
更具體地說，第五實施例的聲場空間再現系統包括和第三實施例相同的聲場再現設備以及用于探測聆聽區域溫度的溫度傳感器27，用于探測聆聽區域中空氣體積，空氣流方向和空氣流速率的空氣流傳感器28，用于控制將在下文敘述的吹風機30和溫度調節單元31的空氣體積/空氣流方向/空氣流速率/溫度控制單元29，用于將風吹向聆聽區域的吹風機30和用于調節聆聽區域溫度的溫度調節單元31。
圖11的流程圖也應用于第五實施例的聲場空間再現系統的操作，因此下文僅敘述控制吹風機30和溫度調節單元31的操作。再現進行控制單元21根據和其他信息復合并儲存在光盤上的進行控制信息輸出聆聽者位置信息和有關進行操作的信息。空氣體積/空氣流方向/空氣流速率/溫度控制單元29以聆聽者位置信息的基礎上根據來自再現進行控制單元21的進行控制信息確定使聆聽者感到好象正在移動而必須的空氣體積，空氣流方向，空氣流速率和溫度。溫度傳感器27和空氣體積傳感器28恒定地探測空氣體積，空氣流方向，空氣流速率和聆聽區域的溫度并將有關這些因素的信息傳遞到空氣體積/空氣流方向/空氣流速率/溫度控制單元29。
這樣，通過第五實施例的聲場空間再現系統，風和溫度的作用引起觸覺，使聆聽者自然地感覺到好象正在移動。
雖然操作光盤重放系統被用于上述實施例，但本發明決不限于此。例如，光盤重放系統可以由網絡傳輸/接收單元取代。
通過這樣的安排，有關將被再現的圖象，文本，聲音和聲源的信息將從網絡分配。網絡傳輸/接收單元訪問分配有關圖象，文本，聲音和聲源的服務器并檢驗用戶終端。然后，網絡傳輸/接收單元從用戶可得到的圖象/聲音內容目錄選擇所需要的內容，將其下載或發送用于再現。不然，系統設備的操作和上述實施例相同。
雖然上文進行了詳盡的敘述，根據本發明的聲場再現設備和聲場空間再現系統作為任意選擇的在虛擬空間中聆聽者位置的函數作用在聆聽者的聽覺，視覺和其他感覺上并提供一種給聆聽者身歷其境的感覺的聲場空間。
權利要求
1.一種聲場再現設備，該聲場再現設備適合于在現實空間的一個預先確定的區域中從內容數據再現虛擬空間中的聲場，該內容數據包括有關虛擬空間中聲源位置的信息和響應指出虛擬空間中聆聽者位置的有關聆聽者位置的信息的聲音數據，該設備包括聲場綜合參數產生裝置，用于響應聆聽者位置和聲源位置之間相對的位置關系在有關聆聽者位置的信息和有關聲源位置的信息的基礎上產生聲場綜合參數；頻率轉換裝置，用于在作為根據有關聆聽者位置的信息和有關聲源位置的信息的相對位置關系的函數的聲音數據上進行頻率轉換操作；聲場綜合裝置，用于在經受由頻率轉換裝置進行的頻率轉換的聲音數據以及由聲場綜合參數產生裝置產生的聲場綜合參數上進行回旋操作和綜合n個聲道中的每一個聲道的聲音數據；聲場再現裝置，用于進行波前綜合的操作，應用所綜合的每個聲道的聲音數據和在預先確定的區域中再現聲場。
2.如權利要求1所述的設備，其特征在于，其中聲場綜合參數產生裝置在聆聽者位置和聲源位置的相對位置關系的基礎上從來自預先儲存的聲場綜合參數的參數中選擇聲場綜合參數。
3.如權利要求1所述的設備，其特征在于，其中內容數據包括圖象數據；和該設備進一步包括用于根據有關聆聽者位置的信息處理圖象數據的圖象處理裝置。
4.如權利要求1所述的設備，其特征在于，其中內容數據包括有關聆聽者位置的信息。
5.如權利要求1所述的設備，其特征在于，其中內容數據包括用于使內容數據的再現進行的進行控制數據；和該設備進一步包括再現進行裝置，用于在進行控制數據的基礎上進行內容數據的再現；進行操作裝置，由聆聽者使用以操作內容數據的進行；和再現進行控制裝置，用于響應進行操作裝置的操作而控制內容數據再現的進行和準備有關聆聽者位置的信息。
6.一種聲場空間再現系統，該系統包括聲場再現設備，適合于在現實空間的一個預先確定的區域中從內容數據再現虛擬空間中的聲場，該內容數據包括有關虛擬空間中聲源位置的信息和響應指出虛擬空間中聆聽者位置的有關聆聽者位置的信息的聲音數據；和回響設備，用于產生在現實空間中的一個虛擬空間的環境的回響；所述聲場再現設備具有聲場綜合參數產生裝置，用于響應聆聽者位置和聲源位置之間相對的位置關系在有關聆聽者位置的信息和有關聲源位置的信息的基礎上產生聲場綜合參數；頻率轉換裝置，用于在作為根據有關聆聽者位置的信息和有關聲源位置的信息的相對位置關系的函數的聲音數據上進行頻率轉換操作；聲場綜合裝置，用于在經受頻率轉換的聲音數據和所產生的聲場綜合參數上進行回旋操作以及綜合n個聲道中的每一個聲道的聲音數據；聲場再現裝置，用于進行波前綜合的操作，應用所綜合的每個聲道的聲音數據和在預先確定的區域中再現聲場。
7.如權利要求6所述的系統，其特征在于，其中回響設備具有用于根據有關聆聽者位置的信息移動聆聽者座位的座位移動裝置。
8.如權利要求6所述的系統，其特征在于，其中回響設備具有用于根據有關聆聽者位置的信息向聆聽者吹動空氣的空氣吹動裝置。
全文摘要
聲場再現設備根據聆聽者位置和聲源位置之間的相對位置關系產生聲場綜合參數并根據聆聽者位置和聲源位置之間的相對位置關系在聲音數據上進行頻率轉換的操作。為了綜合每個聲道的聲源的聲音，在經受頻率轉換的聲音數據和所產生的聲場綜合參數上進行回旋操作。經綜合的聲音通過應用n聲道聲源以在預先確定的區域中再現聲場經受對于經綜合的聲音的波前。
文檔編號H04R3/12GK1625302SQ20041010062
公開日2005年6月8日 申請日期2004年12月2日 優先權日2003年12月2日
發明者三浦雅美, 矢部進 申請人:索尼株式會社