專利名稱：語音通話系統(tǒng)及語音通話中的內(nèi)容提供方法
技術(shù)領(lǐng)域：
本發(fā)明涉及語音通話系統(tǒng)，特別涉及對語音通話中的用戶提供廣告等內(nèi)容的技術(shù)。
背景技術(shù)：
一直以來，都在利用電視播放、廣播播放等媒體做廣告。利用了電視播放及廣播播放的廣告，例如，在節(jié)目和節(jié)目之間，以及對節(jié)目進行分時而加入其間的形式，分配廣告占用的時間，在該時間內(nèi)發(fā)送廣告的播放信號(非特許文獻1)。
非特許文獻1日本民間放送聯(lián)盟(編輯)，承擔播放手冊文化的民法業(yè)務(wù)知識，東洋經(jīng)濟新報社，1997/08、340-343頁。
上述過去的廣告，沒有考慮到利用語音通信作為媒體。當把利用電視播放、廣播播放等為前提的分時廣告應(yīng)用在語音通信的情況下，會話在中途被斷開，很不自然。
發(fā)明內(nèi)容
本發(fā)明正是鑒于上述情況所提出的，本發(fā)明的目的在于，不使會話中途斷開地對語音通話中的用戶提供廣告等內(nèi)容。
為了解決上述問題，本發(fā)明不以分時(時間分割)的形式而是以空間分割的形式插入廣告。也就是說，首先，設(shè)置對語音通信終端各自的用戶及提供內(nèi)容的聲源在虛擬空間上的位置進行管理的呈現(xiàn)(presence)服務(wù)器。然后，利用呈現(xiàn)服務(wù)器，對每個語音通信終端，對該語音通信終端以外的其它語音通信終端各自的語音數(shù)據(jù)，實施與上述其它語音通信終端各自的用戶和該語音通信終端的用戶之間的相對位置相對應(yīng)的立體聲處理，而且，對上述聲源的音響數(shù)據(jù)，實施與上述聲源和該語音通信終端的用戶之間的相對位置相對應(yīng)的立體聲處理。這樣，合成被立體聲處理過的上述其它語音通信終端各自的語音數(shù)據(jù)及上述聲源的音響數(shù)據(jù)，生成供給該語音通信終端的語音通話數(shù)據(jù)。這時，有關(guān)上述聲源在虛擬空間上的位置，對于各個語音通信終端設(shè)置為對于該語音通信終端的用戶而言可以區(qū)別于其它語音通信終端的用戶的位置。
例如，本發(fā)明的語音通話系統(tǒng)，具備多個語音通信終端、對上述多個語音通信終端分別提供聲源的內(nèi)容服務(wù)器、和對上述多個語音通信終端各自的用戶及上述內(nèi)容服務(wù)器提供的聲源在虛擬空間上的位置進行管理的呈現(xiàn)服務(wù)器，具備從上述呈現(xiàn)服務(wù)器取得上述多個語音通信終端各自的用戶及上述內(nèi)容服務(wù)器提供的聲源在虛擬空間上的位置信息的呈現(xiàn)取得部、以及設(shè)置在上述每個語音通信終端上的音頻渲染器；上述音頻渲染器進行以下處理對該音頻渲染器對應(yīng)的語音通信終端以外的其它語音通信終端各自的語音數(shù)據(jù)，實施了由上述呈現(xiàn)取得部取得的位置信息所確定的、上述其它語音通信終端各自的用戶和該音頻渲染器對應(yīng)的語音通信終端的用戶之間的相對位置相對應(yīng)的體聲處理，而且對上述內(nèi)容服務(wù)器提供的聲源的音響數(shù)據(jù)，實施了由上述呈現(xiàn)取得部取得的位置信息所確定的、上述聲源和該語音通信終端的用戶之間的相對位置相對應(yīng)的立體聲處理；以及合成被上述立體聲處理過的該音頻渲染器對應(yīng)的語音通信終端以外的其它語音通信終端各自的語音數(shù)據(jù)及聲源的音響數(shù)據(jù)，生成供給該音頻渲染器對應(yīng)的語音通信終端的語音通話數(shù)據(jù)的處理；上述呈現(xiàn)服務(wù)器，具有決定上述聲源在虛擬空間上的位置的位置信息管理部，其對于上述多個語音通信終端的各語音通信終端，能使上述聲源在虛擬空間上的位置，對于該語音通信終端的用戶而言區(qū)別于其它語音通信終端的用戶的位置。
其中，位置信息管理部，也可以如下決定上述聲源在虛擬空間上的位置，即例如，使從語音通信終端的用戶到上述聲源的在虛擬空間上的距離，至少比從該語音通信終端的用戶到最近的其它語音通信終端的用戶的距離長，由此，上述聲源在虛擬空間上的位置對于該語音通信終端的用戶而言可以區(qū)別于其它語音通信終端的用戶的位置。
或者，也可以如下決定上述聲源在虛擬空間上的位置，即語音通信終端的用戶所看到的上述聲源的方向，至少要和該語音通信終端的用戶所看到的最近的其它語音通信終端的用戶的方向離開規(guī)定角度以上，由此，上述聲源在虛擬空間上的位置對于該語音通信終端的用戶而言可以區(qū)別于其它語音通信終端的用戶的位置。
發(fā)明效果如下本發(fā)明中，在每個語音通信終端，將根據(jù)該語音通信終端的用戶和該語音通信終端以外的其它語音通信終端各自的用戶及提供內(nèi)容的聲源在虛擬空間上的相對位置進行了立體聲處理的、其它語音通信終端各自的語音數(shù)據(jù)及聲源的音響數(shù)據(jù)的合成數(shù)據(jù)，作為供給該語音通信終端的語音通話數(shù)據(jù)。通信對方及聲源被置于虛擬空間內(nèi)的被分割的空間、即對于語音通信終端的用戶而言可以區(qū)別兩者的位置及/或提供方向，因此，即使同時賦予被合成為語音通話數(shù)據(jù)的、通信對方的語音數(shù)據(jù)及上述聲源的音響數(shù)據(jù)，也可以選擇性聽取這些數(shù)據(jù)，或者在區(qū)別兩者的同時聽取。因此，不必中途斷開會話，就可以對語音通話中的用戶提供廣告等內(nèi)容(使其視聽)。
圖1是適用了本發(fā)明第1實施例的語音通話系統(tǒng)的概略構(gòu)成圖；
圖2是呈現(xiàn)服務(wù)器1的概略構(gòu)成圖；圖3是模式化表示位置信息存儲部103的登錄內(nèi)容的圖；圖4是說明呈現(xiàn)服務(wù)器1的動作流程的圖；圖5是說明虛擬空間上的廣告聲源的位置及提供方向的圖；圖6是媒體服務(wù)器2的概略構(gòu)成圖；圖7是說明音頻渲染器(Audio Renderer)208的處理的圖；圖8是模式化表示省略了天花板和地板的2維圖像源方式(image source method)的圖；圖9是廣告服務(wù)器3的概略構(gòu)成圖；圖10是模式化表示廣告信息存儲部305的登錄內(nèi)容的圖；圖11是說明廣告信息位置控制部304的動作流程的圖；圖12是語音通信終端4的概略構(gòu)成圖；圖13是表示虛擬空間映射的圖像的一個例圖；圖14是表示構(gòu)成語音通話系統(tǒng)的各裝置的硬件構(gòu)成的例圖；圖15是說明圖1所示的語音通話系統(tǒng)的概略動作的圖；圖16是模式化表示廣告信息存儲部305A的登錄內(nèi)容的圖；圖17是模式化表示廣告信息存儲部103A的登錄內(nèi)容的圖；圖18是模式化表示廣告信息存儲部103B的登錄內(nèi)容的圖；圖19是模式化表示廣告信息存儲部305C的登錄內(nèi)容的圖；圖20是模式化表示廣告信息存儲部103C的登錄內(nèi)容的圖；圖21是說明呈現(xiàn)服務(wù)器1C的動作流程的圖；圖22是廣告服務(wù)器3D的概略構(gòu)成圖；圖23是模式化表示廣告信息存儲部305D的登錄內(nèi)容的圖；圖24是模式化表示請求信息存儲部307的登錄內(nèi)容的圖；圖25是說明廣告信息位置控制部304D的動作流程的圖；圖26是語音通信終端4D的概略構(gòu)成圖；圖27是表示請求接收畫面的一個例子的圖；
圖28是說明在虛擬空間上的廣告聲源的位置的圖；圖29是說明在虛擬空間上的廣告聲源的位置的圖。
標號說明1呈現(xiàn)服務(wù)器；2媒體服務(wù)器； 3廣告服務(wù)器；4語音通信終端； 5IP網(wǎng)；101IP網(wǎng)接口部；102位置信息管理部； 103位置信息存儲部；201IP網(wǎng)接口部； 202RTP處理部； 203SIP控制部204呈現(xiàn)取得部； 205空間模型；206用戶信息生成部； 207語音分配部；208音頻渲染器； 301IP網(wǎng)接口部；302RTP處理部303SIP控制部； 304廣告信息發(fā)送控制部305廣告信息存儲部； 401語音輸入部402語音輸出部； 403圖像輸出部；404操作接收部405音頻編碼器； 406音頻解碼器；407IP網(wǎng)接口部408SIP控制部； 409RTP處理部； 410呈現(xiàn)運營商具體實施方式
下面，說明本發(fā)明的實施例。
第1實施例圖1是適用了本發(fā)明第1實施例的語音通話系統(tǒng)的概略構(gòu)成圖。如圖所示，本實施例的語音通話系統(tǒng)如下構(gòu)成呈現(xiàn)服務(wù)器1、媒體服務(wù)器2、廣告服務(wù)器3及多個語音通信終端4經(jīng)由IP(InternetProtocol互聯(lián)網(wǎng)協(xié)議)網(wǎng)5相互連接。
呈現(xiàn)服務(wù)器1對廣告服務(wù)器3所提供的廣告聲源及各語音通信終端4的用戶在虛擬空間上的位置信息進行管理。這里，所謂“虛擬空間”是指為了各語音通信終端4的用戶進行語音通信而虛構(gòu)出來的空間。虛擬空間的屬性例如有空間大小、天花板高度、墻壁及天花板的反射率·色彩·質(zhì)感、余音特性、由空間內(nèi)的空氣引起的聲音吸收率等。
圖2是呈現(xiàn)服務(wù)器1的概略構(gòu)成圖。
如圖所示，呈現(xiàn)服務(wù)器1具有用于連接到IP網(wǎng)5上的IP網(wǎng)接口部101、位置信息管理部102和位置信息存儲部103。
圖3是模式化表示位置信息存儲部103的登錄內(nèi)容的圖。如圖所示，在位置信息存儲部103中，分別對廣告服務(wù)器3所提供的廣告聲源及語音通信終端4的用戶，存儲有記錄1030。記錄1030具有登錄作為識別信息的用戶/聲源ID的字段1031、登錄IP網(wǎng)5上的地址(例如SIP-URI、IP地址等)的字段1032、登錄被該用戶/聲源ID識別的廣告服務(wù)器3所提供的廣告聲源或者語音通信終端4的用戶在虛擬空間上的位置信息即虛擬位置信息的字段1033。其中，虛擬位置信息包括虛擬空間上的廣告聲源或用戶的當前位置的坐標信息、和該廣告聲源或者用戶的方向(發(fā)話·發(fā)聲方向)的方位信息。
位置信息管理部102根據(jù)從語音通信終端4接收到的該語音通信終端4的用戶的虛擬位置信息，更新登錄在位置信息存儲部103上的該語音通信終端4的用戶的記錄1030。而且，位置信息管理部102根據(jù)登錄在位置信息存儲部103上的各語音通信終端4的用戶的記錄1030中所包含的虛擬位置信息，決定廣告服務(wù)器3所提供的廣告聲源的虛擬位置信息。然后，根據(jù)該決定的虛擬位置信息，將廣告服務(wù)器3所提供的廣告聲源的記錄1030登錄在位置信息存儲部103中。而且，位置信息管理部102響應(yīng)來自媒體服務(wù)器2或者語音通信終端4的位置信息請求，將登錄在位置信息存儲部103中的各記錄1030發(fā)送給該位置信息請求的發(fā)送源。
圖4是說明呈現(xiàn)服務(wù)器1的動作流程的圖。
位置信息管理部102經(jīng)由IP網(wǎng)接口部101從語音通信終端4接收包含用戶/聲源ID及虛擬位置信息的位置信息登錄請求時(S1001)，從位置信息存儲部103檢索該用戶/聲源ID登錄在字段1031上的記錄1030(S1002)，將在檢索到的記錄1030的字段1033上登錄的虛擬位置信息，更新為該位置信息登錄請求中所包含的虛擬位置信息(S1003)。
另外，位置信息管理部102經(jīng)由IP網(wǎng)接口部101從廣告服務(wù)器3接收包含用戶/聲源ID的聲源追加請求時(S1101)，根據(jù)存儲在位置信息存儲部103中的各語音通信終端4的用戶虛擬位置信息，生成該請求發(fā)送源的廣告服務(wù)器2所提供的廣告聲源的虛擬位置信息(S1102)。
具體地說，關(guān)于存儲在位置信息存儲部103中的語音通信終端4的用戶的記錄1030分別進行以下處理，由此生成廣告聲源的虛擬位置信息。這里，將由關(guān)注的記錄1030的字段1033中登錄著的虛擬位置信息所確定的虛擬空間上的位置，作為關(guān)注位置。
首先，如圖5A所示，檢測由登錄在字段1033上的虛擬位置信息所確定的虛擬空間106上的位置最接近關(guān)注位置的其它語音通信終端4的用戶的記錄1030。在圖5A所示的例子中，對關(guān)注位置(taro)1041檢測出位置(jiro)1043，對關(guān)注位置(hanako)1042檢測出位置(taro)1041，然后，對關(guān)注位置(jiro)1043檢測出位置(taro)1041。然后，檢測出從關(guān)注位置看離開由在該檢測出的記錄1030的字段1032上登錄的虛擬位置信息所確定的虛擬空間106上的位置的區(qū)域。然后，將該區(qū)域決定為廣告聲源設(shè)置區(qū)域候補。在圖5A所示的例子中，對于關(guān)注位置(taro)1041，將以關(guān)注位置(taro)1041為中心的半徑r1的范圍外的區(qū)域選擇為廣告聲源設(shè)置區(qū)域候補，對于關(guān)注位置(hanako)1042，將以關(guān)注位置(hanako)1042為中心的半徑r2的范圍外的區(qū)域選擇為廣告聲源設(shè)置區(qū)域候補，然后，對于關(guān)注位置(jiro)1043，將以關(guān)注位置(jiro)1043為中心的半徑r3的范圍外的區(qū)域選擇為廣告聲源設(shè)置區(qū)域候補。
之后，如圖5B所示，對于存儲在位置信息存儲部103中的語音通信終端4的用戶的記錄1030，分別求出所決定的廣告聲源設(shè)置區(qū)域候補的重復(fù)范圍107，將該范圍107內(nèi)的任意位置105，決定為聲源追加請求發(fā)送源的廣告服務(wù)器3所提供的廣告聲源(publicity A)在虛擬空間上的位置(坐標)。而且，從決定的位置眺望各語音通信終端4的用戶時，將位于左端的用戶(hanako)及位于右端的用戶(jiro)之間所成的角β變?yōu)樽钚〉姆较颍閺V告聲源(publicityA)在虛擬空間上的方向。
位置信息管理部102如上所述，只要生成了聲源追加請求發(fā)送源的廣告服務(wù)器3所提供的廣告聲源的虛擬位置信息，就在位置信息存儲部103中追加新的記錄1030。然后，在該記錄1030的字段1031上登錄該請求所包含著的用戶/聲源ID，在字段1032上登錄該請求發(fā)送源的地址，之后，在字段1033上登錄生成的虛擬位置信息(S1103)。
另外，位置信息管理部102經(jīng)由IP網(wǎng)接口部101從廣告服務(wù)器3接收包含用戶/聲源ID的聲源刪除請求時(S1201)，從位置信息存儲部103中檢索該用戶/聲源ID登錄在字段1031中的的記錄1030，并從位置信息存儲部103中刪除(S1202)。
另外，位置信息管理部102經(jīng)由IP網(wǎng)接口部101從媒體服務(wù)器1或者語音通信終端4接收位置信息請求時(S1301)，從位置信息存儲部103讀出所有的記錄1030(S1302)，返回給該請求的發(fā)送源(S1303)。
返回圖1繼續(xù)說明。媒體服務(wù)器2對每個語音通信終端4，對從該語音通信終端4之外的其它語音通信終端4分別接收到的語音數(shù)據(jù)，實施與呈現(xiàn)服務(wù)器1所管理的其它語音通信終端4各自的用戶和該語音通信終端4的用戶之間的相對位置相對應(yīng)的立體聲處理，而且對從廣告服務(wù)器3接收到的廣告聲源的音響數(shù)據(jù)，實施與呈現(xiàn)服務(wù)器1所管理的廣告聲源和該語音通信終端4的用戶之間的相對位置相對應(yīng)的立體聲處理。然后，合成如上被立體聲處理過的其它語音通信終端4各自的語音數(shù)據(jù)及廣告聲源的音響數(shù)據(jù)，生成供給該語音通信終端4的語音通話數(shù)據(jù)。
圖6是媒體服務(wù)器2的概略構(gòu)成圖。
如圖所示，媒體服務(wù)器2具有用于連接到IP網(wǎng)5上的IP網(wǎng)接口部201、RTP(Real-time Transport Protocol實時傳輸協(xié)議)處理部202、SIP(Session Initiation Protocol會話啟動協(xié)議)控制部203、呈現(xiàn)取得部204、空間模型205、用戶信息生成部206、語音分配部207、設(shè)在每個語音通信終端4上的音頻渲染器208。
SIP控制部203經(jīng)由IP網(wǎng)接口部201，在廣告服務(wù)器3及各語音通信終端4之間建立通話線路(通話通道)。
RTP處理部202分別對廣告服務(wù)器3及語音通信終端4，經(jīng)由通話線路接收音響數(shù)據(jù)或者語音數(shù)據(jù)，將接收到的數(shù)據(jù)，連同該數(shù)據(jù)的發(fā)送源地址一起輸出給語音分配部207。而且，RTP處理部202對每個語音通信終端4，將由對應(yīng)于該語音通信終端4的音頻渲染器208所輸出的合成數(shù)據(jù)，經(jīng)由通話線路發(fā)送給該語音通信終端4。
呈現(xiàn)取得部204經(jīng)由IP網(wǎng)接口部201對呈現(xiàn)服務(wù)器1定期發(fā)送位置信息請求，作為它的響應(yīng)，從呈現(xiàn)服務(wù)器1接收廣告服務(wù)器3及各語音通信終端4的記錄(虛擬位置信息)1030。之后，將接收到的記錄1030通知給空間模型205。
空間模型205從呈現(xiàn)取得部204獲得廣告服務(wù)器3及各語音通信終端4的記錄1030并進行保持的同時，將這些記錄1030輸出給用戶信息生成部206。
用戶信息生成部206對每個語音通信終端4進行以下處理。也就是說，從空間模型205接收到的各記錄1030中，確定包含該語音通信終端4的地址的記錄1030，將確定的記錄1030作為自身用戶信息，發(fā)送給語音分配部207。而且，將該確定的記錄1030之外的記錄1030分別作為其它用戶/聲源信息，與該自身用戶信息對應(yīng)關(guān)聯(lián)后發(fā)送給語音分配部207。
語音分配部207對每個語音通信終端4，從由RTP處理部202接收到的音響數(shù)據(jù)及語音數(shù)據(jù)中，抽出發(fā)送給該語音通信終端4的合成數(shù)據(jù)所利用的數(shù)據(jù)。具體地說，對每個語音通信終端4進行以下處理。
也就是說，從用戶信息生成部206接收到的自身用戶信息中，檢測出包含對象的語音通信終端4的用戶/聲源ID的自身用戶信息，將它作為該語音通信終端4的自身用戶信息，輸出給與該語音通信終端4對應(yīng)關(guān)聯(lián)的音頻渲染器208。而且，從用戶信息生成部206接收到的其它用戶/聲源信息中，檢測出與該自身用戶信息對應(yīng)關(guān)聯(lián)的其它用戶/聲源信息。另外，從RTP處理部502接收到的音響數(shù)據(jù)及語音數(shù)據(jù)中，根據(jù)與該自身用戶信息對應(yīng)關(guān)聯(lián)的其它用戶/聲源信息所包含的地址，檢測出發(fā)送給該語音通信終端4的合成數(shù)據(jù)中所使用的音響數(shù)據(jù)及語音數(shù)據(jù)。然后，將檢測出的各個音響數(shù)據(jù)及語音數(shù)據(jù)，與包含該數(shù)據(jù)檢測中所使用的地址的其它用戶/聲源信息對應(yīng)關(guān)聯(lián)，輸出給與該語音通信終端4對應(yīng)關(guān)聯(lián)的音頻渲染器208。
音頻渲染器208從語音分配部207與其它用戶/聲源信息一起接收各音響數(shù)據(jù)及語音數(shù)據(jù)。另外，從語音分配部207接收自身用戶信息。然后，通過緩沖接收到的各音響數(shù)據(jù)及語音數(shù)據(jù)，在該數(shù)據(jù)之間保持同步(對應(yīng)關(guān)聯(lián))。另外，音頻渲染器208根據(jù)由賦予給該數(shù)據(jù)的其它用戶/聲源信息的虛擬位置信息和該自身用戶信息的虛擬位置信息確定的、在虛擬空間上的廣告聲源及其它各個用戶和自身用戶之間的相對位置，對同步的各個音響數(shù)據(jù)及語音數(shù)據(jù)進行立體聲處理。然后，將包含2個聲道(左聲道和右聲道)的信號數(shù)據(jù)(信號串)的合成數(shù)據(jù)(3D音頻數(shù)據(jù))輸出給RTP處理部202。
更加詳細地說明音頻渲染器208。
在3D音頻技術(shù)中，主要通過表示人的頭(以下稱作“人頭”)周圍的音響的變化的方法(脈沖響應(yīng))的HRIR(Head Related ImpulseResponse頭部相關(guān)位置脈沖響應(yīng))和房屋等虛擬環(huán)境生成的模擬的余音，表現(xiàn)聲音的方向及距離。HRIR由聲源和人頭之間的距離、及人頭和聲源之間的角度(水平角度及垂直角度)決定。而且，音頻渲染器208中，事先存儲了使用仿真人頭在每個距離及每個角度測定的HRIR的數(shù)值。另外，HRIR的數(shù)值中，通過在左聲道用(在仿真人頭的左耳測定的數(shù)值)和右聲道用(在仿真人頭的右耳測定的數(shù)值)使用不同的數(shù)值，表現(xiàn)左右、前后或者上下的方向感。
圖7是說明音頻渲染器208的處理的圖。音頻渲染器208對于從語音分配部207同其它用戶/聲源信息一起送來的音響數(shù)據(jù)及語音數(shù)據(jù)，進行如下的計算。
首先，音頻渲染器208對每個其它用戶/聲源信息，從語音分配部207接收該其它用戶/聲源信息及與該其它用戶/聲源信息對應(yīng)關(guān)聯(lián)的音響數(shù)據(jù)或者語音數(shù)據(jù)的信號串si[t]＝(t＝1，…)。另外，從語音分配部207接收自身用戶信息。然后，對每個其它用戶/聲源信息，將該其它用戶/聲源信息所包含的虛擬位置信息和該自身用戶信息中所包含的虛擬位置信息，設(shè)定為對與該其它用戶/聲源信息對應(yīng)關(guān)聯(lián)的音響數(shù)據(jù)或者語音數(shù)據(jù)的信號串si[t]＝(t＝1，…)進行3D音頻處理(立體聲處理)所使用的參數(shù)(S2001)。
然后，音頻渲染器208對每個其它用戶/聲源信息，計算音響數(shù)據(jù)或者語音數(shù)據(jù)的直接音、和作為余音的反射音。關(guān)于直接音，利用被參數(shù)設(shè)定的位置信息，計算自身用戶和持有該其它用戶/音響信息的廣告聲源或者與其它用戶之間的在虛擬空間上的距離及角度(azimuth)(S2002)。之后，音頻渲染器208從事先存儲的HRIR的數(shù)值中確定和自身用戶之間的距離及角度所對應(yīng)的HRIR(S2003)。而且，音頻渲染器208也可以通過內(nèi)插事先存儲的HRIR的數(shù)值，來使用計算出來的HRIR的數(shù)值。
然后，音頻渲染器208，使用S2001中輸入的信號串和在S2003中確定的HRIR的左聲道用HRIR，進行卷積(convolution)計算，生成左聲道信號(S2004)。同樣，使用S2001中輸入的信號串和在S2003中確定的HRIR的右聲道用HRIR，進行卷積計算，生成右聲道信號(S2005)。
而且，關(guān)于回聲聲音，使用在S2001中被參數(shù)設(shè)定的位置信息，計算應(yīng)附加的余音(S2006、S2007)。也就是說，音頻渲染器208，根據(jù)虛擬空間的屬性引起的的聲音的變化的方法(脈沖響應(yīng))，計算余音。下面，說明余音的計算。
余音由早反射(early reflection早期反射)及后期余音(latereverberation后期回響)構(gòu)成。還有，一般認為，在與其它用戶之間的距離和房屋(虛擬空間)大小等有關(guān)的感覺形成中(認知)，早反射比后期余音重要。在實際空間上的室內(nèi)里，從聲源直接發(fā)出來的聲音(直接音)被聽到之后，在數(shù)ms到100ms左右之間，依據(jù)條件，一般認為可以聽到來自墻壁、天花板、地板等的數(shù)10個早反射。房屋形狀如果是長方體，1次早反射只有6個。但是，如果是在比較復(fù)雜的形狀里或者是有家具等的房屋里，反射音的數(shù)量會增加，而且，因墻壁等也可以聽到多個回反射的音。
作為早反射的算法，有圖像源方式(image source method)，例如記載在文獻美國聲學(xué)學(xué)會1979年4月出版的65卷第4冊艾倫與伯克力所著的“有效模擬小房間聲音的圖像方法”第943-950頁上(Allen，J.B.and Berkley，A.，“Image Method for efficientlySimulating Small-Room Acoustics”，J.Acoustical Society ofAmerica，Vol.65，No.4，pp.943-950，April 1979.)。在單純的圖像源方式中，將房屋的墻壁、天花板、地板作為鏡面，將反射音作為是從位于鏡面相反側(cè)的聲源的像來的音進行計算。
圖8是為了簡化說明，模式化表示省略了天花板和地板的2維圖像源方式(image source method)的圖。也就是說，中央有本來的虛擬空間2081，該虛擬空間2081上存在自身用戶及廣告聲源(或者其它用戶)。然后，音室2081的周圍描述了包含房間墻壁2082的12個鏡像。而且，鏡像不是說必須是12個，可以比這個多也可以比這個少。
音頻渲染器208將從存在于各個鏡像中的廣告聲源(或者其它用戶)的各像來的聲音，作為直接傳播到自身用戶(視聽者)的聲音，來計算出從廣告聲源(或者其它用戶)的各像到自身用戶的距離和方向(S2006)。由于聲音強度和距離成反比，因此，音頻渲染器208根據(jù)距離使各音量衰減。只是，如果將墻壁的反射率設(shè)作α(0≤α≤1)，則在墻壁反射n次的聲音樣本上乘以αn進一步衰減音量。
而且，反射率α的值使用0.6左右的值。設(shè)定為0.6左右的值的理由，是因為為了在認識自身用戶與廣告聲源(或者其它用戶)之間的距離而取得充分的余音(也就是說直接音和反射音之間的比)。另外，作為另外1個理由，當過大設(shè)置α值時，會鈍化自身用戶的方向感覺。
然后，音頻渲染器208對每個廣告聲源(或者其它用戶)的像，從事先存儲的HRIR的數(shù)值中確定與自身用戶之間的距離及角度所對應(yīng)的HRIR(S2007)。反射音分別從不同方向到達人頭，因此要適用和S2003中確定的直接音HRIR不同的HRIR。
而且，如果對多數(shù)的各個反射音，使用不同的HRIR進行后述的卷積計算(S2007、S2008)，則需要龐大的計算。為了防止計算量的增加，在反射音的計算上，也可以不管實際聲源的方向而適用正面有聲源時的HRIR。然后，通過僅計算聲音到達左右耳時的時間差(ITDinteraural time difference兩耳時差)和強度差(IIDinterauralintensity difference兩耳聲強差)，可以以少的計算量代替HRIR的計算。
然后，音頻渲染器208，使用S2001中輸入的信號串和S2007中確定的HRIR的左聲道用HRIR，進行卷積計算，生成左聲道信號的余音(S2008)。同樣，使用S2001中輸入的信號串和S2007中確定的HRIR的右聲道用HRIR，進行卷積計算，生成右聲道信號的余音(S2009)。
這樣，音頻渲染器208如上所述，若計算出所有的廣告聲源及其它用戶的左聲道信號，就將它們?nèi)肯嗉?S2010)。而且，左聲道信號包含S2004中計算的直接音和S2008中計算的反射音。同樣，如上所述，若計算出所有的廣告聲源及其它用戶的右聲道信號，就將它們?nèi)肯嗉?S2011)。而且，右聲道信號包含S2005中計算的直接音和S2009中計算的反射音。
HRIR計算(S2003、S2007)對每個RTP包的1包份的數(shù)據(jù)進行。但是，在卷積計算(S2004、S2005、S2008、S2009)中，產(chǎn)生應(yīng)轉(zhuǎn)入下一個1包份的數(shù)據(jù)的部分。為此，要保持確定的HRIR或者輸入的信號串直到對下一個1包份的數(shù)據(jù)的處理。
這樣，音頻渲染器208對語音分配部207送來的廣告聲源及其它用戶各自的音響數(shù)據(jù)及語音數(shù)據(jù)，進行依據(jù)上述計算的音量調(diào)節(jié)、重疊余音和回響音，以及濾波等處理，對于自身用戶在虛擬空間內(nèi)的位置上應(yīng)聽到的聲音實施聲音效果。也就是說，音頻渲染器208通過從虛擬空間的屬性和廣告聲源及與其它用戶之間的相對位置歸結(jié)的處理，生成定位聲音的立體聲。
返回圖1繼續(xù)說明。廣告服務(wù)器3通過與媒體服務(wù)器2之間建立的通話線路，對媒體服務(wù)器2發(fā)送提供給各語音通信終端4的廣告聲源的音響數(shù)據(jù)。
圖9是廣告服務(wù)器3的概略構(gòu)成圖。
如圖所示，廣告服務(wù)器3具備用于連接到IP網(wǎng)5上的IP網(wǎng)接口部301、RTP處理部302、SIP控制部303、廣告信息發(fā)送控制部304、廣告信息存儲部305。
SIP控制部303，經(jīng)由IP網(wǎng)接口部301和媒體服務(wù)器2之間建立通話線路。
RTP處理部302，將由后述的廣告信息發(fā)送控制部304接收的廣告聲源的音響數(shù)據(jù)，通過和媒體服務(wù)器2之間建立的通話線路，發(fā)送給媒體服務(wù)器2。
廣告信息存儲部305一起登錄了廣告聲源的音響數(shù)據(jù)和廣告條件。圖10是模式化表示了廣告信息存儲部305的圖。如圖所示，對每個廣告聲源的音響數(shù)據(jù)登錄著記錄3050。記錄3050具有登錄廣告聲源的音響數(shù)據(jù)的識別信息即用戶/聲源ID的字段3051、登錄廣告聲源的音響數(shù)據(jù)的字段3052、登錄廣告聲源的音響數(shù)據(jù)的發(fā)送時間段的字段3053。而且，本實施例中，按照發(fā)送時間段的順序登錄了記錄3050。
廣告信息發(fā)送控制部304控制存儲在廣告信息存儲部305上的廣告聲源的音響數(shù)據(jù)向媒體服務(wù)器2的發(fā)送。圖11是說明廣告信息發(fā)送控制部304的動作流程的圖。
首先，廣告信息發(fā)送控制部304將計數(shù)值n置于1(S3001)。
接著，廣告信息發(fā)送控制部304關(guān)注存儲在廣告信息存儲部305中的第n組的記錄3050，將它作為關(guān)注記錄(S3002)。之后，利用內(nèi)置計時器等，調(diào)查當前時刻是否到達了關(guān)注記錄的字段3053中登錄的廣告時間段的開始時刻(S3003)。
然后，若當前時刻到了廣告時間段的開始時刻(在S3003中為“是”)，則廣告信息發(fā)送控制部304生成包含登錄在關(guān)注記錄的字段3051中的用戶/聲源ID的聲源追加請求，經(jīng)由IP網(wǎng)接口部301，發(fā)送給呈現(xiàn)服務(wù)器1(S3004)。
之后，廣告信息發(fā)送控制部304指示SIP控制部303建立通話線路(S3005)。接收它后，SIP控制部303在和媒體服務(wù)器2之間執(zhí)行遵從SIP的呼叫控制步驟，和媒體服務(wù)器2之間建立通話線路。然后，廣告信息發(fā)送控制部304從廣告信息存儲部305讀出登錄在關(guān)注記錄的字段3052中的音響數(shù)據(jù)，輸出給RTP處理部302(S3006)。接收它后，RTP處理部302使用和媒體服務(wù)器2之間建立的通話線路，對媒體服務(wù)器2發(fā)送由廣告信息發(fā)送控制部304接收的音響數(shù)據(jù)。以后，廣告信息發(fā)送控制部304定期地反復(fù)進行關(guān)注記錄的字段3052中登錄者的音響數(shù)據(jù)向RTP處理部302的輸出。其結(jié)果，反復(fù)執(zhí)行該音響數(shù)據(jù)向媒體服務(wù)器2的發(fā)送。
接著，廣告信息發(fā)送控制部304利用內(nèi)置計時器等，調(diào)查當前時刻是否到了關(guān)注記錄的字段3053中登錄著的廣告時間段的結(jié)束時刻(S3007)。若當前時刻到了廣告時間段的結(jié)束時刻(S3007中為“是”)，就停止關(guān)注記錄的字段3052中登錄著的音響數(shù)據(jù)向使用了通話線路的媒體服務(wù)器2的發(fā)送處理(S3008)。之后，廣告信息發(fā)送部304指示SIP控制部303切斷通話線路(S3009)。接收該指示后，SIP控制部303遵從SIP，切斷和媒體服務(wù)器2之間的通話線路。
然后，廣告信息發(fā)送控制部304生成包含自身廣告服務(wù)器3的用戶/聲源ID的聲源清除請求，經(jīng)由IP網(wǎng)接口部30l，發(fā)送給呈現(xiàn)服務(wù)器1(S3010)。之后，給計數(shù)值n增加1(S3011)，然后返回S3002。
返回圖1繼續(xù)說明。語音通信終端4對呈現(xiàn)服務(wù)器1發(fā)送自身用戶的虛擬位置信息的同時，從呈現(xiàn)服務(wù)器1接收廣告服務(wù)器3的廣告聲源的虛擬位置信息及各語音通信終端4的用戶的虛擬位置信息。之后，根據(jù)接收的虛擬位置信息，生成表示各語音通信終端4的用戶及廣告服務(wù)器3的廣告聲源在虛擬空間上的位置及方向的映射(map)，并進行輸出。
而且，語音通信終端4對媒體服務(wù)器1發(fā)送自身用戶的語音數(shù)據(jù)的同時，從媒體服務(wù)器1接收合成數(shù)據(jù)(3D音頻數(shù)據(jù))。然后，再生接收的合成數(shù)據(jù)并進行輸出。
圖12是語音通信終端4的概略構(gòu)成圖。
如圖所示，語音通信終端4具備語音輸入部401、語音輸出部402、圖像輸出部403、操作接收部404、音頻編碼器405、音頻解碼器406、用于連接到IP網(wǎng)5上的IP網(wǎng)接口部407、SIP控制部408、RTP處理部409、呈現(xiàn)運營商410、虛擬空間映射生成部411。
語音輸入部401是由麥克風(fēng)421收錄的語音信號的輸入端子。語音輸出部402是連接到對應(yīng)3D音頻(例如對應(yīng)虛擬5.1聲道)的頭掛聽筒(或者是揚聲器)422上的語音輸出端子。圖像輸出部403將從后述的虛擬空間映射生成部411輸出的虛擬空間映射的圖像顯示在顯示器423中。然后，操作接收部404接收用戶對指針設(shè)備(ポインテイングデバイス)424的操作。
音頻編碼器405對輸入語音輸入部401的語音信號進行編碼，將語音數(shù)據(jù)輸出給RTP處理部409。音頻解碼器406對從RTP處理部409輸出的合成數(shù)據(jù)進行解碼，向語音輸出部402輸出對應(yīng)3D音頻的語音信號。
SIP控制部408經(jīng)由IP網(wǎng)接口部407，和媒體服務(wù)器3之間建立通話線路。RTP處理部409將由音頻編碼器405輸出的語音數(shù)據(jù)存儲在RTP包上，經(jīng)由由SIP處理部408建立的通話線路向媒體服務(wù)器2發(fā)送該RTP包。而且，經(jīng)由該通話線路，從由媒體服務(wù)器2接收的RTP包中取出合成數(shù)據(jù)(3D音頻數(shù)據(jù))，輸出給音頻解碼器406。
呈現(xiàn)運營商410遵從事先設(shè)定的虛擬空間的屬性，根據(jù)操作接收部404中接收的自身用戶對指針設(shè)備424的操作，決定在該虛擬空間上的自身用戶的位置(坐標)及視線方向(方位)，將包含決定的位置及視線方向的自身用戶的虛擬位置信息，發(fā)送給虛擬空間映射生成部411的同時，經(jīng)由IP網(wǎng)接口部407發(fā)送給呈現(xiàn)服務(wù)器1。而且，呈現(xiàn)運營商410經(jīng)由IP網(wǎng)接口部212，對呈現(xiàn)服務(wù)器1定期發(fā)送位置信息請求，作為它的響應(yīng)，從呈現(xiàn)服務(wù)器1接收廣告聲源及其它用戶各自的記錄1030。之后，向虛擬空間映射生成部411通知接收的記錄1030。
虛擬空間映射生成部411根據(jù)由呈現(xiàn)運營商410接收的自身用戶、廣告聲源及其它用戶各自的記錄1030中登錄著的虛擬位置信息，生成表示自身用戶、廣告聲源及其它用戶各自在虛擬空間上的位置和方向的虛擬空間映射。然后，對圖像輸出部403輸出虛擬空間映射的圖像。圖13是表示虛擬空間映射的圖像的一個例圖。如圖所示，將虛擬空間映射的圖像顯示在顯示器423上，以便可以掌握自身用戶4121、其它用戶4122及廣告聲源4123在虛擬空間4210上的位置和方向。
在上述構(gòu)成的呈現(xiàn)服務(wù)器1、媒體服務(wù)器2及廣告聲源服務(wù)器3中，可以利用如圖14所示的一般的計算機系統(tǒng)，一般的計算機系統(tǒng)具備根據(jù)程序進行數(shù)據(jù)的加工和運算的CPU601、CPU301可直接存取的存儲器602、硬件等外部存儲裝置603、和經(jīng)由IP網(wǎng)5與外部系統(tǒng)進行數(shù)據(jù)通信的通信裝置604。具體地說，就是服務(wù)器、主機等。
另外，上述構(gòu)成的語音通信終端4也可以利用如圖14所示的一般的計算機系統(tǒng)，一般的計算機系統(tǒng)具備根據(jù)程序進行數(shù)據(jù)的加工和運算的CPU601、CPU601可直接存取的存儲器602、硬件等外部存儲裝置603、用于經(jīng)由IP網(wǎng)5與外部系統(tǒng)進行數(shù)據(jù)通信的通信裝置604、鍵盤鼠標等輸入裝置605、和LCD等輸出裝置606。例如，PDA(Personal Digital Assistant個人數(shù)字助理)、PC(PersonalComputer個人電腦)等計算機系統(tǒng)。
上述各裝置的各功能，通過CPU601運行裝載在存儲器602或者存儲在存儲器602上的規(guī)定程序來實現(xiàn)。
圖15是說明適用本發(fā)明第1實施例的語音通話系統(tǒng)的概略動作的圖。其中，語音通信終端4與媒體服務(wù)器2之間已經(jīng)建立了通話線路。而且，圖15中顯示的是1臺語音通信終端4，但實際上是多臺語音通信終端4與媒體服務(wù)器2之間建立了通話線路。另外，各語音通信終端4執(zhí)行圖15所示的動作。
當由于用戶操作而使在虛擬空間上的用戶的位置及方向發(fā)生變化時，語音通信終端4生成新的虛擬位置信息，對呈現(xiàn)服務(wù)器1發(fā)送包含該虛擬位置信息的位置信息登錄請求(S5401)。
呈現(xiàn)服務(wù)器1從語音通信終端4接收位置信息登錄請求時，從位置信息存儲部103檢索包含該請求的發(fā)送源終端的用戶/聲源ID及該請求發(fā)送源的地址的記錄1030，使用該請求中所包含的虛擬位置信息來更新檢索到的記錄1030(S5101)。
廣告服務(wù)器3檢測出當前時刻是廣告信息存儲部305中存儲著的記錄305，且到了接著要處理的記錄3050(關(guān)注記錄)中登錄著的廣告時間段的開始時刻這一情況時(步驟S5301)，對呈現(xiàn)服務(wù)器1發(fā)送包含登錄在關(guān)注記錄中的用戶/聲源ID的聲源追加請求(S5302)。之后，廣告服務(wù)器3對媒體服務(wù)器2發(fā)送INVITE(邀請)消息(S5303)，與媒體服務(wù)器2之間建立通話線路(S5304)。
呈現(xiàn)服務(wù)器1從廣告服務(wù)器3接收聲源追加請求時，生成廣告聲源的虛擬位置信息，將記錄1030登錄在位置信息存儲部103中(S5102)，其中，該記錄1030包含該虛擬位置信息及包含在該請求中的用戶/聲源ID。
媒體服務(wù)器2對呈現(xiàn)服務(wù)器1定期發(fā)送位置信息請求(S5201)。同樣，語音通信終端4對呈現(xiàn)服務(wù)器1定期發(fā)送位置信息請求(S5402)。
呈現(xiàn)服務(wù)器1從媒體服務(wù)器2接收位置信息請求時，從位置信息存儲部103讀出所有的記錄1030，發(fā)送給媒體服務(wù)器2(S5103)。同樣，呈現(xiàn)服務(wù)器1從語音通信終端4接收位置信息請求時，從位置信息存儲部103讀出所有的記錄1030，發(fā)送給語音通信終端4(S5104)。
語音通信終端4經(jīng)由與媒體服務(wù)器2之間建立的通話線路，對媒體服務(wù)器1發(fā)送自身用戶的語音數(shù)據(jù)(S5403)。同樣，廣告服務(wù)器3經(jīng)由在S5304中與媒體服務(wù)器1之間建立的通話線路，對媒體服務(wù)器1發(fā)送登錄在關(guān)注記錄中的音響數(shù)據(jù)(S5305)。
媒體服務(wù)器2根據(jù)從呈現(xiàn)服務(wù)器1接收的廣告服務(wù)器3的廣告聲源及語音通信終端4用戶各自的虛擬位置信息，對從廣告服務(wù)器3及語音通信終端4分別接收的音響數(shù)據(jù)、語音數(shù)據(jù)進行3D音頻處理。然后，合成被3D音頻處理過的音響數(shù)據(jù)、語音數(shù)據(jù)，生成合成數(shù)據(jù)(S5202)。而且，媒體服務(wù)器2經(jīng)由與語音通信終端4之間建立的通話線路，將合成數(shù)據(jù)發(fā)送給語音通信終端4(S5203)。
廣告服務(wù)器3檢測出當前時刻到了登錄在關(guān)注記錄中的廣告時間段的結(jié)束時刻這一情況時(S5306)，對呈現(xiàn)服務(wù)器1發(fā)送包含登錄在關(guān)注記錄中的用戶/聲源ID的聲源刪除請求(S5307)。之后，廣告服務(wù)器3對媒體服務(wù)器2發(fā)送BYE(再見)消息(S5308)，切斷與媒體服務(wù)器2之間的通話線路。
呈現(xiàn)服務(wù)器1從廣告服務(wù)器3接收聲源刪除請求時，從位置信息存儲部103檢索記錄1030，該記錄1030包含該請求中所包含的用戶/聲源ID或者該請求的發(fā)送源地址，從位置信息存儲部103中刪除該記錄1030(S5105)。
上面，對本發(fā)明的第1實施例進行了說明。
本實施例中，在每個語音通信終端4，根據(jù)其它語音通信終端4各自的用戶及廣告服務(wù)器3的廣告聲源、和該語音通信終端4的用戶在虛擬空間上的相對位置，對其它語音通信終端4各自的語音數(shù)據(jù)及廣告服務(wù)器3的音響數(shù)據(jù)，進行3D音頻處理并進行合成。然后，將合成數(shù)據(jù)作為供給該語音通信終端4的語音通話數(shù)據(jù)。這時，廣告聲源在虛擬空間上的位置，對于各語音通信終端4設(shè)定為，從該語音通信終端4的用戶到廣告聲源為止的在虛擬空間上的距離，至少比從該語音通信終端4的用戶到最近的其它語音通信終端4的用戶為止的距離要長。因此，語音通信終端4的用戶可以從通信對方及廣告聲源在虛擬空間上的與該用戶之間的相對位置關(guān)系，區(qū)分被合成在通信數(shù)據(jù)中的通信對方的語音數(shù)據(jù)及廣告聲源的音響數(shù)據(jù)。另外，可以讓廣告聲源的音響數(shù)據(jù)比通信對方的用戶的語音數(shù)據(jù)更能從遠處聽到。因此，不必中途斷開會話，就可以對語音通話中的用戶提供廣告(視聽)。
第2實施例本實施例中，根據(jù)用戶的偏愛，變更上述第1實施例中從語音通信終端4的用戶到廣告服務(wù)器3所提供的廣告聲源為止的在虛擬空間上的距離。
本實施例中的語音通話系統(tǒng)與圖1所示的第1實施例的語音通話系統(tǒng)的不同之處是設(shè)置了呈現(xiàn)服務(wù)器1A、廣告服務(wù)器3A，來代替呈現(xiàn)服務(wù)器1、廣告服務(wù)器3。其它構(gòu)成和第1實施例一樣。
廣告服務(wù)器3A和第1實施例中的廣告服務(wù)器3的不同之處是，設(shè)置了廣告信息發(fā)送控制部304A、廣告信息存儲部305A，來代替廣告信息發(fā)送控制部304、廣告信息存儲部305。其它構(gòu)成和廣告服務(wù)器3一樣。
在廣告信息存儲部305A上，與廣告條件及廣告的種類一起登錄著廣告聲源的音響數(shù)據(jù)。圖16是模式化表示廣告信息存儲部305A的登錄內(nèi)容的圖。如圖所示，對每個廣告聲源的音響數(shù)據(jù)登錄記錄3050A。記錄3050A在追加了登錄廣告種類的字段3054這點上，和第1實施例中說明的記錄3050有所不同(參照圖10)。
廣告信息發(fā)送控制部304A在圖11的S3004中，在聲源追加請求上包含關(guān)注記錄的字段3054中登錄的種類，發(fā)送給呈現(xiàn)服務(wù)器1。其它動作和第1實施例的廣告發(fā)送控制部304一樣。
呈現(xiàn)服務(wù)器1A和第1實施例的呈現(xiàn)服務(wù)器1的不同之處是，設(shè)置了位置信息管理部102A、位置信息存儲部103A，來代替位置信息管理部102、位置信息存儲部103這點。其它構(gòu)成和呈現(xiàn)服務(wù)器1一樣。
圖17是模式化表示位置信息存儲部103A的登錄內(nèi)容的圖。如圖所示，對于廣告服務(wù)器3A所提供的廣告聲源及語音通信終端4的用戶，分別存儲著記錄1030A。記錄1030A在追加了登錄用戶的偏愛的字段1034這點上，與第1實施例中說明的記錄1030(參照圖3)不同。
位置信息管理部102A，在圖4的S1103中，根據(jù)存儲在位置信息存儲部103A中的各語音通信終端4的用戶的虛擬位置信息及偏愛、和聲源追加請求中所包含的種類，生成該請求發(fā)送源的廣告服務(wù)器2所提供的廣告聲源的虛擬位置信息。具體地說，關(guān)于存儲在位置信息存儲部103A中的語音通信終端4的用戶的記錄，分別決定廣告聲源設(shè)置區(qū)域候補，到求出該廣告聲源設(shè)置區(qū)域候補的重復(fù)范圍107為止，和第1實施例一樣(參照圖5)。之后，對于存儲在位置信息存儲部103A中的語音通信終端4的用戶的記錄1030，分別調(diào)查登錄在字段1034中的偏愛是否屬于包含在聲源追加請求中的種類。然后，決定該請求的發(fā)送源廣告服務(wù)器3所提供的廣告聲源(publicity A)在虛擬空間上的位置105，以便使到由登錄在字段1034中的偏愛屬于包含在該請求中的種類的記錄1030的字段1033所登錄的虛擬位置信息確定的、虛擬空間106上的位置為止的距離，要比到由登錄在字段1034上的偏愛屬于不包含在該請求中的種類的記錄1030的字段1033上所登錄的虛擬位置信息確定的、到虛擬空間106上的位置為止的距離短。例如，在圖5B中，當用戶(taro)的偏愛屬于廣告聲源(publicity A)的種類，其它用戶(jiro，hanako)的偏愛不屬于廣告聲源(publicity A)的種類時，廣告聲源(publicity A)在虛擬空間上的位置105，被決定在重復(fù)范圍107內(nèi)的區(qū)域107A內(nèi)。而且，從已決定的位置眺望各語音通信終端4的用戶時，將位于左端的用戶(hanako)及位于右端的用戶(jiro)之間所成的角度β變?yōu)樽钚〉姆轿?，定為廣告聲源(publicity A)在虛擬空間上的方向。
另外，位置信息管理部102A，在圖4的S1103中，在位置信息存儲部103上追加新的記錄1030A。然后，在該記錄1030A的字段1031上登錄包含在該請求中的用戶/聲源ID，登錄該請求發(fā)送源的地址，在字段1033上登錄生成的虛擬位置信息，之后，在字段1034上登錄包含在該請求中的種類。
以上說明了第2實施例。
本實施例在上述第1實施例的效果基礎(chǔ)上還具有如下效果。也就是說，在虛擬空間中，比起不持有屬于廣告聲源種類的偏愛的用戶，在持有屬于廣告聲源種類的偏愛的用戶附近，配置廣告聲源。因此，對于不持有屬于廣告聲源種類的偏愛的用戶，用比較小的聲音使其聽到廣告，而且對于持有屬于廣告聲源種類的偏愛的用戶，用比較大的聲音使其聽到廣告，所以可以提高廣告的效果。
第3實施例本實施例中，可以在每個語音通信終端4設(shè)置上述第1實施例中的廣告服務(wù)器3所提供的廣告聲源的音響數(shù)據(jù)輸出的有無。
本實施例的語音通話系統(tǒng)和圖1所示的第1實施例的語音通話系統(tǒng)的不同之處是，設(shè)置了呈現(xiàn)服務(wù)器1B、媒體服務(wù)器2B，來代替呈現(xiàn)服務(wù)器1、媒體服務(wù)器2。其它構(gòu)成和第1實施例一樣。
呈現(xiàn)服務(wù)器1B和第1實施例的呈現(xiàn)服務(wù)器1所不同之處是，設(shè)置了位置信息管理部102B、位置信息存儲部103B，來代替位置信息管理部102、位置信息存儲部103這點。其它構(gòu)成和呈現(xiàn)服務(wù)器1一樣。
圖18是模式化表示位置信息存儲部103B的登錄內(nèi)容的圖。如圖所示，對于廣告服務(wù)器3所提供的廣告聲源及語音通信終端4的用戶，分別存儲著記錄1030B。記錄1030B在追加了登錄廣告策略的字段1035這點上，和第1實施例中說明的記錄1030(參照圖3)不同。這里，所謂“廣告策略”，是指表示是否輸出廣告聲源的音響數(shù)據(jù)的策略。語音通信終端4的用戶各自在記錄1030B的字段1035上登錄輸出廣告聲源的音響數(shù)據(jù)的“有廣告”、或者登錄不輸出廣告聲源的音響數(shù)據(jù)的“無廣告”中的任意一個。而且，廣告服務(wù)器3所提供的廣告聲源的記錄1030B的字段1035為空欄(空數(shù)據(jù))。
位置信息管理部102B，在圖4的S1103中，對位置信息存儲部103追加新的記錄1030B。然后，對該記錄的1030B的字段1031上登錄被包含在該請求中的用戶/聲源ID，且登錄該請求發(fā)送源的地址，并對字段1033登錄生成的虛擬位置信息，然后，對字段1035登錄空數(shù)據(jù)。
媒體服務(wù)器2B和第1實施例的媒體服務(wù)器2的不同之處是，設(shè)置了用戶信息生成部206B，來代替用戶信息生成部206。其它構(gòu)成和媒體服務(wù)器2一樣。
用戶信息生成部206B對每個語音通信終端4進行以下處理。也就是說，從空間模型205接收的各記錄1030B中確定包含該語音通信終端4的地址的記錄1030B，將確定的記錄1030B作為自身用戶信息發(fā)送給語音分配部207。而且，調(diào)查登錄在自身用戶信息的記錄1030B的字段1035中的廣告策略，如果該廣告策略是“有廣告”，就將自身用戶信息的記錄1030B以外的記錄1030B，分別作為其它用戶/聲源信息，與該自身用戶信息對應(yīng)關(guān)聯(lián)，發(fā)送給語音分配部207。另外，該廣告策略如果是“無廣告”，就確定字段1035是空數(shù)據(jù)的記錄1030B，也就是確定廣告服務(wù)器3所提供的廣告聲源的記錄1030B，將該記錄1030B及自身用戶信息的記錄1030B以外的記錄1030B，分別作為其它用戶/聲源信息，與該自身用戶信息對應(yīng)關(guān)聯(lián)，發(fā)送給語音分配部207。
以上說明了本發(fā)明的第3實施例。
本實施例在上述第1實施例基礎(chǔ)上還具有如下效果。也就是說，可以對每個語音通信終端4設(shè)定廣告服務(wù)器3所提供的廣告聲源的音響數(shù)據(jù)輸出的有無。因此，可以不從讓不期望廣告的用戶的語音通信終端4不輸出廣告的音響數(shù)據(jù)。
第4實施例本實施例可以自動使上述第1實施例中的廣告服務(wù)器3所提供的廣告聲源在虛擬空間上的位置移動。
本實施例的語音通話系統(tǒng)和圖1所示的第1實施例的語音通話系統(tǒng)的不同之處是，設(shè)置了呈現(xiàn)服務(wù)器1C、廣告服務(wù)器3C，來代替呈現(xiàn)服務(wù)器1、廣告服務(wù)器3。其它構(gòu)成和第1實施例一樣。
廣告服務(wù)器3C和第1實施例的廣告服務(wù)器3所不同之處是，設(shè)置了廣告信息發(fā)送控制部304C、廣告信息存儲部305C，來代替廣告信息控制部304、廣告信息存儲部305這點。其它構(gòu)成和廣告服務(wù)器3一樣。
在廣告信息存儲部305C上，與廣告條件和廣告聲源的移動規(guī)則一起登錄了廣告聲源的音響數(shù)據(jù)。圖19是模式化表示廣告信息存儲部305C的登錄內(nèi)容的圖。如圖所示，對每個廣告聲源的音響數(shù)據(jù)登錄著記錄3050C。記錄3050C在追加了登錄廣告聲源的移動規(guī)則的字段3055的點上，與第1實施例中說明的記錄3050(參照圖10)不同。作為登錄在字段3055上的移動規(guī)則，有表示在按原樣維持記錄3050C登錄時決定的虛擬位置信息的“固定”、表示定期更新虛擬位置信息的“更新”、巡回虛擬空間上的多個規(guī)定位置的“巡回”。如果是“巡回”的情況，對于多個規(guī)定位置的各規(guī)定位置，將在虛擬空間上的坐標信息、巡回的順序及停留時間，作為巡回計劃，合起來登錄在字段3055中。
廣告信息發(fā)送控制部304C，在圖11的S3004中，在聲源追加請求上，包含登錄在關(guān)注記錄的字段3055中的移動規(guī)則，發(fā)送給呈現(xiàn)服務(wù)器1C。其它動作和第1實施例的廣告發(fā)送控制部304一樣。
呈現(xiàn)服務(wù)器1C和第1實施例的呈現(xiàn)服務(wù)器1的不同之處是，設(shè)置位置信息管理部102C、位置信息存儲部103C，來代替位置信息管理部102、位置信息存儲部103這點。其它構(gòu)成合呈現(xiàn)服務(wù)器1一樣。
圖20是模式化表示位置信息存儲部103C的登錄內(nèi)容的圖。如圖所示，對于廣告服務(wù)器3C所提供的廣告聲源及語音通信終端4的用戶，分別存儲著記錄1030C。記錄1030C在追加了登錄廣告聲源的移動規(guī)則的字段1035的這點上，和第1實施例中說明的記錄1030(參照圖3)不同。而且，各語音通信終端4的用戶的記錄1030B的字段1035，為空欄(空數(shù)據(jù))。
位置信息管理部102C在第1實施例的位置信息管理部102所進行的處理基礎(chǔ)上，根據(jù)登錄在位置信息存儲部103中的、廣告服務(wù)器3C所提供的廣告聲源的記錄1030C的字段1035中登錄的移動規(guī)則，根據(jù)需要進行變更登錄在字段1033中的虛擬位置信息的處理。
圖21是說明呈現(xiàn)服務(wù)器1C的動作流程的圖。
位置信息管理部102C經(jīng)由IP網(wǎng)接口部101從語音通信終端4接收位置信息登錄請求時(S1001中為“是”)的處理(S1002、S1003)、位置信息管理部102C經(jīng)由IP網(wǎng)接口部101從廣告服務(wù)器3C接收聲源刪除請求(S1201中為“是”)時的處理(S1201)、以及位置信息管理部102C經(jīng)由IP網(wǎng)接口部101從媒體服務(wù)器1或者語音通信終端4接收位置信息請求(S1301中為“是”)時的處理(S1302、S1303)，和圖4所示的第1實施例的處理一樣。
而且，位置信息管理部102C經(jīng)由IP網(wǎng)接口部101從廣告服務(wù)器3C接收聲源追加請求(S1101中為“是”)時，在圖4所示的第1實施例情況下的處理(S1102、S1103)的基礎(chǔ)上，位置信息管理部102C啟動沒有圖示的內(nèi)置計時器(S1104)。
還有，本實施例的呈現(xiàn)服務(wù)器1C進行以下處理。也就是說，位置信息管理部102C調(diào)查位置信息存儲部103C中是否登錄了廣告聲源的記錄1030C(字段1035的移動規(guī)則不是空數(shù)據(jù)的記錄1030C)，在登錄了時，調(diào)查該記錄1030C的字段1035中登錄的移動規(guī)則是否是“更新”(S1401)。如果移動規(guī)則是“更新”時(S1402中為“是”)，進一步調(diào)查上述內(nèi)置計時器是否表示了經(jīng)過規(guī)定時間(S1402)，如果沒有表示(S1402中為“是”)，以和圖4的S1102一樣的要領(lǐng)再度生成廣告聲源的虛擬位置信息(S1403)。然后，將廣告聲源的記錄1030C的字段1033中登錄的虛擬位置信息更新為該再度生成的虛擬位置信息(S1404)。之后，對上述內(nèi)置計時器復(fù)位(S1405)，返回S1001。另外，如果S1402中的上述內(nèi)置計時器沒有表示經(jīng)過規(guī)定時間時(S1402中是“否”)，馬上返回S1001。
另外，是位置信息存儲部103C上登錄了廣告聲源的記錄1030C時，且該記錄1030C的字段1035中登錄的移動規(guī)則不是“更新”時(S1401中是NO)，位置信息管理部102C調(diào)查該字段1035中登錄的移動規(guī)則是否是“巡回”(S1501)。移動規(guī)則是“巡回”的情況(S1501中為“是”)，進一步調(diào)查上述內(nèi)置計時器是否表示了經(jīng)過規(guī)定時間(S1502)，如果表示了(S1502中為“是”)，則根據(jù)該廣告聲源的記錄1030C的字段1035中記述的移動規(guī)則，對字段1033中登錄的虛擬位置信息所包含的虛擬位置，依次確定上次的虛擬位置。而且，以和圖4的S1102一樣的要領(lǐng)決定廣告聲源在虛擬位置上的方向(S1503)。然后，再度生成包含確定的虛擬位置及決定的方向的虛擬位置信息(S1503)，將廣告聲源的記錄1030C的字段1033中登錄的虛擬位置信息，更新為該再度生成的虛擬位置信息(S1504)。之后，對上述內(nèi)置計時器復(fù)位(S1505)，返回S1001。另外，如果在S1502中上述內(nèi)置計時器表示沒經(jīng)過規(guī)定時間時(S1502中是“否”)，馬上返回S1001。
以上說明了本發(fā)明的第4實施例。
本實施例中，在上述第1實施例的基礎(chǔ)上還具有如下效果。也就是說，在虛擬空間中，廣告聲源自動移動，因此，可以讓虛擬空間中存在的更多用戶，聽到廣告聲源的音響數(shù)據(jù)，因此，可以提高廣告效果。
第5實施例本實施例中，上述第1實施例中的語音通信終端4D的用戶可以請求廣告服務(wù)器3D所提供的廣告聲源的音響數(shù)據(jù)。
本實施例的語音通信系統(tǒng)和圖1所示的第1實施例的語音通信系統(tǒng)的不同之處是，設(shè)置了廣告服務(wù)器3D、語音通信終端4D，來代替廣告服務(wù)器3、語音通信終端4。其它構(gòu)成和第1實施例一樣。
圖22是廣告服務(wù)器3D的概略構(gòu)成圖。
如圖所示，本實施例的廣告服務(wù)器3D和第1實施例的廣告服務(wù)器3所不同之處是，設(shè)置了廣告信息發(fā)送控制部304D、廣告信息存儲部305D，來代替廣告信息發(fā)送控制部304、廣告信息存儲部305這點，以及設(shè)置了請求接收部306、請求存儲部307這點。其它構(gòu)成和廣告服務(wù)器3一樣。
廣告信息存儲部305D上，與廣告的導(dǎo)向信息一起登錄廣告聲源的音響數(shù)據(jù)。圖23是模式化表示廣告信息存儲部305D的登錄內(nèi)容的圖。如圖所示，對每個廣告聲源的音響數(shù)據(jù)登錄記錄3050D。記錄3050D設(shè)置登錄廣告的導(dǎo)向信息的字段3056，來代替登錄廣告聲源的音響數(shù)據(jù)的發(fā)送時間段的字段3053這點上，和第1實施例中說明的記錄3050(參照圖10)不同。
在請求信息存儲部307中，登錄對由語音通信終端4接收的廣告聲源的音響數(shù)據(jù)的請求。圖24是模式化表示請求信息存儲部305的登錄內(nèi)容的圖。如圖所示，對每個由語音通信終端4接收的請求，登錄記錄3070。記錄3070具有登錄請求的接收日期的字段3071、登錄請求發(fā)送源的語音通信終端4的用戶/聲源ID的字段3072、用于登錄被請求的廣告聲源的音響數(shù)據(jù)的用戶/聲源ID的字段3073。
請求接收部306根據(jù)經(jīng)由IP網(wǎng)接口部301由語音通信終端4接收的清單請求，生成登錄在廣告信息存儲部305D中的各記錄3050D的字段3051、記述了登錄在字段3056中的用戶/聲源ID、導(dǎo)向信息的廣告清單，將它發(fā)送給該請求發(fā)送源的語音通信終端4。另外，請求接收部306經(jīng)由IP網(wǎng)接口部301由語音通信終端4接收請求時，對請求存儲部307追加新的記錄3070。之后，在追加的記錄3070的字段3071上登錄當前日期時間，在字段3072上登錄包含在該請求上的請求發(fā)送源的用戶/聲源ID，還在字段3073上登錄被包含在該請求中的請求對象即廣告聲源的音響數(shù)據(jù)的用戶/聲源ID。
廣告信息發(fā)送控制部304D控制由請求存儲部305中存儲的請求所確定的、存儲在廣告信息存儲部305D中的廣告聲源的音響數(shù)據(jù)向媒體服務(wù)器2的發(fā)送。圖25是用于說明廣告信息發(fā)送控制部304D的動作流程的圖。
首先，廣告信息發(fā)送控制部304D從請求存儲部307檢索字段3071中登錄的接收日期時間最為陳舊的記錄3070，將它作為關(guān)注記錄(S3101)。之后，廣告信息發(fā)送控制部304D生成包含登錄在關(guān)注記錄的字段3073中的用戶/聲源ID的聲源追加請求，經(jīng)由IP網(wǎng)接口部301發(fā)送給呈現(xiàn)服務(wù)器1(S3102)。
接著，廣告信息發(fā)送控制部304D指示SIP控制部303建立通話線路(S3103)。接收它后，SIP控制部303在與媒體服務(wù)器2之間執(zhí)行遵從SIP的呼叫控制步驟，與媒體服務(wù)器2之間建立通話線路。
之后，廣告信息發(fā)送控制部304D從廣告信息存儲部305D中檢索登錄在關(guān)注記錄的字段3073中的用戶/聲源ID登錄在字段3051上的記錄3050D。然后，對RTP處理部302輸出登錄在檢索到的記錄3050D的字段3052中的音響數(shù)據(jù)(S3104)。接收它后，RTP處理部302利用與媒體服務(wù)器2之間建立的通話線路，將由廣告信息發(fā)送控制部304D接收的音響數(shù)據(jù)發(fā)送給媒體服務(wù)器2。以后，廣告信息發(fā)送控制部304D定期反復(fù)進行該音響數(shù)據(jù)向RTP處理部302的輸出。其結(jié)果，反復(fù)執(zhí)行該音響數(shù)據(jù)向媒體服務(wù)器2的發(fā)送。
然后，廣告信息發(fā)送控制部304D利用內(nèi)置計時器等，檢測出S3104中的處理(音響數(shù)據(jù)的反復(fù)再生)開始之后經(jīng)過了規(guī)定時間(S3105中為“是”)時，停止該音響數(shù)據(jù)向利用通話線路的媒體服務(wù)器2的發(fā)送處理(S3106)。然后，廣告信息發(fā)送部304D向SIP控制部303指示斷開通話線路(S3107)。接收它之后，SIP控制部303遵從SIP，斷開與媒體服務(wù)器2之間的通話線路。
接著，廣告信息發(fā)送控制部304D生成包含自身廣告服務(wù)器3的用戶/聲源ID的聲源刪除請求，經(jīng)由IP網(wǎng)接口部301發(fā)送給呈現(xiàn)服務(wù)器1(S3108)。之后，從請求存儲部307刪除關(guān)注記錄(S3109)，之后返回S3101。
圖26是語音通信終端4D的概略構(gòu)成圖。
如圖所示，本實施例的語音通信終端4D和第1實施例的語音通信終端4所不同之處是，新設(shè)置了請求接收部412。其它構(gòu)成與語音通信終端4一樣。
請求接收部412根據(jù)用戶經(jīng)由操作接收部404接收的請求閱覽指示，生成包含自身語音通信終端4D的用戶/聲源ID的清單請求，并經(jīng)由IP網(wǎng)接口部407發(fā)送給廣告服務(wù)器3D。而且，請求接收部412通過IP網(wǎng)接口部407，根據(jù)由廣告服務(wù)器3D接收的廣告清單，如圖27所示，生成廣告聲源的音響數(shù)據(jù)的用戶/聲源ID4121及導(dǎo)向信息4122的組被清單顯示了的、由用戶接收廣告聲源的音響數(shù)據(jù)請求用的請求接收畫面4120的圖像數(shù)據(jù)，并由圖像輸出部403輸出。而且，請求接收部412經(jīng)由操作接收部404接收由用戶操作指針設(shè)備424而從請求接收畫面4120中選擇出的用戶/聲源ID4121及導(dǎo)向信息4122的組，生成包含該組的請求，通過IP網(wǎng)接口部407發(fā)送給廣告服務(wù)器3D。
以上，說明的是本發(fā)明的第5實施例。
本實施例，在上述第1實施例的基礎(chǔ)上還具有如下效果。也就是說，可以使該用戶聽到任意用戶所希望的廣告聲源的音響數(shù)據(jù)，因此，可以提高廣告效果。
而且，本發(fā)明并不限定于上述的各種實施例，在其宗旨范圍內(nèi)，可以做任意變更。
例如，在上述的實施例中，將在媒體服務(wù)器2、2B中進行廣告聲源的音響數(shù)據(jù)及各用戶的語音數(shù)據(jù)的3D音頻處理及合成處理的情況為例子進行了說明。但本發(fā)明并不限定于此。也可以在各語音通信終端4、4D中進行廣告聲源的音響數(shù)據(jù)及各用戶的語音數(shù)據(jù)的3D音頻處理及合成處理。也就是說，各語音通信終端4、4D與自身終端之外的語音通信終端4、4D及各個廣告服務(wù)器3、3A、3C、3D之間建立通話線路。之后，將自身終端的用戶的語音數(shù)據(jù)分別發(fā)送給自身終端以外的語音通信終端4、4D的同時，將從自身終端以外的語音通信終端4、4D及各個廣告服務(wù)器3、3A、3C、3D接收的語音數(shù)據(jù)、音響數(shù)據(jù)，根據(jù)呈現(xiàn)服務(wù)器1、1A、1B、1C中得到的自身終端以外的各個語音通信終端4、4D及廣告服務(wù)器3、3A、3C、3D的虛擬位置信息和自身終端的虛擬位置信息，進行3D音頻處理，對它們進行合成。這樣，就不需要媒體服務(wù)器2、2B。
另外，在上述的各實施例中，呈現(xiàn)服務(wù)器1將廣告聲源在虛擬空間上的虛擬位置，決定為從語音通信終端4的用戶到廣告聲源的距離至少比從該語音通信終端4的用戶到最近的其它語音通信終端4的用戶的距離要長的位置上。但是本發(fā)明并不限定于此。廣告聲源在虛擬空間上的虛擬位置，只要決定成對于語音通信終端4的用戶而言可以區(qū)別于其它語音通信終端4的用戶的虛擬位置即可。例如，決定廣告聲源在虛擬空間上的虛擬位置時，能使從語音通信終端4的用戶所看到的廣告聲源的方向(聲音的輸出方向)，至少與從該語音通信終端4的用戶看到的最近的其它語音通信終端4的用戶的方向分離規(guī)定角度以上即可。
具體地說，呈現(xiàn)服務(wù)器1的位置信息管理部102進行以下處理。如圖28A所示，對于任意語音通信終端4，對每個其它通信終端4求出不屬于以從該語音通信終端4的用戶的虛擬位置看其它語音通信終端4的用戶的方向d為中心的一定角度范圍γ的區(qū)域。如圖28B所示，對所有語音通信終端4執(zhí)行該處理，求出結(jié)果得到的區(qū)域全部重合的區(qū)域107A。當存在多個區(qū)域107A時，從中選擇1個任意區(qū)域。當不存在區(qū)域107A時，縮小上述角度范圍γ，或者對各語音通信終端4去除距離該語音通信終端4的用戶的虛擬位置最遠的其它語音通信終端4的用戶后，再進行計算。而且，廣告聲源在虛擬空間上的方向的決定和上述的各實施例一樣(參照圖5B)。
但是，人的聽覺有個弱點，就是很難區(qū)別出相關(guān)于連接兩耳的直線處于對稱位置的聲源。也就是說，，很難區(qū)別相關(guān)于該直線的前后、上下等處于對稱位置的聲源。如下所述則可以避開這些位置進行配置。如圖29A所示，對于任意語音通信終端4，對每個其它語音通信終端求出以從該語音通信終端4的用戶的虛擬位置看其它語音通信終端4的用戶的方向d為中心的一定角度γ、以及相對于與該語音通信終端4的用戶的方向e正交的線f(連接兩耳的直線)，不屬于該一定角度范圍γ和對角范圍γ’的區(qū)域。如圖29B所示，對所有的語音通信終端4執(zhí)行該處理，求出結(jié)果得到的所有重合的區(qū)域107B。
而且，在上述實施例中，在通話線路的建立上以利用SIP的情況作為例子進行了說明。但是本發(fā)明并不限定于此。例如，也可以利用H.323等SIP以外的呼叫控制協(xié)議。
而且，在上述的各實施例中，作為向語音通信終端4的用戶提供的內(nèi)容，以廣告聲源的音響數(shù)據(jù)為例子進行了說明。但是本發(fā)明并不限定于此。例如，將樂曲等音響數(shù)據(jù)作為內(nèi)容提供給用戶的情況，本發(fā)明也可以利用。
另外，上述的各實施例中，以語音廣告為例子進行了說明，但是本發(fā)明并不限定于此。代替位于虛擬空間上的用戶及廣告聲源的語音輸出，或者在該輸出基礎(chǔ)上，當使用由3D制圖顯示位于虛擬空間上的用戶及廣告聲源的終端時，對于依據(jù)圖像的廣告或者將圖像和聲音合并起來使用的廣告，也可以依據(jù)本發(fā)明決定廣告配置，也可以通過3D制圖顯示它們。只是，這種情況下，即使廣告配置于用戶的后方效果也少，所以，在決定配置時，需要盡可能在從多個用戶可以看到的位置上配置廣告。另外，考慮用戶的偏愛時，要配置在優(yōu)先度高的用戶所看到的位置上。
權(quán)利要求
1.一種語音通話系統(tǒng)，具備多個語音通信終端、對上述多個語音通信終端分別提供聲源的內(nèi)容服務(wù)器、和對上述多個語音通信終端各自的用戶及上述內(nèi)容服務(wù)器提供的聲源在虛擬空間上的位置進行管理的呈現(xiàn)服務(wù)器，其特征在于，具有呈現(xiàn)取得部，從上述呈現(xiàn)服務(wù)器取得上述多個語音通信終端各自的用戶及上述內(nèi)容服務(wù)器提供的聲源在虛擬空間上的位置信息；以及音頻渲染器，設(shè)置在每個上述語音通信終端；上述音頻渲染器進行以下處理對該音頻渲染器對應(yīng)的語音通信終端以外的其它語音通信終端各自的語音數(shù)據(jù)，實施與由上述呈現(xiàn)取得部取得的位置信息所確定的、上述其它語音通信終端各自的用戶和該音頻渲染器對應(yīng)的語音通信終端的用戶之間的相對位置相對應(yīng)的立體聲處理，而且，對上述內(nèi)容服務(wù)器提供的聲源的音響數(shù)據(jù)，實施與由上述呈現(xiàn)取得部取得的位置信息所確定的、上述聲源和該語音通信終端的用戶之間的相對位置相對應(yīng)的立體聲處理的處理；以及合成被上述立體聲處理過的其它語音通信終端各自的語音數(shù)據(jù)及聲源的音響數(shù)據(jù)，生成供給該音頻渲染器對應(yīng)的語音通信終端的語音通話數(shù)據(jù)的處理；上述呈現(xiàn)服務(wù)器具有位置信息管理部，該位置信息管理部對于上述多個語音通信終端分別決定上述聲源在虛擬空間上的位置，以便對該語音通信終端的用戶而言，上述聲源在虛擬空間上的位置能區(qū)別于其它語音通信終端的用戶的位置。
2.權(quán)利要求1所述的語音通話系統(tǒng)，其特征在于，上述位置信息管理部對于上述多個語音通信終端分別根據(jù)事先設(shè)定的該語音 -通信終端的用戶的偏愛，決定上述聲源在虛擬空間上的位置，以便對該語音通信終端的用戶而言，上述聲源在虛擬空間上的位置能區(qū)別于其它語音通信終端的用戶的位置。
3.權(quán)利要求1所述的語音通話系統(tǒng)，其特征在于，上述音頻渲染器，在該音頻渲染器對應(yīng)的語音通信終端的策略是“有聲源”時，進行以下處理對該音頻渲染器對應(yīng)的語音通信終端以外的其它語音通信終端各自的語音數(shù)據(jù)，實施與由上述呈現(xiàn)取得部取得的位置信息所確定的、上述其它語音通信終端各自的用戶和該音頻渲染器對應(yīng)的語音通信終端的用戶之間的相對位置相對應(yīng)的立體聲處理，而且，對上述內(nèi)容服務(wù)器提供的聲源的音響數(shù)據(jù)，實施與由上述呈現(xiàn)取得部取得的位置信息所確定的、上述聲源和該語音通信終端的用戶之間的相對位置相對應(yīng)的立體聲處理的處理；以及合成被上述立體聲處理過的其它語音通信終端各自的語音數(shù)據(jù)及聲源的音響數(shù)據(jù)，生成供給該音頻渲染器對應(yīng)的語音通信終端的語音通話數(shù)據(jù)的處理；在該音頻渲染器對應(yīng)的語音通信終端的策略是“無聲源”時，進行以下處理對該音頻渲染器對應(yīng)的語音通信終端以外的其它語音通信終端各自的語音數(shù)據(jù)，實施與由上述呈現(xiàn)取得部取得的位置信息所確定的、上述其它語音通信終端各自的用戶和該音頻渲染器對應(yīng)的語音通信終端的用戶之間的相對位置相對應(yīng)的立體聲處理；以及合成被上述立體聲處理過的其它語音通信終端各自的語音數(shù)據(jù)，生成供給該音頻渲染器對應(yīng)的語音通信終端的語音通話數(shù)據(jù)的處理。
4.權(quán)利要求1所述的語音通話系統(tǒng)，其特征在于，上述位置信息管理部定期執(zhí)行上述決定，更新上述聲源在虛擬空間上的位置。
5.權(quán)利要求1所述的語音通話系統(tǒng)，其特征在于，上述內(nèi)容服務(wù)器具有從上述語音通信終端接收請求的請求接收部，并將上述請求的聲源設(shè)定為提供給上述多個語音通信終端的各語音通信終端的聲源。
6.權(quán)利要求1所述的語音通話系統(tǒng)，其特征在于，還具有上述呈現(xiàn)取得部和設(shè)置在每個上述語音通信終端的音頻渲染器。
7.權(quán)利要求1所述的語音通話系統(tǒng)，其特征在于，上述多個語音通信終端各具有上述呈現(xiàn)取得部和對應(yīng)于自身終端設(shè)置的音頻渲染器。
8.一種呈現(xiàn)服務(wù)器，對內(nèi)容服務(wù)器提供的聲源及多個語音通信終端各自的用戶在虛擬空間上的位置進行管理，其特征在于，具有位置信息管理部，該位置信息管理部對于上述多個語音通信終端分別決定上述聲源在虛擬空間上的位置，以便對該語音通信終端的用戶而言，上述聲源在虛擬空間上的位置能區(qū)別于其它語音通信終端的用戶的位置。
9.一種計算機可讀程序，其特征在于，上述程序使計算機具有對內(nèi)容服務(wù)器提供的聲源及多個語音通信終端各自的用戶在虛擬空間上的位置進行管理的呈現(xiàn)服務(wù)器的功能，上述呈現(xiàn)服務(wù)器具有位置信息管理部，該位置信息管理部對于上述多個語音通信終端分別決定上述聲源在虛擬空間上的位置，以便對該語音通信終端的用戶而言，上述聲源在虛擬空間上的位置能區(qū)別于其它語音通信終端的用戶的位置。
10.一種語音通話中的內(nèi)容提供方法，在具備多個語音通信終端、對上述多個語音通信終端分別提供聲源的內(nèi)容服務(wù)器、對上述多個語音通信終端各自的用戶及上述內(nèi)容服務(wù)器提供的聲源在虛擬空間上的位置進行管理的呈現(xiàn)服務(wù)器的語音通話系統(tǒng)中，對語音通話中的上述多個語音通信終端分別提供上述聲源的音響數(shù)據(jù)，其特征在于，對于上述多個語音通信終端分別決定上述聲源在虛擬空間上的位置，以便對于該語音通信終端的用戶而言，上述聲源在虛擬空間上的位置可以區(qū)別于其它語音通信終端的用戶的位置；對該語音通信終端以外的其它語音通信終端各自的語音數(shù)據(jù)，實施與上述其它語音通信終端各自的用戶和該語音通信終端的用戶之間的相對位置相對應(yīng)的立體聲處理，而且，對上述聲源的音響數(shù)據(jù)，實施與上述聲源和該語音通信終端的用戶之間的相對位置相對應(yīng)的立體聲處理；合成上述立體聲處理過的其它語音通信終端各自的語音數(shù)據(jù)及聲源的音響數(shù)據(jù)，生成供給該語音通信終端的語音通話數(shù)據(jù)。
全文摘要
本發(fā)明提供語音通話系統(tǒng)及語音通話中的內(nèi)容提供方法，不必中途斷開會話，就可以對語音通話中的用戶提供內(nèi)容。設(shè)置對語音通信終端(4)各自的用戶及廣告服務(wù)器(3)所提供的廣告聲源在虛擬空間上的位置進行管理的呈現(xiàn)服務(wù)器(1)。媒體服務(wù)器(2)按每個語音通信終端(4)，對其它語音通信終端(4)各自的音響數(shù)據(jù)，實施了根據(jù)其它語音通信終端(4)各自的用戶和該語音通信終端(4)的用戶之間的相對位置的立體聲處理，同時，對廣告聲源的音響數(shù)據(jù)，實施了根據(jù)廣告聲源和該語音通信終端(4)的用戶之間的相對位置的立體聲處理。這樣，合成被立體聲處理過的數(shù)據(jù)，生成供給該語音通信終端(4)的語音通話數(shù)據(jù)。
文檔編號H04M3/487GK1933517SQ200610107638
公開日2007年3月21日 申請日期2006年7月28日 優(yōu)先權(quán)日2005年9月13日
發(fā)明者金田泰 申請人:株式會社日立制作所