專利名稱：互動虛擬現(xiàn)實(shí)系統(tǒng)的基于模型的景像外推的制作方法
技術(shù)領(lǐng)域：
本發(fā)明與互動網(wǎng)技術(shù)有關(guān)，具體地說，與服務(wù)機(jī)以互動方式向客戶機(jī)提供虛擬現(xiàn)實(shí)世界的視像的網(wǎng)絡(luò)有關(guān)。
與基于文本的媒體不同，圖像必需以可預(yù)測的同步方式發(fā)送，要求有保證的服務(wù)質(zhì)量，以及有保證的帶寬和有保證的對諸如處理延遲和抖動之類的其他特性的限制。支持有保證的服務(wù)質(zhì)量的連接的協(xié)議即將由基于ATM的網(wǎng)絡(luò)或諸如FDDI和高速以太網(wǎng)提供。這樣的協(xié)議在一個發(fā)送裝置(多媒體服務(wù)機(jī))和一個接收裝置(客戶機(jī))之間建立一個虛擬連接，如果沿途能保留足以支持這個連接所需的最低服務(wù)值質(zhì)量的資源的話。
攝影逼真虛擬現(xiàn)實(shí)應(yīng)用與基于電視圖像的實(shí)時應(yīng)用類似，但提供了全互動操作方式。在許多虛擬現(xiàn)實(shí)系統(tǒng)中，用戶必需真正感受所要探索和發(fā)現(xiàn)的環(huán)境，與環(huán)境順當(dāng)?shù)亟涣骰?。在互動web系統(tǒng)的情況下，客戶機(jī)帶有虛擬攝像機(jī)遨游于虛擬環(huán)境中。服務(wù)機(jī)不斷接收有關(guān)客戶機(jī)的攝像機(jī)的位置和朝向以及它的可以修改虛擬環(huán)境的種種活動的情況。所有涉及整體設(shè)置的信息都保存在服務(wù)機(jī)內(nèi)。按照客戶機(jī)的運(yùn)動，服務(wù)機(jī)用能產(chǎn)生新景像的必需數(shù)據(jù)對客戶機(jī)進(jìn)行更新。
時間滯后和質(zhì)量差的圖像是現(xiàn)實(shí)感不足的主要原因。高保真性和攝影真實(shí)性可以利用全紋理化(攝影映射)環(huán)境來達(dá)到。今天，我們正目睹在世界范圍的web系統(tǒng)上用虛擬現(xiàn)實(shí)模型化語言(VRML)描述的3D虛擬世界的迅速增加的情況。然而，在web系統(tǒng)上與遠(yuǎn)地虛擬環(huán)境互動仍受很大限制。普通的方法是首先將整個VRML 3D世界下載給客戶機(jī)，然后客戶機(jī)在本機(jī)恢復(fù)場景。這種方法只要環(huán)境不過于復(fù)雜是相當(dāng)成功的，否則下載時間會過長。這妨礙了為達(dá)到攝影逼真效果而必需的攝影紋理的使用。應(yīng)強(qiáng)調(diào)的是，下載時間對于每次會話改變都是需要的，例如，在電視購物應(yīng)用中用戶走到上一層或在電視游戲中用戶移動到另一個行星時。
為了避免上述缺點(diǎn)，業(yè)已提出另一方法，服務(wù)機(jī)計算出新的景像，將它們壓縮后發(fā)給客戶機(jī)。雖然每個圖像都是經(jīng)壓縮的(例如JPEG)，但傳輸量仍相當(dāng)大，需要昂貴的帶寬，否則圖像質(zhì)量就比較差。諸如MPEG之類的利用時序數(shù)據(jù)冗余的電視圖像壓縮技術(shù)是根據(jù)幀間的相關(guān)性，可以進(jìn)行在線壓縮，但有時間滯后，不能實(shí)時反饋。
因此，普遍認(rèn)為如果能開發(fā)出一種可以在互動服務(wù)機(jī)-客戶機(jī)系統(tǒng)的客戶機(jī)上快到足以保持虛擬現(xiàn)實(shí)幻覺地提供遠(yuǎn)地復(fù)雜虛擬現(xiàn)實(shí)世界景像的方法，那將是十分有益的。
在地標(biāo)領(lǐng)航(visual navigation)應(yīng)用中，始終需要在圖像質(zhì)量和幀率之間進(jìn)行折衷。在互動實(shí)時系統(tǒng)中，要求維護(hù)用戶規(guī)定的最低幀率。T.A.Funkhouser和C.H.Sequin在“復(fù)雜虛擬環(huán)境可視化期間互動幀率的自適應(yīng)顯示算法”(Adaptive display algorithm for interactiveframe rates during visualization of complex virtual environments.Computer Graphics(SIGGRAPH’93 Proceedings)，pp.247-254，August 1993)中提出一種通過按照估計的繪制成本選擇細(xì)致級別和繪制算法自適應(yīng)地調(diào)整圖像的算法。P.W.C.Maciel和P.Shirley在“利用紋理化群的大環(huán)境地標(biāo)領(lǐng)航”(Visual navigation of largeenvironments using textured clusters，1995 Symposium on Interactive3D Graphics，pp.95-102，Appril 1995)中提出利用頂替處理(imposture)以速度換取質(zhì)量。經(jīng)頂替處理后的繪制必需比真實(shí)模型快，而在視覺上與真實(shí)圖像相像。紋理映射為簡化模型就是一種普通的頂替處理形式。J.Shade，D.Lischinski，D.H.Salesin，J.Snyder和T.Derose在“快速巡視復(fù)雜環(huán)境的分層圖像高速緩沖存儲”(Hierarchicalimage caching for accelerated walkthroughs of complex environments，computer Graphics(SIGGRAPH′96 Proceedings)中，G.Schauffler和W.Sturzlinger在“虛擬現(xiàn)實(shí)的三維圖像高速緩沖存儲器”(A threedimensional image cache for virtual reality，Eurographics′96，Computer Graphics Forum Vol.15 No.3 pp.227-235，1996)中，以及D.G.Aliaga在“利用基于紋理的動態(tài)簡化顯示復(fù)雜模型景像”(Visualization of complex models using dynamic texture-basedsimplification，Proceedings of Visualization 96)中，都用了一種單紋理多邊形。這些基于圖像的圖元與景像有關(guān)，形成一種緊湊的表示，因此它們具有可以更適合一些也必需支持用戶所規(guī)定的通信帶寬的應(yīng)用的潛力。
S.Eric Chen和L.Williams在“圖像綜合的景像內(nèi)插”(Viewinterpolation for image synthesis，Computer Graphics(SIGGRAPH′93Proceedings)，pp.279-288，August 1993)中，以及T.Kaneko和S.Okamoto在“領(lǐng)航應(yīng)用中帶距離數(shù)據(jù)的景像內(nèi)插”(View interpolationwith range data for navigation applications，Computer GraphicsInternational，pp.90-95，June 1996)中，通過“景像內(nèi)插”根據(jù)一系列預(yù)先計算得出的基準(zhǔn)圖像產(chǎn)生一些新的圖像。除了圖像，相應(yīng)的地圖也是必要的，這樣可以使一個圖像同態(tài)化成另一個圖像。用戶可以漫步通過相繼連接存儲有預(yù)先計算好的景像的位置的受限路徑，感受到所提供的沿途連接的各中間景像。
景像內(nèi)插和任何基于圖像的繪制技術(shù)的優(yōu)點(diǎn)是產(chǎn)生一個新的圖像與場景的復(fù)雜性無關(guān)。這種技術(shù)給出了比在一個電視圖像序列內(nèi)前后漫步更多的自由。然而，它只能在相鄰圖像描繪的是從不同視點(diǎn)看到的同一對象時才工作得比較好。內(nèi)插的景像可能會有某些失真，因為線性內(nèi)插并不保證得到自然或物理真實(shí)的中間圖像。近來，S.M.Seitz和C.R.Dyer在“景像同態(tài)處理”(View morphing，ComputerGraphics(SIGGRAPH′96 Proceedings))中提出了一種稱為“景像同態(tài)處理”的新方法，較好地維護(hù)了中間形態(tài)的外觀。基于圖像的方法通常并不考慮基本的3D模型，因此需要改善一些稱為孔洞和交疊之類的固有問題。在前面所引用的Kaneko和Okamoto的論文中，將從距離掃描器獲取的充分的距離數(shù)據(jù)分別與各基準(zhǔn)圖像聯(lián)系起來。確切的距離簡化了產(chǎn)生中間圖像的處理。不需要通信聯(lián)系，用Z緩存處理很容易解決交疊問題。P.E.Debevec，C.J.Taylor和J.Malik在“根據(jù)照片建模繪制技術(shù)，一種基于幾何和圖像的混合方法”(Modeling andrendering architecture from photographsa hybrid geometry-andimage-based approach，Computer Graphics(SIGGRAPH′96Proceedings))中，利用一組視點(diǎn)近似3D模型，通過與景像有關(guān)的紋理映射技術(shù)根據(jù)任選的視點(diǎn)繪制新的景像。
本發(fā)明為服務(wù)機(jī)與客戶機(jī)協(xié)同繪制一個虛擬世界的多個各與一個視點(diǎn)相應(yīng)的景像的系統(tǒng)提供的實(shí)時產(chǎn)生這些景像的方法包括下列步驟(a)向客戶機(jī)發(fā)送一個第一基準(zhǔn)景像；(b)向客戶機(jī)發(fā)送一個模型的至少一個部分；(c)根據(jù)所述模型的所述部分對所述第一基準(zhǔn)景像進(jìn)行外推，得出一個外推景像；(d)向客戶機(jī)發(fā)送至少一個校正數(shù)據(jù)集；以及(e)根據(jù)所述至少一個校正數(shù)據(jù)集校正所述外推景像，從而得出至少一個第二基準(zhǔn)景像。
按照本發(fā)明，為服務(wù)機(jī)與客戶機(jī)協(xié)同繪制一個虛擬世界的多個景像的系統(tǒng)提供了一種實(shí)時更新這些景像的方法，所述方法包括下列步驟(a)向客戶機(jī)發(fā)送一個第一基準(zhǔn)景像；(b)對所述第一基準(zhǔn)景像進(jìn)行外推，得出一個外推景像；(c)向客戶機(jī)發(fā)送至少一個校正數(shù)據(jù)集；以及(d)根據(jù)所述至少一個校正數(shù)據(jù)集校正所述外推景像，得出至少一個第二基準(zhǔn)景像。其中，所述外推在所述校正前至少進(jìn)行兩次。
本發(fā)明是建立在一種在諸如世界范圍的web網(wǎng)那樣的網(wǎng)絡(luò)上利用客戶機(jī)和服務(wù)機(jī)雙方同時與復(fù)雜的虛擬世界進(jìn)行互動的新范型的基礎(chǔ)上的。客戶根據(jù)本地可得到的數(shù)據(jù)產(chǎn)生(外推)出新的景像，而服務(wù)機(jī)發(fā)送的只是防止誤差積累所必需的數(shù)據(jù)。由Marc Levoy在“綜合圖像的多邊形輔助JPEG和MPEG壓縮”(Polygon-assisted JPEGand MPEG compressin of synthetic images，Computer Graphics(SIGGRAPH′95 Proceedings)，pp.21-28，August 1995)中所提出的“多邊形輔助”壓縮早先就建議在服務(wù)機(jī)與客戶機(jī)之間劃分繪制任務(wù)。客戶機(jī)繪制低質(zhì)量圖像，從服務(wù)機(jī)接收經(jīng)壓縮的高質(zhì)量圖像與低質(zhì)量圖像之差。這要求為每個幀都傳輸一個差圖像。相反，在本發(fā)明中，客戶機(jī)可以自主地產(chǎn)生多個幀。
本發(fā)明利用了上面引述的景像內(nèi)插原理。這使用戶可以得到沿途虛擬世界的平滑經(jīng)歷。然而，本發(fā)明不是在預(yù)先計算好的景像之間進(jìn)行內(nèi)插，而是對最后構(gòu)成的基準(zhǔn)景像進(jìn)行外推得出新的景像。
下面將結(jié)合附圖舉例說明本發(fā)明的情況。在這些附圖中
圖1為基于模型的外推方案的流程圖；以及圖2為新景像產(chǎn)生的流程圖。
本發(fā)明所提出的是一種在任何互動客戶機(jī)-服務(wù)機(jī)網(wǎng)(從世界范圍的web網(wǎng)到甚至是一個簡單的通信線路)的客戶機(jī)上快到足以保持虛擬真實(shí)性幻覺地繪制一個虛擬真實(shí)世界的景像的方法。
考慮用戶在一個遠(yuǎn)地虛擬環(huán)境內(nèi)漫游的互動web系統(tǒng)。按照本發(fā)明，客戶機(jī)根據(jù)本地可得到的數(shù)據(jù)進(jìn)行外推，得到新的景像。這些數(shù)據(jù)包括以前的圖像、攝像機(jī)位置和距離數(shù)據(jù)。由于客戶機(jī)不能外推出確切的新景像，因此需要由服務(wù)機(jī)向客戶機(jī)發(fā)送一個校正數(shù)據(jù)集，例如一個差圖像，表示客戶機(jī)的近似景像與確切新景像之差。校正數(shù)據(jù)集最好是經(jīng)壓縮的，以減少網(wǎng)絡(luò)的傳輸量。此外，服務(wù)機(jī)不需要每個幀都對客記機(jī)的外推景像進(jìn)行校正，而是以比客戶機(jī)的幀頻低的頻率進(jìn)行校正，從而進(jìn)一步降低了對網(wǎng)絡(luò)的要求。一個新景像R+i是一個基標(biāo)景像R的外推。為了改善外推景像的質(zhì)量，保證基準(zhǔn)景像充分接近當(dāng)前幀，服務(wù)機(jī)需要發(fā)送相應(yīng)的校正數(shù)據(jù)集。由于所發(fā)送的數(shù)據(jù)不一定重構(gòu)當(dāng)前景像，因此不會發(fā)生處理延遲。
新景像的外推是根據(jù)基于模型的背投影技術(shù)進(jìn)行的。ManeeshAgrawala，Andrew Beers和Navin Chaddha在“對于綜合動畫的基于模型的運(yùn)動估計”(Model-based motion estimation for syntheticanimations，Proc.ACM Multlimeidia′95)中，以及D.S.Wallach，S.Kunapalli和M.F.Cohen在“動態(tài)多邊形景像的快速M(fèi)PEG壓縮”(Accelerated MPEG compression of dynamic polygonal scenes，Computer Graphics(SIGGRAPH′94 Proceedings)，pp.193-197，July1994)中，對于綜合動畫利用基于模型的技術(shù)為基于塊的電視圖像壓縮算法進(jìn)行運(yùn)動補(bǔ)償。這些技術(shù)表明，基于模型的方法明顯地改善了幀間相關(guān)性的利用。在景像外推方案中，運(yùn)動補(bǔ)償由客戶機(jī)計算，不需要發(fā)送。需要發(fā)送的只是差值。就網(wǎng)絡(luò)要求來看，這保證了較高的比特率壓縮(較低的帶寬要求)或較高的圖像質(zhì)量。
虛擬環(huán)境包括在服務(wù)機(jī)存儲的紋理化模型。有關(guān)部分的模型按在取景器內(nèi)的相對位置發(fā)送給客戶機(jī)。所發(fā)送的模型只包括它的幾何關(guān)系而不包括紋理(應(yīng)強(qiáng)調(diào)的是，紋理空間可能明顯地大于幾何空間)。所發(fā)送的模型可以包括全部或只是部分的真實(shí)模型的幾何關(guān)系，也可以是全部或部分的真實(shí)模型的幾何關(guān)系的一個近似。3D模型不需要不斷地發(fā)送到網(wǎng)上，但可以以增量形式發(fā)送，而由客戶機(jī)加以動態(tài)變換。服務(wù)機(jī)只是在新模型進(jìn)入視場時或者在對現(xiàn)有模型的細(xì)致程度另有要求時才發(fā)送模型數(shù)據(jù)。
下面參見附圖，圖1是本發(fā)明的基于模型的外推方案的方框圖。這個方案的初始化是，服務(wù)機(jī)向客戶機(jī)傳輸恢復(fù)從客戶機(jī)的初始視點(diǎn)看到的虛擬現(xiàn)實(shí)世界的景像所需的模型部分M和從這個視點(diǎn)看到的一個確切的基準(zhǔn)景像R。用戶通過輸入新的視點(diǎn)的座標(biāo)在這個虛擬現(xiàn)實(shí)世界內(nèi)漫游?？蛻魴C(jī)和服務(wù)機(jī)雙方都將模型M變換到新的視點(diǎn)。經(jīng)變換的模型M與基準(zhǔn)景像R如以下面所述那樣合并后，得到一個外推景像W。這也由客戶機(jī)和服務(wù)機(jī)雙方完成。此外，服務(wù)機(jī)還利用完全模型和紋理T計算出與新的視點(diǎn)相應(yīng)的確切景像V。按需要，服務(wù)機(jī)計算出校正數(shù)據(jù)集發(fā)送給客戶機(jī)?？蛻魴C(jī)利用校正數(shù)據(jù)集校正基準(zhǔn)景像R。按照圖1所示的本發(fā)明的這個實(shí)施例，校正數(shù)據(jù)集為確切景像V與相應(yīng)的外推景像W之差D，即D＝V-W。D發(fā)送給客戶機(jī)與W合成(在本實(shí)施例中即將D與W相加)，得到一個經(jīng)更新的基準(zhǔn)景像R。同樣，這樣的合成也由客戶機(jī)和服務(wù)機(jī)雙方完成，使得服務(wù)機(jī)始終知道客戶機(jī)的狀態(tài)。或者，如圖1所示，服務(wù)機(jī)可以將D壓縮成一個壓縮的差圖像D′后再傳輸給客戶機(jī)。如果使用的是諸如JPEG那樣的有損壓縮，那么新的基準(zhǔn)景像只是V的一個近似。如果使用的是無損壓縮，那么新的R就與V一致。
在需要的時候，模型的其他部分也從服務(wù)機(jī)發(fā)送給客戶機(jī)。這樣，客戶機(jī)始終具有外推到新的視點(diǎn)所需的模型的各部分。
本發(fā)明的外推方案在某種意義上與MPEG壓縮技術(shù)類似。一個MPEG電視圖像流包括幀內(nèi)壓縮幀(I)、預(yù)測幀(P)和內(nèi)插幀(B)。I幀是獨(dú)立編碼的，與序列內(nèi)任何其他幀無關(guān)，而P幀和B幀利用運(yùn)動估計和內(nèi)插加以編碼的。P幀和B幀大大小于I幀。P幀的運(yùn)動估計是根據(jù)前面的幀和后繼的幀得出的。按照本發(fā)明，后繼的幀不是現(xiàn)有的，因此使用的是外推幀W而不是P幀和B幀。
圖2為按本發(fā)明產(chǎn)生一個新的景像的流程圖。這以三個步驟來實(shí)現(xiàn)。第一步是繪制模型M，建立一個Z圖。第二步是通過反/投影到基準(zhǔn)景像R上產(chǎn)生外推景像。第三步是利用所發(fā)送的包括校正數(shù)據(jù)集的數(shù)據(jù)校正失真的景像W。如前面所指出的那樣，第三個步驟只是有需要的時才執(zhí)行，不必每個循環(huán)都執(zhí)行。
這里列舉的本發(fā)明的這個實(shí)施例只用一個基準(zhǔn)景像來進(jìn)行景像外推，而用一個差圖像作為校正數(shù)據(jù)集?？梢岳斫?，這些不是本發(fā)明的固有限制。本發(fā)明的專利保護(hù)范圍包括其他類型的校正數(shù)據(jù)集和根據(jù)幾個基準(zhǔn)景像進(jìn)行外推，對于熟悉該技術(shù)領(lǐng)域的人員來說這是顯而易見的。
雖然本發(fā)明是以不多的幾個實(shí)施例來加以說明的，但可以理解本發(fā)明可以作出許多變動、修改，以及應(yīng)用于其他一些領(lǐng)域。
權(quán)利要求書按照條約第19條的修改1.一種用于服務(wù)機(jī)與客戶機(jī)協(xié)同繪制一個虛擬世界的多個各與視點(diǎn)相應(yīng)的景像的系統(tǒng)中的實(shí)時產(chǎn)生這些景像的方法，所述方法包括下列步驟(a)向客戶機(jī)發(fā)送一個第一基準(zhǔn)景像；(b)向客戶機(jī)發(fā)送一個模型的至少一個部分；(c)根據(jù)所述模型的所述部分對所述第一基準(zhǔn)景像進(jìn)行外推，得出一個外推景像；(d)向客戶機(jī)發(fā)送至少一個校正數(shù)據(jù)集；以及(e)根據(jù)所述至少一個校正數(shù)據(jù)集校正所述外推景像，得出至少一個第二基準(zhǔn)景像。
2.權(quán)利要求1的方法，其中所述外推步驟由下列步驟實(shí)現(xiàn)(i)將所述模型變換到所述外推景像的視點(diǎn)；(ii)繪制所述模型；以及(iii)將所述模型反投影到所述第一基準(zhǔn)景像上。
3.權(quán)利要求1的方法，所述方法還包括下列步驟(f)服務(wù)機(jī)繪制一個確切景像；以及(g)從所述確切景像中減去所述外推景像，得出一個差圖像，用作所述至少一個校正數(shù)據(jù)集之一。
4.權(quán)利要求3的方法，所述方法還包括下列步驟(h)壓縮所述差圖像。
5.權(quán)利要求1的方法，所述方法還包括下列步驟(f)將所述第一基準(zhǔn)景像用所述至少一個第二基準(zhǔn)景像之一代替。
6.權(quán)利要求1的方法，其中所述校正數(shù)據(jù)集包括一個差圖像。
7.權(quán)利要求1的方法，其中所述對所述第一基準(zhǔn)景像的外推進(jìn)行多次，從而得出多個外推景像，而其中所述校正只對所述多個外推景像中的一部分進(jìn)行。
8.一種用于繪制多個各與視點(diǎn)有關(guān)的景像的系統(tǒng)中的重建至少多個景像之一的方法，所述方法包括下列步驟(a)提供一個含有至少一個基準(zhǔn)景像的集合；(b)提供距離數(shù)據(jù)；(c)根據(jù)所述距離數(shù)據(jù)和根據(jù)至少一個視點(diǎn)對所述含有至少一個基準(zhǔn)景像的集合進(jìn)行外推，得出至少一個外推景像；(d)提供至少一個校正數(shù)據(jù)集；以及(e)根據(jù)所述至少一個校正數(shù)據(jù)集校正所述至少一個外推景像，得出至少一個新的基準(zhǔn)景像。
9.權(quán)利要求8的方法，其中，對于至少所述至少一個基準(zhǔn)景像之一，所述外推進(jìn)行多次，得出多個外推景像，而所述校正只對所述多個外推景像中的一部分進(jìn)行。
10.權(quán)利要求8的方法，其中所述距離數(shù)據(jù)作為一個幾何模型的一部分提供。
11.權(quán)利要求8的方法，所述方法還包括下列步驟(f)將所述新的基準(zhǔn)景像加到所述含有至少一個基準(zhǔn)景像的集合中。
12.權(quán)利要求8的方法，其中所述外推包括運(yùn)動補(bǔ)償。
13.權(quán)利要求12的方法，其中所述運(yùn)動補(bǔ)償包括反投影。
14.權(quán)利要求8的方法，其中所述校正數(shù)據(jù)集包括一個確切景像與這外推圖像之差。
15.權(quán)利要求14的方法，所述方法還包括下列步驟(f)根據(jù)一個虛擬現(xiàn)實(shí)世界繪制所述確切景像。
16.權(quán)利要求8的方法，所述方法還包括下列步驟(f)壓縮所述校正數(shù)據(jù)集。
17.權(quán)利要求16的方法，其中所述壓縮采用有損壓縮。
18.權(quán)利要求17的方法，其中所述有損壓縮是JPEG。
19.權(quán)利要求8的方法，其中所述距離數(shù)據(jù)足以用來進(jìn)行所述外推。
20.權(quán)利要求8的方法，其中所述多個景像由一個發(fā)送方和一個接收方協(xié)同繪制。
21.權(quán)利要求20的方法，其中所述提供所述含有所述至少一個基準(zhǔn)景像的集合、所述提供所述距離數(shù)據(jù)和所述提供所述至少一個校正數(shù)據(jù)集是通過從所述發(fā)送方向所述接收方發(fā)送所述含有所述至少一個基準(zhǔn)景像的集合、所述距離數(shù)據(jù)和所述至少一個校正數(shù)據(jù)集來實(shí)現(xiàn)的。
22.權(quán)利要求20的方法，其中所述外推和所述校正是由所述發(fā)送方和所述接收方雙方實(shí)現(xiàn)的。
23.權(quán)利要求20的方法，其中所述接收方包括一個具有一個虛擬攝像機(jī)的客戶機(jī)，所述至少一個視點(diǎn)由所述虛擬攝像機(jī)提供，所述距離數(shù)據(jù)按所述至少一個視點(diǎn)得出。
24.權(quán)利要求23的方法，其中所述數(shù)據(jù)包括在從所述發(fā)送方向所述接收方發(fā)送的一個幾何模型的一個部分內(nèi)，所述幾何模型的所述部分按照所述至少一個視點(diǎn)選擇。
25.權(quán)利要求23的方法，其中所述距離數(shù)據(jù)包括在從所述發(fā)送方向所述接收方發(fā)送的一個幾何模型的一個部分內(nèi)，所述幾何模型的所述部分按照所要求的細(xì)致程度選擇。
26.權(quán)利要求20的方法，其中所述發(fā)送方包括一個服務(wù)機(jī)，而其中所述接收方包括一個客戶機(jī)，所述服務(wù)機(jī)與所述客戶機(jī)通過一個網(wǎng)絡(luò)連接。
27.權(quán)利要求26的方法，所述方法還包括下列步驟(f)由所述客戶機(jī)確立至少一個視點(diǎn)。
28.權(quán)利要求27的方法，所述方法還包括下列步驟(g)由所述客戶機(jī)向所述服務(wù)機(jī)提供所述至少一個視點(diǎn)；以及(h)由所述服務(wù)機(jī)根據(jù)所述至少一個視點(diǎn)確定所述至少一個校正數(shù)據(jù)集。
29.權(quán)利要求27的方法，其中所述確立所述至少一個視點(diǎn)是按照用戶漫游情況實(shí)現(xiàn)的。
權(quán)利要求
1.一種用于服務(wù)機(jī)與客戶機(jī)協(xié)同繪制一個虛擬世界的多個各與視點(diǎn)相應(yīng)的景像的系統(tǒng)中的實(shí)時產(chǎn)生這些景像的方法，所述方法包括下列步驟(a)向客戶機(jī)發(fā)送一個第一基準(zhǔn)景像；(b)向客戶機(jī)發(fā)送一個模型的至少一個部分；(c)根據(jù)所述模型的所述部分對所述第一基準(zhǔn)景像進(jìn)行外推，得出一個外推景像；(d)向客戶機(jī)發(fā)送至少一個校正數(shù)據(jù)集；以及(e)根據(jù)所述至少一個校正數(shù)據(jù)集校正所述外推景像，得出至少一個第二基準(zhǔn)景像。
2.權(quán)利要求1的方法，其中所述外推步驟由下列步驟實(shí)現(xiàn)(i)將所述模型變換到所述外推景像的視點(diǎn)；(ii)繪制所述模型；以及(iii)將所述模型反投影到所述第一基準(zhǔn)景像上。
3.權(quán)利要求1的方法，所述方法還包括下列步驟(f)服務(wù)機(jī)繪制一個確切景像；以及(g)從所述確切景像中減去所述外推景像，得出一個差圖像，用作所述至少一個校正數(shù)據(jù)集之一。
4.權(quán)利要求3的方法，所述方法還包括下列步驟(h)壓縮所述差圖像。
5.權(quán)利要求1的方法，所述方法還包括下列步驟(f)將所述第一基準(zhǔn)景像用所述至少一個第二基準(zhǔn)景像之一代替。
6.權(quán)利要求1的方法，其中所述校正數(shù)據(jù)集包括一個差圖像。
7.一種用于服務(wù)機(jī)與客戶機(jī)協(xié)同繪制一個虛擬世界的多個景像的系統(tǒng)中的實(shí)時更新這些景像的方法，所述方法包括下列步驟(a)向客戶機(jī)發(fā)送一個第一基準(zhǔn)景像；(b)對所述第一基準(zhǔn)景像進(jìn)行外推，得出一個外推景像；(c)向客戶機(jī)發(fā)送至少一個校正數(shù)據(jù)集；以及(d)根據(jù)所述至少一個校正數(shù)據(jù)集校正所述外推景像，得出至少一個第二基準(zhǔn)景像，其中，所述外推在所述校正前至少進(jìn)行兩次。
8.權(quán)利要求7的方法，所述方法還包括下列步驟(e)由服務(wù)機(jī)繪制一個確切景像；以及(f)從所述確切景像中減去所述外推景像，得出一個差圖像，用作所述至少一個校正數(shù)據(jù)集之一。
9.權(quán)利要求8的方法，所述方法還包括下列步驟(g)壓縮所述差圖像。
10.權(quán)利要求7的方法，所述方法還包括下列步驟(e)將所述第一基準(zhǔn)景像用所述至少一個第二基準(zhǔn)景像之一代替。
11.權(quán)利要求1的方法，其中所述校正數(shù)據(jù)集包括一個差圖像。
全文摘要
本發(fā)明提供了一種客戶機(jī)與服務(wù)機(jī)協(xié)同繪制客戶機(jī)用戶所漫游的虛擬現(xiàn)實(shí)世界內(nèi)的景像的方法。根據(jù)用戶的虛擬運(yùn)動,服務(wù)機(jī)向客戶機(jī)發(fā)送一個基準(zhǔn)景像(R)和一個用來外推基準(zhǔn)景像的模型?？蛻魴C(jī)向服務(wù)機(jī)發(fā)送用戶的虛擬運(yùn)動的記錄(M)?？蛻魴C(jī)和服務(wù)機(jī)雙方執(zhí)行對基準(zhǔn)景像進(jìn)行的基于模型的外推。服務(wù)機(jī)還執(zhí)行對基準(zhǔn)景像的確切外推。在外推的基準(zhǔn)景像偏離更新的基準(zhǔn)景像過大時,服務(wù)機(jī)向客戶機(jī)發(fā)送外推與更新的景像之差(D),使客戶機(jī)可以更新它的基準(zhǔn)景像。
文檔編號G06T15/70GK1242851SQ97181116
公開日2000年1月26日 申請日期1997年11月30日 優(yōu)先權(quán)日1997年11月30日
發(fā)明者丹尼爾·科恩－奧 申請人:網(wǎng)上沖浪有限公司