在網絡環境中提供編碼視頻應用的制作方法

專利名稱：在網絡環境中提供編碼視頻應用的制作方法
技術領域：
本發明涉及從服務器通過通信鏈路向客戶端用戶提供編碼視頻應用的方法。近來諸如應用流或云游戲的基于網絡服務器的視頻應用得到了關注。其中諸如視頻游戲的一個或多個基于服務器的應用在應用網絡中的服務器上運行，服務器通過通信鏈路與用戶耦合。該通信鏈路可包括具有相同物理 上行通道和下行通道的雙向鏈路，但是也可包括彼此不同的上行鏈路和下行鏈路，從而在上行方向上用于傳送信息的真實物理路徑能夠與下行方向上用于傳送信息的路徑不同。然而能夠將客戶端和服務器之間的上行和下行數據傳輸視為是屬于同一虛擬雙向傳輸鏈路。通過上行鏈路將諸如鍵盤、操縱桿、鼠標、語音等輸入的用戶上行信息從每個用戶傳送給該服務器，服務器根據該輸入能夠計算產生相關更新場景的下一狀態。在其它應用中，服務器適于根據應用自身來計算更新，因此甚至不會明確地要求用戶的輸入。更新的可視信息可進一步需要適配每個用戶的視點，例如可能需要將更新場景投射在用戶的2維(在下文中簡稱為2D)視點平面上，特別是在3維(在下文中簡稱為3D)應用的情況下，并且從而需要將其傳送回這些單獨的用戶以便能夠他們繼續進行游戲或繼續與他們的應用交互。由于這涉及將需要通過通信鏈路的下行部分傳送的視頻信息發送回用戶，因此需要將該視頻信息壓縮，否則帶寬限制不能得到滿足。為了這一目的，可使用標準的視頻壓縮協議，諸如MPEG2、H264等。在該編碼步驟后，將用戶專用的編碼視頻數據通過該通信鏈路傳送回用戶。在用戶站點，將接收的編碼視頻信息提供給諸如膝上型計算機、智能手機、游戲控制臺、TV等的顯示器。該提供通常由標準解碼器來執行。該過程的缺點是涉及與每個用戶的視點視頻序列的編碼相關聯的大量處理。由于每個用戶在視頻游戲或應用上具有自己的視圖，因此這需要由服務器分別為每個連接的用戶來執行上述過程。從而該用戶專用的視點序列編碼是處理強度非常大的。作為需要對要被編碼的多媒體信息進行分析和計算的后果，在一些情況下這甚至會導致不可接受的延遲。因此本發明的實施方式的目的是提供用于從服務器將編碼的視頻應用提供給各個用戶的方法，其中該方法要求更少的計算強度，并且從而導致服務器和客戶端用戶之間較少的延遲。根據本發明的實施方式，該目的通過方法來實現，該方法包括以下步驟在所述服務器更新涉及所述視頻應用的場景，由此導出包括用于所述各個客戶端的連續的各個2D用戶相關視點的各個視頻流，從所述服務器處涉及所述視頻應用的所述場景的連續場景的子集提取的應用對象頂點信息，計算至少一個各自的壓縮相關參數，在所述各個自視頻流的后續編碼過程中，使用所述各自的壓縮相關參數，從而生成各自的編碼視頻流以提供給所述各自的客戶端用戶。這樣，現在在諸如運動矢量的壓縮相關參數的計算時，使用重要的頂點信息，其中頂點信息本質上是在連續場景中、或在其中央服務器應用的子集中可獲得的，其中運動矢量是隨后在對2D用戶相關視點進行編碼的過程中使用的。相似的考慮適于對塊模式的預測，例如涉及對塊的預測是否在I-、P-或B-模式中進行最有效的編碼，以及壓縮自身固有的其它參數。諸如運動矢量的這些壓縮相關參數、塊模式預測因此能夠從服務器應用處集中獲得的3D或2D場景信息中提取。它們可用于簡單的編碼器，例如在由同一申請人提交的還未公開的第09290985. 2號歐洲專利申請中公開，而不是為每個用戶的各自視頻流的每一個使用傳統的編碼器。由于例如通過多媒體API從應用接收的信息包含能夠用于直接生成壓縮信號的本地數據，從而節省了大量的壓縮處理和等待時間。相比于分析多個連續2D視頻幀以便檢測匹配圖像塊(由此導出運動矢量)的標準MPEG編碼，本發明方法的實施方式從3D或2D場景自身直接獲得該運動矢量，并且在3D場景和運動矢量作為壓縮相關參數的情況下，例如通過將3D運動矢量到特定的用戶視點的合適的2D投影，該壓縮參數于是僅需要進行調整以適用每個用戶的2D視點。因此可避免來自不同的生成和壓縮步驟的通常的等待時間(10至100ms)。此外，由于3D或2D中央場景分析允許對移動的更精確的了解，因此可實現更好的壓縮比。
相似的考慮應用其它壓縮相關參數。作為處理減少的結果，因此云應用計算、云游戲等的全部成本也會減小。在所附權利要求中給出了進一步的特征。本發明還涉及適于執行這樣方法的服務器。需要說明的是，在權利要求中使用的術語“耦合”，不應被解釋為僅限定為直接連接。因此，表達‘設備A與設備B耦合’的范圍不應被限制為設備A的輸出與設備B的輸入直接連接的設備或系統。這意味著在A的輸出和B的輸入間存在路徑，其可以是包括其它設備或裝置的路徑。需要說明的是，在權利要求中使用的術語“包括”，不應被解釋為限定為其下面列出的手段。因此，表達‘設備包括裝置A和B’的范圍不應被限制為設備僅包括元件A和B。這意味著根據本發明，設備的相關元件僅為A和B。還需要說明的是，在該整個文檔中，3D用作三維的縮寫。相似的，2D用作二維的縮與。通過參照下面實施方式的描述并結合附圖
，本發明的上述和其它目的和特性會變得更明顯，也能更好地理解本發明自身，其中圖la-b示出網絡環境，其中運行3D、各自2D視頻應用的服務器耦合到通過服務器上的該視頻應用進行交互的多個客戶端用戶；圖2a_b示意性地示出了如何將中央應用場景適用于3D、各自2D場景情況的用戶專用視點；圖3示意性地示出了用于生成3D中央應用的現有技術情況的用戶專用視點序列并對其進行編碼的步驟；圖4a_b示意性地示出了用于提供3D、各自2D中央視頻應用的編碼用戶專用視點序列的方法的實施方式；圖5a_b更詳細地示出了用于圖4a_b的實施方式的實現，圖6示出了圖5a中示出的實施方式的變形的實施方式，圖7a_b示出了根據本發明的服務器的實施方式。描述和附圖僅揭示本發明的原則。因此可以理解的是，盡管沒有在這里具體描述或說明，本領域技術人員能夠設計出實施本發明原則并包括在其精神和范圍內的各種方案。此外，這里列舉的全部實施例明顯地主要僅用作教育目的，幫助讀者理解本發明的原則和發明人進一步對現有技術的貢獻的概念，應當被解釋為不局限于這樣特別描述的實施例和條件。此外，這里列舉本發明的原則、方面和實施方式的全部聲明、以及其特定實施例，意在涵蓋其等價物。本領域技術人員應當理解的是，這里的任何框圖表示實施本發明原則的解釋性的電路的概念性視圖。相似的，可以理解的是，任何流程圖、流圖、狀態變換圖、偽代碼等表示各種處理，其可以實質上在計算機可讀介質中表示并由計算機或處理器執行，無論是否具體描述這樣的計算機或處理器。本發明的實施方式用于結合在網絡服務器上運行的視頻應用，其中以壓縮形式并根據各自用戶相關的視點，將視頻應用提供給用戶。在圖la-b中示出了網絡拓撲的示意性概述。大部分駐留視頻應用(可包括辦公應用，例如，虛擬協同環境、游戲等)的這種服務器使用諸如OpenGL、DirectX等的標準應用程序接口以驅動對包括視頻和音頻數字信號的多媒體的生成。在圖Ia中，用客戶端I至客戶端N表示的多個用戶進行協同，例如玩被保持在計算機服務器上的虛擬3D世界中的游戲，其中在云或服務網絡的某處，計算機服務器用“服務器”表示，并通過連接與這些用戶耦合，其中連接可以是通過移動、固定、衛星等的任何類型的網絡的任何類型的連接。為了不使圖中的內容過多，在這些圖la-b中沒有畫出該網絡。在圖la-b中，將這些用戶表示為包括通信和處理單元，用C0MPR0C表示。然而，其它客戶端實施方式可能沒有這樣專門的通信和處理模塊。在圖la-b的實施方式中，該通信和處理單元C0MPR0C進一步包括與客戶端顯示器耦合的解碼器。用戶或客戶端設備進一步包括外圍輸入設備，例如鍵盤、鼠標、觸摸屏、語音識別、錄像機等，其均適于檢測與在服務器上運行的應用相關的用戶動作，并將這些輸入提供給通信和處理單元C0MPR0C。后者進一步適于對它們進行轉換(如果需要則轉換成服務器可理解的格式)，并將它們通過網絡提供給中央服務器應用。對于圖la，將該動作信息分別表示為“用于3D APP的客戶端I動作”至“用于3D APP的客戶端N動作”，并且對于圖Ib， 將該動作信息分別表示為“用于2D APP的客戶端I動作”至“用于2D APP的客戶端N動作”。將這些消息傳送給在服務器中的應用運行引擎，對于圖la-b分別表示為3D APP、2DAPP。從而基于應用自身，并就業用戶生成的輸入(如果由用戶提供)，后面的應用引擎于是適于更新涉及中央視頻應用的連續場景。在沒有提供用戶輸入的情況下，僅基于應用信息自身來更新場景。例如這可以是用于飛行模擬的程序的情況，即使用戶在這些時刻沒有提供輸入，通過例如改變景色和天氣，對場景進行更新。這些場景的連續場景從而形成應用圖像序列或視頻。這些在圖la-b中表示為3D視頻、各個2D視頻。對于3D應用，根據特定用戶在這種虛擬世界中具有的3D位置和該用戶在該虛擬世界中觀看的方向，每個用戶在該虛擬世界上具有其自己的視圖。由于這些視圖還可隨時間改變，因此還將該視點相關的信息從每個客戶端傳送給服務器。對于2D應用，用戶視點可以是全部2D場景的旋轉、轉換、按比例變化和裁剪的版本。然而在一些非常簡單的2D應用中，不需要使中央2D APP視點適合每個客戶端。對于這些實施方式，客戶端不需要將該信息提供給服務器。在圖2a_b中示意性地解釋了分別為3D場景和2D場景從中央場景信息生成這樣的用戶專用視點的過程。在圖la-b中，將該用戶相關的視點信息表示為“客戶端I視點”至“客戶端N視點”，并從各個客戶端中的通信和處理模塊C0MPR0C傳送給服務器。該客戶端相關的視點信息可包括例如以3D點的坐標表示的3D場景中的觀看位置,例如以3D矢量分量表示的觀看方向，例如以多個度數表示的水平和垂直觀看角度以及例如以度數表示的傾斜角，由此服務器能夠生成投影矩陣。可替換地，可給出投影矩陣。基于該客戶端的視點信息，從而連續的中央場景信息序列可適于為每個用戶單獨生成連續的2D用戶相關的視點。這在服務器內執行，在圖la-b的實施方式中由服務器內的2D引擎執行。典型地，這可在圖形加速單元上執行，但其它實現也是可行的。從而該2D 引擎適于為每個用戶單獨地導出連續的2D用戶相關的視點，這樣的連續視點構成用于各個用戶的視頻流。在圖la-b中，2D引擎從而包括專用的用戶相關的模塊，用于在需要時執行這種字自適應。然而存在沒有這樣清楚地描述到子模塊的其它實施方式。將廣生的序列分別表不為2D video_l至2D video_N。隨后可對這些序列進彳丁編碼。在圖Ia的現有技術實施方式中，用表示為ENCl至ENCN的N個分立的編碼器模塊的并行處理來示出。然而在其它實施方式中，可能僅存在一個編碼器模塊，以便對不同用戶視點相關的2D視頻流進行串行編碼。并且，在其它實施方式中，可使用兩個原則的組合。在現有技術情況下，這樣的編碼器可包括傳統的MPEG2或H264編碼器。通常，大部分這樣的標準編碼器依賴于基于運動的預測以得到壓縮增益。為此目的來計算運動矢量。這主要基于將圖像與參考圖像進行比較，并相對于參考圖像確定該特定圖像中多少塊已經改變或“移動”。為此目的，可使用傳統的塊匹配技術。將編碼的用戶相關視圖表示為編碼的2D視頻I至編碼的2D視頻N，并按順序將其傳送給各個用戶。在各個用戶接收到時，傳統的解碼器適于將視頻提供給它們各自的顯示器。在圖3中示出了用于中央3D生成的應用場景的現有技術處理步驟的概要。如前所述，傳統的編碼要求要求大量的處理工作。由于這需要分別為每個用戶進行處理，因此這給中央服務器增加了沉重的負擔。為了解決這些問題，本發明的實施方式利用在涉及服務器內的中央視頻應用的場景的連續場景中可獲得的信息的優勢。在圖4a中示意性的示出了用于3D應用。由于服務器計算機中的應用模塊保持3D虛擬世界，其通過這些對象的頂點信息來了解每個對象在3D虛擬場景中所處的位置。因此，其還能夠容易地從該3D場景推斷出編碼或壓縮相關的參數。這樣的編碼參數可包括用于塊碼的運動矢量或預測。可通過首先計算3D運動矢量，例如將時刻t-Ι的場景的識別對象的頂點與時刻t的場景的該對象的相同頂點進行關聯，獲得運動矢量。隨后是將3D運動矢量到各個用戶平面的投射步驟，以計算用于該各個用戶視頻流的2D運動矢量。通過首先計算封閉(occlusion)信息,隨后確定最合適的編碼模式(例如巾貞內編碼(intracoding)或巾貞間編碼(intercoding)),以能夠獲得塊碼的預測。在將3D場景投影到用戶視點的過程中，通過使用中間的z緩沖器來確定封閉自身，其中z表示在3D空間中從用戶的視點看的Z坐標或深度坐標。能夠將該坐標系統的原點放置在用戶有利的點上，正Z軸位于或指向用戶的觀看方向。該各個中間Z緩沖器表示哪個頂點最靠近用戶，并且因此哪個頂點在用戶有利的點上，以及哪個其它的頂點是封閉的。通過使用前述的坐標參考，具有最低Z緩沖器坐標的頂點是可視的，而其它頂點是封閉的(occluded)。從而通過將時刻t的z緩沖器坐標與時刻t-Ι的坐標進行比較，可知道哪個頂點在時刻t成為可視的，以及哪個頂點在時刻t-i被封閉。將該組頂點(是變成可視的封閉頂點)投影到用戶的視點平面上，給出了從被封閉的變成可視的用戶圖像的一部分。從而，該信息允許編碼器從被封閉的部分中區分出圖像的哪些部分變成可視的，從而對于圖像的這些部分，不需要在(最近的)之前圖像中發現相應部分。對于這些部分，對位于這些區域中的在時刻t變為可視的并且在時刻t-Ι不是可視的圖像塊嘗試預測模式，是對編碼器的計算時間的浪費。從而基于該封閉信息，用于塊模式的預測從而包括應當在幀內編碼模式中編碼的僅在時刻t變為可視，而在時刻t-i不可視的那些對象，而在時刻t-Ι和時刻t均可視的對象能夠在幀間編碼模式中預測。用于2D中央服務器應用的塊碼預測，也能夠通過封閉信息的第一計算來獲得。在這種情況下，這能夠通過例如將每個對象歸于指示是否其屬于前景或背景的變量來完成。 這進一步暗示屬于前景的對象在按比例或適合的2D視點中繪出，從而在它們重疊時重寫背景對象。背景對象之前從用戶視角不可見而現在變成可見的事實指示之前被封閉。可替換的方式包括再次使用虛擬z緩沖器，具有位于坐標(0，0，0)的人工有利點，并且觀看方向是正z軸。假定將2D對象投影到Z=I的平面上，從而前景對象和它們的頂點會獲得準確為I的z值，而背景的對象具有1+ ε的ζ值屬性，其中ε具有非常小的值，例如1Ε_7。在將對象放置在隨后會成為背景對象的另一對象前的情況下，該另一對象會接收到另一 ζ值。利用前述的ζ緩沖器機制，背景或不可視的信息于是不會顯示在用戶調整的2D視點上。圖4a示出了，對于3D應用，首先從3D場景導出表示為ep3D的3D編碼參數，在該步驟后這些參數再次適用于合適的用戶視點，從而獲得每個用戶相關視頻序列的各個2D編碼參數。在隨后對2D視頻序列的編碼過程中，通過使用這些用戶相關的編碼參數作為輸入，由于根據壓縮增益現在能夠省略諸如塊匹配的傳統過程，并且對于特定塊不需要訪問全部可能的模式以確定最有效的模式，因此編碼過程被極大地簡化。圖4b示出了相似的過程，但僅是用于2D中央場景。再一次能夠獲得中央2D運動矢量。這需要適用于用戶相關的平面。在這種情況下，不再有投影，僅轉換為圖像坐標。這例如可包括平面比例縮放、旋轉、轉換和裁剪。如前所述，這樣的編碼相關參數可包括運動矢量。在圖5a中示出了從3D場景信息計算用于客戶端用戶I的這些運動矢量的更詳細的實施方式。再次在第一階段，從涉及3D空間中的特定對象的頂點的移動獲得3D運動矢量。在下一步驟，與用戶I相關聯的圖像平面上的這些3D運動矢量的投影對編碼器需要對用戶I相關的2D視頻序列進行編碼的運動矢量場給出非常好的預測。該投影可利用矩陣乘以矩陣Ml來進行，該矩陣表示3D坐標如何變為專用的用戶I平面坐標。該矩陣可以是由用戶提供的用戶視點信息的一部分，或是從其導出的一部分。該矩形相乘還用于及時從這些場合的中央3D視頻場景導出在時刻t和t-Ι的用于用戶I的各個視點或投影。將用于用戶I的產生的圖像或用戶相關視點表示為時刻t-Ι的image_cll和時刻t的image_cll。然后,將這些圖像以及用戶I的運動矢量提供給編碼器。這避免了編碼器需要自己估計運動矢量。已知的是，估計運動矢量在計算功率方面要求更昂貴的處理。將直接從3D世界提取的附加信息提供給編碼器，會使編碼器的任務更簡單，從而其需要花費較少的計算周期以進行編碼過程，并且其會更快或者一個處理器能夠支持更多的流。圖5b示出了用于2D視頻應用的相似步驟。圖6a示出了圖5a的方法的增強的實施方式，其目的是考慮一些封閉信息。如前所述，涉及用戶的2D用戶相關視點的部分/對象的封閉信息現在包含在時刻t-Ι在圖像中不可視、但在時刻t變為可視的中央3D場景部分。還如前所述，由于在之前的幀中沒有相應的塊，這些部分/對象最好以內部模式進行編碼。由于服務器計算機保持3D虛擬世界，并且由于其知道每個用戶正在觀看的視點，因此其能夠容易地推斷出場景的哪個部分在要進行編碼的圖像中從被封閉的變成可視的。將該信息提供給編碼器再次避免了編碼器需要查找自己被封閉的圖像部分。對于這些部 分，編碼器從前面知道其需要在內部模式中對這些部分進行編碼，而無需運行全部模式以僅確定這一點。對于圖像的每個部分，用技術術語是對于圖像塊的每個宏塊，其通常利用編碼器的計算功率的公平的量來決定哪個模式是最有效的模式。在這些實施方式中，根據其從3D場景獲得的信息，編碼器從該任務中減輕了一大部分。在圖6中通過附加模塊示出了上述內容，其適于計算封閉信息，并進一步適于將控制輸入參數提供給適于將運動矢量投影到客戶端的圖像平面上的模塊，并且僅這些3D運動矢量涉及在時刻t-Ι和t的情況下均可視、需要投影和使用的對象。還將該封閉信息進一步提供給給編碼器自身，從而編碼器適于僅在碼間模式中對這些相同的部分進行編碼，而在內部模式中其需要對被封閉和現在變成可視的這些部分進行編碼。對于這些封閉的部分，編碼器需要發送剩余信息，其中解碼器使用剩余信息以重構不能被正確地預測的圖像部分。剩余信息也不需要太多的比特以進行編碼。由于校正圖像的封閉部分不能取決于之前的圖像，并需要取決于圖像自身中的像素信息。因此，將這些部分稱為“幀內”編碼部分，而將能夠取決于之前的編碼圖像的圖像部分稱為已被“幀間”編碼。圖7a示出了適于執行前述方法的服務器。相對于在圖Ia中描述的用于中央3D應用的現有技術服務器，該實施方式因此包括用于計算各個壓縮相關參數(對每個用戶分別表示為ep2D_l至ep2D_N)的部件。從而將這些各個參數提供給各自的適應編碼器(表示為ENC1’至ENCN’)。這樣的編碼器適于接收這些參數以及需要被編碼的2D視頻序列，并在還未公開的第09290985. 2號歐洲專利申請中描述。如這里所述，相比于標準編碼器，這樣的編碼器更簡單。然后，將表示為編碼的2D視頻I至編碼的2D視頻N的各個編碼視頻流傳送給各用戶。圖7b示出了變形的實施方式，其中執行如圖4a所示的對各個壓縮相關參數的生成。這意味著對通用的3D壓縮或編碼參數印D的生成，從而使用各個客戶端用戶視點信息，將其投影到各個2D用戶平面上，從而生成各個用戶相關壓縮參數ep2D_l至ep2D_N。該投影在表示為Pl至PN的各個設備上執行。然而其它實施方式也是可行的，其中全部步驟利用一個中央處理器來執行，從而不需要專用設備來執行這些步驟。盡管結合特定裝置描述上述的本發明原則，可以明確理解的是，該描述僅用作示例，并不作為對本發明范圍的限制，本發明的范圍由所附權利要 求限定。
權利要求
1.一種將編碼視頻應用(3D APP ;2DAPP)通過通信鏈路從服務器(SERVER)提供給各個客戶端(CLIENT1，…，CLIENTN)用戶的方法，所述方法包括以下步驟在所述服務器(SERVER)處更新涉及所述視頻應用(3D APP ;2DAPP)的場景，由此導出包括一系列用于所述各個客戶端(CLIENT1，…，CLIENTN)的各個2D用戶相關視點的各個視頻流(2DVideol，…，2Dvide0N)，通過在所述服務器處從涉及所述視頻應用(3D APP ；2DAPP)的所述場景的連續場景的子集提取的應用對象頂點信息，計算至少一個各自的壓縮相關參數(ep2D_l，…，ep2D_N),在所述各個視頻流(2Dvideol,…，2DvideoN)的后續編碼過程中使用所述各自的壓縮相關參數(印2D_1，…，印2D_N)，從而生成各自的編碼視頻流(編碼的2DVideol，…，編碼的2DvideoN)以提供給所述各個客戶端用戶(CLIENT1，…，CLIENTN)。
2.根據權利要求I所述的方法，其中在所述服務器處，涉及所述視頻應用的所述場景由所述服務器接收的至少一個信息(用于3D APP的CLIENT1動作，…，用于3D APP的CLIENTN動作；用于2D APP的CLIENT1動作，…，用于2D APP的CLIENTN動作)進行更新，并與由所述各個客戶端提供的用于所述應用(3D APP ;2DAPP)的至少一個客戶端動作相關。
3.根據權利要求I所述的方法，其中在所述服務器，涉及所述視頻應用的所述場景由所述服務器接收的至少一個信息(用于3D APP的CLIENT1動作，…，用于3D APP的CLIENTN動作；用于2D APP的CLIENT1動作，…，用于2D APP的CLIENTN動作)進行更新、與由用于所述應用的至少一個客戶端應用相關以及由通過另一通信鏈路與所述服務器耦合的至少一個其它客戶端提供。
4.根據前述權利要求1-3中任一項所述的方法，其中所述視頻應用是2維視頻應用(2DAPP),并且其中所述場景是2維場景。
5.根據前述權利要求1-4中任一項所述的方法，其中所述視頻應用是3維視頻應用(3DAPP)，其中所述場景是3維場景，并且通過將所述3維場景投影到各個用戶相關平面并結合考慮各個用戶相關的投影信息(CLIENTl_viewpoint,…，CLIENTN_viewpoint),獲得所述各個2維用戶相關視點。
6.根據前述權利要求1-5中任一項所述的方法，其中所述至少一個各自的壓縮相關參數包括至少一個各自的運動矢量。
7.根據前述權利要求1-6中任一項所述的方法，其中所述至少一個各自的壓縮相關參數包括用于塊模式的各個預測。
8.根據前述權利要求6中任一項所述的方法，其中從來自所述服務器處所述場景的連續場景的所述子集的相同對象部分的頂點偏移信息，計算所述至少一個各自的壓縮相關參數(印2D_1，…，印2D_N)。
9.根據權利要求5和6所述的方法，其中通過從所述3D場景的連續場景的所述子集計算3D運動矢量，隨后將所述3D運動矢量投影到所述各個用戶相關平面的步驟，獲得至少一個各自的運動矢量。
10.根據前述權利要求1-9中任一項所述的方法，其中在所述服務器處從之前的場景，并從由所述各個客戶端用戶(CLIENT1，. . . ,CLIENTN)傳送給所述服務器的各個用戶專用視點相關信息(CLIENTl_viewpoint,…，CLIENTN_viewpoint),更新涉及所述視頻應用的所述場景。
11.根據權利要求5和10所述的方法，其中所述各個用戶專用視點相關信息(CLIENTl_viewpoint, CLIENTN_viewpoint)包括與所述各個客戶端用戶的顯示器相關的信息。
12.根據權利要求6和10所述的方法，其中所述各個用戶專用視點相關信息包括位置、觀看方向、觀看角度和傾斜角度彳目息。
13.根據前述權利要求1-12中任一項所述的方法，進一步包括計算用于識別連續場景的所述子集的哪個對象是所述一系列各個2D用戶相關視點的一部分的封閉信息的步驟。
14.一種用于將視頻應用(3D APP ;2DAPP)通過通信鏈路提供給與所述服務器耦合的各個客戶端(CLIENT1，…，CLIENTN)用戶的服務器，所述服務器適于更新涉及所述視頻應用(3D APP ;2DAPP)的場景，所述服務器進一步適于由此導出包括一系列用于所述各個客戶端(CLIENTI, ...,CLIENTN)的各個 2D 用戶相關視點的各個視頻流(2Dvideol，· · ·，2DvideoN)，以便從涉及所述視頻應用(3D APP ；2DAPP)的所述場景的連續場景的子集提取的應用對象頂點信息，計算至少一個各自的壓縮相關參數(印2D_1，…，ep2d_N)，在所述各個自視頻流(2Dvideol,…，2Dvide0N)的后續編碼過程中使用所述各自的壓縮相關參數(印2D_1，…，ep2D_N),從而生成各自的編碼視頻流(編碼的2Dvideol, ···,編碼的2DvideoN)以提供給所述各個客戶端用戶(CLIENT1，…，CLIENTN)。
15.根據權利要求14所述的服務器，其進一步適于執行根據權利要求2-13中任一項所述的方法。
全文摘要
一種將編碼視頻應用(3D APP；2DAPP)通過通信鏈路從服務器(SERVER)提供給各個客戶端(CLIENT1，…，CLIENTN)用戶的方法，包括以下步驟在所述服務器(SERVER)處更新涉及所述視頻應用(3D APP；2DAPP)的場景，由此導出包括一系列用于所述各個客戶端(CLIENT1，…，CLIENTN)的各個2D用戶相關視點的各個視頻流(2Dvideo1，…，2DvideoN)，通過在所述服務器處從涉及所述視頻應用(3D APP；2DAPP)的所述場景的連續場景的子集提取的應用對象頂點信息，計算至少一個各自的壓縮相關參數(ep2D_1，…，ep2D_N)，在所述各個視頻流(2Dvideo1，…，2DvideoN)的后續編碼過程中使用所述各自的壓縮相關參數(ep2D_1，…，ep2D_N)，從而生成各自的編碼視頻流(編碼的2Dvideo1，…，編碼的2DvideoN)以提供給所述各個客戶端用戶(CLIENT1，…，CLIENTN)。還公開了一種適于執行該方法的服務器。
文檔編號H04N21/478GK102870412SQ201180021533
公開日2013年1月9日 申請日期2011年4月26日 優先權日2010年4月29日
發明者D·德弗萊斯朔韋爾, P·費舍爾 申請人:阿爾卡特朗訊公司