在全景場景中導航的方法

專利名稱：在全景場景中導航的方法
技術領域：
本發明涉及一種在用戶終端上顯示的全景視頻序列中導航的方法。
背景技術：
使用經由全景圖像進行的交互式導航的因特網服務在過去的幾年中取得了巨大的成功。利用這些服務，用戶可以顯著地訪問并恢復來自名人場所的視覺信息，虛擬地參觀城鎮或博物館，虛擬地在建筑物內部移動等等。這些服務基于被已知為IBR(基于圖像的呈現)的技術，替代使用復雜的3D建模工具來構造圖形模型，該技術使用來自真實世界的成像作為紋理并將這些應用于用戶可以在其中導航的基本3D對象，諸如圓柱體、管狀體或球體。IBR技術的主要缺點在于其僅使得能夠再現靜態場景。而且，幾年前，出現了已知為VBR(基于視頻的呈現)的技術，其中，被應用于3D對象的紋理是視頻流。根據該技術，例如經由全景相機產生若干個同步的視頻流，以便使用若干視點捕獲整個動態場景。這些流然后被處理并應用于3D對象。用戶然后可以以身臨其境并且處于動作中心(at the heart of the action)的感覺在該動態場景中導航。在經由全景圖像進行交互式導航的背景下，已知ICIP 2002中Carten Grunheit, Alj oscha Smolic 禾口 Thomas Wiegabd 的題 為"Efficient Representation and interactive streaming of high-resolution panoramic views，，白勺文檔。i亥文檔描述了其中根據來自用戶的導航命令從服務器向用戶終端傳送全景場景的視頻流的例程。全景場景的視頻流是時間連續的全景圖像序列。為了便于該全景視頻序列的傳送，將其劃分為形成馬賽克的預定義大小的多個不重疊視頻部分。這些視頻部分在前述文檔中以及在本說明書的其余部分中被稱為視頻補丁。每個視頻補丁對應于全景視頻序列的一空間區域，并且展現全景視圖中的一特定空間位置。視頻補丁可以包括固定或可變數量的連續視頻補丁。 在圖1中示出了這種將全景視頻序列劃分至視頻補丁。全景視頻序列10被劃分為多個視頻補丁 11。在服務器中將每個視頻補丁分離地編碼。視頻序列中被參考標號為12的部分表示該序列中的在用戶終端的屏幕上顯示的部分。該區域由用戶終端所傳送的導航命令來定義并且在本說明書下文中被稱為可視區域(visibility zone) 0圖2示出了重疊若干個視頻補丁(被參考標號為Ila到lid)的可視區域12的示例。在此情況下，為了使用戶終端可以顯示部分12，服務器必須向用戶終端傳送至少這些4 個視頻補丁。為了使用戶具有身臨其境的印象，需要視頻補丁在用戶終端的屏幕上的顯示快速且流暢。為此目的，在前述文檔中定義了視頻補丁的預取處理。該處理在于甚至在視頻補丁被包含在可視區域12中之前，在服務器處觸發所述視頻補丁的傳送。客戶端請求服務器傳送與全景視圖的某個區域對應的并且晚于給定展現時間戳的視頻補丁，該展現時間戳是根據當前時間戳以及接收所述補丁所需的最大時間來估計的。其還包含在用戶終端中不僅加載屬于當前可視區域的視頻補丁，而且還加載如果可視區域遵從用戶導航命令沿任何方向運動可能屬于當前可視區域的視頻補丁。
為此目的，對于每個視頻補丁 11定義被稱為檢測區域的區域13，如例如圖3中所示的，所述區域13環繞視頻補丁 11的圖像部分。在該示例中，該視頻補丁的圖像部分的邊界和其檢測區域的邊界在該圖像部分的整個周長上被分離開距離d。一旦可視區域12進入檢測區域13，將請求服務器向用戶終端傳送視頻補丁 11的要求傳送給服務器。在圖4的示例中，部分12重疊六個視頻補丁 Ila到Ilf的檢測區域(被參考標號為13a到13f)。由此按照用戶終端的請求，視頻補丁 Ila到Ilf被預取到用戶終端中，盡管僅僅視頻補丁 Ila到Ild被部分地或全部的包括在當前的可視區域12中。用戶終端中視頻補丁的預取使得能夠至少部分地克服用戶終端的請求傳送和視頻補丁接收之間的等待時間。使得檢測區域13的大小足夠大，從而將請求足夠早地傳送到服務器，以便獲得良好的導航速度，而無需在用戶終端中預取太大數量的視頻補丁(知道此后它們中的一些將永遠不會顯示在屏幕上)并由此使得導航的流暢度處于不利地位。實際上，檢測區域的大小必須被定義以便在導航流暢度和導航速度之間獲得良好折衷。導航流暢度取決于用戶終端處理器的加載能力，其減小檢測區域的大小(要下載更多數據)。相反，導航速度與檢測區域的大小成比例(加載數據需要更多時間)。然而，該折衷不總是容易確定的。此外，導航流暢度和導航速度可能受到傳輸視頻補丁的網絡直接信道和/或傳輸請求的返回信道的尺寸的影響。

發明內容
本發明的一個目的是提出一種在全景視頻序列中進行交互式導航的方法，其使得能夠至少部分地克服前述缺點。根據本發明，提出使用至少兩個不同的傳送網絡來向用戶終端傳送視頻補丁。由此，本發明的目的是一種在用戶終端上顯示的全景視頻序列中導航的方法，該全景視頻序列被劃分為被稱為視頻補丁的多個不重疊視頻部分，每個視頻補丁對應于全景視頻序列的一區域，每個視頻補丁具有預定義大小并且在所述全景視頻序列中具有空間位置，根據導航命令來確定形成被稱為可視區域的、在用戶終端的屏幕上顯示的全景視頻序列的區域所需的視頻補丁，其特征在于視頻補丁被一部分經由第一傳送網絡向用戶終端提供，而另一部分經由與所述第一傳送網絡不同的第二傳送網絡提供。因此，使用雙網絡使得能夠在兩個網絡上分布視頻補丁的傳送。由此，這樣的網絡的擁塞風險較低。根據優選實施例，第一傳送網絡是通用廣播網絡(也被稱為廣播網絡)，第二傳送網絡是個人化的廣播網絡。根據具體模式，第二傳送網絡是包括返回信道的寬帶網絡，并且在返回信道上傳送了請求之后才經由該網絡向用戶終端傳送視頻補丁。使用這兩個傳送網絡具有以下優點-個人化廣播網絡的帶寬比廣播網絡的帶寬更“廉價”，由此相對于通用廣播網絡而言可以以更低成本增加總網絡帶寬，-個人化廣播網絡不能使比特率對于所有用戶(尤其對于遠離DSLAM(數字訂戶線接入多路復用器)的那些用戶)得到足夠的保證，而廣播網絡使得增加該比特率成為可能。
利用本發明，由此可以考慮交互式導航服務的創建，其中，服務訂戶訪問經由兩個網絡傳送的視頻補丁組，而非訂戶僅訪問由網絡之一提供的視頻補丁。例如，在警察調查節目的情況下，訂戶可以在罪犯場景的全部中導航以便恢復線索，而非訂戶僅訪問該場景的與由通用廣播網絡傳送的視頻補丁對應的更加有限區域。另一可能應用涉及在體育館中發生的體育事件的全景重傳。例如，在遇到同時發生若干項體育項目(例如，推鉛球、跳高、撐竿跳、跳遠等)的田徑運動的重傳的背景下，訂戶將有可能在遍及體育館中移動以觀看所述項目中的任何項目，而非訂戶將僅能夠觀看單個項目(即，在廣播中傳播的項目)。還可以考慮以下服務，其中，非訂戶能夠通過整個全景場景導航，而僅有訂戶能夠縮放到全景場景的某些部分上。對于該應用，在通用廣播中傳送與場景的子采樣部分相對應的視頻補丁，而利用個人化廣播網絡傳送提供附加定義的視頻補丁。然而，使用這樣的雙網絡傳送視頻補丁可能在用戶終端級創建顯示問題。實際上， 視頻補丁的預取時間根據用于傳送該視頻補丁的網絡而變化，并且由此視頻補丁的屏幕上顯示也根據用于傳送該視頻補丁的網絡而變化。在通用廣播網絡的情況下，廣播所有視頻補丁而無需預先請求，視頻補丁在屏幕上的展現時間可能相對較短。在具有返回信道的個人化廣播網絡的情況下，僅僅按照用戶的需要傳送視頻補丁，屏幕上的展示時間包括該請求向服務器的傳送時間、服務器的請求處理時間、視頻補丁向用戶終端的傳送時間、以及用戶終端中用于解碼并存儲視頻補丁的時間。注意，個人化廣播網絡上的傳送時間可能根據網絡的狀態隨時間而變。然后，在視頻補丁預取處理中，必須考慮傳送網絡之間的展現時間差異。一種解決方案可以在于通過將來自較快網絡的視頻補丁置于緩沖存儲器中以便然后將它們與來自較慢網絡的視頻補丁對齊，來同步視頻補丁的處理。然而，該解決方案將不滿足要求，這是因為其包括對抗性的動作，即，初始地預取視頻補丁，然后結果延遲了顯
7J\ ο根據本發明的變型，由此提出了另一種解決方案，S卩，足夠早地預取來自較慢傳送網絡的視頻補丁，從而不必延遲來自較快網絡的視頻補丁的顯示。該結果通過以下來獲得 對于每個視頻補丁定義如之前所定義的檢測區域，但是所述檢測區域的大小根據提供所述視頻補丁的傳送網絡而定。由較慢網絡傳送的視頻補丁的檢測區域的大小被取得大于由較快網絡傳送的視頻補丁的檢測區域的大小，從而來自較慢網絡的視頻補丁的預取在來自其它網絡的視頻補丁的預取之前開始。為此，本發明的方法還包括以下步驟-對于每個視頻補丁，定義被稱為檢測區域的至少一個區域，其圍繞所述視頻補丁并且具有比所述視頻補丁的大小更大的大小，所述視頻補丁的檢測區域的大小根據提供所述視頻補丁的傳送網絡而定，-只要可視區域進入一視頻補丁的檢測區域，就在所述用戶終端的存儲器中要求所述視頻補丁的預取，以及-只要可視區域進入所預取的視頻補丁，就在用戶終端的屏幕上顯示所述視頻補丁。在本說明書中，視頻補丁的預取被理解為意味著以下操作在用戶終端中接收所述視頻補丁，可能解碼所述視頻補丁，并且將其存儲在所述終端的存儲器中。在傳送網絡包括返回信道(終端至服務器)的情況下，該預取還包括一在前步驟經由服務器傳送用于觸發所述視頻補丁的傳送的請求以及傳送所述視頻補丁。用于預取由廣播網絡提供的視頻補丁的時間顯著地包括將傳輸視頻補丁的服務去多路復用、幀I (幀內編碼的幀)的接收等待時間、以及視頻補丁解碼時間。由具有返回信道的個人化廣播網絡提供的視頻補丁的預取時間顯著地包括從用戶終端到第二服務器的請求傳送時間、第二服務器的請求處理時間、第二服務器和用戶終端之間的視頻補丁傳送時間、視頻補丁的圖像部分的解碼時間、以及用戶終端中視頻補丁的存儲時間。根據有利實施例，由個人化廣播網絡傳送的視頻補丁以幀I開始，以便消除這種幀的等待時間。在該實施例中，盡管由個人化廣播網絡提供的視頻補丁的預取時間不包括幀I等待時間，但是其通常仍大于由通用廣播網絡提供的視頻補丁的預取時間。為了至少部分地補償兩種傳送網絡之間的預取時間差異，由個人化廣播網絡提供的視頻補丁的檢測區域的大小被取得大于由通用廣播網絡提供的視頻補丁的檢測區域的大小。根據具體實施例，圖像部分的邊界和檢測區域的邊界在圖像部分的整個周長上被分離開預定距離d。根據具體實施例，每個視頻補丁被編碼為多層，并且為此目的包括被稱為基本層的基本視頻數據層、以及被稱為增強層的至少一個附加視頻數據層。在該實施例中，對于視頻補丁的基本層和增強層中的每個定義檢測區域，在可視區域進入對應的檢測區域時要求基本層的預取、或增強層的預取。根據具體實施例，所述增強層的檢測區域的大小在大小上不同于基本層的檢測區域。增強層的檢測區域涵蓋例如基本層的檢測區域，從而增強層的預取在基本層的預取之前開始。根據具體實施例，可視區域的閾值移動速度(被稱為第一閾值速度)與基本層相關聯，即，例如所述可視區域的最大授權移動速度。在該實施例中，根據所述第一閾值速度確定基本層的檢測區域的大小。根據具體實施例，可視區域的移動閾值速度(被稱為第二閾值速度)與每個增強層相關聯，在超過該第二閾值速度時在用戶終端中不預取該增強層，即使可視區域進入所述至少一個增強層的檢測區域。根據具體實施例，顯著地根據所述第二閾值速度確定每個增強層的檢測區域的大根據有利實施例，對于未預取的每個增強層，在可視區域進入所述增強層的檢測區域和可視區域退出所述檢測區域之間，進行可視區域的瞬時移動速度和與所述增強區域相關聯的第二閾值速度的周期性比較，如果可視區域的瞬時移動速度小于所述第二閾值速度，則要求所述增強層的預取。最后，根據另一有利實施例，對于未預取的每個增強層，在可視區域進入所述增強層的檢測區域和可視區域退出所述檢測區域之間，進行可視區域的瞬時移動速度和與所述增強區域相關聯的第二閾值速度的周期性比較，如果可視區域的瞬時移動速度大于所述第二閾值速度，則要求停止所述增強層的預取。


將更好地理解本發明，并且在下面參考附圖的詳細描述中其它目的、細節、特征和優點將變得更為清楚，在附圖中圖1 (已經描述過)示出了將全景視頻序列劃分為視頻補丁，圖2(已經描述過)是圖1的部分視圖，其示出了視頻序列的在用戶終端的屏幕上可見的部分、以及在該可視區域中全部或部分地包含的視頻補丁，圖3(已經描述過)是示出了視頻補丁的檢測區域的視圖，圖4(已經描述過)是圖1的部分視圖，其示出了在可視區域中全部或部分地包含的視頻補丁的檢測區域，圖5是標識經由通用廣播網絡傳送的視頻補丁和經由個人化廣播網絡傳送的視頻補丁的視圖，圖6是包含經由兩種不同的傳送網絡與用戶終端連接的服務器的系統，圖7是示出根據視頻補丁的源頭網絡的可變大小的檢測區域的視圖，圖8是示出其中每個視頻補丁被編碼為基本層和增強層的具體實施例的視圖，對于每層定義檢測區域，圖9是示出在可視區域進入或離開視頻補丁層的檢測區域時執行的操作的流程圖，圖10是示出對于可視區域在其檢測區域中的每個層執行的操作的流程圖，圖11是示出相對于視頻補丁的大小而進行的檢測區域的大小計算的視圖，以及圖12是示出從具有返回信道的個人化廣播網絡的視頻補丁的預取時間的視圖。
具體實施例方式根據本發明，要在用戶終端(例如，與機頂盒連接的電視)的屏幕上顯示的全景視頻序列被劃分為多個視頻補丁，這些補丁由至少兩個不同的傳送網絡提供。這兩個網絡優選地為通用廣播網絡和具有或不具有返回信道的個人化廣播網絡。 通用廣播網絡(在下文的描述中被稱為廣播網絡)經由無線電、衛星或電纜信道將視頻廣播到非常大數量的用戶。個人化廣播網絡將視頻數據廣播到更有限數量的用戶(例如，對使用該網絡的服務的訂戶)。該網絡在下文的描述中被稱為“寬帶網絡”。該網絡例如是具有或不具有返回信道的寬帶廣播網絡。在下文的描述中，將考慮視頻補丁被一部分經由廣播網絡提供，而另一部分經由具有返回信道的寬帶網絡提供。如果參考示出了圖1的全景視頻序列的圖5，可以考慮例如，經由廣播網絡傳送陰影區域的視頻補丁 14，而經由寬帶網絡按需傳送(陰影區域外部的)其它視頻補丁。在圖6中圖解性地示出了能夠實施本發明的方法的系統。系統包括服務器20，其中存儲了全景視頻序列。該視頻序列被劃分為被稱為視頻補丁的在空間上不重疊的視頻部分。每個視頻補丁對應于該視頻序列的一預定義大小的矩形區域，例如n*m像素。視頻補
8丁在視頻序列中的空間位置例如由該視頻補丁的左上像素的坐標(x，y)表示。這些視頻補丁在服務器中被分離地編碼。一部分視頻補丁(例如，圖5的視頻補丁 14)被服務器20經由圖6中所示的“廣播”網絡(經由與服務器20連接的發射器天線40和與用戶終端30連接的接收器天線41) 提供給用戶終端30。全景圖像10的另一部分視頻補丁被服務器20經由圖6中所示的“寬帶”網絡(經由因特網50和一側連接因特網50而另一側連接用戶終端30的連接網關51) 按需傳送給用戶終端30。終端30包括機頂盒31，其能夠從兩種傳送網絡接收并處理視頻補丁，并且能夠經由“寬帶”網絡向服務器20傳送視頻補丁傳送請求。在廣播網絡的情況下，視頻序列是連續的視頻流，視頻補丁也是連續流。在“寬帶”網絡的情況下，在服務器處按需提供視頻補丁。視頻補丁具有預定義的固定持續期或可變持續期。在第一種情況下(固定持續期)，在接收到視頻補丁需要請求之后，預定義數量的時間連續的視頻幀部分被例如傳送到終端。在第二種情況下(可變持續期)，時間連續的視頻幀部分的數量在被傳送給服務器的視頻補丁需要請求中指示，或者由視頻補丁傳送需要請求與需要請求向服務器的傳送結束來定義。有利地，在服務器20中根據SVC(可分級視頻編碼)編碼視頻補丁。為此目的，每個視頻補丁包括基本視頻數據層(被稱為基本層)、以及至少一個附加視頻數據層(被稱為增強層)。有利地，經由“廣播”網絡經由包括能夠傳輸SVC視頻數據層的基本流的MPEG2-TS 傳輸流傳送視頻補丁，如在文檔“ ^formation Technology-Generic Coding of Moving Pictures and Audio :Systems Transport of scablable video over ITU-T Rec. H. 222. 0”IS0/IEC 13818-1，Amendment 3，2005 中描述的。此外，有利地經由“寬帶”網絡經由HTTP流傳輸視頻補丁，如在2009年6月Apple 公司 R. Pantos 的文檔"HTTP Live Streaming, draft-pantos-http-live-streaming-01，， 中所描述的。因此經由廣播網絡傳輸的視頻補丁具有預定義的固定持續期。在這兩種傳輸機制將相同的PCR(節目時鐘參考)用于所有視頻補丁來傳遞 TS (傳輸流)分組的情況下，則這兩種傳輸機制的同步依據通常在數字電視中使用的技術。作為變型，被用于“寬帶”網絡的傳輸協議是可以與RTSP交換協議相關聯的RTP/ UDP/IP 協議。對于每個視頻補丁定義圍繞該視頻補丁的區域的至少一個檢測區域。根據本發明的重要特征，由“寬帶”網絡提供的視頻補丁的檢測區域的大小大于由 “廣播”網絡提供的視頻補丁的檢測區域的大小。該特征由圖7圖示。圖7示出了相鄰的并按照2行3個視頻補丁而布置的被參考標號為71a至71f的六個視頻補丁。視頻補丁 71a到71d被經由“廣播”網絡提供給用戶終端，并且視頻補丁 71e和71f按照請求經由“寬帶”網絡提供。這些視頻補丁 71a到71f的檢測區域在圖7中分別被參考標號為73a到73f。如可以從該圖中看出的，經由寬帶網絡提供的視頻補丁的檢測區域7 和73f的大小大于經由廣播網絡提供的視頻補丁的檢測區域73a到73d的大小，以便補償服務器20的請求傳送時間和請求處理、以及經由寬帶網絡提供的視頻補丁的傳送持續期。
當在圖7中被參考標號為72的可視區域進入所述視頻補丁的檢測區域時，在機頂盒31中觸發用于預取所述視頻補丁的命令。在圖7的示例中，假定區域72至少部分地覆蓋檢測區域73a到73f，觸發用于預取視頻補丁 71a到71f的命令。不同補丁的預取命令不被同時傳送，而是根據可視區域的移動被傳送。如果參考由圖7中的箭頭表示的移動，首先請求補丁 71a和71b，然后請求補丁 71c和71d，而最后請求補丁 71e和71f。關于視頻補丁 71a到71d的幀，它們被預取在機頂盒31的存儲器中，這是因為它們由廣播網絡傳遞以用于以下持續期，所述持續期擴展至所述補丁 71a到71d的幀的展現時間或至從檢測區域退出。關于視頻補丁 71e和71f，經由寬帶網絡向服務器20傳送對這些視頻補丁中每個視頻補丁的請求，從而服務器經由寬帶網絡向用戶終端30傳送對應幀。根據有利實施例， 根據SVC模式編碼由服務器20傳送的視頻補丁，對于要傳送的每個視頻補丁層定義檢測區域，即對于基本層定義基本檢測區域而對于每個增強層定義附加檢測區域。圖8中示出了該實施例。在該圖中，每個視頻補丁 71a到71f包括基本層和增強層。每個視頻補丁 71a到 71f具有用于其基本層的檢測區域(分別為730a到730f)以及用于其增強層的檢測區域 (分別為731a到731f)。在該實施例中，增強層的檢測區域涵蓋基本層檢測區域。因此，在該實施例中，在沒有其它準則出現的情況下，增強層的預取可以在基本層的預取之前開始。然而，根據有利實施例，根據可視區域的移動速度V來取得對預取增強層的判定。 為了簡化，在圖7和8中考慮可視區域12僅沿方向X移動。然而實際上本發明的方法可以應用于可視區域12沿所有方向移動的情況。在該實施例中，用戶終端30定期確定可視區域12的位置、其移動方向及其移動速度。依據圖9的流程圖取得對下載基本層或增強層的判定。根據該流程圖，第一步驟(步驟90)在于通過請求預取可視區域出現在其檢測區域中的基本層和增強層來初始化處理。這些層中的每個層的參考標號被存儲在被稱為 Llayers的列表中。以如下方式估計要預取的層的數據展現時間戳，使得在該層必須被展現的時刻接收到該層。然后，檢驗視頻補丁層的檢測區域的邊界是否被跨越(步驟91)。如果是，則檢驗其是否涉及進入視頻補丁層的檢測區域(步驟92)。如果不是這種情況，則檢驗可視區域是否完全退出檢測區域(步驟96)。如果是這種情況，則停止該層的預取(步驟 97)，從列表Llayers中刪除該層的參考標號，并且步驟91再次開始。如果可視區域沒有完全退出檢測區域，則返回步驟91。如果其涉及進入一層的檢測區域，則將可視區域的移動速度和與所述層相關聯的預定義閾值速度相比較(步驟93)。如果可視區域的移動速度大于或等于閾值速度，則不預取所述層并且在列表Llayers中添加該層的參考標號(步驟95)， 并且步驟91再次開始。如果可視區域的移動速度小于閾值速度，則觸發與所述檢測區域相關的層的預取(步驟94)，然后其再次在步驟91開始。根據該方法，僅僅在可視區域的移動速度小于與一增強層相關聯的閾值速度(其例如是每秒幾百像素)的情況下才觸發該增強層的預取。實際上，如果可視區域移動非常快，則不需要觸發增強層的預取，這是由于該層將不提高用戶體驗。然而，通過將用于基本層的閾值速度固定為大于或等于可視區域的最大移動速度，將基本層的預取設計為而不論可視區域的移動速度是什么都系統地觸發。如果視頻補丁包括若干個增強層，例如中間層(中間級)和高層(高級)，有利地對于這兩個增強層中的每一個定義閾值速度，中間層的閾值速度優選地大于高層的閾值速度。在可視區域進入基本層的檢測區域之后，存在以下必然性視頻補丁基本層的預取已經被觸發，這是因為無論可視區域的移動速度是什么(基本層的閾值速度大于可視區域的最大移動速度)該層的預取都發生。然而，如果在進入增強層的檢測區域的時刻處可視區域的移動速度大于相關聯的閾值速度，則這些增強層的預取可能未被觸發。但是，在可視區域在基本層的檢測區域中移動期間，移動速度可能已經改變。例如，在可視區域進入一增強層的檢測區域與其退出該檢測區域之間，所述可視區域的移動速度可能已經降低，并且可能已經過渡到與增強層相關聯的閾值速度之下。然后在屏幕上可以看到在所顯示的視頻數據中缺少增強層(低分辨率)。根據有利實施例，提供周期性的檢驗處理，以便根據可視區域的瞬時移動速度來適配要預取的增強層的數量。該處理在圖10中示出，并且應用于可視區域在其檢測區域中展現的層(即，在之前定義的列表Llayers中被參考標號的層)中的每個層。根據步驟100，檢驗該層的預取是否正在進行。如果是這種情況，則存在延遲步驟 (步驟101)，也就是說，暫停檢驗處理以等待所請求的時間戳(持續期tempol)以到達該層的預取結束，然后檢驗預取已經結束(步驟102)。對于預取已經被觸發的層，持續期tempol 表示在檢驗該層是否準備好展現之前的等待時間。該延遲的值是該層的展現時間戳和當前時間戳之間的差。如果由于可視區域的移動速度大于該層的閾值速度而尚未觸發該層的預取，則存在持續期tempo2的延遲步驟(步驟104)，然后將可視區域的移動速度與該層的閾值速度進行比較(步驟105)。如果可視區域的移動速度大于閾值速度，則返回步驟104。如果不大于，則作出預取請求(步驟106)，然后其進行到步驟101。對于預取尚未被觸發的層，持續期tempo2表示可視區域的移動速度與該層的閾值速度的兩次比較測試之間的時段。該時段可以從一層到另一層地不同。該時段對應于例如可視區域用來以閾值速度跨越該層的檢測區域的持續期。在步驟102，如果預取結束，則返回額定模式(步驟103)，其在于在可視區域處于層的檢測區域中時，對于將來的時間戳預取該層。然而，如果預取沒有結束，則該層將在該層本應當被展現的時刻之后到達，因此停止正在進行的預取(步驟107)，并且該方法進行到步驟106，其在于利用將來的展現時間戳再次請求該層的預取。根據該處理，即使可視區域的移動速度已經變得小于與增強層相關聯的閾值速度并且該層的檢測區域仍被包括在可視區域中，如果該增強層尚未被預取，則預取所述增強層。盡管該處理主要用于增強層，其也可以同樣地應用于基本層。實際上，即使只要可視區域進入基本層的檢測區域就系統地觸發基本層的預取，由于與網絡或服務器有關的問題，在補丁本應當被展現的時刻處仍可能未接收到該補丁。該算法使得如果這樣的問題出現就重新發起預取。有利地，如果可視區域的移動速度突然增加并且過渡到與增強層相關聯的閾值速度之上，則可以安排用于停止該增強層的預取的處理。可以經由步驟102和102之間的測試步驟來實施該處理。為了確保基本層或增強層的預取足夠早地開始，優選地將檢測區域的大小適配于可視區域的移動速度。例如以如下方式計算檢測區域的大小。例如考慮具有nX*ny像素的矩形的視頻部分110，涵蓋所述視頻部分的矩形檢測區域Illj具有 [nx+2Anx(j)]X[ny+2Any(j)]像素，該檢測區域與視頻補丁的層j相關。在圖11中圖示這個示例。層0涉及例如基本層，層1涉及例如中間增強層，層2涉及例如高增強層。根據具體實施例，按照以下方式計算Anx(j)Δ nx (j) ^ threshold_speed_x(j)*pre-fetching_time(j)其中threShold_Speed_X(j)表示按照每秒像素表達的根據層j的方向χ的閾值速度；并且pre-fetChing_time(j)表示獲取并解碼該視頻補丁的層j的至少一個幀I (幀內編碼的幀)的持續期。增強層的閾值速度與之前用于這些層的預取判定的閾值速度對應。基本層的閾值速度與全景場景中可視區域的授權移動的最大速度對應。視頻補丁層的預取時間根據用于傳送所述視頻補丁層的傳送網絡而變化。在廣播網絡中，所有視頻補丁被廣播(無需請求)并提供給終端，在可視區域進入檢測區域時該終端預取所述視頻補丁。當可視區域進入一檢測區域時，該視頻補丁的幀I 可能不一定已經被該終端接收到，并且然后最好等待。因此，預取時間與進入檢測區域和視頻補丁可能在用戶屏幕上重置(resituate)的時刻之間的持續期對應。該預取時間因此包含在視頻補丁的展現之前的去多路復用、等待下一幀I、填充解碼緩沖器、解碼并存儲并重新排序視頻幀所需的持續期。在寬帶網絡中，僅僅在終端先前從服務器請求視頻補丁的情況下該網絡才提供該視頻補丁。在此情況下，如圖12所示地定義預取時間預取時間(Pre-fetching_time)= T1+T2+T3+T4其中，Tl是向服務器傳送請求的持續期，T2是服務器處理請求的持續期，T3是視頻補丁向終端的傳送時間，以及T4是終端中視頻補丁的存儲和解碼的持續期。T2取決于服務器，T4取決于終端。Tl和T3取決于網絡的RTT(往返延遲時間)。 T3還取決于網絡帶寬、視頻補丁的大小、以及由傳送協議(HTTP、RTP等)引入的信令。因此，根據本發明，根據負責提供視頻補丁的網絡，定義視頻補丁的檢測區域的大小。此外，根據可視區域的移動速度，判定視頻補丁的預取的觸發和/或繼續。盡管已經關于不同的具體實施例描述了發明，但是顯然其絕非限制，并且其包括所描述的部件的所有技術等同物，并且如果所述技術等同物的組合落入本發明的范圍之內也包括所述組合。
權利要求
1.一種在用戶終端裝置中在所述用戶終端裝置上顯示的全景視頻序列中導航的方法， 該全景視頻序列被劃分為被稱為視頻補丁的多個不重疊視頻部分，每個視頻補丁對應于全景視頻序列的一區域，每個視頻補丁具有預定義大小并且在所述全景視頻序列中具有空間位置，根據導航命令來確定形成被稱為可視區域的、在用戶終端的屏幕上顯示的全景視頻序列的區域所需的視頻補丁，所述方法的特征在于根據所述導航命令并且根據所述可視區域在所述全景視頻序列中的位置，一些第一視頻補丁經由第一傳送網絡向所述用戶終端提供，而一些第二視頻補丁經由與所述第一傳送網絡不同的第二傳送網絡向所述用戶終端提供，所述方法的特征在于，其還包括以下步驟-對于每個所述第一和第二視頻補丁，定義被稱為檢測區域的至少一個區域，其圍繞所述視頻補丁并且具有比所述視頻補丁的大小更大的大小，所述視頻補丁的檢測區域的大小根據提供所述視頻補丁的傳送網絡而定，-只要可視區域進入一視頻補丁的檢測區域，就在所述用戶終端的存儲器中要求所述視頻補丁的預取，以及-只要可視區域進入所預取的視頻補丁，就在用戶終端的屏幕上顯示所述視頻補丁。
2.如權利要求1所述的方法，其特征在于第一傳送網絡是通用廣播網絡，第二傳送網絡是個人化的廣播網絡。
3.如權利要求2所述的方法，其特征在于第二傳送網絡是包括返回信道的寬帶網絡， 在返回信道上傳送了請求之后才經由該網絡向用戶終端傳送視頻補丁。
4.如權利要求1所述的方法，其特征在于由第二傳送網絡提供的所述第二視頻補丁的檢測區域的大小大于由第一傳送網絡提供的所述第一視頻補丁的檢測區域的大小。
5.如權利要求4所述的方法，其特征在于每個視頻補丁被編碼為被稱為基本層的基本視頻數據層、以及被稱為增強層的至少一個附加視頻數據層；對于視頻補丁的基本層和增強層中的每個定義檢測區域，在可視區域進入對應的檢測區域時要求基本層的預取、或增強層的預取。
6.如權利要求5所述的方法，其特征在于所述至少一個增強層的檢測區域的大小大于基本層的檢測區域的大小。
7.如權利要求5或6所述的方法，其特征在于可視區域的閾值移動速度與所述基本層相關聯，被稱為第一閾值速度，根據所述第一閾值速度確定基本層的檢測區域的大小。
8.如權利要求5到6中任一項所述的方法，其特征在于可視區域的移動閾值速度與所述增強層相關聯，被稱為第二閾值速度，在超過該第二閾值速度時在用戶終端中不預取該增強層，即使可視區域進入所述至少一個增強層的檢測區域。
9.如權利要求8所述的方法，其特征在于根據所述第二閾值速度確定所述至少一個增強層的檢測區域的大小。
10.如權利要求8所述的方法，其特征在于對于未預取的每個增強層，在可視區域進入所述增強層的檢測區域和可視區域退出所述檢測區域之間，進行可視區域的瞬時移動速度和與所述增強區域相關聯的第二閾值速度的周期性比較，如果可視區域的瞬時移動速度小于所述第二閾值速度，則要求所述增強層的預取。
11.如權利要求8所述的方法，其特征在于對于未預取的每個增強層，在可視區域進入所述增強層的檢測區域和可視區域退出所述檢測區域之間，進行可視區域的瞬時移動速度和與所述增強區域相關聯的第二閾值速度的周期性比較，如果可視區域的瞬時移動速度大于所述第二閾值速度，則要求終止所述增強層的預取。
12. 一種包括視頻解碼器的裝置，所述裝置的特征在于，其包括用于執行以下操作的部件-通過導航命令在全景視頻序列上選擇視頻補丁， -從第一傳送網絡接收一些第一視頻補丁，-向遠程服務器發送對于從第二傳送網絡接收第二視頻補丁的請求，所述第二傳送網絡是雙向網絡，-從第二傳送網絡接收一些第二視頻補丁，以及 -解碼并顯示所述第一和第二視頻補丁。
全文摘要
本發明涉及一種在用戶終端上顯示的全景視頻序列中導航的方法。該視頻序列被劃分為多個不重疊視頻補丁，每個視頻補丁對應于視頻序列的一區域。根據導航命令來確定形成被稱為可視區域的、在用戶終端的屏幕上顯示的全景視頻序列的區域所需的視頻補丁。根據本發明，視頻補丁被一部分經由第一傳送網絡向用戶終端提供，而另一部分經由與所述第一傳送網絡不同的第二傳送網絡提供。
文檔編號H04N21/643GK102413376SQ20111028295
公開日2012年4月11日 申請日期2011年9月22日 優先權日2010年9月22日
發明者A.勞倫特, E.高迪爾, Y.勒加萊伊斯 申請人:湯姆森特許公司