視頻比特流的傳輸系統的制作方法

專利名稱：視頻比特流的傳輸系統的制作方法
技術領域：
本發明涉及視頻比特流的傳輸系統。本發明尤其涉及用于將與任意的視聽區域對應的視頻從發送裝置配送到接收裝置的技術。
背景技術：
針對活動圖像信息的高分辨率化、廣視角化、高機能化，進行了多個研究開發。例如，下述非專利文獻I提出了將從多個攝像機或全向攝像機取得的視頻分割為多個區域并對其進行編碼，并僅對用戶所需的視點位置的區域視頻進行解碼并顯示的系統。此外，下述非專利文獻2提出了基于作為H.264/AVC的擴展標準的Mult1-View Coding,實現對于從多個攝像機獲得的高分辨率全景視頻的訪問的系統。在該技術中，也對輸入視頻進行分割后進行編碼，并根據用戶(客戶機)所請求的視聽區域而傳輸多個編碼流，并進行解碼、顯示。但是，下述非專利文獻I和2均需要在客戶機中進行多個流的同時解碼以及同步顯示。此外，雖然在非專利文獻I中未提及傳輸方式，但在非專利文獻2中還需要用于同時取得多個流的多個會話控制。這些導致了客戶機中的處理的復雜性增加，因此尤其在智能手機等計算資源被限定的環境中難以利用多視覺服務(MultiVision service)。因此，提出了不進行多個流的傳輸，而是在服務器側對多個流進行結合后，進行單一流的傳輸的系統(下述非專利文獻3以及專利文獻I)。在該技術中，由于客戶機僅對從配送服務器取得的單一流進行解碼以及顯示，因此能夠避免多個流的同時解碼、以及被解碼后的視頻信號的同步顯示等復雜的處理。由此，在客戶機中，能夠利用以往的視頻再現系統而同時再現多個視頻。在這些以往的系統中，用戶能夠對要顯示的視頻自由地移動并設定視聽區域位置。因此，并不限定于近年的在因特網上的托管(On-demand)型的視頻流技術那樣的再現、暫停、倒轉、快進等視頻控制，能夠進行在視頻區域向縱方向或者橫方向移動視聽區域位置的操作。現有技術文獻專利文獻非專利文獻1: [I] S.Heymann, A.Smolic, K.Muller, Y.Guo, J.Rurainski, P.Eisert, and T.ffiegand, iRepresentaion, Coding and Interactive Rendering orHigh-Resolution Panoramic Images and Video using MPEG-4, ’ Proc.PanoramicPhotogrammetry Workshop, Berlin, Germany, Feb.2005.
非專利文獻2: [2] H.Kimata, S.Shimizu, Y Kunita, M.1sogai andY.0htani, ^Panorama video coding for user-d riven interactive videoapplication, ’ IEEE International Symposium on Consumer Electronics, Kyoto, 2009.
非專利文獻3: [3]Ν.Uchihara, H.Kasai, ‘Fast stream joiner fornext-generation interactive video, JIEEE International Conference on Consumer Electronics (ICCE), 2011, pp.319-320，9_12Jan.2011.
專利文獻I:[4]特開2011-24018號公報

發明內容
發明要解決的課題但是，所述的各個以往技術以視聽用戶主動選擇視頻的視聽區域作為前提，基于由來自作為視頻視聽終端的客戶機終端或者連接到客戶機終端上的控制器設備的用戶操作而決定的視點移動信息，決定了視聽區域。但是，還可以想到如以往的電視視聽那樣被動地視聽視頻的用戶不一定會積極地移動視點的情況。從而，認為在這些以往技術中，存在沒有充分活用自由的視點移動功能的情況。此外，根據視頻的配送側想要有效地配送廣告等視頻的要求，還存在想要積極地控制視聽用戶視聽的視頻區域的要求。但是，在至今為止的結構中，由于視聽用戶的視點移動操作成為起點，因此存在無法實現這樣的要求的問題。本發明鑒于這樣的問題而完成，其目的在于，沒有用戶的明確的視點移動操作就決定用于決定視聽區域的視點移動信息，并將其反映到配送的視頻結構中。用于解決課題的手段為了解決上述課題，本發明將用于決定視點移動信息的處理從客戶機上的用戶界面分離出。此外，將進行所述決定的處理器在系統上的配置不限制于客戶機上，也能夠配置在視頻配送服務器、或者外部的獨立服務器上。通過這樣構成，在決定視點移動信息時，能夠不依賴于用戶的操作就能夠決定，因此能夠控制各種視點移動。另外，在本發明中，用于決定視點移動信息的處理部可以編入接收裝置以及發送裝置中的其中任一個中，也可以編入除此之外的其他的服務器中。發明效果根據本發明，能夠根據各種因素在系統側自動地決定視點移動信息。例如，能夠根據客戶機終端的物理位置和周邊狀況、用戶至今為止的操作歷史、簡檔等，自動地決定視點移動。此外，能夠在配送服務器中決定視點移動信息，能夠進行考慮了多個用戶的視聽歷史和該視聽用戶的視聽歷史的細致的控制。此外，能夠積極地控制明確的或者含蓄的向廣告視頻的視點移動，能夠構筑新的視頻廣告商業模式。


圖1是表示本發明的第I實施方式的傳輸系統的概要的概要圖。圖2是表示本發明的第I實施方式的服務器(發送裝置)的結構例的概要圖。圖3是表示本發明的第I實施方式的客戶機(接收裝置)的結構例的概要圖。圖4是表示本發明的第I實施方式的流程圖的概要圖。圖5是表示本發明的第2實施方式的服務器的結構例的概要圖。圖6是表示本發明的第2實施方式的客戶機的結構例的概要圖。圖7是表示本發明的第2實施方式的流程圖的概要圖。
圖8是表示本發明的第3實施方式的服務器的結構例的概要圖。圖9是表示本發明的第3實施方式的客戶機的結構例的概要圖。圖10是表示本發明的第3實施方式的流程圖的概要圖。圖11是表示整體區域、視聽區域、顯示區域之間的關系的說明圖。圖12是用于說明隨著視點的移動的視聽區域的變化的說明圖。
具體實施例方式以下，說明用于實施發明的方式。另外，說明按照以下的順序進行。1.第I實施方式(在客戶機中決定視點移動信息，并將該信息發送給視頻配送服務器的例子)2.第2實施方式(在視頻配送服務器中決定視點移動信息，將該信息發送給客戶機，并從客戶機向視頻配送服務器發回的例子)3.第3實施方式(在視頻配送服務器中決定視點移動信息，并直接在視頻配送服務器中利用該信息的例子)〈1.第I實施方式〉在本實施方式(以下，又稱為本例)中，說明將本發明的發送裝置應用于服務器，將本發明的接收裝置應用于便攜電話終端的例子。其中，本發明的接收裝置并不限定于便攜電話終端，例如也可以應用于PDA (個人數字助理)或個人計算機、語音再現裝置、游戲終端等具有通信功能以及使顯示部顯示視頻的功能的各種裝置。另外，按照以下的順序進行說明。(I)傳輸系統的概要(2)服務器的結構例(3)客戶機的結構例(4)傳輸系統的動作例[傳輸系統的概要]首先，參照圖1說明本例的傳輸系統的概要。圖1表不本實施方式的傳輸系統的概要。圖1所不的傳輸系統由進行視頻的配送的服務器I (相當于發送裝置的一例)和客戶機2 (相當于接收裝置的一例)構成。服務器I與客戶機2經由網絡3而連接。另外，在圖1中僅顯示了一個客戶機2，但實際上構成為能夠由多個客戶機2通過網絡3訪問服務器I。在服務器I上連接有未圖示的由攝像裝置構成的視頻信號輸入部，在視頻信號輸入部中獲得的視頻被輸入到服務器I。通過將在客戶機2內部決定的視點移動信息發送給服務器1，服務器I生成與由一個以上的視頻構成的整體的區域(以下,稱為整體區域Aw)對應的視頻(以下，稱為整體區域視頻)、以及與由視點移動信息指定的特定的區域(以下，稱為視聽區域Av)對應地決定的視頻(以下，稱為視聽區域視頻)。然后，服務器I將視聽區域視頻發送給客戶機2。在客戶機2中，在客戶機2的顯示區域(以下，稱為顯示區域Ad)顯示發送來的視聽區域視頻的整體或其一部分。圖11表示這些各區域之間的關系。另外，整體區域Aw由在圖中通過小的四邊形表示的分割區域(后述)的集合構成。視聽區域Av也相同。其中，顯示區域Ad由客戶機2中的顯示能力而決定，因此其決定為與分割區域的劃分無關。此外，該視點移動信息不僅包含視聽區域視頻中的上下左右方向的視點移動的信息，還包含用于放大或縮小視聽區域視頻的分辨率的信息。通過利用該視點移動信息來決定視聽區域Av，在客戶機2中能夠以更高的分辨率視聽畫面內的特定的區域的視頻，或者以更低的分辨率一次性俯視原始視頻的整體圖像或多個視頻。這樣，在本實施方式中，在客戶機2內的視點移動信息決定部中決定用于決定視聽區域視頻的大小與位置，或者用于放大或縮小視聽區域視頻的視點移動信息。在決定過程中，例如能夠利用過去的該用戶的視聽歷史、其他用戶的視聽歷史、視聽用戶簡檔、多個視頻之間的關聯性、視頻提供者對各視頻的加權、視頻內的目標的移動信息、或者當前的物理位置和場所信息等各種因素。對于這一點的伴隨例示的詳細的說明將在后面進行。為了實現這樣的功能，在服務器I中首先進行根據從視頻信號輸入部輸入的原始的非壓縮的視頻而生成視頻編碼比特流(以下，又簡稱為比特流)的處理。該視頻編碼比特流以各分割區域為單位而生成，所述各分割區域是將原始的視頻的視頻區域分割為一個以上的區域而獲得。在以下的說明中，將對每個分割區域生成的比特流稱為分割區域視頻比特流。服務器I預先生成這樣的分割區域視頻比特流，并預先存儲在例如由HDD(硬盤驅動器)等存儲裝置構成的視頻比特流組存儲部40中。此外，在服務器I中，與多個分辨率對應地生成該分割區域視頻比特流。然后，將這樣生成的與各分辨率對應的分割區域視頻比特流預先存儲在視頻比特流組存儲部40內。這里，如圖1所示，視聽區域視頻比特流按照低、中、高的各分辨率存儲(參照圖1)。這一點與所述的非專利文獻3以及專利文獻I相同。然后，服務器I提取與根據包含上下左右的位置、分辨率信息的視點移動信息確定的視聽區域Av對應的分割區域視頻比特流，并將由這些構成的比特流(以下，稱為視聽區域視頻比特流)發送給客戶機2。另外，在本實施方式中，如后所述，視聽區域視頻比特流構成為單一流。由此，即使從多個客戶機2發送了上下左右的位置、分辨率不同的各種視點移動信息的情況下，服務器I也能夠提取與根據視點移動信息確定的區域以及分辨率對應的比特流而發送給客戶機2。另外，本實施方式的網絡3例如是因特網，但所使用的協議沒有特另IJ限制。[服務器的結構例]接著，參照圖2，說明服務器I的結構例。圖2是表示了服務器I的內部結構例的方框圖。對服務器I連接有視頻信號輸入部10。此外，服務器I中包含視頻區域分割處理部20、部分區域編碼處理部30、視頻比特流組存儲部40、多流信息存儲部50。視頻信號輸入部10對服務器I輸入視頻信號，例如能夠由廣播用攝影機、監視攝影機或用于電視會議等的攝影機構成，但并不限制于此。視頻信號輸入部10例如也可以經由網絡連接到服務器I。視頻區域分割處理部20將由從視頻信號輸入部10輸入的視頻信號構成的視頻區域分割為具有一個或者一個以上的分辨率的一個或一個以上的區域。部分區域編碼處理部30對由視頻區域分割處理部20生成的各分辨率級別中的各分割區域的視頻信號進行編碼，從而生成分割區域視頻比特流。這里進行的編碼以在各分割區域之間沒有對于移動矢量、量化系數以及量化參數等編碼信息的預測關系的形態進行。作為編碼方式，例如能夠使用MPEG-2或MPEG-4SP、H.263、H264等，但并不限定于此。視頻比特流組存儲部40將在部分區域編碼處理部30中生成的多個分割區域視頻比特流按照分辨率的每個等級而分類存儲(參照圖1)。多流信息存儲部50對與在部分區域編碼處理部30中生成的各分割區域視頻比特流的編碼處理和質量有關的信息、以及用于表示各分割區域屬于整體區域Aw中的哪個位置的位置信息進行管理。此外，多流信息存儲部50對后述的視頻元信息進行保存管理。另夕卜，視頻元信息只要保存在在本實施方式的系統中能夠利用的場所即可，其保存場所未被特別限制。接著，說明從客戶機2發送的視點移動信息。在本實施方式的視點移動信息中包含以下的信息。.對于整體區域Aw的視點的位置信息、或者位置的變化信息；.分辨率信息、或者分辨率的變化信息。再次返回圖2繼續說明，服務器I中包含視點信息接收部60、客戶機狀態管理部70、單一流生成部80、單一流發送部90。視點信息接收部60接收從客戶機2經由網絡3發送的視點移動信息，從而將其提供給客戶機狀態管理部70。客戶機狀態管理部70進行由視點信息接收部60所接收的視點移動信息的管理、對語音、活動圖像等進行流配送時在與客戶機2之間交換的控制數據(流協議標準消息)的發送接收等。 客戶機狀態管理部70進行作為發送狀態信息而對客戶機2的發送狀態信息接收部208發送包含以下的信息中的其中一個或其全部的處理。.表示在發送來的視聽區域視頻比特流中包含的視聽區域Av在整體區域Aw內的位置的視聽區域信息；.對于整體區域Aw或視聽區域Av中包含的視頻的視頻元信息。在發送狀態信息內，視聽區域信息是在單一流生成部80內部決定的信息，如上所述，該視聽區域信息包含視聽區域Av相對于整體區域Aw的相對位置信息。以下，說明該相對位置信息的生成方法。整體區域Aw由多個分割區域視頻構成，因此發送的視聽區域Av的視頻由構成整體區域Aw的多個分割區域視頻的一部分構成。從而，能夠采用為視聽區域Av的位置是在整體區域Aw內由分割區域的邊界線劃分的位置(參照圖11)。另一方面，由視點移動信息決定的顯示區域Ad相對于整體區域Aw可自由地確定。因此，視聽區域Av成為在由構成整體區域Aw的分割區域的一部分構成的部分區域中確定最佳的區域的信息。這里，最佳例如是指與由視點移動信息決定的顯示區域Ad重疊的面積最大的情況。另一方面，在發送狀態信息內，視頻元信息是在客戶機側在視點移動信息的決定中利用的信息，其包含與視頻本身有關的信息和與視頻的視聽歷史有關的信息。如下表示視頻元信息的例子。 用于表示在整體區域Aw內的哪個位置有怎樣的視頻的信息，例如在整體視頻Aw由一個視頻構成時，表示各位置上包含什么樣的對象(建筑物、汽車、產品、人物等)的信息。.在整體視頻Aw由多個不同視頻構成時，各視頻的風格信息、演員信息、題目信息、視頻制作者信息、語言信息、拍攝了視頻的位置的信息、與內容相關聯的位置的信息。.用于表示當前或過去對整體區域Aw內的哪個視頻區域什么用戶視聽了何種程度的頻度信息、以及各用戶對視頻的評價信息(例如，5個階段)。 用于表示與客戶機2的視聽用戶有關系的多個用戶(所謂的朋友圈關系用戶)當前或過去將該視頻視聽了何種程度的頻度信息。.當視頻為廣告的情況下，廣告對象物的風格或產品信息、消費群體年齡或消費群體性別信息等信息。這些還可以進一步包含用戶對于廣告的視聽歷史信息。客戶機狀態管理部70進一步在與客戶機2的流客戶機處理部203 (后述)之間，交換基于流協議的消息。基于流協議的消息例如是用于請求視頻信號的發送、暫停、停止等的控制消息、以及用于維持會話的消息等。另外，在本例中，舉例了將發送狀態信息與視聽區域視頻比特流的分組分開發送的結構，但也可以是將發送狀態信息存儲在視頻比特流的分組的報頭部分后發送給客戶機2的方式。此時，從單一流發送部90與單一流一并對客戶機2發送發送狀態信息,而非從客戶機狀態管理部70發送。相對于此，客戶機2的視頻流接收部201從報頭部分取出發送狀態信息，從而將其發送給視點移動信息決定部209 (參照圖3)。再次返回圖2繼續說明。單一流生成部80從視頻比特流組存儲部40讀取用于構成根據由視點信息接收部60接收到的視點移動信息而確定的視聽區域Av的多個分割區域視頻比特流(每個分割 區域的特定分辨率的比特流)。然后，將讀取到的多個比特流再構成為單一流而輸出。作為該再構成的方法，能夠利用所述的非專利文獻3或專利文獻I的技術，因此省略進一步具體的說明。單一流發送部90對在單一流生成部80中生成的單一流進行分組化，并將分組化后的單一流發送給客戶機2。此外，本實施方式的服務器I包含語音信號輸入部100-1 η、語音編碼處理部110、元信息輸入部120、語音編碼比特流/語音元信息存儲部130、語音比特流提取/混合處理部140、語音比特流發送部150。對此，由于能夠利用所述的非專利文獻3或專利文獻I的技術，因此省略進一步具體的說明。[客戶機的結構例]接著，參照圖3的方框圖，說明客戶機2的內部結構例。在客戶機2中包含視頻流接收部201、視頻解碼部202、流客戶機處理部203、客戶機管理部204、語音流接收部205、語音解碼部206、語音輸出部207。這些結構要素例如可與專利文獻I中記載的技術一樣構成，因此省略詳細的說明。此外，客戶機2包含發送狀態信息接收部208、視點移動信息決定部209、視點信息發送部210、視頻顯示控制部212、視頻顯示部213、用戶/終端信息管理部230。發送狀態信息接收部208接收從服務器I發送的發送狀態信息、即視聽區域Av相對于整體區域Aw的位置信息，從而發送給視點移動信息決定部209。視點移動信息決定部209基于在發送狀態信息接收部208接收到的發送狀態信息中包含的視頻元信息、從用戶/終端信息管理部230輸入的用戶/終端信息，自動地生成視點移動信息，而非使用用戶界面由用戶來指定。然后，視點移動信息決定部209將所生成的視點移動信息輸出給視點信息發送部210。作為決定方法的例子，可考慮以下的方法。
(I)[基于畫面內對象的位置和移動的視點移動]此時，利用用于表示整體區域Aw內的哪個位置有什么樣的視頻的信息來決定視點移動信息。這里，作為在視頻內受到關注的信息，例如在整體視頻Aw由一個視頻構成的情況下是用于表示各位置上包含什么樣的對象(建筑物、汽車、產品、人物等)的信息。進一步說明具體的例子，在足球視頻的配送服務中，假設將俯視了比賽場整體的視頻進行配送的定點視頻配送服務的情況下，在整體區域Aw的畫面內，多個選手參賽。對畫面內的各選手和足球分別賦予位置信息。根據該位置信息，能夠自動地決定視點移動信息，以便以特定的選手和足球為中心的視頻成為視聽區域Av的中心。或者，在沒有對象的位置信息的情況下，也通過在客戶機內自動檢測對象的位置，并基于檢測到的對象的位置，能夠決定視點移動信息。作為來自接收視頻的高速的對象識別技術，可利用在Wei Zeng, Jun Du, WenGao, iQingming Huang.Robust moving object segmentation on H.264/AVC compressedvideo using the block-based MRF model, ’ Real-Time Imaging, pp.290-299，2005 等中表示的技術，因此省略對此進行詳細的說明。(2)[基于視頻類型或演員信息的視點移動]當整體視頻Aw由多個不同的視頻構成的情況下，元信息可具有構成整體視頻Aw的各視頻的風格信息和演員信息、題目信息、視頻制作者信息、語言信息。例如，假設連續劇視頻配送服務或音樂樂曲的宣傳視頻配送服務等服務。此時，能夠基于作為發送狀態信息而從服務器I對客戶機2發送的用戶視聽歷史信息、簡檔信息、或者存儲在客戶機2中的用戶歷史信息、簡檔信息，按用戶喜歡的連續劇類型或藝術家的順序來決定視點移動信息。另外，其排序可設為如下的順序:(a)根據對于至今存儲的視聽歷史中包含的各類型或藝術家的視聽頻度信息，簡單地對每個視頻進行排序而獲得的順序；或者(b)根據類型或藝術家的屬性信息而聚類并分組后，對視頻的每個組進行排序而獲得的順序。作為該排序的實現方式，一般通過基于內容的過濾(content-based filtering)技術來實現(參照:Collaborative and Content-based Filtering for Item Recommendation on SocialBookmarking Websites.T.Bogers and A.Van den Bosch.1n:Proceedings of the ACMRecSysj 09workshop on Recommender Systems and the Social Web, pages9-16, 2009)(3)[基于位置信息的視點移動]假設整體視頻Aw由多個不同的視頻構成，且各視頻具有拍攝位置信息的視頻服務。該視頻服務例如用于用戶投稿型的視頻共享服務、由旅游節目為代表的視頻配送服務、或者自治團體配送的觀光視頻配送服務中。以可使用GPS等而自動取得的客戶機2的當前的位置信息為關鍵，考慮構成整體視頻Aw的視頻的位置信息和客戶機2的物理位置之間的關系，決定用于移動視聽區域Av的視點移動信息。按照離客戶機2的當前位置的距離由近到遠的順序對視頻組進行排序，并按照該順序移動視頻之間，因此能夠決定視點移動信息。(4)[基于其他用戶的視聽頻度的視點移動]假設對整體區域Aw內的各視頻區域(分割視頻)賦予用于表示當前或過去客戶機2的用戶以外的用戶視聽了何種程度的頻度信息、以及各用戶對視頻的評價信息(例如，5個階段)。此時，通過考慮視聽頻度與評價信息，算出分割視頻的順序，能夠自動地確定應視聽的視頻。例如，通過簡單將視聽頻度與評價信息相乘，能夠算出用于確定每個分割視頻的順序的指標。進而，通過利用用于表示與客戶機2的視聽用戶有關系的多個用戶(朋友圈關系用戶)當前視聽哪個視頻、或者過去視聽了何種程度的頻度，決定最佳的移動路徑。由此，能夠決定視點移動信息。(5)[包含廣告視頻的視頻配送服務中的視點移動]在上述的各種視頻配送服務和系統中，假設包含廣告視頻的視頻配送服務。此時，基于廣告對象物的風格、產品信息、消費群年齡、消費群性別信息等、以及視聽用戶的簡檔，能夠決定視點移動信息。另外，在上述的情形(I) (5)均在決定視點移動信息時，需要考慮對于構成視聽區域Av的分割視頻的每一個的“合理性”(例如，在位置的例子中，拍攝了視頻的物理位置與客戶機2當前存在的物理位置的貼近度)、以及在整體視頻Aw內的分割視頻的貼近度即畫面內的移動距離而最有效地移動視頻之間。本課題從以往開始作為旅行商問題(Traveling Salesman Problem)而研究，提出了多個算法(例如，參照Hassin, R.;Rubinstein, S.(2000), iBetter approximations for max TSPj, InformationProcessing Letters75:pp.181-186)。這里，從用戶/終端信息管理部230輸入的用戶/終端信息例如是指過去的該用戶的視聽歷史和用戶簡檔等的用戶信息、當前的客戶機工作的終端的物理位置和場所信息、使用中的CPU信息等的信息，但并不限定于此。視點信息發送部210將在視點移動信息決定部209中決定的視點移動信息發送給服務器I。視點移動信息決定部209將在視點移動信息決定部209內部決定的視點移動信息、以及構成來自服務器I的發送狀態信息的用于表示視聽區域Av相對于整體區域Aw的位置信息的視聽區域信息輸出給顯示控制部212。對顯示控制部212輸入在視頻解碼部202中解碼后的視聽區域視頻比特流的解碼視頻信號(以下，稱為視聽區域解碼信號)。此外，從視點移動信息決定部209對顯示控制部212輸入用于表示該視聽區域解碼信號的位置的視聽區域信息。顯示控制部212利用視聽區域信息與視點移動信息，將視聽區域解碼信號換算為顯示區域Ad內的位置，從而調整顯示位置。此后，顯示控制部212將調整了顯示位置的解碼視頻信號(以下，稱為顯示區域解碼信號)輸出給顯示部213。顯示部213例如由IXD (液晶顯示器)或有機EL (電致發光)面板等構成，將從顯示控制部212提供的顯示區域解碼信號作為圖像而顯示在顯示畫面上。通過進行這樣的處理，即使用戶不通過界面等有意移動視聽區域，也會自動地變更視頻的視聽區域和分辨率，因此通過被動的各種視頻的視聽也能夠發現新的視頻。[傳輸系統的動作例]接著，參照圖4的流程圖來說明本例的傳輸系統的服務器I與客戶機2的處理例。首先，服務器I取得從視頻信號輸入部10輸出的視頻信號(步驟SAl )。接著，視頻區域分割處理部20將在步驟SAl中取得的視頻分割為一個以上的區域(步驟SA2)。然后，部分區域編碼處理部30根據構成被分割的各區域的視頻信號，生成分辨率不同的多個比特流，并將其存儲在視頻比特流組存儲部40 (步驟SA3)。接著，客戶機2發送用于對服務器I請求發送比特流的發送請求和初始的視點移動信息(步驟SA4)。
服務器I的客戶機狀態管理部70接收發送請求，如果視點信息接收部60接收初始視點移動信息(步驟SA5)，則單一流生成部80從視頻比特流組存儲部40提取比特流。然后，單一流發送部90將所提取的比特流發送給客戶機2 (步驟SA6)。圖12 (a)表示基于初始視點移動信息而確定的顯示區域Ad的例子。在本例中，與初始的顯示區域Ad的范圍對應地，單一流生成部80確定包含該范圍的視聽區域Αν。如上所述，該視聽區域Av由多個分割區域構成。因此，單一流生成部80確定與各分割區域對應的視頻比特流，并將它們連接，從而能夠生成應發送的單一流。在客戶機2中，視頻流接收部201接收比特流，視頻解碼部202對比特流進行解碼，由顯示控制部212將解碼而獲得的顯示區域解碼信號作為圖像而顯示在顯示部213(步驟 SA7)。這里，在客戶機2中的視點移動信息決定部209生成了新的視點移動信息時(步驟SA8)，視點信息發送部210將所生成的視點移動信息發送給服務器I (步驟SA9)。此后，若在服務器I的視點信息接收部60接收了視點信息，則同樣生成單一流，并能夠進行對客戶機2的發送。然后，客戶機2能夠將所接收到的流繼續呈獻給用戶(步驟SA6 步驟S9)。在圖12(b)中,通過視點移動,顯示區域Ad在視聽區域Av的范圍內移動。但是，在該階段，由于顯示區域Ad在視聽區域Av的范圍內，因此無需更新與視聽區域Av對應的視聽區域視頻比特流。另一方面，在圖12 (c)中，通過視點移動，顯示區域Ad在視聽區域Av的范圍外移動。在該狀態下，由于顯示區域Ad是視聽區域Av的范圍外，因此設定新的視聽區域Αν，并與此對應地更新視聽區域視頻比特流。[第I實施方式的效果]根據上述的第I實施方式，即使用戶不通過界面等有意地移動視聽區域，在客戶機2內部也自動地變更視頻的視聽區域和分辨率，因此通過被動的各種視頻的視聽，也能夠發現新的視頻。此外，以在客戶機2的內部封閉的形式實現本控制，從而不會對至今為止的服務器結構和動作、服務器/客戶機之間的信號、控制、客戶機結構的大部分帶來影響就能夠獲得所述的效果。〈2.第2實施方式〉接著，說明本發明的第2實施方式。在本實施方式中，說明由服務器來實施視點移動信息的決定，且將該信息經由客戶機返回到服務器的例子。在本實施方式的說明中，對于與所述的第I實施方式基本相同的要素，賦予相同標號，從而避免了說明的繁雜。另外，按照以下順序進行說明。(I)傳輸系統的概要(2)服務器的結構例(3)客戶機的結構例(4)傳輸系統的動作例[傳輸系統的概要]首先，通過與圖1的對比來說明本例的傳輸系統的概要。在圖1中，視點移動信息從客戶機2送到服務器I。相對于此，在本實施方式中，在服務器I中決定視點移動信息，并將該信息發送給客戶機2。此后的處理與所述的第I實施方式相同。
服務器I在其內部持有視點移動信息決定部，在該決定部中決定視點移動信息后，將其發送給客戶機2。視點移動信息的決定能夠與所述的第I實施方式一樣進行。此夕卜，在該第2實施方式中，通過在服務器內決定視點移動信息，能夠有效地實施視點移動信息。例如，可使用如下的技術:在服務器內決定視點移動信息的情況下，分析大量用戶的大量的視聽歷史，從而利用具有相同喜好的用戶之間的特性的協調過濾(c ο 11 ab ο r a t i V efiltering) 技術(參照:Collaborative and Content-based Filtering for ItemRecommendation on Social Bookmarking Websites.T.Bogers and A.Van den Bosch.1n:Proceedings of the ACM RecSys’ 09workshop on Recommender Systems and theSocial Web, pages 9-16，2009.)。在客戶機2中，基于從服務器I接收到的視點移動信息而進行顯示控制，且在客戶機2中，顯示與顯示區域Ad對應的圖像，同時將該視點移動信息返回給服務器I。之后的服務器I的處理與實施例1相同。[服務器的結構例]接著，參照圖5，說明服務器I的結構例。圖5是表示了服務器I的內部結構例的方框圖。本實施方式的服務器I與上述的第I實施方式的不同點在于，還包含視點移動信息決定部150。在視點移動信息決定部150中決定的視點移動信息經由視點移動信息發送部160而發送到客戶機2。[客戶機的結構例]接著，參照圖6，說明客戶機2。客戶機2中包含發送狀態信息接收部208、視點區域管理部2209、視點信息發送部210、顯示控制部212、顯示部213、視點移動信息接收部220，但該客戶機2與第I實施方式不同，不具有視點移動信息決定部。發送狀態信息接收部208接收從服務器I發送的發送狀態信息、即作為視聽區域Av相對于整體區域Aw的相對位置信息的視聽區域信息，并將其輸出給視點區域管理部2209。視點移動信息接收部220從服務器I接收視點移動信息，并將其輸出給視點區域管理部2209。視點區域管理部2209將來自視點移動信息接收部220的視點移動信息輸出給視點信息發送部210。視點信息發送部210將由視點區域管理部2209接收的視點移動信息發送給服務器I。視點區域管理部2209將在由發送狀態信息接收部208接收的發送狀態信息中包含的視聽區域信息、以及經由視點移動信息接收部220接收的來自服務器的視點移動信息發送給顯示控制部212。[傳輸系統的動作例]接著，參照圖7的流程圖來說明本例的傳輸系統的服務器I與客戶機2的處理的例子。首先，由服務器I取得從視頻信號輸入部10輸出的視頻信號(步驟SB1)。接著，視頻區域分割處理部20將在步驟SBl中取得的視頻分割為一個以上的區域(步驟SB2)。然后，部分區域編碼處理部30根據用于構成被分割的各區域的視頻信號而生成分辨率不同的多個比特流，并將其存儲在視頻比特流組存儲部40 (步驟SB3)。接著，客戶機2對服務器I發送發送請求，以便其發送比特流(步驟SB4)。服務器I的客戶機狀態管理部70如果接受到發送請求(步驟SB5)，則由單一流生成部80從視頻比特流組存儲部40提取由初始視點移動區域確定的比特流，并由單一流發送部90對客戶機2發送所提取的視聽區域視頻比特流(步驟SB6)。在客戶機2中，由視頻流接收部201接受視聽區域視頻比特流，視頻解碼部202對比特流進行解碼，由顯示控制部212將解碼而獲得的顯示區域解碼信號作為圖像而顯示在顯示部213 (步驟SB7)。這里，當由服務器I的視點移動信息決定部150生成了視點移動信息時(步驟SB8)，經由服務器I的視點移動信息發送部160，將視點移動信息發送給客戶機2 (步驟SB9)。如果視點移動信息決定部150不生成視點移動信息，則繼續發送當前的比特流(單一流)(步驟12)。客戶機2將接收到的視點移動信息立即發送給服務器I (步驟SB10)。若在服務器I的視點信息接收部60中接收視點移動信息，則由單一流生成部80從視頻比特流組存儲部40提取由視點移動信息確定的多個比特流(步驟SB11)，生成視聽區域視頻比特流，并進一步由單一流發送部90發送給客戶機2 (步驟SB12)。在客戶機2中，由視頻解碼部202對由視頻流接收部201接收到的單一流進行解碼，并由顯示控制部212將解碼而獲得的視聽區域解碼信號進行位置調整并作為顯示區域解碼信號而顯示在顯示部213 (步驟SB7)。在服務器I中，為了檢測是否與以上一樣有視點移動信息生成，轉移到步驟SB8(步驟SB 12 —步驟SB8)。[第2實施方式的效果]根據上述的第2實施方式，即使用戶不通過界面等而有意地移動視聽區域，也能夠在客戶機2內部自動地變更視頻的視聽區域和分辨率，因此即便通過被動的各種視頻的視聽，也能夠發現新的視頻。特別是由于在服務器側能夠決定視點移動信息，因此能夠簡單地實現基于其他用戶的視聽歷史或視頻信息的特性等各種大量的信息而考慮的細微的移動控制。此外，將該信息發送給客戶機，此后與所述的第I實施方式一樣動作，因此不會對服務器和客戶機的主要的結構和動作、服務器/客戶機之間的信號和控制帶來較大的變更就能夠獲得所述的效果。另外，第2實施方式中的其他的動作和優點與所述的第I實施方式基本相同，因此省略進一步詳細的說明。此外，在該第2實施方式中，將視點移動信息決定部包含在服務器I中，但也可以是將視點移動信息決定部包含在服務器I以外的其他服務器中的結構。此時的結構與動作能夠通過以上的記載來理解，因此省略詳細的說明。<3.第3實施方式〉接著，說明本發明的第3實施方式。在本實施方式中，說明在服務器中實施視點移動信息的決定，且不會將該信息發送給客戶機2，而是用于服務器內的比特流提取處理的例子。在本實施方式的說明中，對于與所述的第I實施方式基本相同的要素，賦予相同標號，從而避免說明繁雜。
另外，按照以下的順序進行說明。(I)傳輸系統的概要(2)服務器的結構例(3)客戶機的結構例(4)傳輸系統的動作例[傳輸系統的概要]首先，通過與圖1的對比來說明本例的傳輸系統的概要。在圖1中，從客戶機2對服務器I發送了視點移動信息。相對于此，在該第3實施方式中，在服務器I中決定視點移動信息，并將該信息直接用于服務器I內的單一流生成部。在客戶機2與服務器I之間不進行視點移動信息的發送接收。服務器I在其內部持有視點移動信息決定部。該視點信息決定部的結構可以與所述的第2實施方式相同。在服務器I中決定的視點移動信息經由客戶機狀態管理部而輸出到單一流生成部，并提取了對應的比特流之后，生成視聽區域視頻比特流，并將其發送給客戶機2。[服務器的結構例]接著，參照圖8說明服務器I的結構例。圖8是表示了服務器I的內部結構例的方框圖。與所述的第I實施方式的不同點在于，本實施方式的服務器I還具有視點移動信息決定部150。視點移動信息決定部150決定視點移動信息，并將其輸出給客戶機狀態管理部70。客戶機狀態管理部70將視點移動信息輸出給單一流生成部80。此后的處理與第I和第2實施方式相同。但是，在本實施方式中，由客戶機狀態管理部70對客戶機2發送的發送狀態信息中，不僅包含作為視聽區域Av相對于整體區域Aw的相對位置信息的視聽區域信息，還包含視點移動信息。[客戶機的結構例]接著，參照圖9說明客戶機2。在客戶機2中，包含發送狀態信息接收部208、視點區域管理部3209、顯示控制部212、顯示部213，但不存在用于發送視點移動信息的處理部。客戶機2的發送狀態信息接收部208接收從服務器I發送的發送狀態信息、即視聽區域Av相對于整體區域Aw的相對位置信息和視點移動信息，并將其輸出給視點區域管理部3209。視點區域管理部3209與由發送狀態信息接收部208接收到的用于表示視聽區域Av相對于整體區域Aw的位置信息的視聽區域信息相同地將視點移動信息輸出給顯示控制部212。此外，從視點移動信息決定部209對顯示控制部212輸入用于表示該視聽區域解碼信號的位置的視聽區域信息。顯示控制部212利用視聽區域信息與視點移動信息，將視聽區域解碼信號換算為顯示區域Ad內的位置，從而進行顯示位置的調整。此后，顯示控制部212將調整了顯示位置的解碼視頻信號(以下，稱為顯示區域解碼信號)輸出到顯示部213。[傳輸系統的動作例]接著，參照圖10的流程圖說明本例的傳輸系統的服務器I與客戶機2的處理的例子。首先服務器I取得從視頻信號輸入部10輸出的視頻信號(步驟SCI)。接著，視頻區域分割處理部20將在步驟SCl中取得的視頻分割為一個以上的區域(步驟SC2)。然后，部分區域編碼處理部30根據用于構成分割后的各區域的視頻信號，生成分辨率不同的多個比特流，并將其存儲在視頻比特流組存儲部40 (步驟SC3)。接著，客戶機2對服務器I發送發送請求，以便其發送比特流(步驟SC4)。這里，在服務器I中，進行基于既定的初始視點移動信息而確定的比特流的提取，并由單一流生成部80構成單一流,并由單一流發送部90發送給客戶機2 (步驟SC6)。在客戶機2中，由視頻解碼部202對由視頻流接收部201接收的單一流進行解碼，并由顯示控制部212將解碼而獲得的視聽區域解碼信號進行位置調整并作為顯示區域解碼信號而顯示在顯示部213 (步驟SC7)。這里，服務器I的視點移動信息決定部150生成視點移動信息(步驟SC8)，由單一流生成部80從視頻比特流組存儲部40提取根據視點移動信息而確定的多個比特流(步驟SC9)，生成視聽區域視頻比特流，并進一步由單一流發送部90發送給客戶機2(步驟SC10)。此外，在上述視頻的顯示過程中，視點移動信息決定部150隨時生成視點移動信息，并將其反映到單一流生成部80的動作中(步驟SClO —步驟SC8)。[第3實施方式的效果]根據上述的第3實施方式，即使用戶不通過界面等而有意地移動視聽區域，也能夠在客戶機2內部自動地變更視頻的視聽區域和分辨率，因此即便通過被動的各種視頻的視聽，也能夠發現新的視頻。特別是針對視點移動信息，由于在服務器、客戶機之間不用進行發送接收，全部在服務器側決定，并反映到視聽區域視頻，因此如以往的電視廣播那樣簡化了客戶機側的處理。另外，本發明并不限定于所述的實施方式，在不脫離本發明的宗旨的范圍內可施加各種變更。例如，在本實施方式中，設由視點移動信息決定部自動地決定視點移動信息，但也可以與其并用，也可以設為能夠從客戶機上的用戶界面操作視點移動信息的結構。其中的其他的結構和優點與所述的第I實施方式或第2實施方式相同，因此省略其詳細的說明。
權利要求
1.一種傳輸系統，其具有發送裝置和視點移動信息決定部，其中， 所述發送裝置包含: 視頻區域分割處理部，將輸入視頻信號的視頻區域分割為規定數目的區域，且生成與通過所述分割而獲得的各分割區域對應的多個區域分割視頻信號； 編碼處理部，對所述多個區域分割視頻信號進行編碼，生成多個視頻比特流； 視頻比特流組存儲部，存儲在所述編碼處理部中生成的多個視頻比特流； 傳輸用比特流生成部，基于在所述視點移動信息決定部中生成的視點移動信息，從所述視頻比特流組存儲部提取所述視頻比特流，從而生成傳輸用的視頻比特流；以及 視頻比特流發送部，將在所述傳輸用比特流生成部中生成的所述傳輸用的視頻比特流發送給所述接收裝置， 所述視點移動信息決定部決定用于從所述視頻區域中確定視聽對象的區域的視點移動信息， 此外，所述視點移動信息決定部基于既定的數據，不依賴于用戶的指定，自動地決定所述視點信息。
2.如權利要求1所述的傳輸系統，其中， 還具有接收裝置， 所述視點移動信息決定部包含于所述接收裝置中， 所述視點移動信息決定部將所決定的視點移動信息發送給所述發送裝置。
3.如權利要求1所述的傳輸系統,其中， 所述視點移動信息決定部包含于所述發送裝置中。
4.如權利要求1所述的傳輸系統,其中， 所述視點移動信息決定部作為所述發送裝置以外的其他的服務器的一部分而被包含。
5.如權利要求1至4的任一項所述的傳輸系統，其中， 所述既定的數據是過去的該用戶的視聽歷史、其他用戶的視聽歷史、視聽用戶簡檔、多個區域分割視頻之間的關聯性、由視頻提供者賦予的對各區域分割視頻的權重、在所述視頻區域內的對象的移動信息、用戶當前的物理位置、或者對所述位置附加的信息中的任一個。
6.一種發送裝置，包含: 視頻區域分割處理部，將輸入視頻信號的視頻區域分割為規定數目的區域，且生成與通過所述分割而獲得的各分割區域對應的多個區域分割視頻信號； 編碼處理部，對所述多個區域分割視頻信號進行編碼，生成多個視頻比特流； 視頻比特流組存儲部，存儲在所述編碼處理部中生成的多個視頻比特流； 所述視點移動信息決定部，決定用于從所述視頻區域中確定視聽對象的區域的視點移動信息； 傳輸用比特流生成部，基于在所述視點移動信息決定部中生成的視點移動信息，從所述視頻比特流組存儲部提取所述視頻比特流，從而生成傳輸用的視頻比特流；以及 視頻比特流發送部，將在所述傳輸用比特流生成部中生成的所述傳輸用的視頻比特流發送給所述接收裝置， 此外，所述視點移動信息決定部基于既定的數據，不依賴于用戶的指定，自動地決定所述視點信息。
7.—種傳輸方法,其中,所述傳輸方法包括: 視頻區域分割處理步驟，將輸入視頻信號的視頻區域分割為規定數目的區域，且生成與通過所述分割而獲得的各分割區域對應的多個區域分割視頻信號； 編碼處理步驟，對所述多個區域分割視頻信號進行編碼，生成多個視頻比特流； 將在所述編碼處理步驟中生成的多個視頻比特流存儲在視頻比特流組存儲部中的步驟； 傳輸用比特流生成步驟，基于在所述視點移動信息決定步驟中生成的視點移動信息，從所述視頻比特流組存儲部提取所述視頻比特流，從而生成傳輸用的視頻比特流；以及視頻比特流發送步驟，將在所述傳輸用比特流生成步驟中生成的所述傳輸用的視頻比特流發送給接收裝置，在所述視點移動信息決定步驟中，決定用于從所述視頻區域中確定視聽對象的區域的視點移動信息， 此外，在所述視點移動信息決定中，基于既定的數據，不依賴于用戶的指定，自動地決定所述視點信息。
8.一種計算機程序，其使計算機執行權利要求7所述的方法。
全文摘要
在能夠自由地移動視聽區域的高精細的視頻信號的配送中，不依賴于用戶的操作就決定并控制視點移動。包括視頻區域分割處理步驟，將輸入視頻信號的視頻區域分割為規定數目的區域，且生成與通過所述分割而獲得的各分割區域對應的多個區域分割視頻信號；編碼處理步驟，對所述多個區域分割視頻信號進行編碼，生成多個視頻比特流；將在所述編碼處理步驟中生成的多個視頻比特流存儲在視頻比特流組存儲部中的步驟；傳輸用比特流生成步驟，基于在所述視點移動信息決定步驟中生成的視點移動信息，從所述視頻比特流組存儲部提取所述視頻比特流，從而生成傳輸用的視頻比特流；以及視頻比特流發送步驟，將在所述傳輸用比特流生成步驟中生成的所述傳輸用的視頻比特流發送給接收裝置。在所述視點移動信息決定步驟中，決定用于從所述視頻區域中確定視聽對象的區域的視點移動信息。此外，在所述視點移動信息決定中，基于既定的數據，不依賴于用戶的指定，自動地決定所述視點信息。
文檔編號H04N21/236GK103190156SQ20118004564
公開日2013年7月3日 申請日期2011年9月21日 優先權日2010年9月24日
發明者笠井裕之, 宇地原直史 申請人:株式會社Gnzo