將視頻編碼成較低分辨率流的制作方法
【專利說明】
【背景技術】
[0001]過去，稱為“超分辨率”的技術已在衛星成像中被用來提高所捕捉圖像的分辨率超過圖像捕捉元件的固有分辨率。這可以在衛星(或其某個部件)移動對應于像素的幾分之一的量的情況下實現，從而捕捉在空間上重疊的樣本。在重疊區中，可以通過對與該區重疊的兩個或更多較低分辨率樣本的值之間進行外推(例如通過求平均)來生成較高分辨率樣本。較高分辨率樣本尺寸是重疊區的尺寸，并且較高分辨率樣本的值是外推值。
[0002]該構思在圖1中示意性地圖示出。考慮具有單個正方形像素P的衛星的情況，其從地面上的IkmX Ikm的區域捕捉樣本。如果衛星然后移動，使得被像素捕捉的區域在平行于像素P的邊緣中的一個的方向上移位半公里，并且然后獲取另一樣本，則衛星于是具有覆蓋寬度0.5km的重疊區P’的兩個可用樣本。隨著此過程的發展，在移位的方向上以0.5km間隔獲取樣本，并且潛在地還執行垂直于原始移位偏移半個像素的連續掃描，有可能構建0.5 kmX0.5 km而不是IkmX Ikm分辨率的圖像。將認識到的是本示例是出于說明性目的給出的一一還有可能構建精細得多的分辨率，并且從更復雜的運動模式這樣做。
[0003]最近，已提出超分辨率的概念以便在視頻編碼中使用。其一個潛在應用類似于上文所述的情形一一如果用戶的照相機在幀之間在物理上移位對應于非整數像素(例如因為其是手持式照相機)的量，并且此運動可以被檢測到(例如，使用運動估計算法)，則有可能通過在其中兩個幀的像素部分地重疊的像素樣本之間進行外推而創建具有比照相機的圖像捕捉元件的固有分辨率更高的分辨率的圖像。
[0004]另一潛在應用是故意地降低每個幀的分辨率，并且在幀之間引入人為移位(與由于照相機的實際運動而引起的移位相反)。這使得能夠降低每幀的位速率。參考圖2，比方說照相機捕捉某個較高分辨率的像素P’(可能在初始量化級之后)。每個幀F中的該分辨率下的編碼將招致某個位速率。在某個時間t處的第一幀F(t)中，編碼器因此創建具有尺寸P的像素的幀的較低分辨率版本，并且在較低分辨率下將這些進行發射和編碼。例如，在圖2中，通過對四個較高分辨率像素的值進行平均來創建每個較低分辨率像素。在后續幀F (t+Ι)中，編碼器做同樣的事，但是光柵移位較低分辨率像素中的一個的幾分之一，在所示的示例中例如在水平和垂直方向上的半個像素。在解碼器處，然后可以通過在兩個幀的較低分辨率樣本的重疊區之間進行外推來再次地重新創建較高分辨率像素尺寸P’。更復雜的移位模式也是可能的。例如，該模式可在第一幀中的第一位置處開始，然后使光柵在第二幀中水平地移位半個(較低分辨率)像素，然后使光柵在第三幀中在垂直方向上移位半個像素，然后在第四幀中在水平方向上返回半個像素，然后在垂直方向上返回以從第一位置起重復該循環。在這種情況下，存在四個樣本可用于在解碼器處針對要重構的每個較高分辨率像素在該四個樣本之間進行外推。
【發明內容】
[0005]本發明的實施例接收視頻信號作為輸入，該視頻信號包括表示在不同的各時間的視頻圖像的多個幀，每個幀包括多個較高分辨率樣本。生成視頻圖像的多個不同投影，每個投影包括表示在較低分辨率下的視頻圖像的多個較低分辨率樣本。不同投影的較低分辨率樣本表示較高分辨率樣本的不同但重疊的群組，所述群組在視頻圖像的平面中在空間上重疊。通過將不同的投影編碼成單獨的各已編碼流來對視頻信號進行編碼，并且通過網絡將單獨編碼流中的每一個發射到接收終端。
[0006]本發明的其他實施例將視頻信號解碼，該視頻信號包括表示在不同的各時間的視頻圖像的多個幀，每個幀包括多個較高分辨率樣本。通過網絡從發射終端接收多個單獨的已編碼視頻流，已編碼視頻流中的每一個包括視頻圖像的多個不同投影中的各自不同的一個。每個投影包括表示在較低分辨率下的視頻圖像的多個較低分辨率樣本，其中，不同投影的較低分辨率樣本表示較高分辨率樣本的不同但重疊的群組，所述群組在視頻圖像的平面中在空間上重疊。將已編碼視頻流解碼從而將投影解碼。對于如下這樣生成的每個較高分辨率樣本，通過從來自各幀的不同投影的較低分辨率樣本中的一些之間的重疊區形成較高分辨率樣本來生成表示在較高分辨率下的視頻圖像的較高分辨率樣本。在從投影進行的生成之后在較高分辨率下將視頻信號輸出到屏幕。
[0007]可在發射終端、接收終端系統處或者作為將在發射或接收側運行的計算機程序代碼來體現各種實施例，或者可實施為方法。可在有形、計算機可讀存儲介質上體現計算機程序。
[0008]在另外的實施例中，可提供用于轉發視頻信號的網絡元件，該視頻信號包括表示在不同的各時間的視頻圖像的多個幀，每個幀包括多個較高分辨率樣本。該網絡元件包括收發機設備，其被布置成通過網絡從發射終端接收多個單獨的已編碼視頻流，已編碼視頻流中的每一個包括視頻圖像的多個不同投影中的各自不同的一個。每個投影包括表示在較低分辨率下的各幀的多個較低分辨率樣本，其中，不同投影的較低分辨率樣本表;^較高分辨率樣本的不同但重疊的群組，所述群組在視頻圖像的平面中在空間上重疊。該網絡元件還包括處理設備，該處理設備被配置成根據網絡、網絡元件和接收終端中的一個的條件來確定是否丟棄所述已編碼視頻流中的至少一個，使已編碼視頻中的一個或多個剩余。該收發機被布置成將一個或多個剩余的流通過網絡轉發到接收終端，但被處理設備丟棄的已編碼視頻流中的任何一個不這樣。
【附圖說明】
[0009]為了更好地理解各種實施例并示出其如何可以付諸實現，以示例的方式對附圖進行參考，在所述附圖中:
圖1是超分辨率方案的示意性表示，
圖2是超分辨率方案的另一示意性表示，
圖3是通信系統的示意性框圖，
圖4是編碼器的示意性框圖，
圖5是解碼器的示意性框圖，
圖6是編碼系統的示意性表示，
圖7是解碼系統的示意性表示，
圖8是包括多個流的已編碼視頻信號的示意性表示，
圖9是要編碼的視頻信號的示意性表示， 圖10是要編碼的視頻信號的另一示意性表示，
圖11是運動矢量與超分辨率移位的加法的示意性表示，以及圖12是要編碼的視頻信號的另一示意性表示。
【具體實施方式】
[0010]本發明的實施例提供了用于在視頻編碼中使用的基于超分辨率的壓縮技術。在幀序列內，將在視頻信號中表示的圖像劃分成可以從其重構幀的較高分辨率版本的多個不同較低分辨率“投影”。每個投影是幀中的各自不同的一個的版本，但是具有比原始幀低的分辨率。每個不同投影的較低分辨率樣本在視頻圖像的參考網格內具有相對于彼此的不同空間對準，使得不同投影的較低分辨率樣本重疊但并不重合。例如，每個投影基于定義較低分辨率樣本的尺寸和形狀的同一光柵網格，但是在不同投影中的每一個中光柵被施加以不同的偏移或“移位”，該移位在相對于光柵定向的水平和/或垂直方向上是較低分辨率樣本尺寸的幾分之一。每個幀被細分成僅一個投影，無論移位步長如何，例如1A還是％像素。
[0011]在圖12中示意性地圖示出示例。在頁面的頂部處圖示出的是要編碼的視頻信號，包括多個幀F，每個幀F表示在連續時刻t、t+l、t+2、t+3...處的視頻圖像(其中，作為幀索引來測量時間，并且t是任何的任意時間點)。
[0012]給定幀F(t)包括多個較高分辨率樣本S’，其由圖12中的點網格線所示的較高分辨率光柵定義。光柵是在施加于幀時將其劃分成樣本的網格結構，每個樣本由網格的相應單元定義。注意，樣本不一定意味著與圖像捕捉元件的物理像素相同尺寸的樣本，也不是將在其上面輸出視頻的屏幕的物理像素尺寸。例如，可以在甚至更高的分辨率下捕捉樣本，并且然后向下量化以產生樣本S’。
[0013]然后將幀序列F(t)、F(t+l)、F(t+2)、F(t+3)中的每一個轉換成不同的各投影(a)至(d)。投影中的每一個包括通過對各幀施加較低分辨率光柵而定義的多個較低分辨率樣本S，如覆蓋在圖12中的較高分辨率網格上的實線所圖示的。再次地，光柵是在施加于幀時將其劃分成樣本的網格結構。每個較低分辨率樣本S表示一組較高分辨率樣本S’，分組取決于較低分辨率光柵的網格間距和對準，每個樣本由網格的相應單元定義。網格可以是正方形或矩形網格，較低分辨率樣本在形狀方面可以是正方形或矩形的(如較高分辨率樣本一樣)，但不一定必須是這種情況。在所示示例中，每個較低分辨率樣本S覆蓋四個較高分辨率樣本S’的各二乘二正方形。另一示例將是十六的四乘四正方形。
[0014]每個較低分辨率樣本S表示各組較高分辨率樣本S’(每個較低分辨率樣本覆蓋整體數個較高分辨率樣本)。在實施例中，通過將較高分辨率樣本的值組合、例如通過求平均、諸如均值或加權均值(但不排除更復雜的關系)來確定較低分辨率樣本S的值。替換地，可以通過取較高分辨率樣本中的典型的一個的值或對較高分辨率值的典型子集進行平均來確定較低分辨率樣本的值。
[0015]第一投影(a)中的較低分辨率樣本的網格在幀的平面中具有相對于在被編碼的信號中表示的視頻圖像的底層較高分辨率光柵的某個、第一對準。作為參考，在這里將其稱為(0，O)的移位。然后將分別由后續幀F(t+l)、F(t+2)、F(t+3)的每個另外的投影(b)至(d)形成的較低分辨率樣本的網格在幀的平面中移位不同的各量。針對每個連續投影