專利名稱：執行精細顆粒可定標編碼結構之間平滑過渡的方法和設備的制作方法
技術領域：
本申請涉及精細顆粒可定標性(FGS)視頻編碼，更具體而言，涉及一種當在被FGS編碼的不同圖像之間切換時提供平滑過渡的方法和設備。
背景技術：
為適應寬范圍的傳輸位速率，可使用表示不同傳輸位速率和運動補償(MC)的水平的多個FGS編碼結構來編碼視頻源。每個經編碼的視頻結構可被存儲在允許其隨后的選擇以匹配可用網絡帶寬的永久或半永久介質中。舉例來說，視頻圖像可被FGS編碼于這樣一種結構中，該結構包含以被表示為R1的第一速率來編碼的基層和以高達被表示為R11的速率來編碼的增強層。然后可使用第二FGS編碼的結構來編碼所述視頻圖像，該結構包含以速率R11來編碼的基層和以高達被表示為R12的速率來編碼的增強層。所述視頻圖像可被進一步FGS編碼于第三結構中，該結構包含以速率R12編碼的基層和以高達被表示為R13的速率來編碼的增強層。以這種方式，FGS編碼的結構可被選擇以允許處于匹配可用網絡帶寬的最大傳輸速率的網絡上的視頻圖像的傳輸，即視頻流。
然而，網絡的特征，如可用網絡帶寬，可在視頻圖像的傳輸期間動態地變化。在用戶進入網絡時，可用網絡帶寬可被顯著減小，或者在用戶退出網絡時可顯著增加。因此，視頻流的傳輸必須適配于變化的條件。在網絡特征變化時，例如網絡帶寬顯著減小時，視頻流可需要具有明顯較低的位速率的基層，否則信息可被丟失。類似地，如果可用網絡帶寬增加，則具有明顯較高的位速率的基層可被允許提供圖像分辨率的增加。這樣，在網絡操作特征變化或被改變時，表示視頻圖像的不同位速率傳輸版本的FGS編碼的結構之間的過渡對于維持用于可用網絡帶寬的最大位速率來說是必要的。類似地，可用網絡帶寬的變化可生成對從一個運動補償的FGS(MC-FGS)編碼的視頻結構到另一個MC-FGS編碼的結構或到FGS編碼的結構的過渡的需要。當例如在被用于基層預測的FGS增強層內發生錯誤時，這樣的過渡是必要的。在此情況下，所引入的錯誤將累積，直到接下來的I幀被傳輸。
FGS編碼的結構或視頻圖像的不同位速率的版本之間的過渡在常規上需要引入帶寬寬闊的I幀來建立正被過渡的FGS版本或結構中的基準。I幀傳輸在帶寬方面是昂貴的，這是因為需要全幀的圖像信息被傳輸。在FGS和/或MCFGS編碼的結構之間的過渡期間引入帶寬昂貴的I幀使網絡有負擔，這是因為使用了寶貴的網絡資源。
因此，需要一種方法和系統來執行FGS編碼的結構之間和/或MC-FGS編碼的結構之間的平滑過渡，而不需要帶寬昂貴的I幀傳輸。
圖1說明了依照本發明原理的FGS編碼/解碼系統；圖2說明了依照本發明原理的示例過程的流程圖；圖3說明了兩個FGS編碼的圖像結構之間的示例過渡；圖4說明了兩個MC-FGS編碼的圖像結構之間的示例過渡；圖5a說明了依照本發明原理用于確定S幀的示例過程的流程圖；圖5b說明了依照本發明原理用于確定S幀的第二示例過程的流程圖；并且圖6說明了用于實施本發明原理的示例系統。
應理解，這些附圖僅僅是為了說明本發明的概念而不是作為對本發明的限制的水平。將理解，可能在適當的地方被補充以參考字符的相同參考數字已被自始至終地使用以標識對應的部分。
發明內容
本發明提供了一種方法和設備，用于提供第一FGS編碼的視頻流和第二FGS編碼的視頻流之間的網絡上傳輸的平滑過渡，其中每個FGS編碼的視頻流都包含基層。所述方法包括選擇第一視頻流的所傳輸的P幀，選擇第二視頻流中要傳輸的接下來的P幀，確定第一視頻流的所傳輸的P幀和第二視頻流的接下來要傳輸的P幀之間的差異，以及在所述網絡上傳輸所述P幀之間的差異而不是所述接下來要傳輸的P幀。
具體實施例方式
圖1說明了用于FGS編碼/解碼的示例系統100，其中視頻圖像106被施加給編碼器110以便于FGS編碼。編碼器110可使用多個不同的位速率和不同的MC-FGS水平來編碼視頻圖像106。在本發明的一個方面中，經編碼的信息可被存儲在緩沖器108中。傳輸控制器112提供這樣一種裝置，用于通過選擇所存的FGS或MC-FGS編碼的結構之一來控制網絡120上的FGS編碼的信息的傳輸速率。網絡120可表示通信網絡，如互聯網、POTS、LAN、WAN、內部網、無線網絡等。
解碼單元150接收在網絡120上傳輸的FGS編碼的信息并且可任選地將所接收的信息存儲在解碼器緩沖器155中。所接收的信息可被直接或從解碼器緩沖器155施加給解碼器160以便于解碼成視頻圖像。經解碼的圖像隨后可被呈現在顯示器170上。在該示例系統中，傳輸控制器112內的處理器116表示用于監視諸如可用帶寬的網絡特征的裝置，并且提供指示以幫助確定哪些所存的FGS編碼的信息結構被選擇用于在網絡120上傳輸。
圖2說明了依照本發明原理用于提供不同位速率流的FGS編碼的結構和/或不同水平運動補償的MC-FGS編碼的結構之間的過渡的示例過程200的流程圖。該示例過程開始于步驟205并且結束于步驟250。在該示例過程中，在方塊210處確定例如可用帶寬的網絡特征是否已被改變。如果答案是否定的(N)，則沒有過渡是必要的，并且處理被完成而沒有過渡發生。
然而，如果答案是肯定的(Y)，則在方塊220處對位速率的所存FGS或MC-FGS結構或版本的哪個滿足被改變的網絡條件進行確定。在方塊230處，中間切換幀235，在此被稱為S幀，被確定為所選的FGS編碼的圖像結構的先前傳輸的P幀和接下來的P幀之間的差異。
在方塊240處，S幀235被插入傳輸流中而不是傳輸所選的FGS編碼的圖像結構的接下來的P幀。盡管被存儲的FGS編碼的圖像結構或MC-FGS編碼的水平在此被描述以說明本發明，應理解FGS編碼可類似地被實時進行。因此，在本發明的可替換的方面中，先前傳輸的P幀和接下來的P幀之間的差異可被實時確定。
圖3說明了依照本發明原理使用不同位速率來FGS編碼的兩個視頻流305、310之間的過渡以及插入S幀235以完成流305、310之間的平滑過渡的實例。在該實例中，每個FGS編碼的視頻流都包含基層(325、330)和增強層(335、340)。在該說明性實例中，從例如較低位速率、較低分辨率或幀速率的第一FGS編碼的視頻流305到例如較高位速率、較高分辨率或幀速率的第二FGS編碼的視頻流310的過渡被描述。在此情況下，當從FGS編碼的結構305到FGS編碼的結構310的過渡被認為有必要時，S幀235被確定為FGS編碼的結構310的接下來的P幀320和FGS編碼的視頻結構305的先前傳輸的基層P幀315之間的差異。S幀235而不是P幀320然后被傳輸。P幀中的隨后的圖像傳輸依照在FGS編碼的結構310中包括的圖像來進行。此外，S幀235而不是P幀之前的B幀被傳輸。與FGS編碼的流310的同步由此被完成而無需廣闊的I幀傳輸和隨之而來的帶寬成本。盡管該說明性實例不包括運動補償，并且S幀235僅包括有關每個相應的FGS結構的基層的差異的信息，將理解把S幀235確定為基層P幀之間的差異將類似地適用于例如MC-FGS結構(未示出)和FGS結構310之間的過渡。在此情況下，S幀235被插入傳輸流而不是傳輸P幀320。
圖4說明了具有不同水平運動補償信息的MC-FGS結構的兩個視頻流405、410之間的過渡的實例。在該實例中，每個視頻流都包含基層(425、430)和增強層(435、440)。在該說明性實例中，從以第一水平MC-FGS編碼的視頻流405到以第二水平MC-FGS編碼的視頻流410的過渡是必要的。在此情況下，S幀235’被確定為相應的基層信息和被包括在其中用于運動補償的對應FGS增強層的那部分之間的差異。在此情況下，S幀235’被確定為MC-FGS結構410的基層接下來的P幀420和MC-FGS結構405的先前傳輸的基層P幀415以及對應的FGS增強層之間的差異。S幀235’而不是接下來的幀420被傳輸以完成相應視頻流之間的平滑過渡。
圖5a說明了依照本發明的原理用于確定S幀235或235’的示例過程500的流程圖。該示例過程開始于步驟505并且結束于步驟545。在該示例過程中，對例如可用帶寬的網絡特征的變化的量度被獲得于方塊510處。在方塊520處，滿足網絡特征變化的條件的所存的FGS編碼的視頻圖像結構被選擇。在方塊530處，確定所需過渡是否是從FGS結構或MC-FGS結構到FGS結構。如果答案是肯定的(Y)，則S幀235被確定為先前的基層P幀和所選FGS編碼的結構之間的差異。
然而，如果答案是否定的(N)，則S幀235’被確定為基層P幀之間的差異和被用于預測的那些增強層部分之間的差異。就是說，被用于運動預測的那些增強層部分的差異補充了P幀信息之間的差異。在本發明的一個方面中，基層P幀的差異可通過以下來確定確定像素域中P幀的差異，然后使用眾所周知的基層紋理編碼，即DCT，離散Q和VLC來編碼該差異。類似地，增強層的差異可通過以下來確定通過計算像素域中的差異來確定被用于運動預測的增強層的那些部分的差異，然后使用FGS編碼，即DCT，然后是位平面編碼和VLC來編碼該差異。
圖5b說明了依照本發明的原理用于確定S幀235、235’的示例第二過程550的流程圖。該示例第二過程開始于步驟555并且結束于步驟595。在該示例過程中，對例如可用帶寬的網絡特征的變化的量度被獲得于方塊560處。在方塊570處，滿足網絡特征變化的條件的視頻圖像的所存的FGS編碼的結構被選擇。在方塊575處，如先前所述，S幀235被確定為基層P幀之間的差異。
在方塊580處，確定過渡是否是在FGS編碼的或MC-FGS編碼的結構和FGS結構之間。如果答案是肯定的(Y)，則過程550結束。
然而，如果答案是否定的(N)，則通過以下來確定S幀235’用表示如先前所述的對應增強層的部分之間的差異的量來補充S幀235。
圖6說明了可被用于實施本發明原理的系統700的示例實施例。系統700可表示桌上、膝上或掌上型電腦，個人數字助理(PDA)，視頻/圖像存儲設備，如盒式錄像機(VCR)，數字視頻記錄器(DVR)，TiVO設備等，以及這些和其它設備的部分和組合。系統700可包含一個或多個輸入/輸出設備702、處理器703和存儲器704，其可訪問包含視頻圖像的FGS編碼的結構的一個或多個源701。系統700亦可包含用于顯示輸出視頻V的顯示器設備706。源701可被存儲在永久或半永久介質中，如電視接收器、VCR、RAM、ROM、硬盤驅動器、光盤驅動器或其它視頻圖像存儲設備。可替換的是，源701可在一個或多個網絡連接上被訪問以便于在例如以下的網絡上從服務器或多個服務器接收視頻全球計算機通信網絡，如互聯網，廣域網，城域網、局域網、地面廣播系統，線纜網絡，衛星網絡，無線網絡或電話網絡，以及這些和其它類型的網絡的部分或組合。
輸入/輸出設備702、處理器703和存儲器704可在通信介質705上通信。通信介質705可表示例如總線，通信網絡，電路、電路卡或其它設備的一個或多個內部連接，以及這些和其它通信介質的部分和組合。來自源701的輸入數據根據可被存儲在存儲器704中并被處理器703處理的一個或多個軟件程序來處理以將FGS編碼的視頻圖像提供給網絡120(未示出)。處理器703可以是任何裝置，如通用或專用計算系統，或者可以是硬件配置，如膝上型計算機、桌上型計算機、手持計算機、專用邏輯電路、集成電路、可編程門陣列邏輯(PAL)、特定用途集成電路(ASIC)等，其響應于已知輸入而提供已知輸出。此外，處理器703可包括響應于網絡120的變化的裝置，或者可包含代碼，其可工作以確定網絡120的運行特征的變化。在本發明的一個方面中，網絡的變化可自動地或響應于由處理器啟動的請求而通過輸入/輸出設備702提供給處理器703。
在優選實施例中，采用本發明的原理的編碼和解碼可通過由處理器703執行的計算機可讀代碼來實施。所述代碼可被存儲在存儲器704中或者從諸如CD-ROM或軟盤的存儲器介質讀取或下載。在其它實施例中，硬件電路而不是軟件指令或者與軟件指令組合在一起可被用于實施本發明。例如，在此所說明的元件亦可被實施為離散的硬件元件。
盡管已經以某個程度的特殊性以優選形式描述了本發明，應理解僅僅是為了舉例而進行了對所述優選形式的當前公開，并且可在以下要求權利的本發明的精神和范圍內做出對構造的細節以及部分的組合和安排的改變。想要的是本專利應由所附權利要求中的適當表達來覆蓋，即存在于所公開的發明中的可獲得專利的新穎性的那些特點。
權利要求
1.一種用于第一精細顆粒可定標編碼的視頻流(305)和第二精細顆粒可定標編碼的視頻流(310)之間的平滑過渡的方法，其中每個所述精細顆粒可定標編碼的視頻流都包含基層(325、330)，所述方法包括以下步驟選擇在網絡上傳輸的所述第一視頻流的P幀(315)；選擇要在所述第二視頻流中在所述網絡上傳輸的接下來的P幀(320)；確定所述第一視頻流的所傳輸的P幀(315)和所述第二視頻流的接下來要傳輸的P幀(320)之間的差異(235)；以及在所述網絡上傳輸所述P幀之間的所述差異(235)，而不是接下來要傳輸的所述P幀(320)。
2.權利要求1的方法，其中每個所述精細顆粒可定標編碼的視頻流(405、410)都包括至少一個增強層。
3.權利要求2的方法，進一步包括以下步驟選擇在所述第一視頻流(405)中傳輸的至少一個增強層(415)的一部分；選擇要在所述第二視頻流(410)中傳輸的至少一個增強層的一部分；確定所述增強層的所選部分之間的差異(235’)；以及在所述網絡上傳輸所述差異(235’)。
4.權利要求1的方法，其中確定所述P幀的差異的步驟包括以下步驟解碼每個所述P幀(315、320)；確定所述P幀之間的差異(235)；以及編碼所述差異。
5.權利要求3的方法，其中確定所述增強層的所選部分的差異的步驟包括以下步驟解碼所述增強層的每個所選部分；確定經解碼的所選部分之間的差異；以及編碼所述差異。
6.權利要求1的方法，其中所述第二視頻流(310)被選擇成獲得與所述網絡帶寬可比的最大傳輸基層速率。
7.權利要求1的方法，其中所述第二視頻流(410)被選擇成獲得運動補償的最大水平。
8.一種用于第一精細顆粒可定標編碼的視頻流(305)和第二精細顆粒可定標編碼的視頻流(310)之間的平滑過渡的設備，其中每個所述精細顆粒可定標編碼的視頻流都包含基層(325、330)，所述設備包括用于選擇在網絡上傳輸的所述第一視頻流(305)的P幀(315)的裝置(703)；用于選擇接下來要在所述第二視頻流(310)中在所述網絡上傳輸的P幀(320)的裝置(703)；用于確定所述第一視頻流的所傳輸的P幀(315)和所述第二視頻流的接下來要傳輸的P幀(320)之間的差異(235)的裝置(703)；以及用于在所述網絡上傳輸所述P幀之間的差異(235)而不是接下來要傳輸的所述P幀(320)的裝置(703)。
9.權利要求8的設備，其中每個所述精細顆粒可定標編碼的視頻流(405、410)都包括至少一個增強層(415)。
10.權利要求9的設備，進一步包括用于選擇在所述第一視頻流(405)中傳輸的所述至少一個增強層(415)的一部分的裝置(703)；用于選擇要在所述第二視頻流(410)中傳輸的所述至少一個增強層的一部分的裝置(703)；用于確定所述增強層的所選部分之間的差異(235’)的裝置(703)；以及在所述網絡上傳輸所述差異(235’)的裝置。
11.權利要求8的方法，進一步包括存儲器(704)和與所述裝置(703)和所述存儲器(704)通信的輸入/輸出設備(702)。
12.一種精細顆粒可定標編碼的視頻流的S幀，包括第一視頻流(305)的所傳輸的P幀(315)和第二視頻流(310)的接下來要傳輸的P幀(320)之間的差異(235)。
13.權利要求12的S幀，其中每個所述精細顆粒可定標編碼的視頻流(405、410)都包括至少一個增強層(415)。
14.權利要求13的S幀，進一步包括所述增強層(415)的所選部分的差異。
全文摘要
一種方法和設備，用于提供第一FGS編碼的視頻流(305)和第二FGS編碼的視頻流(310)之間的網絡上傳輸的平滑過渡，其中每個FGS編碼的視頻流都包含基層(325、330)。所述方法包括選擇第一視頻流的所傳輸的P幀(315)，選擇第二視頻流中要傳輸的接下來的P幀(320)，確定第一視頻流的所傳輸的P幀(315)和第二視頻流的接下來要傳輸的P幀(320)之間的差異，以及在所述網絡上傳輸所述P幀之間的差異而不是所述接下來要傳輸的P幀(320)。
文檔編號H04L12/56GK1640138SQ03805290
公開日2005年7月13日 申請日期2003年3月7日 優先權日2002年3月8日
發明者M·范德沙爾 申請人:皇家飛利浦電子股份有限公司