一種高碼率圖像的視頻編、解碼方法及系統的制作方法

文檔序號：7813098閱讀：258來源：國知局

一種高碼率圖像的視頻編、解碼方法及系統的制作方法
【專利摘要】本發明提供一種高碼率圖像的視頻編、解碼方法及系統，編碼方法的步驟是編碼端首先對原始的高碼率圖像編碼得到其重建圖像，為基本層的基本圖像，然后根據原始的高碼率圖像和基本圖像得到殘差層的殘差圖像，對殘差圖像編碼得到殘差圖像的重建圖像，根據基本圖像和殘差圖像的重建圖像得到高碼率圖像的重建圖像；解碼方法的步驟是解碼端首先根據接收到的碼流信息進行解碼，生成解碼標志位，進而根據解碼標志位判斷當前碼流屬于基本層或者殘差層，得到高碼率圖像的重建圖像。本發明通過將高碼率圖像分為不同層次進行傳輸，有效解決了視頻傳輸過程中某個時刻瞬時碼率過高引起的傳輸延遲或者緩沖器溢出。
【專利說明】一種高碼率圖像的視頻編、解碼方法及系統

【技術領域】
[0001] 本發明涉及數字視頻編解碼【技術領域】，具體涉及一種高碼率圖像的視頻編、解碼方法及系統。

【背景技術】
[0002] 隨著數字媒體的應用日益廣泛，視頻技術的研究野越來越受到重視。視頻技術主要是通過去除視頻中的空間冗余、時間冗余和編碼冗余實現的。目前主流的視頻編碼采用的主要有預測、變換、量化和熵編碼方式。
[0003] 預測編碼利用信號間的相關性，用前面一個或多個信號作為當前信號的預測值，對當前信號的實際值與預測值的差進行編碼，是現代視頻編解碼中消除視頻冗余的重要工具之一。幀內預測和幀間預測是分別用于消除空間冗余和時域冗余的主要技術，其中的幀間預測是是去除視頻冗余的重要方法之一，它是利用相鄰幀間的信息進行預測編碼，其中P 幀只使用前向預測，B幀可用于前向和后向進行雙向預測，但是，預測方法中參考幀的質量對后續幀的質量影響很大，從而可能影響整個編碼性能；在編碼性能方面，質量高的參考幀所帶來的編碼增益高于質量低的參考幀帶來的編碼增益。如果能夠提高某個或某些參考幀的質量，則參考這些幀的圖像的編碼性能都將得到提升。因此如何提高參考幀的質量成為研究的重點之一。
[0004] 隨著科技的發展，視頻傳輸、存儲系統和計算能力的差別，比特流要適應不同用戶的需求、網絡狀況和終端設備等。但是在視頻編解碼過程中，可能會因某一幀或幾幀圖像數據量大，導致瞬時碼率突然增加，而由于網絡狀況和終端設備的限制，會造成該圖像的不完全傳輸或者延遲，造成緩沖器上溢或后續圖像的延遲，不利于后面的圖像進行幀間預測，同時對接收端的影響也很大。本發明中將這樣的原始圖像定義為高碼率圖像。如何實現高碼率圖像的有效傳輸并保持碼率平穩，成為亟待解決的問題。

【發明內容】

[0005] 有鑒于此，本發明提供一種高碼率圖像的視頻編、解碼方法及系統，旨在既降低高碼率圖像的瞬時碼率，又保證該高碼率圖像的有效傳輸。
[0006] 本發明采用的技術方案具體為：
[0007] -種高碼率圖像的視頻編碼方法，具體包括如下步驟：
[0008] 殘差圖像獲取步驟：采用序列編碼參數值對原始的高碼率圖像編碼，得到原始的高碼率圖像的第一重建圖像，所述原始的高碼率圖像的第一重建圖像為基本圖像；所述原始的高碼率圖像減去所述基本圖像，得到第一殘差圖像；
[0009] 高碼率圖像重建步驟：對所述第一殘差圖像編碼，得到第一殘差圖像的重建圖像，對所述第一殘差圖像進行編碼的編碼數值小于所述序列編碼參數值；所述第一殘差圖像的重建圖像與所述基本圖像求和，得到原始的高碼率圖像的第二重建圖像；
[0010] 圖像分層步驟：所述基本圖像和所述原始的高碼率圖像的第二重建圖像形成高碼率圖像的基本層，所述第一殘差圖像形成高碼率圖像的殘差層；
[0011] 編碼標志位生成步驟：生成所述基本層的基本圖像的標志位，將標識當前圖像為所述基本層的基本圖像的標志位寫入碼流；生成所述殘差層的第一殘差圖像的標志位，將標識當前圖像為所述殘差層的第一殘差圖像的標志位寫入碼流。
[0012] 一種高碼率圖像的視頻編碼方法，具體包括如下步驟：
[0013]殘差圖像獲取步驟：采用序列編碼參數值對原始的高碼率圖像編碼，得到原始的高碼率圖像的第一重建圖像，所述原始的高碼率圖像的第一重建圖像為基本圖像；所述原始的高碼率圖像減去所述基本圖像，得到第一殘差圖像；
[0014] 高碼率圖像重建步驟：對所述第一殘差圖像編碼，得到第一殘差圖像的重建圖像，所述第一殘差圖像的重建圖像與所述基本圖像求和，得到原始的高碼率圖像的第二重建圖像；所述原始的高碼率圖像減去所述原始的高碼率圖像的第二重建圖像，得到第二殘差圖像；對所述第二殘差圖像編碼，得到第二殘差圖像的重建圖像，所述第二殘差圖像的重建圖像與所述原始的高碼率圖像的第二重建圖像求和，得到原始的高碼率圖像的第三重建圖像；以此類推，某一層殘差圖像為所述原始的高碼率圖像與原始的高碼率圖像的本層重建圖像之差，本層殘差圖像的重建圖像與原始的高碼率圖像的本層重建圖像求和，得到的原始的高碼率圖像的下一層重建圖像；對各層殘差圖像進行編碼的編碼數值小于所述序列編碼參數值；隨著層數的增加所述編碼參數遞減，且殘差的編碼數據量和普通幀幀內編碼的數據量在同一數量級；
[0015] 圖像分層步驟：原始的高碼率圖像的每一層重建圖像形成高碼率圖像的基本層，每一層殘差圖像形成高碼率圖像的殘差層；
[0016] 編碼標志位生成步驟：生成所述基本層的基本圖像的標志位，將標識當前圖像為所述基本層的基本圖像的標志位寫入碼流；生成所述殘差層的每一層殘差圖像的標志位，將標識當前圖像為所述殘差層的某一層殘差圖像的編碼標志位寫入碼流。
[0017] 一種高碼率圖像的視頻解碼方法，具體包括如下步驟：
[0018] 解碼標志位生成步驟：解碼編碼標志位的碼流，形成解碼標志位，通過解碼標志位得出當前碼流為基本層的基本圖像的碼流或者殘差層的第一殘差圖像的碼流；
[0019] 基本圖像重建步驟：若當前碼流為基本層的基本圖像的碼流，則根據基本層的基本圖像的解碼標志位對當前碼流解碼，直接得到基本層的基本圖像；
[0020] 高碼率圖像重建步驟：若當前碼流為殘差層的第一殘差圖像的碼流，則根據殘差層的第一殘差圖像的解碼標志位對當前碼流解碼，得到第一殘差圖像的重建圖像；所述基本圖像與第一殘差圖像的重建圖像求和，得到原始的高碼率圖像的第二重建圖像。
[0021] 一種高碼率圖像的視頻解碼方法，具體包括如下步驟：
[0022] 解碼標志位生成步驟：解碼編碼標志位的碼流，形成解碼標志位，通過解碼標志位得出當前碼流為基本層的基本圖像的碼流或者殘差層的某一層殘差圖像的碼流；
[0023] 基本圖像重建步驟：若當前碼流為基本層的基本圖像的碼流，則根據基本層的基本圖像的解碼標志位對當前碼流解碼，直接得到基本層的基本圖像；
[0024] 高碼率圖像重建步驟：若當前碼流為殘差層的第一殘差圖像的碼流，則根據殘差層的第一殘差圖像的解碼標志位對當前碼流解碼，得到第一殘差圖像的重建圖像；若當前碼流為殘差層的第二殘差圖像的碼流，則根據殘差層的第二殘差圖像的解碼標志位對當前碼流解碼，得到第二殘差圖像的重建圖像；在當前碼流為殘差層的第二層殘差圖像的碼流的情況下，進一步對基本層的基本圖像的碼流和殘差層中的第一殘差圖像的碼流解碼，得到基本層的基本圖像和殘差層的第一殘差圖像，所述基本圖像與所述第一殘差圖像的重建圖像求和，得到原始的高碼率圖像的第二重建圖像，所述原始的高碼率圖像的第二重建圖像與解碼得到的所述第二殘差圖像的重建圖像求和，得到高碼率圖像的第三層重建圖像；以此類推，若當前圖像為某一層殘差圖像的碼流，先對其進行解碼得到某一層殘差圖像的重建圖像，進一步對基本層的基本圖像的碼流以及殘差層的本層之前的每一層殘差圖像的碼流依次解碼，依次按照"解碼得到的某一層殘差圖像的重建圖像與基本層中的高碼率圖像的本層重建圖像求和得到高碼率圖像的下一層重建圖像"的規律，直至得到高碼率圖像的該某一層的下一層重建圖像。
[0025]在上述高碼率圖像的視頻編碼方法中，在一個碼流中完成多層碼流的分層傳輸。
[0026]-種高碼率圖像的視頻編碼系統，具體包括如下模塊：
[0027]殘差圖像獲取模塊：用于采用序列編碼參數值對原始的高碼率圖像編碼，得到原始的高碼率圖像的第一重建圖像，所述原始的高碼率圖像的第一重建圖像為基本圖像；所述原始的高碼率圖像減去所述基本圖像，得到第一殘差圖像；
[0028]高碼率圖像重建模塊：用于對所述第一殘差圖像編碼，得到第一殘差圖像的重建圖像，對所述第一殘差圖像進行編碼的編碼數值小于所述序列編碼參數值；所述第一殘差圖像的重建圖像與所述基本圖像求和，得到原始的高碼率圖像的第二重建圖像；
[0029]圖像分層模塊：用于形成高碼率圖像的基本層和殘差層，其中所述基本圖像和所述原始的高碼率圖像的第二重建圖像形成高碼率圖像的基本層，所述第一殘差圖像形成高碼率圖像的殘差層；
[0030]編碼標志位生成模塊：用于生成所述基本層的基本圖像的標志位，將標識當前圖像為所述基本層的基本圖像的標志位寫入碼流；以及生成所述殘差層的第一殘差圖像的標志位，將標識當前圖像為所述殘差層的第一殘差圖像的標志位寫入碼流。
[0031]一種高碼率圖像的視頻編碼系統，具體包括如下模塊：
[0032]殘差圖像獲取模塊：用于采用序列編碼參數值對原始的高碼率圖像編碼，得到原始的高碼率圖像的第一重建圖像，所述原始的高碼率圖像的第一重建圖像為基本圖像；所述原始的高碼率圖像減去所述基本圖像，得到第一殘差圖像；
[0033]高碼率圖像重建模塊：用于對所述第一殘差圖像編碼，得到第一殘差圖像的重建圖像，所述第一殘差圖像的重建圖像與所述基本圖像求和，得到原始的高碼率圖像的第二重建圖像；所述原始的高碼率圖像減去所述原始的高碼率圖像的第二重建圖像，得到第二殘差圖像；以及對所述第二殘差圖像編碼，得到第二殘差圖像的重建圖像，所述第二殘差圖像的重建圖像與所述原始的高碼率圖像的第二重建圖像求和，得到原始的高碼率圖像的第三重建圖像；以此類推，某一層殘差圖像為所述原始的高碼率圖像與原始的高碼率圖像的本層重建圖像之差，本層殘差圖像的重建圖像與原始的高碼率圖像的本層重建圖像求和，得到的原始的高碼率圖像的下一層重建圖像；對各層殘差圖像進行編碼的編碼數值小于所述序列編碼參數值；隨著層數的增加所述編碼參數遞減，且殘差的編碼數據量和普通幀幀內編碼的數據量在同一數量級；
[0034]圖像分層模塊：用于形成高碼率圖像的基本層和殘差層；其中原始的高碼率圖像的每一層重建圖像形成高碼率圖像的基本層，每一層殘差圖像形成高碼率圖像的殘差層；
[0035] 編碼標志位生成模塊：用于生成所述基本層的基本圖像的標志位，將標識當前圖像為所述基本層的基本圖像的標志位寫入碼流；以及生成所述殘差層的每一層殘差圖像的標志位，將標識當前圖像為所述殘差層的某一層殘差圖像的編碼標志位寫入碼流。
[0036] -種高碼率圖像的視頻解碼系統，具體包括如下模塊：
[0037] 解碼標志位生成模塊：用于解碼編碼標志位的碼流，形成解碼標志位，通過解碼標志位得出當前碼流為基本層的基本圖像的碼流或者殘差層的第一殘差圖像的碼流；
[0038] 基本圖像重建模塊：若當前碼流為基本層的基本圖像的碼流，用于根據基本層的基本圖像的解碼標志位對當前碼流解碼，直接得到基本層的基本圖像；
[0039] 高碼率圖像重建步驟：若當前碼流為殘差層的第一殘差圖像的碼流，用于根據殘差層的第一殘差圖像的解碼標志位對當前碼流解碼，得到第一殘差圖像的重建圖像；所述基本圖像與第一殘差圖像的重建圖像求和，得到原始的高碼率圖像的第二重建圖像；將解碼得到的所述第一殘差圖像的重建圖像與所述基本圖像求和，得到高碼率圖像的第二重建圖像。
[0040] 一種高碼率圖像的視頻解碼系統，具體包括如下模塊：
[0041] 解碼標志位生成模塊：用于解碼編碼標志位的碼流，形成解碼標志位，通過解碼標志位得出當前碼流為基本層的基本圖像的碼流或者殘差層的某一層殘差圖像的碼流；[0042] 基本圖像重建模塊：若當前碼流為基本層的基本圖像的碼流，用于根據基本層的基本圖像的解碼標志位對當前碼流解碼，直接得到基本層的基本圖像；
[0043] 高碼率圖像重建模塊：若當前碼流為殘差層的第一殘差圖像的碼流，用于根據殘差層的第一殘差圖像的解碼標志位對當前碼流解碼，得到第一殘差圖像的重建圖像；若當前碼流為殘差層的第二殘差圖像的碼流，則根據殘差層的第二殘差圖像的解碼標志位對當前碼流解碼，得到第二殘差圖像的重建圖像；在當前碼流為殘差層的第二層殘差圖像的碼流的情況下，進一步對基本層的基本圖像的碼流和殘差層中的第一殘差圖像的碼流解碼，得到基本層的基本圖像和殘差層的第一殘差圖像，所述基本圖像與所述第一殘差圖像的重建圖像求和，得到原始的高碼率圖像的第二重建圖像，所述原始的高碼率圖像的第二重建圖像與解碼得到的所述第二殘差圖像的重建圖像求和，得到高碼率圖像的第三層重建圖像；以此類推，若當前圖像為某一層殘差圖像的碼流，先對其進行解碼得到某一層殘差圖像的重建圖像，進一步對基本層的基本圖像的碼流以及殘差層的本層之前的每一層殘差圖像的碼流依次解碼，依次按照"解碼得到的某一層殘差圖像的重建圖像與基本層中的高碼率圖像的本層重建圖像求和得到高碼率圖像的下一層重建圖像"的規律，直至得到高碼率圖像的該某一層的下一層重建圖像。
[0044] 本發明產生的有益效果是：
[0045] 本發明的高碼率圖像的視頻編、解碼方法及系統，通過將高碼率圖像分為不同層次進行傳輸，通過在編碼端將圖像分為基本層與殘差層，且殘差層的不同層采用不同參數的編碼方法，而且高碼率圖像的重建圖像隨著層數增加越來越好；然后在解碼端根據得到的基本層圖像與殘差層圖像重建出不同質量的高碼率圖像，既可以降低瞬時碼率，又保證了高碼率圖像的傳輸質量。

【專利附圖】

【附圖說明】
[0046] 當結合附圖考慮時，能夠更完整更好地理解本發明。此處所說明的附圖用來提供對本發明的進一步理解，實施例及其說明用于解釋本發明，并不構成對本發明的不當限定。
[0047] 圖1為本發明一種高碼率圖像的視頻編碼方法的流程圖；
[0048] 圖2為本發明一種高碼率圖像的視頻解碼方法的流程圖；
[0049] 圖3為本發明的一種實施例的基于背景幀質量分層編碼的步驟框圖；
[0050] 圖4為本發明的一種實施例的測試序列圖。

【具體實施方式】
[0051] 下面結合附圖及實施例對本發明的技術方案作進一步詳細的說明。
[0052] 如圖1所示的一種高碼率圖像的視頻編碼方法，在基本層和殘差層均含有一層圖像的情況下，具體包括如下步驟：
[0053] 殘差圖像獲取步驟：采用序列編碼參數值對原始的高碼率圖像編碼，得到原始的高碼率圖像的第一重建圖像，原始的高碼率圖像的第一重建圖像為基本圖像；原始的高碼率圖像減去基本圖像，得到第一殘差圖像；
[0054] 高碼率圖像重建步驟：對第一殘差圖像編碼，得到第一殘差圖像的重建圖像，對第一殘差圖像進行編碼的編碼數值小于序列編碼參數值；第一殘差圖像的重建圖像與基本圖像求和，得到原始的高碼率圖像的第二重建圖像；
[0055] 圖像分層步驟：基本圖像和原始的高碼率圖像的第二重建圖像形成高碼率圖像的基本層，第一殘差圖像形成高碼率圖像的殘差層；
[0056] 編碼標志位生成步驟：生成基本層的基本圖像的標志位，將標識當前圖像為基本層的基本圖像的標志位寫入碼流；生成殘差層的第一殘差圖像的標志位，將標識當前圖像為殘差層的第一殘差圖像的標志位寫入碼流。
[0057] -種高碼率圖像的視頻編碼方法，在基本層和殘差層均含有多層圖像的情況下，具體包括如下步驟：
[0058] 殘差圖像獲取步驟：采用序列編碼參數值對原始的高碼率圖像編碼，得到原始的高碼率圖像的第一重建圖像，原始的高碼率圖像的第一重建圖像為基本圖像；原始的高碼率圖像減去基本圖像，得到第一殘差圖像；
[0059] 高碼率圖像重建步驟：對第一殘差圖像編碼，得到第一殘差圖像的重建圖像，第一殘差圖像的重建圖像與基本圖像求和，得到原始的高碼率圖像的第二重建圖像；原始的高碼率圖像減去原始的高碼率圖像的第二重建圖像，得到第二殘差圖像；對第二殘差圖像編碼，得到第二殘差圖像的重建圖像，第二殘差圖像的重建圖像與原始的高碼率圖像的第二重建圖像求和，得到原始的高碼率圖像的第三重建圖像；以此類推，某一層殘差圖像為原始的高碼率圖像與原始的高碼率圖像的本層重建圖像之差，本層殘差圖像的重建圖像與原始的高碼率圖像的本層重建圖像求和，得到的原始的高碼率圖像的下一層重建圖像；對各層殘差圖像進行編碼的編碼數值小于序列編碼參數值；隨著層數的增加編碼參數遞減，且殘差的編碼數據量和普通幀幀內編碼的數據量在同一數量級；
[0060] 圖像分層步驟：原始的高碼率圖像的每一層重建圖像形成高碼率圖像的基本層，每一層殘差圖像形成高碼率圖像的殘差層；
[0061] 編碼標志位生成步驟：生成基本層的基本圖像的標志位，將標識當前圖像為基本層的基本圖像的標志位寫入碼流；生成殘差層的每一層殘差圖像的標志位，將標識當前圖像為殘差層的某一層殘差圖像的編碼標志位寫入碼流。
[0062] 如圖2所示的一種高碼率圖像的視頻解碼方法，在基本層和殘差層均含有一層圖像的情況下，具體包括如下步驟：
[0063]解碼標志位生成步驟：解碼編碼標志位的碼流，形成解碼標志位，通過解碼標志位得出當前碼流為基本層的基本圖像的碼流或者殘差層的第一殘差圖像的碼流；
[0064]基本圖像重建步驟：若當前碼流為基本層的基本圖像的碼流，則根據基本層的基本圖像的解碼標志位對當前碼流解碼，直接得到基本層的基本圖像；
[0065] 高碼率圖像重建步驟：若當前碼流為殘差層的第一殘差圖像的碼流，則根據殘差層的第一殘差圖像的解碼標志位對當前碼流解碼，得到第一殘差圖像的重建圖像；基本圖像與第一殘差圖像的重建圖像求和，得到原始的高碼率圖像的第二重建圖像。
[0066] 一種高碼率圖像的視頻解碼方法，在基本層和殘差層均含有多層圖像的情況下，具體包括如下步驟：
[0067]解碼標志位生成步驟：解碼編碼標志位的碼流，形成解碼標志位，通過解碼標志位得出當前碼流為基本層的基本圖像的碼流或者殘差層的某一層殘差圖像的碼流；
[0068] 基本圖像重建步驟：若當前碼流為基本層的基本圖像的碼流，則根據基本層的基本圖像的解碼標志位對當前碼流解碼，直接得到基本層的基本圖像；
[0069] 高碼率圖像重建步驟：若當前碼流為殘差層的第一殘差圖像的碼流，則根據殘差層的第一殘差圖像的解碼標志位對當前碼流解碼，得到第一殘差圖像的重建圖像；若當前碼流為殘差層的第二殘差圖像的碼流，則根據殘差層的第二殘差圖像的解碼標志位對當前碼流解碼，得到第二殘差圖像的重建圖像；在當前碼流為殘差層的第二層殘差圖像的碼流的情況下，進一步對基本層的基本圖像的碼流和殘差層中的第一殘差圖像的碼流解碼，得到基本層的基本圖像和殘差層的第一殘差圖像，基本圖像與第一殘差圖像的重建圖像求和，得到原始的高碼率圖像的第二重建圖像，原始的高碼率圖像的第二重建圖像與解碼得到的第二殘差圖像的重建圖像求和，得到高碼率圖像的第三層重建圖像；以此類推，若當前圖像為某一層殘差圖像的碼流，先對其進行解碼得到某一層殘差圖像的重建圖像，進一步對基本層的基本圖像的碼流以及殘差層的本層之前的每一層殘差圖像的碼流依次解碼，依次按照"解碼得到的某一層殘差圖像的重建圖像與基本層中的高碼率圖像的本層重建圖像求和得到高碼率圖像的下一層重建圖像"的規律，直至得到高碼率圖像的該某一層的下一層重建圖像。
[0070]在上述高碼率圖像的視頻編碼方法中，在一個碼流中完成多層碼流的分層傳輸。
[0071] 一種高碼率圖像的視頻編碼系統，在基本層和殘差層均含有一層圖像的情況下，具體包括如下模塊：
[0072]殘差圖像獲取模塊：用于采用序列編碼參數值對原始的高碼率圖像編碼，得到原始的高碼率圖像的第一重建圖像，原始的高碼率圖像的第一重建圖像為基本圖像；原始的高碼率圖像減去基本圖像，得到第一殘差圖像；
[0073] 高碼率圖像重建模塊：用于對第一殘差圖像編碼，得到第一殘差圖像的重建圖像，對第一殘差圖像進行編碼的編碼數值小于序列編碼參數值；第一殘差圖像的重建圖像與基本圖像求和，得到原始的高碼率圖像的第二重建圖像；
[0074] 圖像分層模塊：用于形成高碼率圖像的基本層和殘差層，其中基本圖像和原始的高碼率圖像的第二重建圖像形成高碼率圖像的基本層，第一殘差圖像形成高碼率圖像的殘差層；
[0075] 編碼標志位生成模塊：用于生成基本層的基本圖像的標志位，將標識當前圖像為基本層的基本圖像的標志位寫入碼流；以及生成殘差層的第一殘差圖像的標志位，將標識當前圖像為殘差層的第一殘差圖像的標志位寫入碼流。
[0076]-種高碼率圖像的視頻編碼系統，在基本層和殘差層均含有多層圖像的情況下，具體包括如下模塊：
[0077] 殘差圖像獲取模塊：用于采用序列編碼參數值對原始的高碼率圖像編碼，得到原始的高碼率圖像的第一重建圖像，原始的高碼率圖像的第一重建圖像為基本圖像；原始的高碼率圖像減去基本圖像，得到第一殘差圖像；
[0078] 高碼率圖像重建模塊：用于對第一殘差圖像編碼，得到第一殘差圖像的重建圖像，第一殘差圖像的重建圖像與基本圖像求和，得到原始的高碼率圖像的第二重建圖像；原始的高碼率圖像減去原始的高碼率圖像的第二重建圖像，得到第二殘差圖像；以及對第二殘差圖像編碼，得到第二殘差圖像的重建圖像，第二殘差圖像的重建圖像與原始的高碼率圖像的第二重建圖像求和，得到原始的高碼率圖像的第三重建圖像；以此類推，某一層殘差圖像為原始的高碼率圖像與原始的高碼率圖像的本層重建圖像之差，本層殘差圖像的重建圖像與原始的高碼率圖像的本層重建圖像求和，得到的原始的高碼率圖像的下一層重建圖像；對各層殘差圖像進行編碼的編碼數值小于序列編碼參數值；隨著層數的增加編碼參數遞減，且殘差的編碼數據量和普通幀幀內編碼的數據量在同一數量級；
[0079] 圖像分層模塊：用于形成高碼率圖像的基本層和殘差層；其中原始的高碼率圖像的每一層重建圖像形成高碼率圖像的基本層，每一層殘差圖像形成高碼率圖像的殘差層；
[0080] 編碼標志位生成模塊：用于生成基本層的基本圖像的標志位，將標識當前圖像為基本層的基本圖像的標志位寫入碼流；以及生成殘差層的每一層殘差圖像的標志位，將標識當前圖像為殘差層的某一層殘差圖像的編碼標志位寫入碼流。
[0081]一種高碼率圖像的視頻解碼系統，在基本層和殘差層均含有一層圖像的情況下，具體包括如下模塊：
[0082] 解碼標志位生成模塊：用于解碼編碼標志位的碼流，形成解碼標志位，通過解碼標志位得出當前碼流為基本層的基本圖像的碼流或者殘差層的第一殘差圖像的碼流；
[0083]基本圖像重建模塊：若當前碼流為基本層的基本圖像的碼流，用于根據基本層的基本圖像的解碼標志位對當前碼流解碼，直接得到基本層的基本圖像；
[0084] 高碼率圖像重建步驟：若當前碼流為殘差層的第一殘差圖像的碼流，用于根據殘差層的第一殘差圖像的解碼標志位對當前碼流解碼，得到第一殘差圖像的重建圖像；基本圖像與第一殘差圖像的重建圖像求和，得到原始的高碼率圖像的第二重建圖像；將解碼得到的第一殘差圖像的重建圖像與基本圖像求和，得到高碼率圖像的第二重建圖像。
[0085]一種高碼率圖像的視頻解碼系統，在基本層和殘差層均含有多層圖像的情況下，具體包括如下模塊：
[0086]解碼標志位生成模塊：用于解碼編碼標志位的碼流，形成解碼標志位，通過解碼標志位得出當前碼流為基本層的基本圖像的碼流或者殘差層的某一層殘差圖像的碼流；[0087]基本圖像重建模塊：若當前碼流為基本層的基本圖像的碼流，用于根據基本層的基本圖像的解碼標志位對當前碼流解碼，直接得到基本層的基本圖像；
[0088] 高碼率圖像重建模塊：若當前碼流為殘差層的第一殘差圖像的碼流，用于根據殘差層的第一殘差圖像的解碼標志位對當前碼流解碼，得到第一殘差圖像的重建圖像；若當前碼流為殘差層的第二殘差圖像的碼流，則根據殘差層的第二殘差圖像的解碼標志位對當前碼流解碼，得到第二殘差圖像的重建圖像；在當前碼流為殘差層的第二層殘差圖像的碼流的情況下，進一步對基本層的基本圖像的碼流和殘差層中的第一殘差圖像的碼流解碼，得到基本層的基本圖像和殘差層的第一殘差圖像，基本圖像與第一殘差圖像的重建圖像求和，得到原始的高碼率圖像的第二重建圖像，原始的高碼率圖像的第二重建圖像與解碼得到的第二殘差圖像的重建圖像求和，得到高碼率圖像的第三層重建圖像；以此類推，若當前圖像為某一層殘差圖像的碼流，先對其進行解碼得到某一層殘差圖像的重建圖像，進一步對基本層的基本圖像的碼流以及殘差層的本層之前的每一層殘差圖像的碼流依次解碼，依次按照"解碼得到的某一層殘差圖像的重建圖像與基本層中的高碼率圖像的本層重建圖像求和得到高碼率圖像的下一層重建圖像"的規律，直至得到高碼率圖像的該某一層的下一層重建圖像。
[0089]一般來講，在保證殘差編碼數據量和普通幀內編碼圖像數據量在同一數量級的情況下，層數越多，高碼率圖像重建圖像質量越好；也就是說，最后一層的高碼率圖像的重建圖像與其它層高碼率圖像的重建圖像相比，質量更好。通過本發明的編、解碼方法可有效解決視頻傳輸過程中某個時刻瞬時碼率過高而引起的傳輸延遲或緩沖器溢出的問題。
[0090]下面通過一個實例來說明本發明可能的實現方式。基于HEVC編解碼參考軟件，有學者提出針對監控視頻的方法（HEVS-S)。該方法中有背景建模的部分，當處理一定幀數的視頻序列后，會建模得到背景幀。得到的背景幀可以大大提高編碼效率。但當背景幀作為參考需要傳輸時，由于背景幀的數據量過大，會引起碼率突增，在應用中導致傳輸延遲或者背景幀數據丟失，因此可以利用本發明的技術方案將背景幀分層處理并在同一碼流中傳輸。基于HEVC的監控平臺，共編碼1020幀圖像，若設置前120幀為訓練集，120幀之后可得到一個背景幀，該背景幀數據量過大引起碼率突增。分別對5個監控序列進行測試，同時每個序列要以四個不同量化參數處理背景幀，分別為22, 27, 32, 37。本實驗的殘差分為三層，另外對殘差編碼時第一層的量化參數設為序列量化參數減5,第二層的量化參數設為序列量化參數減9,第三層的量化參數設為序列量化參數減11，分別對每層殘差進行編碼，于是，對于圖4中的測試序列，我們可以采用如圖3所示的方式來實現分層傳輸。
[0091]其中的編碼步驟為：
[0092] Sl:首先背景幀就是對應摘要中的高碼率圖像，通過建模得到原始背景幀BGots。每個高碼率圖像的分層數取決于編碼端，一般情況下，層數越多，背景幀質量越好，則編碼性能越好。該背景幀可以分為基本層和殘差層。基本層為背景幀的重建圖像，而殘差層為背景幀與背景幀的重建圖像的殘差圖像。而且，基本層和殘差層可有多層圖像。
[0093]S2 :序列的量化參數（QP)分別是22, 27, 32, 37。用序列的量化參數將背景幀編碼可得到背景的重建幀BGral，將BGots與BGral的殘差使用QP-5進行編碼并傳輸；經過10幀后得到殘差的重建幀，與BGmc1相加可以得到背景幀的重建圖像BG^2，將BGots與BGra2的殘差使用QP-9進行編碼并傳輸；經過10幀后得到重建的殘差，再與上層的重建圖像相加得到最新的背景幀的重建圖像BGree3，將BGots與BGree3的殘差使用QP-Il進行編碼并傳輸；經過 10幀后得到重建的殘差，再與上層的重建圖像相加得到最新的背景幀的重建圖像BGra4。經過三層編碼，背景幀質量越來越高，參考越來越好。
[0094]S3 :在步驟S2中，對背景幀或殘差進行編碼都會得到重建圖像，殘差圖像與上層背景幀的重建圖像相加即可得到當前層重建圖像。
[0095] S4:編碼標志位的設置，是有利于判別當前圖像是基本層圖像還是殘差層圖像，該標志非常有利于解碼。
[0096] 在本實施例中，有四個背景幀的重建圖像。在120幀時，BGral作為背景幀的重建圖像，并為后面10幀圖像作參考；130幀時，得到BGrec2作為當前背景幀的重建圖像，并為后面10幀圖像作參考；140幀時，作為當前背景幀的重建圖像，并為后面10幀圖像做參考； 150幀時，得到當前背景幀的重建圖像，背景幀的重建圖像質量越來越好，并為后面所有編碼圖像作參考。
[0097] 采用如圖4所示的測試序列，由以上實驗步驟可以得到的結果如表1所示：
[0098] 表1本發明中殘差數據量的最大值和幀內編碼圖像數據量的比較
[0099]

【權利要求】
1. 一種高碼率圖像的視頻編碼方法，其特征在于，具體包括如下步驟：殘差圖像獲取步驟：采用序列編碼參數值對原始的高碼率圖像編碼，得到原始的高碼率圖像的第一重建圖像，所述原始的高碼率圖像的第一重建圖像為基本圖像；所述原始的高碼率圖像減去所述基本圖像，得到第一殘差圖像；高碼率圖像重建步驟：對所述第一殘差圖像編碼，得到第一殘差圖像的重建圖像，對所述第一殘差圖像進行編碼的編碼數值小于所述序列編碼參數值；所述第一殘差圖像的重建圖像與所述基本圖像求和，得到原始的高碼率圖像的第二重建圖像；圖像分層步驟：所述基本圖像和所述原始的高碼率圖像的第二重建圖像形成高碼率圖像的基本層，所述第一殘差圖像形成高碼率圖像的殘差層；編碼標志位生成步驟：生成所述基本層的基本圖像的標志位，將標識當前圖像為所述基本層的基本圖像的標志位寫入碼流；生成所述殘差層的第一殘差圖像的標志位，將標識當前圖像為所述殘差層的第一殘差圖像的標志位寫入碼流。
2. -種高碼率圖像的視頻編碼方法，其特征在于，具體包括如下步驟：殘差圖像獲取步驟：采用序列編碼參數值對原始的高碼率圖像編碼，得到原始的高碼率圖像的第一重建圖像，所述原始的高碼率圖像的第一重建圖像為基本圖像；所述原始的高碼率圖像減去所述基本圖像，得到第一殘差圖像；高碼率圖像重建步驟：對所述第一殘差圖像編碼，得到第一殘差圖像的重建圖像，所述第一殘差圖像的重建圖像與所述基本圖像求和，得到原始的高碼率圖像的第二重建圖像；所述原始的高碼率圖像減去所述原始的高碼率圖像的第二重建圖像，得到第二殘差圖像；對所述第二殘差圖像編碼，得到第二殘差圖像的重建圖像，所述第二殘差圖像的重建圖像與所述原始的高碼率圖像的第二重建圖像求和，得到原始的高碼率圖像的第三重建圖像；以此類推，某一層殘差圖像為所述原始的高碼率圖像與原始的高碼率圖像的本層重建圖像之差，本層殘差圖像的重建圖像與原始的高碼率圖像的本層重建圖像求和，得到的原始的高碼率圖像的下一層重建圖像；對各層殘差圖像進行編碼的編碼數值小于所述序列編碼參數值；隨著層數的增加所述編碼參數遞減，且殘差的編碼數據量和普通幀幀內編碼的數據量在同一數量級；圖像分層步驟：原始的高碼率圖像的每一層重建圖像形成高碼率圖像的基本層，每一層殘差圖像形成高碼率圖像的殘差層；編碼標志位生成步驟：生成所述基本層的基本圖像的標志位，將標識當前圖像為所述基本層的基本圖像的標志位寫入碼流；生成所述殘差層的每一層殘差圖像的標志位，將標識當前圖像為所述殘差層的某一層殘差圖像的編碼標志位寫入碼流。
3. -種高碼率圖像的視頻解碼方法，其特征在于，具體包括如下步驟：解碼標志位生成步驟：解碼編碼標志位的碼流，形成解碼標志位，通過解碼標志位得出當前碼流為基本層的基本圖像的碼流或者殘差層的第一殘差圖像的碼流；基本圖像重建步驟：若當前碼流為基本層的基本圖像的碼流，則根據基本層的基本圖像的解碼標志位對當前碼流解碼，直接得到基本層的基本圖像；高碼率圖像重建步驟：若當前碼流為殘差層的第一殘差圖像的碼流，則根據殘差層的第一殘差圖像的解碼標志位對當前碼流解碼，得到第一殘差圖像的重建圖像；所述基本圖像與第一殘差圖像的重建圖像求和，得到原始的高碼率圖像的第二重建圖像。
4. 一種高碼率圖像的視頻解碼方法，其特征在于，具體包括如下步驟：解碼標志位生成步驟：解碼編碼標志位的碼流，形成解碼標志位，通過解碼標志位得出當前碼流為基本層的基本圖像的碼流或者殘差層的某一層殘差圖像的碼流；基本圖像重建步驟：若當前碼流為基本層的基本圖像的碼流，則根據基本層的基本圖像的解碼標志位對當前碼流解碼，直接得到基本層的基本圖像；高碼率圖像重建步驟：若當前碼流為殘差層的第一殘差圖像的碼流，則根據殘差層的第一殘差圖像的解碼標志位對當前碼流解碼，得到第一殘差圖像的重建圖像；若當前碼流為殘差層的第二殘差圖像的碼流，則根據殘差層的第二殘差圖像的解碼標志位對當前碼流解碼，得到第二殘差圖像的重建圖像；在當前碼流為殘差層的第二層殘差圖像的碼流的情況下，進一步對基本層的基本圖像的碼流和殘差層中的第一殘差圖像的碼流解碼，得到基本層的基本圖像和殘差層的第一殘差圖像，所述基本圖像與所述第一殘差圖像的重建圖像求和，得到原始的高碼率圖像的第二重建圖像，所述原始的高碼率圖像的第二重建圖像與解碼得到的所述第二殘差圖像的重建圖像求和，得到高碼率圖像的第三層重建圖像；以此類推，若當前圖像為某一層殘差圖像的碼流，先對其進行解碼得到某一層殘差圖像的重建圖像，進一步對基本層的基本圖像的碼流以及殘差層的本層之前的每一層殘差圖像的碼流依次解碼，依次按照"解碼得到的某一層殘差圖像的重建圖像與基本層中的高碼率圖像的本層重建圖像求和得到高碼率圖像的下一層重建圖像"的規律，直至得到高碼率圖像的該某一層的下一層重建圖像。
5. 根據權利要求1所述的高碼率圖像的視頻編碼方法，其特征在于，在一個碼流中完成多層碼流的分層傳輸。
6. -種高碼率圖像的視頻編碼系統，其特征在于，具體包括如下模塊：殘差圖像獲取模塊：用于采用序列編碼參數值對原始的高碼率圖像編碼，得到原始的高碼率圖像的第一重建圖像，所述原始的高碼率圖像的第一重建圖像為基本圖像；所述原始的高碼率圖像減去所述基本圖像，得到第一殘差圖像；高碼率圖像重建模塊：用于對所述第一殘差圖像編碼，得到第一殘差圖像的重建圖像，對所述第一殘差圖像進行編碼的編碼數值小于所述序列編碼參數值；所述第一殘差圖像的重建圖像與所述基本圖像求和，得到原始的高碼率圖像的第二重建圖像；圖像分層模塊：用于形成高碼率圖像的基本層和殘差層，其中所述基本圖像和所述原始的高碼率圖像的第二重建圖像形成高碼率圖像的基本層，所述第一殘差圖像形成高碼率圖像的殘差層；編碼標志位生成模塊：用于生成所述基本層的基本圖像的標志位，將標識當前圖像為所述基本層的基本圖像的標志位寫入碼流；以及生成所述殘差層的第一殘差圖像的標志位，將標識當前圖像為所述殘差層的第一殘差圖像的標志位寫入碼流。
7. -種高碼率圖像的視頻編碼系統，其特征在于，具體包括如下模塊：殘差圖像獲取模塊：用于采用序列編碼參數值對原始的高碼率圖像編碼，得到原始的高碼率圖像的第一重建圖像，所述原始的高碼率圖像的第一重建圖像為基本圖像；所述原始的高碼率圖像減去所述基本圖像，得到第一殘差圖像；高碼率圖像重建模塊：用于對所述第一殘差圖像編碼，得到第一殘差圖像的重建圖像，所述第一殘差圖像的重建圖像與所述基本圖像求和，得到原始的高碼率圖像的第二重建圖像；所述原始的高碼率圖像減去所述原始的高碼率圖像的第二重建圖像，得到第二殘差圖像；以及對所述第二殘差圖像編碼，得到第二殘差圖像的重建圖像，所述第二殘差圖像的重建圖像與所述原始的高碼率圖像的第二重建圖像求和，得到原始的高碼率圖像的第三重建圖像；以此類推，某一層殘差圖像為所述原始的高碼率圖像與原始的高碼率圖像的本層重建圖像之差，本層殘差圖像的重建圖像與原始的高碼率圖像的本層重建圖像求和，得到的原始的高碼率圖像的下一層重建圖像；對各層殘差圖像進行編碼的編碼數值小于所述序列編碼參數值；隨著層數的增加所述編碼參數遞減，且殘差的編碼數據量和普通幀幀內編碼的數據量在同一數量級；圖像分層模塊：用于形成高碼率圖像的基本層和殘差層；其中原始的高碼率圖像的每一層重建圖像形成高碼率圖像的基本層，每一層殘差圖像形成高碼率圖像的殘差層；編碼標志位生成模塊：用于生成所述基本層的基本圖像的標志位，將標識當前圖像為所述基本層的基本圖像的標志位寫入碼流；以及生成所述殘差層的每一層殘差圖像的標志位，將標識當前圖像為所述殘差層的某一層殘差圖像的編碼標志位寫入碼流。
8. -種高碼率圖像的視頻解碼系統，其特征在于，具體包括如下模塊：解碼標志位生成模塊：用于解碼編碼標志位的碼流，形成解碼標志位，通過解碼標志位得出當前碼流為基本層的基本圖像的碼流或者殘差層的第一殘差圖像的碼流；基本圖像重建模塊：若當前碼流為基本層的基本圖像的碼流，用于根據基本層的基本圖像的解碼標志位對當前碼流解碼，直接得到基本層的基本圖像；高碼率圖像重建步驟：若當前碼流為殘差層的第一殘差圖像的碼流，用于根據殘差層的第一殘差圖像的解碼標志位對當前碼流解碼，得到第一殘差圖像的重建圖像；所述基本圖像與第一殘差圖像的重建圖像求和，得到原始的高碼率圖像的第二重建圖像。
9. 一種高碼率圖像的視頻解碼系統，其特征在于，具體包括如下模塊：解碼標志位生成模塊：用于解碼編碼標志位的碼流，形成解碼標志位，通過解碼標志位得出當前碼流為基本層的基本圖像的碼流或者殘差層的某一層殘差圖像的碼流；基本圖像重建模塊：若當前碼流為基本層的基本圖像的碼流，用于根據基本層的基本圖像的解碼標志位對當前碼流解碼，直接得到基本層的基本圖像；高碼率圖像重建模塊：若當前碼流為殘差層的第一殘差圖像的碼流，用于根據殘差層的第一殘差圖像的解碼標志位對當前碼流解碼，得到第一殘差圖像的重建圖像；若當前碼流為殘差層的第二殘差圖像的碼流，則根據殘差層的第二殘差圖像的解碼標志位對當前碼流解碼，得到第二殘差圖像的重建圖像；在當前碼流為殘差層的第二層殘差圖像的碼流的情況下，進一步對基本層的基本圖像的碼流和殘差層中的第一殘差圖像的碼流解碼，得到基本層的基本圖像和殘差層的第一殘差圖像，所述基本圖像與所述第一殘差圖像的重建圖像求和，得到原始的高碼率圖像的第二重建圖像，所述原始的高碼率圖像的第二重建圖像與解碼得到的所述第二殘差圖像的重建圖像求和，得到高碼率圖像的第三層重建圖像；以此類推，若當前圖像為某一層殘差圖像的碼流，先對其進行解碼得到某一層殘差圖像的重建圖像，進一步對基本層的基本圖像的碼流以及殘差層的本層之前的每一層殘差圖像的碼流依次解碼，依次按照"解碼得到的某一層殘差圖像的重建圖像與基本層中的高碼率圖像的本層重建圖像求和得到高碼率圖像的下一層重建圖像"的規律，直至得到高碼率圖像的該某一層的下一層重建圖像。
【文檔編號】H04N19/146GK104363454SQ201410440632
【公開日】2015年2月18日申請日期:2014年9月1日優先權日:2014年9月1日
【發明者】田永鴻, 郭少歌, 邢培銀, 王耀威, 黃鐵軍申請人:北京大學

完整全部詳細技術資料下載