專利名稱：視頻編解碼方法、視頻編解碼系統及編解碼器的制作方法
技術領域：
本發明涉及圖像技術領域，特別涉及一種視頻編解碼方法、視頻編解碼系統及編
解碼器。
背景技術：
隨著電子信息技術的不斷發展和網絡的普及，監控等高新技術已應用于國民經濟 每個領域。特別是隨著網絡的普及，遠程監控技術也得到了廣泛的應用，如森林防火監控、 交通管理等。但是由于目前不同類型的網絡的帶寬差異較大，造成不同網絡的終端用戶對 可接收圖像的要求的多樣化，因此提出了 SVC(Scalable Video Coding,可伸縮視頻編碼) 技術。SVC技術利用了分級傳輸的概念，可以在比特流級別通過簡單的丟包或截取碼流等 操作提取出的子碼流具有較低的空間_時間分辨率和/或較低的碼率(對應于較低的視 頻質量)。基于圖像空間尺寸的空域可伸縮性是通過使用金字塔形的空域分辨率概念來實 現的。將原始尺寸的輸入視頻序列進行下采樣，得到所需的較低的空域分辨率，每個空域分 辨率都用一個新的層進行編碼，并且在各空域分辨率層的基礎上進一步實現時域和質量的 可伸縮性。由于低層是由高層通過下采樣得到的，因此在相同的時域分辨率情況下，每一個 高層幀都有與之相對應的低層幀，兩者之間存在著顯而易見的相關性，將其稱為層間冗余。 為了獲得更高的壓縮效率，可通過各種層間預測技術來消除層間冗余，也就是說，低分辨率 層(基本層)的編碼視頻流可以單獨解碼，而高分辨率層(增強層)的編碼視頻流的解碼 過程中會用到低分辨率層的碼流信息。如圖1所示，為現有技術中空域SVC編碼器的結構 圖，原始圖像及增強圖像的尺寸為4CIF(Common Intermediate Format,通用中間格式)，基 本層圖像的尺寸為CIF，這樣在帶寬不足時只傳輸基本層圖像(CIF)即可，因此減少了所需 的傳輸數據量。利用空域分級SVC技術，可以將視頻信息分在不同層次傳輸，在基本層傳輸 一個較低分辨率的圖像序列信息，在增強層傳輸對應圖像的高分辨率的圖像信息。不同層 的編碼比特流信息單獨組包傳輸，在網絡傳輸中，如果帶寬不足，則可以丟掉增強層對應的 包，而解碼器仍然可以正確解出基本層的圖像信息。 另一方面，對于視頻監控的一些特殊的應用場景來說，不是整個圖像的信息都有 應用意義，而一些特定區域是需要重點關注的，其他背景的一些細節可以忽略，比如針對建 筑物進出的人員監控，門和窗可能是重點區域，而并不需要關注墻面部分。因此那些需要 重點關注的感興趣區域(R01)，需要有更多細節信息，而非感興趣區域的細節可以適當的忽 略。 然而現有的SVC技術產生的基本層圖像的分辨率相對較低，因此可能導致R0I區 域內的一些細節缺失，影響了用戶的使用效果。如果對整個圖像進行增強層編碼，對網絡帶 寬的要求又相對提高，限制了應用的范圍。
發明內容
本發明的目的旨在至少解決上述技術缺陷之一，特別是解決現有技術中R0I區域
6圖像質量較低，無法分辨ROI區域內的一些細節的技術缺陷。 為達到上述目的，本發明一方面提出一種視頻編碼方法，包括以下步驟編碼器根 據增強層背景忽略標識從原始圖像中截取感興趣區域ROI區域的ROI區域圖像，并對所述 原始圖像進行下采樣獲取所述原始圖像的基本層圖像；所述編碼器對所述原始圖像的基本 層圖像進行編碼，以獲取所述原始圖像的基本層編碼比特流和用于增強層編碼的基本層信 息；所述編碼器利用所述基本層信息對所述ROI區域圖像進行增強層編碼，獲取所述ROI區 域圖像的增強層編碼比特流。 作為本發明的一個實施例，還包括所述編碼器將所述增強層編碼比特流和所述 基本層編碼比特流向解碼器發送，并將增強層背景忽略標識的值和視頻幀的其他幀級信息 或序列級信息進行編碼后一起發送給所述解碼器。 作為本發明的一個實施例，還包括判斷所述非ROI區域的圖像是否發生變化；如 果判斷所述非ROI區域的圖像發生變化，則產生無效的背景忽略標識；如果判斷所述非ROI 區域的圖像未發生變化，則產生有效的背景忽略標識。 本發明另一方面還提出一種視頻解碼方法，包括以下步驟解碼器接收編碼器發 送的增強層編碼比特流和基本層編碼比特流；所述解碼器對所述基本層編碼比特流進行解 碼，獲取所述原始圖像的基本層圖像，并在所述增強層背景忽略標識指示增強層編碼忽略 了背景時，獲取所述ROI區域圖像。 作為本發明的一個實施例，在所述解碼器對所述基本層編碼比特流和進行解碼，
獲取所述原始圖像的基本層圖像，并在所述增強層背景忽略標識指示增強層編碼時忽略了
背景時，獲取所述ROI區域圖像之后，還包括以下步驟所述解碼器對所述原始圖像的基本
層圖像中的非ROI區域進行上采樣濾波，得到所述ROI區域圖像的背景圖像。 本發明再一方面還提出一種視頻編解碼系統，包括編碼器和解碼器，所述編碼器，
用于根據背景忽略標識從原始圖像中截取ROI區域的ROI區域圖像，并對所述原始圖像進
行下采樣獲取所述原始圖像的基本層圖像，以及對所述原始圖像的基本層圖像進行編碼， 以獲取所述原始圖像的基本層編碼比特流和用于增強層編碼的基本層信息，并利用所述基
本層信息對所述ROI區域圖像進行增強層編碼，獲取所述ROI區域圖像的增強層編碼比特 流，并將所述基本層編碼比特流和所述增強層編碼比特流向所述解碼器發送；所述解碼器， 用于接收所述增強層編碼比特流和所述基本層編碼比特流，并對所述基本層編碼比特流和 所述增強層編碼比特流進行解碼，獲取所述原始圖像的基本層圖像及所述ROI區域圖像。
作為本發明的一個實施例，所述編碼器，還將增強層背景忽略標識的值和視頻幀 的其他幀級信息或序列級信息進行編碼后一起發送給所述解碼器；所述解碼器，在所述增 強層背景忽略標識指示增強層編碼忽略了背景時，獲取所述ROI區域圖像。
作為本發明的一個實施例，所述解碼器，還用于對所述原始圖像的基本層圖像中 的非ROI區域進行上采樣濾波，得到所述ROI區域圖像的背景圖像。 本發明還提出一種編碼器，包括ROI區域截取模塊、下采樣模塊、增強層編碼模塊 和基本層編碼模塊，所述ROI區域截取模塊，用于根據背景忽略標識從原始圖像中截取ROI 區域的ROI區域圖像；所述下采樣模塊，用于對所述原始圖像進行下采樣獲取所述原始圖 像的基本層圖像；所述基本層編碼模塊，用于對所述原始圖像的基本層圖像進行編碼，以獲 取所述原始圖像的基本層編碼比特流和為所述增強層編碼模塊提供的基本層信息；所述增
7強層編碼模塊，用于利用所述基本層編碼模塊生成的所述基本層信息對所述ROI區域截取 模塊截取的所述ROI區域圖像進行增強層編碼，獲取所述ROI區域圖像的增強層編碼比特 流。 作為本發明的一個實施例，還包括傳輸模塊，用于將所述增強層編碼比特流和所 述基本層編碼比特流向解碼器發送，并將增強層背景忽略標識的值和視頻幀的其他幀級信 息或序列級信息進行編碼后一起發送給所述解碼器。 作為本發明的一個實施例，還包括智能分析模塊，用于對非ROI區域的圖像進行 分析以判斷所述非ROI區域的圖像是否發生變化，如果判斷所述非ROI區域的圖像發生變 化，則產生無效的背景忽略標識；如果判斷所述非ROI區域的圖像未發生變化，則產生有效 的背景忽略標識。 本發明還提出一種視頻編碼方法，包括以下步驟編碼器確定基本層背景忽略標 識和增強層背景忽略標識的值；所述編碼器根據所述增強層背景忽略標識的值從原始圖像 中截取ROI區域的ROI區域圖像；所述編碼器根據基本層背景忽略標識選擇對所述原始圖 像或所述ROI區域圖像進行下采樣獲取基本層圖像；所述編碼器對所述基本層圖像進行編 碼，以獲取基本層編碼比特流和為增強層編碼提供的基本層信息；所述編碼器利用所述基 本層信息并根據所述增強層背景忽略標識的值對所述ROI區域圖像進行增強層編碼，獲取 所述ROI區域圖像的增強層編碼比特流。 作為本發明的一個實施例，還包括所述編碼器將所述圖像的增強層編碼比特流
和所述基本層編碼比特流向解碼器發送，并將增強層背景忽略標識和基本層背景忽略標識
的值和視頻幀的其他幀級信息或序列級信息進行編碼后一起發送給所述解碼器。
作為本發明的一個實施例，還包括判斷所述非ROI區域的圖像是否發生變化；如
果判斷所述非ROI區域的圖像發生變化，則產生無效的背景忽略標識；如果判斷所述非ROI
區域的圖像未發生變化，則產生有效的背景忽略標識。 本發明還提出一種視頻解碼方法，包括以下步驟解碼器接收所述編碼器發送的 增強層編碼比特流和基本層編碼比特流；所述解碼器解析獲取所述增強層背景忽略標識和 基本層背景忽略標識；所述解碼器根據所述增強層背景忽略標識和基本層背景忽略標識對 所述基本層編碼比特流和增強層編碼比特流進行解碼，獲取所述ROI區域圖像或原始圖像 的基本層圖像，以及所述ROI區域圖像。 作為本發明的一個實施例，在所述解碼器根據所述增強層背景忽略標識和基本層 背景忽略標識對所述基本層編碼比特流和增強層編碼比特流進行解碼，獲取所述ROI區域 圖像的基本層圖像，以及所述ROI區域圖像之后，還包括以下步驟所述解碼器將最近的解
碼圖像的非ROI區域的圖像作為所述ROI區域圖像的背景圖像。 本發明還提出一種視頻編解碼系統，包括編碼器和解碼器，所述編碼器，用于確定 基本層背景忽略標識和增強層背景忽略標識的值，并根據所述增強層背景忽略標識的值從 原始圖像中截取ROI區域的ROI區域圖像，及對所述ROI區域圖像進行下采樣獲取所述ROI 區域圖像的基本層圖像，并對所述ROI區域圖像的基本層圖像進行編碼，以獲取所述ROI區 域圖像的基本層編碼比特流和為增強層編碼提供的基本層信息，以及利用所述基本層信息 對所述ROI區域圖像進行增強層編碼，獲取所述ROI區域圖像的增強層編碼比特流，并將 所述ROI區域圖像的基本層編碼比特流和增強層編碼比特流向所述解碼器發送；所述解碼器，用于接收所述ROI區域圖像的增強層編碼比特流和所述基本層編碼比特流，并對所述 增強層編碼比特流和基本層編碼比特流進行解碼，獲取所述ROI區域圖像或原始圖像的基 本層圖像，及所述ROI區域圖像。 作為本發明的一個實施例，所述編碼器，用于將增強層背景忽略標識和基本層背 景忽略標識的值和視頻幀的其他幀級信息或序列級信息進行編碼后一起發送給所述解碼 器；所述解碼器，用于在所述增強層背景忽略標識和基本層背景忽略標識指示增強層編碼 和基本層編碼忽略了背景時，獲取所述ROI區域圖像和ROI區域圖像的基本層圖像。
作為本發明的一個實施例，所述解碼器，還用于將最近的解碼圖像的非ROI區域 的圖像作為所述ROI區域圖像的背景圖像。 本發明還提出一種編碼器，包括ROI區域截取模塊、下采樣模塊、增強層編碼模塊 和基本層編碼模塊，所述ROI區域截取模塊，用于根據背景忽略標識從原始圖像中截取ROI 區域的ROI區域圖像；所述下采樣模塊，用于對所述原始圖像或ROI區域截取模塊截取的
ROI區域圖像進行下采樣獲取基本層圖像；所述基本層編碼模塊，用于對所述基本層圖像 進行編碼，以獲取基本層編碼比特流和為所述增強層編碼模塊提供的基本層信息；所述增 強層編碼模塊，用于利用所述基本層編碼模塊生成的所述基本層信息對所述ROI區域截取 模塊截取的所述ROI區域圖像進行增強層編碼，獲取所述ROI區域圖像的增強層編碼比特 流。 作為本發明的一個實施例，還包括傳輸模塊和智能分析模塊，所述傳輸模塊，用于 將所述ROI區域圖像的增強層編碼比特流和所述基本層編碼比特流向解碼器發送，并將增 強層背景忽略標識和基本層背景忽略標識的值和視頻幀的其他幀級信息或序列級信息進 行編碼后一起發送給所述解碼器；所述智能分析模塊，用于對非ROI區域的圖像進行分析 以判斷所述非ROI區域的圖像是否發生變化，如果判斷所述非ROI區域的圖像發生變化，則 產生無效的背景忽略標識；如果判斷所述非ROI區域的圖像未發生變化，則產生有效的背 景忽略標識。 本發明還提出一種編碼器，包括ROI區域截取模塊、編碼模塊和傳輸模塊，所述 ROI區域截取模塊，用于判斷背景忽略標識是否有效，在所述背景忽略標識有效時從原始圖 像中截取ROI區域的ROI區域圖像并發送給所述編碼模塊，在所述背景忽略標識無效時將 整個原始圖像發送給所述編碼模塊；所述編碼模塊，用于對所述ROI區域截取模塊發送的 ROI區域圖像或整個原始圖像進行編碼并有所述傳輸模塊發送給解碼器；所述傳輸模塊， 用于在發送視頻數據流時將背景忽略標識的值和視頻幀的其他幀級/序列級信息編碼在 一起，以向所述解碼器指示所述編碼器傳輸的是ROI區域圖像還是整個原始圖像。
作為本發明的一個實施例，還包括智能分析模塊，用于對非ROI區域的圖像進行 分析以判斷非ROI區域的圖像是否發生變化，如果判斷非ROI區域的圖像發生變化，則產生 無效的背景忽略標識；如果判斷非ROI區域的圖像未發生變化，則產生有效的背景忽略標 識。 本發明還提出一種視頻編碼方法，包括以下步驟編碼器判斷背景忽略標識是否 有效；如果判斷背景忽略標識有效，則所述編碼器從原始圖像中截取ROI區域的ROI區域圖 像，并對所述ROI區域圖像進行編碼后發送給解碼器，且并將增強層背景忽略標識的值和 視頻幀的其他幀級信息或序列級信息進行編碼后一起發送給所述解碼器；如果判斷背景忽
9略標識無效，則所述編碼器對整個原始圖像進行編碼并發送給所述解碼器。
作為本發明的一個實施例，還包括對非ROI區域的圖像進行分析以判斷所述非
ROI區域的圖像是否發生變化；如果判斷所述非ROI區域的圖像發生變化，則產生無效的背
景忽略標識；如果判斷所述非ROI區域的圖像未發生變化，則產生有效的背景忽略標識。 本發明對ROI區域圖像進行增強層編碼，從而能夠提供更高分辨率的ROI區域圖
像，避免傳輸不必要的信息冗余，降低了碼率。并且通過本發明與智能分析模塊相結合，從
而能夠提供更好的監控效果。 本發明附加的方面和優點將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過本發明的實踐了解到。
本發明上述的和/或附加的方面和優點從下面結合附圖對實施例的描述中將變 得明顯和容易理解，其中 圖1為現有技術中空域SVC編碼器的結構圖；
圖2為本發明實施例一的視頻編碼方法的流程圖；
圖3為本發明實施例一的視頻編解碼系統的結構圖；
圖4為本發明實施例一的編碼器結構圖；
圖5為本發明實施例二的視頻編碼方法流程圖；
圖6為本發明實施例二的編碼器結構圖；
圖7為本發明實施例二的另一編碼器結構圖；
圖8為本發明實施例三的編碼器結構圖；
圖9為本發明實施例三的視頻編碼方法流程圖。
具體實施例方式
下面詳細描述本發明的實施例，所述實施例的示例在附圖中示出，其中自始至終 相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附 圖描述的實施例是示例性的，僅用于解釋本發明，而不能解釋為對本發明的限制。
本發明主要在于僅對ROI區域圖像進行增強層編碼，從而對ROI區域圖像提供更 高分辨率的圖像，避免ROI區域內一些細節的缺失。并且作為本發明的一個實施例，背景忽 略標志是否有效可以由智能分析模塊決定，從而得到更好的監控效果。例如對于非ROI區 域(背景區域)來說，智能分析模塊會對采集的背景圖像(如墻等)進行分析，如果其背景 與上次采集的背景相同，沒有變化則智能分析模塊產生有效的背景忽略標識，則在編碼時 就僅對ROI區域圖像進行增強層編碼；反之，如果與上次采集的背景不相同，則智能分析模 塊產生無效的背景忽略標識，在編碼時對全部原始圖像進行增強層編碼。以上僅是對智能 分析模塊操作的簡單舉例，智能分析模塊還可根據其他特征確定產生有效或無效的背景忽 略標識，同樣其他類似的方式也應包含在本發明的保護范圍之內。 作為本發明的一個實施例，在編碼器編碼向解碼器發送時，還需要指示解碼器是 否在增強層和/或基本層編碼時忽略了背景，作為本發明的具體實施例，可將增強層背景 忽略標識和基本層背景忽略標識作為幀級參數來指示是否在增強層和/或基本層編碼時忽略了背景，在編碼時，將增強層背景忽略標識和基本層背景忽略標識的值進行編碼并和
視頻幀的其他幀級信息一起發送，如放在圖像頭中或放在圖像參數集中。例如該幀級參數
可用1比特表示，當該幀級參數為1時，表示增強層編碼只對ROI區域進行，而基本層編碼
對整個圖像進行；當該幀級參數為O時，表示增強層編碼和基本層編碼均為對整個圖像。當
然也可用兩個幀級參數分別指示基本層編碼和增強層編碼是對ROI區域編碼還是對整個
圖像編碼。另外還可以將增強層背景忽略標識和基本層背景忽略標識作為序列級參數，如
放在序列頭或序列參數集中發送。以上類似的方法還有很多，在此不再贅述。 以下將以具體實施例的方式對本發明進行進一步的介紹，需要說明的是這些實施
例僅是為了能夠更好地理解本發明，而并不是說本發明只能通過下述實施例實現。 實施例一，在該實施例中，對ROI區域圖像進行增強層編碼，而基本層編碼還是針
對全部的原始圖像。 如圖2所示，為本發明實施例一的視頻編碼方法的流程圖，包括以下步驟
步驟S201，智能分析模塊對采集的原始圖像的非R01區域進行分析，判斷非ROI區 域的圖像是否發生變化(例如可相對于前一幀圖像的非ROI區域)并產生相應的背景忽略 標識，如果判斷非ROI區域的圖像發生變化，則產生無效的背景忽略標識；如果判斷所述非 ROI區域的圖像未發生變化，則產生有效的背景忽略標識。 步驟S202，編碼器判斷背景忽略標識是否有效，如果背景忽略標識有效，則編碼器 根據背景忽略標識從原始圖像中截取ROI區域的ROI區域圖像，并對原始圖像進行下采樣 獲取原始圖像的基本層圖像。如果背景忽略標識無效，則編碼器對全部原始圖像進行增強 層編碼，或者不對全部原始圖像進行增強層編碼。 步驟S203，編碼器對原始圖像的基本層圖像進行編碼，以獲取原始圖像的基本層 編碼比特流和為增強層編碼提供的基本層信息。其中，作為本發明的一個實施例，編碼器將 原始圖像的基本層圖像中ROI區域和非ROI區域分別在不同的片(Slice)中編碼，從而可 以減少ROI區域圖像與非ROI區域的相關性。 步驟S204，編碼器根據基本層信息對R01區域圖像進行增強層編碼，獲取ROI區域 圖像的增強層編碼比特流。 步驟S205，編碼器將獲取的增強層編碼比特流和基本層編碼比特流向解碼器發 送，并將增強層背景忽略標識的值和視頻幀的其他幀級信息或序列級信息進行編碼后一起 發送給所述解碼器。如再增加一位幀級/序列級參數為增強層背景忽略標識的值，當該增 強層背景忽略標識的值為1時，表示增強層編碼忽略了背景；當該增強層背景忽略標識的 值為0時，表示增強層編碼未忽略背景。 步驟S206，解碼器接收增強層編碼比特流和所述基本層編碼比特流，并對基本層 編碼比特流進行解碼，獲取原始圖像的基本層圖像，并在所述增強層背景忽略標識指示增 強層編碼忽略了背景時，獲取ROI區域圖像。 步驟S207，解碼器對原始圖像的基本層圖像中的非ROI區域進行上采樣濾波，得 到ROI區域圖像的背景圖像。從而將得到的ROI區域圖像與ROI區域圖像的背景圖像合并 得到完整的監控圖像。 如圖3所示，為本發明實施例一的視頻編解碼系統的結構圖，該視頻編解碼系統 包括編碼器100和解碼器200。編碼器100用于根據背景忽略標識從原始圖像中截取ROI區域的ROI區域圖像，并對原始圖像進行下采樣獲取原始圖像的基本層圖像，以及對原始 圖像的基本層圖像進行編碼，以獲取原始圖像的基本層編碼比特流和為增強層編碼提供的 基本層信息，并根據基本層信息對ROI區域圖像進行增強層編碼，獲取ROI區域圖像的增強 層編碼比特流，并將基本層編碼比特流和增強層編碼比特流向解碼器發送。解碼器200用 于接收增強層編碼比特流和基本層編碼比特流，并對基本層編碼比特流和增強層編碼比特 流進行解碼，獲取原始圖像的基本層圖像及ROI區域圖像。 作為本發明的一個實施例，編碼器100還用于將增強層背景忽略標識的值和視頻 幀的其他幀級信息或序列級信息進行編碼后一起發送給所述解碼器。解碼器200還用于在 所述增強層背景忽略標識指示增強層編碼忽略了背景時，獲取ROI區域圖像。
作為本發明的一個實施例，解碼器200還用于對原始圖像的基本層圖像中的非 ROI區域進行上采樣濾波，得到所述ROI區域圖像的背景圖像。 其中，如圖4所示，為本發明實施例一的編碼器結構圖，編碼器100包括ROI區域 截取模塊110、下采樣模塊120、增強層編碼模塊130和基本層編碼模塊140。 ROI區域截取 模塊110用于根據背景忽略標識從原始圖像中截取ROI區域的ROI區域圖像。下采樣模塊 120用于對原始圖像進行下采樣獲取原始圖像的基本層圖像。基本層編碼模塊140用于對 原始圖像的基本層圖像進行編碼，以獲取原始圖像的基本層編碼比特流和為增強層編碼模 塊130提供的基本層信息。增強層編碼模塊130用于根據基本層編碼模塊140生成的基本 層信息對ROI區域截取模塊110截取的ROI區域圖像進行增強層編碼，獲取所述ROI區域 圖像的增強層編碼比特流。 作為本發明的一個實施例，編碼器100還包括傳輸模塊150用于將增強層編碼比 特流和基本層編碼比特流向解碼器200發送，并將增強層背景忽略標識和基本層背景忽略 標識的值和視頻幀的其他幀級信息或序列級信息進行編碼后一起發送給解碼器200。
作為本發明的一個實施例，編碼器100還包括智能分析模塊160，用于對非ROI區 域的圖像進行分析以判斷非ROI區域的圖像是否發生變化，如果判斷非ROI區域的圖像發 生變化，則產生無效的背景忽略標識；如果判斷非ROI區域的圖像未發生變化，則產生有效 的背景忽略標識。 實施例二，在該實施例中對ROI區域圖像進行增強層編碼和基本層編碼。
如圖5所示，為本發明實施例二的視頻編碼方法流程圖，包括以下步驟
步驟S501，智能分析模塊對采集的原始圖像的非R01區域進行分析，判斷非ROI區 域的圖像是否發生變化(例如可相對于前一幀圖像的非ROI區域)并產生相應的背景忽略 標識，如果判斷非ROI區域的圖像發生變化，則產生無效的背景忽略標識；如果判斷所述非 ROI區域的圖像未發生變化，則產生有效的背景忽略標識。在該實施例中，智能分析模塊可 分別產生基本層背景忽略標識和增強層背景忽略標識，如果要在基本層編碼時忽略背景， 則產生有效的基本層背景忽略標識，反之產生無效的基本層背景忽略標識；同樣對于增強 層背景忽略標識來說，如果要在增強層編碼時忽略背景，則產生有效的增強層背景忽略標 識，反之產生無效的增強層背景忽略標識。 步驟S502，編碼器判斷上述基本層背景忽略標識或增強層背景忽略標識是否有 效，如果上述背景忽略標識任一個有效，則編碼器根據背景忽略標識從原始圖像中截取ROI 區域的ROI區域圖像。如果上述背景忽略標識全部無效，則編碼器對全部原始圖像進行增強層編碼和基本層編碼，或者僅進行基本層編碼，或僅進行增強層編碼。 步驟S503，編碼器根據基本層背景忽略標識對原始圖像或ROI區域圖像進行下采
樣獲取基本層圖像。 步驟S504，編碼器對所述ROI區域圖像的基本層圖像進行編碼，以獲取所述基本 層編碼比特流和為增強層編碼提供的基本層信息。 步驟S505，在增強層背景忽略標識有效時，編碼器根據基本層信息對ROI區域圖 像進行增強層編碼，獲取ROI區域圖像的增強層編碼比特流。 步驟S506，編碼器將ROI區域圖像的增強層編碼比特流和基本層編碼比特流向解 碼器發送，并將增強層背景忽略標識和基本層背景忽略標識的值和視頻幀的其他幀級信息 或序列級信息進行編碼后一起發送給解碼器，以指示解碼器其傳輸的增強層編碼比特流和 基本層編碼比特流都是針對ROI區域圖像的。 步驟S507，解碼器接收所述增強層編碼比特流和所述基本層編碼比特流，在所述 增強層背景忽略標識和基本層背景忽略標識指示增強層編碼和基本層編碼忽略了背景時， 對基本層編碼比特流和增強層編碼比特流進行解碼，獲取ROI區域圖像的基本層圖像和 ROI區域圖像。 步驟S508，解碼器將最近的解碼圖像的非ROI區域的圖像作為ROI區域圖像的背 景圖像。 同樣本發明還提出一種視頻編解碼系統，包括編碼器和解碼器。編碼器用于根據 背景忽略標識從原始圖像中截取ROI區域的ROI區域圖像，對ROI區域圖像進行下采樣獲 取ROI區域圖像的基本層圖像，并對ROI區域圖像的基本層圖像進行編碼，以獲取ROI區域 圖像的基本層編碼比特流和為增強層編碼提供的基本層信息，以及根據基本層信息對ROI 區域圖像進行增強層編碼，獲取ROI區域圖像的增強層編碼比特流，并將ROI區域圖像的基 本層編碼比特流和增強層編碼比特流向解碼器發送。解碼器用于接收ROI區域圖像的增 強層編碼比特流和基本層編碼比特流，并對增強層編碼比特流和基本層編碼比特流進行解 碼，獲取ROI區域圖像的基本層圖像及ROI區域圖像。 作為本發明的一個實施例，編碼器還用于將增強層背景忽略標識和基本層背景忽 略標識的值和視頻幀的其他幀級/序列級信息編碼在一起。解碼器還用于在所述增強層背 景忽略標識和基本層背景忽略標識指示增強層編碼和基本層編碼忽略了背景時，獲取ROI 區域圖像和ROI區域圖像的基本層圖像。其中，解碼器還用于將最近的解碼圖像的非ROI 區域的圖像作為ROI區域圖像的背景圖像。 如圖6所示，為本發明實施例二的編碼器結構圖，該編碼器包括R0I區域截取模塊 210、下采樣模塊220、增強層編碼模塊230和基本層編碼模塊240。 ROI區域截取模塊210 用于根據背景忽略標識從原始圖像中截取ROI區域的ROI區域圖像。下采樣模塊220用于 對ROI區域截取模塊210截取的R01區域圖像進行下采樣獲取ROI區域圖像的基本層圖像。 基本層編碼模塊240用于對ROI區域圖像的基本層圖像進行編碼，以獲取ROI區域圖像的 基本層編碼比特流和為增強層編碼模塊230提供的基本層信息。增強層編碼模塊230用于 根據基本層編碼模塊240生成的基本層信息對ROI區域截取模塊210截取的ROI區域圖像 進行增強層編碼，獲取ROI區域圖像的增強層編碼比特流。 作為本發明的一個實施例，該編碼器還包括傳輸模塊250，用于將ROI區域圖像的
13增強層編碼比特流和基本層編碼比特流向解碼器發送，并將增強層背景忽略標識和基本層背景忽略標識的值和視頻幀的其他幀級/序列級信息編碼在一起。 作為本發明的一個實施例，該編碼器還包括智能分析模塊260，用于對非ROI區域的圖像進行分析以判斷非ROI區域的圖像是否發生變化，如果判斷非ROI區域的圖像發生變化，則產生無效的背景忽略標識；如果判斷非ROI區域的圖像未發生變化，則產生有效的背景忽略標識。 另外本發明還可通過以下的結構實現，如圖7所示，為本發明實施例二的另一編
碼器結構圖，該實施例中智能分析模塊可分別產生基本層背景忽略標識和增強層背景忽略
標識以分別控制基本層編碼或增強層編碼是否忽略背景。當然在實際應用中也可對該結構
進行簡化，但不脫離本發明思想的任何修改均應為本發明保護范圍所涵蓋。 基于本發明的上述思想，當然也可僅對ROI區域的圖像進行基本層編碼，而對整
個原始圖像進行增強層編碼，其過程與上述過程類似，在此不再贅述。 本發明對ROI區域圖像進行增強層編碼，從而能夠提供更高分辨率的ROI區域圖像，避免傳輸不必要的信息冗余，降低了碼率。并且通過本發明與智能分析模塊相結合，從而能夠提供更好的監控效果。本發明還可針對網絡的特性及具體應用，提供碼流的可伸縮性。 進一步地，上述實施例是針對SVC編碼所提出的，然而本發明的上述思想也可應
用至其他的編碼方式中，以下將具體介紹本發明在其他編碼方式中的應用。 實施例三， 如圖8所示，為本發明實施例三的編碼器結構圖，該編碼器包括ROI區域截取模塊310、編碼模塊320和傳輸模塊330。 ROI區域截取模塊310用于根據背景忽略標識從原始圖像中截取ROI區域的ROI區域圖像，如果背景忽略標識有效，則ROI區域截取模塊310從原始圖像中截取ROI區域的ROI區域圖像，如果背景忽略標識無效，則ROI區域截取模塊310不截取ROI區域圖像，而將整個原始圖像傳送給編碼模塊320。編碼模塊320用于對R01區域截取模塊310傳送的ROI區域圖像或整個原始圖像進行編碼，并由傳輸模塊330發送給解碼器，且傳輸模塊330在發送視頻數據流時將背景忽略標識的值和視頻幀的其他幀級/序列級信息編碼在一起，以向解碼器指示其傳輸的是ROI區域圖像還是整個原始圖像。
作為本發明的一個實施例，該編碼器還包括智能分析模塊340，用于對非ROI區域的圖像進行分析以判斷非ROI區域的圖像是否發生變化，如果判斷非ROI區域的圖像發生變化，則產生無效的背景忽略標識；如果判斷非ROI區域的圖像未發生變化，則產生有效的背景忽略標識。 如圖9所示，為本發明實施例三的視頻編碼方法流程圖，包括以下步驟 步驟S901，智能分析模塊對采集的原始圖像的非ROI區域進行分析，判斷非ROI
區域的圖像是否發生變化并產生相應的背景忽略標識，如果判斷非ROI區域的圖像發生變
化，則產生無效的背景忽略標識；如果判斷所述非ROI區域的圖像未發生變化，則產生有效
的背景忽略標識。 步驟S902，編碼器判斷背景忽略標識是否有效。 步驟S903，如果判斷背景忽略標識有效，則編碼器從原始圖像中截取ROI區域的ROI區域圖像，并對ROI區域圖像進行編碼后發送給解碼器，且將背景忽略標識的值和視頻幀的其他幀級/序列級信息編碼在一起，且該背景忽略標識的值指示傳輸的為ROI區域圖像。 步驟S904，如果判斷背景忽略標識無效，則編碼器對整個原始圖像進行編碼并發送給解碼器。同樣，也將背景忽略標識的值和視頻幀的其他幀級/序列級信息編碼在一起，且該背景忽略標識的值指示傳輸的為整個原始圖像。 該實施例能夠僅傳輸ROI的圖像，并通過背景忽略標識的指示通知解碼器，從而能夠在不影響監控效果的前提下有效減少所需傳輸的數據量。 盡管已經示出和描述了本發明的實施例，對于本領域的普通技術人員而言，可以理解在不脫離本發明的原理和精神的情況下可以對這些實施例進行多種變化、修改、替換和變型，本發明的范圍由所附權利要求及其等同限定。
權利要求
一種視頻編碼方法，其特征在于，包括以下步驟編碼器根據增強層背景忽略標識從原始圖像中截取感興趣區域ROI區域的ROI區域圖像，并對所述原始圖像進行下采樣獲取所述原始圖像的基本層圖像；所述編碼器對所述原始圖像的基本層圖像進行編碼，以獲取所述原始圖像的基本層編碼比特流和用于增強層編碼的基本層信息；所述編碼器利用所述基本層信息對所述ROI區域圖像進行增強層編碼，獲取所述ROI區域圖像的增強層編碼比特流。
2. 如權利要求1所述的視頻編碼方法，其特征在于，還包括所述編碼器將所述增強層編碼比特流和所述基本層編碼比特流向解碼器發送，并將增 強層背景忽略標識的值和視頻幀的其他幀級信息或序列級信息進行編碼后一起發送給所 述解碼器。
3. 如權利要求1所述的視頻編碼方法，其特征在于，還包括 判斷所述非ROI區域的圖像是否發生變化；如果判斷所述非ROI區域的圖像發生變化，則產生無效的背景忽略標識； 如果判斷所述非ROI區域的圖像未發生變化，則產生有效的背景忽略標識。
4. 一種視頻解碼方法，其特征在于，包括以下步驟 解碼器接收編碼器發送的增強層編碼比特流和基本層編碼比特流；所述解碼器對所述基本層編碼比特流進行解碼，獲取所述原始圖像的基本層圖像，并在所述增強層背景忽略標識指示增強層編碼忽略了背景時，獲取所述ROI區域圖像。
5. 如權利要求4所述的視頻解碼方法，其特征在于，在所述解碼器對所述基本層編碼 比特流和進行解碼，獲取所述原始圖像的基本層圖像，并在所述增強層背景忽略標識指示增強層編碼時忽略了背景時，獲取所述ROI區域圖像之后，還包括以下步驟所述解碼器對所述原始圖像的基本層圖像中的非ROI區域進行上采樣濾波，得到所述 ROI區域圖像的背景圖像。
6. —種視頻編解碼系統，其特征在于，包括編碼器和解碼器，所述編碼器，用于根據背景忽略標識從原始圖像中截取ROI區域的ROI區域圖像，并 對所述原始圖像進行下采樣獲取所述原始圖像的基本層圖像，以及對所述原始圖像的基本 層圖像進行編碼，以獲取所述原始圖像的基本層編碼比特流和用于增強層編碼的基本層信 息，并利用所述基本層信息對所述ROI區域圖像進行增強層編碼，獲取所述ROI區域圖像的 增強層編碼比特流，并將所述基本層編碼比特流和所述增強層編碼比特流向所述解碼器發 送；所述解碼器，用于接收所述增強層編碼比特流和所述基本層編碼比特流，并對所述基 本層編碼比特流和所述增強層編碼比特流進行解碼，獲取所述原始圖像的基本層圖像及所 述ROI區域圖像。
7. 如權利要求6所述的視頻編解碼系統，其特征在于，所述編碼器，還將增強層背景忽略標識的值和視頻幀的其他幀級信息或序列級信息進 行編碼后一起發送給所述解碼器；所述解碼器，在所述增強層背景忽略標識指示增強層編碼忽略了背景時，獲取所述ROI 區域圖像。
8. 如權利要求6所述的視頻編解碼系統，其特征在于，所述解碼器，還用于對所述原始 圖像的基本層圖像中的非ROI區域進行上采樣濾波，得到所述ROI區域圖像的背景圖像。
9. 一種編碼器，其特征在于，包括ROI區域截取模塊、下采樣模塊、增強層編碼模塊和 基本層編碼模塊，所述ROI區域截取模塊，用于根據背景忽略標識從原始圖像中截取ROI區域的ROI區 域圖像；所述下采樣模塊，用于對所述原始圖像進行下采樣獲取所述原始圖像的基本層圖像； 所述基本層編碼模塊，用于對所述原始圖像的基本層圖像進行編碼，以獲取所述原始圖像的基本層編碼比特流和為所述增強層編碼模塊提供的基本層信息；所述增強層編碼模塊，用于利用所述基本層編碼模塊生成的所述基本層信息對所述ROI區域截取模塊截取的所述ROI區域圖像進行增強層編碼，獲取所述ROI區域圖像的增強層編碼比特流。
10. 如權利要求9所述的編碼器，其特征在于，還包括傳輸模塊，用于將所述增強層編 碼比特流和所述基本層編碼比特流向解碼器發送，并將增強層背景忽略標識的值和視頻幀 的其他幀級信息或序列級信息進行編碼后一起發送給所述解碼器。
11. 如權利要求9所述的編碼器，其特征在于，還包括智能分析模塊，用于對非R01區域 的圖像進行分析以判斷所述非ROI區域的圖像是否發生變化，如果判斷所述非ROI區域的 圖像發生變化，則產生無效的背景忽略標識；如果判斷所述非ROI區域的圖像未發生變化， 則產生有效的背景忽略標識。
12. —種視頻編碼方法，其特征在于，包括以下步驟 編碼器確定基本層背景忽略標識和增強層背景忽略標識的值；所述編碼器根據所述增強層背景忽略標識的值從原始圖像中截取ROI區域的ROI區域 圖像；所述編碼器根據基本層背景忽略標識選擇對所述原始圖像或所述ROI區域圖像進行 下采樣獲取基本層圖像；所述編碼器對所述基本層圖像進行編碼，以獲取基本層編碼比特流和為增強層編碼提 供的基本層信息；所述編碼器利用所述基本層信息并根據所述增強層背景忽略標識的值對所述ROI區 域圖像進行增強層編碼，獲取所述ROI區域圖像的增強層編碼比特流。
13. 如權利要求12所述的視頻編碼方法，其特征在于，還包括所述編碼器將所述圖像的增強層編碼比特流和所述基本層編碼比特流向解碼器發送， 并將增強層背景忽略標識和基本層背景忽略標識的值和視頻幀的其他幀級信息或序列級 信息進行編碼后一起發送給所述解碼器。
14. 如權利要求12所述的視頻編碼方法，其特征在于，還包括 判斷所述非ROI區域的圖像是否發生變化；如果判斷所述非ROI區域的圖像發生變化，則產生無效的背景忽略標識； 如果判斷所述非ROI區域的圖像未發生變化，則產生有效的背景忽略標識。
15. —種視頻解碼方法，其特征在于，包括以下步驟 解碼器接收所述編碼器發送的增強層編碼比特流和基本層編碼比特流；所述解碼器解析獲取所述增強層背景忽略標識和基本層背景忽略標識； 所述解碼器根據所述增強層背景忽略標識和基本層背景忽略標識對所述基本層編碼比特流和增強層編碼比特流進行解碼，獲取所述ROI區域圖像或原始圖像的基本層圖像，以及所述ROI區域圖像。
16. 如權利要求15所述的視頻解編碼方法，其特征在于，在所述解碼器根據所述增強 層背景忽略標識和基本層背景忽略標識對所述基本層編碼比特流和增強層編碼比特流進 行解碼，獲取所述ROI區域圖像的基本層圖像，以及所述ROI區域圖像之后，還包括以下步驟所述解碼器將最近的解碼圖像的非ROI區域的圖像作為所述ROI區域圖像的背景圖像。
17. —種視頻編解碼系統，其特征在于，包括編碼器和解碼器，所述編碼器，用于確定基本層背景忽略標識和增強層背景忽略標識的值，并根據所述 增強層背景忽略標識的值從原始圖像中截取ROI區域的ROI區域圖像，及對所述ROI區域 圖像進行下采樣獲取所述ROI區域圖像的基本層圖像，并對所述ROI區域圖像的基本層圖 像進行編碼，以獲取所述ROI區域圖像的基本層編碼比特流和為增強層編碼提供的基本層 信息，以及利用所述基本層信息對所述ROI區域圖像進行增強層編碼，獲取所述ROI區域圖 像的增強層編碼比特流，并將所述ROI區域圖像的基本層編碼比特流和增強層編碼比特流 向所述解碼器發送；所述解碼器，用于接收所述ROI區域圖像的增強層編碼比特流和所述基本層編碼比特 流，并對所述增強層編碼比特流和基本層編碼比特流進行解碼，獲取所述ROI區域圖像或 原始圖像的基本層圖像，及所述ROI區域圖像。
18. 如權利要求17所述的視頻編解碼系統，其特征在于，所述編碼器，用于將增強層背景忽略標識和基本層背景忽略標識的值和視頻幀的其他 幀級信息或序列級信息進行編碼后一起發送給所述解碼器；所述解碼器，用于在所述增強層背景忽略標識和基本層背景忽略標識指示增強層編碼 和基本層編碼忽略了背景時，獲取所述ROI區域圖像和ROI區域圖像的基本層圖像。
19. 如權利要求17所述的視頻編解碼系統，其特征在于，所述解碼器，還用于將最近的 解碼圖像的非ROI區域的圖像作為所述ROI區域圖像的背景圖像。
20. —種編碼器，其特征在于，包括ROI區域截取模塊、下采樣模塊、增強層編碼模塊和 基本層編碼模塊，所述ROI區域截取模塊，用于根據背景忽略標識從原始圖像中截取ROI區域的ROI區 域圖像；所述下采樣模塊，用于對所述原始圖像或ROI區域截取模塊截取的ROI區域圖像進行 下采樣獲取基本層圖像；所述基本層編碼模塊，用于對所述基本層圖像進行編碼，以獲取基本層編碼比特流和 為所述增強層編碼模塊提供的基本層信息；所述增強層編碼模塊，用于利用所述基本層編碼模塊生成的所述基本層信息對所述 ROI區域截取模塊截取的所述ROI區域圖像進行增強層編碼，獲取所述ROI區域圖像的增強 層編碼比特流。
21. 如權利要求20所述的編碼器，其特征在于，還包括傳輸模塊和智能分析模塊，所述傳輸模塊，用于將所述ROI區域圖像的增強層編碼比特流和所述基本層編碼比特流向解碼器發送，并將增強層背景忽略標識和基本層背景忽略標識的值和視頻幀的其他幀級信息或序列級信息進行編碼后一起發送給所述解碼器；所述智能分析模塊，用于對非ROI區域的圖像進行分析以判斷所述非ROI區域的圖像是否發生變化，如果判斷所述非ROI區域的圖像發生變化，則產生無效的背景忽略標識；如果判斷所述非ROI區域的圖像未發生變化，則產生有效的背景忽略標識。
22. —種編碼器，其特征在于，包括ROI區域截取模塊、編碼模塊和傳輸模塊，所述ROI區域截取模塊，用于判斷背景忽略標識是否有效，在所述背景忽略標識有效時從原始圖像中截取ROI區域的ROI區域圖像并發送給所述編碼模塊，在所述背景忽略標識無效時將整個原始圖像發送給所述編碼模塊；所述編碼模塊，用于對所述ROI區域截取模塊發送的ROI區域圖像或整個原始圖像進行編碼并有所述傳輸模塊發送給解碼器；所述傳輸模塊，用于在發送視頻數據流時將背景忽略標識的值和視頻幀的其他幀級/序列級信息編碼在一起，以向所述解碼器指示所述編碼器傳輸的是ROI區域圖像還是整個原始圖像。
23. 如權利要求22所述的編碼器，其特征在于，還包括智能分析模塊，用于對非R01區域的圖像進行分析以判斷非ROI區域的圖像是否發生變化，如果判斷非ROI區域的圖像發生變化，則產生無效的背景忽略標識；如果判斷非ROI區域的圖像未發生變化，則產生有效的背景忽略標識。
24. —種視頻編碼方法，其特征在于，包括以下步驟編碼器判斷背景忽略標識是否有效；如果判斷背景忽略標識有效，則所述編碼器從原始圖像中截取ROI區域的ROI區域圖像，并對所述ROI區域圖像進行編碼后發送給解碼器，且并將增強層背景忽略標識的值和視頻幀的其他幀級信息或序列級信息進行編碼后一起發送給所述解碼器；如果判斷背景忽略標識無效，則所述編碼器對整個原始圖像進行編碼并發送給所述解碼器。
25. 如權利要求24所述的視頻編碼方法，其特征在于，還包括對非ROI區域的圖像進行分析以判斷所述非ROI區域的圖像是否發生變化；如果判斷所述非ROI區域的圖像發生變化，則產生無效的背景忽略標識；如果判斷所述非ROI區域的圖像未發生變化，則產生有效的背景忽略標識。
全文摘要
本發明提出一種視頻編碼方法，包括以下步驟編碼器根據背景忽略標識從原始圖像中截取感興趣區域ROI區域的ROI區域圖像，并對所述原始圖像進行下采樣獲取所述原始圖像的基本層圖像；所述編碼器對所述原始圖像的基本層圖像進行編碼，以獲取所述原始圖像的基本層編碼比特流和用于增強層編碼的基本層信息；所述編碼器利用所述基本層信息對所述ROI區域圖像進行增強層編碼，獲取所述ROI區域圖像的增強層編碼比特流。本發明對ROI區域圖像進行增強層編碼，從而能夠提供更高分辨率的ROI區域圖像，避免傳輸不必要的信息冗余，降低了碼率。
文檔編號H04N7/32GK101742324SQ200810226179
公開日2010年6月16日 申請日期2008年11月14日 優先權日2008年11月14日
發明者盧京輝, 王浩, 邱嵩 申請人:北京中星微電子有限公司;中星電子股份有限公司