專利名稱：多畫面視頻會議的圖像處理方法和設備的制作方法
技術領域：
本發明涉及一種信息處理方法，尤其涉及一種多畫面視頻會議的圖像處理方法和設備。
背景技術：
在多媒體通信中，視頻圖像壓縮編碼是一項非常重要的技術。眾所周知，數字視頻圖像的數據量是巨大的，如果不進行壓縮，其傳輸所需的高傳輸速率和存儲所需的巨大容量將成為巨大的問題。在現實數字通信中，帶寬資源往往是非常寶貴且有限的。因此，如何有效的壓縮視頻圖像，將有限的帶寬資源合理的分配到視頻圖像的各個區域，使得帶寬和圖像質量取得最優權衡是一個很重要的問題。現有的碼率控制技術，其原理就是有效的控制編碼器，使其輸出比特率滿足傳輸信道實際帶寬的限制，并且盡可能獲得質量最優的解碼圖像。碼率控制采用的一般手段為針對限定帶寬、圖像場景，對量化步長、輸出幀率、分辨率等進行動態調整，實現對輸出碼率的有效控制。 在實現本發明過程中，發明人研究發現現有技術至少存在如下問題 調整量化步長、輸出幀率的方法是一種平均分配的控制方法，每個編碼區域獲取編
碼比特數的優先級是相等的，因此無法實現對指定區域的圖像質量的優先考慮。調整圖像分
辨率的方法會增加系統的復雜度，其中亞采樣會對原圖像造成無法恢復的損傷，尤其是原圖
像紋理復雜的情況。并且這種方法，同樣無法實現對指定區域的圖像質量的優先考慮。
發明內容
本發明實施例的目的在于提供一種圖像數據的壓縮編碼方法和設備，用于解決現有技術中各編碼區域獲取編碼比特數的優先級是相等的，無法實現對指定區域的圖像質量的優先考慮的問題。 本發明實施例提供一種多畫面視頻會議的圖像處理方法，包括確定多個畫面的級別；根據畫面的級別對所述畫面進行圖像處理和編碼處理，使得高級別畫面的圖像質量高于低級別畫面的質量。 本發明實施例還提供一種多畫面視頻會議的圖像壓縮編碼設備，包括設定單元，用于確定多個畫面的級別；處理單元，包括圖像處理子單元和編碼處理子單元，分別用于根據畫面的級別對所述畫面的進行圖像處理和編碼處理，使得高級別畫面的圖像質量高于低級別畫面的圖像質量。 本發明實施例在帶寬或處理能力受限的情況，通過調整對視頻圖像各個區域的編構成對本發明的限定。在附圖中
圖1為本發明實施例一的多畫面視頻會議的圖像處理方法的流程圖； 圖2為本發明實施例二的多畫面視頻會議的圖像處理方法的流程圖； 圖3a為本發明實施例三的多畫面視頻會議的圖像的示意圖； 圖3b為本發明實施例三的多畫面視頻會議的圖像處理方法的流程圖； 圖4a為本發明實施例四的多畫面視頻會議的圖像的示意圖； 圖4b為本發明實施例四的多畫面視頻會議的圖像處理方法的流程圖； 圖5為本發明實施例五的多畫面視頻會議的圖像壓縮編碼設備的結構示意圖； 圖6為本發明實施例五中的設定單元的結構示意圖； 圖7為本發明實施例五中的圖像處理子單元的結構示意圖； 圖8為本發明實施例五中的一種編碼處理子單元的結構示意圖； 圖9為本發明實施例五中的另一種編碼處理子單元的結構示意圖。
具體實施例方式
為使本發明實施例的目的、技術方案和優點更加清楚明白，下面結合實施例和附圖，對本發明實施例做進一步詳細說明。在此，本發明的示意性實施例及其說明用于解釋本發明，但并不作為對本發明的限定。
實施例一 本實施例提供一種多畫面視頻會議的圖像處理方法。如圖1所示，該方法包括
步驟110，確定多個畫面的級別； 在該步驟中，通過輸入參數設置、默認設置或自適應算法確定所述多個畫面的級別。自適應算法可以依據會場數目、會場重要級別的高低、會場比特率的高低、會場幀率的高低、會場圖像分辨率的高低設定關鍵子畫面和一般子畫面。具體可以優先考慮將重要級別較高的會場作為關鍵會場，其次考慮圖像質量較好的會場，如分辨率較高、比特率較高、幀率較高的會場作為關鍵會場。其中，關鍵子畫面的面積大于一般子畫面的面積。
步驟120，根據畫面的級別對所述畫面的進行圖像處理和編碼處理，使得高級別畫面的圖像質量高于低級別畫面的圖像質量。 在該步驟中，根據畫面的級別對所述畫面進行的圖像處理包括分配給高級別畫面比低級別畫面更小的量化步長、更強的去噪強度或更強的增強強度。根據畫面的級別對所述畫面進行的編碼處理包括設定壓縮編碼的目標比特數和目標幀率，設置高級別畫面的幀率等于目標幀率，低級別畫面的幀率低于目標幀率，例如通過跳幀降低低級別圖像區域的幀率，將低級別畫面的幀率低于目標幀率而節省的幀平均編碼比特數分配給當前幀高級別畫面的編碼，或者將低級別畫面的幀率低于目標幀率而節省的幀平均編碼比特數分配給下一幀各個畫面。其中，按各個畫面大小的比例乘以級別對應的比例下一幀將節省的幀平均編碼比特數分配給下一幀各個畫面。節省的幀平均編碼比特數分配給下一幀各個畫面通過跳幀降低低級別圖像區域的幀率。這里對于圖像中某個區域的"跳幀"指的是編碼該區域時，使用上一幀的原始圖像或者編碼重建圖像的顏色系數取代當前幀的顏色系數進行編碼。在使用幀間編碼的情況下，該區域用于編碼的顏色系數實際上是上一幀的，所以其殘差系數很小，甚至為零。因此，對當前幀圖像中"跳幀"的區域進行編碼，幾乎可以不需要任何比特數。 本實施例通過調整對視頻圖像各個區域的編碼方法，如編碼比特數分配、量化步 長、幀率、去噪強度、增強強度，使得指定的關鍵區域的圖像質量，包括清晰度、流暢度等影 響主觀感受等要素，得到優先保證或提升。
實施例二 本實施例通過視頻圖像序列的編碼實例進一步詳細說明實施例一的多畫面視頻 會議的圖像處理方法。如圖2所示，該方法包括 步驟201，設定指定區域。其中，原視頻序列分辨率為10x10，通過默認設置方式設 定指定區域為左下角5x5的區域。 步驟202，設定指定區域的級別。通過默認設置方式將指定區域設定為2級，其他 非指定區域設定為1級。 步驟203，通過用戶設定，或默認設置，或環境參數(如帶寬、編碼協議等)設定編 碼的目標幀率和目標比特率，具體目標頻率為30fps，目標比特率為30Kbps。
步驟204，設定指定區域的幀率為目標幀率30fps，其他區域的幀率降低到目標幀 率的2/3 (即20fps)。當某個區域的目標幀率比整幀圖像的目標幀率要低的時候，通過跳幀 的方法來降低該區域的目標幀率。 步驟205，其他區域因降幀率而節省出來的比特數直接分配到指定區域，用于 編碼。依據目標頻率為30fps和目標比特率為30Kbps，每幀圖像的平均編碼比特數為 1000bit，每個區域的像素平均編碼比特數為10bit/pixel。指定區域可以獲得的每幀平均 編碼比特數是250bit，其他區域可以獲得的可以獲得的每幀平均編碼比特數是750bit。但 是由于其他區域的幀率降到了 20fps，假設其下降幀率的比例與平均每幀節省編碼比特數 的比例一致，那么其他區域，將可以節省1/3的比特數(即250bit)，將其直接用于指定區域 的編碼。那么指定區域可以獲得的每幀平均編碼比特數是500bit (250bit+250bit)，其他區 域可以獲得的每幀平均編碼比特數是500bit(750bit-250bit)。這種編碼方式要求編碼完 其他區域后，再編碼指定區域。 本實施例通過降低指定區域的幀率，并將節省下的編碼比特數直接用于指定區域
的編碼，使得指定區域的圖像質量得到優先保證或提升。 實施例三 本實施例通過會場圖像(如圖3a所示)的編碼實例進一步詳細描述實施例一的 多畫面視頻會議的圖像處理方法。如圖3b所示，該方法包括 步驟301，設定指定區域。其中，依據人臉區域識別算法確定人臉區域，并將其作為 指定區域，大小占圖像總面積的40% 。 步驟302，設定指定區域的級別。通過默認設置方式將指定區域設定為2級，其他 非指定區域設定為1級。 步驟303，通過用戶設定，或默認設置，或環境參數(如帶寬、編碼協議等)設定編
碼的目標幀率和目標比特率。具體目標頻率為30fps，目標比特率為3Mbps。 步驟304，依據各個區域的大小、級別分配指定區域和其他區域的每幀編碼比特
數。根據目標頻率為30fps和目標比特率為3Mbps，確定當前幀的目標比特數是100Kbit，
關鍵區域的大小占圖像總體大小的40%。指定區域與其他區域所分配到的編碼比特數的比例等于兩者區域大小比例(4 : 6)乘以級別比例(2 : 1)，即8 : 6。指定區域所分配到的
當前幀編碼比特數是57Kbit，其他區域所分配到的幀編碼比特數是43Kbit。 本實施例通過按照指定區域和其他區域的區域大小比例和級別比例的乘積分配
每幀編碼比特數，使得會場視頻中指定區域的圖像質量得到優先保證或提升。 實施例四 本實施例通過視頻會議多畫面(如圖4a所示)的編碼實例進一步詳細描述實施 例一的多畫面視頻會議的圖像處理方法。如圖4b所示，該方法包括 步驟401，確定多個畫面的級別；多畫面由三個會場的圖像組成，三個會場分別為 一個經理會場和兩個員工會場。由于經理會場的重要級別最高，將經理會場作為關鍵會場。 按照預設模式，將關鍵會場放于多畫面中左邊的子畫面，并作為關鍵子畫面，將兩個員工會 場放于右邊的子畫面，作為一般子畫面。關鍵子畫面和一般子畫面的面積比為4 : 2。
步驟402，設定子畫面的級別。通過默認設置方式將關鍵子畫面設定為2級，一般 子畫面設定為1級。 步驟403，通過用戶設定，或默認設置，或環境參數(如帶寬、會場數目、編碼協議 等)設定編碼的目標幀率和目標比特率，具體目標頻率為30fps，目標比特率為3Mbps。
步驟404，設定子畫面的幀率。將關鍵子畫面的幀率設置為目標幀率(即30fps)， 將一般子畫面的幀率設置為目標幀率的2/3 (即20fps)。由于一般子畫面會通過跳幀降低 幀率，其節省的比特數將直接用于當前幀的關鍵子畫面的編碼，或則用于下一幀多畫面的 編碼，本實施例采用后者的方式。 步驟405，依據各個子畫面的大小、級別進行分配關鍵子畫面和一般子畫面的每 幀編碼比特數。根據目標頻率為30fps和目標比特率為3Mbps，當前幀的目標比特數是 100Kbit，但是由于上一幀中一般子畫面跳幀節省了 20Kbit，因此當前幀可用的編碼比特數 是100Kbit+20Kbit = 120Kbit。然后將當前幀可用的編碼比特數依據各個子畫面的大小、 級別進行分配。其中關鍵子畫面與一般子畫面所分配到的編碼比特數的比例為兩者區域大
小比例(4 : 2)乘以級別比例(2 : i)，等于s : 2。關鍵子畫面所分配到的編碼比特數是
96Kbit，一般子畫面總共所分配到的編碼比特數是24Kbit。 本實施例通過降低一般子畫面的幀率，并將節省的編碼比特數用于下一幀的編 碼，且在分配時按照關鍵子畫面和一般子畫面的畫面大小比例和級別比例的乘積分配每幀 編碼比特數，使得視頻會議多畫面中關鍵子畫面的圖像質量(包括清晰度、流暢度等)得到 優先保證或提升。
實施例五 本實施例提供一種多畫面視頻會議的圖像壓縮編碼設備。如圖5所示，該設備包 括 設定單元510，用于確定多個畫面的級別； 處理單元520，包括圖像處理子單元530和編碼處理子單元540，分別用于根據畫 面的級別對所述畫面的進行圖像處理和編碼處理，使得高級別畫面的圖像質量比低級別畫 面的高。 如圖6所示，設定單元510包括輸入模塊511，用于輸入參數；存儲模塊512，用 于存儲默認設置信息、輸入參數和自適應算法；計算模塊513，用于根據自適應算法計算；設定模塊514，用于根據輸入參數、默認設置或自適應算法計算結果確定圖像區域的級別。 設定模塊514可以依據會場數目、會場重要級別的高低、會場比特率的高低、會場幀率的高 低、會場圖像分辨率的高低設定關鍵子畫面和一般子畫面。具體可以優先將重要級別較高 的會場作為關鍵會場，其次將圖像質量較好的會場，如分辨率較高、比特率較高、幀率較高 的會場作為關鍵會場。 如圖7所示，圖像處理子單元530包括量化步長分配模塊531，用于分配給高級 別畫面比低級別畫面更小的量化步長；去噪分配模塊532，用于分配給高級別畫面比低級 別畫面更強的去噪強度；增強分配模塊533，用于分配給高級別畫面比低級別畫面更強的 增強強度。 如圖8所示，一種編碼處理子單元540包括目標設定模塊541，用于確定編碼的 目標編碼比特數和目標幀率；頻率設定模塊542，用于設置高級別畫面的幀率等于目標幀 率，低級別畫面的幀率低于目標幀率；分配模塊543，用于將低級別畫面的幀率低于目標幀 率而節省的幀平均編碼比特數分配給當前幀高級別畫面的編碼。例如視頻圖像序列，設 定單元510針對原視頻序列分辨率為10x10，指定區域為左下角5x5的區域，其中指定區 域為2級，其他非指定區域為l級。圖像處理子單元530對圖像進行處理。目標設定模 塊541設定編碼的目標頻率為30fps，目標比特率為30Kbps，頻率設定模塊542設定指定 區域的幀率為目標幀率30fps，其他區域的幀率降低到目標幀率的2/3 (即20fps)。每幀 圖像的平均編碼比特數為1000bit，每個區域的像素平均編碼比特數為10bit/pixel。指 定區域可以獲得的每幀平均編碼比特數是250bit，其他區域可以獲得的可以獲得的每幀 平均編碼比特數是750bit。但是由于其他區域的幀率降到了 20fps，假設其下降幀率的比 例與平均每幀節省編碼比特數的比例一致，那么其他區域，將可以節省1/3的比特數(即 250bit)，分配模塊543將其直接用于指定區域的編碼。那么指定區域可以獲得的每幀平 均編碼比特數是500bit(250bit+250bit)，其他區域可以獲得的每幀平均編碼比特數是 500bit(750bit-250bit)。這種編碼方式要求編碼完其他區域后，再編碼指定區域。
如圖9所示，另一種編碼處理子單元540包括目標設定模塊541，用于確定編碼 的目標編碼比特數和目標幀率；頻率設定模塊542，用于設置高級別畫面的幀率等于目標 幀率，低級別畫面的幀率低于目標幀率；比例計算模塊543，用于將各個畫面大小的比例乘 以級別對應的比例得到分配比例；分配模塊544，用于按該分配比例將低級別畫面的幀率 低于目標幀率而節省的幀平均編碼比特數分配給下一幀各個畫面。 例如包括一個經理會場和兩個員工會場的視頻會議多畫面。設定單元510將經理 會場畫面作為關鍵子畫面，將兩個員工會場畫面作為一般子畫面。關鍵子畫面和一般子畫 面的面積比為4 : 2。關鍵子畫面設定為2級，一般子畫面設定為l級。圖像處理子單元 530對圖像進行處理。目標設定模塊541編碼的目標頻率為30fps，目標比特率為3Mbps。頻 率設定模塊542將關鍵子畫面的幀率設置為目標幀率(即30fps)，將一般子畫面的幀率設 置為目標幀率的2/3 (即20fps)。當前幀的目標比特數是100Kbit，但是由于上一幀中一般 子畫面跳幀節省了 20Kbit，因此當前幀可用的編碼比特數是100Kbit+20Kbit = 120Kbit。 然后將當前幀可用的編碼比特數依據各個子畫面的大小、級別進行分配。其中，比例計算模 塊543計算關鍵子畫面與一般子畫面所分配到的編碼比特數的比例為兩者區域大小比例 (4 : 2)乘以級別比例(2 : 1)，等于8 : 2。分配模塊544分配給關鍵子畫面的編碼比特數是96Kbit，分配給一般子畫面的編碼比特數是24Kbit。 本實施例通過調整對視頻圖像各個區域的編碼方法，如編碼比特數分配、量化步 長、幀率、去噪強度、增強強度，使得指定的關鍵區域的圖像質量，包括清晰度、流暢度等影 響主觀感受等要素，得到優先保證或提升。 雖然本發明的實施例本提供了用于視頻圖像、會場畫面或視頻會議多畫面的編
碼，但本發明的技術方案還可以用于視頻監控、衛星采圖，甚至是音頻編碼領域。 以上所述的具體實施例，對本發明的目的、技術方案和有益效果進行了進一步詳
細說明，所應理解的是，以上所述僅為本發明的具體實施例而已，并不用于限定本發明的保
護范圍，凡在本發明的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本
發明的保護范圍之內。
權利要求
一種多畫面視頻會議的圖像處理方法，其特征在于，所述方法包括確定多個畫面的級別；根據畫面的級別對所述畫面進行圖像處理和編碼處理，使得高級別畫面的圖像質量高于低級別畫面的圖像質量。
2. 根據權利要求l所述的方法，其特征在于通過輸入參數設置、默認設置或自適應算法確定所述多個畫面的級別。
3. 根據權利要求2所述的方法，其特征在于，所述自適應算法確定所述多個畫面的級別至少依據以下一種參數會場數目、會場重要級別、會場比特率、會場幀率或會場圖像分辨率。
4. 根據權利要求l所述的方法，其特征在于，所述圖像處理包括分配給高級別畫面比低級別畫面更小的量化步長、更強的去噪強度或更強的增強強度；所述編碼處理包括設定壓縮編碼的目標比特數和目標幀率；設置高級別畫面的幀率等于目標幀率，低級別畫面的幀率低于目標幀率；將低級別畫面的幀率低于目標幀率而節省的幀平均編碼比特數分配給當前幀高級別畫面的編碼。
5. 根據權利要求1所述的方法，其特征在于，所述編碼處理包括設定壓縮編碼的目標比特數和目標幀率；設置高級別畫面的幀率等于目標幀率，低級別畫面的幀率低于目標幀率；將低級別畫面的幀率低于目標幀率而節省的幀平均編碼比特數分配給下一幀各個畫面。
6. 根據權利要求5所述的方法，其特征在于所述下一幀各個畫面獲得的編碼比特數的比例為各個畫面大小的比例乘以級別對應的比例。
7. —種多畫面視頻會議的圖像壓縮編碼設備，其特征在于，所述設備包括設定單元，用于確定多個畫面的級別；處理單元，包括圖像處理子單元和編碼處理子單元，分別用于根據畫面的級別對所述畫面的進行圖像處理和編碼處理，使得高級別畫面的圖像質量高于低級別畫面的質量。
8. 根據權利要求7所述的設備，其特征在于，所述設定單元包括輸入模塊，用于輸入參數；存儲模塊，用于存儲默認設置信息、輸入參數和自適應算法；計算模塊，用于根據自適應算法計算；設定模塊，用于根據輸入參數、默認設置或自適應算法計算結果確定圖像區域的級別。
9. 根據權利要求7或8所述的設備，其特征在于，所述圖像處理子單元包括量化步長分配模塊，用于分配給高級別畫面比低級別畫面更小的量化步長；去噪分配模塊，用于分配給高級別畫面比低級別畫面更強的去噪強度；增強分配模塊，用于分配給高級別畫面比低級別畫面更強的增強強度；所述編碼處理子單元包括目標設定模塊，用于確定編碼的目標編碼比特數和目標幀率；頻率設定模塊，用于設置高級別畫面的幀率等于目標幀率，低級別畫面的幀率低于目標幀率；分配模塊，用于將低級別畫面的幀率低于目標幀率而節省的幀平均編碼比特數分配給當前幀高級別畫面的編碼。
10.根據權利要求7或8所述的設備，其特征在于，所述編碼處理子單元包括目標設定模塊，設定壓縮編碼的目標比特數和目標幀率；頻率設定模塊，用于設置高級別畫面的幀率等于目標幀率，低級別畫面的幀率低于目標幀率；比例計算模塊，用于將各個畫面大小的比例乘以級別對應的比例得到分配比例；分配模塊，用于按該分配比例將低級別畫面的幀率低于目標幀率而節省的幀平均編碼比特數分配給下一幀各個畫面。
全文摘要
本發明提供一種多畫面視頻會議的圖像處理方法和圖像壓縮編碼設備。其中，所述方法包括確定多個畫面的級別；根據子畫面的級別對所述畫面進行圖像處理和編碼處理，使得高級別畫面的圖像質量高于低級別畫面的質量。本發明實施例通過調整視頻圖像各個區域的編碼方法，使得指定的關鍵區域的圖像質量得到優先保證或提升。
文檔編號H04N7/26GK101707714SQ20091022537
公開日2010年5月12日 申請日期2009年11月18日 優先權日2009年11月18日
發明者伍文華 申請人:深圳華為通信技術有限公司