視頻編碼和解碼中用于變換選擇的方法和裝置的制造方法
【專利說明】視頻編碼和解碼中用于變換選擇的方法和裝置
[0001]本申請是申請日為2009年10月21日、申請號為200980155459.6、發明名稱為“視頻編碼和解碼中用于變換選擇的方法和裝置”的發明專利申請的分案申請。
[0002]相關申請的交叉引用
[0003]本申請要求2009年I月27日提交的美國臨時申請序列號61/147，705的權益，其整體并入于此作為參考。本申請還要求2009年2月17日提交的美國臨時申請序列號61/207,783的權益，其整體并入于此作為參考。而且，本申請也緊密涉及兩個其它申請，兩者與本申請同時提交并且具有共同發明人和共同受讓人(代理人案號PU090137和PU090013)，每個所述申請整體并入作為參考，并且每個要求2009年I月27日提交的美國臨時申請序列號61/147，705和2009年2月17日提交的美國臨時申請序列號61/207，783的權益。
技術領域
[0004]本原理一般涉及視頻編碼和解碼，且更具體地涉及選擇待用于視頻編碼和解碼的變換的方法和裝置。
【背景技術】
[0005]基于塊的離散變換是包括下列的許多圖像和視頻壓縮標準和推薦的基本組成部分:聯合圖像專家組(JPEG)標準，國際電信聯盟電信部門(ITU-T)H.263推薦標準(下文是“H.263推薦標準”)，國際標準化組織/國際電工委員會(IS0/IEC)運動圖像專家組-1 (MPEG-1)標準，MPEG-2標準，IS0/IEC MPEG-4第10部分高級視頻編碼(AVC)標準/ITU-T H.264推薦標準(下文是“MPEG-4AVC標準”)及其它，并且它在廣泛的應用中使用。
[0006]離散余弦變換(DCT)是最常用的塊變換。DCT方案通過將圖像/幀分為像素塊(通常是4X4和8X8)，使用離散余弦變換將每個塊從空間域變換到頻域，并且量化DCT系數，來利用圖像/幀的局部空間相關屬性。大多數圖像和視頻壓縮標準使用固定的二維(2-D)可分離DCT塊變換。如果允許若干塊大小(通常，從4X4到16X16個塊)，則它們使用其大小對應于該塊的DCT。但是，對于每個塊大小僅存在一種可能變換。
[0007]然而，圖像和視頻內容包含變化統計和屬性的數據。因此，每塊大小的單個變換的可用性以及由此強迫使用使得無法實現任何潛在壓縮獲益，而這潛在壓縮獲益是可以使用與每塊大小可用的單個變換不同的變換而獲得的。
[0008]在諸如像MPEG-4AVC標準之類的圖像和視頻編碼標準中，針對每個塊大小使用的塊變換僅存在一種選擇。不存在對變換的選擇。
[0009]參考圖1，能夠按照MPEG-4AVC標準進行視頻編碼的視頻編碼器一般地用附圖標號100表示。視頻編碼器100包括幀排序緩沖器110，其具有與組合器185的非反向輸入端進行信號通信的輸出端。組合器185的輸出端與變換器和量化器125的第一輸入端進行信號通信連接。變換器和量化器125的輸出端與熵編碼器145的第一輸入端以及逆變換器和逆量化器150的第一輸入端進行信號通信連接。熵編碼器145的輸出端與組合器190的第一非反向輸入端進行信號通信連接。組合器190的輸出端與輸出緩沖器135的第一輸入端進行信號通信連接。
[0010]編碼器控制器105的第一輸出端與幀排序緩沖器110的第二輸入端、逆變換器和逆量化器150的第二輸入端、畫面型判定模塊115的輸入端、宏塊型(MB-型)判定模塊120的第一輸入端、幀內預測模塊160的第二輸入端、去塊濾波器165的第二輸入端、運動補償器170的第一輸入端、運動估計器175的第一輸入端以及參考畫面緩沖器180的第二輸入端進行信號通信連接。
[0011]編碼器控制器105的第二輸出端與補充增強信息(SEI)插入器130的第一輸入端、變換器和量化器125的第二輸入端、熵編碼器145的第二輸入端、輸出緩沖器135的第二輸入端以及序列參數組(SPS)和畫面參數組(PPS)插入器140的輸入端進行信號通信連接。
[0012]SEI插入器130的輸出端與組合器190的第二非反向輸入端進行信號通信連接。
[0013]畫面型判定模塊115的第一輸出端與幀排序緩沖器110的第三輸入端進行信號通信連接。畫面型判定模塊115的第二輸出端與宏塊型判定模塊120的第二輸入端進行信號通信連接。
[0014]序列參數組(SPS)和畫面參數組(PPS)插入器140的輸出端與組合器190的第三非反向輸入端進行信號通信連接。
[0015]逆量化器和逆變換器150的輸出端與組合器119的第一非反向輸入端進行信號通信連接。組合器119的輸出端與幀內預測模塊160的第一輸入端和去塊濾波器165的第一輸入端進行信號通信連接。去塊濾波器165的輸出端與參考畫面緩沖器180的第一輸入端進行信號通信連接。參考畫面緩沖器180的輸出端與運動估計器175的第二輸入端和運動補償器170的第三輸入端進行信號通信連接。運動估計器175的第一輸出端與運動補償器170的第二輸入端進行信號通信連接。運動估計器175的第二輸出端與熵編碼器145的第三輸入端進行信號通信連接。
[0016]運動補償器170的輸出端與開關197的第一輸入端進行信號通信連接。幀內預測模塊160的輸出端與開關197的第二輸入端進行信號通信連接。宏塊型判定模塊120的輸出端與開關197的第三輸入端進行信號通信連接。開關197的第三輸入端確定開關的“數據”輸入端(與控制輸入端相比較，即，第三輸入端)是否將由運動補償器170或幀內預測模塊160來提供。開關197的輸出端與組合器119的第二非反向輸入端和組合器185的反向輸入端進行信號通信連接。
[0017]幀排序緩沖器110的第一輸入端和編碼器控制器105的輸入端可用作編碼器100的用于接收輸入畫面的輸入端。而且，補充增強信息(SEI)插入器130的第二輸入端可用作編碼器100的用于接收元數據的輸入端。輸出緩沖器135的輸出端可用作編碼器100的用于輸出位流的輸出端。
[0018]參考圖2，能夠按照MPEG-4AVC標準進行視頻解碼的視頻解碼器一般地用附圖標號200表示。視頻解碼器200包括輸入緩沖器210，其具有與熵解碼器245的第一輸入端進行信號通信連接的輸出端。熵解碼器245的第一輸出端與逆變換器和逆量化器250的第一輸入端進行信號通信連接。逆變換器和逆量化器250的輸出端與組合器225的第二非反向輸入端進行信號通信連接。組合器225的輸出端與去塊濾波器265的第二輸入端以及幀內預測模塊260的第一輸入端進行信號通信連接。去塊濾波器265的第二輸出端與參考畫面緩沖器280的第一輸入端進行信號通信連接。參考畫面緩沖器280的輸出端與運動補償器270的第二輸入端進行信號通信連接。
[0019]熵解碼器245的第二輸出端與運動補償器270的第三輸入端以及去塊濾波器265的第一輸入端進行信號通信連接。熵解碼器245的第三輸出端與解碼器控制器205的輸入端進行信號通信連接。解碼器控制器205的第一輸出端與熵解碼器245的第二輸入端進行信號通信連接。解碼器控制器205的第二輸出端與逆變換器和逆量化器250的第二輸入端進行信號通信連接。解碼器控制器205的第三輸出端與去塊濾波器265的第三輸入端進行信號通信連接。解碼器控制器205的第四輸出端與幀內預測模塊260的第二輸入端、運動補償器270的第一輸入端以及參考畫面緩沖器280的第二輸入端進行信號通信連接。
[0020]運動補償器270的輸出端與開關297的第一輸入端進行信號通信連接。幀內預測模塊260的輸出端與開關297的第二輸入端進行信號通信連接。開關297的輸出端與組合器225的第一非反向輸入端進行信號通信連接。
[0021]輸入緩沖器210的輸入端可用作解碼器200的用于接收輸入位流的輸入端。去塊濾波器265的第一輸出端可用作解碼器200的用于輸出輸出畫面的輸出端。
[0022]在單一編碼方案中對于多個變換的使用已經存在一些現有建議。在第一種現有技術途徑中，揭露了一種最佳線性變換，稱作Karhunen Loeve變換(KLT)。KLT被利用來在MPEG-4AVC標準中對于9種幀內預測模式的每種模式推導出最佳變換。提取每種模式的統計并且推導出相應的KLT。每個幀內預測剩余部分(residue)利用它的KLT來編碼。以DCT不再接近最佳變換的這種方式，數據空間被9種幀內模式有效地分割，因此可以推導并且成功地應用獨特的最佳變換。總之，該建議使用數種變換，但是每種變換被固定為所選擇的幀內預測模式。
[0023]第二種現有技術途徑提出修改DCT變換為若干頻率，也就是，利用不同的全通濾波器改變基本函數以便獲得各種各樣的彎曲(warped)頻率響應。得到的變換稱作彎曲DCT(WDCT)。對于每個塊進行窮盡比率失真(R_D，rate distort1n)搜索，并且用輔助信息(side informat1n)表示被選變換。該構思應用于圖像壓縮。
[0024]第三種現有技術途徑描述了使用WDCT和在變換的系數本身內嵌入變換選擇。該方法對低位速率圖像壓縮顯示了良好性能。而且，該方法添加了最小化均方差(MSE)的后濾波步驟。該濾波是在編碼器處確定的并且被復用到位流。
[0025]第四種現有技術途徑提出針對大數據庫的一組變換的代數最優化。該組被迭代地分割，直到它達到穩定點，在該穩定點，每個變換對于它的特殊子集數據是最佳稀疏的。編碼器通過四重樹表示在每個塊中使用哪個變換。因此，對于每個塊不是獨立地完成變換選擇。
[0026]第五種現有技術途徑提出用于幀間模式的整數正弦變換(1ST)。幀間剩余部分相關性低，并且DCT僅對于高相關數據是足夠的。因此，提出了正弦變換，它對相關性從-0.5到0.5的數據有效。KLT在該范圍部分與正弦變換一致。1ST是以與MPEG-4AVC標準中的整數余弦變換完全相同的方式從正弦變換中推導出的。第五種現有技術途徑已經實現4X4和8X8IST版本。對于整個宏塊應用相同變換，發送標記，除非宏塊被分為4個子宏塊，隨后發送規定在每個子宏塊中采用的變換的4個標記。
[0027]第六種現有技術途徑提出了類似于在第五種現有技術途徑中提出的方案。該第六種現有技術途徑提出能夠在空間域和頻域中進行自適應預測差錯編碼的自適應預測差錯編碼(APEC)方案。對于預測差錯的每個塊，應用變換編碼或空間域編碼。選擇較低比率失真成本的算法。
[0028]先前的途徑提出最佳變換的有限范圍