幀間預(yù)測(cè)的帶寬控制方法與流程

本專利文檔涉及圖像和視頻編碼及解碼。

背景技術(shù)：

1、數(shù)字視頻在互聯(lián)網(wǎng)和其他數(shù)字通信網(wǎng)絡(luò)中占據(jù)了最大的帶寬使用。隨著能夠接收和顯示視頻的連接用戶設(shè)備的數(shù)量增加，預(yù)計(jì)對(duì)數(shù)字視頻使用的帶寬需求將繼續(xù)增長(zhǎng)。

技術(shù)實(shí)現(xiàn)思路

1、本文檔公開了可以由視頻編碼器和解碼器在編碼和解碼操作期間使用的各種視頻處理技術(shù)。

2、在一個(gè)示例方面，公開了一種視頻處理的方法。該方法包括：為使用仿射編解碼工具在視頻的當(dāng)前塊和視頻的比特流表示之間的轉(zhuǎn)換確定當(dāng)前塊的子塊的第一運(yùn)動(dòng)矢量和作為當(dāng)前塊的代表性運(yùn)動(dòng)矢量的第二運(yùn)動(dòng)矢量符合尺寸約束。該方法還包括基于該確定執(zhí)行該轉(zhuǎn)換。

3、在另一示例方面，公開了一種視頻處理的方法。該方法包括：為視頻的當(dāng)前塊和視頻的比特流表示之間的轉(zhuǎn)換確定包括六個(gè)參數(shù)的仿射模型。仿射模型從當(dāng)前塊的鄰近塊的仿射編解碼信息繼承。該方法還包括基于仿射模型執(zhí)行轉(zhuǎn)換。

4、在另一示例方面，公開了一種視頻處理的方法。該方法包括：對(duì)于視頻的塊和視頻的比特流表示之間的轉(zhuǎn)換，基于寬度為w且高度為h的塊的尺寸來確定雙向預(yù)測(cè)編解碼技術(shù)是否適用于該塊，其中w和h為正整數(shù)。該方法還包括根據(jù)該確定執(zhí)行該轉(zhuǎn)換。

5、在另一示例方面，公開了一種視頻處理的方法。該方法包括：對(duì)于視頻的塊和視頻的比特流表示之間的轉(zhuǎn)換，基于根據(jù)編解碼樹劃分過程而作為塊的子編解碼單元的子塊的尺寸，確定編解碼樹劃分過程是否適用于該塊。子塊的寬度為w且高度為h，其中w和h為正整數(shù)。該方法還包括根據(jù)該確定執(zhí)行該轉(zhuǎn)換。

6、在另一示例方面，公開了一種視頻處理的方法。該方法包括：對(duì)于視頻的當(dāng)前塊和視頻的比特流表示之間的轉(zhuǎn)換，基于關(guān)于當(dāng)前塊的位置的規(guī)則來確定是否推導(dǎo)了編解碼單元級(jí)別權(quán)重雙向預(yù)測(cè)(bi-prediction?with?coding?unit?level?weight，bcw)編解碼模式的索引。在bcw編解碼模式下，包括多個(gè)權(quán)重的權(quán)重集被用于生成當(dāng)前塊的雙向預(yù)測(cè)值。該方法還包括基于該確定執(zhí)行該轉(zhuǎn)換。

7、在另一示例方面，公開了一種視頻處理的方法。該方法包括：對(duì)于使用組合幀間和幀內(nèi)預(yù)測(cè)(combined?inter?and?intra?prediction，ciip)編解碼技術(shù)編解碼的視頻的當(dāng)前塊和該視頻的比特流表示之間的轉(zhuǎn)換，獨(dú)立于鄰近塊的幀內(nèi)預(yù)測(cè)模式來確定當(dāng)前塊的幀內(nèi)預(yù)測(cè)模式。ciip編解碼技術(shù)使用中間幀間預(yù)測(cè)值和中間幀內(nèi)預(yù)測(cè)值來推導(dǎo)當(dāng)前塊的最終預(yù)測(cè)值。該方法還包括基于該確定執(zhí)行該轉(zhuǎn)換。

8、在另一示例方面，公開了一種視頻處理的方法。該方法包括：對(duì)于使用組合幀間和幀內(nèi)預(yù)測(cè)(ciip)編解碼技術(shù)編解碼的視頻的當(dāng)前塊和該視頻的比特流表示之間的轉(zhuǎn)換，根據(jù)第一鄰近塊的第一幀內(nèi)預(yù)測(cè)模式和第二鄰近塊的第二幀內(nèi)預(yù)測(cè)模式來確定當(dāng)前塊的幀內(nèi)預(yù)測(cè)模式。第一鄰近塊是使用幀內(nèi)預(yù)測(cè)編解碼技術(shù)進(jìn)行編解碼的，并且第二鄰近塊是使用ciip編解碼技術(shù)進(jìn)行編解碼的。第一幀內(nèi)預(yù)測(cè)模式被賦予不同于第二幀內(nèi)預(yù)測(cè)模式的優(yōu)先級(jí)。ciip編解碼技術(shù)使用中間幀間預(yù)測(cè)值和中間幀內(nèi)預(yù)測(cè)值來推導(dǎo)當(dāng)前塊的最終預(yù)測(cè)值。該方法還包括基于該確定執(zhí)行該轉(zhuǎn)換。

9、在另一示例方面，公開了一種視頻處理的方法。該方法包括：對(duì)于視頻的當(dāng)前塊和視頻的比特流表示之間的轉(zhuǎn)換，基于當(dāng)前塊的尺寸來確定組合幀間和幀內(nèi)預(yù)測(cè)(ciip)過程是否適用于當(dāng)前塊的顏色分量。ciip編解碼技術(shù)使用中間幀間預(yù)測(cè)值和中間幀內(nèi)預(yù)測(cè)值來推導(dǎo)當(dāng)前塊的最終預(yù)測(cè)值。該方法還包括基于該確定執(zhí)行該轉(zhuǎn)換。

10、在另一示例方面，公開了一種視頻處理的方法。該方法包括：對(duì)于視頻的當(dāng)前塊和視頻的比特流表示之間的轉(zhuǎn)換，基于當(dāng)前塊的特性，確定是否將組合幀間和幀內(nèi)預(yù)測(cè)(ciip)編解碼技術(shù)應(yīng)用于當(dāng)前塊。ciip編解碼技術(shù)使用中間幀間預(yù)測(cè)值和中間幀內(nèi)預(yù)測(cè)值來推導(dǎo)當(dāng)前塊的最終預(yù)測(cè)值。該方法還包括基于該確定執(zhí)行該轉(zhuǎn)換。

11、在另一示例方面，公開了一種視頻處理的方法。該方法包括：對(duì)于視頻的當(dāng)前塊和視頻的比特流表示之間的轉(zhuǎn)換，基于當(dāng)前塊是否是用組合幀間和幀內(nèi)預(yù)測(cè)(ciip)編解碼技術(shù)編解碼的，確定是否要對(duì)當(dāng)前塊禁用編解碼工具。編解碼工具包括以下中的至少一個(gè)：雙向光流(bi-directional?optical?flow，bdof)、重疊塊運(yùn)動(dòng)補(bǔ)償(overlapped?blockmotion?compensation，obmc)或解碼器側(cè)運(yùn)動(dòng)矢量細(xì)化過程(decoder-side?motionvector?refinement?process，dmvr)。該方法還包括基于該確定執(zhí)行該轉(zhuǎn)換。

12、在另一示例方面，公開了一種視頻處理的方法。該方法包括：對(duì)于視頻的塊和視頻的比特流表示之間的轉(zhuǎn)換，確定用于空域運(yùn)動(dòng)預(yù)測(cè)的運(yùn)動(dòng)矢量的第一精度p1和用于時(shí)域運(yùn)動(dòng)預(yù)測(cè)的運(yùn)動(dòng)矢量的第二精度p2。p1和/或p2是分?jǐn)?shù)，并且p1和p2都不在比特流表示中被信令通知。該方法還包括基于該確定執(zhí)行該轉(zhuǎn)換。

13、在另一示例方面，公開了一種視頻處理的方法。該方法包括：對(duì)于視頻的塊和視頻的比特流表示之間的轉(zhuǎn)換，確定精度為(px,py)的運(yùn)動(dòng)矢量(mvx,mvy)。px與mvx相關(guān)聯(lián)，并且py與mvy相關(guān)聯(lián)。mvx和mvy存儲(chǔ)為各自具有n比特的整數(shù)，并且minx≤mvx≤maxx且miny≤mvy≤maxy，其中minx、maxx、miny和maxy是實(shí)數(shù)。該方法還包括基于該確定執(zhí)行該轉(zhuǎn)換。

14、在另一示例方面，公開了一種視頻處理的方法。該方法包括：對(duì)于視頻的當(dāng)前塊和視頻的比特流表示之間的轉(zhuǎn)換，根據(jù)當(dāng)前塊的編解碼模式來確定共享merge列表是否適用于當(dāng)前塊。該方法還包括基于該確定執(zhí)行該轉(zhuǎn)換。

15、在另一示例方面，公開了一種視頻處理的方法。該方法包括：對(duì)于尺寸為wxh的視頻的當(dāng)前塊和該視頻的比特流表示之間的轉(zhuǎn)換，確定維度為(w+n-1)x(h+n-1)的第二塊以用于該轉(zhuǎn)換期間的運(yùn)動(dòng)補(bǔ)償。第二塊是基于維度為(w+n-1-pw)x(h+n-1-ph)的參考?jí)K而確定的。n表示濾波器尺寸，w、h、n、pw和ph是非負(fù)整數(shù)。pw和ph不都等于0。該方法還包括基于該確定執(zhí)行該轉(zhuǎn)換。

16、在另一示例方面，公開了一種視頻處理的方法。該方法包括：對(duì)于尺寸為wxh的視頻的當(dāng)前塊和該視頻的比特流表示之間的轉(zhuǎn)換，確定維度為(w+n-1)x(h+n-1)的第二塊以用于該轉(zhuǎn)換期間的運(yùn)動(dòng)補(bǔ)償。w、h是非負(fù)整數(shù)，并且n是非負(fù)整數(shù)并基于濾波器尺寸。在該轉(zhuǎn)換期間，根據(jù)對(duì)原始運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量細(xì)化操作，基于多點(diǎn)搜索確定細(xì)化的運(yùn)動(dòng)矢量，并且通過重復(fù)一個(gè)或多個(gè)非邊界像素確定參考?jí)K的像素長(zhǎng)邊界。該方法還包括基于該確定執(zhí)行該轉(zhuǎn)換。

17、在另一示例方面，公開了一種視頻處理的方法。該方法包括：對(duì)于使用組合幀間-幀內(nèi)預(yù)測(cè)(ciip)編解碼技術(shù)編解碼的視頻的塊和該視頻的比特流表示的轉(zhuǎn)換，基于塊中一位置處的幀間預(yù)測(cè)值和幀內(nèi)預(yù)測(cè)值的加權(quán)和來確定該位置處的預(yù)測(cè)值。加權(quán)和基于將偏移添加到基于幀間預(yù)測(cè)值和幀內(nèi)預(yù)測(cè)值而獲得的初始和，并且該偏移在執(zhí)行以確定加權(quán)和的右移操作之前被添加。該方法還包括基于該確定執(zhí)行該轉(zhuǎn)換。

18、在另一示例方面，公開了一種視頻處理的方法。該方法包括：確定被仿射編解碼的當(dāng)前視頻塊的代表性運(yùn)動(dòng)矢量和該當(dāng)前視頻塊的子塊的運(yùn)動(dòng)矢量之間的尺寸限制，以及通過使用尺寸限制來執(zhí)行當(dāng)前視頻塊或子塊的比特流表示和像素值之間的轉(zhuǎn)換。

19、在另一示例方面，公開了另一種視頻處理的方法。該方法包括：為被仿射編解碼的當(dāng)前視頻塊確定該當(dāng)前視頻塊的一個(gè)或多個(gè)子塊，其中每個(gè)子塊的尺寸為mxn個(gè)像素，其中m和n是2或4的倍數(shù)，使子塊的運(yùn)動(dòng)矢量符合尺寸限制，以及通過使用尺寸限制，條件性地基于觸發(fā)來執(zhí)行當(dāng)前視頻塊的比特流表示和像素值之間的轉(zhuǎn)換。

20、在又一示例方面，公開了另一種視頻處理的方法。該方法包括：確定當(dāng)前視頻塊滿足尺寸條件，以及基于該確定，通過排除當(dāng)前視頻塊的雙向預(yù)測(cè)編碼模式來執(zhí)行當(dāng)前視頻塊的比特流表示和像素值之間的轉(zhuǎn)換。

21、在又一示例方面，公開了另一種視頻處理的方法。該方法包括：確定當(dāng)前視頻塊滿足尺寸條件，以及基于該確定來執(zhí)行當(dāng)前視頻塊的比特流表示和像素值之間的轉(zhuǎn)換，其中幀間預(yù)測(cè)模式是根據(jù)尺寸條件在比特流表示中信令通知的。

22、在又一示例方面，公開了另一種視頻處理的方法。該方法包括：確定當(dāng)前視頻塊滿足尺寸條件，以及基于該確定來執(zhí)行當(dāng)前視頻塊的比特流表示和像素值之間的轉(zhuǎn)換，其中在該轉(zhuǎn)換期間merge候選列表的生成取決于尺寸條件。

23、在又一示例方面，公開了另一種視頻處理的方法。該方法包括：確定當(dāng)前視頻塊的子編解碼單元滿足尺寸條件，以及基于該確定來執(zhí)行當(dāng)前視頻塊的比特流表示和像素值之間的轉(zhuǎn)換，其中用于生成子編解碼單元的編解碼樹劃分過程取決于尺寸條件。

24、在又一示例方面，公開了另一種視頻處理的方法。該方法包括：基于當(dāng)前視頻塊的位置來確定用于當(dāng)前視頻塊的廣義雙向預(yù)測(cè)(generalized?bi-prediction，gbi)過程的權(quán)重索引，以及使用權(quán)重索引執(zhí)行當(dāng)前視頻塊和其比特流表示之間的轉(zhuǎn)換以實(shí)施gbi過程。

25、在又一示例方面，公開了另一種視頻處理的方法。該方法包括：確定當(dāng)前視頻塊被編解碼為幀內(nèi)-幀間預(yù)測(cè)(intra-inter?prediction，iip)編解碼塊，以及使用用于確定當(dāng)前視頻塊的幀內(nèi)預(yù)測(cè)模式或最可能模式(most?probable?mode，mpm)的簡(jiǎn)化規(guī)則來執(zhí)行當(dāng)前視頻塊和其比特流表示之間的轉(zhuǎn)換。

26、在又一示例方面，公開了另一種視頻處理的方法。該方法包括：確定當(dāng)前視頻塊滿足簡(jiǎn)化準(zhǔn)則，以及通過禁止將幀間-幀內(nèi)預(yù)測(cè)模式用于當(dāng)前視頻塊和比特流表示之間的轉(zhuǎn)換或者通過禁用用于該轉(zhuǎn)換的附加編解碼工具來執(zhí)行該轉(zhuǎn)換。

27、在又一示例方面，公開了另一種視頻處理的方法。該方法包括：使用基于運(yùn)動(dòng)矢量的編碼過程執(zhí)行當(dāng)前視頻塊和當(dāng)前視頻塊的比特流表示之間的轉(zhuǎn)換，其中(a)在轉(zhuǎn)換過程期間，精度p1用于存儲(chǔ)空域運(yùn)動(dòng)預(yù)測(cè)結(jié)果，并且精度p2用于存儲(chǔ)時(shí)域運(yùn)動(dòng)預(yù)測(cè)結(jié)果，其中p1和p2是分?jǐn)?shù)，或者(b)精度px用于存儲(chǔ)x運(yùn)動(dòng)矢量，并且精度py用于存儲(chǔ)y運(yùn)動(dòng)矢量，其中px和py是分?jǐn)?shù)。

28、在又一示例方面，公開了另一種視頻處理的方法。該方法包括：通過提取(w2+n–1–pw)*(h2+n–1–ph)塊、對(duì)提取的塊進(jìn)行像素填充、對(duì)像素填充的塊執(zhí)行邊界像素重復(fù)、以及獲得尺寸為w1xh1的小子塊的像素值，在當(dāng)前視頻塊的尺寸為w2xh2的大子塊中內(nèi)插該小子塊，其中w1、w2、h1、h2以及pw和ph為整數(shù)，以及使用小子塊的內(nèi)插的像素值執(zhí)行當(dāng)前視頻塊和當(dāng)前視頻塊的比特流表示之間的轉(zhuǎn)換。

29、在另一示例方面，公開了另一種視頻處理的方法。該方法包括：在維度為wxh的當(dāng)前視頻塊和該當(dāng)前視頻塊的比特流表示的轉(zhuǎn)換期間，通過在運(yùn)動(dòng)補(bǔ)償操作期間提取(w+n–1–pw)*(w+n–1–ph)個(gè)參考像素并且在提取的參考像素外部填充參考像素來執(zhí)行運(yùn)動(dòng)補(bǔ)償操作，以及使用運(yùn)動(dòng)補(bǔ)償操作的結(jié)果執(zhí)行當(dāng)前視頻塊和當(dāng)前視頻塊的比特流表示之間的轉(zhuǎn)換，其中w、h、n、pw和ph為整數(shù)。

30、在又一示例方面，公開了另一種視頻處理的方法。該方法包括：基于當(dāng)前視頻塊的尺寸來確定當(dāng)前視頻塊的雙向預(yù)測(cè)或單向預(yù)測(cè)不被允許，以及基于該確定，通過禁用雙向預(yù)測(cè)或單向預(yù)測(cè)模式來執(zhí)行當(dāng)前視頻塊的比特流表示和像素值之間的轉(zhuǎn)換。

31、在又一示例方面，公開了另一種視頻處理的方法。該方法包括：基于當(dāng)前視頻塊的尺寸來確定當(dāng)前視頻塊的雙向預(yù)測(cè)或單向預(yù)測(cè)不被允許，以及基于該確定，通過禁用雙向預(yù)測(cè)或單向預(yù)測(cè)模式來執(zhí)行當(dāng)前視頻塊的比特流表示和像素值之間的轉(zhuǎn)換。

32、在又一示例方面，公開了一種視頻編碼器裝置。視頻編碼器包括被配置為實(shí)施上述方法的處理器。

33、在又一示例方面，公開了一種視頻編碼器裝置。視頻編碼器包括被配置為實(shí)施上述方法的處理器。

34、在又一示例方面，公開了一種其上存儲(chǔ)有代碼的計(jì)算機(jī)可讀介質(zhì)。該代碼以處理器可執(zhí)行代碼的形式體現(xiàn)本文描述的方法之一。

35、這些以及其他特征貫穿本文檔進(jìn)行描述。