1.一種計算機實現的可縮放視頻編碼(SVC)方法,包括:
接收原始視頻幀;
使用編碼參數值將所述幀編碼為分層流,所述編碼參數值是基于與分配給所述分層流的每一層的感知質量水平目標相關聯的編碼關鍵性能指標(KPI)目標來確定的;以及
將所述分層流存儲在存儲器中。
2.如權利要求1所述的方法,進一步包括
對所述分層流的所述編碼進行適配以便響應于網絡擁塞通過在降低的KPI目標上丟棄時間增強層或任何剩余時間增強層的編碼幀來改變所述感知質量水平。
3.如權利要求1所述的方法,進一步包括:
對所述分層流的所述編碼進行適配以便響應于網絡擁塞通過改變所述分層結構內的幀時間、空間或質量層水平來改變所述感知質量水平。
4.如權利要求1所述的方法,進一步包括:
針對非分層結構中的幀,通過浮動編碼參數并且對所述幀進行迭代編碼直到達到預定感知質量水平目標來確定與所述預定感知質量水平目標相對應的所述編碼參數值;
從用所述編碼參數值編碼的數據來重構幀;以及
基于所述重構幀與所述相應的原始幀之間的差異來生成與所述預定感知質量水平目標相關聯的所述KPI目標。
5.如權利要求1所述的方法,其中,
所述感知質量水平目標包括估計平均意見評分(eMOS);
所述編碼參數是量化參數(QP);
所述KPI目標是峰值信噪比(PSNR);并且
針對與相同的eMOS相關聯的所述分層流的任何層中的編碼幀采用相同的目標PSNR值。
6.如權利要求1所述的方法,進一步包括確定當前比特率預算;并且
其中,將所述幀編碼為所述分層流進一步包括:
響應于所述當前比特率預算滿足閾值而利用基于與第一感知質量目標相關聯的第一KPI目標所確定的編碼參數值來對基層的幀以及分層預測增強層的幀進行編碼;并且
響應于所述當前比特率預算未能滿足所述閾值而利用基于與第二感知質量目標相關聯的第二KPI目標所確定的編碼參數值來對所述基層的幀以及所述分層預測增強層的幀進行編碼,所述第二感知質量目標比所述第一感知質量目標低。
7.如權利要求6所述的方法,進一步包括:
針對非分層結構中的幀,通過浮動第一編碼參數并且對所述幀進行迭代編碼直到達到所述第一感知質量目標來確定與所述第一感知質量目標相對應的所述第一編碼參數值;
從用所述第一編碼參數值編碼的數據來重構幀;
基于所述重構幀與所述相應的原始幀之間的差異生成與所述第一感知質量目標相關聯的所述第一KPI目標;
針對所述非分層結構中的幀,通過浮動第二編碼參數并且對所述幀進行迭代編碼直到達到所述第二感知質量目標來確定與所述第二感知質量目標相對應的所述第二編碼參數值;
從用所述第二編碼參數值編碼的數據來重構幀;并且
基于所述重構幀與所述相應的原始幀之間的差異生成與所述第二感知質量目標相關聯的所述第二KPI目標。
8.如權利要求6所述的方法,其中:
利用基于第一KPI目標確定的編碼參數值對所述基層幀進行編碼進一步包括對多個關鍵幀進行迭代編碼,同時浮動所述編碼參數值直到達到所述第一KPI目標;并且
利用所述第一編碼參數值對所述增強層幀進行編碼進一步包括對依賴于所述關鍵幀的一個或多個幀進行迭代編碼,同時浮動所述編碼參數值直到達到所述第一KPI目標。
9.如權利要求1所述的方法,進一步包括:
構造包括所述分層流的主要編碼視頻流;以及
構造與最低感知質量和最低比特率相關聯的輔助編碼視頻流。
10.如權利要求9所述的方法,其中:
將所述幀編碼為所述分層流進一步包括:
通過利用基于與最高感知質量目標相關聯的第一KPI目標確定的編碼參數值對第一基層的幀以及第一分層預測增強層的幀進行編碼來將所述幀編碼為第一分層流;并且
所述方法進一步包括:
通過利用基于與較低感知質量目標相關聯的第二KPI目標確定的編碼參數值對第二基層的幀以及第二分層預測增強層的幀進行編碼來將所述幀編碼為第二分層流;
確定當前比特率預算;以及
從與由所述當前比特率預算準許的最佳感知質量相關聯的所述第一或第二分層流來構造所述主要編碼視頻流。
11.如權利要求9所述的方法,其中:
將所述幀編碼為所述分層流進一步包括:
通過利用基于與最高感知質量目標相關聯的第一KPI目標確定的編碼參數值對第一基層的幀以及第一分層預測增強層的幀進行編碼來將所述幀編碼為第一分層流;
構造所述輔助流進一步包括重新發送所述第一分層流的關鍵幀;并且響應于比特率預算減少,所述方法進一步包括:
通過利用基于與較低感知質量目標相關聯的第二KPI目標確定的編碼參數值對第二基層的幀以及第二分層預測增強層的幀進行編碼來將所述幀編碼為第二分層流;并且
其中,構造所述輔助流包括發送針對所述第二分層流的關鍵幀的差錯恢復序列。
12.一種可縮放視頻編碼器,包括:
視頻輸入端,所述視頻輸入端用于接收原始視頻幀;
分層邏輯,所述分層邏輯用于將編碼關鍵性能指標(KPI)與目標感知視頻質量水平進行關聯;
編碼器核,所述編碼器核耦合于所述視頻輸入端,用于通過使用基于KPI確定的編碼參數值將所述幀編碼為具有所述目標感知質量的分層流;以及
存儲器,所述存儲器用于存儲所述分層流。
13.如權利要求12所述的可縮放視頻編碼器,進一步包括:
感知質量估計器,所述感知質量估計器用于通過針對校準結構或針對所述分層流的頂部時間增強層生成估計平均意見評分(eMOS)來估計從所述編碼器核輸出的流的感知質量。
14.如權利要求12所述的可縮放視頻編碼器,其中:
所述分層邏輯用于控制所述編碼器核以便響應于網絡擁塞通過在降低的KPI目標上丟棄時間增強層或任何剩余時間增強層的編碼幀來改變所述分層流的視頻感知質量水平。
15.一種可擴展視頻解碼器,包括:
緩沖器,所述緩沖器用于接收具有感知質量導向的時間分層結構的比特流;
解碼器核,所述解碼器核耦合于所述緩沖器,用于將所述比特流解碼成視頻幀;以及
分層邏輯電路,所述分層邏輯電路耦合于所述解碼器核或緩沖器,用于基于包含在所述比特流中的分層信息確定對丟失的或延遲的視頻幀的響應。
16.如權利要求15所述的解碼器,進一步包括感知質量估計器,所述感知質量估計器耦合于所述緩沖器或所述解碼器核,用于生成所述視頻幀的無參考感知質量估計并且用于輸出遠程編碼速率控制信號或編碼參數。
17.如權利要求15所述的解碼器,其中:
所述緩沖器用于接收:
具有感知質量導向的時間分層結構的主要比特流;以及
具有與低于所述主要比特流的較低感知質量相關聯的單層結構的輔助比特流;并且
所述分層邏輯電路用于使用從所述輔助流中解碼的復制關鍵幀替換從所述主要流中丟失的關鍵幀。
18.如權利要求17所述的解碼器,其中,所述分層邏輯電路進一步用于:
通過糾錯電路處理所述輔助比特流中的前向糾錯分組,并且用于糾正在所述主要流中接收的比特;或者
發起重傳丟失的或遲到的視頻幀的請求。
19.一種聯網通信系統,包括
發射設備,所述發射設備包括:
可縮放視頻編碼器,所述可縮放視頻編碼器進一步包括:
視頻輸入端,所述視頻輸入端用于接收視頻幀;
分層邏輯電路,所述分層邏輯電路用于將編碼關鍵性能指標(KPI)與目標感知視頻質量水平進行關聯;以及
編碼器核,所述編碼器核耦合于所述視頻輸入端,用于通過使用基于所述KPI確定的編碼參數值將所述幀編碼為具有所述目標感知質量的分層流;以及
遠程側速率適配器,所述遠程側速率適配器耦合于所述分層邏輯電路并且用于響應于接收遠程編碼速率控制信號導致所述目標感知質量或相關聯的KPI的變化;以及
接收設備,所述接收設備包括:
緩沖器,所述緩沖器用于接收所述分層流;
解碼器核,所述解碼器核耦合于所述緩沖器用于將所述分層流解碼成多個視頻幀;
感知質量估計器,所述感知質量估計器耦合于所述緩沖器或所述解碼器核,用于生成所述視頻幀的無參考感知質量估計并且用于將所述遠程編碼速率控制信號輸出至所述遠程側速率適配器。
20.如權利要求19所述的系統,其中,所述發射設備進一步包括認知無線電,所述認知無線電被配置成用于基于所述目標感知質量或所述無參考感知質量估計來動態地修改無線電參數。
21.如權利要求19所述的系統,其中,所述接收設備進一步包括分層邏輯電路,所述分層邏輯電路耦合于所述解碼器核或緩沖器,用于基于包含在所述比特流中的分層信息確定對丟失的或延遲的視頻幀的響應。
22.一種或多種其上存儲有指令的計算機可讀介質,所述指令當由計算機處理器執行時使所述處理器執行如權利要求1至11中任一項所述的方法。
23.一種可縮放視頻編碼器,包括:
接收裝置,所述接收裝置用于接收原始視頻幀;
感知質量映射裝置,所述感知質量映射裝置用于將編碼關鍵性能指標(KPI)與目標感知視頻質量水平進行關聯;
編碼裝置,所述編碼裝置耦合于所述接收裝置,用于通過使用基于KPI確定的編碼參數值將所述幀編碼為具有所述目標感知質量的分層流;以及存儲裝置,所述存儲裝置用于存儲所述分層流。
24.一種可擴展視頻解碼器,包括:
存儲裝置,所述存儲裝置用于接收具有感知質量導向的時間分層結構的比特流;
解碼裝置,所述解碼裝置耦合于所述存儲裝置,用于將所述比特流解碼成多個視頻幀;以及
控制裝置,所述控制裝置耦合于所述解碼器核或緩沖器,用于基于包含在所述比特流中的分層信息確定對丟失的或延遲的視頻幀的響應。
25.一種聯網通信系統,包括
發射設備,所述發射設備包括:
如權利要求23所述的可縮放視頻編碼器;以及
接收設備,所述接收設備包括
如權利要求24所述的可縮放視頻解碼器。