考慮場景剪切偽像的視頻質量評估的制作方法

考慮場景剪切偽像的視頻質量評估的制作方法
【專利摘要】一種特定的實施方案，其在不重建視頻的情況下檢測比特流中的場景剪切偽像。場景剪切偽像通常(1)當原始視頻中的場景剪切圖像被部分接收或者(2)當圖像涉及原始視頻中的丟失場景剪切圖像時在所解碼的視頻中被觀察到。為了檢測場景剪切偽像，首先選擇候選場景剪切圖像，并且然后在候選圖像上進行場景剪切偽像檢測。當一個塊被確定為具有場景剪切偽像時，將最低的質量等級分配給該塊。
【專利說明】考慮場景剪切偽像的視頻質量評估
【技術領域】
[0001]本發明涉及視頻質量測量，并且更具體而言，涉及用于確定客觀(objective)視頻質量度量的方法和設備。
【背景技術】
[0002]隨著IP網絡的發展，通過有線和無線IP網絡(例如，IPTV服務)進行的視頻通信變得普遍。不像通過線纜網絡進行的常規視頻傳送，通過IP網絡的視頻輸送是較不可靠的。從而，除了來自視頻壓縮的質量損失之外，當視頻經過IP網絡傳送時，視頻質量進一步劣化。除了由視頻壓縮造成的質量劣化之外，成功的視頻質量建模工具需要評價由網絡傳送虧損(例如，包丟失、傳送延遲和傳送抖動)造成的質量劣化。

【發明內容】

[0003]根據一個總的方面，訪問包括編碼圖像的比特流，并且在不解碼比特流以獲取像素信息的情況下利用來自比特流的信息確定比特流中的場景剪切圖像。
[0004]根據另一總的方面，訪問包括編碼圖像的比特流，并且響應于來自比特流的圖像集合之間的運動向量、幀尺寸、預測殘差中的至少一個來確定各個差度量，其中，該圖像集合包括候選場景剪切圖像、在候選場景剪切圖像之前的圖像和在候選場景剪切圖像之后的圖像中的至少一個。如果這些差度量中的一個或多個超過其各自的預定閾值，則將該候選場景剪切圖像確定為場景剪切圖像。
[0005]根據另一總的方面，訪問包括編碼圖像的比特流。如果幀內圖像的至少一個塊的壓縮數據丟失則將該幀內圖像選擇為隨候選場景剪切圖像，或者將涉及丟失圖像的圖像選擇為候選場景剪切圖像。響應于來自比特流的圖像集合之間的運動向量、幀尺寸和預測殘差中的至少一個來確定各個差度量，其中，該圖像集合包括候選場景剪切圖像、在候選場景剪切圖像之前的圖像和在候選場景剪切圖像之后的圖像中的至少一個。如果這些差度量中的一個或多個超過其各自的預定閾值，則將候選場景剪切圖像確定為場景剪切圖像。
[0006]一個或多個實施方案的細節在附圖和下面的描述中闡明。即使按照一個特定方式描述過，應清楚的是，實施方案可以按照不同的方式來配置或實現。例如，一個實施方案可以作為方法來執行，或者實現為設備，諸如，例如，配置為執行一組操作的設備或者存儲用于執行一組操作的指令的設備，或者實現為信號。其它方面和特征將在結合附圖和權利要求來考慮的情況下從下面的詳細描述中變得顯然。
【專利附圖】

【附圖說明】
[0007]圖1A是圖不不例,其描繪了在場景到切巾貞處具有場景到切偽像的圖像，圖1B是圖示示例，其描繪了沒有場景剪切偽像的圖像，并且圖1C是圖示示例，其描繪了在并非場景剪切幀的幀處具有場景剪切偽像的圖像。
[0008]圖2A和2B是圖示示例，其根據當前原理的一個實施例描繪了場景剪切偽像如何與場景剪切關聯。
[0009]圖3是流程圖，其根據當前原理的一個實施例描繪了視頻質量建模的一個示例。
[0010]圖4是流程圖，其根據當前原理的一個實施例描繪了場景剪切偽像檢測的一個示例。
[0011]圖5是圖示示例,其描繪了如何計算變量n1()SS。
[0012]圖6A和6C是圖示示例,其根據當前原理的一個實施例描繪了變量pk_num如何隨著幀索引變化，以及圖6B和6D是圖示示例，其根據當前原理的該實施例描繪了變量bytes_num如何隨著幀索引變化。
[0013]圖7是流程圖，其根據當前原理的一個實施例描繪了確定候選場景剪切偽像位置的一個示例。
[0014]圖8是圖示示例，其描繪了具有99個宏塊的圖像。
[0015]圖9A和9B是圖示示例，其根據當前原理的一個實施例描繪了相鄰幀如何用于場景剪切偽像檢測。
[0016]圖10是流程圖，其根據當前原理的一個實施例描繪了場景剪切檢測的一個示例。
[0017]圖1lA和IlB是圖示示例，其根據當前原理的一個實施例描繪了相鄰的I幀如何用于偽像檢測。
[0018]圖12是框圖，其根據當前原理的一個實施例描繪了視頻質量監測器的一個示例。
[0019]圖13是框圖，其描繪了可以以一個或多個實施方式來使用的視頻處理系統。
【具體實施方式】
[0020]視頻質量測量工具可以在不同等級上操作。在一個實施例中，該工具可以取得所接收的比特流并且在不重建視頻的情況下測量視頻質量。這樣的方法通常被稱為比特流等級視頻質量測量。當允許額外的計算復雜度時，視頻質量測量可以從比特流重建一些或全部圖像，并且將所重建的圖像用于更精確地估計視頻質量。
[0021]當前的實施例涉及客觀視頻質量模型，其(I)在不重建視頻的情況下并且(2)借助部分重建的視頻評估視頻質量。尤其，當前原理考慮圍繞場景剪切觀察到的特定類型的偽像，其被記做場景剪切偽像。
[0022]大多現有的視頻壓縮標準、例如H.264和MPEG-2將宏塊(MB)用作基本編碼單元。因此，下面的實施例將宏塊用作基本處理單元。然而，這些原理可以適配為使用不同尺寸的塊，例如8 X 8塊、16 X 8塊、32 X 32塊和64X 64塊。
[0023]當所編碼的視頻比特流的一些部分在網絡傳送期間丟失時，解碼器可以采用錯誤隱蔽技術來隱蔽與丟失部分對應的宏塊。錯誤隱蔽的目標是估計丟失的宏塊以便將感知的質量劣化最小化。所感知到的由傳送錯誤產生的偽像強度很大程度上取決于所使用的錯誤隱蔽技術。
[0024]可以將空間方法或者時間方法用于錯誤隱蔽。在空間方法中，利用像素之間的空間關聯，并且丟失的宏塊通過插值技術從相鄰像素來恢復。在時間方法中，利用運動場的連貫性和像素的空間平滑度兩者來估計丟失宏塊的運動向量(MV)或者各個丟失像素的MV，然后根據所估計的運動向量利用之前的幀中的參考像素來隱蔽丟失的像素。
[0025]視覺偽像在錯誤隱蔽之后仍能被感知到。圖1A-1C示出了示例性的所解碼的圖像，其中所編碼的比特流的一些包在傳送期間丟失。在這些示例中，將時間錯誤隱蔽方法用于在解碼器處隱蔽丟失宏塊。具體地，將在之前的幀中的并置的宏塊拷貝至丟失宏塊。
[0026]在圖1A中，例如歸因于傳送錯誤的包丟失在場景剪切幀(S卩，新場景中的第一幀)處發生。由于在當前幀和之前的幀(來自另一場景)之間劇烈的內容變化，所隱蔽的圖像包含在該所隱蔽的圖像中突出的區域。即，該區域具有與其相鄰宏塊非常不同的紋理。因此，該區域將容易被感知為視覺偽像。為了便于注釋，將該類型的圍繞場景剪切圖像的偽像記做場景剪切偽像。
[0027]相反，圖1B示出了位于場景內的另一圖像。因為當前幀中的丟失內容類似于在用于隱蔽當前幀的之前幀中的、并置的宏塊中的內容，所以時間錯誤隱蔽合適地起作用并且難以在圖1B中感知到視覺偽像。
[0028]請注意，場景剪切偽像不一定要在場景的第一幀處發生。而是，它們可以在場景剪切幀處或在丟失場景剪切幀之后被看到，如通過圖2A和2B的示例示出那樣。
[0029]在圖2A的示例中，圖像210和220屬于不同的場景。圖像210被正確接收，并且圖像220是部分接收的場景剪切幀。圖像220的所接收的部分被恰當地解碼，其中丟失部分借助來自圖像210的并置的宏塊來隱蔽。當在圖像210與220之間存在顯著變化時，所隱蔽的圖像220將具有場景剪切偽像。因此，在該示例中，場景剪切偽像在場景剪切幀處發生。
[0030]在圖2B的示例中，圖像250和260屬于一個場景，并且圖像270和280屬于另一場景。在壓縮期間，圖像270被用作用于運動補償的圖像280的參考。在傳送期間，與圖像260和270對應的壓縮數據丟失。為了在解碼器處隱蔽所丟失的圖像，可以將所解碼的圖像250拷貝至圖像260和270。
[0031]用于圖像280的壓縮數據被正確接收。但是因為其涉及圖像270，該圖像270現在為來自另一場景的所解碼的圖像250的副本，所以所解碼的圖像280也可能具有場景剪切偽像。因此，場景剪切偽像可以在丟失場景剪切幀(270)之后發生，在該示例中在場景的第二幀處發生。請注意，場景剪切偽像也可以在場景的其它位置發生。帶有在場景剪切幀之后發生的場景剪切偽像的示例圖像在圖1C中描述。
[0032]事實上，盡管場景在原始視頻中在圖像270處改變，該場景可以在所解碼的視頻中顯得以場景剪切偽像在圖像280處改變。除非明確聲明，則本申請中的場景剪切就涉及那些在原始視頻中看到的。
[0033]在圖1A中示出的示例中，之前的幀中的并置塊(即MV = O)被用于隱蔽當前幀中的丟失塊。其它時間錯誤隱蔽方法可以使用具有其它運動向量的塊并且可以例如在圖像等級或在像素等級中在不同的處理單元中處理。請注意，場景剪切偽像可以對于任意時間錯誤隱蔽方法圍繞場景剪切出現。
[0034]從圖1A和IC中示出的示例中可以看到，場景剪切偽像對感知視頻質量具有強烈負面影響。因此，為了精確預測客觀視頻質量，重要的是在對視頻質量建模時測量場景剪切偽像的效果。
[0035]為了檢測場景剪切偽像，首先需要檢測場景剪切幀是否被正確接收或者場景剪切圖像是否丟失。考慮到在檢測偽像時僅解析比特流(并未重建圖像)，這是個困難問題。當與場景剪切幀對應的壓縮數據丟失時，其變得更加困難。[0036]顯然，用于視頻質量建模的場景剪切偽像檢測問題與通常在像素域中工作并且有權使用圖像的常規場景剪切幀檢測問題不同。
[0037]在圖3中示出了考慮場景剪切偽像的示例性視頻質量建模方法300。將丟失數據所造成的偽像、例如在圖1A和2A中描述的偽像記做初始可見偽像。此外，還將該類型的來自場景中首個所接收的圖像的偽像、例如在圖1C和2B中描述的偽像分類為初始可見偽像。
[0038]如果具有初始可見偽像的塊被用作例如用于幀內預測或幀間預測的參考，則初始可見偽像可以通過預測在空間上或時間上傳播至相同或其它圖像中的其它宏塊。這樣傳播的偽像記做所傳播的可見偽像。
[0039]在方法300中，視頻比特流在步驟310輸入并且與該比特流對應的視頻的客觀質量將被估計。在步驟320，計算初始可見偽像等級。初始可見偽像可以包括場景剪切偽像和其它偽像。初始可見偽像的等級可以根據偽像類型、幀類型和從比特流獲得的其它幀等級或MB等級特征來估計。在一個實施例中，如果在宏塊處檢測到場景剪切偽像，則將用于該宏塊的初始可見偽像等級設定為最聞偽像等級(即較低的質量等級)。
[0040]在步驟330，計算所傳播的偽像等級。例如，如果宏塊被標記為具有場景剪切偽像，則涉及該宏塊的所有其它像素的所傳播的偽像等級也將被設定為最高偽像等級。在步驟340，可以將空間-時間偽像合并(pooling)算法用于將不同類型的偽像轉換為一個客觀M0S(平均意見得分)，其估計與輸入比特流對應的視頻的總體可見質量。在步驟350，輸出所估計的MOS。
[0041]圖4示出了用于場景剪切偽像檢測的一個示例性方法400。在步驟410處，其掃描比特流以確定用于場景剪切偽像的候選位置。在確定了候選位置之后，其在步驟420確定在候選位置中是否存在場景剪切偽像。
[0042]請注意，步驟420單獨地可以被用于比特流等級場景剪切幀檢測，例如在無包丟失的情況下。這可以被用于獲得場景邊界，其在確定場景等級特征時被需要。當單獨地使用步驟420時，各個幀可以被看做候選場景剪切圖像，或者可以規定哪些幀應被看做候選位置。
[0043]下面，更詳細地討論確定候選場景剪切偽像位置和檢測場景剪切偽像位置的步驟。
[0044]確定候選場景剪切偽像位置
[0045]如在圖2A和2B中討論的那樣，場景剪切偽像在部分接收的場景剪切幀處或者在涉及丟失場景剪切幀的幀處發生。因此，帶有或圍繞包丟失的幀可被看做潛在的場景剪切偽像位置。
[0046]在一個實施例中，當解析比特流時，基于例如為RTP時間戳和MPEG-2PES時間戳的時間戳或者在壓縮比特流中的語法元素“frame_num”獲得對于各個幀接收的字節的數目、接收包的數目、丟失包的數目，并且還記錄所解碼的幀的幀類型。所獲得的包數目、字節數目和幀類型可以用于細化候選偽像位置確定。
[0047]下面，將用于RTP上的H.264的RFC3984用作示例性傳輸協議，示出如何確定候選場景剪切偽像位置。
[0048]對于每個所接收的RTP包，可以基于時間戳確定其屬于哪個視頻幀。S卩，將具有相同時間戳的視頻包看做屬于相同的視頻幀。對于部分或完全接收的視頻幀i，記錄下面的變量:
[0049](1)屬于幀i的第一所接收的RTP包的序號，記做sns (i)，
[0050](2)幀i的最后所接收的RTP包的序號，記做sne (i)，以及
[0051](3)在幀i的第一和最后所接收的RTP包之間的丟失RTP包的數目，記做n1()SJi)。
[0052]序號在RTP協議首部中定義，并且其對于每個RTP包增加I。因此，nloss(i)基于序號的不連續性通過計數序號在sns(i)和8~(1)之間的丟失RTP包的數目來計算。計算nloss(i)的示例在圖5中示出。在該示例中，sns(i) = 105并且sne(i) = 110。在幀i的起始包(帶有序號105)和結束包(帶有序號110)之間，帶有序號107和109的包丟失。因此，在該示例中nloss(i) = 2。
[0053]定義參數pk_num(i)以估計對于幀i傳送的包的數目，并且其可以計算為
[0054]pk_num(i) = [sne (i) _sne (i_k) ]/k (I)
[0055]其中，幀1-k是緊接在幀i之前的幀(即，在幀i和i_k之間的其它幀丟失)。對于具有包丟失或者丟失了緊接在前的(多個)幀的幀i，通過對長度為N(例如N = 6)的滑窗中的之前的(非I)幀的pk_num求平均來計算參數pk_num_avg(i),即,將pk_num_avg(i)定義為在當前幀之前傳送的包的平均(估計)數目:
[0056]
【權利要求】
1.一種方法，包括: 訪問包括所編碼的圖像的比特流；以及 在不解碼所述比特流來獲取像素信息的情況下利用來自所述比特流的信息確定(1080)所述比特流中的場景剪切圖像。
2.根據權利要求1所述的方法，其中所述確定包括: 響應于在來自所述比特流的圖像集合之間的運動向量、幀尺寸和預測殘差中的至少一個，確定(1020，1050, 1065)各個差度量，其中所述圖像集合包括候選場景剪切圖像、在所述候選場景剪切圖像之前的圖像以及在所述候選場景剪切圖像之后的圖像中的至少一個；以及 如果所述差度量中的一個或多個超過其各自的預定閾值(1025，1060, 1070)，則確定(1080)所述候選場景剪切圖像是場景剪切圖像。
3.根據權利要求2所述的方法，確定各個差度量還包括: 計算(1030)與所述圖像集合的圖像的塊位置相對應的預測殘差能量因子；以及 利用所述預測殘差能量因子計算(1040)用于所述塊位置的差度量，其中，該用于所述塊位置的差度量被用于計算用于所述候選場景剪切圖像的差度量。
4.根據權利要求 2所述的方法，還包括: 如果用于幀內圖像中的至少一個塊的壓縮數據丟失(730)，則選擇(735，780)該幀內圖像作為所述候選場景剪切圖像。
5.根據權利要求4所述的方法，還包括: 確定所述場景剪切圖像中的至少一個塊具有場景剪切偽像。
6.根據權利要求5所述的方法，還包括: 將最低質量等級分配給被確定為具有所述場景剪切偽像的所述至少一個塊。
7.根據權利要求2所述的方法，還包括: 將涉及丟失圖像的圖像選擇為所述候選場景剪切圖像。
8.根據權利要求7所述的方法，還包括: 確定(740)圖像的所傳送的包的估計數目以及在該圖像之前的圖像的所傳送的包的平均數目，其中，當在所述圖像的所傳送的包的估計數目與在所述圖像之前的圖像的所傳送的包的平均數目之間的比率超過預定閾值時(750，780)，所述圖像被選擇為所述候選場景剪切圖像。
9.根據權利要求7所述的方法，還包括: 確定(760)圖像的所傳送的字節的估計數目以及在該圖像之前的圖像的所傳送的字節的平均數目，其中，當在所述圖像的所傳送的字節的估計數目與在所述圖像之前的圖像的所傳送的字節的平均數目之間的比率超過預定閾值時(770，780)，所述圖像被選擇為所述候選場景剪切圖像。
10.根據權利要求9所述的方法，其中，所述圖像的所傳送的字節的估計數目是響應于所述圖像的所接收的字節的數目和丟失字節的估計數目來確定的。
11.根據權利要求7所述的方法，還包括: 當所述場景剪切圖像中的塊涉及丟失圖像時，確定該塊具有場景剪切偽像。
12.根據權利要求11所述的方法，還包括:將最低質量等級分配給所述塊，其中所述塊被確定為具有場景剪切偽像。
13.根據權利要求2所述的方法，其中，所述圖像集合中的圖像是P-圖像(1010)。
14.一種設備，包括: 解碼器(210)，其訪問包括所編碼的圖像的比特流；以及 場景剪切偽像檢測器(1230)，其在不解碼所述比特流以獲取像素信息的情況下利用來自所述比特流的信息確定所述比特流中的場景剪切圖像。
15.根據權利要求14所述的設備，其中，所述解碼器(1210)對于來自所述比特流的圖像集合的運動向量、幀尺寸和預測殘差中的至少一個進行解碼，其中，所述圖像集合包括候選場景剪切圖像、在所述候選場景剪切圖像之前的圖像和在所述候選場景剪切圖像之后的圖像中的至少一個，并且其中，所述場景剪切偽像檢測器(1230)響應于幀尺寸、預測殘差和運動向量中的至少一個來確定用于所述候選場景剪切圖像的各個差度量，并且如果所述差度量中的一個或多個超過其各自的預定閾值，則確定所述候選場景剪切圖像是場景剪切圖像。
16.根據權利要求15所述的設備，還包括: 候選場景剪切偽像檢測器(1220)，如果用于幀內圖像中的至少一個塊的壓縮數據丟失，則該候選場景剪切偽像檢測器將該幀內圖像選擇為候選場景剪切圖像。
17.根據權利要求16所述的設備，其中，所述場景剪切偽像檢測器(1230)確定在所述場景剪切圖像中的所述 至少一個塊具有場景剪切偽像。
18.根據權利要求17所述的設備，還包括: 質量預測器(1240)，其將最低質量等級分配給被確定為具有場景剪切偽像的所述至少一個塊。
19.根據權利要求15所述的設備，還包括: 候選場景剪切偽像檢測器(1220)，其將涉及丟失圖像的圖像選擇為所述候選場景剪切圖像。
20.根據權利要求19所述的設備，其中，所述候選場景剪切偽像檢測器(1220)確定圖像的所傳送的包的估計數目和在所述圖像之前的圖像的所傳送的包的平均數目，并且當在所述圖像的所傳送的包的估計數目與所述圖像之前的圖像的所傳送的包的平均數目之間的比率超過預定閾值時將所述圖像選擇為所述候選場景剪切圖像。
21.根據權利要求19所述的設備，其中，所述候選場景剪切偽像檢測器(1220)確定圖像的所傳送的字節的估計數目和在所述圖像之前的圖像的所傳送的字節的平均數目，并且當在所述圖像的所傳送的字節的估計數目與所述圖像之前的圖像的所傳送的字節的平均數目之間的比率超過預定閾值時將所述圖像選擇為所述候選場景剪切圖像。
22.根據權利要求21所述的設備，其中，所述候選場景剪切偽像檢測器(1220)響應于所述圖像的所接收的字節的數目和丟失字節的估計數目來確定所述圖像的所傳送的字節的估計數目。
23.根據權利要求19所述的設備，其中，所述場景剪切偽像檢測器(1230)當所述場景剪切圖像中的塊涉及丟失圖像時確定該塊具有場景剪切偽像。
24.根據權利要求23所述的設備，還包括: 質量預測器(1240)，其將最低質量等級分配給所述塊，其中所述塊被確定為具有場景剪切偽像。
25.—種處理器可讀的介質，其具有存儲于其上的指令，用于使得一個或多個處理器共同地進行: 訪問包括所編碼的圖像的比特流；以及 在不解碼所述比特流以獲取像素信息的情況下利 用來自所述比特流的信息確定(1080)所述比特流中的場景剪切圖像。
【文檔編號】H04N19/89GK103988501SQ201180075069
【公開日】2014年8月13日 申請日期:2011年11月25日 優先權日:2011年11月25日
【發明者】廖寧, 陳志波, 張帆, 謝凱 申請人:湯姆遜許可公司