綜合的無參考視頻質量評價方法

專利名稱：綜合的無參考視頻質量評價方法
技術領域：
本發明涉及一種綜合的無參考視頻質量評價方法。
技術背景在視頻服務/視頻信號傳輸這個領域中，客觀質量評價的研究提 出了很多算法和方法，其中包括提供完全原始視頻作為參考對比的全 參考質量評價；提供部分參考內容的部分參考質量評價；完全沒有原 始內容信息的無參考質量評價。作為應用最廣泛和價值最大的無參考 視頻質量評價，其難度最大。現在的研究相對成熟的也限于某些單項 缺陷的發現和偵測，綜合的缺陷偵測文獻報道和研究并不多，國外的 專禾ll技術與此相關的有在World Intellectual Property Organization International Bureau搜索至lj的International Publication Number為w0 021089344 A2 ， 發表于7November 2002 (07.11.2002)的專利它的International Application Number是PCT/US02/13774。上述專利提出一種方法或設備(見圖9)，對數字信息中的視頻 (和/或音頻)實現客觀的質量測量。上述專利挑選了一些客觀質量 評測模塊(如圖9中的Metric 1,Metric2， Metric3,Metric4,Metric5, Metric6模塊)，這些模塊對信號質量的某一側面或某一角度給出了獨 立的客觀評測結果。模塊的挑選依據了統計結果。經過對每模塊的獨 立結果加權、求和(圖9中114， 124模塊)，最終得到綜合評價結果。 其權重系數是，根據主觀觀看者觀看同樣的視頻序列，得到的MOS (Mean Opinion Score,平均意見得分)評價值，與客觀模塊評測結 果進行皮爾森相關分析或者更多的是斯皮爾曼秩相關分析，得到的相 關系數(圖9中112， 122模塊)，作為權重系數。上述專利所依據的獨立評測模塊是基于公開的評測方法實現，會 因為不同的應用和技術進步而調整。在上述專利提供的實施例中，選擇噪音測量、對比度測量、塊效應邊緣測量，其中每一測量結果都是一個獨立數值，按照主觀MOS 打分與每個模塊的測量結果的相關度進行線性組合，得到的求和結果 即為最終客觀質量評價結果。上述專利同時指出，它選擇的獨立測量 模塊是示例實現，將根據實際應用和技術發展調整。上述專利的不足如下(1)它的質量評價所使用的信號是已解碼 完成的信號(圖9中左上輸入信號)，沒有更進一步在接收和解碼過 程中利用中間計算結果進行更迅速的偵測。(2)沒有對作為評價標準 的觀看者的主觀評價進行研究，沒有發現其中存在的人類心理的非理 性因素，沒有在客觀評價時對人的感受特征進行考慮。發明內容本發明所要解決的技術問題是提供一種使最終評價能適合不同 的應用場景和服務類型，更快速的得到基本準確的評價，并且此評價 與人的主觀感受更加接近的綜合的無參考視頻質量評價方法。本發明解決其技術問題所采用的技術方案-本發明利用內嵌于解碼器中的質量評價模塊來完成，所述質量評 價模塊由基于公開的評測方法實現的獨立評測模塊和綜合調整模塊 組成；本方法的具體步驟如下(1) 獨立評測模塊的信號輸入步驟 獨立評測模塊的輸入信號選自下述中的一種以上的信號a、 譯碼器中各階段輸出的中間結果；b、 譯碼器的輸入信號，即原始受損視頻信號；c、 譯碼器的輸出信號，即譯碼器解碼優化完成的視頻信號；(2) 各獨立評測模塊分別完成各自的估測結果并將各自的估測 結果輸入到綜合調整模塊中；(3) 在綜合調整模塊中按下式完成視頻質量評價-2>i A,+ t QA,.,(A] > Pl A A2>p2) (1)BAD (A,<p, VA2<p2)式中QA:視頻質量無參考客觀評價結果； QAt: t時刻的視頻質量評價結果； QAh: t-1時刻的視頻j^量評價結果； A,:獨立評測模塊M,的估測結果；co,:獨立評測模塊M,的估測結果的權重，在不同應用場合中，不 同因素的重要性是不同的，從所應用的服務統計中得到這個權重； t:關于前差因素的系數，從調查統計得到這個系數； Al:第一獨立評測模塊M1的估測結果； A2:第二獨立評測模塊M2的估測結果； Pl:第一獨立評測模塊M1的最低質量閾值； 第二獨立評測模塊M2的最低質量閾值； BAD:質量評價結果為差；第一獨立評測模塊M1的輸入信號為原始受損視頻信號；第二獨立評測模塊M2的輸入信號為譯碼器中熵解碼器輸出的中間結果即運 動向量信號；當第一獨立評測模塊M,輸出評測值A,高于閾值Pl，第二獨立評 測模塊M2輸出評測值A2高于閾值P2，則質量評價QA用上述公式(1) 計算；而當A,低于p,，或者A,雖高于p,但A2低于P2時，則質量評價 極低，不能滿足服務要求。所述譯碼器中各階段輸出的中間結果包括有 (1 )第二獨立評測模塊M2從熵解碼器獲取的運動向量信號；(2) 第三獨立評測模塊M3從逆量化矩陣運算和逆DCT矩陣運 算獲取的輸出信號；(3) 第四獨立評測模塊M4從譯碼器中的"+ "中獲取的本幀 完整解碼數據。所述各獨立評測模塊的估測結果分別如下-第一獨立評測模塊M1獲取傳輸信道的原始受損視頻信號后，從數據包的包頭信號知道I幀即關鍵幀丟包率，丟包率大于P,，得到評 價質量為差；并向服務提供方反饋，要求重發；第二獨立評測模塊M2從熵解碼模塊獲取運動向量后，和上一時刻參考視頻數據比較，進行運動估計分析，當運動估計的時間空間變 化結果大于P2，得到質量評價結果為差；并與服務提供方聯系，要求 增加碼率或增大帶寬；第三獨立評測模塊M3從逆量化矩陣運算和逆DCT矩陣運算得到 數據后，使用算法簡單的相對峰值信噪比(rPSNR)，得到解碼數據的 質量并反應為紅黃綠信號；對M3設下級子模塊，對感興趣區域(ROI) 進行重點監測，重點區域的質量對于用戶而言反應了視頻整體，重點 區域模糊或塊化嚴重可以以黃色預警，并反饋給服務方；第四獨立評測模塊M4從解碼器得到本幀完整解碼數據后，進行 受損特征偵測評價，選擇噪音、環效應進行偵測評價；第五獨立評測模塊M5從解碼器的最終輸出信號獲取與用戶觀看 到的視頻同樣的數據進行偵測評價，相對第四獨立評測模塊M4，此 數據流在解碼器中經過了優化處理，針對優化后的視頻，選擇模糊偵 測評價和噪點偵測評價。所述前差因素的系數t的確定原則如下(1) 對于觀看者主觀感受的特征 通過使用與客觀評價相同的視頻序列進行主觀試驗，選擇對視頻評價技術基本無知的大于等于50名的受試者觀看與客觀質量評價選 用的相同的受損視頻序列，把觀看到的質量感受標注為0—5之間的 一個數值，其平均意見得分(MOS)為對客觀質量評價的參考；(2) 對于經常出現的質量缺失因素即人類心理的非理性因素的考慮最經常出現的質量缺失因素最易被忽略，觀看者對經常性質量缺 失的習以為常，使得對這類缺失的評價缺乏一致性，因此在客觀評價 時將此類服務中最經常出現的質量缺失因素的單項評價值給與較低 權重，以適應常態缺失因素在人類視頻感受中的較高寬容度；觀看者對前一視頻的質量記憶會影響后一視頻質量評價，將不同 視頻片斷的前后質量差異作為考慮因素，按照統計結果，在最終綜合 評價時予以調節，因為人類的感受會因記憶因素而產生誤差，前一片 斷質量較好時，對后-'片斷的打分相應偏低；而前一片斷質量較差，對后一片斷的打分相應偏高。 本發明的有益效果如下(1) 將獨立評測模塊嵌入解碼器中，使得視頻質量評價更迅速 的得到較為粗略的評價，對較差的服務質量將有更為及時地反饋，可 以以不可接受的質量為紅色警報反饋，對用戶和服務提供商都將有積 極意義，用戶會在紅色的提示中有較為寬容的心態。(2) 使得客觀評價結果與主觀評價結果更為擬合，得到更為貼近殘差更小的擬合圖(見圖6—7)。


圖l為本發明的原理框圖。圖2為實施例1的原理框圖。 圖3為實施例2的原理框圖。 圖4為實施例3的原理框圖。 圖5為實施例4的原理框圖。圖6為控制前差之前的塊效應偵測結果與主觀評價的回歸分析圖。圖7為控制前差之后的回歸圖(有更少的殘差，更好的擬合)。 圖8為最終的綜合評價和主觀評價之間的相關圖。 圖9為相關美國專利w0 021089344 A2的原理框圖。 在圖1中各標號的含義如下① 接收的原始受損視頻；② 解碼器中解碼得到的運動向量；③ 逆量化得到的中間結果；④ 逆DCT后得到的本次傳輸視頻數據；⑤ 經運動補償后解碼器解碼t時刻視頻；⑥ t-1時刻存儲的參考幀(前一幀視頻解碼結果)；⑦ 解碼器解碼優化完成的視頻信號；⑧ 最終得到的綜合無參考視頻評價；Al:經過第一獨立評測模塊M1估測的結果，從接收信道的通訊質 量參數給出最粗粒度的閾值估計；A2:經過第二獨立評測模塊M2估測的結果，通過前一時刻的參考 視頻幀和本幀運動向量給出時間空間估計；A3:經過第三獨立評測模塊M3估測的結果，經初步解碼的受損視 頻的較快速、重要區域評估；A4:經過第四獨立評測模塊M4估測的結果，經完整解碼的受損視 頻的重要特征評價；A5:經過第五獨立評測模塊M5估測的結果，經解碼器優化后用戶觀看到的視頻質量精細評估。在圖6中，縱坐標是綜合評價結果，橫坐標是塊效應因素大小； 在圖7中，縱坐標是綜合評價結果，橫坐標是塊效應因素大小；在圖8中，縱坐標是主觀評分(M0S)，橫坐標是綜合評價結果。
具體實施方式
實施例l (本發明用于移動手持終端，見圖2):在無線視頻服務中，接收終端的手持設備可以在解碼同時偵測所 接收內容的質量，根據預先統計和研究的模型得到某些幽值，比如丟 包率大于某個臨界值，則可以在手持設備上顯示服務質量評價等級為 紅色，觀看者因此會對服務有較多耐心和較寬容心態。丟包率只是根據信道服務統計得到的初步信息，可以從第一獨立評測模塊M1中非 常及時得到，因此評價結果基本是實時的。從第二獨立評測模塊M2 中使用音視頻信號最大延遲差閾值和最差PSNR (峰值信噪比)評價， 進行基本質量評價。在綜合調整模塊，對M1， M2獨立偵測結果進行 加權調整，得到最后評價。在手機等無線視頻傳輸領域，高移動性， 低終端計算能力，只要回放質量達到用戶基本滿意程度即可，不需要 后面部分模塊的評測，因此本方法可以提供更為迅速的、運算代價更 小的質量評價。實施例2 (本發明用于IPTV服務中，見圖3):在IPTV領域，終端運算能力較強，可以進行較為復雜精細的評 價，可以根據服務內容和受眾群體進行統計，得到重要程度較高的質 量缺失因素，作為綜合評價中權重較高的評價模塊。比如新聞內容的 評價中，文字信號和聲音信號的清晰度和實時性要求較高；體育視頻中，重要物體的清晰度要求較高，這些要求可以作為獨立評價模塊在模型中予以考慮。在本實施例中，在M1中，偵測分組丟失率和時延 抖動，IPTV對于高質量的視頻傳輸服務，通常要求分組丟失率在10-4 到10-7之間，甚至更小；可以容忍的分組時延在數百毫秒數量級， 時延抖動在數十毫秒數量級；在M3中，對新聞中的文字信號缺失進 行偵測，體育視頻中的重要物體清晰度進行偵測；在M5中，對視頻 的模糊度和顏色清晰度進行偵測；在綜合調整模塊，對Ml， M3， M5 獨立偵測結果進行加權調整，得到最后評價。實施例3 (本發明用于數據相機中，見圖4):在數碼相機的編碼解碼器(CODEC)中，壓縮的圖像信號通常也 需要回放觀看，使用第三獨立評測模塊M3，偵測峰值信噪比，將解 碼中反應的質量過差信息及時反應給拍攝者。實施例4 (本發明用于數據攝像機中，見圖5):在數碼攝像機的編碼解碼器(CODEC)中，同樣需要解碼回放， 根據數碼拍攝特征設置第二獨立評測模塊M2進行數據偵測，可以偵 測拍攝中的過快移動或抖動等產生的視頻質量不佳，因此可以當過快 移動或抖動產生質量過差時及時提示拍攝者；在第三獨立評測模塊 M3，偵測畫面大致清晰程度，將質量過差信息及時反應給拍攝者。在 綜合調整模塊，對M2， M3獨立偵測結果進行加權調整，得到最后評 價。最后需要說明的一點是在解碼中各個階段都有許多可以進行簡單閾值比較的運算，比如 音視頻信號最大延遲差，最差PSNR，感興趣內容的關鍵區域信號缺 失等等，可以根據不同的應用和不同的服務需要把相應算法加入獨立 的評測模塊。這些模塊的選擇將隨著應用和實現技術的進步而調整。
權利要求
1、綜合的無參考視頻質量評價方法，其特征在于本方法利用內嵌于解碼器中的質量評價模塊來完成，所述質量評價模塊由基于公開的評測方法實現的獨立評測模塊和綜合調整模塊組成；本方法的具體步驟如下(1)獨立評測模塊的信號輸入步驟獨立評測模塊的輸入信號選自下述中的一種以上的信號a、譯碼器中各階段輸出的中間結果；b、譯碼器的輸入信號，即原始受損視頻信號；c、譯碼器的輸出信號，即譯碼器解碼優化完成的視頻信號；(2)各獨立評測模塊分別完成各自的估測結果并將各自的估測結果輸入到綜合調整模塊中；(3)在綜合調整模塊中按下式完成視頻質量評價 id="icf0001" file="A2008100554100002C1.tif" wi="134" he="23" top= "125" left = "45" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>式中QA視頻質量無參考客觀評價結果；QAtt時刻的視頻質量評價結果；QAt-1t-1時刻的視頻質量評價結果；Ai::獨立評測模塊Mi的估測結果；ωi獨立評測模塊Mi的估測結果的權重，在不同應用場合中，不同因素的重要性是不同的，從所應用的服務統計中得到這個權重；τ關于前差因素的系數，可以從調查統計得到這個系數；A1第一獨立評測模塊M1的估測結果；A2第二獨立評測模塊M2的估測結果；p1第一獨立評測模塊M1的最低質量閾值；p2第二獨立評測模塊M2的最低質量閾值；BAD質量評價結果為差；第一獨立評測模塊M1的輸入信號為原始受損視頻信號；第二獨立評測模塊M2的輸入信號為譯碼器中熵解碼器輸出的中間結果即運動向量信號；當第一獨立評測模塊M1輸出評測值A1高于閾值p1，第二獨立評測模塊M2輸出評測值A2高于閾值p2，則質量評價QA用上述公式(1)計算；而當A1低于p1，或者A1雖高于p1但A2低于p2時，則質量評價極低，不能滿足服務要求。
2、 根據權利要求1所述的綜合的無參考視頻質量評價方法，其 特征在于所述譯碼器中各階段輸出的中間結果包括有(1) 第二獨立評測模塊M2從熵解碼器獲取的運動向量信號；(2) 第三獨立評測模塊M3從逆量化矩陣運算和逆DCT矩陣運 算獲取的輸出信號；(3) 第四獨立評測模塊M4從譯碼器中的"+ "中獲取的本幀 完整解碼數據。
3、 根據權利要求2所述的綜合的無參考視頻質量評價方法，其 特征在于所述各獨立評測模塊的估測結果分別如下第一獨立評測模塊M1獲取傳輸信道的原始受損視頻信號后，從 數據包的包頭信號知道I幀即關鍵幀丟包率，丟包率大于Pi，得到評 價質量為差；并向服務提供方反饋，要求重發；第二獨立評測模塊M2從熵解碼模塊獲取運動向量后，和上一時 刻參考視頻數據比較，進行運動估計分析，當運動估計的時間空間變 化結果大于P2，得到質量評價結果為差；并與服務提供方聯系，要求 增加碼率或增大帶寬；第三獨立評測模塊M3從逆量化矩陣運算和逆DCT矩陣運算得 到數據后，使用算法簡單的相對峰值信噪比(rPSNR)，得到解碼數 據的質量并反應為紅黃綠信號；對M3設下級子模塊，對感興趣區域 (ROI)進行重點監測，重點區域的質量對于用戶而言反應了視頻整 體，重點區域模糊或塊化嚴重可以以黃色預警，并反饋給服務方；第四獨立評測模塊M4從解碼器得到本幀完整解碼數據后，進行 受損特征偵測評價，選擇噪音、環效應進行偵測評價；第五獨立評測模塊M5從解碼器的最終輸出信號獲取與用戶觀看 到的視頻同樣的數據進行偵測評價，相對第四獨立評測模塊M4，此 數據流在解碼器中經過了優化處理，針對優化后的視頻，選擇模糊偵 測評價和噪點偵測評價。
4、根據權利要求3所述的綜合的無參考視頻質量評價方法，其 特征在于所述前差因素的系數t的確定原則如下(1) 對于觀看者主觀感受的特征 通過使用與客觀評價相同的視頻序列進行主觀試驗，選擇對視頻評價技術基本無知的大于等于50名的受試者觀看與客觀質量評價選 用的相同的受損視頻序列，把觀看到的質量感受標注為0—5之間的 一個數值，其平均意見得分(MOS)為對客觀質量評價的參考；(2) 對于經常出現的質量缺失因素即人類心理的非理性因素的考慮最經常出現的質量缺失因素最易被忽略，觀看者對經常性質量缺 失的習以為常，使得對這類缺失的評價缺乏一致性，因此在客觀評價 時將此類服務中最經常出現的質量缺失因素的單項評價值給與較低權重，以適應常態缺失因素在人類視頻感受中的較高寬容度；觀看者對前一視頻的質量記憶會影響后一視頻質量評價，將不同 視頻片斷的前后質量差異作為考慮因素，按照統計結果，在最終綜合 評價時予以調節，因為人類的感受會因記憶因素而產生誤差，前一片 斷質量較好時，對后一片斷的打分相應偏低；而前一片斷質量較差， 對后一片斷的打分相應偏高。
全文摘要
本發明涉及一種綜合的無參考視頻質量評價方法。本方法利用內嵌于解碼器中的質量評價模塊來完成。本方法的具體步驟如下(1)獨立評測模塊的輸入信號選自下述中的一種以上的信號a.譯碼器中各階段輸出的中間結果；b.譯碼器的輸入信號；c.譯碼器的輸出信號。(2)各獨立評測模塊分別完成各自的估測結果并將各自的估測結果輸入到綜合調整模塊中。(3)在綜合調整模塊中完成視頻質量評價。本發明的有益效果是能夠使最終評價能適合不同的應用場景和服務類型，更快速的得到基本準確的評價，并且此評價與人的主觀感受更加接近。
文檔編號H04N17/00GK101404778SQ200810055410
公開日2009年4月8日 申請日期2008年7月16日 優先權日2008年7月16日
發明者吳麗紅, 張培欣, 李朝暉, 王志巍, 王艷君, 王運格 申請人:河北師范大學