用于視頻質量評估的方法和系統的制作方法

專利名稱：用于視頻質量評估的方法和系統的制作方法
技術領域：
本發明涉及用于評估視頻信號質量的方法和系統，具體來說，涉及用于評估重復幀對視頻信號質量的影響的方法和系統。
背景技術：
視頻質量測試已經進行了許多年。在針對視頻的數字壓縮技術出現之前， 一直都在借助一套相對穩定的標準化方法來使用正式主觀測試
(formal subjective testing)。簡單地說，選擇多個非專業觀察者，對他們的視覺能力進行測試，在受控環境下給出一系列測試場景大約10到30分鐘，并且要求他們按多種方式中的一種方式對這些場景的質量進行評分。通常來說，針對完整的基準測試，首先示出基準序列，跟著示出要測試的序列，并且要求觀看者相對于基準序列對所測試的序列進行評價。主觀測量的進一步細節可以在相關標準ITU-R BT.500"Methodology for theSubjective Assessment of the Quality of Television Picture"中找妾U 。這個標準首先在1974年發布并且正式地命名為CCIRRec.500，并且這個文獻的版本7涵蓋了過去提出的針對主觀測試的方法。
利用人類觀看者進行的主觀測試有許多優點，因為可以得到針對常規和壓縮電視制式兩者的有效結果，并且它可以在靜態和運動圖片應用的寬泛范圍上運行良好。然而，存在的明顯缺點在于，精確設置的測試可能影響所獲取的結果，需要小心翼翼地設置和控制，并且為了獲取統計上顯著的結果，必須選擇和篩選大量的人類觀看者。這些缺點使主觀測試復雜且耗時，結果，雖然主觀測試可以應用于發展目的，但它們不會將其本身引導至操作檢測、生產線測試等。
因此，為了規避如上所述人類主觀測試的缺點，本領域還已知的是，提供一種利用自動化并且通常基于計算機的視頻比較技術的自動視頻質量評估。執行自動圖片質量分析的現有技術系統是來自泰克有限公司
(14200 SW Karl Braun， P.O. Box 500， Beaverton, Oregon 97077 USA)的 PQA 300系統。PQA 300通過測量五秒鐘視頻測試序列中的兩秒鐘部分 來工作。該視頻測試序列可以從CDROM中下載或者從視頻上記錄，并 且在測試時向系統放出。接著，存儲所測試的系統的輸出，并且通過在 兩秒鐘序列上利用DSP加速硬件對其進行分析。該測量得到了被稱作"圖 片質量等級"的單個圖片質量數值。PQA 300采用被稱為JND Metrix的人 類視覺系統模型，并且執行三種不同類型的視頻信息分析，分別為空間 分析、時間分析，以及全色分析，以便生成圖片質量等級。另外，PQA300 提供了采用動畫地圖形式顯示的PSNR值，該動畫地圖的強度涉及基準 圖像與測試圖像之間的PSNR差。因此，總起來說，PQA 300能夠分析 測試和基準視頻序列，以便生成視頻質量值以及PSNR測量值。
然而，伴隨著測試與基準序列的直接比較以生成上述質量度量可能 會產生問題。例如，視頻信號中的顯著可感知質量劣化源是由時間贗象 (temporal artefact)衍生出的，即，代替已經丟失的原始幀而重復幀的地方。 幀重復的一個來源是發送錯誤，其可能使視頻信號定格達可變時段。緩 沖器上溢和下溢可以導致類似影響。然而，隨著針對低帶寬系統設計的 發送技術(例如移動電話上的視頻流)的出現，出現了一組新的時間贗象。 這些新的時間贗象是因為使用時間二次釆樣以縮減要發送的整體信息而 產生的。可以將對于視頻流的這種影響描述為周期性幀丟失，或者描述 為在對基準信號與劣化信號進行比較時變明顯的規則幀重復。盡管用戶 通常覺察不到，但這些規則重復的幀對于質量評估系統是個問題，因為 它們生成了一系列錯誤突發(errorburst)。另夕卜，這些重復幀的模式(pattern)
可能較復雜。最后，如前所述，時間二次采樣的影響與真實發送錯誤相交疊。

發明內容
本發明致力于通過提供一種進行自動視頻質量評估的方法和系統來 解決上述問題，該方法和系統能夠識別時間贗象并且在時間二次采樣的規則幀重復特征與故障的不規則幀重復特征之間加以區別。
更具體地說，本發明提供了一種對包括多個視頻幀的視頻信號進行 評估的方法，該方法包括以下步驟
1) 在所述多個視頻幀中，分析從一個幀變到下一個幀的像素數量；
2) 如果呈現在當前幀中的設定比例的像素與呈現在前一幀中的相匹 配，則將該幀標識為重復；
3) 記錄所述視頻信號中重復幀的模式；
4) 掃描所述模式，以確定指定重復幀是否為時間(temporally)重復模
式的一部分；
5) 通過標識那些沒有被確定為所述時間重復模式的一部分的重復幀 來生成質量指示符。
在一優選實施方式中，所述方法包括以下步驟-
6) 通過在所述模式中建立在所述模式中被稱作第一幀的多個幀的 第一窗口以及具有相同尺寸的第二窗口，來掃描所述模式；
7) 按相對于所述第一窗口有所偏移的方式來布置所述第二窗口 ；
8) 對所述第一窗口和所述第二窗口中的重復幀的模式進行比較，并 且記錄這些模式之間失配的數量；
9) 在偏移范圍上針對每一個偏移值重復所述比較并且記錄結果；
10) 針對所述第一窗口和所述第二窗口來選擇新的窗口尺寸值、在偏 移值范圍上重復所述比較，并記錄結果；
11) 確定在偏移值范圍上提供了失配值最小變化的目標窗口尺寸。 所述方法優選地還包括通過以下操作來生成質量指示符的步驟對
第一部分中重復幀的模式與具有相同尺寸的多個第二部分中的重復幀的 模式進行比較并且記錄所述第一部分中的模式與每一個所述第二部分中 的模式之間出現失配的次數，其中所述第一部分的尺寸由所述目標窗口 的尺寸來決定。
優選的是，所述方法包括以下步驟將所述質量指示符與一個或更
多個已知質量指示符進行組合，以生成感知平均意見得分。
在本發明的實施方式中，所述分析是針對每一幀的一部分執行的，
7而該部分不包括幀的邊緣。在本發明的一方面中，每一幀都包括多個像 素。在一優選實施方式中，如果相鄰幀中的第一幀中的一個像素處于第 二幀中的對應像素的預定閾值內，則將來自所述相鄰幀的這兩個像素標 識為匹配。
在本發明的實施方式中，判定機制對每一個像素應用閾值，如果一 幀中的所有像素都處于前一幀中的對應像素的預定閾值內，則將該幀標 識為重復。
另外，根據又一方面，本發明還提供了一種計算機程序或程序組， 該計算機程序或該程序組被配置成，當由計算機系統執行時它/它們使得 所述計算機系統執行任一權利要求所述的方法。
本發明還提供了一種對包括多個視頻幀的視頻信號進行評估的系 統，其中，所述系統包括用于通過分析從一個幀變到下一個幀的像素
數量來檢測重復幀并且記錄重復幀的模式的裝置；用于掃描所述模式以
確定指定重復幀是否為時間重復模式的一部分并且通過標識那些沒有被 確定為所述時間重復模式的一部分的重復幀來生成質量指示符的裝置。
優選的是，用于掃描所述模式的裝置包括用于在所述模式中建立 在所述模式中被稱作第一幀的多個幀的第一窗口以及具有相同尺寸的第 二窗口的裝置；其中，按相對于所述第一窗口的偏移量來布置所述第二 窗口；其中，用于掃描所述模式的裝置還包括用于對所述第一窗口和
所述第二窗口中的重復幀的模式進行比較并且記錄這些模式之間失配數
量的裝置；用于在偏移范圍上針對每一個偏移值重復所述比較并且記錄 結果的裝置；用于針對所述第一窗口和所述第二窗口來選擇新的窗口尺 寸值、在偏移值范圍上重復所述比較并記錄結果的裝置；以及用于確定 在所述偏移值范圍上提供了失配值最小變化的目標窗口尺寸的裝置。
在一優選實施方式中，所述系統包括用于通過以下操作來生成質量 指示符的裝置對第一部分中的重復幀的模式與具有相同尺寸的多個第 二部分中的重復幀的模式進行比較并且記錄所述第一部分中的模式與每 一個所述第二部分中的模式之間出現失配的次數，其中所述第一部分的 尺寸由所述目標窗口的尺寸來決定。 "
8在一優選實施方式中，所述系統還包括用于將所述質量指示符與一 個或更多個己知質量指示符進行組合以生成感知平均意見得分的裝置。


而且，根據下面對本發明的、僅通過實施例的方式呈現的實施方式 的描述，并且通過參照附圖，本發明的特征和優點將變清楚，其中，相 同標號指相同部分，并且其中
圖1是本發明的系統的總體框圖2是更詳細示出圖1的系統的框圖3是例示了要輸入到本發明實施方式中的、下采樣后的視頻信號
的圖4a、 4b以及4c是例示了根據本發明實施方式的對一系列標記進 行分析的圖5是示出了本發明的分析器的各個部分的系統框圖6是例示了本發明實施方式的整合器所執行的步驟的流程圖7是例示了本發明的第二、基于軟件的實施方式的圖。
具體實施例方式
圖1例示了本發明實施方式的一般排布結構的總體系統框圖。在圖 1內，包括基準序列場/幀的基準序列8被輸入至檢測器模塊2。類似的是， 還將視頻場/幀的測試序列或劣化序列6輸入到檢測器模塊2中。測試序 列是通過將基準序列輸入要測試的系統(舉例來說，如錄像裝置、廣播系 統，或視頻編解碼器)中然后取所測試的系統的輸出作為測試序列來獲取 的。檢測器模塊2用于檢測輸入基準和測試視頻場/幀的各個視頻特征， 并且生成隨后被輸出至整合(integration)模塊4的視頻特征值。整合模塊4 將視頻特征值整合在一起，以給出從其輸出的預測視頻質量值10。
如圖2所示，將劣化視頻序列6輸入至多個分析器22-28的劣化序 列輸入部。所用分析器的選擇可以取決于應用。已知分析器包括空間 頻率分析器；亮度和色度峰值信噪比(PSNR)分析器；邊緣檢測器分析器；以及紋理分析器。下面，將對這些已知分析器的用途和操作進行簡要概
述，而完整的描述可以在專利公報EP 1636755中獲得。本發明有利地提 供了一種采用后面要詳細描述的"時間規律性分析器"形式的附加形式的 分析。可以省略某些分析器的應用的例子是在移動電話處對信號進行實 時評估。由于目前移動手機的局限性，諸如紋理分析的一些處理器密集 型(processor-intensive)操作可能被省略。
在上面提到的已知分析器模塊的類型當中，空間頻率分析器用于對 輸入的測試視頻場/幀和基準視頻場/幀進行分析，并根據對輸入的基準場 /幀和測試場進行金字塔狀分析來生成金字塔狀SNR值PySNR(a， b)。另 外，亮度和色度PSNR分析器對輸入的基準場和輸入的測試場進行比較 以生成隨后被輸出的亮度和色度PSNR值。類似的是，邊緣檢測器分析 器對輸入的基準場和輸入的測試場進行分析并輸出單個邊緣檢測器值 EDif。最后，紋理分析器對測試場進行分析以計算表示該幀內的紋理的 參數TextureDeg。這些已知分析器(即，空間頻率分析器、亮度和色度峰 值信噪比分析器、邊緣檢測器分析器以及紋理分析器)中的每一個的操作 都在專利公報EP 1636755中作了更詳細的描述。
圖3示出了來自已經進行了時間下采樣(帶寬縮減)的視頻信號的一 序列幀。水平軸表示時間，而垂直軸表示存在或不存在幀，其中，存在 幀由時間軸上恰當點處的垂直箭頭來表示，而缺失幀由恰當時間點處無 垂直箭頭來表示。下采樣通過按規則間隔從視頻序列中去除多個幀來起 作用；由此減少了視頻信號每秒鐘運送的幀數。在圖3的示例中，這種 下釆樣的效果是去除了時間tl、 t3、 t5、 t7、 t9等處的幀。應注意到，在 時間t8處缺失了另一幀。在時間t8處缺失的幀并沒有構成由下采樣引起 的丟失幀的規則序列的一部分，而是隨機錯誤的結果。本發明的目的是 將這種類型的隨機缺失幀識別為與因下采樣而造成的規則丟失幀相獨立 的事件。釆用本發明的質量評估中的下一步驟是將這兩個時間贗象作為 獨特的并且具有不同主觀意義來加以處理。
本算法中的第一步驟是創建存儲在緩沖器中的時間線，其表示針對 視頻序列的每一個時隙，該幀是否為前一幀的重復。針對當前幀是具有新視覺內容還是與前一幀類似的內容來判斷重復。這是通過分析從一個 幀變到下一個幀的像素數量來完成的。根據一優選實施方式，這種分析 是針對整個幀的一部分(被稱作活動幀)來執行的，以便忽略該幀的邊 界處的所有額外信息。已知的是，出于操作的原因，在不涉及視頻內容 的幀邊界處包括有額外信息(如時間碼信息)。將分析限制于活動幀避免了 因這種無關信息而造成的虛假結果。如果當前活動幀(tl)中的所有像素都 與前一幀中存在的那些像素相同，則將當前幀標記為重復。
在視頻處理鏈包含類似分量的情況下，可以通過針對每一個像素創 建閾值來改進判斷機制。如果每一個像素值都處于前一幀的對應像素值 的閾值內，則將該幀標記為重復。因此，生成了排列在表示存在重復幀 的陣列中的一系列標記，且每幀一個。
下一個步驟是確定指定重復幀是一周期(例如，由下采樣引起)的一部 分還是由另一效果生成的。為了實現這個步驟，首先，對系列標記進行
分析，尋找丟失幀的時間重復模式。 一旦確定了時間重復模式；就將沒
有形成該模式一部分的剩余重復幀標識為因故障而引起。根據本發明的
--實施方式，重復下面的算法以處理這些標記
下面參照圖4a，來描述根據本發明的對一系列標記進行的分析。圖 4a示出了分別按l和0表示重復幀和新幀的標記序列70。在該圖中，重
復幀的規則模式(可能由于對視頻信號進行下采樣而埠成)用加粗的1來 表示。為了分析該系列標記(在該圖中用l和0來表示，70)，在位置t處 設置了基準分析窗口 74,初始尺寸X等于Xmax個標記(每一個標記表示 一個幀)。在該系列標記中的初始位置t-a處設置了第二偏移分析窗口 76， 其中a是時間偏移量。偏移分析窗口 76被設置成，初始尺寸X等于Xmax 個標記的基準窗口74的尺寸。
記錄落入該系列標記中的位置t處的基準窗口 74內的"重復標 記"(即，表明該序列中重復幀的標記)的模式并且將其與落入位置t-a處的 偏移窗口 76內的重復標記的模式進行比較。參照圖4a所示標記序列給 出一個例子可能會有所幫助。如果這樣來解釋1和0，即1表示重復幀而 0表示新幀，則基準窗口 74中的重復標記的數量為四，而偏移值等于a'
ii處的偏移窗口 76中的標記的數量也為四。如果此時査看這些標記的模式， 就會發現
位置t處的基準窗口 740 1 1 0 1 0 0 1 0 位置t-a'處的偏移窗口 76 0 1 0 1 1 0 1 0 0 基準與偏移匹配？ YYNNNYYYY 由此我們發現，對于窗口尺寸X和偏移a'來說，偏移窗口76中的五 個標記與基準窗口 44中的對應標記相匹配。 .
接著，連續地遞增偏移值并重復比較基準窗口與偏移窗口中的標記 模式，直到偏移量達到預定最大值amax為止。圖4b示出了偏移值a被 遞增至值a"并且偏移窗口 76包含三個重復幀標記的中間階段。如果此時 查看針對偏移a"的標記的模式，就會發現
位置t處的基準窗口 740 1 1 0 1 0 0 1 0 位置t-a"處的偏移窗口 76 0 1 0 1 0 0 0 1 0 基準與偏移匹配？ YYNNNYYYY 由此我們發現，對于窗口尺寸X和偏移a"來說，偏移窗口 76中的 六個標記與基準窗口 44中的對應標記相匹配。
針對每一個偏移值a，將比較結果存儲在累積器'中。 一旦偏移窗口到 達范圍端點，即，偏移a達到最大值amax，就從偏移值a'開始重復操作， 但基準窗口和偏移窗口的尺寸X遞減至Xmax-l 。針對每一個窗口尺寸值 X，將比較結果存儲在累積器陣列中。時間偏移a的最大值是根據要分析 的數據來選擇的，可以取一個范圍內的值，以包括針對高質量視頻的大 約一秒鐘的值，和針對低幀速率和更大復雜性(例如，針對用于移動電話 的視頻信號)的大約io秒鐘的值。
重復這個循環，直到窗口尺寸X達到最小值Xmin為止。在這一點 上，累積器包含二維數據陣列，如下所述針對每一個窗口尺寸值X， 表示基準窗口和偏移窗口中的重復幀的模式在偏移值的范圍上(即，在采 樣幀上)匹配得如何。下面，繼續分析來處理這個數據，以確定對于X而 言最佳值是什么，其中所固有的是，周期性幀丟失模式的最可能長度是 什么。針對每一個窗口尺寸值X，檢查累積器陣列的規律性。針對指定值 X，每當基準幀中的和偏移幀中的重復幀的模式之間存在差別時就使計數 器遞增。接著，基于最小的失配數量來選擇窗口尺寸的最佳值X'。在存 在針對X的、以此為基礎可平等評分的兩個或更多個值的情況下，選擇 最大值。選定值X'給出了丟失幀的重復模式的預測尺寸。
一旦確定了這個針對丟失幀的重復模式的尺寸的值，就將其用于計 算上述序列標記中的自相關，表示哪些幀是重復的而哪些是新的。這種 相關的結果提供了可用于下一個階段的出錯指示符。
更詳細地說，接著，如下所述來利用通過上述操作而確定的窗口尺 寸值X'，以便在規則與不規則幀重復之間加以區別。在進一步的階段中
利用選定窗口尺寸X'對標記序列70進行分析。如圖4c所示，根據這個 階段的分析，將標記序列70中的長度為X'的第一部分77中所包含的重 復幀的模式與相同長度的相鄰部分78中的模式相比較。在圖4c的示例 序列中給出了以下模式，從部分77開始，并且按時間向后移動(該圖中朝 左移動)
基準部分77 101001
第一部分78 000101
第二部分78 010101
第三部分78 010001
第四部分78 101001
第五部分78 001101
如果我們將上述比較應用于上述示例中的多個部分，就會發現第一 部分78包含與基準部分77的3處失配；第二部分78包含與基準部分77 的4處失配；第三部分78包含與基準部分77的3處失配；第四部分78 與包含基準部分77的0處失配；而第五部分78包含與基準部分77的2 處失配。應注意到，每一部分中加粗的1都是對準的，因此對應的規則 重復幀從計算中消失。
接著，對基準部分77與其它部分78之間的失配幀的數量進行求和。 這個求和的結果提供了用于下一個階段的出錯值。再一次返回至圖4c的
13示例，我們發現總出錯值為12，這是基準部分77與其它部分78之間失
配的總和。這個和的大小是具有表示較好質量的較低值的信號質量指示符。
可以采用從上述分析導出的數據，通過允許考慮重復幀的影響而忽
視根據選定窗口尺寸預測的規則重復幀來改進整合功能4的性能。于是， 后續分析步驟就能夠集中在非周期性或不規則幀重復上，作為劣化的感 知視頻質量的指示。
將根據本發明而提取的值發送至模型的第二階段，其中，其整合功 能將在估計平均意見得分(MOS)時使用這個信息。這些值包括選定窗口尺 寸X'、出錯值、出錯指示符以及針對選定窗口尺寸值X'的包含在累積器 陣列中的匹配值。匹配值的變化表示，針對第二階段，幀的模式中存在 異常變化。
根據本發明的優選實施方式，根據時期(age)對每一個比較的關聯 性進行加權，使得基準部分77與多個部分78中較早的一個部分之間的 比較的權重低于基準部分77與多個部分78中的較晚的一個部分之間的 比較的權重。
圖5中更詳細地示出了圖2的時間規律性分析器26。如其所示，時 間規律性分析器26由用于分析標記序列的多個功能模塊組成，包括差異 分析器60、分析器/加法器62以及最小值選擇器64。如已經參照圖2所 述，時間規律性分析器26接收兩個輸入基準視頻序列8和劣化視頻序 列6。在差異分析器60中，生成表示輸入視頻信號6、 8中的重復幀的位 置的標記序列。在分析器/加法器62中，利用尺寸為一個范圍的窗口來分 析該標記序列，并且針對每一個窗口尺寸來確定整個序列上的失配累積 總和。在最小值選擇器64中，對根據分析器/加法器62中的求和的結果 進行比較，并且選擇對應于最小值的窗口尺寸。將該結果轉發至整合器4， 如箭頭64所示。
本發明的目的是將這種缺失幀識別為與因下采樣而造成的規則丟失 新幀不同的事件。作為對視頻信號的上述分析的結果，質量評估的下一 個階段能夠分離地處理這兩種類型的時間贗象，從而在幾乎看不見的規則幀丟失與可見擾動的不規則幀丟失之間加以區別。
下面，參照圖2來描述本發明對于整合功能的應用。返回參照圖2，
應當看出，將來自檢測器模塊內的分析器22到28的各個輸出饋給至整 合級4，其中，將各個值整合在一起，以獲取視頻M量值10。下面，參 照圖6對整合級4的操作進行描述。
一般來說，整合級操作以通過對選擇的、由分析器22到28(包括本 發明的時間規律性分析器)所生成的視頻特征參數值進行恰當加權來生成 對測試視頻序列的感知視頻質量的估計。所使用的特定參數值的集合和 對應加權因子的值取決于被測試視頻的特定類型，并且通過之前的校準 來預先確定。針對較大集合的具有已知主觀得分的視頻序列來執行該校 準，并且優選地該校準具有與要測試的劣化序列類似的特性。
整合過程的一般形式首先通過場檢測參數來對該場進行時間加權， 接著對時間加權與平均值進行組合，以獲取預測質量得分，作為總體視 頻質量值。圖6中闡述了實現這個過程的處理。
首先，在步驟13.2，整合級4接收從各個檢測器和分析器輸出的參 數值并存儲它們。各個分析器輸出不同的參數。無論每一個較早的級針 對特定測試視頻場輸出了什么參數和值，整合級都接收該輸出信息并存 儲它。 '"
接下來，在步驟13.4，整合級選擇視頻類型，結果根據該視頻類型 選擇了一組整合參數。
如上所述，通過校準預先確定了各個加權因子的精確值。而且，每 -一組整合參數都存儲在整合級4內的查找表等中。
選定了視頻類型并且從存儲的査找表設置了整合參數之后，在步驟 13.6進行一處理循環，以處理值0到K-1內的每一個整合參數類型k，其 中，每一個參數(k)都是從各個分析器接收到的參數中的一個特定參數。 在該處理循環內，在步驟13.8，首先根據下面的公式計算參數值的時間 加權平均值AvD(k):
= (1 / A0 * (g D化")怖")1' (i 3一工)
其中，N是域的數量，D(k, n)是第k個檢測參數的第n個域，而mnk是加權因子。接下來，在步驟13.10，將時間加權平均值AvD(k)乘以合適 的加權因子w(k)，并存儲乘積。該合適的加權因子w(k)是從存儲在整合 級4中的針對視頻類型的合適查找表中讀取的。
在步驟13.12，執行評估，以確定是否處理了所有整合參數(k)，如果 沒有，則再次執行步驟13.6的處理循環，直到處理了所有參數為止。一 旦處理了所有參數，則可獲得針對每一種類型參數k的恰當加權的時間 加權平均值，接著，在步驟13.14，將它們與偏移值進行求和，如下所述
《-1
尸層OS =+ J^vD(" * ,) (13-2)
其中，K等于整合中使用的參數的數量。該式給出了接著在步驟13.16輸 出的最終視頻質量值PDMOS。
輸出視頻質量值PDMOS等同于根據利用人類觀察者的主觀測試所 生成的等級，因為其是考慮了測試視頻信號中人類觀察者基本上五官知 覺不可檢測的畸變和出錯(包括根據本發明的導致重復幀的時間贗象) 而生成的。鑒于這種特性，視頻質量值PDMOS可以應用于許多用途。 具體來說，可以將其用于估計現有視頻服務的質量，以確保該質量足夠， 或者另選的是，可以將其用于測試不同視頻編解碼器的性能。另外，可 以將該視頻質量值用于估計新視頻服務的性能，如因特網上的寬帶形式 的視頻服務。就此而言，可以將視頻質量值PDMOS用于與根據現有技 術生成的自動質量評估值類似的任何用途，所不同的是，因為該值考慮 了時間贗象，所以與目前為止現有技術的自動視頻質量評估技術的情況 相比、更可能表示主觀測試期間由人類觀看者生成的視頻質量值。
圖7例示了本發明的作為以軟件形式實現的實施方式的第二實施方 式。這里，本發明所提供的各個處理是由計算機40來執行的，該計算機 被設置成接收基準視頻序列和測試視頻序列二者。計算機40設置有其中 存儲了各種計算機程序的程序存儲裝置，如硬盤驅動器、可寫CD或 DVD、存儲器等，該計算機程序包含有在被計算機40執行時使該計算機 執行本發明的指令。更具體地說，設置有控制和界面程序48，其在運行 時允許計算機的用戶控制該計算機開始處理根據本發明的測試和基準視 頻序列，并且允許該計算機在屏幕上向用戶輸出測試結果。這種控制和
16界面程序優選地以圖形化為基礎，本領域技術人員可以想到這種程序的 配置。
另外設置的還有根據本發明的整合器程序44、紋理分析程序150、 空間頻率分析程序156、信噪比計算程序158、邊緣分析程序54以及時 間規律性分析程序152。下面，在示例性操作的環境下，對這些程序中的 每一個程序的操作進行簡要討論。
設想通用計算機40的用戶希望測試視頻序列。用戶首先開始控制和 界面程序48，其向用戶提供控制以允許該用戶指定要處理的測試和基準 視頻序列。 一旦用戶經由控制和界面程序48指示計算機40開始處理， 該控制和界面程序48就通過執行其它程序中的幾個程序并且在合適時處 理數據而使計算機40開始處理。因此，當接收到來自用戶的開始處理的 指令時，控制和界面程序48首先啟動空間頻率分析程序156的處理。空 間頻率分析程序156開始工作以，按照和先前描述的空間頻率分析器完 全相同的方式對基準幀和測試幀進行空間頻率分析，從而生成接著被存 儲在存儲裝置42的工作數據部46中的視頻特征值。
接下來，控制和界面程序48啟動信噪比計算程序158，后者接著訪 問工作數據部46內的測試視頻場/幀和基準視頻幀，并且按先前描述的方 式計算亮度和色度信噪比。即，信噪比計算程序158按照和先前所述的 亮度和色度峰值信噪比分析器相同的方式進行工作。將信噪比計算程序 158計算所得的亮度和色度信噪比存儲在存儲裝置的工作數據區46中。
接著，控制和界面程序48啟動紋理分析程序150。紋理分析程序150 接著從工作數據區46訪問測試視頻幀，并且按照和i前針對紋理分析器 描述過的方式相同的方式來計算視頻紋理質量參數。
在運行了紋理分析程序150之后，控制和界面程序48接著啟動邊緣 分析程序160。邊緣分析程序訪問存儲裝置42的工作數據區46內的基準 幀，以及測試視頻幀。接著，邊緣分析程序54基本上按照之前針對邊緣 分析器所描述地那樣進行工作。將邊緣分析程序的輸出參數存儲在工作 區46中。
在運行了邊緣分析程序160之后，控制和界面程序48接著啟動時間規律性程序152。時間規律性程序訪問存儲裝置42的工作數據區46內的 基準幀，以及測試視頻幀。接著，時間規律性程序按照與上面參照圖4a 和4b描述的方式類似的方式在規則時間模式(具有各種復雜度)與反常時 間贗象之間加以區別。
在第二實施方式的運行中的這個階段，執行了每一個分析程序，因 此工作區46包含了可以用作整合器的輸入的所有視頻特征參數值。因此， 下--個動作是控制和界面程序48啟動整合器程序44，后者在合適時訪問 工作區46以從其讀取特征參數值，并且將這些參數整合在一起，以便生 成最終視頻質量值PDMOS。整合器程序44的運行與如先前描述的整合 器級4的運行基本上相同。因此，整合器程序44基本上根據如先前描述 的圖6的流程圖來運行。
本發明的第二實施方式因此提供了一個軟件實施方式，其按照基本 上與先前針對第一實施方式所描述的方式相同的方式來生成視頻質量 值。然而，應注意到，所述的第一實施方式也可以釆用軟件來實現，或 者另選地，可以利用硬件部件或軟件與硬件兩者的混合來實現。在這個 方面，第一實施方式應當被視為比第二實施方式更一般的實施方式。
本領域技術人員應當清楚，本發明的上述實施方式是經過簡化的。 而且，本領域技術人員應該認識到，每一個實施方式中描述的特征的等 同物都是存在的，并且可以將一個實施方式的特征并入到其它實施方式 中。在存在實施方式的功能部件的已知等同物的情況下，它們被視為隱 含地公開于此，除非明確地放棄保護。因此，當銘記本領域技術人員的 公知常識而在本說明書的環境下解釋時，本發明的主旨和范圍不限于在 本說明書中陳述的具體部件，而相反，要由權利要求書的范圍來確定。
除非上下文另外明確地需要，貫穿說明書和權利要求書，單詞"包 括"等要按與排它相對的包含或詳盡的意義來解釋；就是說，按"包括 但不限于"的意義來解釋。
而且，為避免疑惑，在對在先文獻(其內容無論整體還是部分對于 作為本領域技術人員的預期讀者理解本發明的任一實施方式的操作和實 現而言都是必需的)進行引用的情況下，所述內容應被視為通過對它的
18所述引用而并入于此。
所附摘要的內容如下所述并入于此。提供了一種用于對包括多個視 頻幀的視頻信號進行評估的系統和方法。在所述多個視頻幀中，對從一 個幀變到下一個幀的像素數量進行分析，如果呈現在當前幀中的設定比 例的像素與呈現在前一幀中的相匹配，則將每一幀標識為重復。記錄所 得的該視頻信號中的重復幀的模式。接著，掃描所得模式，以確定指定 重復幀是否為時間重復模式的一部分，并且標識那些沒有被確定為時間 重復模式的一部分的重復幀。作為上述的結果，視頻質量評估能夠分離 地處理這兩種類型的時間贗象，從而在幾乎看不見的規則幀丟失與視覺 擾亂的不規則幀丟失之間加以區分。
權利要求
1、一種對包括多個視頻幀的視頻信號進行評估的方法，該方法包括以下步驟(a)在所述多個視頻幀中，分析從一幀到下一幀發生改變的像素數量；(b)如果呈現在某一幀中的設定比例的像素與呈現在前一幀中的相匹配，則將當前幀標識為重復；(c)記錄所述視頻信號中重復幀的模式；(d)掃描所述模式，以確定指定重復幀是否為時間重復模式的一部分；以及(e)通過標識那些沒有被確定為所述時間重復模式的一部分的重復幀來生成質量指示符。
2、 根據權利要求1所述的方法，該方法包括以下步驟(f) 通過在所述模式中建立在所述模式中被稱作第一幀的多個幀的 第一窗口以及具有相同尺寸的第二窗口，來掃描所述模式；(g) 按相對于所述第一窗口有所偏移的方式來布置所述第二窗口 ；(h) 對所述第一窗口和所述第二窗口中的重復幀的模式進行比較，并 且記錄這些模式之間失配的數量；(i) 在偏移范圍上針對每一個偏移值重復所述比較并且記錄結果；(D針對所述第一窗口和所述第二窗口來選擇新的窗口尺寸值、在偏 移值范圍上重復所述比較，并記錄結果； '(k)確定在偏移值范圍上提供了失配值最小變化的目標窗口尺寸。
3、 根據權利要求2所述的方法，其中，所述質量指示符是通過以下 操作來生成的對第一部分中重復幀的模式與具有相同尺寸的多個第二 部分中的重復幀的模式進行比較并且記錄所述第一部分中的模式與每一 個所述第二部分中的模式之間出現失配的次數，其中所述第一部分的尺 寸由所述目標窗口的尺寸來決定。
4、 根據以上權利要求中任意一項所述的方法，該方法包括以下步驟將所述質量指示符與一個或更多個己知質量指示符進行組合，以生成感 知平均意見得分。
5、 根據以上權利要求中任意一項所述的方法，其中，所述分析是針 對每一幀的一部分執行的。
6、 根據權利要求5所述的方法，其中，所述一部分不包括所述幀的 邊緣。
7、 根據以上權利要求中任意一項所述的方法，其中，每一幀都包括 多個像素，其中，如果相鄰幀中的第一幀中的一個像素處于第二幀中的 對應像素的預定閾值內，則將來自所述相鄰幀的這兩個像素標識為匹配。
8、 根據以上權利要求中任意一項所述的方法，其中，判定機制對每 一個像素應用閾值，如果一幀中的所有像素都處于前一幀中的對應像素 的預定閾值內，則將該幀標識為重復。
9、 一種計算機程序或程序組，該計算機程序或該程序組被配置成， 當由計算機系統執行時它/它們使得所述計算機系統執行權利要求1-8中 任意一項所述的方法。
10、 一種對包括多個視頻幀的視頻信號進行評估的系統，其中，所 述系統包括用于通過分析從一幀到下一幀發生改變的像素數量來檢測重復幀并 且記錄重復幀的模式的裝置； ''用于掃描所述模式以確定指定重復幀是否為時間重復模式的一部分 并且通過標識那些沒有被確定為所述時間重復模式的一部分的重復幀來 生成質量指示符的裝置。
11、 根據權利要求10所述的系統，其中，用于掃描所述模式的裝置 包括用于在所述模式中建立在所述模式中被稱作第一幀的多個幀的第 一窗口以及具有相同尺寸的第二窗口，來掃描所述模式的裝置；其中，按相對于所述第一窗口有所偏移的形式來布置所述第二窗口； 其中，用于掃描所述模式的裝置還包括用于對所述第一窗口和所述第二窗口中的重復幀的模式進行比較并 且記錄這些模式之間失配數量的裝置；用于在偏移范圍上針對每一個偏移值重復所述比較并且記錄結果的 裝置；用于針對所述第一窗口和所述第二窗口來選擇新的窗口尺寸值、在 偏移值范圍上重復所述比較并記錄結果的裝置；以及用于確定在所述偏移值范圍上提供了失配值最小變化的目標窗口尺 寸的裝置。
12、 根據權利要求ll所述的系統，該系統包括用于通過以下操作來 生成所述質量指示符的裝置對第一部分中的重復幀的模式與具有相同 尺寸的多個第二部分中的重復幀的模式進行比較并且記錄所述第一部分 中的模式與每一個所述第二部分中的模式之間出現失配的次數，其中所 述第一部分的尺寸由所述目標窗口的尺寸來決定。
13、 根據權利要求10到12中任一項所述的系統，該系統包括用于 將所述質量指示符與一個或更多個已知質量指示符進行組合以生成感知 平均意見得分的裝置。
14、 根據權利要求10到13中任一項所述的系統，其中，所述分析 是針對每一幀的一部分執行的。
15、 根據權利要求14所述的系統，其中，所述一部分不包括所述幀 的邊緣。
16、 根據權利要求10到15中任一項所述的系統，其中，每一幀都 包括多個像素，其中，如果相鄰幀中的第一幀中的一個像素處于第二幀 中的對應像素的預定閾值內，則將來自所述相鄰幀的這兩個像素標識為匹配。
17、 根據權利要求10到16中任一項所述的系統，其中，判定機制 對每一個像素應用閾值，如果一幀中的所有像素都處于前一幀中的對應 像素的預定閾值內，則將該幀標識為重復。
全文摘要
提供了一種用于對包括多個視頻幀的視頻信號進行評估的系統和方法。在所述多個視頻幀中，對從一個幀變到下一個幀的像素數量進行分析，如果呈現在當前幀中的設定比例的像素與呈現在前一幀中的相匹配，則將每一幀標識為重復。記錄所得的該視頻信號中的重復幀的模式。接著，掃描所得模式，以確定指定重復幀是否為時間重復模式的一部分，并且標識那些沒有被確定為時間重復模式的一部分的重復幀。作為上述的結果，視頻質量評估能夠分離地處理這兩種類型的時間贗象，從而在幾乎看不見的規則幀丟失與視覺擾亂的不規則幀丟失之間加以區分。
文檔編號H04N17/00GK101682796SQ200880018580
公開日2010年3月24日 申請日期2008年2月27日 優先權日2007年4月3日
發明者亞歷山大·瓊·布雷 申請人:英國電訊有限公司