用于預測三維視頻的主觀質量的全參考系統的制作方法

專利名稱：用于預測三維視頻的主觀質量的全參考系統的制作方法
技術領域：
本公開涉及圖像的質量預測，且尤其涉及一種用于預測三維(立體)視頻的主觀質量的全參考系統。
背景技術：
諸如電視廣播、電影之類的行業以及目前采用基于立體的3D技術的其它行業正面臨著若干質量保證和質量控制的問題。與其它相比，在視頻中，處理假象(artifact)和損害給一些用戶造成更多的分心。此外，雖然目前日益流行，但是三維視頻可能導致一些觀看者的視覺不適，其中所述不適通常與3D圖像的立體(左和右)圖像之間的水平視差(disparity)量有關。可使用目前的技術，其為二維視頻的制作設置中的視頻提供視覺不適和損害的指 示、預測、警告和原因。雖然以困難的方式，但是這些技術中的一些已經被用來對測量3D圖像的右和左圖像的各種組合進行測量。例如，已經研發了技術來單獨測量構成3D圖像的右和左的2D圖像，隨后對右和左的質量結果進行平均。如另一個示例，可以通過相對于未處理的左(參考)視頻對經處理的左(測試)視頻進行測量以便進行左視圖的視頻質量評估，并且對于右視圖同樣如此，而將TEKTRONIX PQA600用于3D視頻質量的評估。然而，正在以日益提高的速度從現有的2D視頻生成3D視頻。此外，其它的3D處理也正在出現，諸如為了被改變用途作為藍光DVD等的影院，為了視頻設備的R&D(捕捉、諸如編解碼的處理等等)以及其它應用所制作的3D電影。目前還沒有用于直接預測立體視頻的主觀質量的全參考系統。本發明的實施例解決了現有技術的這些和其它局限。

發明內容
在本發明的一些方面，提供了一種生成預測圖片質量評價(rating)的方法。通常，視差測量通過將三維圖像的左和右子分量進行比較而由所述三維圖像所構成。隨后，使用來自用于合并的所述視差測量的數據，所述三維圖像的左和右子分量被合并(融合)為二維圖像。預測質量測量隨后基于所述二維圖像生成，并且進一步包括與原始三維圖像相關的質量信息。本發明的其它方面包括一種用于相對于參考立體視頻預測測試立體視頻的質量的質量預測系統。所述預測系統包括用于接受測試三維視頻和參考三維視頻的輸入。這些三維視頻的左和右分量隨后在比較器中單獨進行比較并且取得視差測量。融合器隨后使用來自所述比較的數據將三維圖像的左和右元素分別合并為二維圖像。圖片質量分析器隨后被用來基于所述二維圖像生成圖片質量預測或測量。此外，匯總設備在所述質量預測系統的最終輸出中包括三維比較的信息。


圖I是根據本發明實施例的用于立體視頻的全參考主觀質量預測器的框圖。圖2是示出圖I中用于立體視頻的全參考主觀質量預測器的額外細節的框圖。圖3是圖示能夠被用來比較立體圖像的過程的示例性流程圖。圖4是從圖3所示的兩幅單獨圖像的合并所產生的單幅融合圖像的示例。圖5是圖示本發明的實施例中所使用的用于三維圖像的標準視圖的平面觀看深度和觀看角度的參考圖像。
具體實施例方式迄今為止，用于廣播的最為常見的立體視頻表現方法是在每個視頻幀的頂部和底部或者并排發送的單獨的左和右視頻視圖(使用公知的MPEG-2或H. 264標準)，或者在單獨的相應通道中發送的單獨的左和右視頻視圖(H. 264的多視圖視頻編碼，MVC)。可替換地， 2D巾貞可以在一個通道中連同另一個通道中的其相應的深度圖(depth map)—起發送(即，可能經由MVC的適配)。雖然后者2D幀+深度通道視頻表現也可以使用本發明的概念進行測量，但是仍使用前者(單獨的左和右)方法來解釋本發明系統的概念。本發明的實施例提供了一種(在圖像分辨率、幀率、實時相對于較高準確性等方面上)可縮放的方法來生成與當前2D的解決方案相兼容的預測質量評價每個幀和每個序列一個標量量度，也就是DMOS預測，主觀差異意味著3D測試和3D參考視頻之間的觀點得分(opinion score)。圖I是根據本發明實施例的用于立體視頻的全參考主觀質量預測器10的框圖。質量預測器10包括用于3D圖像或視頻、參考圖像12和測試圖像14的兩個單獨輸入。貫穿該公開所要理解的是，對標識符一幅3D圖像或多幅3D圖像的使用包括靜態圖像和視頻圖像二者。如所示，每幅3D圖像包括左分量和右分量。一般來講，以下更為詳細描述的，在相應的評估塊22、24中對每幅3D圖像單獨進行初始測量。接著，參考圖像12和測試圖像中的每一個的左和右分量的每一個被合并為相應的融合圖像。特別地，參考圖像12的左和右圖像在融合器42中進行合并以產生融合參考圖像52，而測試圖像14的左和右圖像在融合器44中進行合并以產生融合測試圖像54。所述融合處理在產生融合圖像52、54時使用來自相應評估塊22、24的數據。融合參考圖像和融合測試圖像52、54被作為輸入饋送至2D質量分析器60，在一些實施例中，所述2D質量分析器可以是之前所提到的TEKTRONIX PQA600，或者是具有類似功能的分析器。分析器60的輸出被發送到匯總設備90。此外，匯總設備90包括來自評估塊22、24的輸入，它們為所述匯總設備提供了與3D測試圖像12和3D參考圖像14的3D方面相關的信息。匯總設備90隨后生成3D立體圖像12、14的預測圖片質量評價(諸如DMOS(差異平均觀點得分)評價或對于分析立體視頻的那些有用的其它評價)的輸出。圖2是示出圖I中用于立體視頻的全參考主觀質量預測器的示例性實施例200的額外細節的框圖。質量預測器200包括3D參考圖像輸入212和3D測試圖像輸入214。這些3D輸入被提供給相應的視差測量塊222、224。測量塊222中包括分離器226，所述分離器226將參考圖像輸入212劃分為其左和右分量部分，如果不是已經以那樣的形式所接收的話。在一些情況下，分離可能是不重要的(如在a 264 MVC中)。在其它情況下，左通道可以從參考圖像輸入212的左或頂部部分所取得，而右通道則處于輸入幀的其余部分。測量塊224包括用于測試圖像214的類似分離器228。在分割結束時，總共由四個視頻通道參考左、參考右、測試左和測試右。每幅圖像212、214的左和右要素是去往視差測量塊232、234的相應輸入，所述視差測量塊被用來測量3D圖像212、214的每個幀的視差和失配。圖3圖示了視差測量塊232、234中所進行的示例性處理。圖3是圖示示例性過程300的框圖，其圖示了從立體圖像的示例性左和右幀創建視差和失配數據。在過程300中，3D圖像已經被分離為左圖像312和右圖像314。重要的是，在這里要注意到圖3所示的左圖像312和右圖像314僅是圖2的參考3D圖像312或測試3D圖像314之一。換句話說，雖然僅圖示了針對一幅立體圖像的處理，但是對參考和測試圖像312、314都進行圖3所示的處理。如可在www. research, microsoft. com 獲得的 Daniel Scharstein 和 RichardSzeliski 的被稱作“技術報告”的文章“A Taxonomy and Evaluation of Dense Two-FrameStereo Correspondence Algorithms，，,Microsoft Technical Report MSR-TR-2001-81 中所描述的，已經描述了用來測量三維圖像的空間視差的一般性方法。在生成視差測量時，這些一般性處理步驟是a)在局部的基礎上對指示相應圖像的部分的空間匹配的測量進行量化；b)對來自這樣的量化的局部結果進行集合；c)視差計算/優化；以及d)視差精煉(refinement)。在任選過程316、318中，左和右圖像312、314首先在垂直方向被下采樣。例如，如果圖像312、314如標準HD視頻幀那樣在垂直方向具有1080個像素而在水平方向具有1920個像素，則每個圖像可以下采樣為10X1920個像素圖像。這產生了一對圖像(左和右)，其中每幅圖像恰好具有10條水平線，每條為1920像素長度。在另一組任選過程320、322中，垂直下采樣的圖像線同樣可以被水平下采樣為更短的線。例如，如果用于評價立體圖像的監視器的顯示小于1920像素寬度，這可能是適宜的。不同于將圖像線下采樣為特定數量的像素，其可以以給定百分比進行下采樣，例如下采樣至具有原始長度的70%長度的一個。在垂直和水平方向二者中的這樣的下采樣是系統計算速度相對整體測量精確性之間的權衡。一對過程 326、328 通過使用題為 “Measurement Apparatus and Method of Measurement of Video Spatial Scale, Offset and Cropping” 的美國公開申請2008/0152257 和題為 “Methods and Systems for Image Registration” 的美國公開申請2010/0226592中所描述的雙向IIR濾波器從原始或下采樣圖像中的每一個減去相應的雙向IIR低通濾波版本而對其執行虛光蒙板(unsharp mask)處理,上述公開申請均通過引用結合于此。所使用的雙向IIR濾波器的濾波器系數可以為al = I - b0。這導致針對每幅圖像或垂直下采樣的圖像線的生成的DC (低頻)線。接下來，在過程330中例如使用經修改的左和右圖像之間的差異的絕對值來合并虛光蒙板圖像。也可以使用其它技術，例如使用平方差、交叉相關或者相位或小波相位分析。實際上，在具有每個移動(shift)的局部匹配量化結果的不同相對移動處對左和右圖像進行比較。如以上所描述的，過程340通過雙向IIR低通濾波器輸送差異值以創建連續局部平均值。下一個過程350執行視差計算/優化。典型地，這可以通過取得每個圖像部分的最佳匹配來快速執行。例如，如果以該密度測量了立體對應(stereo correspondence),則每個像素均執行視差計算。然而，在計算了所有像素移動之后，可以為了 “平滑性”或者一些應用中不太可能想到的非連續性而對移動群組進行評估。可以使用通過噪聲、中值(median)或者其它濾波器進行的濾波。在過程300的這個階段，從處理器350的輸出創建視差圖或圖像360以及失配圖或圖像370。首先，對于過程350的輸出的每一列，選擇最小誤差值并且將其數據值編碼為失配圖像370的像素。失配圖像370的頂部線通過選擇過程350的輸出的每一列中的最小值而生成，并且被復制另外的107次以便對垂直下采樣過程316、318進行補償。也就是說，失配圖像370的前108條線是相同的。這確保了即使原始圖像312、314被下采樣，失配圖像370也與原始立體圖像312、314具有相同的維度。在所有的最小誤差值都被選擇之后，可以針對失配圖像370的最大圖像對比對所述數值進行規范化。該失配圖像370作為觀看者是否可能成功生成立體圖像的特定部分的三維深度感知的表現。換句話說，失配程度越高， 這在失配圖像370中可能表現為光亮區域，則指示觀看者在其頭腦中成功融合左和右圖像312,314時存在問題。同樣從過程350的數據輸出生成視差圖像360。視差圖像360中的每個像素表示必須沿其水平線進行移動以生成以上所確定的最小誤差的每個像素的像素數量。換句話說，與通過取得每列的實際最小比較數值而生成失配圖像370的情況不同，通過在視差圖像360中繪制對應于出現最小數值的每一列的線數量的移動來生成視差圖像360。移動在實施例中通過移動=LineNumber * ShiftIncrement + InitialShift而與線數量相關。與失配圖像370類似，通過復制線另外107次以使得其大小與原始的左和右圖像312、314相匹配來生成視差圖像360。3D視頻中深度的極值以及深度隨時間的高速變化已知與視覺不適相關聯。同樣，左和右的失配部分可以是視覺不適的來源。因此，如以下所進一步描述的，將該信息計入立體圖像質量的最終預測是適宜的。回去參見圖2，視差和失配數據被圖示為由視差測量塊232、234所產生，雖然如圖3所示，并非必須要在圖像中產生視差和失配數據。接下來，在相應處理242和244中，參考幀212和測試幀214的視差測量被用來創建相應的融合幀252、254。圖4中圖示了融合幀的示例，其中融合幀410是將圖3的各體的左圖像312與右圖像314進行融合，而且另外使用了所計算的并且被表示為圖像360的視差測量的最終結果。注意融合幀410中融合證據是明顯的特定區域420和430。對于視頻的每個部分，在圖3的過程300中所創建的視差圖被用作校正偏移以將特定3D圖像212或214的左和右通道對齊。這樣所記錄的左和右幀被2的疊象漸變(cross-fade)所“融合”，實現為左和右幀的加權和。正常情況下，疊象漸變是使得左和右被等同加權，即例如融合圖像252由像素所構成，以使得
融合的[像素]=左[像素+偏移(視差)*.5]*.5 +右[像素-偏移(視差)* 5]*. 5
然而，圖2中融合參考圖像252(或融合測試圖像254)的融合并非必須是相等的。換句話說，任選地，可以使用直接用戶控制或注意力模型反饋來對右眼或左眼優勢(dominance)進行建模。例如，注意力模型(以下進行描述)可以確定與左眼更為接近的對象將導致左眼具有優勢，或者一些更加吸引注意力的區域可能會與此相反。如果左眼更具優勢，則相應地增加高于.5的權重，其中對右使用I的贈予(compliment)權重。同樣，權重可以傾向于右眼優勢。圖4的融合圖像410示出了使用具有相等權重的左圖像312和右圖像314 (圖3)的融合幀的亮度部分的示例。融合的參考和測試圖像252、254被輸入到2D視頻質量預測系統260。該視頻質量預測系統260最終生成以DMOS為單位的預測主觀質量。然而，視頻質量預測系統260還創建有用的感知差異響應的中間結果。這些響應使用CIECAM02 {a, b}單位在百分比感知對比差異以及任選地顏色感知差異方面所給出。CIECAM02是CIE技術委員會8_01所公布的公知的顏色管理系統的顏色外觀建模。視頻質量預測系統260進一步包括用于產生其預測結果的各種模型，諸如參考和測試顯示模型262、264以及參考和測試觀看模型266、268。這些模型被用來基于所評估視頻的觀看條件來調節預測結果。 感知差異預測系統280在生成參考圖像212和測試圖像214之間的差異的預測時從各個模型262、264、266和268取得輸出。任選的注意力模型用來基于圖像212、214自身的幀內所出現的動作來修改最終的輸出預測得分。最終，測量模塊290的匯總合并感知差異預測系統280所生成的所有信息以及如以上所描述的視差測量系統232、234所生成的測試失配數據以及一對深度圖以便生成立體圖像質量評價的最終預測作為系統200的輸出，其中所述深度圖一個針對參考視頻而一個針對測試視頻。
如以上所提到的，測量模塊290的匯總所使用的一組因素是如參見圖5所描述的相應生成器272所產生的參考深度圖和測試深度圖。圖5是在距一對偏移左眼和右眼相對距離的示例性顯示角度的說明性參考圖500。在參考圖500中，左眼和右眼被設置為分開距離Se。如圖5所示，來自左眼和右眼的線在每個顯示深度處的交點產生了可以通過相應幾何學所確定的角度。在參考圖500中圖示了三個深度平面，標準深度平面Vd和處于Vd的1/2距離處的深度平面以及兩倍遠的深度平面，標記為2Vd。對于所要觀看的任意深度平面的任意點，來自左眼和右眼的視線必須在該點相交。這些視線還在各個點與顯示平面相交。使用左視線與顯示平面的交點作為參考，右視線與顯示平面的交點可以被測量為偏移量Os。因此，Os表示針對特定深度的一點的左和右圖像之間的水平移動。在圖5中，關于右眼而言，Osi表示針對處于無限遠處的點的移動，0s2針對處于兩倍觀看距離處的點，而Osh則針對觀看距離的一半。注意，對于顯示平面上的點，Os=O。根據該關系，右和左間隔可以被確定為深度的函數，并且反之亦然。對于沿左(或右)中心線的點而言，數學關系由于相似的三角形所以十分簡單
Os = Se X (深度-Vd)/深度等式I
該簡單關系也是相對于中心線具有小角度的其它點的良好近似。對于包括左(或右)中心線之外的點的Os的一般公式使用因數平面屏幕顯示的1/cos (IeftAngle)
Os = Se X (深度-Vd) / (深度 *cos (IeftAngle)等式 2
該關系可以在視差(Os)和深度之間轉換使用。在主觀上，在適當設置時，顯示器示出與顯示器屏幕平面(觀看距離或I Vd)、距觀
權利要求
1.一種用于預測測試立體視頻相對參考立體視頻的質量的質量預測系統，所述質量預測系統包括 第一輸入，用于接受測試三維視頻，所述測試三維視頻包括左分量和右分量； 第二輸入，用于接受參考三維視頻，所述參考三維視頻包括左分量和右分量； 第一分析器，其被構造為生成與測試三維視頻的左分量與測試三維視頻的右分量的比較相關的第一視差信息； 第二分析器，其被構造為生成與參考三維視頻的左分量與參考三維視頻的右分量的比較相關的第二視差信息； 第一融合器，其被構造為使用來自第一分析器的視差信息合并測試三維視頻的左和右分量以創建融合二維測試視頻； 第二融合器，其被構造為使用來自第二分析器的視差信息合并參考三維視頻的左和右 分量以創建融合二維參考視頻； 質量分析器，其被構造為將所述二維參考視頻和二維測試視頻進行比較并且生成第一預測質量評價；和 匯總設備，其耦合到所述質量分析器并且被構造為利用從所述第一和第二分析器所得出的信息修改所述第一預測質量評價以生成所述測試三維視頻與所述參考三維視頻的比較的預測質量評價。
2.如權利要求I所述的質量預測系統，其中所述第一視差信息包括與參考三維視頻的左分量與參考三維視頻的右分量的比較相關的失配數據。
3.如權利要求I所述的質量預測系統，其中所述第一視差信息包括與參考三維視頻的左分量與參考三維視頻的右分量的比較相關的視差數據。
4.如權利要求I所述的質量預測系統，其中從所述第一和第二分析器所得出的信息包括分別從測試三維視頻和參考三維視頻所得出的第一和第二深度圖信息。
5.如權利要求I所述的質量預測系統，其中所述第一融合器在合并測試三維視頻的左和右分量以創建融合二維測試視頻時使用第一視差信息作為校正偏移。
6.如權利要求I所述的質量預測系統，其中所述第一融合器在創建融合二維測試視頻時對測試三維視頻的左和右分量應用相等的權重。
7.如權利要求I所述的質量預測系統，其中所述第一融合器在創建融合二維測試視頻時使用I的求補過程以為測試三維視頻的左和右分量分配不同的權重。
8.如權利要求I所述的質量預測系統，其中所述匯總設備生成包括來自至少一個CIECAM02顏色外觀坐標的分量的感知差異矢量。
9.如權利要求8所述的質量預測系統，其中所述匯總設備生成包括來自測試或參考三維視頻中至少一個的所感知深度的分量的感知差異矢量。
10.如權利要求8所述的質量預測系統，其中所述匯總設備生成包括來自第一和第二視差信息與融合限制的比較分析的分量的感知差異矢量。
11.如權利要求8所述的質量預測系統，其中所述匯總設備生成包括來自閉塞分析的分量的感知差異矢量。
12.如權利要求8所述的質量預測系統，其中所述匯總設備生成包括來自失配數據分析的分量的感知差異矢量。
13.如權利要求8所述的質量預測系統，其中所述匯總設備生成包括來自注意力分析的分量的感知差異矢量。
全文摘要
本發明涉及用于預測三維視頻的主觀質量的全參考系統。提供了一種生成預測圖片質量評價的方法。通常，視差測量是通過將三維圖像的左和右子分量進行比較而由所述三維圖像所構成。隨后，使用來自所述視差測量的用于合并的數據，所述三維圖像的左和右子分量被合并(融合)為二維圖像。預測質量測量隨后基于所述二維圖像生成，并且進一步包括與原始三維圖像的比較相關的質量信息。
文檔編號H04N17/02GK102740119SQ20121010796
公開日2012年10月17日 申請日期2012年4月13日 優先權日2011年4月15日
發明者K.M.費爾古森 申請人:特克特朗尼克公司