專利名稱：超高分辨率視頻處理的稀疏幾何結構的制作方法
超高分辨率視頻處理的稀疏幾何結構
背景技術：
本發明涉及數字視頻處理的方法。具體地，本發明能夠用在超高分辨率視頻處理 領域。超高分辨率視頻處理方法應用于包括超高分辨率插值(例如，幀頻轉換，超高分辨率 視頻的縮放和去隔行掃描)以及減少壓縮偽像和/或噪聲的各種應用中。在數字系統中，視頻序列通常表示為像素值的列陣It (χ)，式中t為整數時間索引， X為一個表示圖像中的像素位置的二維整數索引(Xl，X2)。該像素數值可以是例如單一數字 (例如，灰度值)或表示在顏色空間(例如，RGB，YUV，YCbCr，等)中的顏色坐標的三數集。超高分辨率視頻處理方法通過結合在多個時間相鄰的視頻幀的像素值來計算新 像素值(用于插值)或者已有像素的新值(降低噪聲)。文獻WO 2007/115583 Al闡述了一種顯示很少偽像的超高視頻處理方法。該方法 包括為每個將要算計的新像素選擇最適合計算該像素的插值。然而，對某些特定序列，就需 要通過增加被考慮插值的總數量來改善該方法。但是，質量的提高是以較高復雜度為代價 的。在視頻插值的應用中，現有技術為動態自適應或動態補償。當視頻不運動時，動態自適應視頻的去隔行掃描只提供全分辨率的去隔行掃描 幀。否則，去隔行掃描幀會出現鋸齒狀的輪廓或者較低分辨率紋理以及閃爍。例如，美國專 利No. 5，428，398描述了先進動態自適應技術的實例。眾所周知，動態補償技術可達到較高的質量等級，但與動態自適應技術相比，是以 較低的魯幫性和在有些情況下顯示較為嚴重的偽像為代價的。這種情況尤其發生在動態預 測不能很好工作的視頻的位置，如遮擋物，透明物體或陰影。美國專利No. 6，940，557討論 了動態補償去隔行掃描技術的實例。執行幀頻轉換的標準方法包括用于計算密集動態區域的預測兩幀之間的動態預 測，以及通過動態補償插值計算新的幀。由于上述相同的原因，根據這樣步驟的幀頻換轉換 會有一些缺點。密集的動態預測對周期模式、輪廓、或平坦區域失去效果。動態預測的常用技術稱為“塊匹配”。在塊匹配技術中，預測在χ和t上的動態包括 通過窗W的最小化匹配能量Ex(V)，其中一組偏移量為d= (ClljCl2)0匹配能量(Lrenergy)
的可能形式為Ex(V) = ^l't(x+d)-lt+i(x+d+v)|。另一種經常使用的形式為L2能量
dew
_^ 2
(L2-energy)或歐幾里得距離(Euclidean distance) :Ex(v)= X|lt(x+d)-lt+l(x+d+v)|。
deW塊匹配非常適合視頻補償方案中的動態補償，例如，使用根據塊變換的MPEG。如果 匹配算法匹配圖像中有兩個窗口，該圖像具有相似性但不是表示相同對象(例如，在單詞 “sweet”的圖像中，用第二個‘e’匹配第一個‘e’)，則壓縮效果不會有損失。但是，當執行 視頻插值時，不能與實際相同對相對應的匹配像素組會產生插值偽像，這是由于圖像中所 顯示的對象中的空間相關性使得插值像素會反映出“不正確的動態”。塊匹配的方法是計算密集型的，且與各個像實際考慮的可能位移的數量成比例。 在視頻壓縮中，“快速”塊匹配方案包括使用預定動態子集合來限制可能位移的范圍。這在視頻插值中是不能接受的，在視頻插值中，使用不太精確的位移向量會導致模糊插值圖像 或者形成偽像。為了避免在運動預測中的這些問題，已開發多種不同的方法。第一類方法強調在 動態區域中的平滑性約束，例如，通過相鄰的像素進行平滑處理，因而對相應的動態向量是 相互接近的。該方法可利用多個尺度的動態預測或遞歸塊匹配來實現。另一類解決該問題 的方法是相位相關。美國專利No. 5，742，710討論了根據多個尺度的塊匹配的方法。在兩個尺度的情 況中，塊匹配在各個維度減少2倍的尺寸因子(即，像素減少4倍)的It和It+Ι的副本之 間執行，并細化所產生的位移圖從而獲得好兩倍的分辨率。細化處理是在粗尺寸結果周圍 的限制范圍的搜索。因此，因為僅僅只對較小的圖像進行全范圍的搜索，可以降低位移搜索 的代價。所產生的位移區域同樣更加平滑，因為其進精細化了低分辨的圖(map)。但是，在 視景(scene)中的動態不能通過平滑的位移圖進行準確的計算動態區域基本上不連續， 尤其是在遮擋對象的附近。實施位移圖的平滑約束不是解決魯棒性問題的合適方法。以相似方法來解決這個問題的另一類方法是遞歸塊匹配，如文獻〃 True-Motion with 3D Recursive Search Block Matching" ,G.De Haan etal. ,IEEE Transactions on Circuits and Systems for Video Technology, Vol. 3, No. 5, October 1993, pp. 368—379 所闡述的。這種方法顯著降低了計算動態圖的代價，但是仍然會受到周期模式或者甚至遮 擋物誤導。文獻GB-A-2 188 510闡述了稱為相位相關的方法，其為候選位移集合通過一個 大圖像窗計算位移能量圖。該圖可以通過快速傅立葉變換進行有效的計算。對應于在該能 量圖中峰值的位移子集合確定為這個窗所包括的最具代表性的位移。隨后，塊匹配僅以考 慮這個位移子集的第二步驟像素(pixelwise)進行執行。這個方法降低了動態預測的復雜性，并且還能夠檢測不連續的動態圖。根據相位 相關技術，動態圖也是規范和約束的，但非常不同于空間規范方法。取代了對動態圖進行局 部平滑，相位相關限制了在動態圖中的不同可能向量集合的固定數量。但是，相位相關還要求根據二維快速傅里葉變換的相對復雜計算，其硬件實施的 代價很大。此外，該方法根據動態向量的相位相關有關的各自特性來選擇動態向量。所以， 其具有限制提供最小動態向量集合的能力。當然，當一個移動模式具有周期性結構或者位 移不變時，不同的向量具有可比較特性量，并且難以對它們之間的相位相關進行判斷。因 此，產生的動態補償視頻插值處理方法具有次優的魯棒性。這也具有復雜性的代價，因為對 于所有的像素都需要考慮多于必要數量的候選動態向量。其它類型的方法包括通過在候選向量中計算低復雜性匹配能量進行選擇第一位 移子集。這樣可以在某種程度上降低計算的復雜性，但是，這不是一種使動態補償插值更加 可靠的合適方法。減少視頻序列噪聲的典型和最普遍的方法包括動態補償遞歸或非遞歸時間濾波。 可以參考，例如文獻〃 Noise reduction in ImageSequences Using Motion-Compensated Temporal Filtering" , E.Duboisand S. Sabri, IEEE Transactions on Communications, Vol. C0M-32, No. 7，July 1984，pp. 826-832。該方法包括了在幀和先前幀之間的動態預測， 以及通過時間濾波器隨著預測動態對視頻序列進行濾波。
其它已知的方法是用動態補償的三維(3D)小波變換。參 考， 例 如 文獻"Three-Dimensional Embedded Subband Coding with OptimizedTruncation(3D-ESC0T)“ , Xu, et al. , Applied and ComputationalHarmonic Analysis, Vol. 10，2001，pp. 290-315。該文獻所闡述的動態補償三維小波變換可用于通過 對這樣的三維變換進行小波閾值來減少噪聲。這種使用根據隨著動態趨勢提升小波變換的 方法的限制是它對由噪聲產生的動態圖的衰減非常敏感。文獻WO 2007/059795 Al闡述討論了超高分辨率處理方法，它可用于長程降噪 或超高分辨率的縮放。該方法根據使用小波系數的多尺度分組的Bandlet變換(bandlet transform)。這種表達方法比3D-ESC0T文獻所闡述的三維變換更加適用于降噪或超高分 辨的縮放。多尺度分組執行變化范圍的圖像配準，其可通過例如塊匹配或者現有技術的圖 像配準過程進行計算。對超高分辨率縮放和降噪來說，所使用的圖像配準圖不被噪聲或偽 像損壞是非常重要的。不論怎樣的應用(插值或噪聲減小)，具有密流場(dense flowfield)的動態 補償的使用都會有些限制光圈、對透明或陰影部分內容的單一動態模型。正如文獻WO 2007/115583 Al所討論的，通過檢測各個像素在視頻信號空間和時間中的一個或多個規律 趨勢對視頻的局部不變結構進行分析，從而為視頻插值提供更為普遍和魯棒的方法。因此， 就需要一種能夠以有效方法和具有增強魯幫性的方式來檢測這種趨勢的技術。本發明的一個目的是提供了一種具有高精確度和高魯棒性在輸入視頻流中檢測 規律趨勢的有效方法。尤其是，在超高分辨率視頻插值中，能夠避免通常由不連續的插值趨 勢所形成的偽像。在視頻降噪中，能夠選擇不被噪聲損壞的平均趨勢。另一個目的是顯著降低實施超高分辨率插值或降噪處理方法的復雜性。
發明內容
闡述一種分析輸入視頻序列的方法，其中輸出視頻序列合成圖像的像素與屬于趨 勢的預定集的各個規律趨勢相關聯。該方法包括從趨勢的預定集中確定輸出序列的第一 圖像范圍的候選趨勢的第一子集合；根據輸入序列的圖像和候選趨勢的第一子集，從趨勢 的預定集中確定第一圖像后的第二合成圖像序列對應范圍的候選趨勢的第二子集；以及從 所述候選趨勢的第二子集合中檢測所述第二合成圖像范圍的像素規律趨勢。候選趨勢的子集通過考慮先前時間所決定的子集在時間遞歸中進行確定。典型的 方法是，在子集中的趨勢的增加或去除是根據由這樣的增加或去除產生的代價函數的增加 變化進行的。如下文所述，圖像的“范圍”可以包含整個圖像區域或者僅僅只是其一部分。候選趨勢的第二子集的確定可以包括檢測至少一對趨、和va，使得、屬于候選 趨勢的第一子集，Va屬于趨勢預定義子集且不屬于第一子集，并且與涉及第一和第二圖像 的第一子集相關的代價函數高于與包括Va和不包括\的第一子集的趨勢的改進子集相關 的代價函數；以及對檢測的響應，從第二子集中去除\并在第二子集中包括va。該技術可使用簡單的操作和結構，來加速規律趨勢的檢測或者降低其實施的代 價。它減少了動態補償視頻插值所產生的偽像的數量。一些實施例的特征包括評估由新的趨勢提供給已有趨勢的子集的相關邊界增益。 相反，在動態預測的某些具體領域中的大多現有方法僅僅使用位移向量的絕對效率測量，并不考慮已使用的位移。本方法選擇稀疏趨勢集(sparser direction sets)，并且還對不 同的偽影進行保留管理。例如，已知的相位相關方法包括根據總的相位相關測量來在圖像范圍內尋找最佳 位移。在一定的圖像范圍內，所有的候選位移Vi都具有相關的相位相關值，并表示為P (Vi)， i = 1，. . .，η。因此，一個理想的子集是由具有最高相位相關值的位移所組成。其可以與
所選擇的m 個趨勢的子集(Vi)ies進行比較，使得最大化。在趨勢子集中的函數
IGS
是獨立的，也就是說，它可以寫成單獨用于各個趨勢的函數之和。通常進行這樣的
IeS
的選擇，因為這是可直接最小化函數且不會導致組合爆增的唯一情況。為了從相位相關觀 點出發來獲得理想的子集S，使函數P獲得最大值的m個趨勢能在該序列中被簡單地挑選
出ο然而，如果這個函數不是獨立的并且只可寫成P({Vji e S)，就僅使用這樣簡單算 法不能完成最小化。直接獲得最佳候選子集具有高的組合復雜性。但是，在某些情況中，當 從例如S和S'僅僅只有一個元素不同的P(IVJies)-PGVJies,)的已選擇子集中增加或 移除一個向量或趨勢時，函數的變化計算仍然可以完成。那么，這樣得到了能夠在時間遞歸 方法中實現函數增量優化的方法。因此，在某些實施例中，候選趨勢的第二子集的確定包括評估涉及第一子集各個 趨勢的對第一子集相關的代價函數各自貢獻的第一邊界；評估涉及從預定集的各自趨勢增 加所產生的對第一子集代價函數的分別減少的第二邊界；以及，當用于所述預定集的趨勢 評估的第二邊界超出用于所述第一子集的趨勢評估的第一邊界時，將第一子集的趨勢替換 成預定子集的趨勢。值得注意的是，盡管諸如相位相關的技術最大化了整體的相關性測量， 但最小化了整體的代價函數。視頻序列的超高分辨率處理可以是插值或降噪。簡單的減噪也是可行的。輸入視頻序列It(X)由稱為“原始像素”的點網格(x，t)定義。輸出視頻序列
由稱為“目標像素”的點網格(ξ，τ)定義。像素由位置(1，0或(€，τ)和在該位置上 稱為“像素值”的視頻圖像數值It(X)或 τ(ξ)定義。在視頻插值具體情況中，一些分布在空間和/或時間中的目標像素 τ(ξ)還可以為 原像素It(X) (τ = t, ξ 力，并且不需要進行重新計算，因為我們可以選取^^)=^^)。 必須要計算數值的像素為那些不是原始像素It (X)、稱為“新的像素”(τ興t或ξ興χ)的 目標像素 τ(ξ)。在視頻去隔行掃描的情況中，輸入和輸出視頻序列的幀頻通常是相同的，使得在 輸出序列中的時間索引τ可以與在輸入序列的時間索引t相同；它們通常可以由例如整 數索引t，t+1表示。視頻去隔行掃描處理方法包括在輸入序列的連續幀中增加插值缺少 的行。典型的是，當偶數幀只有偶數行時，輸入序列的奇數幀只具有奇數行，例如，對于X = (XljX2)，只有當t和X2同時為奇或同時為偶時，輸入視頻序列才提供It (χ)。輸出的去隔行 掃描的視頻序列的合成幀it由具有ξ = (X1^X2)并不具有任何整數行索引X2的奇偶約束的 像素 (ξ)構成，這樣當t和X2同時為奇或同時為偶時，使得(ξ) =It (ξ)。視頻去隔行掃描的目的是為行“最佳”數值插值，其中t和X2中的一個為奇數且另一
個為偶數。為了實現這樣的插值，檢測幀間和/或幀內的規律趨勢是幫助的。在幀頻轉換的情況中，輸入和輸出視頻序列中的時間索引t、τ是不同的。例如，
可以使用整數t、t+Ι等等作為輸入序列的幀索引，并因此有些幀Lr為非整數值τ而合成。
輸入和輸出幀It、l\中的空間索引ξ =X = (X15X2)通常是相同的。幀頻轉換的輸出序列
包括為非整數值τ的合成幀Ir。另外，為了合成這些干涉(intervening)幀，可進行插值，
通過分析輸入視頻序列有助于檢測規律趨勢。為了檢測合成輸出幀Ir像素的規律趨勢，分 析至少會涉及在非整數時間索引τ相鄰前后(例如t為滿足t< τ <t+l的整數)的輸 入序列的幀It和It+1。在視頻降噪的情況中，所有的目標像素值必須重新計算。根據這些轉換，結合超高 分辨率的縮放和降噪是超高分辨率降噪的情況。對簡單的降噪而言，目標像素點網格(ξ，
τ)與原始像素網格(x，t)相同it(X)=It(X)-Vt(X),其中Vt(X)為由處理過程消除的
噪聲分量預測。對結合超高像素降噪和縮放情況而言，目標像素由不同于原始像素網格(X， t)的網格(ξ，τ)定義。該網格(ξ，τ)通常為如可以由原始像素網格(x，t)的超集定 義的更精細的網格。本發明的另一方面涉及計算機程序產品，包括當計算機處理單元運行所述計算機 程序產品時執行上述視頻分析方法的指令。本發明的另一方面涉及視頻處理方法，包括接收輸入視頻序列的連續圖像；應 用上述方法分析輸入視頻序列；以及使用檢測到的規律趨勢產生輸出視頻序列。產生視頻序列的步驟可以包括使用檢測到的規律趨勢在輸入視頻序列的連續圖 像中進行插值。這樣的插值可以包括視頻的去隔行掃描或輸入視頻序列的幀頻轉換。在另 一實施例中，視頻序列的處理可以包括使用檢測到的規律趨勢對輸入視頻序列進行降噪處 理。本發明的另一方面還涉及視頻處理裝置，包括用于分析和處理如上所述的視頻序 列所設置的計算電路。
圖1示出了視頻處理裝置實施例的框圖。圖2示出了適用于圖1裝置的趨勢選擇單元實施例的框圖。圖3示出了在如圖1和圖2中所示裝置中的評估代價函數邊界的典型操作過程的 流程圖。圖4示出了在圖3操作過程中所使用操作流程的變化例的流程圖。圖5和圖6示出了如在圖1和圖2所述裝置中的候選趨勢間的判斷的典型操作過 程的流程圖。圖7和圖8圖示說明了應用于某些圖像部分的幀頻轉換處理。圖9、10、11和12圖示說明了應用于相似圖像部分的視頻去隔行掃描處理。圖13示出了根據本發明實施例的視頻處理裝置的框圖。
具體實施例方式參考圖1，視頻處理裝置具能夠接收連續圖像或者視頻序列幀的數字表示式的輸 入。It、It+1表示在離散時間t和t+1的幀，而It (X)，It+1 (χ)表示在二維索引X= (X1, X2) 像素中的那些幀的像素值。所采用的時間索引t和空間索引χ的管理方法可以根據各個不 同的視頻處理應用(例如，在去隔行掃描，幀頻轉換和降噪之間)而各所不同。這個問題將 在下文中進行闡述。趨勢選擇單元101實現時間遞歸預測，以便根據先前子集合Dt和連續輸入幀，為 輸出幀Lc確定候選趨勢的子集Dy。上述“先前子集D/’確定為在輸出視頻序列中緊鄰IrI 之前的輸出幀 τ。例如，τ ‘ = τ+1用于去隔行掃描或簡單降噪；τ ‘ = τ + δ τ用于幀頻
轉換或超高分辨率降噪。在時間τ'確定的子集D τ'所涉及的輸入幀至少包括 且使得τ ‘〈{+[在某些實施例中，它們還可以包括一些先前幀^^……工㈣^！彡丄)。如本文提及的，“趨勢” ν = (dx, dt)定義為三維空間中的趨勢，在三維空間中，二 維涉及二維圖像空間的像素補償偏移dx= (dxi; dx2)，并且第三個趨勢涉及時間偏移dt。 有許多視頻應用希望在輸入視頻序列中尋找規律的趨勢。例如，當進行視頻插值時，就必須 根據在丟失像素臨近區域中的“相似”像素來確定一些丟失像素的數值。這種臨近區域可 以在二維圖像空間和/或/時間中擴展，使之相關于在上述三維空間中所尋找的丟失像素。 相同的，在降噪應用中，輸入像素的數值由于噪聲而損壞，如果有可能識別出“相似”像素的 一些臨近區域，就能通過平均得出噪聲。此外，這種鄰近區域可以在二維圖像空間和/或時 間中擴展。以下所討論的方法可產生圖像的像素的規律趨勢，其用于確定有助于處理的“相 似”像素數值。所述的子集Dt或Dt ,用于定義稀疏幾何結構。各個子集0,或0〃是包括所有規 律的可能趨勢的集Ω的子集。由于對每個間隙τ、τ'，由DT、Dy定義的幾何結構可用 于稀疏，因此可以使用的不同趨勢的數量可限制在相對較小的數量內。如下所述，候選趨勢
的子集隨著邊界變化在時間中進行變化。去除在DT、DT,中的多余趨勢，并且 不在逐個像素處理中使用。典型的是，Ω可以包括200至1000個不同的趨勢(200 ^ | Ω | ^ 1000，這個范圍
用于表示集的大小)。子集DpD^ ...可以具有限制在10彡ID τ I彡50范圍內的大小。然后，趨勢檢測單元102通過檢測屬于由選擇單元101確定子集0〃的唯一候選 趨勢，根據連續幀It，It+1 (可能和一些先前幀Iw，...，It_n)來確定規律趨勢的分布Iv}。大 小從Ω減小至Dy就有可能在不需要高復雜性的條件下進行這樣的檢測。最終，視頻處理單元103使用規律{ν}所檢測到的趨勢，來進行諸如去隔行掃描， 幀頻轉換或降噪等的視頻處理，以根據輸入幀It，It+1獲得輸出視頻幀。單元102和103可以實現任何傳統的或現有技術的方法，并給出簡單的實施例將 在下文中進行補充。具體的，檢測單元102可以使用在文獻WO 2007/115583 Al中描述的 損失函數。本發明的核心部分在單元101中，且在下文中作更詳細的闡述。當趨勢選擇單元101考慮大于趨勢檢測單元102的趨勢集時，一個有趣的可能是 在單元101中使用比單元102中更簡單的檢測或代價函數。換言之，局部代價函數在確定趨勢子集D τ ‘(選擇單元101)步驟中的評估比在從子集(趨勢檢測單元102)獲取趨勢 步驟中的評估更為粗略。這在計算復雜性方面或相等效的ASIC/FPGA的邏輯尺寸方面有著 顯著的節省。可以這樣來實現例如，使用精確度稍差的像素數值表達式。例如，以在單元101 中的5或6比特的像素數值代替在單元102中的8至10比特的像素數值。另一個可能性 為在趨勢選擇單元101中使用卷積窗g(將在下文中闡述)，卷積窗比在趨勢檢測單元102 中所使用的計算更為簡單，即窗口特性對應于簡單無限脈沖響應(IIR)濾波器，它不需要 像有限脈沖響應(FIR)濾波器那么多的邏輯和那么大的內存。此外，不同計算復雜性的代 價函數(在下文中進行敘述)可以用于在單元101中的子集選擇以及為在單元102中的像 素趨勢檢測。選擇單元101的目的是計算趨勢子集0〃，該子集用于提供在輸出序列的間隙 τ ‘中的視頻序列局部規律的有效表達式。最佳的子集D是能最小化總代價(或損失)函 數L (D)中的那個子集
權利要求
一種分析輸入視頻序列的分析方法，其使輸出視頻序列合成圖像的像素與屬于趨勢預定集合(Ω)的各個規律趨勢相關聯，所述方法包括 從所述趨勢預定子集中，確定所述輸出序列第一圖像區域的候選趨勢的第一子集(Dτ)； 根據輸入序列的圖像(It、It+1)和所述候選趨勢的第一子集(Dτ)，從所述趨勢預定集中，確定在第一圖像后的第二合成圖像輸出序列對應區域的候選趨勢的第二子集(Dτ′)；以及， 從所述候選趨勢的第二子集中，檢測所述第二合成圖像所述區域的像素規律趨勢。FPA00001221939300011.tif,FPA00001221939300012.tif
2.根據權利要求1所述方法，其特征在于，所述候選趨勢的第二子集Φτ,)的確定包括-檢測至少一對趨勢、和Va，使得、屬于所述候選趨勢的第一子集(DJ，Va屬于趨勢 預定義子集(Ω)且不屬于第一子集，并且與對應第一和第二圖像( τ、 0所述區域的第一 子集相關的代價函數高于與包括Va和不包括\的第一子集的趨勢的修改子集相關的代價 函數；以及，_響應所述檢測，從第二子集Φτ,)中去除、并在第二子集中包括va。
3.根據權利要求1所述的方法，其特征在于，所述候選趨勢第二子集Φτ,)的確定包括-評估涉及第一子集(DJ各個趨勢對與第一子集相關的代價函數的各自貢獻的第一 邊界(m(v))；-評估涉及從預定集(Ω)在第一子集各自趨勢增加所產生的代價函數分別減少的第 二邊界(m(v))；以及，_當所述預定集合的趨勢評估的第二邊界超出所述第一子集趨勢評估的第一邊界時， 將所述第一子集的趨勢替換預定集的趨勢。
4.根據權利要求3所述的方法，其特征在于，用于第一子集φτ)的趨勢的第一邊界 (m(v))等于所述趨勢對代價函數的貢獻。
5.根據權利要求3或4所述的方法，其特征在于，用于所述預定子集(Ω)的趨勢的第 二邊界(m(V))等于由在所述趨勢在第一子集Φτ)的增加所產生的代價函數減少。
6.根據權利要求3或4所述的方法，其特征在于，用于預測集合(Ω)的趨勢的第二邊 界(m(V))預測為在所述區域像素區域的局部邊界之和，其中像素χ和趨勢ν的局部邊界 為“當ν為在像素位置Χ上最小化代價函數觀點中的整個預定集(Ω)中的最佳趨勢時， Lx (D)-Lx(v)，其中Lx (ν)表示在像素位置χ對趨勢ν的局部代價，以及LJD)表示在像素位 置χ對第一子集Φτ)的趨勢的局部代價最小值；以及-當其它時，為零。
7.根據權利要求3至6任一所述的方法，其特征在于，包括-在第一子集Φτ)中選擇(501)具有最低第一邊界的第一趨勢(ν)；-在除了第一子集Φτ)的預定集(Ω)中選擇(502)具有最高第二邊界的第二趨勢 (w)；以及，-如果所述選擇的第二趨勢的第二邊界(m(w))高于所述選擇的第一趨勢的第一邊界 (m(v))，則從第二子集φτ,)去除所述選擇的第一趨勢和將所擇的第二趨勢包括于所述第二子集)。
8.根據權利要求3至6任一所述的方法，其特征在于，包括-選擇并根據增加邊界進行索引(601)在所述第一子集(DJ中具有最低第一邊界的η 個趨勢 V1, V2, . . . , Vn ；-選擇并根據減少邊界進行索引(602)在除了第一子集Φτ)的預定集(Ω)中具有最 高第二邊界的η個趨勢Wl，w2，...，Wn ；-對除了第一子集以外的預定集索引的η個趨勢Wl，w2, . . . , wn的各個趨勢Wi，其中 l^i^n,如果除了第一子集的預定集索引η個趨勢Vl，ν2, . . . , νη對應趨勢Vi的第二邊 界Oii(Wi))大于第一邊界Oii(Vi))，從第二子集φτ,)中去除Vi和將Wi包括于第二子集 ( τ,)。
9.根據權利要求3至8任一所述的方法，其特征在于，還包括從第二子集φτ,)中去 除具有低于預置閾值的評估邊界(m(V))的預定集(Ω)的趨勢。
10.根據權利要求2至9任一所述的方法，其特征在于，所述與趨勢確定子集(D)相關 的代價函數是在所述區域中的像素范圍內對不同趨勢的確定子集的局部代價最小數值之 和。
11.根據上述權利要求任一所述的方法，其特征在于，所述確定候選趨勢的第二子集 ( τ,)和從所述第二子集中檢測趨勢的步驟包括評估在所述輸出序列的第二合成圖像.d)-之前和之后對具有各自時間位置的所述輸入序列的至少兩個連續圖像(It、It+1)之間的局部代價函數，以在確定所述第二子集的步驟中的所述局部代價函數評估比從所述第二 子集中檢測規律趨勢的步驟中的評估更為粗略。
12.根據上述權利要求任一所述的方法，其特征在于，所述至少一個預置的趨勢是強制 包括在第一和第二子集(DT、Dt,)中。
13.根據上述權利要求任一所述的方法，其特征在于，所述趨勢的預定集(Ω)拆分成 多個組(Ω ω)，并且在候選趨勢的第二子集φτ,)的確定中，選擇一個或有限數量的各組 趨勢，用于包括在所述第二子集中。
14.根據上述權利要求任一所述的方法，其特征在于，所述視頻序列的圖像拆分至多個 窗(Wm),其中候選趨勢(Dy )的第二子集為第二合成圖像整個范圍對應區域進行確定，所 述方法進一步包括，為各個窗-根據為所述窗的像素確定的代價邊界，確定候選趨勢的第三子集(Dy ,p,q)為所述第 二子集的子集；以及，-從候選趨勢的第三子集中，為所述第二合成圖像的所述窗的像素檢測規律趨勢。
15.根據權利要求14所述的方法，其特征在于，所述至少一個窗(Wm)進一步拆分至多 個子窗(Wp^ s)，為各個所述窗的子窗，所述方法進一步包括-根據為所述子窗像素確定的代價邊界，確定候選趨勢的第四子集(Dy ,p,q,r,s)是為所 述窗確定的第三子集的子集；以及，_從候選趨勢的第四子集中，為第二合成圖像的所述子窗的像素檢測所述規律趨勢。
16.一種視頻處理裝置，其特征在于，包括根據權利要求1至15任一所述的方法分析視3頻序列所設置的計算電路。
17.一種計算機程序產品，其特征在于，包括當所述程序產品在計算機處理單元中運行 時執行根據權利要求1至15任一的分析視頻序列方法的指令。
18.—種視頻處理方法，其特征在于包括 -接收輸入視頻序列的連續圖像(It、It+1)；-應用根據權利要求1至15任一所述方法分析輸入視頻序列，使得輸出視頻序列合成 圖像的像素與各自的規律趨勢相關聯；以及，_使用檢測到的規律趨勢從輸入視頻序列中產生輸出視頻序列。
19.根據權利要求18所述方法，其特征在于，所述產生輸出視頻序列的步驟包括使用 所述檢測到的規律趨勢在輸入視頻序列的連續圖像之間進行插值。
20.根據權利要求19所述的方法，其特征在于，所述插值包括視頻去隔行掃描。
21.根據權利要求19所述的方法，其特征在于，所述插值包括轉換輸入視頻序列的幀頻。
22.根據權利要求18所述的方法，其特征在于，所述產生輸出視頻序列的步驟包括使 用檢測到的規律趨勢對輸入視頻序列應用降噪處理。
23.一種視頻處理裝置，其特征在于，包括根據權利要求18至22任一所述的方法的對 視頻序列進行處理所設置的計算電路。
全文摘要
在分析輸入視頻序列的方法中，輸出視頻序列合成圖像的像素與屬于趨勢預定子集的各個規律趨勢相關聯。從預定集中確定輸出序列的第一圖像區域的候選趨勢的第一子集。根據輸入序列的圖像和候選趨勢的第一子集，從趨勢的預定集中確定第一圖像之后的輸出序列第二合成圖像對應區域的候選趨勢的第二子集。從候選趨勢的第二子集中檢測第二合成圖像這個區域的像素的規律趨勢。候選趨勢子集的遞歸確定為視頻序列的有效分析提供了稀疏幾何。該方法非常適用于超高分辨率視頻應用，例如去隔行掃描，幀頻轉換和降噪。
文檔編號G06T7/20GK101971209SQ200880128024
公開日2011年2月9日 申請日期2008年1月11日 優先權日2008年1月11日
發明者瓊·布魯納埃斯特拉奇, 馬克亞歷山大·香德 申請人:卓然(法國)