運動場估計的制作方法
本發明大體上涉及視頻處理領域。更準確地說，本發明涉及用于生成視頻序列關于參考幀的運動場(motion field)的方法和設備。
背景技術：
本節意在向讀者介紹技術的各種方面，其可能與下面描述的和/或要求保護的本發明的各種方面有關。相信該討論有助于向讀者提供背景信息以便更好地理解本發明的各種方面。因此，應當理解的是，要從該角度來閱讀這些陳述，而不是作為對現有技術的承認。
在視頻編輯應用的領域中，已知對由操作者在視頻序列中選擇的參考幀進行編輯、并將信息從參考幀傳播到后續幀的方法。對參考幀的選擇是手動的并且以某種方式是隨機的。因此，由操作者對用于修改和編輯的參考幀進行的自動且受控的選擇將是期望的。
此外，對信息的傳播需要參考幀與序列的其他幀之間的運動對應性。
生成運動場的第一種方法在于進行所考慮的幀(即，參考幀與當前幀)之間的直接匹配。然而，在對遠幀(distant frames)進行尋址時，運動范圍通常很大，并且估計可能對(例如，周期性圖像圖案內的)模糊對應性非常敏感。
第二種方法在于通過基本光流場的順序級聯獲得運動估計。這些基本光流場可以在連續幀之間計算，并且是相對精確的。然而，該策略對運動誤差非常敏感，因為一個有誤差的運動矢量就足以使級聯的運動矢量有誤。其特別在級聯涉及大量基本矢量時變得非常關鍵。此外，這種先進的密集運動跟蹤器以逐幀的方式順序地處理序列，并且通過設計將視頻中消失(遮擋(occlusion))且再現的特征與不同的跟蹤相關聯，因此丟失長期運動信號的重要信息。因此，沿著序列或有誤差的運動對應性的遮擋產生了在遠幀之間的傳遞質量的問題。換句話說，良好跟蹤的長度取決于場景內容。
在“Towards Longer Long-Range Motion Trajectories”(2012年英國機器視覺會議)中，Rubinstein等人公開了一種算法，其使關于不同的起始幀估計的、被稱為“跟蹤片段(tracklets)”的短軌跡重新相互關聯，并將它們鏈接以形成長程運動表現。為此，Rubinstein等人傾向于投入更長的長程運動軌跡。如果它們看起來像是連接跟蹤片段，特別是由遮擋所切割的跟蹤片段，則該方法保持受制于稀疏的運動軌跡。
國際專利申請WO2013107833公開了一種在參考幀與視頻序列的其他幀的每一個之間生成長期運動場的方法。參考幀例如是視頻序列的第一幀。該方法在于參考幀與當前幀之間的順序運動估計，該當前幀是鄰近于參考幀的相繼的幀，然后下一個，依此類推。該方法依賴于假設被預計算的各個輸入的基本運動場。這些運動場以良好的質量將序列中的多對幀鏈接，因為幀間運動范圍被假設為與運動估計器性能相兼容。當前幀與參考幀之間的當前運動場估計依賴于(參考幀與在當前幀之前的幀之間的)先前估計的運動場以及將當前幀鏈接到先前處理的幀的基本運動場：通過將基本運動場與先前估計的運動場級聯而建立各種運動候選。然后，將這些各種候選場合并以形成當前輸出運動場。該方法是良好的順序選擇，但是無法避免在一些像素中可能的漂移。那么，一旦誤差被引入運動場中，則它可能在順序處理期間被傳遞到接下來的場。
可以通過對一對遠幀之間的密集運動估計應用組合多步積分以及統計選擇來解決該限制，在Conze等人在標題為“dense motion estimation between distant frames:combinatorial multi-step integration and statistical selection”的文章(發表于2013年IEEE圖像處理國際會議)中提出的方法中已經描述了該組合多步積分以及統計選擇。該手段的目標是考慮由所考慮的幀之間的多個多步基本光流矢量的組合而組成的大集合。每個組合給出對應的運動候選。通過統計選擇對所有這些候選的空間冗余的研究相比于用于位移場選擇任務的經典光流假設提供了更加魯棒的指示。另外，在積分期間僅考慮多步基本光流矢量的所有可能的組合中的隨機選擇的子集。應用于多對幀，該組合積分允許獲得時間上不高度相關的作為結果的位移場。
然而，基于流融合的方法需要輸入的一組基本運動場來建立各種運動場候選，并需要優化函數來選擇可能非常復雜且計算量大的最佳候選者。
因此，需要兩個幀之間的運動估計的方法，其將得益于經典運動估計器具有較高的誤差率的長期運動估計的順序處理的簡單性以及組合多步流融合的精確性。
換句話說，對視頻編輯應用的高度需要的功能是能夠確定沿著序列的一組參考幀，例如以便跟蹤由操作者定義的區，或者傳遞由該操作者最初分配給該區的信息。
技術實現要素：
本發明針對一種處理視頻序列的方法，其中，使用分別通過視頻中的另一幀或另一幀中的區域對一個幀或一個區域的表現的質量進行評價的質量度量，來選擇第一參考幀或者將新的參考幀引入非常長期的密集運動估計中。
在第一方面，本發明針對一種由處理器進行的用于生成視頻序列關于參考幀的運動場的方法，其中，對視頻序列的每個當前幀，所述方法包括確定當前幀與參考幀之間的運動場，以及代表所確定的運動場的質量的質量度量，所述質量度量得自所確定的運動場。在所述質量度量在質量閾值之下的情況下，所述方法還包括在先前的當前幀的群中選擇新的參考幀以使新的參考幀與參考幀之間的先前生成的運動場的質量度量在質量閾值之上，以及通過確定當前幀與新的參考幀之間的運動場，并且將當前幀與新的參考幀之間的所確定的運動場與新的參考幀與參考幀之間的先前生成的運動場級聯，來迭代對當前幀與參考幀之間的運動場的確定。
有利地，基于質量度量對新的參考幀的這種插入，通過將所有生成的多參考位移矢量中的具有良好質量的位移矢量組合，避免運動漂移并增強單個參考幀的估計事宜。此外，不像多步流融合，該方法與確定運動場的任何方法相兼容，尤其是針對短期位移，并且無需設置的預計算的運動場。有利地，僅確定當前幀與參考幀或新的參考幀之間的運動場。從鄰近參考幀的幀開始，對屬于視頻序列的連續當前幀順序地迭代該方法。
根據第一變型例，不一致性值是參考幀中的第一像素與參考幀中的與逆運動矢量的端點對應的點之間的距離，逆運動矢量起始于源自第一像素的運動矢量進入當前幀的端點。有利地，質量度量是參考幀的一組像素的不一致性值的平均值的函數。
根據第二變型例，在參考幀中的第一像素與參考幀中的與逆運動矢量的端點對應的點之間的距離在閾值之上的情況下，設置二進制的不一致性值(設置為1)，逆運動矢量起始于源自第一像素的運動矢量進入當前幀的端點。在所述距離在閾值之下的情況下，重置所述二進制的不一致性值(設置為1)。有利地，質量度量是參考幀的一組像素中其二進制不一致性值被重置(設置為0)的像素的比例；或者換句話說，質量度量與“一致的像素”的數量成正比。
根據第三變型例，運動補償絕對差是源自參考幀中的第一像素的運動矢量進入當前幀的端點的色彩或亮度分別與參考幀中的第一像素的色彩或亮度之間的絕對差。有利地，質量度量是參考幀的一組像素的運動補償絕對差的平均值的函數。
根據第四變型例，質量度量包括基于參考幀的一組像素的運動補償絕對差的平均值的峰值信噪比。
根據第五變型例，質量度量包括不一致性值的函數與運動補償絕對差的函數的加權和。有利地，質量度量是對參考幀的一組像素所計算的加權和的平均值的函數。
根據進一步的有利特性，用于確定質量度量的該組像素被包括在參考幀的感興趣的區域中。
根據進一步的有利特性，在先前的當前幀的群中選擇新的參考幀包括選擇最接近當前幀的先前的當前幀。
根據另一有利特性，對于用戶選擇的第一幀的區域，所述方法還包括確定包括與參考幀的用戶選擇區域相對應的當前幀的區域中的多個像素的尺寸度量；以及在所述質量度量高于質量閾值并且所述尺寸度量高于尺寸閾值的情況下，選擇新的參考幀作為當前幀并將尺寸閾值設置為所確定的尺寸度量，并且使用所述新的參考幀來迭代對當前幀與參考幀之間的運動場的確定。該尺寸度量用作在質量度量之上的用戶選擇區域的分辨率度量。
有利地，所述方法從對第一幀(對應于參考幀)的用戶初始選擇開始，序列中的可能的更精細的表現通過第一參考幀(對應于新的參考幀)自動確定，并響應于質量表現度量。有利地，僅對于來迭代所述方法。
根據進一步的有利特性，尺寸閾值被初始化為所述第一幀(對應于參考幀)的所述用戶選擇區域中的多個像素。
根據進一步的有利特性，確定代表第一幀與當前幀之間的所確定的運動場的質量的質量度量還包括確定在當前幀中可見的第一幀的所述用戶選擇區域的多個像素。
在第二方面，本發明針對一種計算機可讀存儲介質，其存儲計算機可執行以進行所公開的方法的程序指令。
在第三方面，本發明針對一種設備，包括至少一個處理器以及耦合到所述至少一個處理器的存儲器，其中，所述存儲器存儲程序指令，其中，所述程序指令由所述至少一個處理器可執行以進行所公開的方法。
針對該方法所描述的任何特性或變型例與意在處理所公開的方法的設備、以及與存儲程序指令的計算機可讀存儲介質相兼容。
附圖說明
現在將參照附圖，通過非限制的示例來描述本發明的優選特征，附圖中：
圖1圖示了根據第一優選實施例的方法的步驟；
圖2圖示了根據質量度量的變型例的不一致性；
圖3圖示了根據質量度量的變型例的遮擋檢測；
圖4圖示了根據第二優選實施例的方法的步驟；以及
圖5圖示了根據本發明的特定實施例的設備。
具體實施方式
本發明的突出的思想是考慮質量測量，該質量測量分別通過視頻中的另一幀或另一幀中的區域對一個幀或一個區域的表現的質量進行評價。在第一優選實施例中，使用這樣的質量測量來在視頻序列中將新的參考幀引入非常長期的密集運動估計中。代替僅依賴于一個單個參考幀，其背后的基本思想是每次運動估計處理失敗時沿著序列插入新的參考幀，并且然后關于這些新的參考幀中的每一個應用運動估計器。其實，新的參考幀取代用于圖像處理算法(諸如運動場估計)的先前的參考幀。有利地，基于質量度量的對新的參考幀的這種插入通過將所有生成的多參考位移矢量中的具有良好質量的位移矢量進行組合來避免運動漂移并且增強單個參考幀的估計事宜(estimation issue)。在第二優選實施例中，使用這樣的質量測量來選擇視頻序列中的第一參考幀，其中由用戶選擇的幀中的目標區被更好地表現。
應當注意的是，“參考幀”術語是模糊的。在用戶交互的觀點中的參考幀與被認為是算法工具的參考幀應當是分離的。在例如視頻編輯的背景下，用戶將在一個單個參考幀中插入紋理/徽標(logo)，并運行下文中描述的多參考幀算法。根據本發明插入的新的參考幀是進行更好的運動估計而無需任何用戶交互的算法方式。為此，在第二實施例中，用戶所選擇的幀被稱為第一幀，即使最初用作對第一參考幀的搜索中的參考幀。
圖1圖示了根據第一優選實施例的方法的步驟。在該實施例中，我們假設序列的參考幀與當前幀之間的運動估計被順序地處理：從參考幀之后的第一幀開始，然后逐步地遠離它，從當前幀至當前幀。簡單地說，質量度量針對每個當前幀評價當前幀與參考幀之間的對應性的質量。當質量達到質量閾值時，在先前處理的當前幀中選擇新的參考幀(例如，前一個當前幀)。從現在起，關于該新的參考幀來執行和評估運動估計。在處理接下來的當前幀時，可以沿著序列引入其他新的參考幀。最終，通過將當前幀的運動矢量與直到到達第一參考幀的各對參考幀之間計算出的連續運動矢量級聯來獲得當前幀關于第一參考幀的運動矢量。在優選的變型例中，以間隔[0,1]來歸一化并定義質量度量，其中最佳質量對應于1。根據該約定，在質量度量在質量閾值之上時達到質量標準。
現在描述視頻序列的當前幀的處理方法的迭代。當前幀被初始化為參考幀的兩個相鄰幀之一(如果參考幀既不是第一個也不是最后一個)，然后下一個當前幀是當前幀的相鄰幀。
在第一步驟10中，確定當前幀與參考幀之間的運動場。對于包括參考幀和當前幀的每對幀以及對于當前幀的每個像素，運動場包括參考幀中的對應點(被稱為運動矢量端點)。這種對應由當前幀的第一像素與參考幀中的對應點之間的運動矢量來表現。在該點在攝像機視場之外或被遮擋的特定情況下，這種對應點不存在。
在第二步驟11中，對于包括參考幀和當前幀的一對幀，評價代表所確定的運動場的質量的質量度量，并將其與運動質量閾值相比較。使用圖2根據不同變型例來評價質量度量。
在第一變型例中，質量度量是參考幀的一組像素的不一致值的平均值的函數。不一致值是參考幀21中的第一像素XA與對應于逆運動矢量23的端點的參考幀21中的點22之間的距離20，逆運動矢量23是始于源自第一像素XA的運動矢量25進入當前幀24的端點XB。其實，質量測量依賴于參考幀與當前幀之間估計的向前和向后運動場二者。向前23(相應地，向后25)運動場例如是指將參考幀21(相應地，當前幀24)的像素鏈接到當前幀24(相應地，參考幀21)的運動場。這兩個運動場(一般被稱為直接運動場和逆運動場)的一致性是它們的內在質量的良好指標。用下式給出兩個運動場之間的不一致值：
其中：
在該式中，是像素的2D位置，而與當前幀中的運動矢量的端點相對應。在細化時，由于所估計的運動通常具有子像素分辨率，所以該后者位置不與像素相對應。因此，經由來自2D表現中的四個相鄰像素26所附的矢量的雙線性插值來估計
在第二變型例中，對不一致值進行二值化。參考幀21中的第一像素XA與對應于逆運動矢量23的端點的參考幀21中的點22之間的距離在不一致閾值之上的情況下，設置二進制的不一致值(例如為值1)，逆運動矢量23始于源自第一像素XA的運動矢量25進入當前幀24的端點XB。在該距離在不一致閾值之下的情況下，重置二進制的不一致性值(例如設置為0)。質量度量包括二進制的不一致值被重置的參考幀21的一組像素中的多個歸一化的像素。
在第三變型例中，使用代表參考幀21的第一像素XA可以被當前幀中的匹配點XB多么精確地重構的匹配成本(matching cost)來估計質量度量。在源自參考幀21中的第一像素XA的運動矢量25的進入當前幀24的端點XB與參考幀21中的第一像素XA之間計算運動補償絕對差。該差例如是指RGB色彩方案中的像素的亮度值的差。然而，該變型例與代表如上詳述的視頻中的像素的任何值相兼容。在該變型例中，質量度量是參考幀的一組像素的運動補償絕對差的平均值的函數。經典的測量是可以例如用下式定義的匹配成本：
在這種情況下，參考幀中的像素xA的匹配成本與在該像素處的值和在當前幀中的點(其中與關于分配給像素xA的當前幀的運動矢量25相對應)處的值之間的絕對差的3個色彩通道RGB(對應于IC)上的總和相對應。
在第四變型例中，質量度量是當前幀的一組像素的峰值信噪比的函數。讓我們考慮參考幀的一組N個像素xA。為了計算峰值信噪比(PSNR)，我們通過如下估計均方誤差(MSE)來開始：
其中，關于分配給當前像素xA的當前幀與運動矢量相對應。
然后，PSNR被如下計算：
在另一變型例中，通過當前幀評價第一幀的表現的質量一定要考慮的重要信息是第一幀的像素數，由于第一幀中觀察到的場景點在當前幀中被遮擋或由于場景點在當前幀中的攝像機視場之外，因而第一幀在當前幀中不具有對應性。存在檢測這樣的像素的技術。例如，圖3圖示了該方法，其在于通過將當前幀32的運動場33投射到第一幀31上并標記與幀31中的端點最接近的像素來檢測第一幀的不具有當前幀中的對應性的可能像素(被稱為被遮擋的像素)，然后對幀31中的未標記的像素進行識別。幀31中被標記的遮擋像素(即，在幀32中被遮擋的幀31的像素)越多，幀32對于幀31而言就越不具有代表性。
在第五變型例中，定義全局質量度量以便評價當前幀怎樣精確地由參考幀全局地良好地表現。例如，該全局質量可以由對具有閾值之下的成本匹配的像素數進行計數、或者對“一致的”(即，不一致距離在不一致性閾值之下的，如第二變型例，即具有被設置為0的二進制的不一致性值)像素數進行計數而產生。
然后，可以得出關于可見像素(即未被遮擋的像素)的總數的比例。此外，在參考幀中的當前幀的可見像素的比例本身可以是當前幀怎樣由參考幀所表現的程度的相關參數。
在僅使用不一致性值來測量運動質量的變型例中，并且在引入不一致性閾值來區分一致的和不一致的運動矢量的情況下，運動質量度量是：
取決于應用，質量度量的變型例是：
其中N是圖像中的像素的數量。
根據另一變型例，這些“全局”度量還可以在由操作者指示的感興趣的特定區域上計算。
根據另一變型例，代替由閾值化產生的二進制的不一致性值，可以引入權重。例如，可以通過成本匹配的、或者不一致性距離的負指數函數來給出該權重。因此，我們提出當前幀中的運動場關于參考幀的以下質量測量：
優選以間隔[0,1]來定義質量度量，其中最佳質量對應于1。然而，本發明不限于該約定。在該背景下，對于f()和g()的可能的解決方案可以是：
和
N是在該質量估計中所考慮的像素數。
一旦公開質量度量的變型例，則現在描述當前幀迭代的處理方法的進一步的步驟。
因此，在第二步驟11中，在代表所確定的運動場(即，當前幀與參考幀之間的向前或向后的運動場)的質量的質量度量(例如屬于[0,1])在質量閾值之下的情況下，在步驟12中在具有質量閾值之上的質量度量的先前的當前幀的群中確定新的參考幀。因此，在步驟13中通過將當前幀和新的參考幀之間的運動場(相應地矢量)、與新的參考幀和參考幀之間的運動場(相應地矢量)級聯(或求和)，來確定當前幀和參考幀之間的“去往參考(to-the-reference)”運動場(相應地矢量)。因此，在步驟13中通過將參考幀和新的參考幀之間的運動場(相應地矢量)、與新的參考幀和當前幀之間的運動場(相應地矢量)級聯(或求和)，來確定參考幀和當前幀之間的“源自參考(from-the-reference)”運動場(相應地矢量)。在變型例中，質量度量一在質量閾值之下，就將序列處理中的前一個當前幀選擇為新的參考幀。然后，新的各對幀被考慮為將該新的參考幀與接下來的(尚未處理的)當前幀進行分組。然后，通過運動場(相應地矢量)的級聯來獲得這些幀與參考幀之間的對應性。
該方法可被執行為沿著時間軸在任何方向上從第一幀順序地開始。
在先前的幀中選擇新的參考幀的變型例中，對關于所有先前選擇的新的參考幀的直接運動估計進行評價，以便檢查它們中之一是否可以作為用于當前幀的良好的參考幀。實際上，取決于場景中的運動，可能發生已被放棄的先前的參考幀再次變為運動估計的良好候選。如果沒有參考幀是合適的，則其他先前處理的當前幀被測試作為用于當前幀的可能的新的參考幀。
而在第一實施例的另一變型例中，用于確定質量度量的該組像素被包括在參考幀的感興趣的區域中。
在感興趣的區在當前幀中被部分遮擋的情況下，質量度量僅涉及可見部分。另一方面，對新的參考幀的選擇需要候選的新的參考幀包含當前幀中可見的參考區的所有像素。在感興趣的區的可見部分的尺寸在閾值之下時，則在當前幀與參考幀之間執行直接運動估計，以便可能地選擇另一參考。實際上，可能發生感興趣的區被暫時遮擋并且在一些幀之后再次變得可見。
對于第一實施例，現在描述視頻序列的一組當前幀的全局處理方法。
讓我們關注對軌跡沿著N+1個RGB圖像{In}n∈[0，...，N]的序列的估計，其中被考慮為參考幀。從的格點開始，并通過一組源自參考位移矢量來定義。這些位移矢量從像素(它們被分配給的像素)開始并指向序列的每個其他幀n。在實踐中，通過對分配給每個位移矢量的二進制的不一致性值的研究，來估計的質量。如果這些矢量之一是不一致的，則該處理在先于匹配事宜的時刻自動添加新的參考幀并運行上述過程。
讓我們假設在IN之前、更準確地是在(fail0≤N)處，對的估計所涉及的長期密集運動估計失敗。我們提出在處(即在先于跟蹤失敗并且對其而言已精確估計的時刻)引入新的參考幀。
一旦插入該新的參考幀(被稱為)，我們就運行從與每個后續幀In(其中n∈[ref1+1，...，N])之間的位置(在下)開始的新的運動估計。因此，我們獲得一組位移矢量這些估計允許獲得我們想要校正的新版本的位移矢量：實際上，這些位移矢量的每個初始估計都可以由通過將關于所估計的與我們剛才關于所計算的級聯而獲得的矢量來取代：
矢量可以經由空間雙線性插值來計算。
如果該得到的新版本的例如在(其中fail0＜fail1＜N)處再次失敗，則我們在處插入新的參考幀并且我們進行從開始的長期估計器。因此，我們能夠獲得如下的對位移矢量(其中n∈[ref2+1，...，N])的新的估計：
每次再次失敗的時候我們應用完全相似的處理，直到序列的末尾。有利地，在我們依賴于比初始參考幀更接近當前幀的參考幀時，位移選擇標準(包括明亮度恒定假設)更加有效。尤其在強色彩變化的情況下，可以更加容易地進行匹配。因此，相比于經典的單個參考幀的方法，該多參考幀運動估計得以增強。
無論標準如何，一定要根據質量需求來設置運動質量閾值，以確定從什么時刻需要新的參考幀。如前所述，在不涉及整個圖像時，僅關注感興趣的區域的本地評估可以是相關的。在這種情況下，運動估計處理的質量高度取決于考慮的區，并且研究整個圖像的運動矢量質量會嚴重影響參考幀插入處理。
根據需要對去往參考位移矢量的估計的特定情況(這種特定情況例如適于紋理插入和傳播)，似乎難以將從每個幀In開始的該多參考幀處理應用到用以計算的事宜。因此，保持了根據對源自參考方向的處理，并且因而關于源自參考位移矢量的質量來決定對新的參考幀的引入。盡管去往參考位移矢量可以得益于對這些新的參考幀的引入。如果我們返回到已插入和的先前示例，則可以通過考慮以下級聯而對從In(其中n∈[ref2+1，...，N])的格點xn開始的不精確位移矢量細化：
為了確保源自參考位移矢量的質量評估與去往參考位移矢量的有效質量之間的某種相關性，我們提出在先前描述的用于插入新的參考幀的標準中選擇相應位移矢量不一致的像素的百分比。我們通過以下的事實來解釋該選擇：該標準中涉及的不一致性處理向前-向后不一致性并且因而同時針對源自參考位移矢量和去往參考位移矢量二者的質量。
圖4圖示了根據第二優選實施例的方法的步驟。在該實施例中，對于視頻序列的第一幀的用戶選擇區域確定第一參考幀。例如，給定視頻序列，用戶任意地或根據要求具體特性的特定應用來選擇特定幀。在現有技術中，該用戶選擇的幀被用作用于任何圖像處理算法的參考幀。例如，如果用戶將其注意力關注在其想要編輯的特定區，則其可能需要該區在參考幀中完全可見。另一方面，用戶在幀中選擇的區域可能在另一幀中具有更好的分辨率。實際上，不確定操作者沿著視頻序列選擇出具有最精細的分辨率的區域的表現。因此，本發明有利地允許從該初始選擇開始，在序列中確定可能的更精細的表現。這通過識別其他幀中的相應區域、關于參考區域的尺寸評價其尺寸來完成。在變型例中，區域的尺寸由其像素數來定義。
現在描述用于在視頻序列的當前幀中確定第一參考幀的處理方法的迭代。參考幀被初始化為第一幀(由用戶選擇)，并且尺寸閾值被初始化為用戶選擇的第一幀中的區域的尺寸。然后，下一個當前幀是當前幀的相鄰幀。
在第一步驟40中，確定第一幀與當前幀之間的運動場。有利地，在用作參考幀的第一幀與序列的其他當前幀之間估計向前和向后的運動場。這些運動場允許識別序列的幀中的用戶選擇的區域。在變型例中，運動場估計受限于參考幀的選擇區域。經由像素方式的或基于塊的運動估計來獲得該估計。得到的密集運動場給出第一幀的像素與每一個其他當前幀中的像素/點之間的對應性。在運動具有子像素分辨率的情況下，將對應于第一幀的給出的像素Xa的當前幀中的像素識別為與像素XA所附的運動矢量的端點最接近的一個。結果是，對應于第一幀中的第一區域RA的當前幀中的區域RB被定義為關于第一區域的像素所附的運動矢量的端點是最接近的像素的一組像素。
在第二步驟41中，對代表第一幀A與當前幀B之間的所確定的運動場的質量的質量度量進行估計。根據有利特性，針對通過其一組像素XA定義的第一區域RA來處理該估計。為了提供用于各幀之間的對比的相關信息，運動場應當可靠。出于該目的，使用例如上述變型例之一來得出運動質量度量。注釋為QD(RA，B)的該測量受限于操作者在第一幀A中選擇的感興趣的區RA。在優選的變型例中，在質量度量OD(RA，B)在質量閾值之上時，其指示與區域RA相對應的當前幀B中的區域RB被良好地識別。
根據變型例，運動質量的另一相關參數是在當前幀B中可見(既未被遮擋也未在當前幀之外)的第一區域RA的像素的比例。注釋為OD(RA，B)的該比例也必須在可見性閾值之上。有利地，可見性閾值接近1以便區域RA的大多數像素在當前幀B中可見，以能夠考慮RA可由RB表現。
在第三步驟42中，對包括與第一幀的用戶選擇區域相對應的當前幀的區域中的多個像素的尺寸度量進行估計。有利地，該特性允許對相應區域RA和RB二者的分辨率的比較。出于該目的，變型例在于直接比較區域的尺寸，即，其像素數(被稱為NA和NB)：如果NA>NB，則第一區域RA具有比區域RB更好的分辨率，否則所識別的區域RB是更好地表現操作者最初選擇的區RA的良好候選。
在第四步驟43中，測試上述這兩個度量。在質量度量高于質量閾值的情況下，并且在尺寸度量高于尺寸閾值的情況下，將第一參考幀設置為當前幀，并且以尺寸度量來更新尺寸閾值。
然后，對序列的每個后續的當前幀順序地迭代這些步驟。
本領域技術人員還將理解的是，該方法可以由諸如包括或不包括圖形處理單元的PC、膝上型計算機、平板計算機、PDA、移動電話的設備而非常容易地實現，無需專用裝置。根據不同變型例，針對方法所描述的特征被實現在軟件模塊或硬件模塊中。圖5圖示了根據本發明的特定實施例的用于處理視頻序列的設備。該設備是意在處理視頻比特流的任何設備。設備400包括意在實現本發明的實施例的物理部件，例如處理器(CPU或GPU)501、數據存儲器(RAM、HDD)502、程序存儲器(ROM)503、人機接口(MMI)504或者適于為用戶顯示信息和/或輸入數據或參數的專用應用(例如，允許用戶選擇并編輯幀的鍵盤、鼠標、觸摸屏…)、以及可選地用于在硬件中實現任何功能的模塊505。有利地，數據存儲器502存儲代表視頻序列的比特流、與視頻序列相關聯的密集運動場的多個組、由處理器501可執行以實現在此所描述的方法的步驟的程序指令。如前所揭示的，密集運動估計的生成有利地例如在GPU中或由專用硬件模塊505預計算。有利地，處理器501被配置為在處理器所附的顯示設備504上顯示所處理的視頻序列。在變型例中，處理器501是耦合到顯示設備的圖形處理單元，允許并行處理視頻序列從而減少計算時間。在另一變型例中，處理方法在網絡云中(即，在通過網絡接口連接的分布式處理器中)實現。
在本說明書以及(在適當情況下的)權利要求書和附圖中公開的每個特征可以獨立地或者以任何適當的組合來提供。被描述為在軟件中實現的特征還可以在硬件中實現，反之亦然。在權利要求書中出現的附圖標號僅作為圖示，并且應當對權利要求的范圍不具有限制效果。
在本發明的另一方面，可以經由任何合適的計算機可讀存儲介質來向設備500提供程序指令。計算機可讀存儲介質可以采取計算機可讀程序產品的形式，該計算機可讀程序產品體現在一個或多個計算機可讀介質中，并且具有由計算機可執行的在其上體現的計算機可讀程序代碼。如在此所使用的計算機可讀存儲介質被認為是非臨時性存儲介質，其被賦予在其中存儲信息的固有能力以及提供從其中取回信息的固有能力。計算機可讀存儲介質可以是例如(但不限于)電子的、磁性的、光學的、電磁的、紅外的、或半導體的系統、裝置或設備，或者前述的任何合適的組合。要理解的是，如本領域普通技術人員容易理解的那樣，在提供可以應用本原理的計算機可讀存儲介質的更具體的示例的同時，以下僅僅是示例性的而非詳盡列表：便攜式計算機盤；硬盤；隨機存取存儲器(RAM)；只讀存儲器(ROM)；可擦除可編程只讀存儲器(EPROM或閃速存儲器)；便攜式壓縮盤只讀存儲器(CD-ROM)；光學存儲設備；磁存儲設備；或者前述的任何適當組合。
當然，本發明不限于先前描述的實施例。
- 還沒有人留言評論。精彩留言會獲得點贊！