專利名稱：基于稀疏度和保真度約束的視頻穩像方法
技術領域：
本發明涉及的是一種可廣泛用于手機、數碼相機、攝像機等消費類電子產品，同時也可用于無人機、艦船等所裝備的攝像和監控系統中的視頻穩像方法，具體是一種基于稀疏度和保真度約束的視頻穩像方法。
背景技術：
視頻穩像是指利用相關設備或算法，使得視頻設備采集的原始視頻序列較為穩定或者對原始序列進行穩定處理，去除其中的抖動。視頻穩像的目的，一方面是為了改善用戶的觀感舒適度，另一個方面是作為其他視頻處理任務的預處理步驟，如目標跟蹤、目標檢測和視頻壓縮等，可以提高這些處理任務的精度與魯棒性。無論從哪個方面來看，視頻穩像都
有重要意義。現有的大多數視頻穩像方法分為三個步驟:全局運動估計、運動補償和穩定運動圖像生成。每個步驟有不同的實現方法。全局運動估計的方法主要有光流法、特征點對應法和塊匹配法等。光流法不需要預先獲取圖像背景、不受復雜環境的影響，但計算時可靠性評價因子選擇困難、對光流計算誤差敏感；特征點對應法能夠通過迭代法估計出較大的運動，但運動參數的估計精度在很大程度上依賴于特征點提取和匹配的精度；塊匹配法簡單快速、易于用硬件實現，但圖像匹配的魯棒性不是很好。運動補償分為參數濾波法和軌跡平滑法。參數濾波法是指把運動模型的參數看成主觀運動與加性抖動的疊加，用濾波的方法去除或抑制加性噪聲，比較常見的低通濾波有Kalman濾波。軌跡平滑則是將攝像機的運動軌跡看成帶噪聲的運動軌跡，采用相應的平滑方法來去除高頻噪聲。圖像生成則涉及到圖形學相關知識，如融合、拼接、圖像修補等，最簡單的處理方式是直接對原幀進行變換，得到輸出幀。在目前眾多視頻穩像算法中，效果較好的是Grundmann M., Kwatra Vand EssaI 等人 2011 年在 IEEE Conference on Computer Vision and PatternRecognition (電子與電氣工程師協會計算機視覺與模式識別會議)發表的“Auto-directedvideostabilization with robust 11 optimal camera paths”(基于 LI 范數最優路徑的視頻穩像)一文中提出的方法，該方法通過基于電影攝影原理的LI范數約束來優化攝像機的運動軌跡，把最優攝像機路徑分為三個組成部分:代表靜態攝像機的路徑，代表勻速運動攝像機的路徑已經在這兩者間平滑過渡的路徑，從而到達消除抖動的目的。然而，該方法會丟失原始視頻幀的不少信息，尤其是邊緣信息，失真度較大；并且隨著視頻長度的增加，處理效率也會下降。K.Y.Lee, Y.Y.Chuang, B.Y.Chen and M.0uhyoung 等人 2009 年在 Proc.1EEE Int.Conf.Computer Vision (電子與電氣工程師協會計算機視覺會議)發表的“Videostabilization using robust feature trajectories”(基于穩健特征軌跡的視頻穩像)一文中提出用L2范數優化的方法平滑特征軌跡，以恢復真實的主觀運動，從而得到穩定的視頻。該方法在穩像的同時考慮了失真度的控制，但經驗參數過多，不適于實際應用。
發明內容
本發明針對現有技術存在的上述不足，提供一種基于稀疏度和保真度約束的視頻穩像方法，它在減小視頻抖動的同時，能夠根據用戶需要減小視頻內容失真的程度，并對長視頻的穩像有較好的效果。為實現上述目的，本發明提供的一種基于稀疏度和保真度約束的視頻穩像方法，包括如下步驟:第一步，把視頻幀分段，段與段之間有重合的幀；第二步，選取當前段相鄰幀之間的特征點對；第三步，對第二步得到的特征點對進行全局局外點去除；第四步，用第三步得到的特征點對擬合二維線性運動模型；第五步，用第四步得到的線性運動模型估計原始攝像機路徑；第六步，確定平滑路徑的目標函數和限制原始攝像機路徑變化的約束條件；第七步，對第六步得到的最優化問題求解，得到截取窗口變換矩陣；第八步，用第四步得到的線性運動模型和第七步得到的變換矩陣去除視頻中的非線性效應，得到新的變換矩陣；第九步，用第八步得到的截取窗口變換矩陣對原始幀進行變換。所述第二步特征點對的獲取中，每隔10幀重新選點進行跟蹤，并且特征點的間距要大于最小間距。所述第六步平滑路徑的目標函數由兩部分組成，一是代表路徑平滑度的LI范數項，一是代表視頻內容保真度的L2范數項，兩者由一個調節參數來控制穩像的程度和保真度的大小。所述第八步中由自由度較高的單應變換代替部分相似變換，以更準確的刻畫非線性運動。本發明首先將視頻分為有重疊部分的各個視頻段，對每段視頻依次進行穩像處理，以提高長視頻的處理效率。在特征點提取與跟蹤時，采取每隔10幀重新選點以及控制特征點間距的方法來減小估計全局運動時的誤差。然后，本發明結合了 LI范數的稀疏性和L2范數的最小二乘特性，在求解最優攝像機路徑的目標函數中同時包含LI范數項和L2范數項，其中LI范數項包括所求最優路徑的一階、二階和三階導數，分別對應電影攝影中攝像機的靜止、勻速以及勻加速的情況，以達到消除抖動的目的；而L2范數項則是最優路徑與原始攝像機路徑的差，目的是使得所求最優路徑盡量接近于原始路徑，提高視頻的保真度。同時，在這兩項中加入一個調節光滑度與保真度的參數，以供不同用戶根據需要自行設定。該方法不僅能夠達到較好的穩像效果，還能盡可能地保留原始視頻的信息。另外，本發明采用模型替換的方式盡量減小視頻幀間的非線性運動，在計算原始路徑的時候采用相似變換以保證剛性變換，此后用更高自由度的單應變換替換非關鍵幀，從而得到更好的穩像效果。
通過閱讀參照以下附圖對非限制性實施例所作的詳細描述，本發明的其它特征、目的和優點將會變得更明顯:
圖1為本發明提出的一種基于稀疏度和保真度約束的視頻穩像方法的總體流程圖。圖2為本發明中分段處理視頻的示意圖。圖3為本發明中特征點提取與跟蹤的流程圖。圖4為本發明中一實施例的原始攝像機路徑與最優攝像機路徑圖，其中圖(a)為水平方向攝像機路徑，圖(b)為豎直方向攝像機路徑。圖5為本發明中的截取窗口約束示意圖。圖6為本發明中一實施例的參數λ不同取值下所得最優攝像機路徑結果比較圖，其中圖(a)為λ=0.1時的結果，圖(b)為λ =0.5時的結果，圖(C)為λ =1.0時的結果，圖(d)為λ =2.0時的結果。圖7為本發明中非線性效應抑制示意圖。圖8為本發明中視頻穩像效果圖與對比圖，其中圖8(a)為原始視頻序列，圖8 (b)為穩像后序列，圖8(c)為Grundmann等人論文中方法的穩像后序列。
具體實施例方式下面結合具體實施例對本發明進行詳細說明。以下實施例將有助于本領域的技術人員進一步理解本發明，但不以任何形式限制本發明。應當指出的是，對本領域的普通技術人員來說，在不脫離本發明構思的前提下，還可以做出若干變形和改進。這些都屬于本發明的保護范圍。如圖1所示，本實施例提供一種基于稀疏度和保真度約束的視頻穩像方法，具體實施細節如下，以下實施例沒有詳細說明的部分參照發明內容進行:圖2為分段處理視頻的示意圖。長視頻可以被分為各個小段進行處理，以提高穩像的效率，相鄰的兩段視頻必須有重疊的部分。把每一段視頻長度設為N，重疊部分的長度為K，則當穩像開始時，先處理前N段視頻，求出最優路徑if，此時只對前N-K幀進行幀變換。接著處理第二段視頻時，同樣求出其最優路徑/f〗。對于第二段視頻前K幀，它們的最優路徑通過前后兩段視頻所求最優路徑取加權平均得到，即:Pf= ViP^ + (I — ,) Zf)(I)其中t=N_K+l，…，N，而u i，i = I, 2，…，K則是權重，它們的數值為:u fi/K。接著對第二段視頻的前N-K幀進行幀變換。依次類推知道整個視頻處理完即可。圖3為特征點提取與跟蹤的流程圖。在對視頻幀進行特征點提取與跟蹤時，通常是在第一幀上提取一定數量的特征點，然后在后面的幀中對這些特征點進行跟蹤。若視頻中存在運動著的前景物體，按照上述處理會產生一定的問題:當運動的前景物體掃過背景時，背景特征點可能會變為前景特征點，因而導致跟蹤錯誤，從而產生誤差。為了解決該問題，在選取特征點時，讓特征點之間的間距盡量大一點，在整個圖像上分布較均勻。這樣某一塊區域特征點的數目不會很多，即使出現上述誤跟蹤情況，也只是很少一部分特征點的跟蹤出現差錯，對后面全局運動估計的影響不會很大。若要選取 的特征點數目定為100，備選設為200左右，則特征點最小間距可以為:
權利要求
1.一種基于稀疏度和保真度約束的視頻穩像方法，其特征在于所述方法包括如下步驟: 第一步，把視頻幀分段，段與段之間有重合的幀； 第二步，選取當前段相鄰幀之間的特征點對； 第三步，對第二步得到的特征點對進行全局局外點去除； 第四步，用第三步得到的特征點對擬合二維線性運動模型； 第五步，用第四步得到的線性運動模型估計原始攝像機路徑； 第六步，確定平滑路徑的目標函數和限制原始攝像機路徑變化的約束條件； 第七步，對第六步得到的最優化問題求解，得到截取窗口變換矩陣； 第八步，用第四步得到的線性運動模型和第七步得到的變換矩陣去除視頻中的非線性效應，得到新的變換矩陣； 第九步，用第八步得到的截取窗口變換矩陣對原始幀進行變換。
2.根據權利要求1所述的基于稀疏度和保真度約束的視頻穩像方法，其特征在于，所述第二步特征點對的獲取中，每隔10幀重新選點進行跟蹤，并且特征點的間距要大于最小間距，最小間距由以下公式得到
3.根據權利要求1所述的基于稀疏度和保真度約束的視頻穩像方法，其特征在于，所述第四步二維線性運動模型包括相似變換模型和單應變換模型。
4.根據權利要求1或3所述的基于稀疏度和保真度約束的視頻穩像方法，其特征在于，所述第五步原始攝像機路徑的估計由以下公式得到:Ct=F1F2-Ft 其中，Ct為第t幀的原始攝像機路徑矩陣，Ft為第t幀到第t-Ι的二維相似運動模型。
5.根據權利要求1所述的基于稀疏度和保真度約束的視頻穩像方法，其特征在于，所述第六步平滑路徑的目標函數由兩部分組成，一是代表路徑平滑度的LI范數項，一是代表視頻內容保真度的L2范數項，表示為:
6.根據權利要求1或5所述的基于稀疏度和保真度約束的視頻穩像方法，其特征在于，所述第七步求解時，相鄰片段重合的幀所對應的最優路徑由前后兩個片段求得的最優路徑取加權平均得到，公式如下: 其中，if和分別表示前一段和當前段重合幀的最優路徑，而u 1表示權重，計算方法為:
7.根據權利要求1或3所述的基于稀疏度和保真度約束的視頻穩像方法，其特征在于，所述第八步去除視頻中的非線性效應包括以下步驟: 步驟1:每隔k=30幀設置一關鍵幀，關鍵幀的Pt，Bt不變，以保證剛性變換，兩個關鍵幀之間的中間幀做以下處理: 步驟2:把相鄰幀的最優路徑誤差6=力記為殘余項Tt，并分解成以下形式: P-1Pt=Tt=B^StBl 步驟3:把相似變換矩陣Ft換成更多參數的單應變換矩陣Ht，即有從而有 步驟4:從兩個方向進行替換，根據步驟3最終得到的公式，從當前幀的前一關鍵幀計算出一個Bt，記為B/ ;從當前幀的后一關鍵幀計算出一個Bt，記為對；` 步驟5:將 /和貧的相應參數進行線性混合，得到新的Bt。
全文摘要
本發明公開一種基于稀疏度和保真度約束的視頻穩像方法，包括第一步，把視頻幀分段，段與段之間有一定數目重合的幀；第二步，選取當前段相鄰幀之間的特征點對；第三步，對特征點對進行全局局外點去除；第四步，用得到的特征點對擬合二維線性運動模型；第五步，估計原始攝像機路徑；第六步，確定平滑路徑的目標函數和限制原始攝像機路徑變化的約束條件；第七步，根據線性規劃的求解得到截取窗口變換矩陣；第八步，去除視頻中的非線性效應；第九步，用截取窗口變換矩陣對原始幀進行變換。本發明在減小視頻抖動的同時，能夠根據用戶需要減小視頻內容失真的程度，并對長視頻的穩像有較好的效果。
文檔編號H04N7/50GK103139568SQ20131004619
公開日2013年6月5日 申請日期2013年2月5日 優先權日2013年2月5日
發明者宋利, 瞿輝 申請人:上海交通大學