一種基于稀疏編碼融合的夜間監控視頻實時增強方法
【專利摘要】該發明公開了一種基于稀疏編碼融合的夜間監控視頻實時增強方法，涉及計算機視覺領域和信號處理領域，特別是涉及稀疏編碼、圖像增強、信息融合和視頻圖像處理的方法。通過白天和夜間的視頻數據集的稀疏訓練和學習，以獲得較為高質量的原子集和對應的稀疏編碼；通過稀疏編碼融合算法，重構出增強的背景；然后，使用背景差方法，把運動物體從原夜間視頻幀中提取出來；最后將增強的背景和運動物體融合得到最終的增強后的視頻幀，從而具有在夜間監控視頻增強過程中計算復雜度低、計算時間短、增強效果好、增強圖像噪音小的效果。
【專利說明】一種基于稀疏編碼融合的夜間監控視頻實時增強方法
【技術領域】
[0001] 本發明涉及計算機視覺領域和信號處理領域，特別是涉及稀疏編碼、圖像增強、信 息融合和視頻圖像處理的方法。
【背景技術】
[0002] 視頻增強在計算機視覺領域的研究由來已久。它主要解決如下問題：如何將較低 質量（亮度小，對比度低，細節模糊等）的輸入視頻流輸出為高質量（亮度大，對比度高，細 節清晰）的視頻流。目前視頻增強技術在視頻監控領用已經展開了大量的應用研究，尤其 是針對特定地點的的夜間視頻監控。夜間環境下的若光照影響給視頻增強技術帶來了不小 的挑戰。
[0003] 根據視頻增強技術中是否利用被增強圖像本身以外的信息，目前關于視頻增強常 用的方法可以分為兩大類：自身修補增強和信息融合增強。其中前者主要依靠算法提高被 增強圖像的質量，后者主要將外來有用信息，一般是同一地點的白天視頻信息，和夜間視頻 信息通過融合算法來增強視頻質量。目前自身修補類的增強技術有：伽馬校準增強，直方圖 均衡增強，色調映射增強，HDR(高動態范圍成像）增強，小波變換增強等。而信息融合類的 增強技術有：同態濾波融合增強，梯度融合增強，高斯混合模型增強等。關于這兩類技術的 比較，自身修補增強技術的時間復雜度會較高，而且增強效果相對較低，不宜應用于實時視 頻監；而信息融合類增強方法卻利用較低的時間復雜度實現較好的增強效果。由于時間復 雜性的限制，使得信息融合類方法更適宜于實時視頻監控領域。通過融合類增強技術的基 本流程，如圖1所示，由于白天信息的加入導致這類技術出現了新的問題：過度增強、夜燈 不亮、夜間倒影等問題。這些問題在圖2中有很好的顯示。左邊的圖是原來的視頻幀，右邊 的圖示利用白天背景融合增強后的視頻幀。增強的效果看上去很好，但是正如上面所標注 的ABC三個問題也很明顯。A:由于過多增強，導致運動的人和背景的對比度降低，這使得在 增強后的視頻中，原本應該被重點關注的人不再那么突出；B:樹上的彩燈也由于白天強光 的影響，甚至不能判斷其是否正常工作，這會妨礙夜間監控的有效性；C:由于白天的背景 中有倒影，導致在增強過后的視頻幀中倒影不合理出現。
[0004] 稀疏編碼是較為常用的數據壓縮算法，該算法包括原子字典更新和稀疏編碼更 新兩個迭代過程。追蹤算法是較為常用的求解字典原子的方法，稀疏編碼的更新過程中， 由于目標函數的不同，所采用的更新方法也不同；對于沒有懲罰項的優化目標，K_SVD是常 用的求解算法。最終的編碼以原子字典為引用，壓縮原始數據，同時也能移除原始數據中的 噪音和冗余。
【發明內容】
[0005] 針對【背景技術】的不足之處，本發明提供一種基于稀疏編碼融合的夜間監控視頻實 時增強方法，達到在夜間監控視頻增強過程中計算復雜度低、計算時間短、增強效果好、增 強圖像噪音小的目的。
[0006] 本發明的技術方案是一種基于稀疏編碼融合的夜間監控視頻實時增強方法，本方 法通過白天和夜間的視頻數據集的稀疏訓練和學習，以獲得較為高質量的原子集和對應的 稀疏編碼；通過稀疏編碼融合算法，重構出增強的背景；然后，使用背景差方法，把運動物 體從原夜間視頻幀中提取出來；最后將增強的背景和運動物體融合得到最終的增強后的視 頻幀，從而實現發明目的。因而該方法包括以下步驟：
[0007] A、離線學習和融合：通過大量視頻數據集的稀疏訓練和學習，得到原子字典和稀 疏編碼，并通過稀疏融合算法重構出增強后的背景；
[0008] A1、收集大量特定地點的白天和夜間監控視頻流數據；
[0009] A2、使用MCL (mutual coherence learning:互相干擾性學習）方法訓練和學習 A1 中收集到的數據，將視頻數據中每一幀劃分為若干小塊，求出白天數據和夜間數據視頻幀 中相同位置小塊的原子字典和稀疏編碼；
[0010] A3、將學習到的白天的原子字典和稀疏編碼與夜間的原子字典和稀疏編碼，按照 公式（1)進行融合；
[0011] Pscf(i) = yDdXd(i)+nDnXn(i)⑴
[0012] 公式中i為圖像塊序號，Psrf⑴是融合后i號的圖像塊，Dd是白天的原子字典，D n 是夜間的原子字典，xd(i)是白天的i號圖像塊的稀疏編碼，xn(i)是夜間的i號圖像塊的 稀疏編碼，η和Y分別是白天和夜間的融合系數；
[0013] Α4、將融合后的圖像塊按照塊序號重構出增強后的背景圖；
[0014] Α5、將夜間原子字典和對應稀疏編碼按照DnXn⑴的方式重構出夜間穩定背景圖；
[0015] B、在線提取和融合：在實時視頻流中提取出運動物體，并將之融合進A4得到的增 強后的背景中；
[0016] B1、采集當前視頻，并使用A5中重構出的夜間穩定背景圖提取出當前視頻幀中的 運動物體；
[0017] B2、將提取出的運動物體融合到A4得到的增強后背景圖中，得到夜間效果增強視 頻。
[0018] 步驟A2中MCL (mutual coherence learning:互相干擾性學習）方法過程進一步 包括：
[0019] A21、將白天視頻中的每一幀劃分為若干小的圖像塊y，并對在同一個坐標位置的 塊賦予一個塊序號i，對每一個擁有相同塊序號的圖像塊進行如下訓練；
[0020] A22、隨機初始化原子字典Dadp ·…，di，·…，dk])，di表示字典中原子；
[0021] A23、使用正交追蹤算法計算出稀疏編碼矩陣Xdxp . . .，Xi, . . . xj)，使得任一 Xi 滿足公式（2)
[0022]
【權利要求】
1. 一種基于稀疏編碼融合的夜間監控視頻實時增強方法，該方法包括： A、 離線學習和融合：通過大量視頻數據集的稀疏訓練和學習，得到原子字典和稀疏編 碼，并通過稀疏融合算法重構出增強后的背景； A1、收集大量特定地點的白天和夜間監控視頻流數據； A2、使用MCL(mutual coherence learning:互相干擾性學習）方法訓練和學習 A1中 收集到的數據，將視頻數據中每一幀劃分為若干小塊，求出白天數據和夜間數據視頻幀中 相同位置小塊的原子字典和稀疏編碼； A3、將學習到的白天的原子字典和稀疏編碼與夜間的原子字典和稀疏編碼，按照公式 (1)進行融合； PScf(i) = YDdXd(i)+nDnXn(i)⑴ 公式中i為圖像塊序號，Psrf(i)是融合后i號的圖像塊，Dd是白天的原子字典，D n是夜 間的原子字典，Xd(i)是白天的i號圖像塊的稀疏編碼，Xn(i)是夜間的i號圖像塊的稀疏 編碼，η和γ分別是白天和夜間的融合系數； Α4、將融合后的圖像塊按照塊序號重構出增強后的背景圖； Α5、將夜間原子字典和對應稀疏編碼按照DnXn(i)的方式重構出夜間穩定背景圖； B、 在線提取和融合：在實時視頻流中提取出運動物體，并將之融合進A4得到的增強后 的背景中； B1、采集當前視頻，并使用A5中重構出的夜間穩定背景圖提取出當前視頻幀中的運動 物體； B2、將提取出的運動物體融合到A4得到的增強后背景圖中，得到夜間效果增強視頻。
2. 如權利要求1所述的一種基于稀疏編碼融合的夜間監控視頻實時增強方法，其特征 在于步驟A2中互相干擾性學習的具體步驟包括： A21、將白天視頻中的每一幀劃分為若干小的圖像塊y，并對在同一個坐標位置的塊賦 予一個塊序號i，對每一個擁有相同塊序號的圖像塊進行如下訓練； A22、隨機初始化原子字典D ([屯，...，屯，...，dk])，屯表示字典中原子； A23、使用正交追蹤算法計算出稀疏編碼矩陣Xdxp . . .，Xi,. . . xm])，使得任一 Xi滿足 公式（2) min \\yt- Dx. ||2 s.t. || ||0< Κ (.2) 公式中yi是收集視頻中的每一幀劃分為的圖像塊信息，D是原子字典，I I · I L是零范 式計算，κ是稀疏度； Α24、對于字典中每一個原子屯按照公式（3)進行重新初始化
(3) 公式中Y是收集到的視頻數據，對于特定編碼i，指代所有編號i塊的全部訓練數據； A25、計算?//?/,如果其大于0,則將標志位flag置為1，否則將flag置為-1 ; A26、對于字典中每一個原子屯，利用A25的計算結果按照公式（4)進行更新
(4) 公式總β為梯度參數； Α27、比較屯在更新前后的變化，如果沒有變化則跳到Α28,如果有變化則返回Α25 ; A28、返回A23,直到訓練得到的稀疏編碼X不再變化，從而求白天視頻幀中相同位置小 塊的原子字典和稀疏編碼； A29、采用A21?A28相同的方法計算出夜間視頻視頻幀中相同位置小塊的原子字典和 稀疏編碼。
3. 如權利要求1所述的一種基于稀疏編碼融合的夜間監控視頻實時增強方法，其特征 在于步驟B1中夜間運動物體提取過程進一步包括： B11、按照公式（5)對于幀中的每一個像素進行標示位賦值
(5) 公式中的（x，y)是像素坐標，L(x，y)是（x，y)坐標對應的像素的標示位，B(x，y)和 N(x，y)分別是對應的背景圖像素值和夜間幀像素值，?\是設定的閾值； Β12、根據每個像素的標示位建立二值化圖,將所有L為1的像素賦值為255, L為0的 像素賦值為〇 ; Β13、對二值化的圖進行高斯腐蝕，得到腐蝕后的圖； Β14、對于腐蝕后的圖每一像素值進行閾值判斷，二值化，如果大于某閾值，則賦值為 255,否則賦值為0 ; Β15、對于腐蝕后的二值化圖進行膨脹計算，膨脹后再次二值化處理； Β16、根據膨脹后的二值化圖中像素值為255坐標位置，將夜間視頻幀中相應的坐標像 素提取出，再融合到增強后的背景圖中去。
4. 如權利要求3所述的一種基于稀疏編碼融合的夜間監控視頻實時增強方法，其特征 在于所述步驟Β11中對于幀中的每一個像素進行標示位賦值時，針對8位的數字化圖像，閾 值?\的置信區間為130-160。
5. 如權利要求3所述的一種基于稀疏編碼融合的夜間監控視頻實時增強方法，其特征 在于所述步驟Β14中對于腐蝕后的圖進行二值化時，針對8位的數字化圖像，閾值的的置信 區間為160-190。
【文檔編號】H04N19/90GK104253994SQ201410446313
【公開日】2014年12月31日 申請日期:2014年9月3日 優先權日:2014年9月3日
【發明者】饒云波, 丁先樹, 雷航, 劉虹呈 申請人:電子科技大學