基于全局運動估計的視頻顯著性檢測方法
【技術領域】
[0001] 本發明屬于視頻檢測技術領域，具體涉及一種基于全局運動估計的視頻顯著性檢 測方法。
【背景技術】
[0002] 隨著互聯網技術和通信技術的蓬勃發展，人們日常生活中獲取和交流的信息越來 越多。這些信息包含文本、圖像、音頻和視頻等，由于視頻含有信息量大和內容豐富，因此視 頻成為主要的信息載體。而如此龐大的信息在傳輸和存儲時會受到帶寬和容量限制，因此 需要根據信息受體人眼的視覺特性對其進行處理，提取出人眼關注的部分。視頻顯著性檢 測就是根據人眼視覺特性對視頻信息分析的重要機制，其在視頻處理中可用于物體檢測、 目標跟蹤、視頻編碼等。
[0003] 人眼視覺注意機制可分為自底向上和自頂向下兩種，自底向上的機制是數據驅動 的，即沒有任何先驗知識，僅由低層信息（如亮度、色度和對比度等）得到，而自頂向下的機 制是任務驅動，需要有一定先驗知識。由于低層信息獲得較為容易且一般缺乏先驗知識，故 現有視頻顯著性檢測大多基于自底向上的視覺機制。
[0004] 視頻顯著性檢測按其特征來源可分為壓縮域和非壓縮域方法。現有的視頻顯 著性檢測模型大多是在非壓縮域實現的，如Itti等（LaurentItti，ChristofKoch，and ErnstNiebur,"Amodelofsaliency-basedvisualattentionforrapidscene analysis,"IEEETransactionsonpatternanalysisandmachineintelligence ，vol.20，no.ll，pp. 1254 - 1259, 1998.)提出的基于靈長類早期視覺系統的顯著性檢 測模型，Hare1(JonathanHarel,ChristofKoch,andPietroPerona, "Graph-based visualsaliency，"inAdvancesinneuralinformationprocessing systems, 2006,pp. 545 - 552.)提出的基于圖論的方法，Guo等（ChenleiGuoandLiming Zhang,"Anovelmultiresolutionspatiotemporalsaliencydetectionmodelandits applicationsinimageandvideocompression,''ImageProcessing,IEEETransactions on，vol. 19,no. 1，pp. 185 - 198, 2010.)提出的基于相位的顯著性檢測模型。這些模型所提 取的信息均來自于未壓縮的像素域，像素域中包含大量視頻信息如亮度、色度、紋理等，因 此在像素域中需要高計算復雜度獲取顯著性圖。再者，視頻傳輸和存儲都是壓縮后的碼流， 壓縮視頻應用廣泛主要得益于減小存儲空間和提升傳輸速度，因此壓縮域視頻顯著性檢測 更有利于應用到實時處理場景中。
[0005] 壓縮域視頻顯著性檢測主要利用離散余弦變換（DCT)系數和運動矢量 (MVs)計算每個塊的顯著性大小。Muthuswamy等（KarthikMuthuswamyandDeepu Rajan,"Salientmotiondetectionincompresseddomain, "IEEESignalProcessing Letters,vol. 20,pp. 996 - 999, 2013.)提出一種雙層結構算法用于辨別顯著性運動，但 是沒有解決多種特征條件下顯著性圖的融合問題。Fang(YumingFang,ZhouWang,and ffeisiLin,"Videosaliencyincorporatingspatiotemporalcuesanduncertainty weighting, "inMultimediaandExpo(ICME), 2013IEEEInternationalConference on.IEEE, 2013,pp. 1 - 6.)等提出基于局部不確定性度量的自適應融合方法能取得較好的 檢測效果，但是該方法在計算權重時需預先知道真實顯著性圖，該因素阻礙了此法的實際 應用，且該方法不適用于視頻中存在全局運動的場景。
[0006] 綜上所述，現有的視頻顯著性檢測方法中，壓縮域方法較少，未考慮全局運動對檢 測結果的影響，且多種特征下顯著性圖融合技術不夠完善，不能充分發揮每種特征條件下 檢測結果的優勢。如何去除全局運動的影響和多特征顯著性圖自適應融合是視頻顯著性檢 測中迫切需要解決的問題。
【發明內容】
[0007] 本發明的目的在于克服現有技術的不足，提供一種設計合理、主觀視覺效果好且 能夠準確檢測視頻顯著性區域的基于全局運動估計的視頻顯著性檢測方法。
[0008] 本發明解決其技術問題是采取以下技術方案實現的：
[0009] 一種基于全局運動估計的視頻顯著性檢測方法，包括以下步驟：
[0010] 步驟1、提取壓縮碼流中空域特征和時域特征，利用二維高斯權重函數和空域特征 得到空域顯著性圖；
[0011] 步驟2、利用級聯結構濾除屬于全局運動的背景運動矢量，基于剩余運動矢量得到 粗略時域顯著性圖，并根據宏塊信息對粗略時域顯著性圖進行優化；
[0012] 步驟3、根據人眼視覺特性和時空域顯著性圖的特征自適應融合時域和空域顯著 性圖像得到圖像顯著區域。
[0013] 而且，步驟1所述的時域特征包括對應時域特征的運動矢量，所述空域特征包括 以下五個分量：
[0014] ⑴、亮度特征L，對應于亮度的直流分量；
[0015](2)、色度特征Q，對應于色度Cb的直流分量；
[0016] (3)、色度特征C2，對應于色度(；的直流分量；
[0017] (4)、結構特征T，對應于亮度的所有交流分量的和；
[0018] (5)、邊緣特征E，對應于亮度中與直流分量最接近的兩個交流分量的和。
[0019] 而且，步驟1所述利用二維高斯函數和空域特征得到空域顯著性圖的具體方法包 括以下步驟：
[0020] ⑴針對每種特征fG{L，Q，C2,T，E}，計算當前塊與相鄰塊絕對特征對比度％ :
[0021]
【主權項】
1. 一種基于全局運動估計的視頻顯著性檢測方法，其特征在于包括以下步驟： 步驟1、提取壓縮碼流中空域特征和時域特征，利用二維高斯權重函數和空域特征得到 空域顯著性圖； 步驟2、利用級聯結構濾除屬于全局運動的背景運動矢量，基于剩余運動矢量得到粗略 時域顯著性圖，并根據宏塊信息對粗略時域顯著性圖進行優化； 步驟3、根據人眼視覺特性和時空域顯著性圖的特征自適應融合時域和空域顯著性圖 像得到圖像顯著區域。
2. 根據權利要求1所述的基于全局運動估計的視頻顯著性檢測方法，其特征在于：步 驟1所述的時域特征包括對應時域特征的運動矢量，所述空域特征包括以下五個分量： (1) 、亮度特征L，對應于亮度的直流分量； (2) 、色度特征C1，對應于色度Cb的直流分量； (3) 、色度特征C2，對應于色度(；的直流分量； (4) 、結構特征T，對應于亮度的所有交流分量的和； (5) 、邊緣特征E，對應于亮度中與直流分量最接近的兩個交流分量的和。
3. 根據權利要求1所述的基于全局運動估計的視頻顯著性檢測方法，其特征在于：步 驟1所述利用二維高斯函數和空域特征得到空域顯著性圖的具體方法包括以下步驟： ⑴針對每種特征f e {L，C1, C2, T，E}，計算當前塊與相鄰塊絕對特征對比度:
式中，f JP L分別表示當前塊和相鄰塊的特征值； ⑵利用二維高斯權重函數計算每個相鄰塊對應的權重：
式中，dxij和dyij分別表示當前塊和相鄰塊在水平和垂直方向上的空間距離，〇 ,和〇 y 分別表征二維高斯函數水平和垂直方向上的標準差； ⑶計算第i個塊在特征f下的顯著性值：
⑷將空域特征五個分量下的顯著性值融合成空域顯著性圖：
式中，Ss表示對應視頻每一幀的整體空域顯著性，K是特征的數目（K = 5)，N()是歸一 化操作，每種空域特征分量下的顯著性值歸一化至[〇, 1]，減小其絕對數值大小的影響。
4. 根據權利要求1所述的基于全局運動估計的視頻顯著性檢測方法，其特征在于：步 驟2所述利用級聯結構濾除屬于全局運動的背景運動矢量得到粗略時域顯著性圖的方法 包括如下步驟： ⑴將視頻幀劃分成統一大小4X4的塊，獲取每個塊的運動矢量； ⑵顯著性區域出現在圖像邊緣概率低，因此移除邊緣塊； ⑶級聯結構第一級，比較當前塊和其水平垂直方向上運動矢量平均相對差值RDmag:
式中MV表示當前塊運動矢量MVjP其相鄰8個塊的運動矢量組成的矩陣，（·）表示矩 陣對應元素相乘再求和，將每個塊的RDmag與給定閾值比較，低于閾值的塊被認為是具有全 局運動的背景塊予以移除； ⑷級聯結構第二級，比較當前塊和其對角線方向上運動矢量平均相對差，設定一個比 較閾值，低于閾值的塊被認為是具有全局運動的背景塊予以移除； (5)經上述步驟后剩余塊的運動矢量用于粗略計算每個塊的時域顯著性值：
式中MFa?和分別表示當前塊i運動矢量的水平和垂直分量。
5. 根據權利要求1所述的基于全局運動估計的視頻顯著性檢測方法，其特征在于：所 述步驟2根據宏塊信息對粗略時域顯著性圖進行優化按如下數學模型進行： St= S ,MFi 式中MFi表示當前塊所對應宏塊的編碼信息，如對應宏塊是inter模式，則取值為1，如 為intra或skip模式則取值為0,通過宏塊編碼信息MFi對時域顯著性值S ,進行修正得到 優化后的時域顯著性值St。
6. 根據權利要求1所述的基于全局運動估計的視頻顯著性檢測方法，其特征在于：步 驟3所沭自適應融合時域和空域顯著件圖像得到圖像顯著區域通過如下數學模型進行：
式中SJPSt分別表示空域和時域顯著性值，μ和〇表示顯著性平均值和標準差，如 果μ大，σ小，則其所占權重大，反之則小。
【專利摘要】本發明涉及一種基于全局運動估計的視頻顯著性檢測方法，其特點是包括以下步驟：提取壓縮碼流中空域特征和時域特征，利用二維高斯權重函數和空域特征得到空域顯著性圖；利用級聯結構濾除屬于全局運動的背景運動矢量，基于剩余運動矢量得到粗略時域顯著性圖，并根據宏塊信息對粗略時域顯著性圖進行優化；根據人眼視覺特性和時空域顯著性圖的特征自適應融合時域和空域顯著性圖像得到圖像顯著區域。本發明設計合理，其在空域顯著性及時域顯著性檢測中考慮的特征種類齊全，使得最終顯著性圖更加符合人眼的主觀感知質量，其魯棒性高，不依賴于視頻內容變化，有較強的可擴展性，如加入其他特征也可用本發明的融合方式。
【IPC分類】H04N19-51, H04N19-107
【公開號】CN104869421
【申請號】CN201510301092
【發明人】白旭, 徐俊, 任婧婧
【申請人】北京牡丹電子集團有限責任公司數字電視技術中心
【公開日】2015年8月26日
【申請日】2015年6月4日