一種基于改進的om特征的視頻拷貝檢測方法
【技術領域】
[0001] 本發明涉及視頻檢索領域，具體涉及一種基于改進的0M特征的視頻拷貝檢測方 法。
【背景技術】
[0002] 近年來，隨著互聯網和數字媒體技術的發展，互聯網視頻數據呈爆炸性增長的趨 勢，視頻的版權保護就成為了一個亟需解決的問題。視頻版權保護的方法主要分為兩種:數 字水印和基于內容的拷貝檢測。數字水印方法在需要保護的視頻中加入不影響視覺內容的 特殊數據，通過追蹤隱藏的數字水印數據來達到版權保護的目的，但是這種方法需要對待 保護視頻做額外處理，并且易被他人通過重編碼等方式刪除水印以繞過檢測。基于內容的 視頻拷貝檢測則不依賴于視頻中的特殊數據，通過直接對比保護視頻和目標視頻的視覺內 容，檢測目標視頻是否是保護視頻或保護視頻的某個片段的拷貝。這種方法相對水印有更 好的魯棒性，是版權保護的主要研究方向。除了用于版權保護之外，視頻拷貝檢測還可以用 于視頻內容監管、視頻去重等應用。
[0003] 現有的視頻拷貝檢測方法的流程是：（1)在全部的源視頻中以幀或視頻為單位提 取某種特征，若視頻數據規模較大，則可以進行索引以提高效率；（2)在查詢視頻中提取同 樣的特征并在數據集中進行查找，最后通過視頻序列匹配來決定查詢視頻是否為某個源視 頻或其片段的拷貝。其中提取的特征按照描述的對象大致可以分成兩類:局部特征和全局 特征。局部特征描述圖片中起關鍵作用的點，每個點對應一個特征向量，因此一幀可以有多 于一個的特征向量。全局特征則是描述視頻中的一幀或者一個片段的特征。Hampapur等人 在論文 "Comparison of Sequence Matching Techniques for Video Copy Detection" 中 提出了一種基于0M(0rdinal Measures)特征的視頻拷貝檢測方法，0M特征將視頻的一幀分 為若干塊，求出每一塊的亮度平均值后排序，以這些塊之間的順序作為視頻幀的特征。相比 于局部特征，全局特征計算速度較快、效率更高，但準確程度卻不如局部特征。快速、高效并 且準確地檢測大規模視頻數據是視頻拷貝檢測中亟待解決的問題。
【發明內容】
[0004] 針對現有方法的不足，本發明提出了一種基于改進的0M特征的視頻拷貝檢測方 法，能夠結合視頻幀圖像的空間特征和視頻幀之間的亮度變化，兩者之間互相促進從而更 準確地描述視頻內容，更有效地計算視頻的內容相似性以取得更高的視頻拷貝檢測的準確 率。
[0005] 為達到以上目的，本發明采用的技術方案如下：
[0006] -種基于改進的0M特征的視頻拷貝檢測方法，用于檢測查詢視頻是否為源視頻的 拷貝，具體包含以下步驟：
[0007] (1)對視頻庫提取改進的0M特征并建立索引；所述改進的0M特征由視頻的圖像特 征和時序特征融合得到；
[0008] (2)對查詢視頻提取改進的0M特征，然后基于步驟（1)建立的索引，計算得到與查 詢視頻相似度最大的源視頻，若相似度值大于一定閾值，則將該源視頻作為候選源視頻；
[0009] (3)基于步驟(2)得到的候選源視頻，計算其與查詢視頻之間的序列匹配關鍵幀 數，通過閾值判斷查詢視頻是否為該候選源視頻的拷貝，并定位到拷貝片段在源視頻中的 位置。
[0010] 進一步，所述步驟（1)中視頻的圖像特征為0M特征，0M特征首先將圖像進行分塊， 然后對每個分塊計算所有像素點的亮度平均值，最后對亮度平均值進行排序獲得圖像的不 同分塊之間的亮度順序。時序特征描述相鄰視頻幀圖像之間的亮度變化情況，首先計算兩 個相鄰的視頻幀圖像中每個分塊所有像素點的亮度平均值，然后計算前后視頻幀圖像對應 分塊的亮度變化情況，最后將各分塊亮度變化方向作為該相鄰幀的時序特征。
[0011 ] 進一步，所述步驟（1)中的索引為LSH(Locality Sensitive Hashing)索引，能夠 以次線性查找的時間代價在大量同維度的特征向量中找到給定向量的最近鄰，在大規模視 頻拷貝檢測時效率較高。
[0012] 進一步，所述步驟(2)中查詢視頻和源視頻的相似度計算方法為:首先基于所述步 驟（1)中的索引計算查詢視頻和源視頻的匹配關鍵幀對，然后將所有匹配關鍵幀對的相似 度和作為查詢視頻和源視頻的相似度，最后選擇和查詢視頻相似度最大的源視頻為候選源 視頻。
[0013] 進一步，所述步驟(3)對所述步驟(2)中得到的所有匹配關鍵幀對按照時序關系計 算序列匹配關鍵幀數，當匹配關鍵幀數大于一定閾值后，認為查詢視頻為候選源視頻的拷 貝，并通過關鍵幀匹配定位到視頻拷貝片段的起始位置。
[0014] 本發明的有益效果在于：（1)本發明同時考慮了視頻幀圖像的空間特征和視頻幀 之間的亮度變化，能夠更加準確地描述視頻內容，取得更高的視頻拷貝檢測準確率。（2)本 發明能夠快速地對視頻進行檢測，支持大規模數據的視頻拷貝檢測。
[0015] 本發明之所以具有上述發明效果，其原因在于:一方面，本發明在考慮視頻幀圖像 的空間特征的基礎上引入幀間的亮度變化，將兩者融合更加準確地表達視頻內容信息，提 高檢測的準確率；另一方面，本發明對特征數據建立索引，提高了檢測速度，能夠支持在大 規模視頻數據上的拷貝檢測。
【附圖說明】
[0016] 圖1是本發明的一種基于改進的0M特征的視頻拷貝檢測方法的流程示意圖。
[0017]圖2是改進的0M特征計算示例示意圖。
【具體實施方式】
[0018] 下面結合附圖和具體實施例對本發明作進一步詳細的描述。
[0019] 本發明的一種基于改進的0M特征的視頻拷貝檢測方法，其流程如圖1所示，具體包 含以下步驟：
[0020] (1)源視頻提取改進的0M特征并建立索引。
[0021] 本實施例首先采用每秒鐘抽取1幀的方式對視頻抽幀，然后采用本發明的改進的 0M特征描述每個視頻幀，最后對改進0M特征建立索引。下面詳細介紹改進的0M特征的計算 方法。
[0022] 本發明中改進的0M特征描述了視頻幀圖像的空間特征和視頻幀之間的亮度變化， 具體由視頻幀圖像的各個分塊的特征構成，其計算方法如公式一所示：
[0023] 公式一：
[0024] 其中，0MIV(0rdinal Measurement with Inter-frame Variance)即本實施例所 要提取的改進的〇M特征，V為目標視頻，V[i]為該視頻的第i幀圖像。視頻幀圖像共分M 2個 塊，其特征共2Μ2維，其中前Μ2維描述該視頻幀圖像各個分塊的亮度順序，即該視頻幀圖像的 空間特征，后Μ 2維描述該視頻幀圖像與前一幀圖像之間的亮度變化關系。
[0025]描述視頻幀圖像空間特征的前Μ2維0MIV特征和0Μ特征相同，詳細計算方法如公式 二所示：
[0026] 公式二:〇MIV(V[i])k = count({j|Vj[iKVk[i]})，l <k<M2
[0027] 其中f[i]表示V[i]的第j分塊的亮度平均值，即該分塊中所有像素點的亮度值的 平均值，其中一個像素點的亮度指其顏色的RGB三個通道值的平均值。c 〇unt(S)是集合S的 元素數量，即以所有亮度平均值小于或等于第k個分塊的亮度平均值的分塊數量作為該視 頻幀圖像特征的第k維。
[0028]描述視頻幀之間亮度變化的后M2維0MIV特征計算方法如公式三所示：
[0029] 公式三：
[0030] 后M2維0MIV特征計算方法為:如果V[i ]的某個分塊比V[ i-Ι ]中對應的分塊亮度增 加，則0MIV特征的對應位置的取值為K;如果降低，則取值為-K;如果不變，則取值為0。為保 證0MIV兩部分特征的平衡性，對于兩張圖片參數K需滿足前M 2維的L1距離最大值Di等于后M2 維的L1距離最大值D^D^M2個分塊的亮度平均值排列順序完全相反時得到，D2在后M 2維的 特征每一個對應分量都互為相反數時得到，D#PD2的計算公式如公式四和公式五所示，令Di =D2可得K ? M2/4〇
[0031] 公式四：
[0032] 公式五:D2=M2 · (K-(-K))
[0033] 計算0MIV特征的示例如圖2所示。該視頻幀圖像共分為4X4個圖像塊，即上述Μ的 取值為4,以左上角的第一個塊作為示例，其亮度平均值為21，在進行統計排序后所有Μ 2個 塊中共有8個塊的亮度平均值