一種基于圖核的人體行為識別方法
【技術領域】
[0001] 本發明涉及計算機視覺領域，特別涉及一種基于圖核的人體行為識別（Human ActionRecognition)方法。
【背景技術】
[0002] 作為計算機視覺的一個重要領域，人體行為識別通過計算機對視序列進行語義上 的描述，讓計算機可以像人一樣，能夠自動地分析和理解視頻序列中所發生的讓人感興趣 的行為事件。人體行為識別技術迅速發展，被廣泛地應用于視頻監控、人機交互、視頻檢索 和病患監護等領域。
[0003] 當前主流的人體行為識別方法大多用局部特征對人體行為進行表示，這類表示方 法主要是通過視覺詞包模型（BagofVisualWords)或費舍爾向量（FisherVector)實現 的。首先從視頻序列中提取一系列的具有顯著性運動變化的時空興趣點；然后為每一個時 空興趣點構建一個具有表達力的顯著性局部時空特征，例如3DH〇G特征和3DSITF特征；接 下來對得到的局部時空特征進行聚類以產生視覺詞典，并統計局部時空特征關于視覺詞典 的零階或高階信息，產生一種長向量式的整體特征來描述人體行為。人體行為的分類則是 將得到的人行為整體特征導入分類器中，如支持向量機（SVM)。利用一部分訓練數據對分類 器進行訓練，學習每一個行為類別的模型，然后利用該分類器對測試數據進行分類。
[0004] 這種基于視覺詞包模型或費舍爾向量的方法通過統計局部特征本身的信息，能夠 很大程度上保留局部特征本身的判別力，并且對噪聲、光照變化、遮擋等具有較強的魯棒 性。同時這種方法能夠產生一種向量式的人體行為表示特征，能夠有效地利用傳統的基于 統計的機器學習算法，進行人體行為的分類。但是這種方法容易忽略局部特征之間的時空 分布信息。局部特征之間的時空分布信息的缺失，會從某種程度上影響人體行為識別的性 能。
【發明內容】
[0005](一）要解決的技術問題
[0006] 本發明的目的在于，提出一種基于圖核的人體行為識別方法，能夠有效地利用局 部特征之間的時空分布關系，進行人體行為識別。
[0007](二）技術方案
[0008] 本發明提供一種基于圖核的人體行為識別方法，包括：
[0009]S1，從包含人體行為的視頻序列中提取局部特征，依據局部特征之間的時空關系， 構建視頻共生圖和視頻因果圖；
[0010]S2，度量多個視頻序列中所頻共生圖之間的相似性以及視頻因果圖之間的相似 性；
[0011]S3,將視頻共生圖之間的相似性以及視頻因果圖之間的相似度累加，得到視頻序 列相似度，根據視頻序列相似度訓練支持向量機，根據支持向量機識別待測視頻序列中的 人體行為。
[0012] (三）有益效果
[0013] 本發明提供的基于圖核的人體行為識別方法，通過構建視頻共生圖和視頻因果圖 對人體行為進行表示，不需要為局部特征構建視覺詞典，就能夠保留局部特征本身的全部 信息，同時能夠充分利用局部特征之間的時空分布關系。另外，以圖核來度量圖與圖之間的 相似性，將這種圖表示的人體行為表示與傳統的基于統計的機器學習算法連接起來，使之 能夠有效地進行人體行為識別。
【附圖說明】
[0014] 圖1是本發明實施例提供的基于圖核的人體行為識別方法的流程圖。
[0015] 圖2是本發明實施例中視頻共生圖和視頻因果圖的示意圖。
【具體實施方式】
[0016] 本發明提供一種基于圖核的人體行為識別方法，根據視頻序列中局部特征之間的 時空關系，構建視頻共生圖和視頻因果圖，度量多個視頻序列中所頻共生圖之間的相似性 以及視頻因果圖之間的相似性，將視頻共生圖之間的相似性以及視頻因果圖之間的相似度 累加，得到視頻序列相似度，根據視頻序列相似度訓練支持向量機（SVM)，根據支持向量機 識別待測視頻序列中的人體行為。本發明能夠有效地利用局部特征之間的時空分布關系， 進行人體行為識別。
[0017] 在一種實施方式中，構建視頻共生圖和視頻因果圖具體包括，檢測視頻序列的時 空興趣點，并記錄時空興趣點的時空位置，然后計算不同興趣點之間的空間分布關系，根據 時空興趣點周圍鄰域的三維梯度信息，構建3DSIFT特征，以3DSIFT特征作為頂點，以同一 視頻序列中時空興趣點的空間分布關系作為邊，構建視頻共生圖，以3DSIFT特征作為頂 點，以相鄰視頻序列之間的空間分布關系作為邊，構建視頻因果圖。
[0018] 在一種實施方式中，分別構建基于上下文信息的隨機游走圖核和基于樹狀模式的 圖匹配核，通過隨機游走圖核及圖匹配核進行相似性度量。
[0019] 在一種實施方式中，構建基于上下文信息的隨機游走圖核包括，根據頂點核函數 和邊核函數分別測量兩個圖中頂點之間的相似性和邊之間的相似性；計算頂點位置信息， 構建圖的上下文信息矩陣；構建兩個圖的直積圖，利用兩個圖的頂點相似性和邊相似性來 計算直積圖的頂點權重和邊緣權重，然后用直積圖的頂點權重、邊權重和兩個圖的上下文 信息矩陣得到直積圖的基于上下文信息的權重矩陣；對直積圖的基于上下文信息的權重矩 陣內的元素進行累加求和，得到基于上下文信息的不同階次的隨機游走圖核。
[0020] 在一種實施方式中，構建所述基于樹狀模式的圖匹配核包括，根據頂點核函數和 邊核函數分別測量兩個圖的頂點之間的相似性和邊之間的相似性；根據頂點相似性和邊相 似性，利用動態規劃算法，遞歸計算樹狀模式之間的相似性；根據樹狀模式之間的相似性和 位置分布關系，設計帶稀疏項的二次能量函數，并通過求解二次能量函數來選擇兩個圖中 正確匹配的樹狀模式；將兩個圖中正確匹配的樹狀模式之間的相似性進行累加，得到樹狀 模式圖匹配核。
[0021] 在一種實施方式中，當圖核采用基于上下文信息的隨機游走圖核時，在訓練支持 向量機時，采用泛化多核學習算法學習不同階次的隨機游走圖核的權重，并學習不同行為 類別的模型，采用極小化極大值的算法來迭代求解核函數的權重和所述支持向量機的拉格 朗日乘子。
[0022] 在一種實施方式中，當圖核采用樹狀模式圖匹配核時，在訓練支持向量機時，直接 通過視頻序列相似度訓練所述支持向量機。
[0023] 為使本發明的目的、技術方案和優點更加清楚明白，以下結合具體實施例，并參照 附圖，對本發明進一步詳細說明。
[0024] 圖1是本發明一實施例提供的基于圖核的人體行為識別方法的流程圖，如圖1所 示，方法包括：
[0025] S1，從包含人體行為的視頻序列中提取局部特征，依據局部特征之間的時空關系， 構建視頻共生圖和視頻因果圖，通過視頻共生圖和視頻因果圖來描述一個視頻序列，不需 要為局部特征構建視覺詞典，就能夠保留局部特征本身的全部信息，同時能夠充分利用局 部特征之間的時空分布關系。
[0026]本實施例在構建視頻共生圖和視頻因果圖時，采用可線性分離的濾波器對視頻 序列進行濾波，該濾波器在空間維上采用二維高斯濾波器進行濾波，在時間維上采用一維 Gabor濾波器進行濾波，并以濾波器響應的局部極大值作為時空興趣點，對于每一個時空興 趣點，從其局部時空鄰域中提取3DSIFT特征。以局部特征作為頂點，以同幀的局部特征的 時空分布關系作為邊構建視頻共生圖；以局部特征作為頂點，以相鄰幀間的局部特征的時 空關系為邊構建視頻因果圖，如圖2所示。視頻共生圖和視頻因果圖的連接矩陣At和八1可 以分別表不為：
[0027]
[0030]其中，（Xi,yi,tj為第i個時空興趣點的時空位置向量，et和e$空間域上的兩 個閾值。視頻共生圖和視頻因果圖的頂點的屬性為3DSIFT特征描述子向量，其邊的屬性為 兩個頂點的相對空間位置信息。
[0031] S2,分別構建基于上下文信息的隨機游走圖核和基于樹狀模式的圖匹配核，通過 隨機游走圖核及圖匹配核，度量多個視頻序列中視頻共生圖之間的相似性以及視頻因果圖 之間的相似度，以圖核來度量圖與圖之間的相似性，將這種圖表示的人體行為表示與傳統 的基于統計的機器學習算法連接起來，使之能夠有效地進行人體行為識別。
[0032]本實施例在構建基于上下文信息的隨機游走圖核時，根據頂點核函數 <和邊核函 數分別測量兩個頂點之間的相似性和兩條邊之間的相似性，其中，這兩種核函數分別具 有如下形式：
[0033]
[0034] 和
[0035]
[0036] 其屮，
[0037]d和d'分別為頂點v和V'對應的局部特征描述子向量；
[0038] 〇為尺度變量；
[0039] ed為距離閾值；
[0040]attribute(e)表示邊e的屬性值；
[0041] 然后計算頂點的上下文信息矩陣，其中，第i個頂點Vi的上下文信息c(i)定義為 在時空中距離該點最近的m個頂點；為了比較兩個圖的相似性，構建兩個圖的直積圖，并計 算直積圖基于上下文信息的權重矩陣。給定兩個圖G=(V，E)和G'=(V'，E')，其中V 和V'分別為兩個圖的頂點集合，E和E'為這兩個圖的邊集合。它們的直積圖表可以示為GP =(VP，EP