基于遷移學習的動物行為識別方法和裝置的制造方法
【專利摘要】本發明提出了一種基于遷移學習的目標動物行為識別方法和裝置，即訓練數據集中的訓練樣本包括人的行為樣本、非目標動物的行為樣本和目標動物的行為樣本中的一種或幾種的組合，測試數據集為目標動物的行為樣本。該發明步驟包括：步驟101，針對訓練數據集中的每一個訓練樣本和測試數據集中的每一測試樣本，提取原始特征；步驟102，采用遷移學習中的領域適應學習法將所述原始特征映射到共同空間中，得到新的特征；步驟103，利用所述新的特征訓練SVM分類器，得到行為識別模型，同時對所述目標動物行為識別模型進行測試；步驟104，利用所述動物行為識別模型對目標動物的待識別行為進行識別。本發明提出的基于遷移學習的行為識別方法能有效的識別動物的行為。
【專利說明】
基于遷移學習的動物行為識別方法和裝置
技術領域
[0001 ]本發明屬于機器學習、計算機視覺的技術在動物行為的自動識別方面的應用，適 用于動物行為的自動識別、動物異常行為分析等動物行為學的各項研究。
【背景技術】
[0002] 隨著監控視頻和網絡視頻的數量日漸增多，視頻中自動識別行為的技術變得越來 越重要。如人的行為識別一樣，動物的行為識別也很重要，它的應用包括野生動物行為分 析、寵物的監控等。但是，獲取動物行為視頻的訓練數據比較困難，特別是對某些稀有動物。
[0003] -些哲學家和行為研究者認為，不同種類之間的行為是相似的。考慮到人的行為 的訓練數據容易獲取，于是我們提出一個新的問題，能否用人的行為的數據來幫助識別動 物的行為?或者進一步，能否用人和某些動物的數據幫助識別另外一些動物的行為？
[0004] 考慮到不同的種類的動物或者人，行為的表現方式不同，這些差別對應到所提取 的特征上，就是特征的分布不一樣。傳統機器學習中的分類方法假設訓練數據和測試數據 的分布是一致的，所以不能直接采用人的行為的特征做訓練來幫助做動物的行為識別。因 為迀移學習（transfer learning，簡稱TL)針對訓練數據和測試數據的分布不一致的情況， 所以我們正好利用TL來解決這個問題。
【發明內容】
[0005] 針對動物的行為識別中訓練數據獲取困難這個問題，本發明提出了一種基于迀移 學習的動物的行為識別方法和裝置。
[0006] 根據本發明一方面，提供了一種基于迀移學習的目標動物行為識別方法，其包括：
[0007] 步驟101，針對訓練數據集中的每一個訓練樣本和測試數據集中的每一測試樣本， 提取原始特征；
[0008] 步驟102,采用迀移學習中的領域適應學習法將所述原始特征映射到共同空間中， 得到新的特征；
[0009] 步驟103,利用所述新的特征訓練SVM分類器，得到目標動物行為識別模型，同時對 所述目標動物行為識別模型進行測試；
[0010] 步驟104,利用所述動物行為識別模型對目標動物的待識別行為進行識別。
[0011] 根據本發明另一方面，提供了一種基于迀移學習的目標動物行為識別裝置，其包 括：
[0012] 特征提取模塊，用于針對訓練數據集中的每一個訓練樣本和測試數據集中的每一 測試樣本，提取原始特征；
[0013] 特征優化模塊，用于采用迀移學習中的領域適應學習法將所述原始特征映射到共 同空間中，得到新的特征；
[0014] 訓練和測試模塊，用于利用所述新的特征訓練SVM分類器，得到目標動物行為識別 模型，同時對所述目標動物行為識別模型進行測試；
[0015] 分類和識別模塊，用于利用所述動物行為識別模型對目標動物的待識別行為進行 識別。
【附圖說明】
[0016] 圖1為本發明的主要四個步驟，即特征提取、特征優化、訓練和測試和分類和識別。
[0017] 圖2是本發明中所述訓練數據集中的訓練樣本僅為人的行為樣本時，目標動物行 為識別的算法流程圖。行為識別的算法如下：
[0018] 步驟1:分別對訓練數據和測試數據提取原始特征；
[0019] 步驟2:采用迀移學習中領域適應學習（domain adaption learning，簡稱DALMC 訓練數據的特征和測試數據的特征一起映射到一個共同的空間，得到新的特征，以減小來 自人和動物的兩類特征在概率分布上的差異；
[0020] 步驟3:采用新特征訓練、測試，識別目標動物的行為。
[0021]圖3是本發明中所述訓練數據集中的訓練樣本為人的行為樣本和非目標動物的行 為樣本的組合時，目標動物行為識別的算法流程圖。行為識別的算法如下：
[0022]步驟1:分別對訓練數據和測試數據提取原始特征；
[0023]步驟2:對每一個來源(人或者某一類動物）的數據的特征和測試數據的特征，經過 DAL，得到新的特征，采用這部分訓練數據訓練得到某個行為識別模型，最后得到多個從不 同來源迀移的行為識別的模型；
[0024] 步驟3:采用集成迀移學習（ensemble transfer learning，簡稱ETL)的方法融合 多個不同來源的迀移學習模型，以此識別目標動物的行為。
[0025]圖4是本發明中所述訓練數據集中的訓練樣本為人的行為樣本、非目標動物的行 為樣本和目標動物的行為樣本的組合時，目標動物行為識別的算法流程圖。這里通過三種 策略解決這個問題。第一種策略只采用目標動物的部分有標注的數據做訓練。第二種策略 用人和多類其它動物的行為的數據做訓練。第三種策略是前兩種的結合，本發明中通過對 前兩種策略所預測的行為的概率分布做后融合。
[0026]圖5是A2D數據庫中人和部分動物對應的行為示意圖。
【具體實施方式】
[0027]下面結合實例，并參照附圖，敘述本發明的具體細節，并給出實驗結果和相關分 析。
[0028]本發明提出了一種基于迀移學習的目標動物行為識別方法，其包括：
[0029]步驟101，針對訓練數據集中的每一個訓練樣本和測試數據集中的每一測試樣本， 提取原始特征；
[0030] 步驟102,采用迀移學習中的領域適應學習法將所述原始特征映射到共同空間中， 得到新的特征；
[0031] 步驟103，利用所述新的特征訓練SVM分類器，得到目標動物行為識別模型，同時對 所述目標動物行為識別模型進行測試；
[0032] 步驟104,利用所述動物行為識別模型對目標動物的待識別行為進行識別。
[0033] 上述方法中，所述訓練數據集中的訓練樣本包括人的行為樣本、非目標動物的行 為樣本和目標動物的行為樣本中的一種或幾種的組合。
[0034] 上述方法中，所述訓練數據集中的訓練樣本僅為人的行為樣本時，步驟103包括：
[0035] 對于人的行為樣本，訓練得到第一目標動物識別模型；
[0036] 利用第一目標動物識別模型識別待識別行為，得到最終的識別結果。
[0037] 上述方法中，所述訓練數據集中的訓練樣本為人的行為樣本和非目標動物的行為 樣本的組合時，步驟103包括：
[0038] 對于不同種類的行為樣本，分別訓練得到不同的中間識別模型，利用集成迀移學 習法將所述不同的中間識別模型融合成一個目標動物識別模型。
[0039] 上述方法中，所述訓練數據集中的訓練樣本為人的行為樣本、非目標動物的行為 樣本和目標動物的行為樣本的組合時，步驟103包括：
[0040] 對于目標動物的行為樣本，訓練得到第一目標動物識別模型；
[0041] 對于出目標動物的其他不同種類的行為樣本，分別訓練得到不同的中間識別模 型；
[0042]對于利用集成迀移學習法將所述中間識別模型融合成第二目標動物識別模型；
[0043] 利用第一目標動物識別模型和第二目標動物識別模型分別識別待識別行為，并結 合兩個識別結果得到最終的識別結果。
[0044] 對輸入視頻，第一步要提取原始特征。我們采用在當前行為識別研究中比較流行 的密集軌跡（dense trajectory)方法。首先，提取 TRJ (trajec tori es)、HOG (hi stograms of oriented gradients)、H0F(histograms of optical flow)、MBH(motion boundary histogram)四種局部特征，經過主成分分析(principal component analysis，簡稱PCA)把 特征維度降到原來的一半，然后采用詞袋模型(bag of words)對每一種局部特征編碼，視 覺詞典(visual words)的個數設置為2000,于是對每個視頻得到了幻、!106、!10?、冊!1四種局 部特征的直方圖特征，最后把它們串接起來，作為視頻的原始特征。本發明不限于上述四種 原始特征，本方法對原始特征沒有限定，適用任何有效的行為識別的特征。
[0045] 由于來自人和動物的原始特征的概率分布不同，我們采用迀移學習的方法把原始 特征轉化為新的特征，最后采用線性支持向量機(support vector machine，SVM)作為最后 特征的分類器，設置參數C = 500。迀移學習的方法具體如下所述。
[0046] 圖2中，用人的行為的數據訓練，把訓練好的模型迀移到目標動物，以識別該動物 的行為。在提取原始特征之后，我們采用TL中迀移稀疏編碼(transfer sparse coding，簡 稱TSC)的方法(Long等人提出），為了減小訓練數據和測試數據在特征分布上的差異性，把 訓練和測試數據的原始特征一起映射到一個共同的空間，得到新的特征。該方法具體步驟 如下。
[0047] 記H= [lu，…，hN] GRdxn為原始特征矩陣，其中D表示特征維度，N表示總的特征數 目，N=NMt，H的前Ns列為訓練數據的特征，后Nt列為測試數據的特征。U= [m，…，uK] e Rdxk 為稀疏編碼的詞典，基的個數為LV= [V1，…，VN] e Rkxn為原始特征經過稀疏編碼后的新特 征所組成的矩陣。迀移稀疏編碼TSC的目標函數如下所示：
(J)
[0048]
[0049] 式中，λ，μ，γ為模型系數，實驗中取固定的值，矩陣M，L為迀移學習相關參數，解釋 如下。
[0050] 該目標函數由三項組成。第一項是稀疏編碼的重構誤差，第二項是對編碼的L1E 貝1J，使得新特征產生稀疏的效果，前兩項是傳統的稀疏編碼方法。第三項是針對迀移學習 的，由兩部分組成，即最大均值差異(maximum mean discrepancy，簡稱MMD)正則化和圖拉 普拉斯(graph Laplacian，簡稱GL)正規化。
[0051] MMD是對概率分布的一種非參數度量方法，它采用兩個不同概率分布的均值之間 的距離作為這兩個概率分布之間的距離度量，計算如下：
[0052] (2)
[0053]
[0054] (3)
[0055] MMD正則化能夠減小來自不同分布的特征經過編碼后的差異，當且僅當兩類分布 相同的時候，MMD漸進趨近于0，相當于沒有加約束。
[0056]如果兩個特征在原始空間距離近，那么在編碼的特征在新的空間距離也應該近， GL正規化正是基于這個思路。它采用K近鄰對特征在原始空間的鄰近關系建模，構建鄰接矩 陣W如下：
[0057]
(4>
[0058] 定義GL矩陣L=W-D，其中
灃最小化以下函數：
[0059]
(5)
[0060] 對于公式（1)中的目標函數，可以采用兩步走的優化方法求解。第一步，固定詞典 U，計算最優的編碼V;第二步，固定編碼V，計算最優的詞典U。這兩個步驟交替迭代，一直到 目標函數值不再下降或者誤差在可接受的范圍之內。
[0061] 對于新特征V，采用來自人的訓練數據做訓練，得到行為識別的模型，，然后采用測 試數據對所述目標動物進行測試，用于識別目標動物的行為，測試過程中分類器參數不變。 作為對比方法，我們對原始特征做類似的處理。
[0062] 圖3中，用人和多類其它動物的行為的數據訓練，把多個訓練好的模型迀移到同一 類目標動物。對每一個來源(人或者某一類動物）的訓練數據，采用圖1中所述的方法，得到 從這個來源迀移的行為識別模型。集成迀移學習（ensemble transfer IearningJI^lETL) 是把多個TL模型的結果整合到一起的一類機器學習方法，正好針對我們的這個問題。這里， 我們采用局部加權集成（locally weighted ensemble，簡稱LWE)的方法(Gao等人提出）。具 體過程如下所述。
[0063] 假設已知1個從不同來源迀移的識別模型彳和測試數據集合DT，根據貝葉斯法 貝IJ，測試樣本的后驗概率估計如下：
[0064] (6)
[0065] 式中，P(y|h，Mk)表示模型Mk判斷樣本heDT是行為y的概率，P(MkIh)表示樣本h選 擇模型Mk來分類的概率，我們可以把P(Mk|h)看做對某一個樣本h的權重系數，即，并作 為模型需要估計的參數。
[0066] 測試樣本h的真實標簽是未知的，f(h)表示測試數據的概率密度函數。我們認為以 下兩條假設是合理的:假設1，對某個測試樣本，如果某個模型的預測概率(P(y|h，M k))的分 布和該樣本真實的概率(P(y Ih))的分布接近，那么這個模型應該擁有對這個樣本相對較大 的權重系數;假設2,在概率密度f(h)值較大的區域，該密度函數的變化相對平緩，也就是 說，分類的邊界應該在概率密度值較小的區域。
[0067] 但是，對于高維數據，概率密度函數f(h)很難準確估計，特別是樣本數目缺乏的情 況下。這里，我們采用一種替代的辦法。首先，對測試樣本聚類，并認為聚類中心的邊界處對 應概率密度低的區域。對于樣本h，如果模型M k預測的分類邊界和聚類中心的邊界一致，我 們認為P(y I h，Mk)和標簽真實的分布很像，也就是說，的值較大。
[0068] 因此，我們采用一種聚類的方法來估計模型對于樣本的權重系數。首先，把測試數 據聚為c個類別，并構造圖61=%辦）^表示測試樣本集合辦表示測試樣本之間的連接關 系，當且僅當兩個不同的樣本屬于同一個聚類中心時，它們之間才會有邊相連接。接著，對 于每一個模型M k，我們構造類似的圖= (Fr，EMk)，不同之處在于邊的集合EMk，這里，當 且僅當兩個不同的樣本被模型M k判為同一個類別時，它們之間才會有邊相連接。基于以上 的分析，我們可以認為，對于樣本h，模型Mk的權重系數》和該樣本在圖Gt和圖G lvlk中共同 相鄰的節點的個數成正比，即：
[0069]
(7)
[0070] 式中VT,h，分別表示樣本h節點在圖Gt，GMk中的相鄰節點的集合。
[0071 ]對每一個樣本h，由此估計％%> ?并按照公式(6)計算屬于某行為的概率，從而判斷 該樣本的行為。
[0072] 圖4中，用人和多類其它動物的行為的數據，以及目標動物的部分有標注的數據做 訓練，以識別該動物的行為。我們采用三種策略，并比較它們的結果。第一種策略是傳統的 行為識別方法，即只采用目標動物的有標注的數據做訓練。第二種策略是圖2中所述的方 法，即用人和多類其它動物的數據做訓練。第三中策略是前兩種的結合，我們簡單的對前兩 種策略所預測的行為的概率分布做后融合，即把這兩個預測概率相加。
[0073] 下面通過具體實施例詳細說明本發明提出的上述方案，并借助實驗結果來驗證本 發明的有效性。基于以上所發明的方法，實驗設置分為以下三種情況：
[0074] 情況I:用人的數據做訓練，把訓練好的模型迀移到目標動物，以識別該動物的行 為；
[0075] 情況2:用人和多類其它動物的數據做訓練，把多個訓練好的模型迀移到同一類目 標動物，以識別該動物的行為；
[0076] 情況3 :用人和多類其它動物的數據，以及該目標動物的部分有標注的數據做訓 練，以識別該動物的行為。
[0077]針對目標動物有部分訓練數據的情況，本發明采用三種策略解決這個問題，即簡 易的行為識別方法，基于迀移學習的行為識別方法，以及兩者結合的方法。
[0078] 由于這是一個新的問題，需要數據庫中既有人的行為視頻，也有不同動物的行為 視頻。幸運的是，我們不需要自己構建數據庫，美國密西根大學2015年公布了一個新的行為 識別的數據庫，即A2D數據庫，該數據庫同時包含動物和人的行為視頻。Xu等人構建這個數 據庫是為了做本體(指行為的主體)和行為的共同分類、分割，我們正好用這個數據庫來做 基于迀移學習的動物的行為識別。
[0079] 圖5顯示了A2D數據庫中人和部分動物對應的部分行為，從中可以看出，動物和人 的行為是相似的。
[0080] 實驗設置如下所述。
[0081] 對于情況1，我們把A2D中成人的全部視頻作為訓練集合，分別把鳥、貓、狗這三類 動物的視頻作為測試集合。我們采用原始特征直接分類，作為非迀移學習方法和實驗中的 迀移學習方法做對比。結果如表格1所示。
[0082] 對于情況2,考慮到有四類視頻，成人、鳥、貓、狗，我們分別把鳥、貓、狗這三類動物 的視頻作為測試集合，而把其它所有視頻作為訓練集合。舉個例子，用鳥的視頻做測試的時 候，采用成人、貓和狗的視頻做訓練。類似于情況1，我們也用原始特征做分類，作為對比試 驗。因為我們針對情況2采用了集成迀移學習的融合方法，為驗證效果，我們采用后融合(把 多個分類器的預測概率相加)方法作為對比實驗。結果如表格2所示。
[0083] 對于情況3,對于鳥、貓、狗中的某一類目標動物，我們首先把它所有的數據隨機劃 分訓練集合測試集合，實驗中，采用20%的數據做訓練，其余做測試，另外，采用其它動物以 及成人的全部數據作為額外的訓練集合。我們對比了三種不同的策略，即傳統的行為識別 方法，基于迀移學習的行為識別方法，以及兩者結合的方法。結果如表格3所示。
[0084] 表格1情況1的行為識別精度，從人迀移到動物
[0086]表格2情況2的行為識別精度，從人和其它動物共同迀移到該動物，并經過模型融 合
Luuvi j 從衣格i的結米η」以有出，It秒字 >」的力ViK非Xt秒字 >」的結米壯。田此諷明，人 的行為可以迀移到動物，并幫助動物的行為識別，特別是針對動物沒有訓練樣本的情況下。 [0092]從表格2的結果可以看出，迀移學習的方法比非迀移學習的結果好，集成迀移學習 要比后融合的結果好。同時，我們發現，表格2中的最好結果比表格1中的最好結果好。由此 說明，不僅人的行為可以迀移到動物，不同動物的行為也可以互相迀移。如果要識別某一類 動物的行為而沒有訓練數據，我們可以采用人和其它動物的數據做訓練，提取特征之后，先 采用迀移學習的方法減少特征之間的差異，再采用集成迀移學習的方法融合多個模型，這 樣可以獲得最好的識別效果。
[0093]從表格3的結果可以看出，針對有部分標注的樣本的情況，迀移學習方法依舊是很 有效的，特別是當有標注的數據不夠多時候(比如，低于20%)。另外，把傳統的行為識別方 法和基于迀移學習的行為識別方法結合起來，我們可以進一步提高識別精度。
[0094]綜上，針對動物的行為識別中訓練數據獲取困難這個問題，我們提出了提出了一 種新的解決思路，即基于迀移學習的動物的行為識別。該方法能有效的識別動物的行為，適 用于目標動物沒有訓練樣本的情況，以及訓練樣本不夠多的情況。
【主權項】
1. 一種基于迀移學習的動物行為識別方法，其包括： 步驟101，針對訓練數據集中的每一個訓練樣本和測試數據集中的每一測試樣本，提取 原始特征； 步驟102,采用迀移學習中的領域適應學習法將所述原始特征映射到共同空間中，得到 新的特征； 步驟103，利用所述新的特征訓練SVM分類器，得到目標動物行為識別模型，同時對所述 目標動物行為識別模型進行測試； 步驟104,利用所述動物行為識別模型對目標動物的待識別行為進行識別。2. 根據權利要求1所述的方法，其中所述訓練數據集中的訓練樣本包括人的行為樣本、 非目標動物的行為樣本和目標動物的行為樣本中的一種或幾種的組合。3. 根據權利要求2所述的方法，其中，所述訓練數據集中的訓練樣本僅為人的行為樣本 時，步驟103包括： 對于人的行為樣本，訓練得到第一目標動物識別模型； 利用第一目標動物識別模型識別待識別行為，得到最終的識別結果。4. 根據權利要求2所述的方法，其中所述訓練數據集中的訓練樣本為人的行為樣本和 非目標動物的行為樣本的組合時，步驟103包括： 對于不同種類的行為樣本，分別訓練得到不同的中間識別模型，利用集成迀移學習法 將所述不同的中間識別模型融合成一個目標動物識別模型。5. 根據權利要求2所述的方中，其中所述訓練數據集中的訓練樣本為人的行為樣本、非 目標動物的行為樣本和目標動物的行為樣本的組合時，步驟103包括： 對于目標動物的行為樣本，訓練得到第一目標動物識別模型； 對于目標動物的其他不同種類的行為樣本，分別訓練得到不同的中間識別模型； 對于利用集成迀移學習法將所述中間識別模型融合成第二目標動物識別模型； 利用第一目標動物識別模型和第二目標動物識別模型分別識別待識別行為，并結合兩 個識別結果得到最終的識別結果。6. 根據權利要求1-5任一項所述的方法，其中，步驟103還包括： 利用測試樣本得到的新特征對所述目標動物行為識別模型進行測試。7. 根據權利要求1所述的方法，其中，步驟101具體包括： 提取TRJ、HOG、HOF和MBH四種局部特征； 經過主成分分析方法將所述四種局部特征的維度降到原來一半； 采用詞袋模型對每一種局部特征編碼，針對每個視頻得到上述四種局部特征的直方圖 特征； 將得到的直方圖特征串接起來，得到原始特征。8. 根據權利要求4所述的方法，其中，步驟103還包括： 對測試樣本進行聚類為c個類別，并構造圖61=%而）^表示測試樣本集合而表示測 試樣本之間的連接邊集合，當且僅當兩個不同的測試樣本屬于同一個聚類中心時，它們之 間才會有邊相連接； 對于每一個待測試的目標動物行為識別模型Mk，構造圖= )，EKtk表示測試 樣本之間的連接邊集合，當且僅當兩個不同的測試樣本被待測試的目標動物行為識別模型 Mk判為同一個類別時，它們之間才會有邊相連接； 基于以上的分析，對于測試樣本h，待測試的目標動物行為識別模型Mk的權重系數>%^ 和該測試樣本在圖GT和圖〇4中共同相鄰的節點的個數成正比，即：式中VT, h，.a分別表示樣本h節點在圖GT，中的相鄰節點的集合； 對每一個測試樣本h，利用估計得到的1^^?計算測試樣本屬于某行為的概率，從而判 斷該測試樣本的行為。9. 根據權利要求8所述的方法，其中，如下計算測試樣本屬于某行為的概率：其中，P(y | h，Mk)表示Mk判斷樣本h e Dt是行為y的概率，P (Mk | h)表示樣本h選擇Mk來分類 的概率，把P(Mk I h)看做對某一個樣本h的權重系數，即1為Mk的個數。10. -種基于迀移學習的目標動物行為識別裝置，其包括： 特征提取模塊，用于針對訓練數據集中的每一個訓練樣本和測試數據集中的每一測試 樣本，提取原始特征； 特征優化模塊，用于采用迀移學習中的領域適應學習法將所述原始特征映射到共同空 間中，得到新的特征； 訓練和測試模塊，用于利用所述新的特征訓練SVM分類器，得到目標動物行為識別模 型，同時對所述目標動物行為識別模型進行測試； 分類和識別模塊，用于利用所述動物行為識別模型對目標動物的待識別行為進行識 別。
【文檔編號】G06K9/62GK106056043SQ201610339756
【公開日】2016年10月26日
【申請日】2016年5月19日
【發明人】王亮, 王威, 王洪松
【申請人】中國科學院自動化研究所