一種深度尺度學習的時間序列規整方法
【專利摘要】本發明涉及一種深度尺度學習的時間序列規整方法，采用端到端的學習方法，將不同長短的高維時間序列進行非線性降維和拉伸變換處理，該方法包括以下步驟：(1)在歐式空間下對同類時間序列信號進行時間規整，得到時間規整矩陣；(2)通過時間規整矩陣，將時間序列信號進行非線性降維，并增加自編碼和正則化項進行約束，求得非線性降維方程，進而求得非線性降維矩陣；(3)對同種類別的時間序列進行時間規整，得到新的時間規整矩陣；(4)如果超過迭代次數或者驗證數據組的結果準確率不升反降，結束計算，否則轉到步驟(2)。與現有技術相比，本發明具有速度快、能夠應對非線性時間序列識別等優點。
【專利說明】
-種深度尺度學習的時間序列規整方法
技術領域
[0001] 本發明設及一種時間序列規整方法，尤其是設及一種深度尺度學習的時間序列規 整方法。
【背景技術】
[0002] 時間序列分類有廣泛的應用場景，并且是視覺和機器學習領域的研究重點和難 點。由于時間序列長短不一致，尤其是對于高維非線性時間序列，特征提取W及特征之間的 比較即尺度問題是時間序列分類的關鍵問題。
[0003] 對于不同長度的時間序列動態時間規整(DTW，Dynamic time Wa巧ing)是常用的 預處理方法，該方法的是將不同時間長短的時間序列在歐式空間下通過動態規劃的方法將 序列拉伸到相同的長度。歐式空間往往因為特征較多，因此計算量較大或者在歐式空間中 不能提取有效的時間序列特征。
【發明內容】
[0004] 本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種計算量小、能夠 提取有效非線性特征的深度尺度學習的時間序列規整方法，學習時間序列的時間-空間特 征并在低維空間中保持時間序列的尺度信息，對時序信號進行處理，將不同長短的高維時 間序列進行降維和拉伸變換處理并進行下一步操作。
[0005] 本發明的目的可W通過W下技術方案來實現:一種深度尺度學習的時間序列規整 方法，假設兩個時間序列在同一視角并在同一非線性空間中，采用端到端的學習，將不同長 短的高維時間序列進行降維和拉伸變換處理，該方法包括W下步驟：
[0006] (1)在歐式空間下對同類時間序列信號進行時間規整，得到時間規整矩陣；
[0007] (2)通過時間規整矩陣，將時間序列信號進行非線性降維，并增加自編碼和正則化 項進行約束，求得非線性降維方程，進而求得非線性降維矩陣；
[0008] (3)對同種類別的時間序列進行時間規整，得到新的時間規整矩陣；
[0009] (4)如果超過迭代次數或者驗證數據組的結果準確率不升反降，結束計算，否則轉 到步驟(2)。
[0010] 根據非線性降維方程
求解非線性降維矩陣W (m)
[001 U 其中，爲表示該方程的尺度信息，為自編碼器，Al為自編碼項的權重系數山 為正則化項的權重系數，m表示第m層網絡參數，M表示網絡的層數。
[0012]所述的自編碼器為
用于防止非線性降維后的時間序列 特征為奇異解，
[0013]其中，Xi為輸入時間序列，f為降維方程，g為信號恢復方程，N表示時間序列的個 數。
[0014] 采用改進的動態時間規整算法對同種類別的時間序列進行時間規整，并采用一般 時間規整方法GTW(General time Wa巧ing)中的時間規整的部分計算新的時間規整矩陣。
[0015] 所述的時間規整的方法將新的時間規整矩陣的求解表示為多條單調遞增基函數 的線性組合，通過求解所述的線性組合的系數，得到新的時間規整矩陣。
[0016] 本發明的假設是兩個時間序列在同一視角并在同一非線性空間中。本發明應用于 長度不一致的時間序列分類問題中，比如動作識別，文本、視頻分類等。
[0017]假設時間序列戊二1，....，K康示K類時間序列，每個類別樣本為有ck個，每個 時間序列由維數相同d，長度不同n的矩陣表示為《 曰化
[0018] 本發明通過弱監督的深度學習方法對原始時間-空間特征進行降維并保持其尺度 信息。其監督信號為動作的類別信息，而不是每個時刻都有確定的標簽信息。
[0019] 本發明將非線性降維和時間規整矩陣放到同一個目標方程中進行求解，
[0020]
[0021 ]在上述方程中，求解時間規整矩陣和非線性降維矩陣。
[0022] 1、非線性降維矩陣的求解
[0023]
，其中，表示該方程的尺度信息，通過 時間序列的類別信息進行監督，其主要思想為保證類內距離最小且類間距離最大。此距離 在時間序列進行非線性變換后統一到同一個低維非線性空間中并可W通過歐式距離進行 相互比較，同時為了防止模型過擬合，該方程的后兩項為約束項，為自編碼項和正則化項。
[0024] 尺度信息的優化方程主要包含兩個部分，第一部分為保證類內距離最小，第二部 分為保證類間距離最大。
[0025]
[0026] 其中，/Xx) = 為Mnge Loss方程。由于此方程非光滑函數不可微分，在本 發明中采用其光滑近似方若
來表示。rU和屯分別為兩個尺度關系 的權值系數。
[0027] 丑:中，白編砲器夫元血下，
[002引
[0029] 通過添加自編碼器作為約束保證系統能夠在低維空間保持信號原始信息，防止非 線性降維后的時間序列特征為奇異解。
[0030] 激勵函數采用Leaky ReLlKRectif ied Linear Units):
[0031]
[0032] 采用本函數的目的是因為其能很好的應對輸入為負值時，梯度無法向下傳遞。
[0033] 需要優化的目標函數如下：
[0034；
[0035] 通過反向傳播算法，對深度神經網絡參數求解其梯度，可得：
[0036]
[0037]
[00；3 引
[0039]
[0040]
[0041]
[0042]
[0043]
[0044]
[0045]
[0046]
[0047]
[0048] 運是通過在已經經過時間規整后的時序信號所求解的非線性降維函數。
[0049] 2、時間規整矩陣的求解
[0050] 通過將非線性降維后同類時間序列信號進行時間規整，可W得到新的時間規整矩 陣，該時間規整矩陣是基于非線性降維函數能夠保持時間序列的尺度信息運一基礎上的。 [0051 ] 本發明采用基于DTW(Dynamic time Wa巧ing)的改進算法進行信號的時間規整。 傳統進行時間規整的方法通過動態規劃進行計算，運種算法的缺點是所需時間較長，因此 可W采用其他方法進行加速。
[0化2] 在本發明中，采用一般線性規整GTW(General time wa巧ing)中的時間規整的部 分進行計算。時間規整的方法將新的時間規整矩陣的求解表示為多條單調遞增基函數的線 性組合，通過求解所述的線性組合的系數，得到新的時間規整矩陣。
[0053] 時間規整只有在同類信號才有意義，因此時間規整矩陣只是通過同類信號進行求 解，并不設及不同類別信號的時間規整。
[0054] 與現有技術相比，本發明提出的一種非線性降維的時間序列規整方法，學習時間 序列的時間-空間特征并在低維非線性空間中保持時間序列的尺度信息，通過本方法對時 序信號進行處理，可W將不同長短的高維時間序列進行降維和拉伸變換處理并進行下一步 操作，本發明采用改進的DTW化ynamiC time wa巧ing)算法對時間序列進行時間規整，比傳 統的DTW算法節省時間。
【附圖說明】
[0055] 圖1為本發明的流程圖。
【具體實施方式】
[0056] 下面結合附圖和具體實施例對本發明進行詳細說明。
[0057] 如圖1所示，一種深度尺度學習的時間序列規整方法，假設兩個時間序列在同一視 角并在同一非線性空間中，采用端到端的學習方法，將不同長短的高維時間序列進行降維 和拉伸變換處理，該方法包括W下步驟：
[0058] (1)在歐式空間下對同類時間序列信號進行時間規整，得到時間規整矩陣；
[0化9] (2)通過時間規整矩陣，粹時巧席別倍鳥徘巧韭純化除維-並憎巾n自編碼和正則化 項進行約束，求得非線性降維方若 并進一步求解非 線性降維矩陣，
[0060] 其中，而表示該方程的尺度信息，兩￡為自編碼器，、為自編碼項的權重系數，入2 為正則化項的權重系數，m表示第m層網絡參數，M表示網絡的層數。
[0061] 自編碼器夫
用于防止非線性降維后的時間序列特征為 奇異解，其中，X功輸入時間序列，f為降維方程，g為信號恢復方程，N表示時間序列的個數。
[0062] (3)對同種類別的時間序列進行時間規整，得到新的時間規整矩陣;采用改進的動 態時間規整算法對同種類別的時間序列進行時間規整，并采用一般時間規整方法GTW (General time warping)中的時間規整的部分計算新的時間規整矩陣。新的時間規整矩陣 為多條單調遞增基函數的線性組合，通過求解線性組合的系數，得到新的時間規整矩陣。
[0063] (4)如果超過迭代次數或者驗證數據組的結果準確率不升反降，結束計算，否則轉 到步驟(2)。
[0064] 本發明的假設是兩個時間序列在同一視角并在同一非線性空間中。本發明應用于 長度不一致的時間序列分類問題中，比如動作識別，文本、視頻分類等。
[0065] 假設時間序列戊L,./:二1，...，欠'，表示K類時間序列，每個類別樣本為有ck個，每個 時間序列由維數相同d，長度不同n的矩陣表示天
,
[0066] 本發明通過弱監督的深度學習方法對原始時間-空間特征進行降維并保持其尺度 信息。其監督信號為動作的類別信息，而不是每個時刻都有確定的標簽信息。
[0067] 本發明將非線性降維和時間規整矩陣放到同一個目標方程中進行求解，
[006引
[0069] 在上述方程中，求解時間規整矩陣和非線性降維矩陣。
[0070] 1、非線性降維矩陣的求解
[0071]
，其中，而表示該方程的尺度信息，通過 時間序列的類別信息進行監督，其主要思想為保證類內距離最小且類間距離最大。此距離 在時間序列進行非線性變換后統一到同一個低維空間中并可W通過歐式距離進行相互比 較，同時為了防止模型過擬合，該方程的后兩項為約束項，為自編碼項和正則化項。
[0072] 尺度信息的優化方程主要包含兩個部分，第一部分為保證類內距離最小，第二部 分為保證類間距離最大。
[00731
[0074] 其中：
化inge Loss方程。由于此方程非光滑函數不可微分，在本 發明中采用其光滑近似方程
g表示。屯和屯分別為兩個尺度關系的 權值系數。
[0075] 其中，自編碼器表示化下：
[0076]
[0077] 通過添加自編碼器作為約束保證系統能夠在低維空間保持信號原始信息，防止非 線性降維后的時間序列特征為奇異解。
[0078] 激勵函數采用Leaky ReLlKRectif ied Linear Units):
[0079]
[0080] 采用本函數的目的是因為其能很好的應對輸入為負值時，梯度無法向下傳遞。
[0081 ]需要優化的目標函數如下：
[0082]
[0083]通過反向傳播算法，對深度神經網絡參數求解其梯度，可得：
[0084]
[0085]
[0086]
[0087]
[008引
[0089]
[0090]
[0091]
[0092]
[0093]
[0094]
[0095]
[0096] 運是通過在已經經過時間規整后的時序信號所求解的非線性降維函數。
[0097] 2、時間規整矩陣的求解
[0098] 通過將非線性降維后同類時間序列信號進行時間規整，可W得到新的時間規整矩 陣，該時間規整矩陣是基于非線性降維函數能夠保持時間序列的尺度信息運一基礎上的。
[0099] 本發明采用DTW(Dynamic time wa巧ing)的改進算法進行信號的時間規整。傳統 進行時間規整的方法通過動態規劃進行計算，運種算法的缺點是所需時間較長，因此可W 采用其他方法進行加速。
[0100] 在本發明中，采用一般時間規整方法GTW(General time Wa巧ing)中的時間規整 的部分進行計算。時間規整的方法將新的時間規整矩陣的求解表示為多條單調遞增基函數 的線性組合，通過求解線性組合的系數，得到新的時間規整矩陣。
[0101]時間規整只有在同類信號才有意義，因此時間規整矩陣只是通過同類信號進行求 解，并不設及不同類別信號的時間規整。
【主權項】
1. 一種深度尺度學習的時間序列規整方法，假設兩個時間序列在同一視角并在同一非 線性空間中，其特征在于，采用端到端的學習方法，將不同長短的高維時間序列進行非線性 降維和拉伸變換處理，該方法包括以下步驟： (1) 在歐式空間下對同類時間序列信號進行時間規整，得到時間規整矩陣； (2) 通過時間規整矩陣，將時間序列信號進行非線性降維，并增加自編碼和正則化項進 行約束，求得非線性降維方程，進而求得非線性降維矩陣； (3) 對同種類別的時間序列進行時間規整，得到新的時間規整矩陣； (4) 如果超過迭代次數或者驗證數據組的結果準確率不升反降，結束計算，否則轉到步 驟⑵。2. 根據權利要求1所述的一種深度尺度學習的時間序列規整方法，其特征在于，根據非 線性降維方gIf求解非線性降維矩陣W(m)， 其中，表示非線性降維方程的尺度信息，么?為自編碼器，λ:為自編碼項的權重系 數，λ2為正則化項的權重系數，m表示表示第m層網絡參數，Μ表示網絡的層數。3. 根據權利要求2所述的一種深度尺度學習的時間序列規整方法，其特征在于，所述的 自編碼器^用于防止非線性降維后的時間序列特征為奇異解， 其中，為輸入時間序列，f為降維方程，g為信號恢復方程，Ν表示時間序列的個數。4. 根據權利要求1所述的一種深度尺度學習的時間序列規整方法，其特征在于，采用改 進的動態時間規整算法對同種類別的時間序列進行時間規整，并采用一般時間規整方法 GTW(General time warping)中的時間規整的方法，計算新的時間規整矩陣。5. 根據權利要求4所述的一種深度尺度學習的時間序列規整方法，其特征在于，所述的 時間規整的方法將新的時間規整矩陣的求解表示為多條單調遞增基函數的線性組合，通過 求解所述的線性組合的系數，得到新的時間規整矩陣。
【文檔編號】G06F17/11GK105955925SQ201610272860
【公開日】2016年9月21日
【申請日】2016年4月28日
【發明人】尹曉川, 陳啟軍
【申請人】同濟大學