一種基于深度學習的多模式數據融合方法與流程

技術特征：

1.一種基于深度學習的多模式數據融合方法，其特征在于，包括：

對N個模式數據分別進行向量化處理；N為自然數，且N個模式數據中包括傳感器數據；

對N個模式數據中每一個模式數據建模，得到N個單模式數據；

將得到的任意兩個單模式數據進行融合，得到雙模式數據；

將包含相同模式數據的任意兩個雙模式數據進行融合，將任一個雙模式數據和與該雙模式數據不相同的單模式數據進行融合，得到三模式數據；

以此類推，根據得到的N-1模式數據進行N模式數據融合，得到N模式數據。

2.根據權利要求1所述的方法，其特征在于，所述N為4，四個模式數據分別為音頻數據、傳感器數據、圖像數據和文本數據。

3.根據權利要求2所述的方法，其特征在于，對音頻數據進行稀疏化和向量化處理具體為：

根據第j個隱層神經元的平均激活度得到m為音頻數據的個數，x⁽ⁱ⁾表示第i個音頻數據；

其中，表示兩個分別以ρ和為均值伯努力分布的相對熵，ρ為稀疏性參數，為隱藏神經元j的激活度，n為隱層神經元個數；

設定截斷核范數；

然后進行稀疏自編碼學習，得到稀疏化和向量化的音頻數據J_sparse(W,b)；

其中，h_W,b(x⁽ⁱ⁾)表示重建的x⁽ⁱ⁾，β,α表示稀疏化懲罰因子的權重，W⁽¹⁾表示可見層到第一隱層的權重。

4.根據權利要求2所述的方法，其特征在于，對傳感器數據和圖像數據進行稀疏化和向量化處理，具體為：

設神經網絡為k層，設傳感器數據和圖像數據均由N個數據樣本組成，每個數據樣本為D維向量，第k層數據向量為

預設每一層的學習閾值為(b₁,…b_K)，每一層的學習閾值逐漸增加；

進行可見層到第一隱層的學習，得到第一隱層的向量；

根據得到的第一隱層的向量，進行第i隱層到第i+1隱層的學習，得到第i+1隱層的向量，0<i<k-2；

根據第k-2隱層的向量，進行第k-2隱層到第k-1隱層的學習，得到稀疏化和向量化后的傳感器數據和圖像數據。

5.根據權利要求4所述的方法，其特征在于，所述第一隱層的向量為其中，{v¹,...,v^m}表示訓練集中有m個訓練樣本，ρ為稀疏性參數，D表示維數，W_ij表示可見層第i個單元對第一隱層第j個神經元的貢獻度；b_j表示第j個神經元的偏移值。

6.根據權利要求4所述的方法，其特征在于，所述第k-2隱層的向量為

其中，表示第i隱層第j個向量，表示第k-2隱層第j個向量，表示第i隱層第s個神經元對第i-1隱層第j個神經元的貢獻度，表示第i層到第i+1層的第j個神經元的偏移值；表示第k-2隱層第s個神經元對第k-1隱層第j個神經元的貢獻度，表示第k-3層到第k-2層的第j個神經元的偏移值。

7.根據權利要求4所述的方法，其特征在于，設稀疏化和向量化后的傳感器數據和圖像數據為h^(k-1)，表示第k-1隱層第j個向量，其中，第k-2隱層第s個神經元對第k-1隱層第j個神經元的貢獻度，表示第k-2層到第k層的第j個神經元的偏移值。

8.根據權利要求2所述的方法，其特征在于，將包含相同模式數據的任意兩個雙模式數據進行融合，將任一個雙模式數據和與該雙模式數據不相同的單模式數據進行融合，得到三模式數據，具體為：

將雙模式數據中包含相同模式數據的任意兩個雙模式數據組合，稱為第一組合；將任一個雙模式數據和與其不相同的單模式數據組合，稱為第二組合；

使用限制波爾茲曼機對第一組合和第二組合中的任一項的第一、第二隱層分別建模，得到三模式數據。

9.根據權利要求2所述的方法，其特征在于，根據得到的N-1模式數據進行N模式數據融合，得到N模式數據，具體為：

將得到的三模式數據中任一個三模式數據與其不相同的單模式數據組合，稱為第三組合；將雙模式數據中任一個雙模式數據和與其不相同的雙模式數據組合，稱為第四組合；

使用限制波爾茲曼機對第三組合和第四組合中的任一項的第一、第二隱層分別建模，得到四模式數據。

10.根據權利要求1至9任一項所述的方法，其特征在于，還包括：

根據包含第一模式數據的多模式數據和對應不包含第一模式數據的單模式或多模式數據推測第一模式數據。