一種輕量化多模態車輛行為的快速檢測方法

本發明涉及車輛安全駕駛監測，更具體的說是涉及一種輕量化多模態車輛行為的快速檢測方法。

背景技術：

1、近年來，隨著電子信息與通信技術的迅猛發展，駕駛輔助技術在不斷進步。然而不同地區的道路和車輛智能化進程不均，這給駕駛管理和車輛操作帶來了顯著的差異，也對人機共駕特征分析提出了新的挑戰。人機共駕是指在車輛部分自動化駕駛模式下，人類駕駛員與智能系統之間的協同操作，以完成特定區域內的駕駛任務。準確分析和理解駕駛員的在途駕駛風格，能夠提高智能系統對駕駛員狀態和操作的理解，進而增強駕駛員與智能系統的實時匹配度，這不僅能提升駕駛效率，還有助于有效預防潛在的安全風險。

2、車輛的駕駛過程需要駕駛員持續關注周圍車輛及道路狀況，但駕駛員可能會因廣播系統、道路標識、乘客交流、車輛控制特性等因素分散注意力，智能車機和車輛智能控制系統的部署進一步增加了駕駛操作的動態輔助與干擾，改變了駕駛員的注意力分配及道路交通事故的威脅因素。駕駛員注意力分配錯誤可能導致不當的駕駛行為，如不必要的急加速、急剎車或大幅轉向，這些錯誤可能導致傷害、事故甚至生命危險，同時也會造成經濟損失。面對交通運輸需求的多樣性，包括通勤、休閑、運輸和緊急任務，事故風險始終存在。在所有道路交通事故中，絕大多數是由于駕駛員、車輛或道路條件出現異常所致。此外，駕駛員的身體健康和精神狀態以及車輛操作性能，也會對駕駛行為產生影響。傳統的監測系統依賴于車載自組織網絡（vanet）和類似的智能技術，通過復雜的車輛運動和操作規則評估駕駛員能力和車輛操作性。然而，這些方法依賴于嚴密的操作關聯設計和預設規則，當遇到模擬數據不足或偶發事件時，可能無法準確識別駕駛行為。因此，基于車載設備和路側設備，需要更強分析能力的綜合模型，以利用多模態數據，并減少對明確事件關聯規則設計的依賴，從而提高對不同類型駕駛行為和路況狀態的關聯分析能力。

3、目前，主流的駕駛風格數據獲取方法主要包括兩種：一是基于主觀調查，通過預先設計的調查問卷獲取駕駛風格數據，并從中提取所需的駕駛特征參數進行分析；二是基于客觀檢測，通過駕駛模擬器或實際車輛路側檢測器獲取駕駛數據，并進行后續處理進行駕駛行為分析。主觀調查存在駕駛員對問卷理解程度和表達欲的不同，可能導致結果偏差，并且無法連續獲取詳細的駕駛數據；另一方面，客觀檢測方法雖然能夠更精確地量化駕駛行為，但仍然受到預設的測試條件和設備的限制。針對現代交通的復雜場景和多樣化的駕駛員需求，傳統方法難以滿足駕駛行為分析的任務需求。因此，如何提供一種輕量化多模態車輛行為的快速檢測方法是本領域技術人員亟需解決的問題。

技術實現思路

1、有鑒于此，本發明提供了一種輕量化多模態車輛行為的快速檢測方法，采用實時通信方法對多角度的同一目標進行信息收集，通過分析從多源方法收集到的實時車路檢測數據信息，建立多模態車輛行為檢測網絡，實現對每個車輛行駛行為的連續分析。

2、為了實現上述目的，本發明提供如下技術方案：

3、一種輕量化多模態車輛行為的快速檢測方法，包括以下步驟：

4、s1、駕駛員按照自身偏好駕駛車輛在實驗場景中完成駕駛作業，實時并連續收集駕駛作業過程中的車路協同數據，得到車載狀態量信息和路側狀態量信息；

5、s2、對s1中采集的數據進行預處理，包括一維信號數據的歸一化和二維圖像數據的窗口化；

6、s3、以原始resnet-152作為基準模型，通過遷移學習建立多層神經網絡，多層神經網絡中每一個單層神經網絡對應檢測不同的行駛任務，以全連接層和雙向長短期記憶分類網絡建立行駛行為分類網絡，聯合多層神經網絡以及行駛行為分類網絡得到基準多模態車輛行為檢測網絡；

7、s4、將預處理后的數據輸入基準多模態車輛行為檢測網絡，將基準多模態車輛行為檢測網絡中每一個單層神經網絡的輸出與對應行駛任務的原始神經網絡的輸出進行對比，計算其三維間距，得到遷移學習性能評價結果；

8、s5、根據改進規則對基準多模態車輛行為檢測網絡中的單層神經網絡進行優化，計算單層神經網絡的多個優化結果，將多個優化結果與遷移學習性能評價結果進行交叉熵比較，選擇最優的優化結果作為對應單層神經網絡的調優結果，對所有單層神經網絡進行調優，得到最終多模態車輛行為檢測網絡；

9、s6、基于最終多模態車輛行為檢測網絡檢測行駛行為。

10、可選的，車載狀態量信息包括駕駛員狀態、駕駛員操作、踏板行程、踏板行程變化率、方向盤轉動角度與力度、車輛位置、車輛行駛速度、車輛加速度和車輛行駛方向變化，路側狀態量信息包括車輛行駛速度、行駛速度變化、行駛方向變化、車輛位置、車輛姿態、車輛與行駛環境的關系。

11、可選的，對多元輸入信號整體進行并行歸一處理，對原始輸入整體建立信號矩陣 std( σ)，對單個一維信號處理由數據的歸一化具體表示：

12、；

13、式中， a s為標準化值， s為步長時間，當前信號的對應實際輸入值為 t s，多維輸入整體均值為 mean( μ)， std.deviation( σ)為信號矩陣在當前單個一維信號中的分量；

14、二維圖像數據的窗口化具體為：

15、；

16、通過對當前圖像 x劃分為橫縱維度范圍均為1~x的窗口 t y與 n y，借助 t y與 n y對圖像 x的維度 d xy進行窗格化處理最終得到窗格分割的圖像 d xy。

17、可選的，采用全連接網絡層搭建注意力模塊改進傳統雙向長短期記憶分類網絡。

18、可選的，s4具體為：

19、s41、得到基準多模態車輛行為檢測網絡中單層神經網絡的輸出評價權重矩陣 w q；

20、s42、得到與單層神經網絡對應的原始神經網絡的輸出 w k；

21、s43、計算 w q與 w k之間的三維間距：

22、；

23、式中， d mixed( w q, w k)為 w q與 w k之間的三維間距， m表示矩陣的寬度維度范圍， j∈[1, m]， n表示矩陣的長度維度范圍， k∈[1, n]， i表示矩陣的深度， l對應前 i-1個深度為標量信號處理結果，第 i個深度表示圖像輸入與對應的輸出矩陣，為 l層矩陣的( j，k)位置對應輸入量的元素，為 l層矩陣的( j，k)位置對應輸出量的元素，為第 i層矩陣的( j， k)位置對應輸入量的元素，為第 i層矩陣的( j，k)位置對應輸出量的元素，對多維間距分別計算標量輸入與圖像輸入，前 i-1個標量信號各自輸入的間距通過計算對應與的間距并求均方根得到，對于圖像輸入，單獨按照窗格化結果對窗格內目標信息差異進行計算。

24、可選的，s5具體為：

25、s51、分別基于參數維度縮放、參數橫向調整、參數縱向調整與內部參數調整四種改進規則對基準多模態車輛行為檢測網絡中的單層神經網絡進行優化；

26、s52、計算所有優化后的單層神經網絡的輸出與 w k之間的三維間距；

27、s53、將所有三維間距與遷移學習性能評價結果進行交叉熵比較；

28、s54、在最匹配的三個優化結果之間選擇最優的優化結果，替換基準多模態車輛行為檢測網絡中對應單層神經網絡，實現單層神經網絡調優；

29、s55、對所有單層神經網絡進行調優，得到最終多模態車輛行為檢測網絡。

30、可選的，四種改進規則均包括增廣與收縮兩個變化方向，其中參數維度縮放、參數橫向調整、參數縱向調整在增廣與收縮兩個變化方向都有三級變化量，內部參數調整只進行收縮驗證。

31、可選的，預處理后的數據被分為標記數據集和未標記數據集，未標記數據集用于單層神經網絡調優，標記數據集用于對調優后的單層神經網絡進行驗證。

32、經由上述的技術方案可知，與現有技術相比，本發明提供了一種輕量化多模態車輛行為的快速檢測方法，具有以下有益效果：

33、1.本發明針對多模態信息行駛場景，在缺乏高精度地圖與大量系統性數據的情況下，以任務為導向，利用典型動態因素作為分類條件，通過對相鄰層的二維連續執行任務的關聯交互及單個操作任務的分類特征進行反向融合，生成了多層整體的一系列豐富的模擬規則分類需求與數據需求特征，實現了對人操作車輛通過區域的整個行駛行為的細化分類，是一種新的多模態行駛行為分類方法；

34、2.不同于傳統的多級傳感器和多類神經網絡的簡單疊加，本發明采用多個關聯模態的傳感器數據，通過交叉驗證提升多個傳感器的精度，利用關聯估計識別潛在的異常和數據缺失，借助多輸入的并行理解得到當前條件下的真實檢測信息，并對個別偏差信息進行校正，借助預測標準信息與真實檢測結果得到更接近真實情況的檢測結果分布情況，從而提升真實場景下目標檢測與狀態檢測的精度和穩定性；

35、3.本發明適用于少樣本模型訓練，在數據獲取或標注成本較高等大樣本數據利用受限的情況下，通過前向傳播生成仿真數據，并結合真實獲取數據的噪聲分布特性，生成更具泛化性的補充數據。同時，對多級關聯傳感器引入交叉限制，獲得符合真實情況的輸入信號補充。結合多個檢測的真實檢測結果分布特性，實現對所有相關數據的充分利用和擴充，提升數據的可學習性；

36、4.本發明基于小樣本車端數據和路側標注數據與大量的未標注檢測數據，借助小樣本所包含的任務需求，對駕駛員操作、車輛反饋和道路行駛狀態的變化進行深入的檢測特征融合分析，提出一種新的多模態數據分類網絡建立與動態參數調整方法。