本發明屬于電力作業現場監控,具體涉及基于時空上下文推理的作業現場安全風險管控方法及裝置。
背景技術:
1、目前,電網運行、設備檢修、建設施工等各類電網現場作業,任務繁重,點多面廣,現場風險防控難度較大。傳統“人管安全”模式主要通過各類監控終端實施現場和遠程安全管控,違章識別主要依賴人工甄別,因此,利用人工智能算法實現電力作業人員違章行為輔助識別成為一種新的解決方案。
2、近年來,電力作業現場安全風險管控輔助決策技術局限于基于視頻幀的人員狀態類違章識別,利用圖像視頻幀進行作業人員目標檢測,實現未戴安全帽、未穿絕緣手套等簡單的狀態類違章識別。然而在復雜場景作業人員與設備交互頻繁、多個行為間包含先后順序時,模型準確率低、誤報率高。
技術實現思路
1、為克服上述相關技術中存在的問題,本技術提供基于時空上下文推理的作業現場安全風險管控方法及裝置。
2、根據本技術實施例的第一方面,提供一種基于時空上下文推理的作業現場安全風險管控方法,包括:
3、連續采集電力作業現場的目標監控視頻;
4、構建所述目標監控視頻中當前幀圖像的第一空間知識圖譜;
5、基于所述第一空間知識圖譜,利用預先建立的圖卷積神經網絡確定所述當前幀圖像是否存在狀態類違章行為,并當所述當前幀存在狀態類違章行為時,進行第一風險預警;
6、按時間先后順序,利用預先建立的行為分類算法確定所述目標監控視頻中每幀圖像的行為信息;
7、利用所述目標監控視頻中當前滑動時間窗口內的所有幀圖像對應的行為信息構建行為語義圖,并根據所述行為語義圖進行第二風險預警;
8、所述預先建立的圖卷積神經網絡和所述預先建立的行為分類算法均是利用電力作業現場的歷史目標監控視頻建立的。
9、優選的,所述構建所述目標監控視頻中當前幀圖像的第一空間知識圖譜,包括:
10、以高幀率的抽取方式,從所述目標監控視頻中抽取當前幀圖像;
11、利用預先建立的電力核心要素特征提取網絡,提取所述當前幀圖像的核心對象特征;
12、對所述當前幀圖像的核心對象特征進行聚類,得到第一候選語義;
13、利用所述第一候選語義構建所述第一空間知識圖譜。
14、優選的,所述基于所述第一空間知識圖譜,利用預先建立的圖卷積神經網絡確定所述當前幀圖像是否存在狀態類違章行為,包括:
15、以所述第一空間知識圖譜為所述預先建立的圖卷積神經網絡的輸入;
16、當所述當前幀圖像存在狀態類違章行為時,所述預先建立的圖卷積神經網絡輸出所述當前幀圖像的狀態類違章行為信息;
17、當所述當前幀圖像不存在狀態類違章行為時,所述預先建立的圖卷積神經網絡輸出所述當前幀圖像不存在狀態類違章行為。
18、優選的,所述預先建立的圖卷積神經網絡的參數是利用損失函數進行迭代更新。
19、優選的,所述按時間先后順序,利用預先建立的行為分類算法確定所述目標監控視頻中每幀圖像的行為信息,包括:
20、以低幀率的抽取方式,從所述目標監控視頻中抽取每幀圖像;
21、按時間先后順序,以所述目標監控視頻中每幀圖像為預先建立的行為分類算法的輸入,輸出所述每幀圖像的行為信息。
22、優選的,所述利用所述目標監控視頻中當前滑動時間窗口內的所有幀圖像對應的行為信息構建行為語義圖,包括:
23、基于電力行為知識圖譜,利用所述目標監控視頻中當前滑動時間窗口內的所有幀圖像對應的行為信息構建行為語義圖。
24、優選的,所述電力行為知識圖譜是利用電力行為規范操作構建的;
25、其中,所述電力行為知識圖譜包括:行為和關系;所述行為為作業人員做出的行為,所述關系為各個行為之間的關系。
26、優選的,所述預先建立的電力核心要素特征提取網絡的建立過程,包括:
27、采集電力作業現場的歷史監控視頻;
28、以高幀率的抽取方式,從所述歷史監控視頻中抽取每幀圖像;
29、標注所述歷史監控視頻中每幀圖像的核心對象特征;
30、以所述歷史監控視頻中每幀圖像為目標檢測算法yolo的輸入層訓練樣本,以所述歷史監控視頻中每幀圖像的核心對象特征為目標檢測算法yolo的輸出層訓練樣本,對目標檢測算法yolo進行訓練,得到訓練后的目標檢測算法yolo,所述訓練后的目標檢測算法yolo為所述電力核心要素特征提取網絡。
31、優選的,所述預先建立的圖卷積神經網絡的建立過程,包括:
32、采集電力作業現場的歷史監控視頻;
33、以高幀率的抽取方式,從所述歷史監控視頻中抽取每幀圖像;
34、標注所述歷史監控視頻中每幀圖像是否存在狀態類違章行為,以及標注存在狀態類違章行為的圖像對應的狀態類違章行為信息;
35、構建所述歷史監控視頻中每幀圖像的第二空間知識圖譜;
36、以所述第二空間知識圖譜為圖卷積神經網絡的輸入層訓練樣本,以所述歷史監控視頻中每幀圖像是否存在狀態類違章行為以及存在狀態類違章行為的圖像對應的狀態類違章行為信息為圖卷積神經網絡的輸出層訓練樣本,對圖卷積神經網絡進行訓練,得到訓練后的圖卷積神經網絡,所述訓練后的圖卷積神經網絡為所述預先建立的圖卷積神經網絡。
37、優選的,所述構建所述歷史監控視頻中每幀圖像的第二空間知識圖譜,包括:
38、利用預先建立的電力核心要素特征提取網絡,提取所述歷史監控視頻中每幀圖像的核心對象特征;
39、對所述歷史監控視頻中每幀圖像核心對象特征進行聚類,得到第二候選語義;
40、利用所述第二候選語義構建所述歷史監控視頻中每幀圖像的空間知識圖譜。
41、優選的,所述候選語義包括:物體、屬性和關系。
42、優選的,所述預先建立的行為分類算法的建立過程,包括:
43、采集電力作業現場的歷史監控視頻;
44、以低幀率的抽取方式,從所述歷史監控視頻中抽取每幀圖像;
45、標注所述歷史監控視頻中每幀圖像的行為信息;
46、以所述歷史監控視頻中每幀圖像為行為分類算法的輸入層訓練樣本,以所述歷史監控視頻中每幀圖像的行為信息為行為分類算法的輸出層訓練樣本,對行為分類算法進行訓練,得到訓練后的行為分類算法,所述訓練后的行為分類算法為所述預先建立的行為分類算法。
47、優選的,所述當所述當前幀存在狀態類違章行為時,進行第一風險預警,包括:
48、當所述當前幀存在狀態類違章行為時,進行作業現場狀態類違章行為預警。
49、優選的,所述根據所述行為語義圖進行第二風險預警,包括:
50、根據電力行為規范操作,判斷所述行為語義圖是否構建成功,若構建失敗,則進行作業現場操作行為失誤預警;若構建成功,則無需進行作業現場操作行為失誤預警。
51、優選的,所述損失函數的計算式,包括:
52、
53、上式中,ls為圖卷積神經網絡的損失函數,為交叉熵函數,gs為第一空間知識圖譜,fgcn為圖卷積神經網絡,gt為實際的狀態類違章行為,fgcn(gs)為圖卷積神經網絡識別的狀態類違章行為。
54、根據本技術實施例的第二方面,提供一種基于時空上下文推理的作業現場安全風險管控裝置,包括:
55、采集單元,用于連續采集電力作業現場的目標監控視頻;
56、第一構建單元,用于構建所述目標監控視頻中當前幀圖像的第一空間知識圖譜;
57、第一確定單元,用于基于所述第一空間知識圖譜,利用預先建立的圖卷積神經網絡確定所述當前幀圖像是否存在狀態類違章行為,并當所述當前幀存在狀態類違章行為時,進行第一風險預警;
58、第二確定單元,用于按時間先后順序,利用預先建立的行為分類算法確定所述目標監控視頻中每幀圖像的行為信息;
59、第二構建單元,用于利用所述目標監控視頻中當前滑動時間窗口內的所有幀圖像對應的行為信息構建行為語義圖,并根據所述行為語義圖進行第二風險預警;
60、所述預先建立的圖卷積神經網絡和所述預先建立的行為分類算法均是利用電力作業現場的歷史目標監控視頻建立的。
61、優選的,所述第一構建單元,包括:
62、第一抽取子單元,用于以高幀率的抽取方式,從所述目標監控視頻中抽取當前幀圖像;
63、提取子單元,用于利用預先建立的電力核心要素特征提取網絡,提取所述當前幀圖像的核心對象特征;
64、聚類子單元,用于對所述當前幀圖像的核心對象特征進行聚類,得到第一候選語義;
65、第一構建子單元,用于利用所述第一候選語義構建所述第一空間知識圖譜。
66、優選的,所述第一確定單元,包括:
67、輸入子單元,用于以所述第一空間知識圖譜為所述預先建立的圖卷積神經網絡的輸入;
68、輸出子單元,用于當所述當前幀圖像存在狀態類違章行為時,所述預先建立的圖卷積神經網絡輸出所述當前幀圖像的狀態類違章行為信息;當所述當前幀圖像不存在狀態類違章行為時,所述預先建立的圖卷積神經網絡輸出所述當前幀圖像不存在狀態類違章行為。
69、優選的,所述預先建立的圖卷積神經網絡的參數是利用損失函數進行迭代更新。
70、優選的,所述第二確定單元,包括:
71、第二抽取子單元,用于以低幀率的抽取方式,從所述目標監控視頻中抽取每幀圖像;
72、第一獲取子單元,用于按時間先后順序,以所述目標監控視頻中每幀圖像為預先建立的行為分類算法的輸入,輸出所述每幀圖像的行為信息。
73、優選的,所述第二構建單元,包括:
74、第二構建子單元,用于基于電力行為知識圖譜,利用所述目標監控視頻中當前滑動時間窗口內的所有幀圖像對應的行為信息構建行為語義圖。
75、優選的,所述電力行為知識圖譜是利用電力行為規范操作構建的;
76、其中,所述電力行為知識圖譜包括:行為和關系;所述行為為作業人員做出的行為,所述關系為各個行為之間的關系。
77、優選的,所述提取子單元,還包括:建立模塊,用于建立預先建立的電力核心要素特征提取網絡;所述建立模塊,具體用于:
78、采集電力作業現場的歷史監控視頻;
79、以高幀率的抽取方式,從所述歷史監控視頻中抽取每幀圖像;
80、標注所述歷史監控視頻中每幀圖像的核心對象特征;
81、以所述歷史監控視頻中每幀圖像為目標檢測算法yolo的輸入層訓練樣本,以所述歷史監控視頻中每幀圖像的核心對象特征為目標檢測算法yolo的輸出層訓練樣本,對目標檢測算法yolo進行訓練,得到訓練后的目標檢測算法yolo,所述訓練后的目標檢測算法yolo為所述電力核心要素特征提取網絡。
82、優選的,還包括:第一建立單元,用于建立預先建立的圖卷積神經網絡的;所述第一建立單元,包括:
83、第一采集子單元,用于采集電力作業現場的歷史監控視頻;
84、第三抽取子單元,用于以高幀率的抽取方式,從所述歷史監控視頻中抽取每幀圖像;
85、第一標注子單元,用于標注所述歷史監控視頻中每幀圖像是否存在狀態類違章行為,以及標注存在狀態類違章行為的圖像對應的狀態類違章行為信息;
86、第三構建子單元,用于構建所述歷史監控視頻中每幀圖像的第二空間知識圖譜;
87、第二獲取子單元,用于以所述第二空間知識圖譜為圖卷積神經網絡的輸入層訓練樣本,以所述歷史監控視頻中每幀圖像是否存在狀態類違章行為以及存在狀態類違章行為的圖像對應的狀態類違章行為信息為圖卷積神經網絡的輸出層訓練樣本,對圖卷積神經網絡進行訓練,得到訓練后的圖卷積神經網絡,所述訓練后的圖卷積神經網絡為所述預先建立的圖卷積神經網絡。
88、優選的,所述第二構建子單元,具體用于:
89、利用預先建立的電力核心要素特征提取網絡,提取所述歷史監控視頻中每幀圖像的核心對象特征;
90、對所述歷史監控視頻中每幀圖像核心對象特征進行聚類,得到第二候選語義;
91、利用所述第二候選語義構建所述歷史監控視頻中每幀圖像的空間知識圖譜。
92、優選的,所述候選語義包括:物體、屬性和關系。
93、優選的,還包括:第二建立單元,用于建立預先建立的行為分類算法;所述第二建立單元,包括:
94、第二采集子單元,用于采集電力作業現場的歷史監控視頻;
95、第四抽取子單元,用于以低幀率的抽取方式,從所述歷史監控視頻中抽取每幀圖像;
96、第二標注子單元,用于標注所述歷史監控視頻中每幀圖像的行為信息;
97、第三獲取子單元,用于以所述歷史監控視頻中每幀圖像為行為分類算法的輸入層訓練樣本,以所述歷史監控視頻中每幀圖像的行為信息為行為分類算法的輸出層訓練樣本,對行為分類算法進行訓練,得到訓練后的行為分類算法,所述訓練后的行為分類算法為所述預先建立的行為分類算法。
98、優選的,所述第一確定單元,還包括:
99、第一預警子單元,用于當所述當前幀存在狀態類違章行為時,進行作業現場狀態類違章行為預警。
100、優選的,所述第二構建單元,還包括:
101、第二預警子單元,用于根據電力行為規范操作,判斷所述行為語義圖是否構建成功,若構建失敗,則進行作業現場操作行為失誤預警;若構建成功,則無需進行作業現場操作行為失誤預警。
102、優選的,所述損失函數的計算式,包括:
103、
104、上式中,ls為圖卷積神經網絡的損失函數,為交叉熵函數,gs為第一空間知識圖譜,fgcn為圖卷積神經網絡,gt為實際的狀態類違章行為,fgcn(gs)為圖卷積神經網絡識別的狀態類違章行為。
105、根據本技術實施例的第三方面,提供一種電子設備,包括:至少一個處理器和存儲器;所述存儲器和處理器通過總線相連;
106、所述存儲器,用于存儲一個或多個程序;
107、當所述一個或多個程序被所述至少一個處理器執行時,實現所述的基于時空上下文推理的作業現場安全風險管控方法。
108、根據本技術實施例的第四方面,提供一種可讀存儲介質,其上存有執行程序,所述執行程序被執行時,實現所述的基于時空上下文推理的作業現場安全風險管控方法。
109、本發明提供的技術方案具有以下有益效果:
110、本發明提供基于時空上下文推理的作業現場安全風險管控方法及裝置,通過連續采集電力作業現場的目標監控視頻,構建目標監控視頻中當前幀圖像的第一空間知識圖譜,基于第一空間知識圖譜,利用預先建立的圖卷積神經網絡確定當前幀圖像是否存在狀態類違章行為,并當當前幀存在狀態類違章行為時,進行第一風險預警,考慮了作業現場人員、設備等多個物體間關系,可進一步提升狀態類違章風險識別準確率,降低誤報率;通過按時間先后順序,利用預先建立的行為分類算法確定目標監控視頻中每幀圖像的行為信息,利用目標監控視頻中當前滑動時間窗口內的所有幀圖像對應的行為信息構建行為語義圖,并根據行為語義圖進行第二風險預警,考慮了電力作業人員流動大、作業流程長等特點,實現判斷長時間作業行為是否存在違規,提升了行為操作失誤風險識別準確率;本發明在時空兩個維度上發現作業現場風險,同時實現狀態類、時序類違章識別,提升作業現場安全風險管控能力。