基于機器視覺的違規行為識別及報警方法、系統及設備與流程

本發明涉及行為識別，尤其涉及一種基于機器視覺的違規行為識別及報警方法、系統及設備。

背景技術：

1、隨著社會的快速發展和科技的不斷進步，視頻監控在各種場合中扮演著越來越重要的角色，如公共安全、企業管理等。特別是在工業環境中，對員工的行為進行有效監控是確保工作安全、提高生產效率的關鍵。然而，傳統的視頻監控主要依賴人工監視，這種方式不僅效率低下，而且容易出錯。

2、近年來，隨著機器視覺和人工智能技術的迅猛發展，智能視頻監控逐漸成為研究熱點。現有的智能視頻監控系統通常能夠利用圖像處理和模式識別技術對視頻內容進行分析和理解，自動檢測異常事件并及時報警。例如，一些系統能夠通過人臉檢測和識別技術來追蹤和識別特定人員。

3、然而，目前市場上的人臉檢測和識別系統在實際應用中仍存在諸多不足。首先，這些系統高度依賴于人臉的清晰度和可見性，一旦人臉被遮擋或圖像質量不佳，識別效果就會大打折扣。其次，現有系統通常只能識別人臉的屬性和行為，對于人體其他部位的動作和特征，如手勢、身體姿態等，往往無法有效識別和分析。最后，現有的報警模塊功能相對簡單，通常只能提供基本的報警信息，而無法提供詳細的視頻截圖、時間、地點等關鍵信息，同時也缺乏用戶反饋、評價和投訴等交互功能，導致用戶體驗不佳，參與度低。

技術實現思路

1、本發明提供一種基于機器視覺的違規行為識別及報警方法、系統及設備，用以解決現有技術中視頻監控依賴人工、識別功能受限和報警信息簡單的問題，實現了高效自動的違規行為識別與詳細智能的報警推送，提升了監控系統的智能化水平。

2、第一方面，本發明提供了一種基于機器視覺的違規行為識別及報警方法包括：

3、實時獲取監控目標工作場所的視頻流數據；

4、對所述視頻流數據中的每一圖像幀進行人員檢測，將存在人體特征的第一圖像幀及其相關數據進行存儲；

5、對所述第一圖像幀進行違規物品檢測，將存在違規物品特征的第二圖像幀及其相關數據進行存儲；

6、對所述第二圖像幀進行違規行為識別；

7、將存在違規行為的第三圖像幀及其相關數據進行存儲，根據所述第三圖像幀的相關數據判斷所述第三圖像幀中違規行為的危險級別，根據所述危險級別向終端進行報警推送。

8、在本發明的一種實施例中，所述對所述視頻流數據中的每一圖像幀進行人員檢測，具體包括：基于訓練好的人員及人體關鍵點檢測模型，對所述視頻流數據中的每一圖像幀中的人員進行檢測，判斷是否存在人體特征；若存在人體特征，獲取對應人員的第一屬性信息；所述人員及人體關鍵點檢測模型為根據人員圖像訓練集訓練得到，所述人員圖像訓練集為經過數據篩選、數據擴充、數據增強以及數據標注后的圖像。

9、在本發明的一種實施例中，所述對所述第一圖像幀進行違規物品檢測，將存在違規物品特征的第二圖像幀及其相關數據進行存儲，具體包括：基于訓練好的違規物品檢測模型，對存在人體特征的第一圖像幀進行違規物品檢測，判斷是否存在違規物品特征；若存在違規物品特征，獲取對應違規物品的第二屬性信息，所述第二屬性信息包括置信度；基于預設的置信度閾值，對置信度低于所述置信度閾值的圖像進行過濾處理，將過濾后的圖像作為第二圖像幀；將所述第二圖像幀及其相關數據進行存儲，所述違規物品檢測模型根據違規物品圖像訓練集訓練得到，所述違規物品圖像訓練集為經過數據篩選、數據擴充、數據增強以及數據標注后的圖像。

10、在本發明的一種實施例中，所述第一屬性信息包括人體檢測框；所述對所述第二圖像幀進行違規行為識別，具體包括：根據所述人體檢測框左上角的坐標、人體檢測框的寬和高，確定所述人體檢測框的中心點；基于所述人體檢測框的中心點將所述人體檢測框進行放大處理，計算擴大后的人體檢測框和第一違規物品檢測框的交并比；當所述交并比為1時，則判斷人員存在第一違規行為。

11、在本發明的一種實施例中，所述第一屬性信息包括人體檢測框和人體骨骼關鍵點；所述對所述第二圖像幀進行違規行為識別，具體包括：根據所述人體檢測框左上角的坐標、人體檢測框的寬和高，確定所述人體檢測框的中心點；基于所述人體檢測框的中心點將所述人體檢測框進行放大處理，計算擴大后的人體檢測框和第二違規物品檢測框的交并比；當所述交并比為1時，則根據所述人體骨骼關鍵點坐標計算手臂的大臂和小臂對應的兩個向量之間的夾角；若所述夾角在預設范圍內，則判定人員存在第二違規行為。

12、在本發明的一種實施例中，所述第一屬性信息包括人體骨骼關鍵點；所述對所述第二圖像幀進行違規行為識別，具體包括：根據所述人體骨骼關鍵點坐標確認人員頭部區域；計算所述頭部區域與所有第三違規物品檢測框之間的交并比，若交并比超過預設交并比閾值，則判定人員存在第三違規行為。

13、在本發明的一種實施例中，當同一第一違規物品的檢測框與多個人體檢測框的交并比都為1時，所述方法還包括：所述第一屬性信息包括人體骨骼關鍵點；計算第一違規物品檢測框的中心點和人體骨骼關鍵點中手腕關鍵點之間的歐氏距離；將與所述第一違規物品檢測框中心點的歐氏距離最小的手腕關鍵點對應的人員確定為具有違規行為的人員。

14、第二方面，本發明還提供一種基于機器視覺的違規行為識別及報警系統，包括：

15、視頻采集模塊，用于實時獲取監控目標工作場所的視頻流數據；

16、違規行為識別模塊，用于對所述視頻流數據中的每一圖像幀進行人員檢測，將存在人體特征的第一圖像幀及其相關數據進行存儲；對所述第一圖像幀進行違規物品檢測，將存在違規物品特征的第二圖像幀及其相關數據進行存儲；對所述第二圖像幀進行違規行為識別；將存在違規行為的第三圖像幀及其相關數據進行存儲；

17、報警模塊，用于根據所述第三圖像幀的相關數據判斷所述第三圖像幀中違規行為的危險級別，根據所述危險級別向終端進行報警推送。

18、第三方面，本發明還提供一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現如上述任一種所述一種基于機器視覺的違規行為識別及報警方法。

19、第四方面，本發明還提供一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執行時實現如上述任一種所述一種基于機器視覺的違規行為識別及報警方法。

20、第五方面，本發明還提供一種計算機程序產品，包括計算機程序，所述計算機程序被處理器執行時實現如上述任一種所述一種基于機器視覺的違規行為識別及報警方法。

21、本發明提供的一種基于機器視覺的違規行為識別及報警方法、系統及設備，實現的有益效果為：通過實時獲取監控目標工作場所的視頻流數據，對每一圖像幀進行人員檢測，并存儲第一圖像幀及其相關數據，實現了對工作場所的實時監控和關鍵數據的存儲，為后續的分析和處理提供了基礎。通過對第一圖像幀進行違規物品檢測，能夠及時發現并存儲存在違規物品特征的第二圖像幀及其相關數據，有助于及時發現潛在的違規行為，并為后續的違規行為識別提供了關鍵信息。通過對第二圖像幀進行違規行為識別，能夠準確地判斷出人員是否存在違規行為，如抽煙、打電話、玩手機等，提高了對違規行為的識別精度和效率。通過將存在違規行為的第三圖像幀及其相關數據進行存儲，并根據違規行為的危險級別向終端進行報警推送，能夠確保相關人員及時獲取違規信息，以便迅速采取應對措施，從而提高工作場所的安全性和效率。