機車司機行為識別方法、裝置及系統與流程

本發明是關于軌道交通機車車輛安全監測技術，特別是關于駕車駕駛室中的一種機車司機行為識別方法、裝置及系統。

背景技術：

交通安全現在已經成為一個普遍被關注的社會問題，而加強對鐵路交通安全的管控已經迫在眉睫，目前機車上安裝了機車車載安全防護系統(簡稱6a系統)的視頻監控設備，目前對該視頻監控設備的視頻數據的地面分析任務通常采用人工瀏覽察看方式，一方面分析全部機車的視頻錄像需要配備大量且足夠的地面視頻數據分析人員和設備，分析效率低，特別對于特定事件查找的情況下，分析工作量巨大，且容易遺漏。另一方面，由于是事后做人工分析，無法對乘務員在機車運行過程中不當行為進行實時提醒。

視頻分析與識別技術在機車環境下的應用目前還是空白，究其原因，主要是機車環境下與常規應用有較大區別。例如機車運行中震動幅度較大，成像模糊，影響視頻畫面的穩定、列車運行過程中光照變化比較大，極大地影響了識別的準確度、機車環境下識別對象差異較大，也會影響視頻識別的適應性等。此外，列車在進站和出站過程中，可能會出現強光照的情況，此時，受強光照的影響，視頻分析與識別效果將會降低，當光線恢復正常，識別效果也隨之改善，如何降低光照變化的影響，提高算法的魯棒性是業界面臨的技術難點之一。

技術實現要素：

本發明提供一種機車司機行為識別方法、裝置及系統，可以對司機日常的幾類操作進行自動識別，同時通過對圖像自動化的檢索，解脫繁重的人工工作，提高分析的效率和準確性。

為了實現上述目的，本發明實施例提供了一種機車司機行為識別方法，該機車司機行為識別方法包括：

預先定義包含多類司機行為的待訓練圖像集合；

利用神經網絡算法對所述待訓練圖像集合進行模型訓練，生成行為訓練模型；

采集機車駕駛室的實時監控圖像，將所述實時監控圖像輸入所述行為訓練模型，識別出司機行為所屬的類別。

一實施例中，所述多類司機行為包括：離崗、接打電話、向前揮手、在崗、站立、睡覺。

一實施例中，在利用神經網絡算法對所述待訓練圖像集合進行模型訓練之前，該機車司機行為識別方法還包括：

在所述待訓練圖像集合中的各圖像上標注目標框。

一實施例中，所述目標框相關信息包括目標框的起始位置、寬度及高度，所述機車司機行為識別方法還包括：

對所述目標框相關信息進行歸一化處理，并保存歸一化處理后的目標框相關信息。

一實施例中，利用神經網絡算法對所述待訓練圖像集合進行模型訓練，生成行為訓練模型，包括：

利用前向卷積網絡對所述待訓練圖像集合進行逐級抽象化，得到魯棒的訓練模型；

利用反饋網絡對所述魯棒的訓練模型進行權重調節，得到所述行為訓練模型。

一實施例中，將所述實時監控圖像輸入所述行為訓練模型，識別出司機行為所屬的類別，包括：

將所述實時監控圖像輸入所述行為訓練模型，利用增加了detection層的前向卷積網絡對司機行為進行識別，并對識別結果進行約束，識別出司機行為所屬的類別。

為了實現上述目的，本發明實施例還提供了一種機車司機行為識別裝置，包括：

預定義單元，用于預先定義包含多類司機行為的待訓練圖像集合；

模型訓練單元，用于利用神經網絡算法對所述待訓練圖像集合進行模型訓練，生成行為訓練模型；

行為識別單元，用于采集機車駕駛室的實時監控圖像，將所述實時監控圖像輸入所述行為訓練模型，識別出司機行為所屬的類別。

一實施例中，所述多類司機行為包括：離崗、接打電話、向前揮手、在崗、站立、睡覺。

一實施例中，該機車司機行為識別裝置還包括：

標注單元，用于在所述待訓練圖像集合中的各圖像上標注目標框。

一實施例中，所述目標框相關信息包括目標框的起始位置、寬度及高度，所述機車司機行為識別裝置還包括：

歸一化單元，用于對所述目標框相關信息進行歸一化處理，并保存歸一化處理后的目標框相關信息。

一實施例中，所述模型訓練單元包括：

抽象化模塊，用于利用前向卷積網絡對所述待訓練圖像集合進行逐級抽象化，得到魯棒的訓練模型；

模型訓練模塊，用于利用反饋網絡對所述魯棒的訓練模型進行權重調節，得到所述行為訓練模型。

一實施例中，所述行為識別單元具體用于：將所述實時監控圖像輸入所述行為訓練模型，利用增加了detection層的前向卷積網絡對司機行為進行識別，并對識別結果進行約束，識別出司機行為所屬的類別。

為了實現上述目的，本發明實施例還提供了一種機車司機行為識別系統，包括：

攝像機，用于采集機車駕駛室的實時監控圖像；

視頻智能識別板卡，內置行為識別模塊，所述行為識別模塊用于利用神經網絡算法，根據所述實時監控圖像及預先訓練出的行為訓練模型識別出司機行為所屬的類別；

存儲設備，用于存儲利用神經網絡算法對預先定義包含多類司機行為的待訓練圖像集合進行模型訓練得到的行為訓練模型，還用于存儲已識別的視頻圖像，所述行為訓練模型包括多類司機行為；

報警設備，接收所述行為識別模塊基于司機行為所屬的類別生成的報警信息執行報警。

本發明通過深度學習算法，可以對司機日常的幾類操作進行自動識別；同時，通過對圖像自動化的檢索，可以解脫繁重的人工工作，提高了分析的效率和準確性。

附圖說明

為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。

圖1為本發明實施例的機車司機行為識別系統的結構示意圖；

圖2為本發明實施例的機車司機行為識別方法流程圖；

圖3為本發明實施例的模型訓練階段流程圖；

圖4為本發明實施例的行為判別階段流程圖；

圖5為本發明實施例的機車司機行為識別裝置的結構示意圖一；

圖6為本發明實施例的機車司機行為識別裝置的結構示意圖二；

圖7為本發明實施例的模型訓練單元的結構示意圖。

具體實施方式

下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。

近幾年來，視頻分析與識別技術已取得突飛進展，各項理論成果層出不窮。目前，該技術的理論成果已廣泛應用于交通、安防、金融、建筑、醫學、軍事等領域，主要應用有人臉識別、視頻客流統計、疲勞狀態檢測、人群聚集度檢測、移動物體跟蹤等，取得了令人矚目的研究成果。

視頻分析與識別技術在以上領域或方向的成功運用為在機車6a系統的應用提供了有效的指引，一方面，近幾年，硬件的計算處理能力得到極大的提升，為該技術的推廣應用提供了平臺的支持；另一方面，以上領域的工程經驗或者成果也可以作為6a視頻智能診斷系統應用實施的借鑒。

視頻中人體的動作識別不同于圖像的檢測與識別，動作是一連貫的子動作構成的序列，傳統的圖像檢測大都不能有效的識別復雜場景中的動作，另外，視頻圖像的處理同時面臨光照、遮擋、旋轉等因素的影響，導致傳統動作識別的精度并不高。近幾年，作為國際的前沿和熱點之一，深度學習技術在圖像和語音識別等領域獲得巨大成功，深度學習在圖像識別領域變現出非常明顯的優越性，其識別率已經遠遠超過傳統識別算法，本發明考慮將機器學習(深度學習)的相關技術應用于機車司機行為識別當中，以便獲得更好的人體行為識別效果。

圖1為本發明實施例的機車司機行為識別系統的結構示意圖，如圖1所示，該機車司機行為識別系統包括：攝像機，視頻智能識別板卡，存儲設備及報警設備。

攝像機可以設置在機車駕駛室中，可以采集機車駕駛室的實時監控圖像(視頻)。

視頻智能識別板卡，內置行為識別模塊，所述行為識別模塊用于利用神經網絡算法，根據所述實時監控圖像及行為訓練模型識別出司機行為所屬的類別。行為訓練模型需要通過訓練得到，首先，需要預先定義包含多類司機行為的待訓練圖像集合，然后利用神經網絡算法對所述待訓練圖像集合進行模型訓練，得到該行為訓練模型。

存儲設備，用于存儲利用神經網絡算法對預先定義包含多類司機行為的待訓練圖像集合進行模型訓練得到的行為訓練模型，還用于存儲已識別的視頻圖像，所述行為訓練模型包括多類司機行為。

報警設備，接收所述行為識別模塊基于司機行為所屬的類別生成的報警信息執行報警。

行為識別模塊為機車司機行為識別的核心元件，作為系統的應用層，可以內置于ubuntu14.04操作系統。由于本發明需要用到深度神經網絡模型，訓練需要gpu加速，因此可以使用cuda應用程序。

具體實施時，行為識別模塊需要將接收到的攝像機拍攝的視頻圖像進行去除噪聲、灰度變換、幾何校正等預處理，盡量降低機車環境對于視頻分析的影響。通過對根據攝像機采集實時監控圖像進行識別，可以檢測出如下行為：離崗、接打電話、向前揮手、在崗(正常作業)、站立、睡覺等。如果司機出現睡覺、離崗、接打電話、站立等情況，需要生成報警信息，并將報警信息發送至報警設備執行報警，對機車司機進行提醒。另外，對于識別后的圖像，還可以以標簽標注，然后進行編碼存儲，這樣，通過相應的檢索工具，能實現對已經被記錄的特定事件的查詢。

本發明實施例提供了一種機車司機行為識別方法，如圖2所示，該機車司機行為識別方法包括：

s201：預先定義包含多類司機行為的待訓練圖像集合；

s202：利用神經網絡算法對所述待訓練圖像集合進行模型訓練，生成行為訓練模型；

s203：采集機車駕駛室的實時監控圖像，將所述實時監控圖像輸入所述行為訓練模型，識別出司機行為所屬的類別。

由圖1所示的流程可知，本發明首先預先定義包含多類司機行為的待訓練圖像集合，然后對待訓練圖像集合進行模型訓練，生成行為訓練模型，基于該行為訓練模型，可以對采集的實時監控圖像進行行為識別，識別出司機行為所屬的類別。本實施例通過深度學習算法(如神經網絡算法)，可以對司機日常的幾類操作進行自動識別；同時，通過對圖像自動化的檢索，可以解脫繁重的人工工作，提高了分析的效率和準確性。

本實施例主要通過模型訓練和行為判別兩個階段，s201及s202為模型訓練階段，s203為行為判別階段。下面分別說明：

模型訓練階段

該模型訓練階段主要完成數據訓練，大量視頻數據的分析、處理，完成對6類司機行為動作的檢測，存儲設備可以采用8t企業監控盤，主要完成六類結果的分類存儲。針對鐵路司機室視頻圖像，處理速度能達到110幀/秒。

具體實施時，模型訓練階段中，司機(或乘務員)行為可以包括多種，例如：離崗、接打電話、向前揮手、在崗、站立、睡覺，本發明僅以上述六種行為進行說明，但是本發明不限于上述六種行為。六種行為簡單定義如下：

(1)離開座位(離崗)：列車駕駛員在工作時間段內，擅自離開了崗位，這種情況判斷為離崗行為；

(2)正常工作(在崗)：列車駕駛員在工作時間段內，按照要求一直堅守在自己的崗位，則判定為正常工作；

(3)接打電話：列車駕駛員在工作時間段內，有接打電話的動作時將會被識別出來；

(4)向前揮手：列車駕駛員在工作時間段內，有檢測到右手向前方示意，則判定為揮手；

(5)睡覺：駕駛員在工作時間段內，檢測到有趴在駕駛操控臺上睡覺的動作時，將其檢測出來；

(6)站立：在工作時間段內，當有人在駕駛室站立或者隨意走動，算法將會檢測到并標注為站立狀態。

一實施例中，在利用神經網絡算法對所述待訓練圖像集合進行模型訓練之前，還需要在所述待訓練圖像集合中的各圖像上標注目標框。通過標注目標框，可以篩選出便于識別的圖像，并保存目標框的相關信息，包括目標框的起始位置、目標框的寬度及目標框的高度等信息。為了適應深度學習算法的需求，還可以對目標框相關信息進行歸一化處理，并保存歸一化處理后的目標框相關信息。

在利用神經網絡算法對所述待訓練圖像集合進行模型訓練時，可以利用前向卷積網絡對所述待訓練圖像集合進行逐級抽象化，先得到魯棒的訓練模型；然后再利用反饋網絡對所述魯棒的訓練模型進行權重調節，得到行為訓練模型。

為了更好的說明本實施例的機車司機行為識別方法，下面結合圖3所示的模型訓練流程進行說明。如圖3所示，模型訓練階段主要包括圖像輸入、圖像標注、前向卷積網絡、數據后處理、反饋網絡處理及模型輸出幾個階段。

圖像輸入：待訓練的機車司機室內的幾類預先定義好的圖像集合(如上述的6類預先定義好的圖像集合，包含正常作業、打電話、向前揮手、在崗、站立、睡覺共計6類常見的機車司機行為)。但該行為動作的定義是開放的，用戶也可以根據需要自定義行為動作的類別。

圖像標注：該步驟主要是手動標注目標框，并保存目標矩形框的相關信息(起始位置，寬、高等)的過程，為適應算法需要，在實際使用過程中，這些相關信息被預先做出相應的處理(如歸一化處理)并保存。

前向卷積網絡：該部分為識別算法的核心，是目前較為適合應用于圖像識別的卷積網絡，該部分包含若干層卷積層和一些降采樣、非線性變換等，對訓練圖像集合進行逐級的抽象化，最終得到一些對訓練以外的圖像也具有一定識別能力的模型特征(模型特征以模型權重的形式存儲)。輸入的圖像集合經過一系列處理，代表性信息逐漸減少，意味著經過卷積網絡處理后，有價值的信息得以保存，而一些冗余的信息被摒棄，也即是圖像特征被抽象化了，大量圖像特征信息的相互作用，共同訓練出一個魯棒的模型。

數據后處理：該部分也是訓練過程特有的一個環節，當對前向卷積網絡處理后的行為訓練模型達不到設定目標識別率時，對訓練數據進行一些清洗、調整等，以備反饋網絡的反向傳播使用。

反饋網絡：該部分起到對前向卷積網絡得出的權重進行調節的作用，利用梯度下降法優化代價函數，從后向前逐級調整每一層卷積網絡的權重值，從而使得模型的泛化能力得到較大的提升。

模型輸出：輸出行為訓練模型，作為最終輸出結果。

行為判別階段

該階段中，可以將所述實時監控圖像輸入所述行為訓練模型，利用增加了detection層的前向卷積網絡對司機行為進行識別，并對識別結果進行約束，識別出司機行為所屬的類別。

為了更好的說明本實施例的機車司機行為識別方法，下面結合圖4所示的行為判別流程進行說明。

行為判別階段是使用模型訓練階段得到的行為訓練模型對圖像(視頻)進行識別的過程，該階段不包含圖像標注、反饋網絡、數據后處理三個步驟，輸入圖像和模型直接加載到卷積網絡，得到識別結果。

如圖4所示，行為判別階段主要包括模型加載、前向卷積網絡及結果識別。

行為訓練模型加載：行為訓練模型指的是訓練得出的各網絡層的權重值，共幾十萬～幾百萬個參數，整個識別過程模型只需要加載一次。

前向卷積網絡：與模型訓練階段的前向卷積網絡不同的是，在前向卷積網絡基礎上增加了一個detection層，以便對行為識別結果進行約束，這樣能同時準確地標注出物體的位置，并同時預測出物體的類別，兩者相輔相成，從而提高了檢測識別的可信度。

識別結果：最終輸出結果(司機行為所屬的類別)可預測出司機動作是屬于含正常作業、打電話、向前揮手、在崗、站立、睡覺等類中的哪一類。

本實施例通過深度學習算法，可以對司機日常的幾類操作進行自動識別；同時，通過對圖像自動化的檢索，可以解脫繁重的人工工作，提高了分析的效率和準確性。可對于機車運行過程中乘務員不符合規則的行為進行在線提醒，有效提高了機車運行的安全性。

基于與上述機車司機行為識別法相同的發明構思，本申請提供一種機車司機行為識別裝置，如下面實施例所述。由于該機車司機行為識別裝置解決問題的原理與機車司機行為識別方法相似，因此該機車司機行為識別裝置的實施可以參見機車司機行為識別方法的實施，重復之處不再贅述。

圖5為本發明實施例的機車司機行為識別裝置的結構示意圖，如圖5所示，該機車司機行為識別裝置包括：

預定義單元501，用于預先定義包含多類司機行為的待訓練圖像集合；

模型訓練單元502，用于利用神經網絡算法對所述待訓練圖像集合進行模型訓練，生成行為訓練模型；

行為識別單元503，用于采集機車駕駛室的實時監控圖像，將所述實時監控圖像輸入所述行為訓練模型，識別出司機行為所屬的類別。

一實施例中，所述多類司機行為包括：離崗、接打電話、向前揮手、在崗、站立、睡覺。

一實施例中，如圖6所示，該機車司機行為識別裝置還包括：標注單元601，用于在所述待訓練圖像集合中的各圖像上標注目標框。

目標框相關信息可以包括目標框的起始位置、寬度及高度，如圖6所示，該機車司機行為識別裝置還包括：歸一化單元602，用于對所述目標框相關信息進行歸一化處理，并保存歸一化處理后的目標框相關信息。

一實施例中，如圖7所示，模型訓練單元502包括：

抽象化模塊701，用于利用前向卷積網絡對所述待訓練圖像集合進行逐級抽象化，得到魯棒的訓練模型；

模型訓練模塊702，用于利用反饋網絡對所述魯棒的訓練模型進行權重調節，得到所述行為訓練模型。

一實施例中，行為識別單元503具體用于：將所述實時監控圖像輸入所述行為訓練模型，利用增加了detection層的前向卷積網絡對司機行為進行識別，并對識別結果進行約束，識別出司機行為所屬的類別。

本實施例通過深度學習算法，可以對司機日常的幾類操作進行自動識別；同時，通過對圖像自動化的檢索，可以解脫繁重的人工工作，提高了分析的效率和準確性。可對于機車運行過程中乘務員不符合規則的行為進行在線提醒，有效提高了機車運行的安全性。

本領域內的技術人員應明白，本發明的實施例可提供為方法、系統、或計算機程序產品。因此，本發明可采用完全硬件實施例、完全軟件實施例、或結合軟件和硬件方面的實施例的形式。而且，本發明可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(包括但不限于磁盤存儲器、cd-rom、光學存儲器等)上實施的計算機程序產品的形式。

本發明是參照根據本發明實施例的方法、設備(系統)、和計算機程序產品的流程圖和/或方框圖來描述的。應理解可由計算機程序指令實現流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合。可提供這些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數據處理設備的處理器以產生一個機器，使得通過計算機或其他可編程數據處理設備的處理器執行的指令產生用于實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。

這些計算機程序指令也可存儲在能引導計算機或其他可編程數據處理設備以特定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產生包括指令裝置的制造品，該指令裝置實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。

這些計算機程序指令也可裝載到計算機或其他可編程數據處理設備上，使得在計算機或其他可編程設備上執行一系列操作步驟以產生計算機實現的處理，從而在計算機或其他可編程設備上執行的指令提供用于實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。

本發明中應用了具體實施例對本發明的原理及實施方式進行了闡述，以上實施例的說明只是用于幫助理解本發明的方法及其核心思想；同時，對于本領域的一般技術人員，依據本發明的思想，在具體實施方式及應用范圍上均會有改變之處，綜上所述，本說明書內容不應理解為對本發明的限制。