一種疲勞駕駛監測方法及裝置與流程

本發明涉及汽車安全駕駛監測技術領域，具體而言，涉及一種疲勞駕駛監測方法和裝置。

背景技術：

當代社會，開車自駕游已是人們出行的一種普遍方式，但長時間的開車會出現疲勞，導致精神無法集中，碰到危險時無法第一時間做出反應，有可能釀成嚴重的交通事故。如何采取應對措施實時監測駕駛人駕駛狀態、提醒駕車者安全駕駛是目前疲勞駕駛監測方法急需解決的主要問題。

現有的疲勞駕駛主要有基于生理信號的監測方法、基于行車信息的監測方法、基于面部信息的監測方法。

基于生理信號的監測需要采集駕駛員的腦電以及血壓生理信號，并依據生理信號的變化做出疲勞駕駛狀態的判斷，要求有高精度的監測儀，因此開發成本很高，另外信號采集與分析很難達到實時性。

基于行車信息的監測主要依據汽車當前行駛狀態，包括車輛的左右搖晃幅度、偏離車道位置、行車里程與時間信息，受行車道路與行車環境外在因素影響很大，容易產生誤判與錯判。

基于面部信息的監測主要通過圖像處理技術，定位人臉區域，再根據當前人臉區域的眼睛關鍵點位置進行判斷，上一幀人臉圖像是下一幀人臉圖像判定的基礎，分類識別、預處理是常用的處理方法。但是，在人臉定位過程中，由于駕駛員坐姿的變化，如向左、向右一定角度的偏轉，低頭以及閉眼狀態的出現，會使臉部圖像的實時獲取、處理以及后期眼部特征信息的統計分析與判別出錯，成為實時監測系統的一個技術難題。

技術實現要素：

有鑒于此，本發明實施例的目的在于提供一種疲勞駕駛監測方法與裝置，以解決上述問題。

為了實現上述目的，本發明實施例根據一個方面，提供了一種疲勞駕駛監測方法，采用的技術方案如下所述。

（1）首先基于增強現實技術構建可與真實場景交互的虛擬場景，并利用3d實感攝像技術實時跟蹤定位人體面部特征部位，根據人體面部上下嘴唇特征點、上下眼皮特征點的位置深度變化信息來確定所述駕駛員是否為疲勞駕駛。

（2）在利用嘴部和眼部特征點的空間位置變化信息進行打哈氣與眼部疲勞判定前，確定上下嘴唇特征點的初始距離，以及上下眼皮特征點的初始距離，具體方法包括。

計算初始時間內各幀深度圖像的上下嘴唇特征點距離平均值，作為上下嘴唇特征點的初始距離。

計算初始時間內各幀深度圖像的上下眼皮特征點距離平均值，作為上下眼皮特征點的初始距離。

（3）通過上下嘴唇特征點的空間距離變化來實時監測嘴巴的張合度，當嘴巴張開持續時間大于預設閾值，判定為打哈氣。

通過上下眼皮特征點的空間距離變化來實時監測雙眼張合度，當雙眼張開度小于初始距離限定比例，且持續時間大于預設閾值，判定為眼部疲勞。

（4）根據在限定時間內監測到的打哈氣或眼部疲勞次數，判斷所述駕駛員是否疲勞駕駛，若是疲勞駕駛，報警提示。

本發明實施例根據另一個方面，還提供了一種疲勞駕駛監測裝置，包括如下模塊。

人臉深度圖像實時采集模塊，用于實時采集人臉的深度圖像，跟蹤定位人體面部上下嘴唇、上下眼皮特征點的空間位置。

人體面部上下嘴唇、上下眼皮特征點初始距離確定模塊，用于根據所述人臉深度圖像實時采集模塊初始時間內采集的深度圖像，確定人體面部上下嘴唇、上下眼皮特征點的初始距離。

打哈氣與眼部疲勞判定模塊，用于根據所述人體面部上下嘴唇、上下眼皮特征點初始距離確定模塊所確定的初始距離，實時判斷當前上下嘴唇特征點與上下眼皮特征點的空間距離是否超出閾值范圍，若上下嘴唇特征點空間距離大于初始距離，且持續時間大于預設閾值，判定為打哈氣，若上下眼皮特征點空間距離小于初始距離一定比例，且持續時間大于預設閾值，判定為眼部疲勞。

疲勞駕駛判斷模塊，用于根據所述打哈氣與眼部疲勞確定模塊所確定的打哈氣與眼部疲勞狀態，在限定時間內監測打哈氣或眼部疲勞的次數，若次數超過限定值則判定為疲勞駕駛。

疲勞駕駛報警模塊，用于根據所述疲勞駕駛判斷模塊所確定的疲勞駕駛狀態，聲音報警提示。

與現有技術相比，本發明實施例提供的疲勞駕駛監測方法，通過構建與真實場景一一映射、可交互的虛擬場景，實時跟蹤定位人體面部特征點的空間位置變化信息，依據眼部和嘴部的空間位置變化信息判定所述駕駛員的疲勞駕駛狀態；相比現有的基于二維圖像處理的人臉特征點跟蹤定位方法，加入了位置深度信息，以空間位置變化信息代替二維平面信息，更不易受到人臉姿態、角度的變化影響，同時避免了因圖像預處理及分類識別引起的監測延時問題。

進一步地，本發明的技術方案中，基于更高準確度、精度的嘴部和眼部特征點位置信息進行所述駕駛過程中打哈氣與眼部疲勞的判定，當嘴巴張開持續時間大于預設閾值，判定為打哈氣，當雙眼張開度小于初始距離限定比例，且持續時間大于預設閾值，判定為眼部疲勞；相比現有的打哈氣及眼部疲勞監測方法，本發明基于更高準確度、精度地監測嘴巴的張開度及持續時間、眼睛的閉合度及持續時間，從而更準確地判定是否為疲勞駕駛，當駕駛員出現所述打哈氣及眼部疲勞狀態時，報警提示。

進一步，本發明實施例的根據嘴部和眼部特征點的空間初始距離進行打哈氣及眼部疲勞狀態判定方法中，初始距離是監測初始時間內上下嘴唇、上下眼皮特征點距離的平均值，計算獲得的值是每次監測時所述駕駛員行車的最佳狀態值；相比現有的監測方法，以駕駛員每次行車前的最佳狀態作為疲勞駕駛的評判標準，可以更有效地提高駕駛安全性。

進一步，本發明實施例的根據在監測到第一次打哈氣或閉眼后的限定時間內，監測到的打哈氣或眼部疲勞次數進行疲勞駕駛判斷的方法中，以限定時間內監測到的次數為判定條件，若在限定時間內打哈氣的次數超過限定值或表現持續眼部疲勞狀態，聲音報警提示；此方法相比現有的疲勞駕駛狀態監測方法可以更及時地監測駕駛員的疲勞駕駛狀態且降低誤判的概率，整體提高疲勞駕駛監測的準確率與安全性。

為使本發明的上述目的、特征和優點能更明顯易懂，下文特舉較佳實施例，并配合所附附圖，作詳細說明如下。

附圖說明

為了更清楚地說明本發明實施例的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，應當理解，以下附圖僅示出了本發明的某些實施例，因此不應被看作是對范圍的限定，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他相關的附圖。

圖1為本發明實施例提供的一種疲勞駕駛監測方法流程示意圖。

圖2為本發明較佳實施例提供的一組疲勞駕駛監測結果圖中的人臉特征點定位效果圖。

圖3為本發明較佳實施例提供的一組疲勞駕駛監測結果圖中的嘴部與眼部特征點的初始距離計算效果圖。

圖4為本發明較佳實施例提供的一組疲勞駕駛監測結果圖中首次表現疲勞狀態，臨時監測計時開始的效果圖。

圖5為本發明較佳實施例提供的一組疲勞駕駛監測結果圖中出現疲勞駕駛狀態，達到報警條件，報警提示效果圖。

圖6為本發明實施例提供的一種可以應用并設置于微控制單元中的疲勞駕駛監測裝置。

具體實施方式

為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發明一部分實施例，而不是全部的實施例。因此，以下對在附圖中提供的本發明的實施例的詳細描述并非旨在限制要求保護的本發明的范圍，而是僅僅表示本發明的選定實施例。基于本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。

如圖1所示，是本發明較佳實施例提供的一種疲勞駕駛監測方法流程示意圖。請參閱圖1，本實施例描述的是疲勞駕駛監測處理流程，所述方法包括如下步驟。

步驟s101，創建虛擬場景，導入3d實感攝像設備。

作為一種實施方式，3d實感攝像設備進行疲勞駕駛監測前，需要先構建與真實場景一一映射的虛擬場景，在此場景下利用3d實感攝像設備實時跟蹤定位人體面部特征點的深度位置信息。

本發明實施例的虛擬場景基于unity3d開發平臺創建，在unity平臺下通過新建3d工程（project）實現虛擬場景創建。

創建虛擬場景后導入3d實感攝像信息，實現真實場景與虛擬場景的一一映射。

步驟s102，定位人臉，捕捉人臉面部特征點。

作為一種實施方式，利用realsensesr300進行人臉定位，捕捉人臉面部特征點時需要在虛擬場景中創建與真實場景中相對應的虛擬對象，通過為虛擬對象添加目標跟隨控件實現人臉特征點的捕捉。

在本發明所述實施例中捕捉的人臉面部特征點主要有上下嘴唇、左右眼上下眼皮。

對在unity平臺下為虛擬對象添加目標跟隨控件實現人臉特征點的捕捉方法為本領域技術人員所熟知，此處不再贅述。

步驟s103，計算上下嘴唇、左右眼上下眼皮特征點初始空間距離，啟動總計時器。

作為一種實施方式，在進行疲勞駕駛監測前，需要先確定所述駕駛員初始駕駛時的正常駕駛狀態，即上下嘴唇、左右眼上下眼皮特征點的初始空間距離。后續的疲勞駕駛狀態判定中將以上下嘴唇、左右眼上下眼皮特征點的初始空間距離為判定基準。

計算上下嘴唇、左右眼上下眼皮特征點初始空間距離的計算方法包括如下。

計算初始時間內各幀深度圖像的上下嘴唇特征點距離平均值，作為上下嘴唇特征點的初始距離。

計算初始時間內各幀深度圖像的上下眼皮特征點距離平均值，作為上下眼皮特征點的初始距離。

空間任意兩特征點的距離計算公式如下。

其中a,b代表兩空間特征點，它們的空間坐標分別為(x1,y1,y1),(x2,y2,y2)。

啟動總計時器是為了統計總駕駛時間，在后續的持續監測中若有總駕駛時間超過4小時情況出現，系統會報警提示。

步驟s104，實時監測。

作為一種實施方式，實時監測是系統實時監測上下嘴唇、左右眼上下眼皮特征點的空間距離變化。

通過上下嘴唇特征點的空間距離變化來實時監測嘴巴的張合度，當嘴巴張開持續時間大于預設閾值，判定為打哈氣。

通過上下眼皮特征點的空間距離變化來實時監測雙眼張合度，當雙眼張開度小于初始距離限定比例，且持續時間大于預設閾值，判定為眼部疲勞。

步驟s105，判斷當前監測時刻是否出現打哈氣或眼部疲勞。

作為一種實施方式，實時監測過程中，判斷當前監測時刻是否出現打哈氣或眼部疲勞。

若監測到打哈氣或眼部疲勞，進入步驟s107；若沒有監測到，進入步驟s106。

步驟s106，持續監測。

作為一種實施方式，持續監測是系統持續按上述步驟s104方法進行上下嘴唇、左右眼上下眼皮特征點的空間距離變化監測。

步驟s107，疲勞駕駛初始提示，啟動臨時監測計時器。

作為一種實施方式，實時監測過程中，若在步驟s105中監測到打哈氣或眼部疲勞，此時會對疲勞駕駛進行初始提示，同時啟動臨時監測計時器，判定在后續的限定時間內是否出現多次疲勞駕駛狀態。

步驟s108，打哈氣或眼部疲勞持續監測。

作為一種實施方式，在判定初次打哈氣或眼部疲勞后，后續監測過程中會持續監測所述駕駛員嘴部和眼部特征點變化，判定在限定時間內是否再次出現打哈氣或眼部疲勞。

步驟s109，限定時間內再次出現打哈氣或眼部疲勞。

作為一種實施方式，實時監測過程中，識別到初次打哈氣或眼部疲勞后，在后續監測中判定限定時間內是否再次出現打哈氣或眼部疲勞。

若在初次打哈氣或眼部疲勞后，限定時間內再次出現打哈氣或眼部疲勞的次數超過預設值，將判定為疲勞駕駛，聲音報警提示。

若在初次打哈氣或眼部疲勞后，限定時間內沒有再次出現打哈氣或眼部疲勞，系統返回步驟s106。

步驟s110，判定總計時器時間是否超過4小時。

作為一種實施方式，為了統計總駕駛時間，整個監測過程中會啟動總計時器。

監測過程中，若沒有出現疲勞駕駛狀態，但是總駕駛時間超過4小時，系統同樣會聲音報警提示，進入步驟s111。

如果沒有出現疲勞駕駛狀態，總駕駛時間也沒有超過4小時，系統返回步驟s106持續監測。

如圖2-5所示，是本發明較佳實施例提供的一組電腦前坐姿監測結果圖。

其中，圖2為系統的人臉特征點定位效果圖。

圖3為監測過程中初始監測時嘴部與眼部特征點的初始距離計算效果圖。

圖4為監測過程中首次表現疲勞狀態，臨時監測計時開始的效果圖。

圖5為在限定監測時間內，再次出現疲勞狀態，達到報警條件，報警提示效果圖。

圖6為本發明實施例提供的一種可以應用并設置于微控制單元中的疲勞駕駛監測裝置。具體可以包括人臉深度圖像實時采集模塊301、上下嘴唇、上下眼皮特征點初始距離確定模塊302、打哈氣與眼部疲勞判定模塊303、疲勞駕駛判斷模塊304、疲勞駕駛報警模塊305。

其中，人臉深度圖像實時采集模塊301，用于實時采集人臉的深度圖像，跟蹤定位人體面部上下嘴唇、上下眼皮特征點的空間位置。

人體面部上下嘴唇、上下眼皮特征點初始距離確定模塊302，用于根據所述人臉深度圖像實時采集模塊初始時間內采集的深度圖像，確定人體面部上下嘴唇、上下眼皮特征點的初始距離。

打哈氣與眼部疲勞判定模塊303，用于根據所述人體面部上下嘴唇、上下眼皮特征點初始距離確定模塊所確定的初始距離，實時判斷當前上下嘴唇特征點與上下眼皮特征點的空間距離是否超出閾值范圍，若上下嘴唇特征點空間距離大于初始距離，且持續時間大于預設閾值，判定為打哈氣，若上下眼皮特征點空間距離小于初始距離一定比例，且持續時間大于預設閾值，判定為眼部疲勞。

疲勞駕駛判斷模塊304，用于根據所述打哈氣與眼部疲勞確定模塊所確定的打哈氣與眼部疲勞狀態，在限定時間內監測打哈氣或眼部疲勞的次數，若次數超過限定值則判定為疲勞駕駛。

疲勞駕駛報警模塊305，用于根據所述疲勞駕駛判斷模塊所確定的疲勞駕駛狀態，聲音報警提示。

上述人臉深度圖像實時采集模塊301、人體面部上下嘴唇、上下眼皮特征點初始距離確定模塊302、打哈氣與眼部疲勞判定模塊303、疲勞駕駛判斷模塊304、疲勞駕駛報警模塊305的具體實現方法,可以參考上述如圖1和圖所示的方法流程步驟的具體內容,此處不再贅述。

與現有技術相比，本發明實施例提供的一種疲勞駕駛監測方法與裝置，基于增強現實技術構建與真實場景一一映射的虛擬場景，在此場景下利用3d實感攝像技術實時跟蹤定位人體眼部與嘴部特征點的深度位置信息，依據眼部和嘴部的空間位置變化信息判定所述駕駛員的疲勞駕駛狀態；相比現有的基于二維圖像處理的人臉特征點跟蹤定位方法，加入了位置深度信息，以空間位置變化信息代替二維平面信息，更不易受到人臉姿態、角度的變化影響，同時避免了因圖像預處理及分類識別引起的監測延時問題。

而且，本發明實施例的根據嘴部和眼部特征點的空間初始距離進行打哈氣及眼部疲勞狀態判定方法中，計算獲得的初始值是每次監測時所述駕駛員行車的最佳狀態值；相比現有的監測方法，以駕駛員每次行車前的最佳狀態作為疲勞駕駛的評判標準，可以更有效地提高駕駛安全性。

進一步，本發明實施例的根據嘴部和眼部特征點的空間初始距離進行打哈氣及眼部疲勞狀態判定；在監測到第一次打哈氣或閉眼后，在后續限定時間內，若打哈氣的次數超過限定值或表現持續眼部疲勞狀態，聲音報警提示，此方法相比現有的疲勞駕駛狀態監測方法可以更及時地監測駕駛員的疲勞駕駛狀態且降低誤判的概率，整體提高疲勞駕駛監測的準確率與安全性。

在本申請所提供的幾個實施例中，應該理解到，所揭露的方法，也可以通過其它的方式實現。以上所描述的裝置實施例僅僅是示意性的，例如，附圖中的流程圖和框圖顯示了根據本發明的多個實施例的裝置、方法和計算機程序產品的可能實現的體系架構、功能和操作。在這點上，流程圖或框圖中的每個方框可以代表一個模塊、程序段或代碼的一部分，所述模塊、程序段或代碼的一部分包含一個或多個用于實現規定的邏輯功能的可執行指令。也應當注意，在有些作為替換的實現方式中，方框中所標注的功能也可以以不同于附圖中所標注的順序發生。例如，兩個連續的方框實際上可以基本并行地執行，它們有時也可以按相反的順序執行，這依所涉及的功能而定。也要注意的是，框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合，可以用執行規定的功能或動作的專用的基于硬件的系統來實現，或者可以用專用硬件與計算機指令的組合來實現。

需要說明的是，在本文中，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。

以上所述，僅為本發明的具體實施方式，但本發明的保護范圍并不局限于此，任何熟悉本技術領域的技術人員在本發明揭露的技術范圍內，可輕易想到變化或替換，都應涵蓋在本發明的保護范圍之內。因此，本發明的保護范圍應以所述權利要求的保護范圍為準。