一種基于快速特征點定位的視線朝向判斷方法及系統與流程
本發明涉及圖像處理技術領域，尤其是涉及一種基于快速特征點定位的視線朝向判斷方法及系統。
背景技術：
現代社會，人們生活水平有了大幅提高，對于汽車的保有量也是得到快速增長。因此，人們對安全駕駛越來越重視，對安全駕駛技術的研究也越來越深入。據不完全估計，全世界交通事故中幾乎有一半左右是由于駕駛員處于非正常駕駛狀態所引起的，比如，疲勞駕駛，注意力分散，左顧右盼等。因此，實時對駕駛員狀態監測具有重要意義，而一個實時性快，準確性高，判斷角度大的駕駛員視線朝向檢測方法顯得尤為重要。
一種車載型疲勞駕駛檢測與身份認證裝置及其檢測方法，通過基于三維面部圖像建立歐拉旋轉角坐標系，每種不同的角度分別用平動角、旋轉角以及滾動角表示，通過根據歐拉旋轉角坐標分析判斷左右擺頭姿勢；該方法通過對頭部姿態進行三維立體建模，該方法相對其他方法來說也是穩定性較為可靠的一種方法，但是采用該方法的缺點就是在實時性方面較差，沒有考慮到對駕駛員狀態監測的實時性要求。
一種眼睛視線判斷的方法，通過攝像頭采集圖像，利用輪廓比對的方式從圖像中分析出眼睛區域，分析眼睛區域中的眼部特征，計算瞳孔和眼眶相對距離并依據瞳孔半徑算出差異值，根據相對距離與差異值計算出特征比例，根據特征比例判斷瞳孔位于眼眶的位置，依據瞳孔所在眼眶的位置，以判定視線朝向，該方法相對來說比較簡單，實時性快，能快速檢測駕駛員視線朝向，但是卻嚴重依賴于眼睛檢測的精度，眼睛檢測稍微出現點偏差就會導致誤檢，因此在穩定性和可靠性上亟待提高。
當前判斷駕駛員視線的方法在準確性、實時性以及穩定性等方面存在許多不足之處。
技術實現要素：
本發明的目的在于克服上述技術不足，提出一種基于快速特征點定位的視線朝向判斷方法及系統，解決現有技術中的上述技術問題。
為達到上述技術目的，本發明的技術方案提供一種基于快速特征點定位的視線朝向判斷方法，包括：
s1、利用具有紅外補光功能的圖像采集裝置采集駕駛員頭部圖像并對采集的駕駛員頭部圖像進行預處理，利用adaboost算法訓練出識別臉部區域的分類器，利用訓練出的所述分類器對預處理后的駕駛員頭部圖像進行識別從而識別出駕駛員臉部區域圖像；
s2、利用基于局部二值特征的形狀回歸算法訓練定位臉部特征點的模型，利用訓練出的所述模型定位駕駛員臉部區域圖像的特征點，根據定位的駕駛員臉部區域特征點獲取所有眼部輪廓特征點位置信息以及特定的耳部特征點位置信息，眼部輪廓特征點位置信息包括左眼輪廓特征點位置信息和右眼輪廓特征點位置信息，特定的耳部特征點位置信息包括一特定的左耳特征點位置信息和一特定的右耳特征點位置信息；
s3、定義視線參數
s4、獲取前設定幀數之后的駕駛員臉部區域圖像后，計算每張駕駛員臉部區域圖像的視線參數與視線參數初始化值的比值，并根據比值獲取該張駕駛員臉部區域圖像的視線偏轉結果；
s5、獲取設定時長內識別出的駕駛員臉部區域圖像的視線偏轉結果并統計各視線偏轉結果出現的頻率，以出現頻率最高的一視線偏轉結果作為該設定時長的駕駛員視線偏轉結果，在偏轉角度較大無法識別出駕駛員臉部區域圖像時，以上一時長的視線偏轉結果作為實時的視線偏轉結果。
本發明還提供一種基于快速特征點定位的視線朝向判斷系統，包括：
臉部識別模塊：利用具有紅外補光功能的圖像采集裝置采集駕駛員頭部圖像并對采集的駕駛員頭部圖像進行預處理，利用adaboost算法訓練出識別臉部區域的分類器，利用訓練出的所述分類器對預處理后的駕駛員頭部圖像進行識別從而識別出駕駛員臉部區域圖像；
特征點定位模塊：利用基于局部二值特征的形狀回歸算法訓練定位臉部特征點的模型，利用訓練出的所述模型定位駕駛員臉部區域圖像的特征點，根據定位的駕駛員臉部區域特征點獲取所有眼部輪廓特征點位置信息以及特定的耳部特征點位置信息，眼部輪廓特征點位置信息包括左眼輪廓特征點位置信息和右眼輪廓特征點位置信息，特定的耳部特征點位置信息包括一特定的左耳特征點位置信息和一特定的右耳特征點位置信息；
視線參數初始化模塊：定義視線參數
單幀視線偏轉結果獲取模塊：獲取前設定幀數之后的駕駛員臉部區域圖像后，計算每張駕駛員臉部區域圖像的視線參數與視線參數初始化值的比值，并根據比值獲取該張駕駛員臉部區域圖像的視線偏轉結果；
多幀視線偏轉結果獲取模塊：獲取設定時長內識別出的駕駛員臉部區域圖像的視線偏轉結果并統計各視線偏轉結果出現的頻率，以出現頻率最高的一視線偏轉結果作為該設定時長的駕駛員視線偏轉結果，在偏轉角度較大無法識別出駕駛員臉部區域圖像時，以上一時長的視線偏轉結果作為實時的視線偏轉結果。
與現有技術相比，本發明的有益效果包括：使用了基于局部二值特征的形狀回歸算法，相比全局特征而言，噪聲更少，減少了計算量，可以快速地進行臉部特征點定位,實時性高；建立視線判別模型快速判斷視線偏轉，由于對視線參數進行了初始化，所以視線偏轉判斷不會受限于圖像采集裝置的安裝位置(但是安裝位置需要能夠檢測到臉部)，且通過初始化過程可以學習個人臉部視線參數，使得可以檢測不同駕駛者的視線偏轉，適應性強；借助具有紅外補光功能的圖像采集裝置，不同光照強度下，均可采集清晰駕駛員頭部圖像，準確定位駕駛員臉部區域的特征點，且由于視線偏轉的判斷只采用了部分特征點，因此受表情變化影響和部分遮擋的影響較小，適應性強；視線偏轉的判斷采用多幀判斷，以出現頻率最高的一視線偏轉結果作為該設定時長的駕駛員視線偏轉結果，準確率更高，并且，在視線偏轉角度較大時仍然能輸出一個視線偏轉結果，適用性更廣。
附圖說明
圖1是本發明提供的一種基于快速特征點定位的視線朝向判斷方法流程圖；
圖2是本發明提供的一種基于快速特征點定位的視線朝向判斷系統結構框圖；
圖3是本發明的adaboost算法流程圖；
圖4是本發明的局部二值特征的形狀回歸算法流程圖；
圖5是步驟s2中定位的特征點標號示意圖。
附圖中：1、基于快速特征點定位的視線朝向判斷系統，11、臉部識別模塊，12、特征點定位模塊，13、視線參數初始化模塊，14、單幀視線偏轉結果獲取模塊，15、多幀視線偏轉結果獲取模塊。
具體實施方式
為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，并不用于限定本發明。
本發明提供了一種基于快速特征點定位的視線朝向判斷方法，包括：
s1、利用具有紅外補光功能的圖像采集裝置采集駕駛員頭部圖像并對采集的駕駛員頭部圖像進行預處理，利用adaboost算法訓練出識別臉部區域的分類器，利用訓練出的所述分類器對預處理后的駕駛員頭部圖像進行識別從而識別出駕駛員臉部區域圖像；
s2、利用基于局部二值特征的形狀回歸算法訓練定位臉部特征點的模型，利用訓練出的所述模型定位駕駛員臉部區域圖像的特征點，根據定位的駕駛員臉部區域特征點獲取所有眼部輪廓特征點位置信息以及特定的耳部特征點位置信息，眼部輪廓特征點位置信息包括左眼輪廓特征點位置信息和右眼輪廓特征點位置信息，特定的耳部特征點位置信息包括一特定的左耳特征點位置信息和一特定的右耳特征點位置信息；
s3、定義視線參數
s4、獲取前設定幀數之后的駕駛員臉部區域圖像后，計算每張駕駛員臉部區域圖像的視線參數與視線參數初始化值的比值，并根據比值獲取該張駕駛員臉部區域圖像的視線偏轉結果，優選的，前設定幀數為前300幀；
s5、獲取設定時長內識別出的駕駛員臉部區域圖像的視線偏轉結果并統計各視線偏轉結果出現的頻率，以出現頻率最高的一視線偏轉結果作為該設定時長的駕駛員視線偏轉結果，在偏轉角度較大無法識別出駕駛員臉部區域圖像時，以上一時長的視線偏轉結果作為實時的視線偏轉結果。
本發明所述的基于快速特征點定位的視線朝向判斷方法，步驟s1中對采集的駕駛員頭部圖像進行預處理的步驟為：灰度化，圖像增強，圖像去燥等。
本發明所述的基于快速特征點定位的視線朝向判斷方法，步驟s1中利用adaboost算法訓練出識別臉部區域的分類器的步驟包括：
s11、準備訓練樣本：設adaboost訓練過程中樣本集合為：{(x1,y1),(x2,y2),(x3,y3),…(xn,yn)}其中，yi＝0或1，分別表示該訓練樣本為負樣本(非人臉樣本)或正樣本(人臉樣本)；
s12、初始化樣本權重：根據yi設置初始化權值，當yi＝0時，w1,i＝1/2m，當yi＝1，w1,i＝1/2l，其中m和l分別表示正負樣本的個數，若總樣本數為n，則n＝m+l；
s13、歸一化樣本權重系數，計算每個樣本特征點分類誤差，選取分類誤差最小的弱分類器，然后重新計算并分配訓練樣本的權值，具體為：
首先，根據
然后，在輸入的樣本中，根據每一個haar-like特征fj，可訓練出一個僅僅依賴于單一特征的弱分類器hj，該弱分類器的分類誤差為：
選擇使得當前分類錯誤率最小的弱分類器ht；
使用公式
s14、判斷訓練迭代總次數是否達到預設次數，如果沒有達到預設次數，則循環執行步驟s13繼續訓練分類器，如果達到預設次數，則進行步驟s15；
s15、結束訓練，獲取強分類器，最終得到的強分類器h(x)的表達式為：
本發明所述的基于快速特征點定位的視線朝向判斷方法，步驟s2中利用基于局部二值特征的形狀回歸算法訓練定位臉部特征點的模型的步驟包括：
s21、準備訓練樣本：樣本包括人臉樣本庫以及對應的人臉樣本庫標注文件groundtruth；
s22、預處理訓練樣本：對樣本圖像進行預處理操作，其中包括(灰度化，圖像增強，人臉檢測)，圖像裁剪(加快訓練速度)；
s23、對樣本進行坐標變換，構建平均形狀模型：考慮到樣本圖片之間人臉是各式各樣的，受到光照、姿勢等各方面的影響，因此在獲取平均形狀時，應該在一個相對統一的框架下求取，對訓練樣本進行坐標變換之后，對所有特征點求取平均值獲得平均形狀模型；
s24、設置訓練模型參數，包括提取局部二值特征的隨機森林參數(隨機樹個數，隨機樹深度等)和用于形狀的全局線性回歸相關參數(回歸階段次數，形狀殘差等)；
s25、訓練隨機森林，獲得特征映射函數，提取局部二值特征，對形狀進行全局線性回歸，并對形狀進行更新，具體為：
首先，訓練隨機森林，獲得特征映射函數φt(i,st-1)，提取局部二值特征；
然后采用δst＝wtφt(i,st-1)對形狀進行全局線性回歸，對形狀進行更新，其中，δst＝sgt-st為第t個階段的殘差，w為線性回歸矩陣，i為樣本圖像；
s26、判斷回歸次數是否達到預設次數，如果沒有達到預設次數，則循環執行步驟s25，如果達到預設次數，則保存模型。
本發明所述的基于快速特征點定位的視線朝向判斷方法，步驟s3中將前設定幀數的駕駛員臉部區域圖像用以初始化視線參數的步驟為：
計算前300幀的駕駛員臉部區域圖像的初始化參數的平均值，以該平均值作為視線參數的初始化值。
本發明所述的基于快速特征點定位的視線朝向判斷方法，步驟s4中根據視線參數比值獲取該張駕駛員臉部區域圖像的視線偏轉結果的步驟為：
前300幀之后的駕駛員臉部區域圖像的視線參數與視線參數初始化值的比值如果大于2.0，則視線偏轉結果為視線向右偏轉，如果比值小于0.5，則視線偏轉結果為視線向左偏轉，如果比值大于或等于0.5并且小于或等于2.0，則視線偏轉結果為視線不發生偏轉。
本發明所述的基于快速特征點定位的視線朝向判斷方法，步驟s5中：
特征點定位對于姿態偏轉的容忍度有限，偏轉角度有一定范圍的限制，在駕駛員臉部小角度偏轉時，可以識別到駕駛員臉部區域圖像，獲取視線偏轉結果，此時，以出現頻率最高的一視線偏轉結果作為該設定時長的駕駛員視線偏轉結果，但是當駕駛員臉部偏轉角度較大，無法識別出駕駛員臉部區域圖像時，以上一時長的視線偏轉結果作為實時的視線偏轉結果。
本發明還提供一種基于快速特征點定位的視線朝向判斷系統1，包括：
臉部識別模塊11：利用具有紅外補光功能的圖像采集裝置采集駕駛員頭部圖像并對采集的駕駛員頭部圖像進行預處理，利用adaboost算法訓練出識別臉部區域的分類器，利用訓練出的所述分類器對預處理后的駕駛員頭部圖像進行識別從而識別出駕駛員臉部區域圖像；
特征點定位模塊12：利用基于局部二值特征的形狀回歸算法訓練定位臉部特征點的模型，利用訓練出的所述模型定位駕駛員臉部區域圖像的特征點，根據定位的駕駛員臉部區域特征點獲取所有眼部輪廓特征點位置信息以及特定的耳部特征點位置信息，眼部輪廓特征點位置信息包括左眼輪廓特征點位置信息和右眼輪廓特征點位置信息，特定的耳部特征點位置信息包括一特定的左耳特征點位置信息和一特定的右耳特征點位置信息；
視線參數初始化模塊13：定義視線參數
單幀視線偏轉結果獲取模塊14：獲取前設定幀數之后的駕駛員臉部區域圖像后，計算每張駕駛員臉部區域圖像的視線參數與視線參數初始化值的比值，并根據比值獲取該張駕駛員臉部區域圖像的視線偏轉結果；
多幀視線偏轉結果獲取模塊15：獲取設定時長內識別出的駕駛員臉部區域圖像的視線偏轉結果并統計各視線偏轉結果出現的頻率，以出現頻率最高的一視線偏轉結果作為該設定時長的駕駛員視線偏轉結果，在偏轉角度較大無法識別出駕駛員臉部區域圖像時，以上一時長的視線偏轉結果作為實時的視線偏轉結果。
本發明所述的基于快速特征點定位的視線朝向判斷系統1，臉部識別模塊11包括：
第一樣本準備單元：準備訓練樣本；
初始化單元：初始化樣本權重；
第一訓練單元：歸一化樣本權重系數，計算每個樣本特征點分類誤差，選取分類誤差最小的弱分類器，然后重新計算并分配訓練樣本的權值；
第一判斷單元：判斷訓練迭代總次數是否達到預設次數，如果沒有達到預設次數，則循環執行第一訓練單元，如果達到預設次數，則執行強分類器獲取單元的操作；
強分類器獲取單元：獲取強分類器。
本發明所述的基于快速特征點定位的視線朝向判斷系統1，特征點定位模塊12包括：
第二樣本準備單元：準備訓練樣本；
預處理單元：預處理訓練樣本；
坐標變換單元：對樣本進行坐標變換，構建平均形狀模型；
參數設置單元：設置訓練模型參數；
第二訓練單元：訓練隨機森林，獲得特征映射函數，提取局部二值特征，對形狀進行全局線性回歸，并對形狀進行更新；
第二判斷單元：判斷回歸次數是否達到預設次數，如果沒有達到預設次數，則循環執行第二訓練單元，如果達到預設次數，則保存模型。
本發明所述的基于快速特征點定位的視線朝向判斷系統1，視線參數初始化模塊13中：
計算前設定幀數的駕駛員臉部區域圖像的初始化參數的平均值，以該平均值作為視線參數的初始化值。
本發明所述的基于快速特征點定位的視線朝向判斷系統1，單幀視線偏轉結果獲取模塊14中：
設定幀數之后的駕駛員臉部區域圖像的視線參數與視線參數初始化值的比值如果大于2.0，則視線偏轉結果為視線向右偏轉，如果比值小于0.5，則視線偏轉結果為視線向左偏轉，如果比值大于或等于0.5并且小于或等于2.0，則視線偏轉結果為視線不發生偏轉。
與現有技術相比，本發明的有益效果包括：使用了基于局部二值特征的形狀回歸算法，相比全局特征而言，噪聲更少，減少了計算量，可以快速地進行臉部特征點定位,實時性高；建立視線判別模型快速判斷視線偏轉，由于對視線參數進行了初始化，所以視線偏轉判斷不會受限于圖像采集裝置的安裝位置(但是安裝位置需要能夠檢測到臉部)，且通過初始化過程可以學習個人臉部視線參數，使得可以檢測不同駕駛者的視線偏轉，適應性強；借助具有紅外補光功能的圖像采集裝置，不同光照強度下，均可采集清晰駕駛員頭部圖像，準確定位駕駛員臉部區域的特征點，且由于視線偏轉的判斷只采用了部分特征點，因此受表情變化影響和部分遮擋的影響較小，適應性強；視線偏轉的判斷采用多幀判斷，以出現頻率最高的一視線偏轉結果作為該設定時長的駕駛員視線偏轉結果，準確率更高，并且，在視線偏轉角度較大時仍然能輸出一個視線偏轉結果，適用性更廣。
以上所述本發明的具體實施方式，并不構成對本發明保護范圍的限定。任何根據本發明的技術構思所做出的各種其他相應的改變與變形，均應包含在本發明權利要求的保護范圍內。
- 還沒有人留言評論。精彩留言會獲得點贊！