智能交通系統中的駕駛員接打電話識別方法
【專利摘要】本發明涉及智能交通系統中的駕駛員接打電話識別方法。本發明配合智能交通違章檢測系統，利用交通卡口或交通十字路口視頻監控獲取圖像，從中分割出駕駛員位置并進行人臉定位，獲得人臉圖像。以人臉像素點作為樣本點，構建形如Mahalanobis距離的膚色分割模型。對駕駛員圖像進行膚色分割，并提取人手圖像，計算人手圖像的質心和傾角。參考人臉的長度和高度設定違法區域。判斷人手圖像的傾角范圍和質心與違法區域的關系，來判別駕駛員是否在駕駛車輛時接打電話。
【專利說明】
智能交通系統中的駕駛員接打電話識別方法
技術領域：
[0001] 本發明屬于數字圖像處理技術領域，具體的說是一種針對駕駛員在駕車過程中接 打電話的識別方法。
【背景技術】：
[0002] 由于社會經濟快速發展，生活質量也不斷的提高，汽車已經成為日常出行的必備 工具。而汽車的保有量也急劇增加，隨之而來的是交通事故頻發。隨著交通運輸業的發展， 交通事故已經成為危害人類生命的最主要因素之一。而引發交通事故的原因中，人為因素 又是主要誘因。在駕車過程中遇到緊急情況時，如果駕駛員在接打電話，他的反應速度會比 集中注意力時慢30% W上。反應速度過慢可能會引起連續的操作失誤，最終將會釀成慘痛 的后果。因此，運就要求我們研究一種對駕駛過程中駕駛員接打電話進行自動檢測的方法， 對駕駛員起到威懾作用，從而杜絕駕駛過程中接打電話行為。
[0003] 目前，對駕駛員接打電話的檢測可W分為兩類：（1)基于手機信號檢測的方法。此 類方法通過在車輛的固定區域安裝手機信號檢測器，然后根據接收到的信號的特征判斷手 機是否處于通話狀態。（2)基于機器視覺的方法。此類方法是一種非接觸式檢測方法，主要 是通過對采集到的視頻圖像進行處理，對感興趣區域進行分類識別，從而判斷駕駛員的駕 駛狀態。
【發明內容】
：
[0004] 本發明的目的是提供一種基于智能交通的駕駛員接打電話識別方法。本發明配合 智能交通違章檢測系統，利用交通卡口或交通十字路口視頻監控獲取圖像，從中分割出駕 駛員位置并進行人臉定位，W此來構建膚色模型，對人手膚色進行分割。并對分割結果進行 判別，進而判斷駕駛員是否在駕駛車輛時接打電話。本算法具有精度高、計算量小、檢測快、 不受光照影響等特點。本發明采用的技術方案是：
[0005] 第一步:讀取駕駛員圖像I，其大小為MXN;
[0006] 第二步:利用Viola-化nes人臉檢測算法檢測人臉，確定人臉在圖像I中的區域，區 域的左上角頂點坐標用（faceX，faceY)表示，高度、寬度分別用化ceH、faceW表示，其單位為 像素，并截取此區域存成圖像Iface;
[0007] 第S步：Wlfaw的像素點作為樣本點，計算Ifaw的像素均值m，由于彩色圖像具有 RGBS個分量，因此m是具有S個分量的向量，各分量的計算方法如公式(1);
[000引
（1)
[0009] 第四步:計算人臉圖像Iface中像素的協方差矩陣C，C是3X3的矩陣，其計算方法如 公式(2)，其中Z為Ifate的像素值；
[0010] C = E{ (z-mKz-m)T}，z G Iface (2)
[001。 第五步:設協方差矩陣C的對角元素為Cll、C22、C33，則人臉圖像Iface的RGB分量的標 準差Dr、Dg、Db分別為Dr = Cii, Dg = C22，Db = C33,并且取RGB分量的標準差的最大值作為膚色模 型的闊值并設為T，則T=HiaxIDR, Dg,化}，并設置膚色分割伸縮因子A，其值為常數；
[0012] 第六步：按照公式（3)構造基于Mahalanobis距離的膚色模型，其中為I的像素 值，滿足公式(3)的那些像素點為膚色像素點；
[0013]
(3)
[0014] 第屯步:利用第六步構造的膚色模型對圖像I進行膚色分割，判斷原始圖像的每個 像素點是否滿足公式(3)，如果滿足公式(3)則認為該點為膚色點，其值設為1，否則為背景 像素點，其值設為0，得到二值圖像I skin ;
[0015] 第八步:去掉圖像Iskin中像素點較少的連通區域，其闊值化取值范圍在1/25 XMXN ~1/35 XMXN之間；
[001 6]第九步:通過第八步的處理后，Iskin中像素為1的區域絕大部分為人手和人臉，而 現在僅需要對人手進行判斷來確定是否打電話，因此需要去掉人臉區域，按照第二步在圖 像I中確定的人臉位置，將Iskin中相同位置的像素值設為0,即可去掉Iskin中人臉的大部分區 域；
[0017] 第十步:通過第九步的處理后，可W去掉Iskin中人臉的大部分區域，但是可能會遺 留人臉的邊緣像素，運些像素可能會對后續的操作產生影響，因此去掉小于闊值化/的連通 區域，其中闊值化^取1 /50 X M X N~1 /70 X M X N范圍內的值，即可消除可能存在的干擾；
[0018] 第十一步：在Iskin中設定位于人臉左側的違法區域，違法區域的右邊界與人臉圖 像的邊界相接，并且左上角頂點坐標為（faceX-faceW，faceY+0.25*faceH)，違法區域寬度 為化ceW個像素，違法區域高度為1.5桿aceH個像素；
[0019] 第十二步：在Iskin中設定位于人臉右側的違法區域，違法區域的左邊界與人臉圖 像的邊界相接，并且左上角頂點坐標為（faceX+faceW，faceY+0.25*faceH)，違法區域寬度 為化ceW個像素，違法區域高度為1.5桿aceH個像素；
[0020] 第十=步:對第十步處理后的圖像進行連通區域標記，分別標記為b，L2,…Ln，n為 連通區域個數，并計算每個連通區域的質屯、，計算公式如公式(4)，其中Kri, Cl)為經過標記 的二值膚色分割圖像在(ri，ci)處的像素值；
[0021]
(4)
[0022] 第十四步:選取一個連通區域^，判斷連通區域的質屯、是否處于第十一和第十二 步標記的違法區域內，如果質屯、處于違法區域內則轉到第十五步，否則舍棄此連通區域，重 新選取連通區域；
[0023] 第十五步:計算連通區域以的二階中屯、矩，其中行的二階中屯、矩iirr的計算方法如 公式(5)，列的二階中屯、矩Wcc的計算方法如公式(6)，混合二階中屯、矩的計算方法如公式 (7)，N為連通區域レ內的像素數，（roJ，coJ)為連通區域レ的質屯、；
[0024]
C5)
[0025] (6)
[0026] (7)
[0027] 第十六步:將連通區域的二階中屯、矩作為楠圓的二階中屯、矩構造楠圓，所得楠圓 如公式(8);
[0028]
(8)
[0029] 第十屯步:計算楠圓的長軸與水平方向的夾角，作為連通區域的傾角0，如果iirr〉 y。。，則計算方法如公式(9)，否則計算方法如公式(10);
[0030] (9)
[00 川
[0032] 第十八步:判斷連通區域k的傾角0，如果連通區域的質屯、在人臉左側違法區域內 并且角度e介于15~75度之間，或者連通區域在右側違法區域內并且角度0介于-15~-75度 之間則判定駕駛員在打電話，并停止執行輸出結果，否則轉到第十四步重新選取連通區域；
[0033] 第十九步：如果所有連通區域都不滿足第十四和第十八步的要求，則判定駕駛員 沒有接打電話。
【附圖說明】
[0034] 圖1本發明方法流程圖；
[0035] 圖2駕駛員圖像；
[0036] 圖3人臉檢測圖像；
[0037] 圖4膚色模型；
[0038] 圖5膚色分割圖像Iskin;
[0039] 圖6去除干擾連通區域后結果；
[0040] 圖7人臉殘留邊界圖像；
[0041] 圖8分離的手部圖像；
[0042] 圖9違法區域；
[0043] 圖10角度0計算方法示意圖；
【具體實施方式】：
[0044] 下面結合附圖和具體實例對本發明做詳細說明。具體過程如下所示：
[0045] 第一步:讀取附圖2所示的駕駛員圖像I，其大小為MXN，其中M=188，N=180;
[0046] 第二步:利用Viola-化nes人臉檢測算法檢測人臉，確定人臉在原圖像I中的區域， 其左上角頂點坐標為(59,23)，區域高度、寬度均為51，其單位為像素，并截取此區域存成圖 像Iface ;
[0047] 第^步：Wlfase的像素點作為樣本點，利用公式（I)計算Ifaw的像素均值，m = [63.66,58.12,48.74]t;
[0048]
…
[0049] 第四步：利用公式（2)計算人臉圖像Iface中像素的協方差矩陣，C= [243.75， 216.99,196.96; 216.99,203.83,184.08; 196.96,184.08,176.08]，為3 X 3 的矩陣；
[0050] C = E{ (z-m) (z-m)T}，z G Iface (2)
[0051] 第五步：取人臉圖像Iface的RGB分量的標準差的最大值作為膚色模型的闊值，T = 111曰義{化，0〇，化}，其中化=243.75,0〇 = 203.83,〇8 = 176.08，并設置膚色分割伸縮因子人=5; [0化2] 第六步：按照公式（3)構造基于Mahalanobis距離的膚色模型，其中為I的像素 值，滿足公式(3)的那些像素點為膚色像素點，AT = 1218.75;
[005：3]
(3)
[0054] 第屯步:利用第六步構造的膚色模型對原始圖像I進行膚色分割，即判斷原始圖像 的每個像素點是否滿足公式(3)，如果某個像素點公式(3)則認為該點為膚色像素點，其值 設為1，否則為背景像素點，其值設為0,因此膚色分割后的圖像為二值圖像，記為Iskin;
[0055] 第八步:去掉膚色分割圖像Iskin中的較小連通區域，由于膚色分割圖像共33840個 像素，因此其闊值化取1000像素；
[0056] 第九步：利用第二步確定的人臉位置，獲得Iskin中人臉的左邊界和右邊界的列坐 標分別為L = 59和R= 110,將Iskin中列為59至Ijlio之間區域的像素設為0,即可去掉Iskin中人 臉的大部分區域；
[0057] 第十步:去掉小于闊值化的連通區域，其中闊值化取500像素，即可消除可能存在的 人臉邊緣的干擾如圖8;
[005引第十一步：在Iskin中設定兩個分別位于人臉左右兩側的違法區域，其中左側違法 區域的左上角頂點坐標為(8,35)，寬度為51，高度為77,右側違法區域的左上角頂點坐標為 (110,35)，寬度為51，高度為77;
[0059] 第十二步:對第屯步處理后的圖像進行連通區域標記，此例只有一個連通區域，標 記為b，并計算此連通區域的質屯、，計算公式如公式(4)，質屯、坐標為巧8.47,131.56);
[0060]
(4)
[0061 ] 第十S步:連通區域^的質屯、為(58.47,131.56)，由此可知處于右側違法區域，執 行第十四步；
[0062]第十四步:計算連通區域^的二階中屯、矩，其中行的二階中屯、矩iirr的計算方法如 公式(5)，列的二階中屯、矩iicc的計算方法如公式(6)，混合二階中屯、矩的計算方法如公式 (7)，計算結果為山r 二 86.61, Ucc二 142.24, Urc 二-80.23;
[0063] (5)
[0064] C6)
[0065] (7)
[0066] 第十五步:將連通區域的二階中屯、矩作為楠圓的二階中屯、矩構造楠圓，所得楠圓 如公式(8);
[0067]
(8)
[0068] 第十六步:計算楠圓的長軸與水平方向的夾角，作為連通區域的傾角0，如果iirr〉 y。。，則計算方法如公式(10)，否則計算方法如公式(11)，計算結果為9 = -35.44;
[0069] (9)
[0070] (10)
[0071] 第十屯步：由于連通區域^的傾角0 = -35.44度，此連通區域滿足其質屯、在右側違 法區域內并且角度0介于-15~-75度之間，因此判定駕駛員接打電話。
【主權項】
1.智能交通系統中的駕駛員接打電話識別方法，其特征在于如下步驟： 第一步:讀取駕駛員圖像I，其大小為MXN; 第二步:利用Viola-Jones人臉檢測算法檢測人臉，確定人臉在圖像I中的區域，區域的 左上角頂點坐標用（faceX，faceY)表示，高度、寬度分別用faceH、faceW表示，其單位為像 素，并截取此區域存成圖像If_; 第三步：以Iface的像素點作為樣本點，計算Iface的像素均值m，由于彩色圖像具有RGB三 個分量，因此m是具有三個分量的向量，各分量的計算方法如公式(1);(1) 第四步:計算人臉圖像If_中像素的協方差矩陣C，C是3X3的矩陣，其計算方法如公式 (2)，其中z為Iface的像素值； C=E{ (z-m) (z_m)T}，z e Iface (2) 第五步:設協方差矩陣C的對角兀素為Cll、C22、C33,則人臉圖像Iface的RGB分量的標準差 Dr、Dg、Db分別為DR = CmDG = C2^DB = C33,并且取RGB分量的標準差的最大值作為膚色模型的 閾值并設為T，則了=1^以0 1?，0(；，〇8}，并設置膚色分割伸縮因子1，其值為常數； 第六步：按照公式(3)構造基于Mahalanobis距離的膚色模型，其中Z7為I的像素值，滿 足公式(3)的那些像素點為膚色像素點；(3) 第七步:利用第六步構造的膚色模型對圖像I進行膚色分割，判斷原始圖像的每個像素 點是否滿足公式(3)，如果滿足公式(3)則認為該點為膚色點，其值設為1，否則為背景像素 點，其值設為〇，得到二值圖像I skin ; 第八步:去掉圖像Iskin中像素點較少的連通區域，其閾值Th取值范圍在1/25 XMXN~1/ 35 XMX N之間； 第九步:通過第八步的處理后，1^"中像素為1的區域絕大部分為人手和人臉，而現在僅 需要對人手進行判斷來確定是否打電話，因此需要去掉人臉區域，按照第二步在圖像I中確 定的人臉位置，將Iskin中相同位置的像素值設為0,即可去掉1 8^中人臉的大部分區域； 第十步:通過第九步的處理后，可以去掉Iskin中人臉的大部分區域，但是可能會遺留人 臉的邊緣像素，這些像素可能會對后續的操作產生影響，因此去掉小于閾值IV的連通區 域，其中閾值IV取1 /50 X M X N~1 /70 X M X N范圍內的值，即可消除可能存在的干擾； 第十一步:在Iskin中設定位于人臉左側的違法區域，違法區域的右邊界與人臉圖像的邊 界相接，并且左上角頂點坐標為(€306乂-€306胃，€306￥+0.25村306!〇，違法區域寬度為€30洲 個像素，違法區域高度為1.5*faceH個像素； 第十二步:在Iskin中設定位于人臉右側的違法區域，違法區域的左邊界與人臉圖像的邊 界相接，并且左上角頂點坐標為(€3〇6乂+€3〇6胃，€3〇6￥+0.25村3〇6!0，違法區域寬度為€3〇洲 個像素，違法區域高度為1.5*faceH個像素； 第十三步:對第十步處理后的圖像進行連通區域標記，分別標記為L1, LyLn, η為連通 區域個數，并計算每個連通區域的質心，計算公式如公式(4)，其中I(ri，Cl)為經過標記的二 值膚色分割圖像在( ri，Cl)處的像素值；(4) 第十四步:選取一個連通區域Lp判斷連通區域的質心是否處于第十一和第十二步標記 的違法區域內，如果質心處于違法區域內則轉到第十五步，否則舍棄此連通區域，重新選取 連通區域； 第十五步:計算連通區域Lj的二階中心矩，其中行的二階中心矩yrr的計算方法如公式 (5)，列的二階中心矩μ。。的計算方法如公式(6)，混合二階中心矩yr。的計算方法如公式(7)， N為連通區域Lj內的像素數，（項，叫)為連通區域Lj的質心；(5) (6) (7) 第十六步:將連通區域的二階中心矩作為橢圓的二階中心矩構造橢圓，所得橢圓如公(8)第十七步:計算橢圓的長軸與水平方向的夾角，作為連通區域的傾角Θ，如果μ^>μ。。，則 計筧方法如公式（9),否則計筧方法如公式（10): (9) (10) 第十八步:判斷連通區域Lj的傾角Θ，如果連通區域的質心在人臉左側違法區域內并且 角度Θ介于15~75度之間，或者連通區域在右側違法區域內并且角度Θ介于-15~-75度之間 則判定駕駛員在打電話，并停止執行輸出結果，否則轉到第十四步重新選取連通區域； 第十九步：如果所有連通區域都不滿足第十四和第十八步的要求，則判定駕駛員沒有 接打電話。
【文檔編號】G06K9/00GK106022242SQ201610319250
【公開日】2016年10月12日
【申請日】2016年5月13日
【發明人】王好賢, 潘世吉, 韓雪
【申請人】哈爾濱工業大學（威海）