基于雙低成本攝像頭的車道偏離預警方法
【專利摘要】基于雙低成本攝像頭的車道偏離預警方法屬于輔助駕駛領域。本發明利用雙低成本的攝像頭實現了車道偏離預警算法。首先通過安裝在智能車左右車耳朵下的攝像頭獲取實時圖像；接著分別對兩副圖像進行預處理、IPM、特征點提取等；再根據候選車道線的特征點進行聚類后得到車道線特征點；再對圖像進行霍夫直線變換檢測；最后提取左攝像頭的最右邊車道線和右攝像頭的最左邊車道線進行計算偏離距離。偏離距離計算是在圖像逆透視變換后的IPM圖像上建立的模型，有效地解決出現一側攝像頭檢測失敗的情況。本發明用雙低雙成本的攝像頭代替了傳統單個高清工業攝像頭，不僅極大地降低了成本，而且在算法運算開銷、準確性、實時性等方面都有很好的表現。
【專利說明】
基于雙低成本攝像頭的車道偏離預譬方法
技術領域
[0001] 本發明是基于雙低成本攝像頭的車道偏離預警方法，屬于智能輔助駕駛技術領 域。
【背景技術】
[0002] 車道偏離預警是智能輔助駕駛系統研究的一個關鍵方面，隨著安全駕駛、智能交 通越來越受人們關注和重視，車道偏離預警方法研究已經成為研究的熱點問題。車道偏離 預警方法的設計是根據前方道路環境和本車位置關系，判斷車輛偏離車道距離并進行及時 提醒，防止由于駕駛員疏忽造成的車道偏離事故的發生。根據研究表明，車道偏離預警方法 的實現與應用可W避免30-70%的車道偏離交通事故的發生，對提高道路交通安全，減少交 通事故引發具有重大意義。傳統的車道偏離預警方法其設計在單目攝像機下的前視位置進 行，包括圖像采集模塊、車道線檢測模塊與預警模塊。一般首先通過圖像傳感器獲取車輛行 駛過程中實時的道路圖像，接著在硬件處理平臺上的對車道線檢測獲取車輛的偏離車道線 距離參數等，然后通過預警方法對當前行駛狀態是否有發生車道偏離的可能性進行評估， 最后顯示預警信息。
【發明內容】
[0003] 本發明利用車輛車耳朵(后視鏡)正下方的兩個低成本的攝像頭進行的車道偏離 預警方法，能夠正確、實時地提供車道偏離預警信息。其優點是對攝像頭的成本要求非常 低，并且保證了運算開銷最小和實時性。算法的設計是基于雙低成本的攝像頭，能夠適應車 輛生產家對成本、實時性及準確的要求，市場前景將非常好。
[0004] 為了實現上述目的，本發明采取了如下的技術方案：
[0005] 步驟1:傳感器安裝；
[0006] 將攝像機分別安裝在智能車輛兩側后視鏡的正下方并與車體的縱向坐標軸平行， 安裝攝像機時，應保證兩攝像機必須位于同一平面內，并能夠采集到車輛兩側車道線圖像；
[0007] 步驟2:攝像頭標定；
[000引分別對兩攝像頭進行標定，標定的視野范圍為：寬600cm，遠1000cm。調整攝像頭的 左右、上下角度，使標定后左右攝像頭的位置要在同一平面內（要求獲取的圖片能夠在同一 平面內處理）；
[0009] 步驟3:圖像的預處理；
[0010] 根據車道線特征，先對圖像進行灰度處理，灰度處理的公式為
[001。 Gray = R*0 . 5+G*0.5，其中R、G分別代表紅藍通道分量值，Gray表示轉換后的像素的 灰度值。然后對圖像進行中值濾波，本實驗中采用3X3的方形領域對圖像進行濾波處理。
[0012] 步驟 4:IPM;
[0013] 對灰度圖像進行逆透視處理得到鳥廠圖像，透視矩陣是標定后的Η矩陣。
[0014]步驟5:特征點提取；
[0015] 車道線的灰度值要比其兩邊的值要高，形成一個波峰;呈現從左到右是先升后降 趨勢;車道線區域內均值較高時，均值與其峰頂值相差較大。我們利用運些特性，通過計算 相鄰圖像像素的變化來判斷車道線的邊緣。
[0016] 步驟5-1:計算相鄰圖像像素的均值；
[0017]設某點是(x，y)，滿足yE [0,h)且χΕ [2，w-2；Lx，y分別是像素點的列和行，W是圖 像的寬度，h是圖像的高度。則有相鄰圖像像素的均值為：
[001 引
[0019] 其中te[l，3,5,7,……]，t = 5能取得很好的效果。
[0020] 步驟5-2:計算邊緣提取闊值T，其計算公式表達如下：
[0021]
[0022] 其中avg(x,y)為點(x，y)水平線附近的均值。
[0023] 步驟5-3:計算邊緣的升變點ep和降變點ev。
[0024] epG{f(x+2,y)-f(x,y)>T}
[0025] evG{f(x+2,y)-f(x,y)<-T}
[0026] ^^，7)為當前點^，7)的灰度值^^+2,7)為該點水平方向的間隔點的灰度值。
[0027] 步驟5-4:車道線的升變點和降變點在圖像中是成對出現的，并且之間滿足一定的 距離。比較升變點和降變點的寬度，剔除不滿足的點。
[002引 Δ w = ep(x)-ev(x)
[0029] 若Aw〉W，則認為是不可能出現的車道線，則要舍棄。其中，ep(x)和ev(x)分別表示 升變點和降變點的列像素坐標，W為車道線在圖像中占有的最大的像素個數。
[0030] 步驟6:基于車道線的聚類方法。
[0031] 經過特征點提取后得到的車道線候選域，聚類車道線特征點。假定起始點為(X0， yo)，設定一個m*n，即m行η列的方形的窗口，每次從下向上，從左到右的掃描特征點。如果在 窗口內每行第一次遇到的特征點即為有效特征點，運行的其他特征點將不被掃描;如果運 個窗口內沒有特征點，窗口將平移η-1行，若累計超過化行沒有特征點，聚類結束;如果y〉h 或x〉w，聚類結束，其中W是圖像的寬度，h是圖像的高度。
[0032] 步驟7:將聚類后生成的特征點分別進行化U曲變換，并延長直線，分別取近處y = 180口;[義，遠處7 = 120口;[義。
[0033] 步驟8:分別計算在遠近處運兩點離邊緣的橫坐標距離護和〇1，則有W =護+〇1，所W 有Δ D =護-〇1，當Δ D〉0時，偏向左車道線；當Δ D<0時，偏向右車道線；當Δ D = 0時，沒有發生 偏移。
[0034] 步驟9:將檢測的結果顯示或發送給決策者，W便及時進行調整；
[0035] 其中在遠近處計算時，可能有相對的一個誤差，運個誤差利用帖間關聯的連續性， 可W減少。即當連續5帖W上圖像誤差AD/〉Td，Td取30pix，則重新初始化，并將最新的檢測 結果發給或顯示給決策者;pix表示像素。
[0036] 進一步說明；
[0037] 1.步驟1中安裝的兩攝像機必須位于同一平面內，并能夠采集到車輛兩側車道線 圖像;不要求具有自動曝光、感興趣區域可設置、自動白平衡等功能；
[0038] 2.步驟2中標定的視野范圍要根據攝像頭的最大分辨率來定，實驗中我們采用的 羅技C170,最大分辨率為640*480,因此，設計為寬600畑1，遠1000cm的視野較為合適。
[0039] 3.步驟3、步驟4是在硬件平臺上進行的，要求工作的平臺至少滿足內存2GW上，處 理器2.1HzW上。
[0040] 4.步驟5的特征點提取是車道線檢測的重要模塊，計算邊緣提取闊值T時，要根據 實際道路進行調整，在高速道路下，我們設的闊值將是最合適的。此外，在車道線不明顯的 情況下，通過特征點提取后車道線信息將可能會大大減少甚至為空，對于運種情況，我們在 算法中設計了增加車道線可靠點模塊。運要求在做IPM時，保留一份圖像作為備份，在特征 點提取較少時，我們對比兩份圖像，在區域內增加車道線信息。公式如下：
[0041] Kxi'yi) , (Xn'yn)} e {(xi'yi) , (Xm'ym)，(Xm+l，ym+l)…，(Xm+k，ym+k)}
[0042] 5.步驟6中的聚類方法是針對步驟5中的結果可定的，對于左右攝像頭，我們知道： 左攝像頭得到的左側車道線的車道線信息，右攝像頭獲取的是右側的車道線信息。在算法 設計中，我們關屯、的是當前的車道線信息，因此，左攝像頭的IPM圖像最關屯、的是靠近右側 邊緣的車道線特征點，右攝像頭的IPM圖像最關屯、的是靠近左側邊緣的車道線特征點。在選 取起始點(x〇，y〇)時要注意屬于哪個攝像頭的圖像。
[0043] 6.步驟7中我們對所有彎道和直道的車道線進行了對比，發現在我們的模型下，所 有彎道在近處都可近似為直線，選取范圍在近處120-180最為合適。
[0044] 7.步驟8中的實際距離與像素距離的比值k的計算方法:將智能車輛停擺在車道內 并與車道線平行，從鳥廠圖像中計算兩條相鄰車道線內的水平像素距離P(單位pixel),然 后測量出一條車道的寬度W(單位cm)，則k=W/p;。
[0045] 本發明的有益效果是：
[0046] 本發明通過可行的技術方案，不僅可滿足實際應用時的實時性，還可W保證識別 正確率為95 % W上，此外還極大地降低了成本。
【附圖說明】
[0047] 圖1本發明的流程示意圖
[004引圖2攝像頭標定圖 [0049]圖3-(a)彎道岔道灰度圖 [(K)加 ]圖3-(b)直道灰度圖 [0051]圖3-(c)彎道灰度圖 [0化2] 圖4-(a)彎道IMP圖-1
[0化3] 圖4-(b)彎道IMP圖-2
[0化4] 圖4-(c)直道IMP圖-1
[0化5] 圖4-(d)直道IMP圖-2
[0056] 圖5-(a)彎道特征點提取-1
[0057] 圖5-(b)彎道特征點提取-2 [0化引圖5-(c)直道I特征點提取-1 [0化9]圖5-(d)直道特征點提取-2 [0060]圖6車道線聚類圖像
[0061 ]圖7化U曲變換圖像(已延長）
[0062] 圖8偏離距離結果圖
【具體實施方式】
[0063] 采用本發明的方法，給出一個非限定性的實例，結合圖1進一步對本發明的具體實 施過程進行說明。本發明在智能車輛平臺、智能車測試場地進行實現，為了保證駕駛智能汽 車W及人員安全，所用平臺和場地均為智能駕駛技術專業實驗平臺和測試場地。所使用的 一些通用技術如圖像采集、圖像變換等不在詳細敘述。
[0064] 本發明的實施方式如下：
[0065] 1.按照步驟1要求安裝攝像機，本實例所用平臺已安裝所需裝置，只需要稍作調整 便可W進行實驗。
[0066] 2.按照步驟2對攝像頭進行標定，對攝像頭進行微調整。
[0067] 3.按照3、4、5、6、7、8、9的詳細步驟進行實現。
【主權項】
1.基于雙低成本攝像頭的車道偏離預警方法，其特征在于，包括W下步驟： 步驟1:傳感器安裝； 將攝像機分別安裝在智能車輛兩側后視鏡的正下方并與車體的縱向坐標軸平行，安裝 攝像機時，應保證兩攝像機必須位于同一平面內，并能夠采集到車輛兩側的車道線圖像； 步驟2:攝像頭標定； 分別對兩攝像頭進行標定，標定的視野范圍為：寬600cm，遠1000cm;調整攝像頭的左 右、上下角度，使標定后左右攝像頭的位置要在同一平面內； 步驟3:圖像的預處理； 先對圖像進行灰度處理，灰度處理的公式為Gray = R*0.5+G*0.5，其中R、G分別代表紅藍 通道分量值，Gray表示轉換后的像素的灰度值;然后對圖像進行中值濾波，采用3X3的方形 領域對圖像進行濾波處理； 步驟4:IPM; 對灰度圖像進行逆透視處理得到鳥廠圖像，透視矩陣是標定后的Η矩陣； 步驟5-1:計算相鄰圖像像素的均值； 設某點是（x，y)，滿足ye[0，h)且義引2，巧-2)山7分別是像素點的列和行，巧是圖像的 寬度，h是圖像的高度;則有相鄰圖像像素的均值為：其中t = 5; 步驟5-2:計算邊緣提取闊值T，其計算公式表達如下：其中avg(x,y)為點（x，y)水平線附近的均值； 步驟5-3:計算邊緣的升變點ep和降變點ev; epG {f(x 巧，y)-f(x,y)>T} evG {f (X 巧，y)-f (x,y)<-T} ^義，7)為當前點^，7)的灰度值^^+2,7)為該點水平方向的間隔點的灰度值； 步驟5-4:比較升變點和降變點的寬度，剔除不滿足的點； A w = ep(x)-ev(x) 若Aw>W，則認為是不可能出現的車道線，則要舍棄;其中，ep(x)和ev(x)分別表示升變 點和降變點的列像素坐標，W為車道線在圖像中占有的最大的像素個數； 步驟6:基于車道線的聚類方法； 經過特征點提取后得到的車道線候選域，聚類車道線特征點;假定起始點為(xo，yo)，設 定一個m*n，即m行η列的方形的窗口，每次從下向上，從左到右的掃描特征點；如果在窗口內 每行第一次遇到的特征點即為有效特征點，運行的其他特征點將不被掃描;如果運個窗口 內沒有特征點，窗口將平移n-1行，若累計超過化行沒有特征點，聚類結束;如果y>h或x> W，聚類結束，其中W是圖像的寬度，h是圖像的高度； 步驟7:將聚類后生成的特征點分別進行Hough變換，并延長直線，分別取近處y = 180口;[義，遠處7 = 120口;[義； 步驟8:分別計算在遠近處運兩點離邊緣的橫坐標距離護和〇1，W = D4Di，則有Δ D =護- 〇1，當Δ〇>0時，偏向左車道線；當Δ〇<0時，偏向右車道線；當Δ〇 = 0時，沒有發生偏移； 步驟9:將檢測的結果顯示或發送給決策者，W便及時進行調整；當連續5帖W上圖像誤 差A〇/>Td，Td取30pix，則重新初始化，并將最新的檢測結果發給或顯示給決策者。
【文檔編號】B60R1/00GK105966314SQ201610423005
【公開日】2016年9月28日
【申請日】2016年6月15日
【發明人】劉宏哲, 袁家政, 李超, 宣寒宇, 牛小寧, 門曉杰
【申請人】北京聯合大學