一種基于場景幾何約束的目標檢測滑窗掃描方法
【專利摘要】本發明公開一種基于場景幾何約束的目標檢測滑窗掃描方法。現有的基于單目攝像頭的全圖滑窗窮搜索方法，存在搜索效率低導致檢測系統無法達到實時的問題。本發明公開了一種基于場景幾何約束的目標檢測滑窗掃描方法。該方法利用八個控制點和直接線性變換算法，計算出預先標定的車載攝像頭的單應性矩陣和地平面法向量在圖像投影向量，根據我們圖像成像幾何約束關系推導的約束方程計算出滑窗掃描約束區域的上邊界和下邊界，只在相應的圖像約束區域中進行圖像特征金字塔構建和滑窗掃描檢測分類，不僅具有高效的掃描效率，而且由于只需要一個攝像頭，解決了多目探測器硬件成本高的問題。
【專利說明】 一種基于場景幾何約束的目標檢測滑窗掃描方法
【技術領域】
[0001]本發明涉及一種車載視頻圖像的目標檢測中的高效滑窗掃描方法，特別涉及一種基于場景幾何約束的視頻圖像滑窗掃描方法。
【背景技術】
[0002]隨著交通事業的高速發展，交通安全變得越來越重要。高級駕駛輔助系統(advanced driver assistance systems)中的前方車輛、行人等目標檢測預警是減少車輛交通事故的重要方法，其中的圖像滑窗掃描搜索檢測是車載圖像目標檢測技術中的關鍵一環，是影響圖像目標檢測效率和實時性的重要因素。
[0003]基于視覺的圖像目標檢測根據采用的探測器不同，滑窗掃描搜索可以分為兩大類:基于單目攝像頭的全圖滑窗窮盡搜索和基于多探測器的利用深度信息滑窗搜索。全圖滑窗窮盡搜索屬于全局貪婪搜索，方法簡單，但是滑窗搜索量大，搜索效率很低，導致目標檢測算法運算量過大，無法達到車載目標檢測的實時性要求。基于多探測器的利用深度信息滑窗搜索，屬于利用圖像深度信息的啟發式搜索，搜索效率有所提高，但是需要多個探測器，導致系統硬件成本大大提高；而且由于需要結合多個探測器得到用于搜索空間約束的深度信息，計算復雜度更高，算法穩定性較差，最終的目標檢測實時性也受影響。因此，針對車載單目視頻圖像的目標檢測，本發明提出一種基于幾何約束的滑窗掃描搜索方法。通過車載固定焦距攝像頭的預先標定，車輛前方道路上的人車目標對象在視頻圖像中的垂直方向的尺度大小和位置，與實際目標對象和車載攝像頭之間的距離形成幾何約束關系，利用這些幾何約束進行啟發式搜索，可以減少滑窗搜索區域，大幅度減少搜索窗口數，提高目標檢測的時間性能，降低誤檢率。
【發明內容】
[0004]針對單目視覺圖像目標檢測應用場景，本發明公開了一種基于場景幾何約束的圖像高效掃描檢測方法。該方法利用八個控制點和直接線性變換算法，計算出預先標定的車載攝像頭的單應性矩陣和地平面法向量在圖像投影向量，根據圖像成像幾何約束關系推導的約束方程計算出滑窗掃描約束區域的上邊界和下邊界，只在相應的圖像約束區域中進行圖像特征金字塔構建和滑窗掃描檢測分類，不僅具有高效的掃描效率，而且由于只需要一個攝像頭，解決了多目探測器硬件成本高的問題。
[0005]本發明解決其技術問題采用的技術方案步驟如下:
[0006]Stepl:首先進行車載定焦攝像頭(非廣角單目)校正。保證攝像頭取景方向平行于地平面，即相機的俯仰角、航偏角、旋轉角都為零。
[0007]Step2:測量八個控制點，分別記錄每個點在空間世界坐標系的坐標和圖像局部坐標系的坐標。
[0008]Step3:計算單應性矩陣Ηπ和地平面法向量在圖像上的映射向量η。取八個測量點的測量值，利用直接線性變換算法計算Ηπ和η。[0009]Step4:計算不同縮放層下的單應性矩陣和地平面法向量在圖像上的映射向量，更新第k層的ΗπΛ和nk。
[0010]Step5:利用相機成像幾何約束方程求出約束線。
[0011]Step6:設定圖像的左右邊界，即取圖像的最左邊界Xniin和最右邊界x_。
[0012]Step7:計算當前層約束的上邊界ymin和下邊界ymax。設定約束區域R0I。
[0013]Step8:使用分類器掃描檢測ROI區域(xmin, xmax, ymin, ymax)。要求做掃描檢測時只對ROI內的圖像進行特征提取；只對ROI內的圖像進行滑窗掃描分類。
[0014]轉到Step4,重復執行Step4、Step5、Step6、Step7、Step8直到完成所有層的掃描檢測。
[0015]本發明的有益效果:
[0016]1.本發明從車載應用場景出發，利用車載相機成像的幾何場景信息進行約束，可以有效地將檢測窗約束在有意義假陽性相關(行人可能出現)的圖像區域，具有很高的搜索效率，可以明顯降低目標檢測系統運算量，提升檢測速度。
[0017]2.本發明由于限制了很多假陽性不相關圖像區域/檢測窗，減少了不相關的圖像區域的假陽性目標干擾，可以降低錯誤率，提高檢測精度。
【專利附圖】
【附圖說明】:
[0018]圖1為本發明計算約束區域的整體流程圖。
[0019]圖2為計算牽涉到的坐標系和部分符號說明圖。
[0020]圖3為縮放金字塔其中兩層(δ =1.75和δ =0.65)的約束上邊界和下邊界示例。
[0021]圖4為全圖滑窗窮盡搜索和使用本發明約束后的待檢測窗口展示。
【具體實施方式】
[0022]下面結合附圖，以檢測目標為行人為例，對本發明的具體實施方案作進一步詳細描述。其具體步驟流程如圖1所示:
[0023]步驟1:安裝校正車載攝像頭。攝像頭成像軸平行于地平面，即相機的俯仰角、航偏角、旋轉角都為零。攝像頭安裝位置距離地面高度在20厘米到160厘米范圍內，要求攝像頭為普通(非廣角)單目定焦攝像頭。
[0024]步驟2:測量八個控制點，分別記錄其在空間世界坐標系的坐標Χ=[Χ，Y, Ζ]τ和圖像局部坐標系的坐標x=[x，y]T，坐標系說明如圖2所示。測量點布設要求:這八個點不能布設在空間的任意同一平面內；而且在空間分布均勻，在圖像上構像范圍大。
[0025]步驟3:計算單應性矩陣Ηπ和地平面法向量在圖像上的映射向量η。利用直接線性變換算法，代入六個測量點的測量值，求解
[0026]Ηπ = (/7' hj )' , U = Inl η2 。求解單應性矩陣的求解算法為:
[0027]
【權利要求】
1.一種基于場景幾何約束的目標檢測滑窗掃描方法，其特征在于該方法的具體步驟為: 步驟1、控制點的選取和測量: 選取八個控制點，要求這八個點不能布設在空間的任意同一平面內，而且在空間分布均勻，在圖像上構像范圍大；保存其在空間世界坐標系的坐標和圖像局部坐標系的坐標；步驟2、計算相機單應性矩陣Ηπ和地平面法向量在圖像的投影向量η: 根據測量得到的八組測量值，使用直接線性變換算法，求出相應的最小二乘解即可；步驟3、計算不同縮放層下的單應性矩陣和地平面法向量在圖像上的映射向量，根據當前縮放層的縮放因子S更新第k層的Hi1^Pnk: 將當前所在縮放層的縮放因子代入
【文檔編號】G06T7/00GK103886583SQ201410050851
【公開日】2014年6月25日 申請日期:2014年2月14日 優先權日:2014年2月14日
【發明者】徐向華, 任新成, 周斌 申請人:杭州電子科技大學