一種基于單目視覺的車輛重構算法
【專利摘要】一種基于單目視覺的車輛重構算法，其步驟為：采用SIFT算子作為圖像特征點的提取與匹配算法；采用基于標定物的攝像機標定方法，通過SIFT算子得到的特征匹配點計算攝像機的內參數和外參數；基于布爾圖像的圖像背景分割方法，將目標車輛從復雜的背景中提取出來；采用基于幾何學的分層量化和表面分割方法得到車輛的3D模型。有益效果是：首次提出了一種新型的基于單目視覺的3D模型重建的整體算法框架，并首次將之應用到車輛的3D重建；通過空間點與投影點的關系建立攝像機內、外參數的超定方程，有效地提高了計算精度和計算速度；提出了AND-OR樹車輛表面重組最優搜索算法，能夠有效準確地搜索出最優的車輛表面形狀，并且提高搜索速度和搜索的準確度。
【專利說明】一種基于單目視覺的車輛重構算法
【技術領域】
[0001] 本發明涉及一種基于單目視覺的車輛重構算法。
【背景技術】
[0002] 隨著汽車產量的增長，汽車種類的增多，人們對汽車的需求越來越大。為了提高汽 車的產量就要同時縮短汽車的生產周期和設計周期。為了提高汽車的生產效率，縮短汽車 的設計周期。這就使得汽車的外形設計成為人們關注的焦點。現在的設計師在進行車輛外 形設計時多采用繼承并發展以前的車輛設計方案的方法。這就使得高效準確地重建出車輛 的外形變得尤其重要。目前對于汽車外形的測量多采用三維坐標機或者激光掃描儀測出的 坐標點云，但實車往往不容易獲得，即使較容易獲得，所測點云的合理性也因操作人員的經 驗而有所不同。另外這些方法有周期長，操作復雜、成本高、精度不高等缺點。
【發明內容】
[0003] 本發明的目的是為了克服【背景技術】中的不足之處，基于單目視覺采用幾何學的分 層量化和圖形分割重建車輛的3D模型。該方法通過處理不同角度拍攝的目標車輛的圖像 序列可以準確地重建車輛外形，具有操作簡單效果明顯的特性。能夠很好地得到車輛的外 形信息，重建車輛的3D模型。
[0004] 為了解決上述存在的技術問題，本發明是通過以下技術方案實現的：
[0005] -種基于單目視覺的車輛重構算法，其內容包括如下步驟：
[0006] 步驟一、特征點的提取與匹配
[0007] 所述的特征點的提取與匹配是指采用基于尺度空間不變性的SIFT算子的特征轉 換算法；SIFT算子特征點提取是指將圖像中感興趣的可以更有效描述圖像內容及結構的 特征找出來，如圖像中的邊緣、角點、興趣點；SIFT算子特征點的匹配是指根據所選擇特征 的值，建立特征點間的對應關系，將同一空間物理點在不同圖像中的成像點對應起來，并由 此得到相應的視差圖像；
[0008] 所述的尺度空間不變性是指在不同的尺度空間下仍然能夠匹配特征點。
[0009] 所述的尺度空間是指在圖像處理中引入一個被視為尺度的參數通過連續變換尺 度參數獲得不同尺度下的圖像處理信息。
[0010] 所述的SIFT算子是在空間尺度中尋找極值點，并提取出其位置、尺度、旋轉不變 量的算法。
[0011] 步驟二、攝像機標定
[0012] 所述的攝像機標定是指采用基于標定物的攝像機標定方法，通過攝像機拍攝到的 圖片得到攝像機的內參數和外參數；所述的基于標定物的攝像機標定方法是指使用結構已 知的標定參照物，通過建立標定參照物上三維坐標已知的點與其圖像點的對應約束關系， 利用空間點與圖像點的共線性方程計算攝像機模型的內外參數，利用光束平差法實現相機 內外參數的校準；所述攝像機的內參數是指攝像機坐標系與世界坐標系之間進行變換時所 需要的一個3X3的旋轉矩陣R和一個3X 1的平移矢量T ;所述攝像機的外參數是指有效 焦距f、像面中心坐標（叫，V(l)、徑向畸變修正系數、切向畸變修正系數、仿射畸變和非正交 畸變修正系數；
[0013] 步驟三、目標車輛與背景分割
[0014] 所述的目標車輛與背景分割是指采用基于布爾圖像的圖像分割算法（BMS);所述 的目標車輛與背景分割是指進行車禍過程的三維重建時，首先要將目標車輛的輪廓從背景 中提取出來，這就需要對車禍過程中的圖片進行圖像分割；所述的布爾圖像是指對圖片的 每個顏色通道設置一個閥值來得到二值化的圖像；通過這種方法能夠有效的將目標車輛 與背景分割開來；
[0015] 步驟四、車輛外形輪廓的模型重建
[0016] 所述的車輛外輪廓的模型重建是指采用基于幾何模型分層量化和表面空間分割 方法實現車輛的幾何模型重建；所述的表面空間分割是指將車輛表面的不同幾何形狀從車 輛整體上提取出來，將車輛表面整體分割成多個不同幾何形的小部分；所述的幾何模型分 層量化是指將車輛表面分割出來的每一個小部分量化為不同的各種參數，例如：位置、位置 方向和幾何圖形的尺寸；最后將每個量化后的幾何圖形再重新映射到車輛的每一部分得到 幾何圖形描述的車輛的3D模型。
[0017] 由于采用上述技術方案，本發明提供的一種基于單目視覺的車輛重構算法與現有 技術相比，具有這樣的有益效果：
[0018] 1、本發明首次提出了一種新型的基于單目視覺的3D模型重建的整體算法框架， 并首次將之應用到車輛的3D重建。該技術的整體實現的組成為：特征點的提取與匹配、攝 像機標定、目標車輛與背景分割、車輛外形輪廓重建；
[0019] 2、本發明通過空間點與投影點的關系建立攝像機內、外參數的超定方程，通過最 小二乘法求解攝像機內外參數，采用光束平差法對攝像機的內、外參數進行校準，有效地提 高了計算精度和計算速度；
[0020] 3、本發明提出的一種基于布爾圖像的圖像背景分割算法能夠有效地忽略圖像中 的背景、凸顯目標車輛，提高了目標車輛提取的效率；
[0021] 4、本發明提出的基于幾何學的分層量化和表面分割方法通過對SIFT提取的特征 點進行進一步的處理，采用線段和幾何圖形對車輛表面進行描述，有效地彌補了 SIFT特征 點提取算法不能提取邊界的缺點；
[0022] 5、本發明首次提出了 AND-0R樹車輛表面重組最優搜索算法，能夠有效準確地搜 索出最優的車輛表面形狀，并且提高搜索速度和搜索的準確度。
【專利附圖】
【附圖說明】：
[0023] 附圖1是本發明的整體實現結構圖；
[0024] 附圖2是本發明的提取特征點的實現步驟結構圖；
[0025] 附圖3是本發明的目標車輛與背景分割實現結構圖；
[0026] 附圖4是本發明的車輛外輪廓模型重建實現結構圖；
[0027] 附圖5是本發明的攝像機模型示意圖；
[0028] 附圖6是本發明的目標車輛與背景分割的實驗結果圖；
[0029] 附圖7是本發明的幾何學的3D模型重建的實驗結果圖。
【具體實施方式】：
[0030] 以下結合附圖與【具體實施方式】對本發明做更為詳細的說明：
[0031] 一種基于單目視覺的車輛重構算法，如圖1所示其實現步驟為：特征點的提取與 匹配、攝像機標定、目標車輛與背景分割、車輛外形輪廓重建。
[0032] 圖1所示是本發明的整體實現結構圖。該圖從整體上呈現了實現本發明的整體框 架結構。從提取圖像的特征點到重建出車輛的3D模型，清晰地展示了實現流程以及每一步 的算法。這一整體框架是本發明首次提出并將之應用到車輛3D重建。這也是本發明的特 別之處。
[0033] 此處所述的具體實施僅用以解釋本發明，并不用于限定本發明。
[0034] 所述特征點的提取與匹配是指基于尺度空間不變性的SIFT算子的特征轉換算 法。SIFT算子特征點提取是指將圖像中感興趣的可以更有效描述圖像內容及結構的特征找 出來，如圖像中的邊緣、角點、興趣點；
[0035] 所述的SIFT算子特征點提取步驟如下：
[0036] 1)對圖像建立尺度空間；
[0037] 2)提取尺度空間的反應值的極值點；
[0038] 3)優化計算，拋棄一些不穩定點；
[0039] 4)對提取出的特征點分配主方向；
[0040] 通過計算以特征點為中心的特定窗口內每個像素點的梯度幅值和方向來確定特 征點的分配主方向，建立特征描述子。計算公式如下：
【權利要求】
1. 一種基于單目視覺的車輛重構算法，其主要特征在于：其內容包括如下步驟： 步驟一、特征點的提取與匹配 所述的特征點的提取與匹配是指采用基于尺度空間不變性的SIFT算子的特征轉換 算法；SIFT算子特征點提取是指將圖像中感興趣的可以更有效描述圖像內容及結構的特 征找出來，如圖像中的邊緣、角點、興趣點；SIFT算子特征點的匹配是指根據所選擇特征的 值，建立特征點間的對應關系，將同一空間物理點在不同圖像中的成像點對應起來，并由此 得到相應的視差圖像； 步驟二、攝像機標定 所述的攝像機標定是指采用基于標定物的攝像機標定方法，通過攝像機拍攝到的圖片 得到攝像機的內參數和外參數；所述的基于標定物的攝像機標定方法是指使用結構已知的 標定參照物，通過建立標定參照物上三維坐標已知的點與其圖像點的對應約束關系，利用 空間點與圖像點的共線性方程計算攝像機模型的內外參數，利用光束平差法實現相機內外 參數的校準；所述攝像機的內參數是指攝像機坐標系與世界坐標系之間進行變換時所需要 的一個3X3的旋轉矩陣R和一個3X 1的平移矢量T ;所述攝像機的外參數是指有效焦距 f、像面中心坐標（叫，V(l)、徑向畸變修正系數、切向畸變修正系數、仿射畸變和非正交畸變修 正系數； 步驟三、目標車輛與背景分割 所述的目標車輛與背景分割是指采用基于布爾圖像的圖像分割算法（BMS);所述的目 標車輛與背景分割是指進行車禍過程的三維重建時，首先要將目標車輛的輪廓從背景中提 取出來，這就需要對車禍過程中的圖片進行圖像分割；所述的布爾圖像是指對圖片的每個 顏色通道設置一個閥值來得到二值化的圖像；通過這種方法能夠有效的將目標車輛與背景 分割開來； 步驟四、車輛外形輪廓的模型重建 所述的車輛外輪廓的模型重建是指采用基于幾何模型分層量化和表面空間分割方法 實現車輛的幾何模型重建；所述的表面空間分割是指將車輛表面的不同幾何形狀從車輛整 體上提取出來，將車輛表面整體分割成多個不同幾何形的小部分；所述的幾何模型分層量 化是指將車輛表面分割出來的每一個小部分量化為不同的各種參數，例如：位置、位置方向 和幾何圖形的尺寸；最后將每個量化后的幾何圖形再重新映射到車輛的每一部分得到幾何 圖形描述的車輛的3D模型。
2. 根據權利要求1所述的一種基于單目視覺的車輛重構算法，其主要特征在于：所述 的尺度空間不變性是指在不同的尺度空間下仍然能夠匹配特征點。
3. 根據權利要求1所述的一種基于單目視覺的車輛重構算法，其主要特征在于：所述 的尺度空間是指在圖像處理中引入一個被視為尺度的參數通過連續變換尺度參數獲得不 同尺度下的圖像處理信息。
4. 根據權利要求1所述的一種基于單目視覺的車輛重構算法，其主要特征在于：所述 的SIFT算子是在空間尺度中尋找極值點，并提取出其位置、尺度、旋轉不變量的算法。
5. 根據權利要求1所述的一種基于單目視覺的車輛重構算法，其主要特征在于：所述 的SIFT算子特征點提取步驟如下： 1)對圖像建立尺度空間； 2) 提取尺度空間的反應值的極值點； 3) 優化計算，拋棄一些不穩定點； 4) 對提取出的特征點分配主方向； 通過計算以特征點為中心的特定窗口內每個像素點的梯度幅值和方向來確定特征點 的分配主方向，建立特征描述子。計算公式如下：
0 (X，y) = tarT1 ((L (X，y+1) -L (X，y-1)) / (L (x+1，y) -L (x-1，y))) 其中，m(x，y)和0 (x，y)分別代表點（x，y)處的梯度和方向，L(x，y)表示（x，y)點處 的灰度值。
6. 根據權利要求5所述的一種基于單目視覺的車輛重構算法，其主要特征在于：所述 的特征描述子采用4X4X8 = 128個元素特征向量來描述每一個特征點。
7. 根據權利要求1所述的一種基于單目視覺的車輛重構算法，其主要特征在于：實現 SIFT算子特征點的匹配步驟如下： 1) 對同一場景的兩幅（或多幅）圖像提取特征點； 2) 建立表征特征點屬性的描述符； 3) 從一幅圖像上順序選取特征點，采用序列法與另一幅圖像上的特征點進行比較，找 出差別最小的點； 4) 設置歐式距離的經驗閾值，判別是否是對應特征點； 5) 返回3)，直至搜尋完畢。
8. 根據權利要求1所述的一種基于單目視覺的車輛重構算法，其主要特征在于：所述 將目標車輛的輪廓從背景中提取出來的實現步驟如下： 1) 以S為步長在0-255之間取不同的0作為圖片每個顏色通道的閾值，得到多個均 勻分布的二值化的布爾圖像； 2) 將上一步得到的二值化圖像中的封閉區域內部賦值為1，其余部分賦值為0,得到凸 顯目標車輛的關注圖像； 3) 對上一步得到的多個關注圖像取線性平均值得到整體的平均關注圖像； 4) 進行高斯模糊得到最后的凸顯圖像。
9. 根據權利要求1所述的一種基于單目視覺的車輛重構算法，其主要特征在于：所述 的車輛外輪廓的模型重建的實現步驟如下： 1)圖像分解：將汽車的每一個小部分圖片進行分割，其中每個角度圖片中目標車輛的 分割公式如下：
其中，p(I，w|T)表不本發明的分割方式，q(I，w)表不參考分割方式。對表面分割結果 的評價公式如下：
其中，IG(S)表示評價得分，Snmk表示第m個圖片的第n個分割部分的第k個有效幾何 圖形； 2) 目標量化：得到車輛每一個小部分的目標位置、方向、尺寸； 3) 重新組合：將量化后的車輛的每一個小部分通過AND-OR樹最優搜索算法重新組合 得到重建的車輛外輪廓模型。
【文檔編號】G06T7/00GK104346833SQ201410588635
【公開日】2015年2月11日 申請日期:2014年10月28日 優先權日:2014年10月28日
【發明者】張立國, 崔利洋, 楊芳梅, 金梅 申請人:燕山大學