全景攝像機系統(tǒng)(vpm)與車輛動態(tài)的制作方法
【專利說明】全景攝像機系統(tǒng)(VPM)與車輛動態(tài)
與相關(guān)申請交叉引用
[0001]本申請主張2014年5月16日提交的名稱為“全景攝像機系統(tǒng)(VPM)與車輛動態(tài)”的美國臨時專利申請序號N0.61/994，686的優(yōu)先權(quán)日的權(quán)益。
技術(shù)領(lǐng)域
[0002]本發(fā)明主要涉及一種用于校正移動平臺上多個攝像機的校準的系統(tǒng)和方法，并且特別地，涉及用于校正車輛上的全景攝像機系統(tǒng)中多個攝像機的校準的系統(tǒng)和方法，其包括為車輛上的傳感器檢測的車輛動態(tài)提供校正。
【背景技術(shù)】
[0003]現(xiàn)代車輛通常包括一個或多個攝像機，該攝像機可提供倒車輔助、拍攝車輛駕駛員的圖像以確定駕駛員困倦或注意力、提供車輛行駛時道路圖像用于避免碰撞目的、提供結(jié)構(gòu)辨別，諸如道路標記等。其他的車輛視圖應用包括車道感測系統(tǒng)，其用于感測車輛行駛車道并在車道中央駕駛車輛。許多上述已知車道感測系統(tǒng)為各種應用檢測道路上的車道標識，諸如車道偏離警告(LDW)、車道保持(LK)、車道居中(LC)等，并且通常使用位于車輛前部或位于車輛后部的單一攝像機以提供用于檢測車道標識的圖像。
[0004]本領(lǐng)域已提出，在車輛上提供環(huán)景攝像機系統(tǒng)，其包括前視攝像機、后視攝像機以及左側(cè)和右側(cè)攝像機，其中攝像機系統(tǒng)使用來自攝像機的圖像生成車輛及周圍區(qū)域的自頂向下(top-down)的視圖，并且其中圖像在車輛角部處相互重疊。自頂向下的視圖可以顯示給車輛駕駛員，以看到車輛周圍的情況用于在倒車、泊車等。未來的車輛可能不使用后視鏡，而可以替代地包括由環(huán)景攝像機提供的數(shù)字圖像。
[0005]2013年4月9日授予Zhang(張)等人的題目為“具有環(huán)景系統(tǒng)的全速車道感測”的美國專利申請公開號N0.2013/0293717，轉(zhuǎn)讓給本申請的受讓人，并且通過引用方式并入本文，公開了一種通過檢測道路車道標識來在車輛上提供車道感側(cè)的系統(tǒng)和方法，其中該系統(tǒng)采用了提供車輛周圍的自頂向下視圖圖像的環(huán)景攝像機系統(tǒng)。該方法包括在自頂向下視圖中檢測左側(cè)和右側(cè)車道邊界線，并且然后確定圖像中的車道邊界線在該自頂向下視圖圖像中從圖像幀至下一個圖像幀是否對齊以及在圖像與圖像之間是否對齊。
[0006]對于許多基于攝像機的車輛應用而言，精確校準攝像機相對于車輛的定位和定向至關(guān)重要。攝像機校準通常指估算大量攝像機參數(shù)，包括內(nèi)在參數(shù)和外在參數(shù)，其中內(nèi)在參數(shù)包括焦距、光心、徑向畸變參數(shù)等，并且外在參數(shù)包括攝像機位置、攝像機定向等。攝像機外在參數(shù)校準通常包括確定將攝像機圖像坐標與車輛坐標關(guān)聯(lián)的一組參數(shù)，反之亦然。一些攝像機參數(shù)，諸如攝像機焦距、光心等，是穩(wěn)定的，而另一些參數(shù)，諸如攝像機的定向和位置，是不穩(wěn)定。例如，攝像機的高度取決于將會不時地變化的車輛的負載。
[0007]在已知的環(huán)景攝像機系統(tǒng)中，來自攝像機的圖像在車輛的角部處重疊，其中攝像機校準過程將相鄰圖像“拼接”在一起，使得單獨圖像中的公共元素直接相互重疊，以提供期望的自頂向下視圖。在車輛制造期間，這些攝像機圖像被拼接在一起以提供該圖像使用任何數(shù)量的校準技術(shù)，從而使得當車輛初次投入使用時，攝像機被正確地校準。使用的一種校準技術(shù)是將車輛定位于具有交替的明的和暗的正方形的測試板圖案上，其中正方開的每個點被便當?shù)刈R別。在顯影圖像中，使用這些點允許攝像機校準軟件校正圖像的位置，這樣使得在相同位置識別出相鄰圖像中的重疊點。
[0008]然而，一旦車輛投入使用，則可能發(fā)生各種情況，其可能導致攝像機定向和位置變化，其中攝像機的校準包括導致自頂向下圖像中產(chǎn)生未對準的誤差。這些情況可能包括車輛的負載，其導致攝像機位置(諸如高度)和/或攝像機定向(諸如俯仰角)相對于世界坐標發(fā)生改變；對車輛的小撞擊，其可能改變攝像機的定位和定向等。但是，處理來自攝像機的圖像以生成自頂向下視圖的當前視頻處理模塊(VPM)無法在車輛使用時在線重新校準攝像機。相反，車輛操作者必須將車輛帶至有能力以在車輛制造期間所進行的同樣方式重新校準攝像機的經(jīng)銷商或其他授權(quán)服務中心，這具有顯而易見的缺點。
【發(fā)明內(nèi)容】
[0009]本公開描述了一種基于車輛動態(tài)中的變化校正移動平臺上(諸如車輛上的全景攝像機系統(tǒng)中)的多個攝像機的校準的系統(tǒng)和方法。該方法包括讀取來車輛上的一個或多個傳感器的識別車輛動態(tài)中的變化的測量值，并限定多個攝像機和車輛車身作為單個參照坐標系。該方法還包括識別測量值作為坐標系中的旋轉(zhuǎn)矩陣和轉(zhuǎn)換矢量，并將旋轉(zhuǎn)矩陣和轉(zhuǎn)換矢量并入車輛坐標系和攝像機坐標系之間的關(guān)系，以提供攝像機的校準的校正。
本發(fā)明包括以下方案:
1、一種用于校正車輛上的全景攝像機系統(tǒng)中多個攝像機的校準的方法，所述方法包括:
讀取來自車輛上的一個或多個傳感器的識別車輛動態(tài)變化的測量值；
限定多個攝像機和車輛車身為單個參照坐標系；
識別測量值作為參照坐標系中的旋轉(zhuǎn)矩陣和轉(zhuǎn)換矢量；以及
將旋轉(zhuǎn)矩陣和轉(zhuǎn)換矢量并入車輛坐標系和攝像機坐標系之間的關(guān)系，以提供攝像機校準的校正。
2、如方案I中所述的方法，其中將旋轉(zhuǎn)矩陣和轉(zhuǎn)換矢量并入車輛坐標系和攝像機坐標系之間的關(guān)系包括通過下列方程限定全景攝像機系統(tǒng)的靜態(tài)定向:
Xv — X w+t W2V，
Xci — R V2Ci*Xv+t V2ci，
—Rv2Ci*Xw+t W2ci，
并且通過下列方程限定車輛的動態(tài)定向:
Xv =Rdyn* (Vt' W2V)，
Xe — R V2Ci*-^V+t V2Ci，
=Rv2C1*Rdyn*Xw+t " W2Cl，
其中X為樣本點，i為攝像機索引，V是車輛坐標的標號，W是參照坐標的標號，C是攝像機坐標的標號，dyn是全部俯仰角、側(cè)傾角和高度變量的車輛動態(tài)的標號，R是旋轉(zhuǎn)矩陣以及t是轉(zhuǎn)換矢量。
3、如方案2中所述的方法，其中將旋轉(zhuǎn)矩陣和轉(zhuǎn)換矢量并入車輛坐標系和攝像機坐標系之間的關(guān)系以提供攝像機校準包括運用下列方程校正攝像機校準:
(Ream，Tcam) f ( (Rveh，Tveh)，(Ream，Tcam) stny^，
其中stny是靜態(tài)的標號，俯仰角、偵_角和高度變量的車輛動態(tài)由旋轉(zhuǎn)矩陣Rreh和轉(zhuǎn)換矢量Treh限定，R _為攝像機坐標中的旋轉(zhuǎn)矩陣，以及T _為攝像機坐標中的轉(zhuǎn)換矢量。
4、如方案I中所述的方法，其中讀取來自一個或多個傳感器的測量值包括讀取來自一個或多個傳感器的提供車輛或攝像機以及車輛車身俯仰角、側(cè)傾角和高度變量動態(tài)的測量值。
5、如方案I中所述的方法，其中全景攝像機系統(tǒng)包括四個攝像機，其中第一攝像機定位于車輛前部，第二攝像機定位于車輛后部，第三攝像機定位于車輛左側(cè)以及第四攝像機定位于車輛右側(cè)。
6、如方案5中所述的方法，其中來自第一攝像機的圖像與來自第三攝像機的圖像重疊，來自第一攝像機的圖像與來自第四攝像機的圖像重疊，來自第二攝像機的圖像與來自第三攝像機的圖像重疊，以及來自第二攝像機的圖像與來自第四攝像機的圖像重疊。
7、一種用于校正移動平臺上的多個攝像機的校準的方法，所述方法包括:
讀取來自移動平臺上的一個或多個傳感器的識別平臺動態(tài)變化的測量值；
限定多個攝像機和平臺主體為單個參照坐