用于產(chǎn)生掩蔽規(guī)則以及用于掩蔽攝像機(jī)的圖像信息的方法和設(shè)備與流程

本發(fā)明基于一種根據(jù)獨(dú)立權(quán)利要求所述類型的設(shè)備或方法。計(jì)算機(jī)程序也是本發(fā)明的主題。

背景技術(shù)：

應(yīng)用在車輛中的魚眼攝像機(jī)的可見范圍在一個(gè)大的開角上延伸。因此在裝配在車輛上的魚眼攝像機(jī)的圖像中車輛車身的大部分也是可見的。

技術(shù)實(shí)現(xiàn)要素：

在該背景下，借助在此提出的方案提出根據(jù)主權(quán)利要求的用于產(chǎn)生用于車輛的攝像機(jī)的掩蔽規(guī)則的方法、用于掩蔽圖像信息的方法、應(yīng)用所述方法的設(shè)備以及相應(yīng)的計(jì)算機(jī)程序。通過(guò)在從屬權(quán)利要求中列出的措施，能夠?qū)崿F(xiàn)在獨(dú)立權(quán)利要求中說(shuō)明的設(shè)備的有利的擴(kuò)展方案和改善。

固定地安裝在車輛上的具有廣角鏡頭的攝像機(jī)對(duì)于車輛環(huán)境中的一部分附加地大多還將車輛車身的一部分成像在攝像機(jī)的攝像機(jī)圖像中。然而，對(duì)于車輛的進(jìn)行圖像處理的舒適性功能和安全性功能而言，在車身區(qū)域中不存在攝像機(jī)圖像中的重要相關(guān)的信息。

為了減少在圖像處理中要處理的數(shù)據(jù)量，車身可以通過(guò)掩膜限定為不應(yīng)處理的圖像區(qū)域。只要攝像機(jī)角度固定地與車身連接，則可以對(duì)于每個(gè)攝像機(jī)圖像使用相同的掩膜。

可以基于攝像機(jī)的已知光學(xué)特性和攝像機(jī)相對(duì)于車身的已知放置和定向已經(jīng)根據(jù)車輛的數(shù)據(jù)模型來(lái)預(yù)先限定掩膜。

在此提出一種用于產(chǎn)生用于車輛的攝像機(jī)的掩蔽規(guī)則的方法，其中，方法具有以下步驟：

在車輛坐標(biāo)系統(tǒng)中在使用所述車輛的三維模型數(shù)據(jù)的情況下設(shè)置可見范圍邊界的網(wǎng)格點(diǎn)(Stützstelle)，其中，從攝像機(jī)的在所述模型數(shù)據(jù)中建模的視角設(shè)置所述網(wǎng)格點(diǎn)；

將所述網(wǎng)格點(diǎn)的車輛坐標(biāo)從所述車輛坐標(biāo)系統(tǒng)變換到球坐標(biāo)系統(tǒng)中，以便獲得所述網(wǎng)格點(diǎn)的球坐標(biāo)；以及

存儲(chǔ)在所述球坐標(biāo)系統(tǒng)中通過(guò)所述網(wǎng)格點(diǎn)限定的掩膜曲線，以便產(chǎn)生所述掩蔽規(guī)則。

可以將掩蔽規(guī)則理解為處理規(guī)則，所述處理規(guī)則限定用于攝像機(jī)的圖像信息的掩膜。可以基于網(wǎng)格點(diǎn)的坐標(biāo)產(chǎn)生掩蔽規(guī)則。掩膜曲線可以是通過(guò)網(wǎng)格點(diǎn)坐標(biāo)引導(dǎo)的多項(xiàng)式。車輛坐標(biāo)系統(tǒng)可以涉及相對(duì)于車輛限定的坐標(biāo)原點(diǎn)。坐標(biāo)原點(diǎn)例如可以在前輪的車輪中點(diǎn)之間布置在中心。車輛坐標(biāo)系統(tǒng)可以是笛卡爾坐標(biāo)系統(tǒng)，其軸線相應(yīng)于車輛縱軸線、車輛橫軸線以及車輛垂直軸線。球坐標(biāo)系統(tǒng)可以涉及相對(duì)于攝像機(jī)限定的坐標(biāo)原點(diǎn)。球坐標(biāo)系統(tǒng)的參考軸線可以是例如攝像機(jī)的光學(xué)軸線。球坐標(biāo)可以包括至少一個(gè)極角和至少一個(gè)方位角。在變換中可以在使用向量和空間角的情況下將網(wǎng)格點(diǎn)的坐標(biāo)移動(dòng)和旋轉(zhuǎn)。此外，可以在使用三角函數(shù)的情況下?lián)Q算所述坐標(biāo)。

球坐標(biāo)系統(tǒng)可以是經(jīng)標(biāo)準(zhǔn)化的球坐標(biāo)系統(tǒng)，以便獲得經(jīng)標(biāo)準(zhǔn)化的球坐標(biāo)。在此，球坐標(biāo)可以涉及具有半徑為1的單元球。由此消除球坐標(biāo)的坐標(biāo)值。

球坐標(biāo)系統(tǒng)的坐標(biāo)原點(diǎn)可以相應(yīng)于攝像機(jī)的車輛坐標(biāo)。例如坐標(biāo)原點(diǎn)可以布置在攝像機(jī)的光學(xué)參考點(diǎn)上。參考點(diǎn)可以是例如結(jié)點(diǎn)(Nodalpunkt)。

在設(shè)置的步驟中可以沿著引起可見范圍邊界的車身棱邊設(shè)置網(wǎng)格點(diǎn)。通過(guò)這種方式可以簡(jiǎn)單地找到網(wǎng)格點(diǎn)的位置。

網(wǎng)格點(diǎn)可以在笛卡爾坐標(biāo)系統(tǒng)中設(shè)置為車輛坐標(biāo)系統(tǒng)。通過(guò)這種方式可以將典型地已經(jīng)在笛卡爾坐標(biāo)系統(tǒng)中存在的數(shù)據(jù)用于實(shí)施所述方法。

有利地，三維模型數(shù)據(jù)可以代表在使用CAD(計(jì)算機(jī)輔助設(shè)計(jì))程序的情況下生成的數(shù)據(jù)。通過(guò)這種方式可以在不使用攝像機(jī)圖像數(shù)據(jù)的情況下創(chuàng)建掩蔽規(guī)則。

此外提出一種用于掩蔽車輛的攝像機(jī)的圖像信息的方法，其中，所述方法具有以下步驟：

讀取所述攝像機(jī)的圖像信息；以及

應(yīng)用掩蔽規(guī)則到所述圖像信息上，以便在所述圖像信息中掩蔽所述攝像機(jī)的可見范圍，其中，在使用根據(jù)以上權(quán)利要求中任一項(xiàng)所述的方法的情況下產(chǎn)生所述掩蔽規(guī)則。

在此提出的方法可以例如實(shí)現(xiàn)在軟件或硬件中或者以軟件和硬件的混合形式例如實(shí)現(xiàn)在控制裝置中。

在此提出的方案還實(shí)現(xiàn)一種設(shè)備，所述設(shè)備被構(gòu)造用于在相應(yīng)的設(shè)備中實(shí)施、控制或者實(shí)現(xiàn)在此提出的方法的變型方案的步驟。通過(guò)本發(fā)明的以設(shè)備形式的實(shí)施變型方案也可以快速和高效地解決本發(fā)明所基于的任務(wù)

設(shè)備在此可以理解為處理傳感器信號(hào)并且據(jù)此輸出控制信號(hào)和/或數(shù)據(jù)信號(hào)的電設(shè)備。所述設(shè)備可以具有按硬件方式和/或按軟件方式構(gòu)造的接口。在按硬件方式的構(gòu)造中，接口例如可以是所謂的系統(tǒng)ASIC的包括所述設(shè)備的最不同功能的一部分。然而，也可能的是，接口是單獨(dú)的集成電路或至少部分地由分立部件組成。在按軟件方式的構(gòu)造中，接口可以是軟件模塊，其例如與其他軟件模塊共存在微控制器上。

具有程序代碼的計(jì)算機(jī)程序產(chǎn)品或者計(jì)算機(jī)程序也是有利的，所述程序代碼可以存儲(chǔ)在機(jī)器可讀的載體或者存儲(chǔ)介質(zhì)，如半導(dǎo)體存儲(chǔ)器、硬盤存儲(chǔ)器或光學(xué)存儲(chǔ)器上并且尤其用于當(dāng)在計(jì)算機(jī)或者設(shè)備上執(zhí)行程序產(chǎn)品或者程序時(shí)實(shí)施、實(shí)現(xiàn)和/或控制根據(jù)先前描述的實(shí)施方式之一的方法的步驟。

附圖說(shuō)明

在附圖中示出并且在以下說(shuō)明中進(jìn)一步闡明本發(fā)明的實(shí)施例。附圖示出：

圖1：根據(jù)一個(gè)實(shí)施例的用于產(chǎn)生用于車輛攝像機(jī)的掩蔽規(guī)則的方法的流程圖；

圖2：在根據(jù)一個(gè)實(shí)施例的用于產(chǎn)生掩蔽規(guī)則的方法期間變換的示圖；

圖3：車輛的側(cè)攝像機(jī)的圖像信息的示圖；

圖4：根據(jù)一個(gè)實(shí)施例的具有掩膜的車輛的側(cè)攝像機(jī)的圖像信息的示圖；

圖5：車輛的倒車攝像機(jī)的可見范圍的示圖；

圖6：車輛的根據(jù)一個(gè)實(shí)施例的具有網(wǎng)格點(diǎn)的模型數(shù)據(jù)的示圖；以及

圖7：根據(jù)一個(gè)實(shí)施例的由掩蔽信息產(chǎn)生的用于圖像信息的掩膜。

在本發(fā)明的優(yōu)選實(shí)施例的后續(xù)描述中，對(duì)于在不同附圖中示出并且起類似作用的元件使用相同的或類似的附圖標(biāo)記，其中，不重復(fù)描述這些元件。

具體實(shí)施方式

圖1示出根據(jù)一個(gè)實(shí)施例的用于產(chǎn)生用于車輛的攝像機(jī)的掩蔽規(guī)則的方法100。方法100具有設(shè)置的步驟102、變換的步驟104以及存儲(chǔ)的步驟106。在設(shè)置的步驟102中在車輛坐標(biāo)系統(tǒng)中在使用車輛的三維模型數(shù)據(jù)的情況下設(shè)置攝像機(jī)的可見范圍邊界的網(wǎng)格點(diǎn)。從攝像機(jī)的在模型數(shù)據(jù)中建模的視角設(shè)置網(wǎng)格點(diǎn)。在變換的步驟104中將網(wǎng)格點(diǎn)的車輛坐標(biāo)從車輛坐標(biāo)系統(tǒng)變換到球坐標(biāo)系統(tǒng)中，以便獲得網(wǎng)格點(diǎn)的球坐標(biāo)。在存儲(chǔ)的步驟106中存儲(chǔ)在球坐標(biāo)系統(tǒng)中通過(guò)網(wǎng)格點(diǎn)限定的掩膜曲線，以便產(chǎn)生掩蔽規(guī)則。

圖2示出在根據(jù)一個(gè)實(shí)施例的掩膜計(jì)算的方法期間變換的示圖。在此在應(yīng)用軟件200中在圖像信息中選擇掩膜點(diǎn)202。在使用第一處理規(guī)則204的情況下將掩膜點(diǎn)202的圖像坐標(biāo)變換為CV坐標(biāo)206(CV＝Control Vertex控制頂點(diǎn))。第一處理規(guī)則204尤其稱為m_trafo_pcl->image2rayCV。通過(guò)考慮第一外在參數(shù)R208，將CV坐標(biāo)206轉(zhuǎn)換為經(jīng)旋轉(zhuǎn)的CV坐標(biāo)210。經(jīng)旋轉(zhuǎn)的CV坐標(biāo)210代表在此提出的接口212。在考慮第二外在參數(shù)t214的情況下將經(jīng)旋轉(zhuǎn)的CV坐標(biāo)210轉(zhuǎn)換為DIN70k坐標(biāo)216。DIN70k坐標(biāo)216代表目前為止的接口218。DIN70k坐標(biāo)216在使用第二處理規(guī)則220的情況下轉(zhuǎn)換為用于掩膜的點(diǎn)222。第二處理規(guī)則220尤其表示為m_trafo_pcl->world2image。由點(diǎn)222創(chuàng)建用于應(yīng)用到圖像信息上的幾何掩膜224。

圖3示出車輛302的側(cè)攝像機(jī)的圖像信息300的示圖。魚眼攝像機(jī)的可見范圍在一個(gè)大的開角上延伸。在圖像300中，不僅對(duì)于信號(hào)處理重要相關(guān)的范圍而且車身304的和其他車輛部分的大部分是可見的。然而，在車身304的區(qū)域中對(duì)于信號(hào)處理和進(jìn)一步的行駛功能而言，無(wú)重要相關(guān)的對(duì)象和信息是可測(cè)量的。取而代之地，通過(guò)對(duì)象在金屬表面上的鏡反射可能發(fā)生對(duì)象的錯(cuò)誤解釋。例如白色車道標(biāo)記通過(guò)在光滑車身304上的鏡反射同樣在車輛上產(chǎn)生虛假的車道標(biāo)記。然后在以下信號(hào)處理步驟中需要對(duì)錯(cuò)誤標(biāo)記的高成本的識(shí)別和過(guò)濾。根據(jù)在此描述的方案，為此不需要所標(biāo)記的靜態(tài)掩膜。

圖4示出根據(jù)一個(gè)實(shí)施例的具有掩膜400的車輛302的側(cè)攝像機(jī)的圖像信息300的示圖。圖像信息在此相應(yīng)于圖3中的圖像信息。附加地在此沿著車身304的成像與可見范圍406之間的可見范圍邊界404示出用于掩膜400的網(wǎng)格點(diǎn)402。

換言之，圖4示出用于掩膜創(chuàng)建的網(wǎng)格點(diǎn)402。為了從一開始僅僅考慮重要相關(guān)的對(duì)象408并且避免錯(cuò)誤對(duì)象的運(yùn)算密集和易于出錯(cuò)的過(guò)濾，可以在信號(hào)處理中應(yīng)用重要相關(guān)的圖像范圍406的掩膜400。掩膜400的輪廓基本上沿圖像中的車身棱邊404延伸。對(duì)于在車輛302中應(yīng)用的攝像機(jī)中的每一個(gè)分別應(yīng)用自身的掩膜400。

通過(guò)魚光學(xué)設(shè)備的大幅失真可以在角區(qū)域中看到攝像機(jī)的漸暈(Vignettierung)，如在此在右上角中那樣。所述失真通過(guò)內(nèi)在校準(zhǔn)來(lái)識(shí)別并且作為掩膜400的一部分來(lái)自動(dòng)考慮。

在一個(gè)實(shí)施例中，或者通過(guò)車輛302的在車輛302的棱邊404與攝像機(jī)的關(guān)系方面的CAD數(shù)據(jù)或者通過(guò)在攝像機(jī)圖像300中圖像點(diǎn)402的標(biāo)記和借助于內(nèi)在和外在校準(zhǔn)的到極坐標(biāo)中的換算實(shí)現(xiàn)掩膜參數(shù)的生成。在具有攝像機(jī)相對(duì)于車輛302的參考系統(tǒng)的極坐標(biāo)中(phi，theta，r＝1)實(shí)現(xiàn)掩膜參數(shù)在接口中的存儲(chǔ)。掩膜400的實(shí)際計(jì)算在控制裝置中借助于當(dāng)前的內(nèi)在和外在校準(zhǔn)實(shí)現(xiàn)。接口中的掩膜參數(shù)獨(dú)立于攝像機(jī)特性，因?yàn)樗鲅谀?shù)僅僅包括坐標(biāo)。掩膜400首先借助于內(nèi)在和外在校準(zhǔn)來(lái)計(jì)算，從而掩膜400依賴于攝像機(jī)特性，如例如攝像機(jī)的開角。

在外在校準(zhǔn)通過(guò)在線校準(zhǔn)的改變中重新計(jì)算掩膜400。通過(guò)所應(yīng)用的內(nèi)在校準(zhǔn)已經(jīng)考慮漸暈。對(duì)于每個(gè)車輛變型方案需要僅僅一個(gè)參數(shù)組。接口可以擴(kuò)展到笛卡爾坐標(biāo)([x,y,z]或[phi,theta,r]，其中，r≠1)上。

圖5示出車輛302的倒車攝像機(jī)的可見范圍406的示圖。如在圖3和4中那樣，在圖像信息300中一同成像車身304。在此，基于在牌照照明的區(qū)域中的攝像機(jī)位置500成像車輛302的后蓋板的棱邊以及車輛302的后保險(xiǎn)杠的一部分。在此，通過(guò)車輛尺寸產(chǎn)生攝像機(jī)的可見范圍的邊界。

圖6示出車輛302的根據(jù)一個(gè)實(shí)施例的具有網(wǎng)格點(diǎn)402的模型數(shù)據(jù)600的示圖。車輛302在此基本上相應(yīng)于圖5中的車輛。車輛302在CAD數(shù)據(jù)600中在后視圖中示出。CAD數(shù)據(jù)600在車輛302的車輛坐標(biāo)系統(tǒng)中示出。除了車輛302之外成像了圖像信息300，如其在圖5中所示的那樣。在CAD數(shù)據(jù)600中沿保險(xiǎn)桿的上棱邊和后蓋板的棱邊標(biāo)記網(wǎng)格點(diǎn)402。網(wǎng)格點(diǎn)402也成像在圖像信息300中，在圖像信息300中在攝像機(jī)的坐標(biāo)系統(tǒng)中示出網(wǎng)格點(diǎn)402。

因?yàn)榈管嚁z像機(jī)具有魚眼鏡頭，所以其距離魚眼鏡頭的光學(xué)軸線越遠(yuǎn)，則直線越彎曲地示出。在此尤其后門蓋板的棱邊幾乎半圓形失真地成像。保險(xiǎn)杠的上棱邊接近光學(xué)軸線地布置并且因此較不失真。

沿著圖像信息中的網(wǎng)格點(diǎn)402繪出掩膜400，該掩膜400將可見范圍406與車身304的成像分離。在可見范圍406中實(shí)現(xiàn)流計(jì)算的、FPGA支持的掩蔽。通過(guò)掩蔽，在圖300中沒有進(jìn)行由流向量到車身部分——如例如鏡反射面——的計(jì)算。由此產(chǎn)生后續(xù)圖像處理和圖形的大幅簡(jiǎn)化。同樣，如果可見范圍406的一部分通過(guò)在攝像機(jī)棱鏡前方的污物覆蓋，則可以實(shí)現(xiàn)污物識(shí)別。

換言之，基于通過(guò)車身304的可見范圍覆蓋實(shí)現(xiàn)掩蔽。為此，在這里提出的方案中實(shí)現(xiàn)由CAD數(shù)據(jù)600確定可見范圍406以及作為車輛特定的編碼存儲(chǔ)。在CAD數(shù)據(jù)600中，車身304上的多個(gè)點(diǎn)402被確定，這些點(diǎn)限制攝像機(jī)與環(huán)境之間的可見范圍406。緊接著借助于實(shí)際求取的安裝參數(shù)(外在校準(zhǔn))生成掩膜400。

換言之，圖6示出在攝像機(jī)圖300中車輛部分的掩蔽400或者圖像掩蔽400的車輛特定的編碼。

因?yàn)檠诒蔚妮喞?00沿著車身304延伸，所以掩膜400的創(chuàng)建是幾何任務(wù)提出。由攝像機(jī)的位置和車輛302的CAD數(shù)據(jù)600可以在車輛302上標(biāo)記網(wǎng)格點(diǎn)402，網(wǎng)格點(diǎn)描述可見范圍邊界404。網(wǎng)格點(diǎn)402作為具有經(jīng)標(biāo)準(zhǔn)化的球坐標(biāo)(θ，r＝1，在DIN70k中，原點(diǎn)是攝像機(jī)位置)的閉合曲線400存儲(chǔ)在掩蔽接口中。在掩膜計(jì)算中，經(jīng)標(biāo)準(zhǔn)化的坐標(biāo)借助于內(nèi)在和外在校準(zhǔn)變換到成像器圖像300中并且通過(guò)在網(wǎng)格點(diǎn)402之間的內(nèi)插組合成掩膜400。

通過(guò)掩膜400以球坐標(biāo)存儲(chǔ)在接口中以及借助于內(nèi)在和外在校準(zhǔn)的計(jì)算，自動(dòng)考慮在內(nèi)在校準(zhǔn)中的變化和攝像機(jī)的所變化的旋轉(zhuǎn)(外在校準(zhǔn))。

圖7示出根據(jù)一個(gè)實(shí)施例的由掩蔽信息產(chǎn)生的用于圖像信息300的掩膜400。為了創(chuàng)建網(wǎng)格點(diǎn)402可以應(yīng)用單個(gè)攝像機(jī)圖像300并且將邊界點(diǎn)402繪到圖300中。借助于有效的內(nèi)在和外在校準(zhǔn)，這些圖像點(diǎn)402同樣變換到用于掩膜接口的經(jīng)標(biāo)準(zhǔn)化的球坐標(biāo)中。對(duì)于不同的車輛變型方案分別實(shí)施掩膜創(chuàng)建并且將變型方案特定的掩膜點(diǎn)402記入CAF文件700中。

換言之，實(shí)現(xiàn)了封閉的點(diǎn)序列402的描繪以便表示掩膜400并且輸出為C++代碼700。

在坐標(biāo)系統(tǒng)的比較中產(chǎn)生如下，即在掩膜點(diǎn)402的移動(dòng)中不檢測(cè)幾何數(shù)據(jù)。僅僅根據(jù)校準(zhǔn)變化來(lái)移動(dòng)的掩膜點(diǎn)402被近似。由此不可以檢測(cè)內(nèi)在參數(shù)的變化?？梢詸z測(cè)外在參數(shù)化R的變化。相反，不可以檢測(cè)外在參數(shù)化t的變化。

在經(jīng)旋轉(zhuǎn)的CV坐標(biāo)或經(jīng)平移的DIN70k坐標(biāo)中可以根據(jù)x²+y²+z²＝1檢測(cè)車身棱邊相對(duì)于成像器位置的相對(duì)坐標(biāo)。除了掩膜點(diǎn)402的移動(dòng)之外也可以檢測(cè)內(nèi)在參數(shù)的變化。

在絕對(duì)的DIN70k坐標(biāo)中可以實(shí)現(xiàn)車輛車身棱邊的準(zhǔn)確的幾何測(cè)量。除了經(jīng)旋轉(zhuǎn)的CV坐標(biāo)之外也可以檢測(cè)外在參數(shù)t的變化。

如果一個(gè)實(shí)施例包括第一特征與第二特征之間的“和/或”關(guān)系，則這可以解讀如下：所述實(shí)施例根據(jù)一種實(shí)施方式不僅具有第一特征，而且具有第二特征；并且根據(jù)另一種實(shí)施方式或者僅僅具有第一特征，或者僅僅具有第二特征。