多目相機(jī)系統(tǒng)、智能駕駛系統(tǒng)、汽車、方法和存儲(chǔ)介質(zhì)與流程

本發(fā)明屬于相機(jī)技術(shù)領(lǐng)域，特別涉及一種大視角、小盲區(qū)的多目相機(jī)系統(tǒng)、智能駕駛系統(tǒng)、汽車、方法和存儲(chǔ)介質(zhì)，該多目相機(jī)系統(tǒng)特別適合用于智能駕駛系統(tǒng)。

背景技術(shù)：

立體相機(jī)為了準(zhǔn)確測(cè)量距離，通常采用畸變較小的長(zhǎng)焦距鏡頭光學(xué)系統(tǒng)，導(dǎo)致立體相機(jī)覆蓋的視角較小，盲區(qū)較大。而廣角相機(jī)通?；冚^大，難以準(zhǔn)確測(cè)量距離。

現(xiàn)有技術(shù)中還沒(méi)有一種大視角小盲區(qū)且能精準(zhǔn)測(cè)距的相機(jī)。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)現(xiàn)有技術(shù)的不足，本申請(qǐng)?zhí)峁┐笠暯切∶^(qū)的相機(jī)。

根據(jù)本發(fā)明的一個(gè)方面，提供了一種多目相機(jī)系統(tǒng)，可以包括：廣角相機(jī)；立體相機(jī)，其中所述立體相機(jī)的視野范圍與所述廣角相機(jī)的視野范圍存在重疊，所述廣角相機(jī)的視野范圍大于立體相機(jī)的視野范圍；和圖像分析處理器，其能夠接收所述廣角相機(jī)捕獲的圖像和所述立體相機(jī)捕獲的圖像，并且對(duì)捕獲的圖像執(zhí)行以下操作：對(duì)所述廣角相機(jī)捕獲的圖像進(jìn)行目標(biāo)檢測(cè)；對(duì)所述立體相機(jī)捕獲的圖像進(jìn)行距離檢測(cè)；和將所述廣角相機(jī)捕獲的圖像和所述立體相機(jī)捕獲的圖像進(jìn)行時(shí)間同步和匹配校準(zhǔn)，從而得到廣角相機(jī)視野范圍內(nèi)的目標(biāo)識(shí)別信息和立體相機(jī)視野內(nèi)的目標(biāo)距離信息。

進(jìn)一步地，根據(jù)上述多目相機(jī)系統(tǒng)，所述立體相機(jī)的視野范圍完全被廣角相機(jī)的視野范圍覆蓋。

進(jìn)一步地，根據(jù)上述多目相機(jī)系統(tǒng)，所述圖像分析處理器進(jìn)一步執(zhí)行以下操作：對(duì)于處于廣角相機(jī)視野內(nèi)但在立體相機(jī)視野范圍外的區(qū)域，通過(guò)對(duì)廣角相機(jī)捕獲的圖像進(jìn)行處理，捕捉并跟蹤目標(biāo)；以及當(dāng)所述目標(biāo)進(jìn)入立體相機(jī)的視野范圍時(shí)，對(duì)所述立體相機(jī)捕獲的圖像中的目標(biāo)進(jìn)行距離檢測(cè)，從而得到廣角相機(jī)視野范圍內(nèi)的目標(biāo)識(shí)別信息和立體相機(jī)視野內(nèi)的目標(biāo)距離信息。

進(jìn)一步地，根據(jù)上述多目相機(jī)系統(tǒng)，所述圖像分析處理器還可操作來(lái)：根據(jù)距離檢測(cè)所檢測(cè)到的距離，進(jìn)行以下控制中的至少一種：剎車；換道。

進(jìn)一步地，上述多目相機(jī)系統(tǒng)還包括：對(duì)廣角相機(jī)和立體相機(jī)進(jìn)行標(biāo)定，獲得立體相機(jī)的內(nèi)參、廣角相機(jī)的內(nèi)參、以及外參，外參包括立體相機(jī)的位置關(guān)系以及立體相機(jī)和廣角相機(jī)之間的位置關(guān)系。

進(jìn)一步地，根據(jù)上述多目相機(jī)系統(tǒng)，還包括：在預(yù)定情形發(fā)生時(shí)，重新進(jìn)行標(biāo)定。

進(jìn)一步地，根據(jù)上述多目相機(jī)系統(tǒng)，所述預(yù)定情形包括以下項(xiàng)中的至少一種或者其組合：距上一次標(biāo)定過(guò)去了預(yù)定時(shí)間；立體相機(jī)、廣角相機(jī)中任一個(gè)的方位發(fā)生改變；周圍事物的情景發(fā)生超出預(yù)定閾值的改變。

進(jìn)一步地，根據(jù)上述多目相機(jī)系統(tǒng)，包括多個(gè)立體相機(jī)，每個(gè)立體相機(jī)的視野范圍與所述廣角相機(jī)的視野范圍內(nèi)的不同區(qū)域重疊。

進(jìn)一步地，根據(jù)上述多目相機(jī)系統(tǒng)，還包括輸出設(shè)備，其輸出所述圖形分析處理器獲得的廣角相機(jī)視野范圍內(nèi)的目標(biāo)識(shí)別信息和立體相機(jī)視野內(nèi)的目標(biāo)距離信息。

進(jìn)一步地，根據(jù)上述多目相機(jī)系統(tǒng)，其中所述多目相機(jī)系統(tǒng)可旋轉(zhuǎn)和/或可升降。

進(jìn)一步地，根據(jù)上述多目相機(jī)系統(tǒng)，其中所述立體相機(jī)安裝在旋轉(zhuǎn)器上，其能夠獨(dú)立于廣角相機(jī)產(chǎn)生0-45°的偏轉(zhuǎn)角度。

進(jìn)一步地，根據(jù)上述多目相機(jī)系統(tǒng)，其中所述立體相機(jī)包括左目相機(jī)模組和右目相機(jī)模組，所述立體相機(jī)產(chǎn)生雙目圖像。

進(jìn)一步地，根據(jù)上述多目相機(jī)系統(tǒng)，其中所述廣角相機(jī)與立體相機(jī)是一體式結(jié)構(gòu)，所述廣角相機(jī)設(shè)置于所述左目相機(jī)模組和所述右目相機(jī)模組之間。

進(jìn)一步地，根據(jù)上述多目相機(jī)系統(tǒng)，其中在對(duì)所述廣角相機(jī)捕獲的圖像進(jìn)行目標(biāo)檢測(cè)之前，還包括：用標(biāo)定的內(nèi)參和外參對(duì)廣角相機(jī)捕獲的圖像進(jìn)行去畸變；以及在所述“對(duì)所述立體相機(jī)捕獲的圖像進(jìn)行距離檢測(cè)”之前，還包括：用標(biāo)定的內(nèi)參和外參對(duì)立體相機(jī)捕獲的圖像進(jìn)行去畸變。

進(jìn)一步地，根據(jù)上述多目相機(jī)系統(tǒng)，其中所述“對(duì)所述立體相機(jī)捕獲的圖像進(jìn)行距離檢測(cè)”包括：用立體匹配算法對(duì)捕獲的圖像進(jìn)行匹配，獲得對(duì)應(yīng)像素在圖像中的距離差；通過(guò)立體相機(jī)的內(nèi)參和外參計(jì)算出至少一個(gè)捕獲的圖像中各個(gè)像素的距離。

進(jìn)一步地，根據(jù)上述多目相機(jī)系統(tǒng)，所述的時(shí)間同步和匹配校準(zhǔn)進(jìn)一步包括以下步驟中的一個(gè)或者多個(gè)：對(duì)所述廣角相機(jī)捕獲的圖像和所述立體相機(jī)捕獲的圖像的時(shí)間戳進(jìn)行比較，確定是在同一時(shí)刻捕獲的圖像；根據(jù)廣角相機(jī)和立體相機(jī)的外參來(lái)將圖像配準(zhǔn)到一個(gè)坐標(biāo)系下；把從所述廣角相機(jī)捕獲的圖像中識(shí)別的目標(biāo)像素坐標(biāo)映射到從所述立體相機(jī)捕獲的圖像中獲得的距離中，得到目標(biāo)的距離。

根據(jù)本發(fā)明另一方面，還提供了一種智能駕駛系統(tǒng)，其包括上述多目相機(jī)系統(tǒng)。

根據(jù)本發(fā)明另一方面，還提供了一種智能駕駛汽車，其采用上述智能駕駛系統(tǒng)。

根據(jù)本發(fā)明另一方面，還提供了一種智能駕駛汽車獲得目標(biāo)距離的方法，包括：由車載廣角相機(jī)捕獲圖像；由車載立體相機(jī)捕獲圖像，其中所述立體相機(jī)的視野范圍與所述廣角相機(jī)的視野范圍存在重疊，所述廣角相機(jī)的視野范圍大于立體相機(jī)的視野范圍；對(duì)所述廣角相機(jī)捕獲的圖像進(jìn)行目標(biāo)檢測(cè)；對(duì)所述立體相機(jī)捕獲的圖像進(jìn)行距離檢測(cè)；和將所述廣角相機(jī)捕獲的圖像和所述立體相機(jī)捕獲的圖像進(jìn)行時(shí)間同步和匹配校準(zhǔn)，從而得到廣角相機(jī)視野范圍內(nèi)的目標(biāo)識(shí)別信息和立體相機(jī)視野內(nèi)的目標(biāo)距離信息。

進(jìn)一步地，根據(jù)上述多目相機(jī)系統(tǒng)，所述立體相機(jī)的視野范圍完全被廣角相機(jī)的視野范圍覆蓋，所述方法還包括：對(duì)于處于廣角相機(jī)視野內(nèi)但在立體相機(jī)視野范圍外的區(qū)域，通過(guò)對(duì)廣角相機(jī)捕獲的圖像進(jìn)行處理，捕捉并跟蹤目標(biāo)，以及當(dāng)所述目標(biāo)進(jìn)入立體相機(jī)的視野范圍時(shí)，對(duì)所述立體相機(jī)捕獲的圖像中的目標(biāo)進(jìn)行距離檢測(cè)，從而得到廣角相機(jī)視野范圍內(nèi)的目標(biāo)識(shí)別信息和立體相機(jī)視野內(nèi)的目標(biāo)距離信息。

根據(jù)本發(fā)明另一方面，還提供了一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令，所述指令當(dāng)被處理器執(zhí)行時(shí)，可操作來(lái)執(zhí)行下述方法：獲得由車載廣角相機(jī)捕獲的圖像；獲得由車載立體相機(jī)捕獲的圖像，其中所述立體相機(jī)的視野范圍與所述廣角相機(jī)的視野范圍存在重疊，所述廣角相機(jī)的視野范圍大于立體相機(jī)的視野范圍；對(duì)所述廣角相機(jī)捕獲的圖像進(jìn)行目標(biāo)檢測(cè)；對(duì)所述立體相機(jī)捕獲的圖像進(jìn)行距離檢測(cè)；和將所述廣角相機(jī)捕獲的圖像和所述立體相機(jī)捕獲的圖像進(jìn)行時(shí)間同步和匹配校準(zhǔn)，從而得到廣角相機(jī)視野范圍內(nèi)的目標(biāo)識(shí)別信息和立體相機(jī)視野內(nèi)的目標(biāo)距離信息。本申請(qǐng)的多目相機(jī)系統(tǒng)兼具廣角相機(jī)視野寬的優(yōu)點(diǎn)和多目相機(jī)測(cè)距準(zhǔn)確的優(yōu)點(diǎn)，特別適合用于智能駕駛系統(tǒng)，為智能駕駛系統(tǒng)提供最優(yōu)的輔助信息。

附圖說(shuō)明

為了更清楚地說(shuō)明本公開(kāi)實(shí)施例的技術(shù)方案，下面將對(duì)實(shí)施例的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅涉及本公開(kāi)的一些實(shí)施例，而非對(duì)本公開(kāi)的限制。

圖1示出了本發(fā)明一個(gè)實(shí)施例的多目相機(jī)的結(jié)構(gòu)示意圖。

圖2示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的圖像分析處理器30的示例性功能性結(jié)構(gòu)框圖。

圖3示出了根據(jù)本發(fā)明實(shí)施例的圖像分析處理器30執(zhí)行的圖像分析處理方法200的總體流程圖。

圖4示出了圖3所示的步驟s230一個(gè)具體實(shí)施方法的流程圖。

圖5示出了根據(jù)本發(fā)明實(shí)施例的具有預(yù)判功能的圖像處理方法300的流程圖。

具體實(shí)施方式

為使本公開(kāi)實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本公開(kāi)實(shí)施例的附圖，對(duì)本公開(kāi)實(shí)施例的技術(shù)方案進(jìn)行清楚、完整地描述。顯然，所描述的實(shí)施例是本公開(kāi)的一部分實(shí)施例，而不是全部的實(shí)施例?；谒枋龅谋竟_(kāi)的實(shí)施例，本領(lǐng)域普通技術(shù)人員在無(wú)需創(chuàng)造性勞動(dòng)的前提下所獲得的所有其他實(shí)施例，都屬于本公開(kāi)保護(hù)的范圍。

本申請(qǐng)中的術(shù)語(yǔ)除非在本申請(qǐng)中具有明確定義，否則具有本領(lǐng)域技術(shù)人員通常理解的含義。

立體匹配算法是計(jì)算機(jī)視覺(jué)中的一種常用技術(shù)，其目標(biāo)是從二維圖像或圖像序列中獲取對(duì)外部世界的認(rèn)識(shí)和理解，即利用二維圖像恢復(fù)三維環(huán)境中物體的幾何信息，比如形狀、位置、姿態(tài)、運(yùn)動(dòng)等，并能描述、識(shí)別與連接?？捎糜诒旧暾?qǐng)中的立體匹配算法沒(méi)有特別限制，只要能夠滿足具體場(chǎng)合的需要即可?，F(xiàn)有技術(shù)中存在多種立體匹配算法，比如局部約束算法(其包括特征匹配算法、相位匹配算法等)和全局約束算法(其包括動(dòng)態(tài)規(guī)劃算法、圖割算法、人工智能算法等等)等。

在使用相機(jī)進(jìn)行目標(biāo)識(shí)別之前，需要進(jìn)行相機(jī)的標(biāo)定。相機(jī)標(biāo)定主要解決的是從世界坐到相機(jī)坐標(biāo)，再到成像坐標(biāo)之間的投影矩陣關(guān)系。在對(duì)相機(jī)標(biāo)定的過(guò)程中，需要使用到相機(jī)的“內(nèi)參(即內(nèi)參數(shù))”和“外參(外參數(shù))”。內(nèi)參數(shù)的意義包括圖像從相機(jī)坐標(biāo)系到像平面坐標(biāo)系的變換參數(shù)以及拍攝圖片時(shí)的畸變系數(shù)，外參數(shù)體現(xiàn)在多鏡頭的情況下，各鏡頭之間的位置關(guān)系的。相機(jī)內(nèi)參涉及相機(jī)鏡頭的畸變參數(shù)，包括徑向畸變和切線畸變甚至有棱鏡畸變。相機(jī)外參可以包括三維位置的移動(dòng)和三相旋轉(zhuǎn)參數(shù)。

長(zhǎng)焦鏡頭：長(zhǎng)焦距鏡頭是指比標(biāo)準(zhǔn)鏡頭的焦距長(zhǎng)的攝影鏡頭。一般而言，焦距大于60mm的鏡頭即可稱為長(zhǎng)焦鏡頭。長(zhǎng)焦距鏡頭分為普通遠(yuǎn)攝鏡頭和超遠(yuǎn)攝鏡頭兩類。普通遠(yuǎn)攝鏡頭的焦距長(zhǎng)度接近標(biāo)準(zhǔn)鏡頭，而超遠(yuǎn)攝鏡頭的焦距卻遠(yuǎn)遠(yuǎn)大于標(biāo)準(zhǔn)鏡頭。以135照相機(jī)為例，其鏡頭焦距從85毫米—300毫米的攝影鏡頭為普通遠(yuǎn)攝鏡頭，300毫米以上的為超遠(yuǎn)攝鏡頭。

廣角鏡頭：廣角鏡頭是一種焦距短于標(biāo)準(zhǔn)鏡頭、視角大于標(biāo)準(zhǔn)鏡頭、焦距長(zhǎng)于魚眼鏡頭、視角小于魚眼鏡頭的攝影鏡廣角鏡頭。一般而言，視角為60°以上的鏡頭即可稱為廣角鏡頭。

在本申請(qǐng)中，術(shù)語(yǔ)“物體”和“目標(biāo)”當(dāng)用來(lái)描述圖像中的實(shí)體時(shí)，具有相同的含義，可以互換使用。

智能駕駛系統(tǒng)，本文中的智能駕駛系統(tǒng)主要包括傳感器(廣義，包括視覺(jué)傳感器、雷達(dá)、超聲波傳感器、紅外線傳感器)以及控制系統(tǒng)，控制系統(tǒng)接收傳感器的輸入，經(jīng)過(guò)分析、處理，做出決策，并發(fā)出控制指令，控制系統(tǒng)例如包括處理器(例如cpu)和存儲(chǔ)器。

下面結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說(shuō)明：

圖1是本發(fā)明一個(gè)實(shí)施例的多目相機(jī)系統(tǒng)的結(jié)構(gòu)示意圖。

如圖1所示，所述多目相機(jī)裝置包括：廣角相機(jī)10、立體相機(jī)20和圖像分析處理器30。根據(jù)本發(fā)明的優(yōu)選應(yīng)用，多目相機(jī)系統(tǒng)搭載于自動(dòng)駕駛汽車上，具體地，廣角相機(jī)10和立體相機(jī)20搭載于汽車的前上方，以便拍攝汽車的前方情況。

根據(jù)本發(fā)明實(shí)施例，廣角相機(jī)10的視野范圍大于立體相機(jī)20的視野范圍，所述立體相機(jī)的視野范圍與所述廣角相機(jī)的視野范圍存在重疊。優(yōu)選地，立體相機(jī)的視野范圍完全落入廣角相機(jī)的視野范圍之內(nèi)。

廣角相機(jī)10具有較寬廣的視角，在有限距離內(nèi)能夠容納較多的景物范圍，也能進(jìn)行粗略的物體定位。立體相機(jī)20視野范圍較窄，但是對(duì)于其視野范圍內(nèi)的物體，能夠進(jìn)行相對(duì)精準(zhǔn)的定位。

作為立體相機(jī)的例子，有雙目相機(jī)，tof相機(jī)，結(jié)構(gòu)光相機(jī)等。

圖1中示出了雙目相機(jī)作為立體相機(jī)的示例，雙目相機(jī)20包括左目相機(jī)模組202和右目相機(jī)模組203，設(shè)置于在立體相機(jī)支架201上，分別捕獲得到左圖像和右圖像，左圖像和右圖像可以傳送到圖像分析處理器30，由圖像分析處理器進(jìn)行畸變矯正、距離信息計(jì)算等操作。

雙目相機(jī)是立體相機(jī)中最常見(jiàn)的一種形式，也更加節(jié)約成本，在多目相機(jī)系統(tǒng)中使用雙目相機(jī)的左目相機(jī)模組和右目相機(jī)模組是比較有利的。

立體相機(jī)優(yōu)選采用畸變較小的長(zhǎng)焦距鏡頭光學(xué)系統(tǒng)。

下文實(shí)施例中以將多目相機(jī)系統(tǒng)搭載于自動(dòng)駕駛汽車上，以及雙目相機(jī)作為立體相機(jī)的例子來(lái)進(jìn)行描述。

廣角相機(jī)10、立體相機(jī)20將圖像信息傳輸至圖像分析處理器30，圖像分析處理器30將廣角相機(jī)10傳輸?shù)膱D像進(jìn)行畸變校正，并采用目標(biāo)檢測(cè)算法對(duì)廣角相機(jī)視野范圍內(nèi)的場(chǎng)景進(jìn)行目標(biāo)檢測(cè)，同時(shí)圖像分析處理器30對(duì)立體相機(jī)20視野范圍內(nèi)的物體進(jìn)行距離檢測(cè)，以及對(duì)廣角相機(jī)捕獲的圖像和立體相機(jī)捕獲的圖像進(jìn)行時(shí)間同步和匹配校準(zhǔn)處理。

圖像分析處理器30可以為例如專用計(jì)算裝置或通用計(jì)算裝置，可以具有中央處理單元和存儲(chǔ)器，存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令，計(jì)算機(jī)可執(zhí)行指令可加載入內(nèi)存由中央處理器執(zhí)行，圖像分析處理器也可以為由分布式組件協(xié)作的裝置，例如部分部件可以在云端，甚至部分功能部件物理上可以集成到立體相機(jī)20和/或廣角相機(jī)10中，例如去畸變、距離計(jì)算、相機(jī)標(biāo)定等。

示例性，立體相機(jī)和廣角相機(jī)各自獨(dú)立地與圖形分析處理器之間通過(guò)無(wú)線連接或者通過(guò)有線連接傳輸。立體相機(jī)或廣角相機(jī)與圖形分析處理器之間的連接方式是本領(lǐng)域技術(shù)人員根據(jù)需要可以進(jìn)行選擇的，各自的優(yōu)缺點(diǎn)是本領(lǐng)域技術(shù)人員根據(jù)需要能夠權(quán)衡的。

在圖1所示示例中，廣角相機(jī)和立體相機(jī)是一體式結(jié)構(gòu)，其中立體相機(jī)包括左目相機(jī)模組和右目相機(jī)模組，廣角相機(jī)設(shè)置于所述左目相機(jī)模組和右目相機(jī)模組之間。不過(guò)，替代地，廣角相機(jī)與立體相機(jī)可以是分體式結(jié)構(gòu)。所謂的廣角相機(jī)和立體相機(jī)是一體式結(jié)構(gòu)表示多目相機(jī)是一體的，不可拆分；相對(duì)比地，廣角相機(jī)和立體相機(jī)是分體式結(jié)構(gòu)表示兩者可以拆分。

在一些示例中，多目相機(jī)系統(tǒng)是固定的。在另外一些示例中，多目相機(jī)系統(tǒng)是整體可旋轉(zhuǎn)的，例如在拐彎的時(shí)候向需要拐彎的方向旋轉(zhuǎn)。所述多目相機(jī)系統(tǒng)整體可旋轉(zhuǎn)例如可以通過(guò)將多目相機(jī)系統(tǒng)安裝在旋轉(zhuǎn)器上來(lái)實(shí)現(xiàn)。在另一些示例中，多目相機(jī)是可升降的，例如通過(guò)將多目相機(jī)系統(tǒng)安裝可升價(jià)機(jī)構(gòu)上來(lái)實(shí)現(xiàn)。通過(guò)使得多目相機(jī)系統(tǒng)可旋轉(zhuǎn)和/或可升降，使得多目相機(jī)系統(tǒng)的視野范圍可視需要靈活調(diào)整。

在圖1所示示例中，多目相機(jī)系統(tǒng)包括一個(gè)立體相機(jī)。不過(guò)此僅為示例，在另外的示例中，多目相機(jī)系統(tǒng)可以包括多個(gè)立體相機(jī)，每個(gè)立體相機(jī)的視野范圍與廣角相機(jī)的視野范圍內(nèi)的不同區(qū)域重疊。

在圖1所示的示例中，多目相機(jī)系統(tǒng)包括一個(gè)廣角相機(jī)。不過(guò)此僅為示例，在其它示例中，多目相機(jī)系統(tǒng)可以包括多個(gè)廣角相機(jī)，優(yōu)選地，不同廣角相機(jī)覆蓋不同的視野范圍，不同廣角相機(jī)視野范圍之間可以有重疊。

在一些示例中，多目相機(jī)系統(tǒng)還可以包括輸出設(shè)備，其輸出圖形分析處理器獲得的廣角相機(jī)視野范圍內(nèi)的目標(biāo)識(shí)別信息和立體相機(jī)視野內(nèi)的目標(biāo)距離信息。當(dāng)多目相機(jī)系統(tǒng)安裝于智能駕駛系統(tǒng)用來(lái)進(jìn)行目標(biāo)探測(cè)時(shí)，這些信息對(duì)于智能駕駛系統(tǒng)來(lái)說(shuō)，是用來(lái)執(zhí)行自動(dòng)駕駛的參考信息。此時(shí)，其輸出設(shè)備與智能駕駛系統(tǒng)的輸入設(shè)備連接，或者說(shuō)智能駕駛系統(tǒng)從該輸出設(shè)備獲取信息。

在一些示例中，立體相機(jī)可以安裝在旋轉(zhuǎn)器上，其能夠獨(dú)立于廣角相機(jī)產(chǎn)生0-45°的偏轉(zhuǎn)角度，從而使得立體相機(jī)的視野能夠發(fā)生變化。這樣的多目相機(jī)系統(tǒng)更加適合用于智能駕駛系統(tǒng)。在汽車轉(zhuǎn)彎的情況下，立體相機(jī)如果能夠發(fā)生偏轉(zhuǎn)，那么能夠比較好地檢測(cè)彎道上的目標(biāo)情況，從而更加有利于智能駕駛系統(tǒng)做出正確的駕駛決策。

圖2示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的圖像分析處理器30的示例性功能性結(jié)構(gòu)框圖。

如圖2所示，圖像分析處理器30包括：相機(jī)標(biāo)定器31、廣角相機(jī)圖像處理器32、立體相機(jī)圖像處理器33和圖像配準(zhǔn)器34。

相機(jī)標(biāo)定器31對(duì)該多目相機(jī)進(jìn)行標(biāo)定，獲得所述多目相機(jī)的內(nèi)參和外參。其中所述內(nèi)參包括立體相機(jī)的內(nèi)參和廣角相機(jī)的內(nèi)參，外參包括立體相機(jī)的外參以及立體相機(jī)和廣角相機(jī)之間的外參。

廣角相機(jī)圖像處理器32根據(jù)廣角相機(jī)的內(nèi)參對(duì)廣角相機(jī)捕獲的圖像進(jìn)行去畸變處理，并進(jìn)行目標(biāo)檢測(cè)。

立體相機(jī)圖像器33根據(jù)立體相機(jī)的內(nèi)參和外參對(duì)立體相機(jī)捕獲的圖像進(jìn)行去畸變處理，并執(zhí)行距離檢測(cè)算法，獲得圖像像素的距離信息。

圖像配準(zhǔn)器34將廣角相機(jī)捕獲的圖像和所述立體相機(jī)捕獲的圖像進(jìn)行時(shí)間同步和匹配校準(zhǔn)，從而基于廣角相機(jī)視野范圍內(nèi)的目標(biāo)識(shí)別信息，來(lái)得到目標(biāo)的距離信息。

下面參考附圖具體描述圖像分析處理器30執(zhí)行的處理示例。

圖3示出了根據(jù)本發(fā)明實(shí)施例的圖像分析處理器30執(zhí)行的圖像分析處理方法200的總體流程圖。

首先需要說(shuō)明的是，在多目相機(jī)系統(tǒng)工作之前，要進(jìn)行一些初始化操作，包括對(duì)廣角相機(jī)和立體相機(jī)進(jìn)行標(biāo)定，獲得立體相機(jī)的內(nèi)參、廣角相機(jī)的內(nèi)參、以及外參。在立體相機(jī)為雙目相機(jī)情況下，立體相機(jī)的內(nèi)參包括雙目相機(jī)中的左目相機(jī)和右目相機(jī)每個(gè)的內(nèi)參；外參包括與左目相機(jī)和右目相機(jī)之間的位置關(guān)系相關(guān)的外參，以及與立體相機(jī)與廣角相機(jī)之間的位置關(guān)系相關(guān)的外參。內(nèi)參為圖像的去畸變處理所需，外參為圖像之間的配準(zhǔn)所需。本發(fā)明實(shí)施例的標(biāo)定包括立體相機(jī)自身的標(biāo)定、廣角相機(jī)自身的標(biāo)定，以及立體相機(jī)和廣角相機(jī)之間關(guān)系的標(biāo)定。立體相機(jī)的標(biāo)定包括內(nèi)參(鏡頭畸變)和外參(兩個(gè)接受目之間的位置關(guān)系或發(fā)送目和接受目之間的位置關(guān)系)，而立體相機(jī)和廣角相機(jī)的標(biāo)定涉及二者之間的位置關(guān)系。

除了初始化之時(shí)進(jìn)行標(biāo)定外，優(yōu)選地，在預(yù)定情形發(fā)生時(shí)，要對(duì)相機(jī)系統(tǒng)進(jìn)行重新標(biāo)定。例如預(yù)定情形包括以下項(xiàng)中的至少一種或者其組合：距上一次標(biāo)定過(guò)去了預(yù)定時(shí)間；立體相機(jī)、廣角相機(jī)中任一個(gè)的方位發(fā)生改變；周圍事物的情景發(fā)生超出預(yù)定閾值的改變。

圖3的流程圖假定有關(guān)的標(biāo)定已經(jīng)完成，且圖像分析處理器已經(jīng)獲得了廣角相機(jī)捕獲的圖像和立體相機(jī)捕獲的圖像。

在步驟s210中，對(duì)所述廣角相機(jī)捕獲的圖像進(jìn)行目標(biāo)檢測(cè)，獲得目標(biāo)的像素坐標(biāo)。

例如，經(jīng)由圖像處理檢測(cè)圖像中的行人和/或車輛。有關(guān)檢測(cè)算法可以使用常用的目標(biāo)識(shí)別算法，例如神經(jīng)網(wǎng)絡(luò)、svm等，此非本發(fā)明要點(diǎn)，這里省略對(duì)其的詳細(xì)說(shuō)明。

在步驟s220中，對(duì)所述立體相機(jī)捕獲的圖像進(jìn)行距離檢測(cè)，獲得各個(gè)像素的距離。

具體地，作為實(shí)現(xiàn)示例，對(duì)所述立體相機(jī)捕獲的圖像進(jìn)行距離檢測(cè)，獲得各個(gè)像素的距離可以包括：用立體匹配算法對(duì)捕獲的圖像進(jìn)行匹配，獲得對(duì)應(yīng)像素在圖像中的距離差；通過(guò)立體相機(jī)的內(nèi)參和外參計(jì)算出至少一個(gè)捕獲的圖像中各個(gè)像素的距離。

例如，對(duì)于立體相機(jī)為雙目相機(jī)的情況，用立體匹配算法對(duì)于左目圖像和右目圖像進(jìn)行匹配，獲得對(duì)應(yīng)像素在圖像中的距離差；然后基于左目相機(jī)和右目相機(jī)的內(nèi)參和外參，來(lái)計(jì)算得到左目圖像和右目圖像中至少一個(gè)，例如以左目圖像作為參考圖像情況下，左目圖像中的各個(gè)像素的距離，此距離表征像素對(duì)應(yīng)的物理點(diǎn)距雙目相機(jī)的距離信息。

有關(guān)立體匹配算法和距離計(jì)算方法均可以使用本領(lǐng)域慣用技術(shù)，此非本發(fā)明要點(diǎn)，這里不再贅述。

另外需要說(shuō)明的是，關(guān)于步驟s210中對(duì)廣角相機(jī)捕獲的圖像的處理和步驟s220中對(duì)立體相機(jī)捕獲的圖像的處理，兩者之間可以獨(dú)立進(jìn)行，對(duì)于相互之間順序沒(méi)有特別要求，例如，可以串行、并行或者任意組合順序進(jìn)行。

在步驟s230中，將所述廣角相機(jī)捕獲的圖像和所述立體相機(jī)捕獲的圖像進(jìn)行時(shí)間同步和匹配校準(zhǔn)，從而得到廣角相機(jī)視野范圍內(nèi)的目標(biāo)識(shí)別信息和立體相機(jī)視野內(nèi)的目標(biāo)距離信息。

圖4示出了圖3所示的步驟s230的一個(gè)具體實(shí)施方法的流程圖。

在步驟s231中，對(duì)所述廣角相機(jī)捕獲的圖像和所述立體相機(jī)捕獲的圖像的時(shí)間戳進(jìn)行比較，確定是在同一時(shí)刻捕獲的圖像。

在本申請(qǐng)中，同一時(shí)刻捕獲的圖像是指兩幅圖像的捕獲時(shí)間差小于一定的閾值(如50ms)。比如如果立體相機(jī)圖像的捕獲時(shí)間為t1，廣角相機(jī)圖像的捕獲時(shí)間為t2，那么只需要|t1-t2|<50ms即認(rèn)為兩幅圖像是在同一時(shí)刻捕獲的，即可進(jìn)行后續(xù)的操作。

在步驟s232中，根據(jù)多目相機(jī)的外參來(lái)將廣角相機(jī)捕獲的圖像和立體相機(jī)捕獲的圖像配準(zhǔn)到一個(gè)坐標(biāo)系下。

在步驟s233中，把從所述廣角相機(jī)捕獲的圖像中識(shí)別的目標(biāo)像素坐標(biāo)映射到從所述立體相機(jī)捕獲的圖像中獲得的距離中，得到目標(biāo)的距離。

回到圖3，在完成步驟s230的處理之后，就獲得了目標(biāo)的距離信息。這樣的目標(biāo)距離信息可以輸出給自動(dòng)駕駛汽車的智能駕駛系統(tǒng)，智能駕駛系統(tǒng)根據(jù)該距離信息，進(jìn)行決策，并對(duì)于動(dòng)作執(zhí)行機(jī)構(gòu)發(fā)出指令，例如指令進(jìn)行剎車、換道或者給出報(bào)警等等。

根據(jù)本發(fā)明另一實(shí)施例，廣角相機(jī)視野范圍完全覆蓋立體相機(jī)視野范圍，以及充分利用廣角相機(jī)視野寬廣的優(yōu)勢(shì)，預(yù)測(cè)目標(biāo)的運(yùn)動(dòng)趨勢(shì)，在目標(biāo)進(jìn)入立體相機(jī)視野的瞬間，通過(guò)立體相機(jī)圖像和廣角相機(jī)圖像配準(zhǔn)，來(lái)迅速確定目標(biāo)的距離，并將確定的距離提供給智能駕駛系統(tǒng)，來(lái)進(jìn)行決策。

下面結(jié)合圖5來(lái)描述根據(jù)本發(fā)明實(shí)施例的具有預(yù)判功能的圖像處理方法300。

如圖5所示，在步驟s310中，對(duì)于處于廣角相機(jī)視野內(nèi)但在立體相機(jī)視野范圍外的區(qū)域，通過(guò)對(duì)廣角相機(jī)捕獲的圖像進(jìn)行處理，捕捉并跟蹤物體，并預(yù)測(cè)該物體的運(yùn)動(dòng)趨勢(shì)。

根據(jù)廣角相機(jī)和立體相機(jī)的內(nèi)參和外參，能夠確定廣角相機(jī)捕獲的圖像中哪些區(qū)域在立體相機(jī)的視野范圍之外，對(duì)于這些區(qū)域，可以捕捉并跟蹤物體，并預(yù)測(cè)該物體的運(yùn)動(dòng)趨勢(shì)。

可以使用圖像處理領(lǐng)域的運(yùn)動(dòng)對(duì)象識(shí)別和跟蹤技術(shù)來(lái)實(shí)現(xiàn)對(duì)物體的捕捉、跟蹤、運(yùn)動(dòng)趨勢(shì)預(yù)測(cè)。

在步驟s320中，對(duì)所述立體相機(jī)捕獲的圖像進(jìn)行距離檢測(cè)，獲得各個(gè)像素的距離。步驟s320的實(shí)現(xiàn)與圖3所示的步驟s220類似，這里不再贅述。

在步驟s330中，判斷物體正進(jìn)入立體相機(jī)的視野范圍。如果是，前進(jìn)到步驟s330，否則回到步驟s310中。

在步驟s340中，將所述廣角相機(jī)捕獲的圖像和所述立體相機(jī)捕獲的圖像進(jìn)行時(shí)間同步和匹配校準(zhǔn)，從而得到廣角相機(jī)視野范圍內(nèi)的目標(biāo)識(shí)別信息和立體相機(jī)視野內(nèi)的目標(biāo)距離信息。

更具體地，作為示例，基于跟蹤物體技術(shù)所估計(jì)的物體的運(yùn)動(dòng)方向和運(yùn)動(dòng)速度，能夠確定物體大概何時(shí)進(jìn)入立體相機(jī)的視野范圍，則可以在估計(jì)的進(jìn)入立體相機(jī)的視野范圍時(shí)刻(或稍微提前一點(diǎn)兒時(shí)間)，對(duì)廣角相機(jī)圖像中物體進(jìn)入立體相機(jī)視野范圍的部分進(jìn)行確定，然后將廣角相機(jī)圖像和立體相機(jī)圖像進(jìn)行同步和配準(zhǔn)，接下來(lái)針對(duì)物體進(jìn)入立體相機(jī)視野范圍的部分來(lái)確定距離信息。

由此，能夠第一時(shí)間獲知一個(gè)跟蹤對(duì)象的精準(zhǔn)距離信息，此時(shí)該跟蹤對(duì)象例如前方人或車輛剛剛進(jìn)入立體相機(jī)視野范圍(很可能已進(jìn)入或即將進(jìn)入搭載立體相機(jī)的本車輛的車道中)，立刻知道其距離信息，能夠據(jù)此判斷本車與目標(biāo)之間是否處于安全距離、是否有必要采取行動(dòng)措施。

根據(jù)本發(fā)明另一方面，還提供了一種智能駕駛系統(tǒng)，其包括上述多目相機(jī)系統(tǒng)，智能駕駛系統(tǒng)作為智能駕駛汽車的大腦，利用多目相機(jī)系統(tǒng)提供的目標(biāo)識(shí)別信息和距離信息，來(lái)做出智能駕駛決策，并向駕駛執(zhí)行部件發(fā)出控制指令。

根據(jù)本發(fā)明另一方面，還提供了一種智能駕駛汽車，其采用上述智能駕駛系統(tǒng)。

根據(jù)本發(fā)明另一方面，還提供了一種智能駕駛汽車獲得目標(biāo)距離的方法，包括：由車載廣角相機(jī)捕獲圖像；由車載立體相機(jī)拍攝圖像；通過(guò)所述廣角相機(jī)捕獲的圖像進(jìn)行目標(biāo)檢測(cè)，獲得目標(biāo)的像素坐標(biāo)；通過(guò)所述立體相機(jī)捕獲的圖像進(jìn)行距離檢測(cè)，獲得各個(gè)像素的距離；和將所述廣角相機(jī)捕獲的圖像和所述立體相機(jī)捕獲的圖像進(jìn)行時(shí)間同步和匹配校準(zhǔn)，從而得到廣角相機(jī)視野范圍內(nèi)的目標(biāo)識(shí)別信息和立體相機(jī)視野內(nèi)的目標(biāo)距離信息。

根據(jù)本發(fā)明另一方面，還提供了一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令，所述指令當(dāng)被處理器執(zhí)行時(shí)，可操作來(lái)執(zhí)行下述方法：獲得由車載廣角相機(jī)捕獲的圖像；獲得由車載立體相機(jī)捕獲的圖像；通過(guò)所述廣角相機(jī)捕獲的圖像進(jìn)行目標(biāo)檢測(cè)，獲得目標(biāo)的像素坐標(biāo)；通過(guò)所述立體相機(jī)捕獲的圖像進(jìn)行距離檢測(cè)，獲得各個(gè)像素的距離；和將所述廣角相機(jī)捕獲的圖像和所述立體相機(jī)捕獲的圖像進(jìn)行時(shí)間同步和匹配校準(zhǔn)，從而得到廣角相機(jī)視野范圍內(nèi)的目標(biāo)識(shí)別信息和立體相機(jī)視野內(nèi)的目標(biāo)距離信息。

本公開(kāi)的多目相機(jī)系統(tǒng)結(jié)合了廣角相機(jī)的大視角、小盲區(qū)的優(yōu)點(diǎn)和立體相機(jī)的精準(zhǔn)測(cè)距的優(yōu)勢(shì)，能夠跟蹤目標(biāo)的運(yùn)動(dòng)，預(yù)測(cè)目標(biāo)的運(yùn)動(dòng)趨勢(shì)，并迅捷給出可能影響本車駕駛的目標(biāo)的距離信息，特別適合于智能駕駛系統(tǒng)的駕駛決策和控制。

本申請(qǐng)所述的多目相機(jī)系統(tǒng)特別適合于智能駕駛系統(tǒng)中用于目標(biāo)的識(shí)別，其既能夠識(shí)別大范圍內(nèi)的目標(biāo)，又能夠識(shí)別重點(diǎn)范圍內(nèi)的目標(biāo)距離，能夠?yàn)橹悄荞{駛系統(tǒng)提供較好的輸入數(shù)據(jù)。因此，本申請(qǐng)還提供一種智能駕駛系統(tǒng)，其包括任一項(xiàng)以上所述的多目相機(jī)系統(tǒng)。

以上已經(jīng)描述了本發(fā)明的各實(shí)施例，上述說(shuō)明是示例性的，并非窮盡性的，并且也不限于所披露的各實(shí)施例。在不偏離所說(shuō)明的各實(shí)施例的范圍和精神的情況下，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)許多修改和變更都是顯而易見(jiàn)的。因此，本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求的保護(hù)范圍為準(zhǔn)。