在顯示裝置的顯示器上呈現(xiàn)運輸工具周圍環(huán)境中可見性不同的物體的方法

專利名稱：在顯示裝置的顯示器上呈現(xiàn)運輸工具周圍環(huán)境中可見性不同的物體的方法
技術領域：
本發(fā)明涉及一種用于在顯示裝置的顯示器上呈現(xiàn)運輸工具周圍環(huán)境中可見性不同的物體的方法和設備。
背景技術：
現(xiàn)有技術中以下夜視系統(tǒng)是已知的，在該夜視系統(tǒng)中，利用遠紅外攝像機采集運輸工具周圍環(huán)境的圖像并且顯示在運輸工具內(nèi)部空間中的顯示器上。黑暗中人眼不能看到的障礙物或物體由此變得可見。還已知物體識別系統(tǒng)，該系統(tǒng)基于在紅外光譜中所采集的周圍環(huán)境執(zhí)行自動的物體識別。因此也可以自動識別在可見光譜中不輻射或反射光或者只輻射或反射少量光但具有與其周圍不同的溫度的那些物體。此外還已知對運輸工具周圍環(huán)境中特定種類的物體的自動識別可以作為駕駛者警告、例如圖示被輸出在運輸工具內(nèi)部空間中的顯示器上。如果利用夜視系統(tǒng)例如識別到行人，則在顯示器上出現(xiàn)對應于行人的警示性的示意圖示。借助于夜視系統(tǒng)識別的障礙物也可以直接在顯示器上夜視系統(tǒng)的圖像中例如借助于對障礙物的加邊框或著色而被突出強調(diào)。在文獻DE 102005020772A1中介紹了一種用于呈現(xiàn)機動車的周圍環(huán)境的顯示系統(tǒng)，其中借助于遠紅外攝像機采集運輸工具周圍環(huán)境。其中被識別出的對于運輸工具被歸類為危險的物體在機動車的平視顯示器(Head-Up-Display)中被突出地呈現(xiàn)。在文獻EP 1647807A1中介紹了一種駕駛者輔助系統(tǒng)，其中在顯示器、例如平視顯示器中為駕駛者再現(xiàn)前面行駛的可能運輸工具來進行駕駛輔助并且根據(jù)所確定的行駛狀態(tài)在顯示器上向駕駛者給出駕駛指導。在文獻DE 102005062151A1中介紹了一種用于在通過道路變窄處時為運輸工具駕駛者提供輔助的方法和設備。其中借助于至少一個攝像機采集運輸工具交通環(huán)境的圖像數(shù)據(jù)并且由運輸工具尺寸生成運輸工具將來位置的圖示，運輸工具將來位置疊加有攝像機的圖像數(shù)據(jù)。駕駛者可以從該圖示中識別其是否能以其運輸工具通過運輸工具前面的道路變窄處?，F(xiàn)有技術中還已知多種用于借助于運輸工具內(nèi)所使用的設備識別道路標記的系統(tǒng)?，F(xiàn)有技術中還已知用于識別行道路上障礙物的物體識別系統(tǒng)。尤其地，由公共研究項目“MIDIAS”已知將3D-T0F傳感器(T0F =飛行時間=Time of Flight)和單目攝像機結合。利用TOF傳感器來基于被發(fā)射的被物體反射并且然后被接收的光的飛行時間測量物體并且由此確定與不同立體角的物體的距離。由此產(chǎn)生場景的3D圖示。在所述傳感器結合中，TOF傳感器和單目攝像機的傳感器數(shù)據(jù)以同一立體角執(zhí)行。其中可以結合兩種傳感器類型的優(yōu)點。尤其是將單目攝像機高的角度分辨率優(yōu)點與3D傳感器的由同一物體所確定的深度信息優(yōu)點結合，單目攝像機但是只提供很少的關于物體距離的信息，3D傳感器就本身而言具有相對低的角度分辨率。
5
圖1示意性地示出了基于這樣的傳感器結合的攝像機系統(tǒng)的構造。例如被表示為人的要識別的物體O在此既被單目攝像機101采集也被相應的TOF傳感器102采集。其中 TOF傳感器具有用于發(fā)射紅外射線的相應裝置103以及用于接收在相應物體上反射的紅外射線的裝置104。攝像機和傳感器的數(shù)據(jù)然后結合，并且基于此例如確定周圍環(huán)境圖示或所識別到的物體的列表。已知的物體識別系統(tǒng)經(jīng)常生成大量警告以及其他要被使用者注意的信息。顯示周圍環(huán)境廣泛部分的攝像機圖像也可以對于駕駛者產(chǎn)生信息泛濫。其中運輸工具乘客難以部分地注意非常大量的信息并且首先將提示與警告與實際周圍環(huán)境聯(lián)系起來。此外，通過已知的系統(tǒng)經(jīng)常再現(xiàn)非常大量的識別出的物體，由此使運輸工具的乘客以及尤其是駕駛者的注意力超負荷。在借助于例如基于波長范圍為8 μ m到10 μ m的熱攝像機的夜視系統(tǒng)采集周圍環(huán)境時，在運輸工具內(nèi)部空間中的顯示器上顯示包括障礙物(例如行人和動物)在內(nèi)的周圍環(huán)境。尤其是熱物體(行人、動物、其他運輸工具的某些部分)變得非常清楚地可見。但是對于駕駛者通常很難將在顯示器上顯示的物體對應到通過擋風玻璃看到實際周圍環(huán)境以及尤其是識別駕駛者看得見的物體與被夜視系統(tǒng)識別但是不能被駕駛者的視覺系統(tǒng)看到的顯示在顯示器上的物體的空間關系。而且，借助于夜視系統(tǒng)采集的圖像只成像一定的視角，該視角可能不再對應于人變化的注意區(qū)。因此駕駛者很難保持關于當前在運輸工具內(nèi)部空間中的顯示器上能看到道路哪個區(qū)域的洞察以便由此將所識別的障礙物對應到實際的周圍環(huán)境。圖2再一次說明了剛才說明的問題。在該圖中，既在俯視圖中又在側視圖中示出了運輸工具1，其中夜視系統(tǒng)的遠紅外攝像機的視角在運輸工具1前面區(qū)域中通過相應陰影示出的區(qū)域B來表示。可以看出視角明顯不同于駕駛者的視域。但是不可能在座艙內(nèi)安裝遠紅外攝像機，因為運輸工具的擋風玻璃使熱輻射衰減。如已經(jīng)說明的那樣，例如在平視顯示器上將運輸工具的整個周圍環(huán)境顯示為視頻畫面或大量標記不僅在技術上是復雜的而且對于人的認知是不利的。因此，能想到的借助于一個或多個顯示裝置顯示能通過多種類型的傳感裝置識別的所有物體會使人的認知過負荷并且很難得到說明性的圖示。

發(fā)明內(nèi)容
因此，本發(fā)明的任務在于在顯示裝置上從運輸工具乘客的角度為使用者提供運輸工具周圍環(huán)境的圖示，使用者利用該圖示可以更好地了解運輸工具周圍環(huán)境中的物體。該任務通過根據(jù)權利要求1的方法或根據(jù)權利要求M的設備來實現(xiàn)。在從屬權利要求中限定了本發(fā)明的擴展方案。根據(jù)本發(fā)明的方法用于在顯示裝置的顯示器上從運輸工具的乘客、尤其是駕駛者的角度為使用者顯示運輸工具周圍環(huán)境中可見性不同的物體，其中運輸工具周圍環(huán)境至少部分地以一個或多個物體識別裝置自動識別。概念“運輸工具”尤其可以是指機動車、飛行器、船舶或兩棲交通工具。此外，概念 “運輸工具”在本發(fā)明的范圍中還可以被理解為自主的載貨車或偵察運輸工具和/或作為運輸工具的活動機器人。尤其地，運輸工具至少部分地可以執(zhí)行自動操縱，例如泊車操縱。在一有利擴展方式中，運輸工具的使用者是運輸工具的乘客本身。因此在該擴展方案中，后面所使用的概念“使用者”等同于運輸工具的乘客，其中乘客尤其是運輸工具的駕駛者。但是同樣還存在以下可能性運輸工具的使用者是從外部例如無線地控制運輸工具和/或無線地從運輸工具獲得信息的人。在該情況下，運輸工具的使用者例如可以是運輸工具的監(jiān)視操縱執(zhí)行的第二駕駛者。其中可能的是，在運輸工具中可能還根本沒有乘客。 在該情形下，于是乘客的角度是運輸工具內(nèi)部空間中一位置處虛擬乘客的角度。如果使用者不同于運輸工具的乘客，則使用者在可能的情況下可以從多個位置中選擇乘客的位置。 虛擬乘客的假定位置可以是由使用者選擇或預給定的位于運輸工具的幾何邊界內(nèi)并且有時是位于其內(nèi)部空間內(nèi)的位置。根據(jù)本發(fā)明，對于由物體識別裝置識別出的物體基于一個或多個標準確定相應物體是對于乘客被歸類為可見的第一物體還是對于乘客被歸類為不可見的第二物體。如果使用者不是乘客，則基于假定在相應乘客位置處的虛擬乘客來進行對可見性的歸類。對于包括至少一個第一物體和至少一個第二物體的所識別出的多個物體，物體各自的位置被確定以用于顯示，其中對于各個位置，這多個物體之間的幾何關系基本上對應于對于運輸工具的乘客角度而言實際的幾何關系。尤其地，至少總共三個所示物體之間的相對幾何關系基本上對應于對于乘客角度而言運輸工具周圍環(huán)境中相應物體之間實際的幾何關系。其中例如圖示中物體位置之間的距離比例可以對應于道路上相關物體之間的距離比例，如乘客從其角度、尤其是從其眼睛位置觀看的那樣。這多個物體然后在所確定的位置上被顯示在顯不器上。本發(fā)明范圍中的物體識別裝置尤其可以是已知的至少使得能夠識別物體的特征、 尤其是邊緣和/或輪廓以及/或者物體相互的布局。將物體例如分類到一物體分類中并不
一定是必需的。根據(jù)本發(fā)明，運輸工具的使用者通過至少一個可見的第一物體和至少一個不可見的第二物體的顯示而獲知與對于乘客角度而言實際幾何事實一致的這些物體的相對位置， 從而運輸工具的使用者獲得不可見物體相對于可見物體的實際位置的清楚了解。本發(fā)明因此規(guī)定確定所顯示的第一和/或第二物體各自的圖示位置，該圖示位置基本上對應于這些位置從乘客位置、尤其是從乘客視角的關系。因此，從另一角度、例如從運輸工具中物體識別裝置的安裝位置采集的物體在顯示裝置的顯示器上以對于乘客位置正確的幾何關系被顯示。在一有利實施方式中，第一和/或第二物體相對于運輸工具的位置首先被確定， 然后通過幾何變換被變換為顯示裝置的顯示器上的顯示。其中，所顯示的第一和/或第二物體之間的距離比例以及/或者這些物體之間的角度比例被理解為幾何關系。例如以設置在運輸工具上的不同物體識別裝置來進行對相應的第一和/或第二物體的采集和識別。例如，該物體識別裝置可以構造為近紅外或遠紅外攝像機(例如熱圖像攝像機)或者構造為基于對與周圍環(huán)境的不同部分的距離進行測量的裝置。同樣，物體識別裝置也可以是用于光可見光譜部分的攝像機。根據(jù)本發(fā)明，概念“物體”也可以理解為周圍環(huán)境的一部分，例如道路的具有道路標記或道路標線的部分或者建筑物的一部分?！安豢梢姷奈矬w”尤其是指例如由于其在人可見光譜中很小的反射度和/或由于對于運輸工具的乘客而言光照度和/或視線情況或者例如由于物體的色彩而不可見的或者以提高的概率可能不可見的那些物體。尤其地，不可見的物體是即使在使得其本身能夠被注意到的視向上也很可能被忽略的那些物體。在本發(fā)明的一特別有利的實施方式中，基于可見性值(Sichtbarkeitsmaii)將物體歸類為可見的第一物體和不可見的第二物體。其中如果針對一物體，對于運輸工具乘客的可見性值第一閾值被超過了，則基于該標準將該物體歸類為第一物體；并且如果針對一物體，未超過運輸工具乘客的可見性值第二閾值，則該物體被歸類為第二物體，其中第二閾值對應于第一閾值或者低于第一閾值。通過相應地以相互之間一定距離地選擇第一閾值和第二閾值尤其實現(xiàn)了以下優(yōu)點所生成的顯示始終提供對于乘客良好的定向，但是不加載以不必要顯示的物體或部分周圍環(huán)境。物體的可見性值尤其可以根據(jù)其所發(fā)射的光的譜特性來確定。因此，例如在遠紅外光譜中具有能明確識別的輻射的物體在可見光譜中可能不具有足夠的輻射，反之亦然。尤其可以基于對可見性值的確定來將所識別的物體劃分為可見的和不可見的物體，如在本申請人的在先德國專利申請102008051593. 0中所介紹的那樣。該專利申請的整個公開內(nèi)容通過引用被包含在本申請中。在這個在先專利申請中所介紹的方法的原理也可以應用在這里所介紹的發(fā)明中來辨識可見的或不可見的物體。但是與在先專利申請不同， 在這里所介紹的發(fā)明中，所識別的物體的可見性根據(jù)運輸工具的乘客、尤其是駕駛者的位置來確定。相反，在在先專利申請中，運輸工具本身的可見性根據(jù)不同的立體角或觀察位置來確定。如已經(jīng)提到的那樣，為了區(qū)分“可見”和“不可見”，尤其為所確定的可見性值確定適當?shù)拈撝?，其中在超過該閾值的情況下物體被歸類為對于人是可見的，而在低于該閾值的情況下物體被歸類為對于人是不可見的。其中可見性值例如以所識別的物體尤其被統(tǒng)計的人或動物視覺系統(tǒng)看到或忽略的概率的形式來表達。與上面提到的在先專利申請類似， 為了確定可見性值，所識別的相應物體的發(fā)光面的并且在可能的情況下還有所識別的物體的環(huán)境中的包括亮度分布和/或光譜分布的第一光分布被確定。其中該亮度分布和/或光譜分布尤其以運輸工具中的相應感測裝置確定，該感測裝置也可以是根據(jù)本發(fā)明所使用的物體識別裝置的一部分。為了確定運輸工具的乘客或駕駛者位置的適當可見性值，第一光分布優(yōu)選變換到運輸工具的乘客或駕駛者的位置的角度上，由此獲得第二光分布。然后基于該第二光分布可以確定各個物體的可見性值。上述概念“發(fā)光面”既可以是指自發(fā)光的面，也可以是指反射的、光折射的或發(fā)熒光的面。發(fā)光面也可以是既可以自發(fā)光又可以反射或折射光的面，例如運輸工具的擋風玻璃。發(fā)光面也可以是運輸工具燈。例如可以按照幾何觀點進行發(fā)光面中的細分。從而例如相鄰放置的物體或者其一部分可以構成一發(fā)光面，而間隔更遠設置的物體或其一部分被歸類為另一發(fā)光面。其中特別有利的是將第一光分布具有相似特性的點集作為一發(fā)光面理解和/或進一步處理。在可能的情況下，發(fā)光面也可以是非常小的無限小的面。發(fā)光面可以具有任意形狀，尤其地其也可以是彎曲的。因此，通過第一光分布描述發(fā)光面的空間分布。光分布可以作為發(fā)光面之間的角度、立體角或角系數(shù)被確定和/或進一步處理。上述可見性值尤其表示物體和/或其外邊界和/或物體的空間取向對于人視覺系統(tǒng)的可辨識性。此外，可見性值也可以考慮各個物體與其他物體或別的物體的可區(qū)別性。尤其地，如果一物體的同樣可能是物體的部件(尤其是邊緣和/或結構)的足夠大的部分是可見的和/或如果物體的一部分在其空間邊界上是可見的，則認為該物體是可見的。尤其地，如果沒有滿足該標準，則認為物體是整體不可見的。所確定的可見性值去不同參數(shù)，尤其取決于實際對比度以及取決于相應物體相對于通常光源或其他物體的相對運動。因此一般而言，例如如果從乘客位置看來物體相對于背景運動，則物體被乘客看到的概率提高。在用于確定可見性的方法的一有利變體方案中，所確定的第一光分布以以下形式存在，即在該形式中包含光分布的參數(shù)的角度依賴性。這例如可以以光分布的各個參數(shù)對于方向、并且在可能的情況下還對于距離的依賴性的由支點描述的函數(shù)來描述。有利地，第一光分布以基于向量的格式存在，其中向量在該格式中表明相應發(fā)光面所位于的方向，并且包含相應發(fā)光面的相應光參數(shù)和/或相應輻射特性作為屬性。有利地，基于坐標變換來執(zhí)行用于確定可見性值的對第一光分布的變換，該坐標變換將發(fā)光面的位置和/或輻射角度轉換到運輸工具的乘客的角度。其中，第一光分布的這個變換例如可以基于對由所識別的相應物體與該物體的周圍環(huán)境的至少一部分構成的系統(tǒng)中光傳播的模擬來執(zhí)行。因此在計算機支持下由所確定的第一光分布空間地生成具有輻射特性的發(fā)光面模型，并且該模型然后又可以在計算機支持下以已知的變換被轉換到運輸工具的乘客的角度中。在用于確定可見性值的方法的一有利實施方式中，在第二光分布內(nèi)確定發(fā)光面之間、尤其是所識別的相應物體與所識別的物體的周圍環(huán)境之間的一個或多個對比度，其中可見性值取決于這一個或多個對比度。在這里，對比度可以被理解為用于不同發(fā)光面的和 /或一發(fā)光面內(nèi)的亮度分布和/或光譜分布之間區(qū)別的參數(shù)。該區(qū)別例如也可以以梯度形
式來表達。在可能的情況下，對比度也可以通過以下函數(shù)來確定，即該函數(shù)描述各個發(fā)光面的亮度或譜分布各自的空間變化，在可能的情況下取決于運輸工具的乘客的位置的立體角和/或與運輸工具的乘客的位置的距離。因此，對比度也可以表示兩個發(fā)光面的所確定的亮度和/或所確定的譜分布之間的區(qū)別，其中亮度和/或譜分布在相應的發(fā)光面的范圍上被平均。作為對比度，尤其確定所識別的相應對象和該對象的周圍環(huán)境之間的對比度。尤其地，相應物體的表征該物體的幾何邊界或外廓尺寸的發(fā)光面與周圍環(huán)境的發(fā)光面(尤其是未被該相應物體遮蓋的發(fā)光面)之間的對比度被確定。特別有利的是確定對于運輸工具的乘客的位置而言形成相應物體的幾何邊界的發(fā)光面與環(huán)境中在相對于所識別的物體的幾何邊界成基本上相鄰的立體角的情況下可見的發(fā)光面之間的對比度。此外，可見性值還可以根據(jù)第二光分布內(nèi)子區(qū)域的局部對比度來確定。根據(jù)本發(fā)明，優(yōu)選借助于在根據(jù)本發(fā)明的用于采集或識別運輸工具周圍環(huán)境中物體的方法中所使用的物體識別裝置來區(qū)分可見的第一物體和不可見的第二物體。因此，本發(fā)明可以特別經(jīng)濟地借助于總歸存在的傳感裝置或計算資源來實現(xiàn)。例如，第一和第二物體之間的自動區(qū)分和/或要顯示的第一和第二物體的選擇與其他方法、例如用于識別物體的方法一起在物體識別系統(tǒng)的計算單元中尤其是借助于在該系統(tǒng)中已經(jīng)存在的在物體識別方法中所確定的物體特征來實現(xiàn)。在根據(jù)本發(fā)明的方法的一有利實施方式中，借助于至少兩種傳感器和/或物體識別裝置來區(qū)分可見的第一物體和不可見的第二物體。例如可以借助于用于采集例如在夜間對于乘客而言可能是不可見的物體的近紅外圖像傳感器或遠紅外圖像傳感器來采集運輸工具的周圍環(huán)境。對于乘客而言可能是可見的物體可以借助于可見光譜中的圖像傳感器或相應的攝像機來采集。其中，對于通過這樣的圖像傳感器采集的物體可以根據(jù)上面所述的原理進行可見性值的檢查。通過自動地對比所采集的借助于至少兩種傳感器識別的物體， 可以確定位于運輸工具周圍環(huán)境中的什么物體在現(xiàn)有光照度和視線情況下對于駕駛者是可見的或不可見的。有利地，激光掃描器、激光距離傳感器或TOF傳感器可以被用作為一種傳感器。其中特別有利的是，該傳感器不依賴于環(huán)境光的輻射或反射。第二種傳感器例如也可以一起設置在一傳感器外殼中或半導體晶體上，例如作為例如對于可見光譜和遠紅外光譜具有不同光譜靈敏度的像素。在根據(jù)本發(fā)明的另一實施方式中，使用者對應于乘客，采集運輸工具的乘客的視線方向，其中在定義所述標準時由于所采集的視線方向(尤其是視線方向的歷史)有高概率會被乘客忽略的那些物體被歸類為第二物體。其中乘客的視線方向通過現(xiàn)有技術中已知的任何視線跟蹤方法來采集，視線跟蹤方法跟蹤人眼睛移動的過程。由此可以推斷對于乘客而言可見性更好或較差的物體。除了分析基本視線方向之外，本方法還包含考慮本領域技術人員公知的所謂跳視眼睛運動。因此例如可以確定如果乘客在觀察具有明顯不同的照明和/或距離的另一空間部分之后立即在該物體上觀察并且還沒有經(jīng)過人視力系統(tǒng)適應或調(diào)節(jié)所需要的時間的情況下物體是第二物體。在根據(jù)本發(fā)明的方法的另一實施方式中，運輸工具的使用者能注意到的顯示裝置的顯示器的位置位于運輸工具內(nèi)部空間之外。其中可以例如借助于平視顯示器或這樣的顯示器的擴展方案來構造顯示?？蛇x地，例如借助于投影、尤其是全息投影在運輸工具內(nèi)部工件內(nèi)或外或者借助于3D顯示器來進行顯示。在根據(jù)本發(fā)明的另一變體方案中，顯示在顯示器上的第一和第二物體至少部分地象征性地被再現(xiàn)。尤其地，至少部分的象征性的顯示可以通過以下方式實現(xiàn)對以記錄裝置采集的圖像的不同部分進行不同的圖像處理步驟。因此，對尤其是圖像的包含可見物體和/ 或不可見物體或者其一部分(例如邊緣或邊界區(qū)域)的部分進行不同的圖像處理操作。象征性的顯示也可以通過漸顯的或對圖像疊化的圖形和/或相應的標記來生成。在根據(jù)本發(fā)明的另一實施方式中，以至少一個物體識別裝置識別的與運輸工具相距一預定距離之內(nèi)的道路標線和/或道路標記被歸類為第一物體。其中有利地，認為與運輸工具相距取決于占優(yōu)勢的條件(白天，夜晚，黃昏，下雨，霧)而定的一定距離的道路標線或道路標記是可見的，并且在根據(jù)本發(fā)明的顯示中被再現(xiàn)。以該方式，特別容易地將道路標線或道路標記歸類為可見的或不可見的物體。在根據(jù)本發(fā)明的另一實施方式中，根據(jù)以至少一個采集裝置所采集的光照度和/ 或可見性情形以及/或者其歷史情形，尤其是在考慮人視覺系統(tǒng)的心理光學特性的情況下將由物體識別裝置所識別的物體歸類為第一物體或第二物體。在采集光照度和/或可見性情形時，尤其考慮心理光學的對比度。心理光學的對比度及其影響因素對于本領域技術人員而言是已知的。心理光學的對比度基于人視覺系統(tǒng)的已知的特殊特性，即基于該視覺系統(tǒng)能夠借助于不同光參數(shù)的空間和時間梯度辨識不同發(fā)光空間部分之間的區(qū)別、物體的顏色變化、強度變化、紋理以及邊緣等的能力。有利地，心理光學的對比度還包括人視力系統(tǒng)的適應特性。
根據(jù)本發(fā)明，可以借助于對運輸工具的乘客的視覺系統(tǒng)的模擬來確定可見性值和 /或用于確定物體可見性的參數(shù)。其中可以考慮運輸工具的乘客所經(jīng)受的和/或在最近剛經(jīng)受的光照度的歷史和/或環(huán)境。在一有利變體方案中，心理光學的對比度基于對運輸工具的例如統(tǒng)計學上的駕駛者的視覺系統(tǒng)的模擬而被確定。其中可以考慮一系列作用于駕駛者的影響參數(shù)或事件，例如交通參與者吸引注意力的影響、夜間內(nèi)部照明燈的影響、擋風玻璃在其眼睛前的反射作用等。有利地，從所有這多個第一物體中選出第一物體子集，該子集中的第一物體或其位置在顯示裝置中被顯示。有利地，選擇這樣的第一物體子集，即其中的第一物體向使用者提供關于該至少一個第二物體的位置的信息。在根據(jù)本發(fā)明的一實施方式中，對要顯示的第一物體的選擇取決于在環(huán)境的同一區(qū)域中是否有至少一個第二物體被選擇用于顯示。尤其地，只有至少從兩個或三個空間側包圍在顯示器上顯示的不可見的第二物體的那些可見的第一物體被顯示在顯示器上。由此構成包圍成像在顯示中的第二物體的第一物體的范圍。因此，運輸工具的使用者獲得附加的支持來辨識不可見的第二物體的位置，更確切地說是在沒有不必要地持續(xù)顯示多個對于駕駛者而言本來可見的物體的情況下。其中，例如在運輸工具周圍環(huán)境中以及在根據(jù)本發(fā)明的顯示中呈現(xiàn)不可見物體導致一些本來可見的以前不成像在顯示中的物體現(xiàn)在與不可見物體一起被顯示。在本發(fā)明的另一實施方式中，在所確定的位置處顯示在顯示器上的物體的本身可見的部分不被顯示和/或在顯示器上的顯示中被抑制，如果該物體的可見性值未超過第二閾值的話。以該方式，相應的第二物體的至少那些本身對于運輸工具的乘客可見的部分不被再現(xiàn)。在根據(jù)本發(fā)明的方法的另一實施方式中，在顯示器上生成包括以至少一個物體識別裝置識別的道路標線和/或道路標記的虛擬道路路面。由此生成一顯示，在該顯示中駕駛者能非常快速地了解所識別的物體相對于道路的方位，因為該物體相對于虛擬道路路面在正確的位置處被再現(xiàn)。此外，通過再現(xiàn)包括所識別的道路標記和/或道路標線的虛擬道路路面，向駕駛者提供了對于所顯示的被識別物體的非常好的基準點。尤其地，物體相對于道路標記或道路標線的位置可以顯示在顯示裝置的顯示器的相對小的區(qū)域上，例如平視顯示器上，其中駕駛者但是可以準確地評估例如障礙物位于道路的什么位置處。因此，成本高地將平視顯示器擴展到擋風玻璃的大部分上或者使用所謂的接觸模擬的平視顯示器不是必需的。尤其地，駕駛者非常良好地識別相應的可見的或不可見的物體位于哪個車道上以及該車道內(nèi)什么位置上。在根據(jù)本發(fā)明的另一實施方式中，根據(jù)運輸工具的里程數(shù)據(jù)和/或自動分析的交通情況來選擇在顯示器上顯示的第一和第二物體。例如，顯示在顯示器上的可見的路段的長度或該路段的寬度(例如所顯示的車道數(shù)量)可以取決于運輸工具的里程數(shù)據(jù)和/或自動識別的交通情況。因此，根據(jù)自動分析的交通情況(例如停車和調(diào)軌，第30區(qū)，快車道)在顯示器上顯示各自重要的區(qū)域。要顯示的區(qū)域尤其可以取決于運輸工具接下來估計位于的位置或活動半徑。在這種情況下考慮運輸工具的特定的區(qū)域、例如緊鄰運輸工具的區(qū)域在多個交通情況下是不重要的。相反，距離越遠的區(qū)域越重要。對于調(diào)軌速度，長度為幾米的緊鄰在運輸工具后面的路段很重要，而對于高速公路速度，顯示在20米才開始并且包括后面的30米。顯示在顯示器上的路段也可以根據(jù)導航系統(tǒng)的數(shù)據(jù)、例如根據(jù)進一步的路線和/或所設定的目的地來選擇。在根據(jù)本發(fā)明的方法的另一實施方式中，借助于關于第一和第二物體相對于運輸工具的實際位置的深度信息來確定用于顯示的第一和第二物體各自的位置，其中深度信息借助于至少一個物體識別裝置確定。以該方式得到能資源節(jié)約地確定的簡單的三角關系。 其中與相應物體的距離可以借助于已知的方法確定。特別有利的是轉換借助于開頭提到的 MIDIAS攝像機系統(tǒng)的方法，其中TOF傳感器的針對相關立體角的深度信息被用于確定物體距離。在本發(fā)明的另一實施方式中，顯示器為了產(chǎn)生立體感包括多個具有對于運輸工具的使用者、尤其是駕駛者的預定視線方向使用者察覺的不同位置的多個顯示層面。其中優(yōu)選地，在不同顯示層面上、尤其是在被察覺為相對于使用者的距離不同和/或為傾斜不同的那些顯示層面上呈現(xiàn)顯示的一部分，尤其是不同物體。因此，為了向使用者例如直觀清楚地顯示或展示虛擬路面相對于視野的不同傾斜，所顯示的一個物體與所顯示的另一物體相比距離運輸工具更遠，支持完全3D的顯示裝置的存在不是必需的。因此，本發(fā)明例如可以借助于平視顯示器或例如只支持3到12個不同顯示深度的另一顯示裝置來實現(xiàn)。在根據(jù)本發(fā)明的另一變體方案中，基于一標準選擇所顯示的第一和/或第二物體，在該標準中，與運輸工具碰撞危險提高的物體優(yōu)選作為要顯示的物體。因此，要在顯示中呈現(xiàn)的物體、尤其是不可見的物體可以根據(jù)其交通重要性、尤其是與運輸工具的碰撞概率被選擇。其中碰撞概率可以借助于已知的用于確定可能碰撞的方法來確定。在根據(jù)本發(fā)明的另一實施方式中，顯示在顯示器上的第一和第二物體借助于其他圖形元素被連接。這個人工生成的圖形元素尤其用于顯示可見的和不可見的物體之間的空間關系。該圖形元素尤其可以構造為輔助線、網(wǎng)柵、點、箭頭、標記的面或距離顯示。有利地，除了物體、尤其是第二物體的例如構造為標記或突出強調(diào)的物體的顯示之外，例如在顯示裝置的另一區(qū)域中或者在另一顯示裝置上顯示該物體的放大顯示。因此， 物體的相對大的視圖和物體的位置同時顯示在整個相對小的顯示區(qū)域上或小的視角內(nèi)。在該方法的一有利實施方式中，放大的物體視圖以與本發(fā)明一實施方式中所顯示的虛擬車道層面不同的角度、例如以未轉換的角度和/或以變化的外觀(例如以加重的邊緣和輪廓) 顯不。有利地，該方法可以被設計為使得顯示表明放大的圖示相對于顯示器上物體位置的關系的附加圖形元素。使用者由此獲知物體的放大圖示與物體圖示或物體位置圖示的從屬關系。該圖形元素可以將例如構造為象征性圖示的物體圖示與放大圖示聯(lián)系起來或者通過基本上從一圖示到另一圖示對準的線的方向表明這兩個圖示之間的關系。在本發(fā)明的一實施方式中，顯示裝置是運輸工具之外的外部設備(例如移動電話)的一部分，其中信息從運輸工具發(fā)送到該外部設備，尤其是無線地發(fā)送。其中有利地， 使用者可以通過該外部設備從至少兩個位置中選擇要以其角度顯示運輸工具周圍環(huán)境的乘客位置。除了上述方法之外，本發(fā)明還涉及一種用于在顯示裝置的顯示器上從運輸工具的乘客、尤其是駕駛者的角度為使用者顯示運輸工具周圍環(huán)境中可見性不同的物體的顯示裝置，其中運輸工具的周圍環(huán)境至少部分地由一個或多個物體識別裝置自動識別。其中該顯示裝置包括能基于一個或多個標準對于以該一個或多個物體識別裝置識別的物體確定相應物體是歸類為對于乘客是可見的第一物體還是歸類為對于乘客是不可見的第二物體的裝置。顯示裝置還包括能對于所識別的包括至少一個第一物體和至少一個第二物體的多個物體確定用于顯示的物體各自的位置的裝置，其中這多個物體的幾何關系基本上對應于對于運輸工具的乘客的角度而言實際的幾何關系。其中該顯示裝置構造為使得這多個物體在所確定的位置處顯示在顯示器上。優(yōu)選地，利用該顯示裝置能執(zhí)行上面描述的根據(jù)本發(fā)明的方法的每種變體方案。該顯示裝置可以在運輸工具的一個或多個控制裝置或控制單元中使用或集成。除了上述顯示裝置之外，本申請還涉及一種包括這樣的顯示裝置的運輸工具。


以下借助于附圖詳細介紹本發(fā)明的實施例。附圖中圖1示出了現(xiàn)有技術中已知的根據(jù)MIDIAS的攝像機系統(tǒng)的示意圖；圖2示出了其中使用進行物體識別的攝像機的運輸工具的示意圖；圖3示出了根據(jù)本發(fā)明的方法的一實施例的示意圖；圖4示出了借助于根據(jù)本發(fā)明的方法生成的運輸工具周圍環(huán)境的圖示的一個例子；以及圖5示出了借助于根據(jù)本發(fā)明的方法生成的運輸工具周圍環(huán)境的另一圖示的一個例子。
具體實施例方式上面已經(jīng)在解釋本發(fā)明要解決的技術問題時對圖1和2進行了詳細描述，因此不對這兩幅圖進行重復描述。圖3以示意圖示出了本發(fā)明的一種實現(xiàn)的一個例子。其中以激光傳感裝置和攝像機采集運輸工具周圍環(huán)境。由激光傳感裝置和攝像機的數(shù)據(jù)確定在所采集的周圍環(huán)境中物體的位置及其運動?；谠撐恢靡约霸诎〝z像機的數(shù)據(jù)的情況下，然后根據(jù)一個或多個標準確定哪些物體對于乘客而言是可見的或不可見的，其中可見的物體被歸類為第一物體，不可見的物體被歸類為第二物體。在這個確定中還可以考慮運輸工具的運動數(shù)據(jù)。例如，運輸工具運動的速度可能影響物體的可見性。然后，選擇要在運輸工具中顯示裝置的顯示器上顯示的物體，其中要顯示的物體包括至少一個第一物體和至少一個第二物體。在選擇要顯示的物體時尤其可以考慮關于交通情況的信息。例如可以優(yōu)先再現(xiàn)碰撞風險提高的那些第二物體。然后確定位置移動，根據(jù)該位置移動確定要顯示的物體對于運輸工具的乘客的角度而言位于什么位置。這個位置移動還將借助于圖4進行描述。最后，基于所確定的位置移動和所選擇的要顯示的物體在顯示裝置的顯示器上生成圖示，其中在可能的情況下，對于被顯示的物體使用代表性的符號或紋路。其中，圖示包含至少一個第一物體與至少一個第二物體的連接圖形。此外，未被選擇的物體在圖示中被抑制。其中圖示在平視顯示器(縮寫為HUB)中為駕駛者再現(xiàn)，但是在可能的情況下也可以在其他顯示裝置，例如顯示器、3D顯示器上作為光投影或全息成像而被顯示。
13
在一實施方式中，由攝像機識別的在顯示器上也再現(xiàn)的道路標線和道路標記被歸類為可見物體。其中在顯示器上生成虛擬的道路路面，這個虛擬的道路路面例如基于通過車道識別而確定的車道位置來確定并且包括道路標線和道路標記。因此生成在虛擬道路路面中包括所識別的道路標線或道路標記作為可見物體并且還包括對于駕駛者而言不可見的至少一個物體的圖示。其中，道路標線或道路標記以及該至少一個不可見的物體位于這些道路標線或道路標記以及該至少一個不可見的物體之間的幾何關系對于運輸工具的駕駛者的角度而言對應于實際幾何關系的位置上。以該方式彌補在再現(xiàn)時由于進行物體識別的攝像機系統(tǒng)的錯位設置而導致的圖示偏差，并且駕駛者快速地識別顯示在顯示器上的物體與其在實際周圍環(huán)境中的位置之間的聯(lián)系。圖4示例性地示出了能借助于根據(jù)本發(fā)明的方法生成的圖示。可以看出，該圖示包括具有作為可見物體的兩個行車道2和3和行車道旁邊的區(qū)域4和5的虛擬道路路面。 其中在圖示中，行車道旁的區(qū)域以相應的紋理實現(xiàn)。通過進行物體識別的系統(tǒng)采集到人形式的物體0，該物體位于道路上并且對于駕駛者而言被歸類為不可見的(例如由于這個人的反射差的衣服)。其中，從進行物體識別的系統(tǒng)的安裝位置看的物體的位置在圖4中通過物體0’來表示，該物體0’不是所生成的圖示的組成部分。根據(jù)本發(fā)明，基于物體0’的位置現(xiàn)在確定必須看見該物體的位置，因此保持相對于實際場景的再現(xiàn)比例，如從駕駛者位置看的那樣。這個修正后的物體位置對應于作為所生成的圖示一部分的物體0的位置。其中新的物體位置借助于在圖4中以不是圖示組成部分的相應箭頭T表示的變換來計算。圖4中所示出的圖示尤其可以在運輸工具的平視顯示器中進行，并且所識別出的道路標線或道路標記可以例如通過相應的方向控制輔助系統(tǒng)來確定。所示出的物體可以例如基于不同傳感器的數(shù)據(jù)或者由夜視系統(tǒng)來識別。在該圖示中不是再現(xiàn)實際采集到的物體，而是再現(xiàn)該物體的相應符號，從而駕駛者能非常好地區(qū)分實際周圍環(huán)境與虛擬圖示。如從上面的描述中得到的那樣，以一個或多個物體識別系統(tǒng)不僅能執(zhí)行物體識別，而且還能獲得用于生成圖示的信息。其中例如可以根據(jù)所提供的深度信息確定所識別的障礙物與運輸工具相距多遠。由此還可以確定要在圖示中顯示的該障礙物的符號相對于道路標線和/或道路標記應偏移的偏差。其中對該偏差的確定基于對駕駛者位置、識別車道的設備(例如方向控制輔助系統(tǒng)的單目攝像機)的安裝位置、以及提供深度信息的設備 (例如MIDIAS攝像機系統(tǒng)的3D-T0F傳感器或在可能的情況下相應的雷達/激光雷達傳感器)的安裝位置之間的幾何關系。因此在圖示中在與實際障礙物相對于實際道路標記相同的相對于所再現(xiàn)的道路標記或道路標線的位置處顯示障礙物的符號。因此駕駛者獲得對于在當前邊緣條件下不可見的實際障礙物位于什么位置的能快速容易解釋的信息。圖5示出了運輸工具的顯示裝置的顯示器上對于可見性不同的物體的一種根據(jù)本發(fā)明的圖示的另一示例。其中采集包含三個房屋6、7和8、一個運輸工具9以及一個人0 的周圍環(huán)境。其中，人0被歸類為不可見的，其余物體6至9被歸類為可見的。在顯示器上顯示的物體邊緣在圖中以實線示出，不顯示的物體邊緣被畫為虛線。只有有助于描述不可見物體0的位置的對于駕駛者而言直接可見的物體(房屋6和7的一部分)被顯示，不可見物體0對于運輸工具的乘客而言不是直接可見的。因此所示出的第一物體構成用于正確直觀可理解地察覺第二物體0的位置的范圍。對于乘客而言可見的物體8和9不出現(xiàn)在運輸工具的顯示裝置上，或者通過降低對比度或使用圖像處理過濾器而相對于所顯示的物體6和7的部分被改變。
權利要求
1.一種用于在顯示裝置的顯示器上從運輸工具的乘客、尤其是駕駛者的角度為使用者顯示所述運輸工具的周圍環(huán)境中可見性不同的物體的方法，其中所述運輸工具的周圍環(huán)境至少部分地由一個或多個物體識別裝置自動識別，其中對于由所述一個或多個物體識別裝置所識別的物體，基于一個或多個標準確定各個物體是對于所述乘客而言被歸類為可見的第一物體還是對于所述乘客而言被歸類為不可見的第二物體；對于所識別的包括至少一個第一物體和至少一個第二物體的多個物體，確定物體各自的用于顯示的位置，其中所述多個物體之間的幾何關系對于所述運輸工具的乘客的角度而言基本上對應于實際的幾何關系；將所述多個物體在所確定的位置處顯示在所述顯示器上。
2.如權利要求1所述的方法，其特征在于，基于所述一個或多個標準，如果對于一物體，用于所述運輸工具的乘客的可見性值的第一閾值被超過，則這一物體被歸類為第一物體；而如果對于一物體，用于所述運輸工具的乘客的可見性值的第二閾值未被超過，則這一物體被歸類為第二物體，所述第二閾值對應于所述第一閾值或者低于所述第一閾值。
3.如權利要求1或2所述的方法，其特征在于，借助于至少兩種傳感器和/或物體識別裝置來區(qū)分第一物體和第二物體。
4.如前述權利要求之一所述的方法，其特征在于，所述使用者是所述運輸工具的乘客， 并且采集所述運輸工具的乘客的視線方向，并且基于所述一個或多個標準將第二物體定義為由于所采集的視線方向、尤其是視線方向的歷史數(shù)據(jù)、和/或由于跳視眼睛運動有高概率會被所述乘客忽略的那些物體。
5.如前述權利要求之一所述的方法，其特征在于，所述顯示裝置的顯示器的能被所述運輸工具的使用者感知的位置位于運輸工具內(nèi)部空間之外。
6.如前述權利要求之一所述的方法，其特征在于，顯示在所述顯示器上的第一物體和第二物體至少部分地象征性地被再現(xiàn)。
7.如前述權利要求之一所述的方法，其特征在于，與所述運輸工具相距一預定距離之內(nèi)的由至少一個物體識別裝置識別出的道路標線和/或道路標記被歸類為第一物體。
8.如前述權利要求之一所述的方法，其特征在于，根據(jù)由至少一個采集裝置所采集的光照度和/或可見性情形以及/或者其歷史記錄、尤其是在考慮人視覺系統(tǒng)的心理光學特性的情況下將由所述一個或多個物體識別裝置所識別出的物體歸類為第一物體或第二物體。
9.如前述權利要求之一所述的方法，其特征在于，借助于對所述運輸工具的乘客的視覺系統(tǒng)的模擬來區(qū)分第一物體和第二物體。
10.如前述權利要求之一所述的方法，其特征在于，只有至少從兩個或三個空間側包圍顯示在所述顯示器上的第二物體的那些第一物體才被顯示在所述顯示器上。
11.如前述權利要求之一所述且引用權利要求2的方法，其特征在于，如果在所述顯示器上在所確定的位置處被顯示的物體的可見性值不超過所述第二閾值，則所述物體的本身可見的部分不被顯示和/或在顯示器上的圖示中被抑制。
12.如前述權利要求之一所述的方法，其特征在于，在所述顯示器上生成包括由至少一個物體識別裝置識別出的道路標線和/或道路標記的虛擬道路路面。
13.如前述權利要求之一所述的方法，其特征在于，根據(jù)所述運輸工具的里程數(shù)據(jù)和/ 或自動分析的交通情況來選擇在所述顯示器上顯示的第一物體和第二物體。
14.如前述權利要求之一所述的方法，其特征在于，借助于關于所述第一物體和所述第二物體相對于所述運輸工具的實際位置的深度信息確定所述第一物體和所述第二物體各自用于顯示的位置，其中所述深度信息借助于至少一個物體識別裝置確定。
15.如前述權利要求之一所述的方法，其特征在于，所述顯示器為了生成立體感包括多個具有對于所述運輸工具的使用者、尤其是駕駛者的預定視線方向被使用者察覺的不同位置的顯示層面。
16.如權利要求15所述的方法，其特征在于，所述圖示的部分、尤其是不同的物體在不同顯示層面上被顯示，尤其是在被辨識為相對于所述使用者的距離不同和/或傾斜不同的那些顯示層面上被顯示。
17.如前述權利要求之一所述的方法，其特征在于，基于以下標準選擇被顯示的第一物體和/或第二物體，在該標準中，與所述運輸工具碰撞的危險提高的物體被優(yōu)先作為要顯示的物體。
18.如前述權利要求之一所述的方法，其特征在于，除了物體、尤其是第二物體的圖示之外，在所述顯示器上還顯示同一物體的放大圖示，所述放大圖示尤其是通過角度和/或所使用的圖像參數(shù)與所述顯示器上的所述圖示區(qū)分開。
19.如權利要求18所述的方法，其特征在于，顯示表明所述放大圖示與所述圖示上物體的位置的關系的附加圖形元素。
20.如前述權利要求之一所述的方法，其特征在于，所述運輸工具的周圍環(huán)境的在所述顯示器上顯示的部分取決于至少一個第二物體、尤其是至少一個對于交通而言重要的第二物體的存在。
21.如前述權利要求之一所述的方法，其特征在于，借助于其他圖形元素連接在所述顯示器上顯示的第一物體和第二物體。
22.如前述權利要求之一所述的方法，其特征在于，所述顯示裝置是所述運輸工具之外的外部設備的一部分，其中信息從所述運輸工具傳輸?shù)剿鐾獠吭O備，尤其是無線地傳輸。
23.如權利要求22所述的方法，其特征在于，所述使用者能通過所述外部設備從至少兩個位置中選擇乘客的位置，其中所述運輸工具的周圍環(huán)境由該乘客的角度被顯示。
24.一種用于在顯示裝置的顯示器上從運輸工具的乘客、尤其是駕駛者的角度為使用者顯示所述運輸工具的周圍環(huán)境中可見性不同的物體的顯示裝置，其中所述運輸工具的周圍環(huán)境至少部分地由一個或多個物體識別裝置自動識別，所述顯示裝置包括能對于由所述一個或多個物體識別裝置所識別的物體，基于一個或多個標準確定各個物體是對于所述乘客而言被歸類為可見的第一物體還是對于所述乘客而言被歸類為不可見的第二物體的裝置；能對于所識別的包括至少一個第一物體和至少一個第二物體的多個物體，確定物體各自的用于顯示的位置的裝置，其中所述多個物體之間的幾何關系對于所述運輸工具的乘客的角度而言基本上對應于實際的幾何關系；所述顯示裝置被構造為使得所述多個物體在所確定的位置處顯示在所述顯示器上。
25.如權利要求M所述的顯示裝置，其特征在于，所述顯示裝置被構造為使得利用所述顯示裝置能執(zhí)行根據(jù)權利要求1至23之一所述的方法。
26.一種運輸工具，包括如權利要求M或25所述的顯示裝置。
全文摘要
本發(fā)明涉及一種在顯示裝置的顯示器上從運輸工具的乘客、尤其是駕駛者的角度為使用者顯示運輸工具周圍環(huán)境中可見性不同的物體的方法，運輸工具的周圍環(huán)境至少部分地由一個或多個物體識別裝置自動識別。根據(jù)本發(fā)明，對于由一個或多個物體識別裝置所識別的物體，基于一個或多個標準確定各個物體是對于乘客而言被歸類為可見的第一物體還是對于乘客而言被歸類為不可見的第二物體。然后對于所識別的包括至少一個第一物體和至少一個第二物體的多個物體，確定物體各自的用于顯示的位置，其中多個物體之間的幾何關系對于所輸工具的乘客的角度而言基本上對應于實際的幾何關系。最后，多個物體在所確定的位置處顯示在顯示器上。
文檔編號G06K9/00GK102317952SQ201080007651
公開日2012年1月11日 申請日期2010年4月16日 優(yōu)先權日2009年5月7日
發(fā)明者A·奧格斯特 申請人:寶馬股份公司