用于操作機動車輛的駕駛員輔助裝置的方法、駕駛員輔助裝置和機動車輛的制作方法

用于操作機動車輛的駕駛員輔助裝置的方法、駕駛員輔助裝置和機動車輛的制作方法
【專利摘要】本發明涉及用于操作機動車輛(1)中的駕駛員輔助裝置(2)的方法，其中，機動車輛(1)的環境區域(12)的圖像(15)通過駕駛員輔助裝置(2)的攝像頭捕獲，且另外，環境區域(12)的傳感器數據通過與攝像頭(11)不同的傳感器(3至6)被捕獲，其中，定位在環境區域(12)中的物體(16)在圖像(15)中通過駕駛員輔助裝置(2)的電子計算裝置被識別，傳感器(3至6)的傳感器數據用于識別圖像(15)中的物體(16)。
【專利說明】用于操作機動車輛的駕駛員輔助裝置的方法、駕駛員輔助裝置和機動車輛

【技術領域】
[0001]本發明涉及用于操作機動車輛中的駕駛員輔助裝置的方法。機動車輛的環境區域的圖像通過駕駛員輔助裝置的攝像頭捕獲。另外，對環境區域的傳感器數據通過與攝像頭不同的傳感器被捕獲。另外，本發明涉及用于執行這樣的方法的駕駛員輔助裝置以及具有這樣的駕駛員輔助裝置的機動車輛。

【背景技術】
[0002]駕駛員輔助裝置已經在現有技術中已知不同構造。由此，攝像頭系統一方面是已知的，其具有附連至機動車輛的多個視頻攝像頭，其圖像可顯示在機動車輛中的顯示器上。攝像頭的圖像可還經歷圖像處理，且基于圖像，附加的功能可被提供。例如，基于圖像，目標識別被實現，從而攝像頭系統可用作碰撞警告系統。另一方面，系統也是已知的，其被形成用于測量機動車輛和位于其環境中的障礙物之間的距離。在此，例如是指超聲波傳感器，其可布置為分布在機動車輛的前和后保險杠上。每個超聲波傳感器則具有其自己的捕獲范圍，其表示整個超聲波傳感器系統的共用捕獲范圍的局部區段。由此，每個超聲波傳感器測量在其自己的捕獲范圍內的距離。
[0003]將攝像頭系統與機動車輛中的傳感器系統組合也已經是現有技術。這樣的傳感器融合例如從文獻GB 2463544 A已知。在此，使用多個超聲波傳感器，其例如附連到保險杠。由超聲波傳感器檢測的機動車輛的環境區域附加地通過攝像頭成像。計算裝置處理超聲波傳感器的傳感器數據，以及同時處理攝像頭的圖像。一方面，圖像被顯示在機動車輛中的顯示器上；另一方面，其通過計算裝置被檢查，如果被檢測物體接近機動車輛的話。如果情況是這樣的話，警告信息則被輸出。
[0004]在現有技術中，傳感器融合被實現，從而不同傳感器系統的所有信息一S卩，一方面攝像頭、另一方面超聲傳感器一在共用的計算裝置中被同時收集和處理。


【發明內容】

[0005]本發明的目的是證明一種方案，在首先提到的那種類型的方案中，一方面攝像頭的圖像和另一方面傳感器的傳感器數據可比現有技術更好地組合到一起。
[0006]根據本發明，該目的通過具有根據各獨立權利要求的特征的方法、駕駛員輔助裝置以及機動車輛解決。本發明的有利實施例是從屬權利要求、說明書和附圖的主題。
[0007]根據本發明的方法用于操作機動車輛中的駕駛員輔助裝置，通過借助駕駛員輔助裝置的攝像頭捕獲機動車輛的環境區域的圖像，以及通過借助與攝像頭不同的傳感器捕獲對環境區域的傳感器數據，該傳感器即例如超聲波傳感器。根據本發明，定位在環境區域中的物體在圖像中通過駕駛員輔助裝置的電子計算裝置而被識別，且傳感器的傳感器數據用于識別圖像中的物體。
[0008]由此，根據本發明的效果被實現，因為計算裝置不基于或不僅基于圖像數據在圖像中識別車輛之外的物體，而是基于或還基于所述至少一個傳感器的傳感器數據。由此，本發明基于以下事實:借助自現有技術已知的用于基于圖像檢測物體的檢測算法，不總是可以識別在被捕獲圖像中的物體。即，僅基于圖像數據的目標識別不可行或僅以受限方式特別在距機動車輛直到約0.5m的近范圍內可行。其可發生，定位在該近范圍內的物體在被捕獲的圖像中示出，但不可能僅基于圖像被識別。現在，本發明采取一方式，以使用傳感器的傳感器數據用于識別在被捕獲圖像中的物體。例如，這可被構造為使得，如果物體不能基于圖像數據被識別，相同物體僅基于傳感器數據被識別。作為對比，物體基于傳感器數據和基于圖像兩者被識別，由此，圖像中的物體的識別可取決于傳感器數據和取決于圖像數據被實現。因此總之，傳感器融合與現有技術相比被改善，攝像頭圖像中的目標識別的準確性和可靠性被增加。
[0009]圖像中的物體的識別可例如被執行，從而圖像中示出的物體的至少一個區域被邊框圍繞。在基于圖像中的圖像數據通過邊框標識被識別的物體的這種方式已經例如從出版物JP 2011/119917 A中已知。但是，在該實施例中，還提出產生這樣的邊框，不基于或不僅基于攝像頭的圖像數據，而是附加地或替換地基于傳感器的傳感器數據。該實施例利用以下事實:根據回聲傳播時間方法操作的傳感器具有一定的檢測范圍，且僅在該檢測范圍內測量距離。特別地對于超聲波傳感器，該檢測范圍相對窄，從而在具有良好準確性的多個傳感器存在的情況下，物體相對于機動車輛的位置且因此物體在被捕獲圖像中的位置也可被確定。基于傳感器數據產生的邊框可例如在攝像頭圖像中具有一寬度，其對應于傳感器的檢測范圍的寬度。這種具有邊框的攝像頭圖像則可以非常不同的方式使用:一方面，該圖像可在機動車輛中的顯示器上被顯示，從而駕駛員被通知被檢測物體。另一方面，具有邊框的該圖像可還被傳遞至機動車輛中的其他駕駛員輔助系統，這些其他系統可使用圖像用于在機動車輛中提供不同功能。這樣的系統可例如是碰撞警告系統，其能夠產生警告信號，用于基于圖像警告駕駛員。
[0010]在一實施例中，設置為物體基于傳感器的傳感器數據和基于攝像頭圖像通過計算裝置在圖像中被識別。如果目標識別基于傳感器數據和基于攝像頭的圖像數據二者可行，由此如果物體位于傳感器的檢測范圍以及圖像分析范圍之間的重疊區域中，在該圖像分析范圍中目標識別還基于圖像數據可行，則特別地提供該實施例。該實施例具有的優點是，車輛之外的物體可特別可靠且極為精確地在攝像頭的圖像中被識別。即，該實施例將一方面基于圖像數據目標識別的優勢與另一方面基于傳感器數據目標識別的優勢組合，從而兩個目標識別的各自缺點可被避免。
[0011]例如，這可被實現，從而在圖像中，第一邊框基于傳感器的傳感器數據被產生，而第二邊框基于攝像頭的圖像(由此借助圖像處理)被產生。然后，兩個邊框可被合并至共用的邊框。由此，邊框在攝像頭圖像中的產生特別準確。
[0012]特別優選地，物體的識別涉及，圖像中的物體的寬度基于攝像頭的圖像被確定，且圖像中的物體的下端部的位置基于傳感器的傳感器數據被確定。該實施例基于以下事實:基于圖像數據的目標識別和基于傳感器數據的識別具有“弱點”。由此，在基于圖像數據的目標識別中，由于被使用的檢測算法(光流、自我運動補償方法)，圖像中的下端部的準確確定是不可行的，或僅以受限方式可行。通過這些檢測算法，例如，行人的腳可僅被不準確地檢測。另一方面，在圖像中的物體的寬度的確定僅以有限準確度基于傳感器的傳感器數據可行。出于此原因，當前提出，使用攝像頭的圖像數據用于確定圖像中的物體的寬度，且使用傳感器的傳感器數據用于確定圖像中的物體的下端部的位置。識別方法的各自的缺點一一方面基于圖像數據和另一方面基于傳感器數據一可因此被避免，目標識別可特別準確地實現。
[0013]后一實施例可例如被實現，從而兩個邊框的合并以非常特定的方式實現:對于共用的邊框，第二邊框(基于攝像頭數據)的寬度以及圖像中的第一邊框(基于傳感器數據)的下邊緣的位置可被使用。共用的邊框由此具有基于圖像數據產生的邊框的寬度，且共用的邊框的下邊緣的位置對應于基于傳感器數據產生的邊框的位置。共用的邊框由此特別準確地反映物體在圖像中的實際位置。
[0014]如已經解釋的，可以發生的是，物體在傳感器的檢測范圍內，但在圖像分析范圍之夕卜，其中，基于圖像數據的物體的識別根本不可行。在這樣的情況下，相同物體優選地在圖像中僅基于傳感器的傳感器數據被識別。基于傳感器數據的目標識別的缺點在該實施例中被接受。但是，該實施例允許甚至在沒有基于圖像數據的目標識別時，車輛之外的目標也能在攝像頭圖像中被識別。
[0015]作為對比，如果物體在傳感器的檢測范圍之外，相同物體在圖像中僅基于攝像頭的圖像被識別。由此，如果物體不能基于傳感器數據被識別，僅攝像頭的圖像數據被用于目標識別。如果物體距機動車輛相對較遠，即在例如大于2.2m的距離處時，這特別是這種情況。即，在這樣的距離中，物體可不再借助傳感器被檢測，且目標識別可僅基于圖像數據被執行。
[0016]超聲波傳感器是優選的，其用于捕獲機動車輛的環境區域的傳感器數據。總之，可使用多個超聲波傳感器，它們可布置為分布在機動車輛的前保險杠和/或后保險杠上。每個超聲波傳感器則具有其自己的檢測范圍，單獨的檢測范圍可靠近彼此——可選地還是重疊的。但是，本發明不限于超聲波傳感器。與攝像頭不同的其他傳感器也可被使用。具體地，所述至少一個傳感器是這樣一個，其根據回聲傳播時間方法操作，由此是距離傳感器，其中距離通過測量傳輸信號的傳播時間而被測量。
[0017]本發明還涉及一種用于機動車輛的駕駛員輔助裝置，其被形成用于執行根據本發明的方法。
[0018]根據本發明的機動車輛包括根據本發明的駕駛員輔助裝置。
[0019]關于根據本發明的方法呈現的優選實施例和其優勢相應地應用于根據本發明的駕駛員輔助裝置以及根據本發明的機動車輛。
[0020]本發明的進一步特征由權利要求、附圖和附圖的說明體現。以上在說明書中提到的全部特征和特征組合以及以下在【專利附圖】

【附圖說明】和/或單獨在附圖中所示的特征和特征組合不僅用于分別示出的組合，還用在其他組合或單獨使用。

【專利附圖】

【附圖說明】
[0021]現在，將基于優選實施例以及還參考附圖詳細地解釋本發明。
[0022]這其中顯示:
[0023]圖1示意性地顯示了根據本發明的實施例的機動車輛的平面圖；
[0024]圖2示意性地顯示了攝像頭的圖像，其中，傳感器的檢測范圍在圖像中示出；
[0025]圖3示意性地顯示了根據圖2的圖像，其中，基于傳感器數據的邊框的產生以詳細方式解釋；
[0026]圖4顯示了具有邊框的圖像，其僅基于傳感器數據產生；
[0027]圖5顯示了具有邊框的圖像，其僅基于圖像(由此基于圖像數據)產生；
[0028]圖6顯示了具有兩個邊框的圖像；
[0029]圖7以放大圖示顯示了兩個邊框；
[0030]圖8顯示了具有共用邊框的圖像的部分，其從兩個被提及的邊框產生；和
[0031]圖9示意性地顯示了機動車輛，其中，根據本發明實施例的方法以更詳細方式解釋。

【具體實施方式】
[0032]根據本發明實施例的圖1所示的機動車輛是小客車。機動車輛I包括駕駛員輔助裝置2，其用于輔助駕駛員駕駛機動車輛I。駕駛員輔助裝置2具有多個超聲波傳感器3、4、
5、6，它們在實施例中布置為分布在機動車輛I的后保險杠上。在該實施例中，總共提供四個超聲波傳感器3至6。超聲波傳感器3至6的數量以及設置在根據圖1的例子中僅是示例性地示出；超聲波傳感器3至6的數量和設置可根據實施例而不同。由此，超聲波傳感器3至6可還布置在機動車輛I的前保險杠上。傳感器3至6作為超聲波傳感器的構造在此也是示例性的。其他傳感器也可被使用，其可測量機動車輛I和位于其環境中的障礙物之間的距離。例如，還可使用雷達裝置或其他光學距離傳感器。
[0033]每個超聲波傳感器3至6具有檢測范圍7、8、9、10，其中，相應地超聲波傳感器3至6可測量距離。例如，如果車輛之外的物體在超聲波傳感器3的檢測范圍7內，由此，超聲波傳感器3可檢測該物體距機動車輛I的距離。檢測范圍7至10彼此緊鄰，并就鄰接彼此。檢測范圍7至10由此覆蓋機動車輛I之后的相對大的環境區域，從而單獨的檢測范圍7至10每個具有在機動車輛I之后的環境區域的局部區段。在此，相應的檢測范圍7至10是相對窄的區段，其沿車輛橫向方向彼此靠近，且構造為沿車輛縱向方向是細長的。
[0034]另外，駕駛員輔助裝置2具有攝像頭11，其布置在機動車輛11的后部區域中，類似于超聲波傳感器3至6，且對機動車輛I之后的環境區域12成像。通過攝像頭11成像的環境區域12還包括超聲波傳感器3至6的檢測范圍7至10，從而檢測范圍7至10在成像的環境區域12內。
[0035]攝像頭11是視頻攝像頭，其能夠每秒提供多幀或提供圖像的時間序列。攝像頭11具有相對大的捕獲角或孔徑角，其甚至可在值為120°至190°的范圍內。該角在圖1中通過兩條線13、14界定，S卩，從而在機動車輛I之后被成像的環境區域12也通過界定線13、14界定。攝像頭11可例如是所謂的魚眼攝像頭。
[0036]超聲波傳感器3至6和攝像頭11 二者電連接至電子計算裝置(在圖中未以更詳細細節示出)，其可例如包括數字信號傳感器和存儲器。由此，計算裝置一方面接收超聲波傳感器3至6的傳感器數據，且另一方面接收攝像頭11的圖像，由此接收攝像頭11的圖像數據。
[0037]攝像頭11的示例性圖像15在圖2中示出，其中示出了環境區域12。因為攝像頭11和超聲波傳感器3至6在攝像頭11的坐標系中和在機動車輛I的坐標系中的坐標分別在計算裝置中已知，檢測范圍7至10在圖像15中的位置也是已知的，如圖2示意性地示出。如果物體16 (在此為行人)存在于超聲波傳感器3至6的一個的檢測范圍7至10內(示例性地，在圖2中的超聲波傳感器4的檢測范圍8中)，區域17可限定在圖像15中，其中，被成像的圖像16定位在圖像15中。這是可行的，因為檢測范圍7至10在攝像頭11的圖像15中的位置在計算裝置中是已知的。如果物體16被超聲波傳感器4檢測(如果該超聲波傳感器4提供被測量的距離)，可以無疑地假定，物體16實際上位于超聲波傳感器4的檢測范圍8中。其中定位有物體16的被限定區域17可在圖像15中具有與超聲波傳感器4的檢測范圍8相同的寬度。因為距物體16的距離可特別準確地通過超聲波傳感器3至6測量，物體16的下端部18在圖像15中的位置可基于被測量距離確定。在根據圖3的實施例中，下端部18對應于行人的腳。在另一方面，不可以容易地基于超聲波傳感器3至6的傳感器數據確定物體16在圖像15中的寬度。因此，區域17通過這樣的寬度限定，該寬度對應于檢測范圍8的寬度。
[0038]僅基于超聲波傳感器3至6的傳感器數據，由此，第一邊框19可在圖像15中產生，其在圖4中示出，且對應于根據圖3的區域17。超聲波傳感器3至6的被設想檢測范圍7至10不再在圖4中示出。由此，可獲得根據圖4的圖像15，其中，物體16被邊框19圍繞。因此，目標識別在此僅基于超聲波傳感器3至6的傳感器數據實現。為了產生第一邊框19，即，不需要圖像15的特殊的圖像處理。
[0039]如果由于物體16的低距離而計算裝置不能僅基于圖像數據的圖像處理識別圖像15中的物體16，則例如可提供一類型的目標識別，其僅基于超聲波傳感器3至6的傳感器數據執行。如果光學目標識別不提供結果，由此，圖像15中的物體16僅基于超聲波傳感器3至6的傳感器數據被檢測，如上所示。根據圖4的這樣的圖像15可繼而例如顯示在機動車輛I中的顯示器上，或還可轉發到另外的輔助系統。
[0040]作為對比，如果基于攝像頭數據的物體16的檢測可行，由此，由現有技術已知的圖像處理算法可還被使用，其用于檢測在圖像15中的物體16。這樣的檢測算法還提供邊框20(第二邊框)，其在圖5中更詳細地示出。根據圖5的圖像15因此是檢測算法的結果，物體16通過其被識別。如圖5可見，與第一邊框19(圖4)相比，物體16的實際寬度通過第二邊框20更好地反映。但是，基于圖像數據的物體識別的缺點在于，物體16的基部——由此下端部18(在此為腳)一不能通過計算裝置獨一地識別。即，出于通常所謂“光流”被用作檢測算法(其具有自我運動補償)的原因。該算法輸出具有邊框20的圖像15，其中，圖像15中的邊框20的下邊緣不總是對應于圖像15中的下端部18的位置。
[0041]如果基于超聲波傳感器3至6的傳感器數據的目標識別不可行，由此，物體16的檢測僅基于圖像15、由此僅基于攝像頭數據實現。該目標識別的結果在圖5中示出。
[0042]其還可發生，圖像15中的物體16可基于超聲波傳感器3至6的傳感器數據和基于攝像頭11的圖像數據而被識別。如圖6所示，由此，產生兩個邊框19、20，即基于傳感器數據的第一邊框19和基于圖像處理的第二邊框20。自兩個邊框19、20，現在，共用的邊框21可被產生(見圖8)。共用的邊框21的產生被實現，從而一方面使用第二邊框20的寬度，另一方面使用第一邊框19的下邊緣的位置。參考圖7，在計算裝置中，第二邊框20被選取，且在其高度中被擴展，從而第二邊框20的下邊緣22與第一邊框19的下邊緣23重合。由此，第二邊框20的高度通過將圖像15中的邊緣22向下移位直到該邊緣22達到下邊緣23而增加。在此，邊框20的上邊緣保持不變。這樣的被改變邊框20則對應于根據圖8的共用邊框21，其基于兩個邊框19、20產生。由此，根據圖8的邊框21展示基于圖像數據和基于傳感器數據的目標識別結果。
[0043]如已經解釋的，不同的情況可發生:
[0044]目標識別排他地基于傳感器數據可行；目標識別排他地基于圖像數據可行；和兩種類型的目標識別可行(共用的邊框21)。
[0045]通常，這將取決于物體16距機動車輛I的距離。參考圖9，總共可限定三個不同區域24、25、26，其每個處于距車輛尾部不同的距離中。在此，第一區域24例如延伸直到距機動車輛I的0.5m距離處。第二區域25例如從距車輛I的0.5m延伸至距車輛I的2.2m處。第三區域26從距車輛I的2.2m處延伸。在第一區域24中，基本上，目標識別僅基于傳感器數據可行。作為對比，在第二區域25中，目標識別基于圖像數據和基于傳感器數據二者可行。最后，在第三區域26中，目標識別排他地基于攝像機數據可行。如果物體16在第一區域24中，由此，第一邊框19可產生在物體16的識別范圍內。但是，如果物體16在區域25中，由此，共用的邊框21可自邊框19、20產生。最后，如果物體16在第三區域26內，由此，僅產生第二邊框20。
[0046]由此，最終，可獲得具有邊框19、20或21的圖像。該圖像15現在可被顯示在顯示器上。附加地或替換地，該圖像15可還被進一步處理，以便能夠提供機動車輛I的其他功能，即例如警告駕駛員的功能。
【權利要求】
1.一種用于操作機動車輛(I)中的駕駛員輔助裝置(2)的方法，通過以下控制: -通過駕駛員輔助裝置⑵的攝像頭(11)捕獲機動車輛⑴的環境區域(12)的圖像(15)，和 -通過超聲波傳感器(3至6)捕獲對環境區域(12)的傳感器數據，該傳感器具有覆蓋環境區域(12)的局部區段的單獨的檢測范圍(7至10)， 其特征在于， 定位在環境區域(12)中的物體(16)在圖像(15)中通過駕駛員輔助裝置(2)的電子計算裝置被識別，且傳感器(3至6)的傳感器數據用于識別圖像(15)中的物體(16)。
2.根據權利要求1所述的方法， 其特征在于， 圖像(15)中的物體(16)的識別包括圖像(15)中示出的物體(16)的至少一個區域被邊框(19、20、21)圍繞。
3.根據權利要求1或2所述的方法， 其特征在于， 物體(16)通過計算裝置基于傳感器(3至6)的傳感器數據和基于攝像頭(11)的圖像(15)被識別。
4.根據權利要求2和3所述的方法， 其特征在于， 在圖像(15)中，第一邊框(19)基于傳感器(3至6)的傳感器數據產生，以及，第二邊框(20)基于攝像頭(11)的圖像(15)產生，且兩個邊框(19、20)組合形成共用的邊框(21)。
5.根據權利要求3或4所述的方法， 其特征在于， 物體(16)的識別包括，物體(16)的寬度基于攝像頭(11)的圖像(15)被確定，且物體(16)的下端部(18)的位置基于傳感器(3至6)的傳感器數據在圖像(15)中被確定。
6.根據權利要求4和5所述的方法， 其特征在于， 兩個邊框(19、20)的組合包括，第二邊框(20)的寬度和第一邊框(19)的下邊緣(23)在圖像(15)中的位置被用于共用的邊框(21)。
7.根據前述權利要求中的任一項所述的方法， 其特征在于， 如果傳感器數據被捕獲的物體(16)位于傳感器(3至6)的檢測范圍(7至10)內且在基于圖像(15)的物體(16)的識別可行的圖像分析范圍(25,26)之外，則相同物體(16)在圖像(15)中僅基于傳感器(3至6)的傳感器數據被識別。
8.根據前述權利要求中的任一項所述的方法， 其特征在于， 如果物體(16)在傳感器(3至6)的檢測范圍(7至10)之外，相同物體(16)僅基于攝像頭(11)的圖像(15)在圖像(15)中被識別。
9.根據前述權利要求中的任一項所述的方法， 其特征在于，超聲波傳感器用作傳感器(3至6)。
10.一種用于機動車輛(I)的駕駛員輔助裝置(2)，包括至少一個攝像頭(11)，用于捕獲機動車輛(I)的環境區域(12)的圖像(15);包括超聲波傳感器(3至6)，具有單獨的檢測范圍(7至10)，其覆蓋用于捕獲環境區域(12)的傳感器數據的環境區域(12)的局部區段；且包括電子計算裝置，用于處理圖像(15)和傳感器數據， 其特征在于， 計算裝置被設置為執行根據前述權利要求中的任一項所述的方法。
11.一種 機動車輛(I)，包括根據權利要求10所述的駕駛員輔助裝置(2)。
【文檔編號】G08G1/16GK104081443SQ201380006841
【公開日】2014年10月1日 申請日期:2013年1月17日 優先權日:2012年1月26日
【發明者】C.休格斯, S.芬 申請人:康諾特電子有限公司