具有自動對準的鳥瞰視野監測系統的制作方法
【專利摘要】本申請公開了一種具有自動對準的鳥瞰視野監測系統。一種環繞視野監測系統(10)，配置為合成車輛(12)周圍區域(16)的鳥瞰視野圖像(14)，該系統包括攝像頭(18)和控制器(30)。攝像頭(18)被配置為捕捉車輛(12)周圍視野(22)的當前圖像(20)并輸出指示該當前圖像(20)的信號(24)。當前圖像(20)包括車輛(12)的特征(26)。控制器(30)被配置為接收該信號(24)、將當前圖像(20)與來自系統(10)的初始化校準的參考圖像(32)進行比較。參考圖像(32)也包括該特征(26)。控制器(30)進一步配置為確定該當前圖像(20)的修正表(34)來將當前圖像中的該特征(26)與參考圖像(32)中的該特征(26)進行對準。
【專利說明】具有自動對準的鳥瞰視野監測系統發明領域
[0001]本申請公開了一種具有自動對準的鳥瞰視野監測系統。本公開大體上涉及配置為合成車輛周圍區域的鳥瞰視野圖像的系統，且更特定地，涉及使多個攝像頭對準的方式，該方式使用出現在來自攝像頭的圖像內的車輛特征作為對準引導來使得系統的攝像頭對準。
【背景技術】
[0002]配置為合成車輛周圍區域的鳥瞰視野圖像的環繞視野監測或鳥瞰視野圖像系統是已知的。這樣的系統一般具有多個攝像頭，且來自這些攝像頭的每一個攝像頭的圖像被組合或“縫合”在一起來形成或合成鳥瞰視野圖像。為了能形成鳥瞰視野圖像且在鳥瞰視野圖像中沒有令人不快的不連續，每一個攝像頭需要被物理地對準，和/或來自每一個攝像頭的圖像需要被電子地對準。對準過程可包括安裝前攝像頭的工廠對準，和/或包括當系統被首次安裝在車輛上時該系統的初始化校準。這個初始化校準可采用已知視覺目標的排布來幫助該初始化校準。
[0003]在系統的壽命期間，例如由于對于攝像頭的無意中的損害，可需要替換一個或多個攝像頭。該替換可能引入攝像頭的不對準，該不對準導致鳥瞰視野圖像中不期望的不連續。進一步，車輛振動和/或暴露于溫度極端狀況可能引入攝像頭的不期望的不對準。對于車輛擁有者而言，必須雇用有資格的技術人員來重新對準攝像頭是不方便的且昂貴的，并且如果僅在溫度極端狀況下發生這樣的不對準，則這種重新對準對于修正問題可能并非是有效的。需要的是讓系統周期性地自動檢查來自攝像頭的圖像對準的方式。
【發明內容】
[0004]根據一個實施例，提供了配置為合成車輛周圍區域的鳥瞰視野圖像的環繞視野監測系統。該系統包括攝像頭和控制器。攝像頭被配置為捕捉車輛周圍視野的當前圖像并輸出指示該當前圖像的信號。當前圖像包括車輛的特征。控制器被配置為接收該信號、將當前圖像與來自系統的初始化校準的參考圖像進行比較。參考圖像也包括該特征。控制器進一步配置為確定當前圖像的修正表來將當前圖像中的該特征與參考圖像中的該特征進行對準。
[0005]在閱讀優選實施例的下列詳細描述后，進一步的特征和優勢將更清楚地呈現出，這些優選實施例僅作為非限定性的例子且結合附圖而給出。
[0006]附圖簡述
[0007]現在將參考附圖借助示例來描述本發明，在附圖中:
[0008]圖1是根據一個實施例的安裝在車輛上的環繞視野監測系統的俯視圖；
[0009]圖2是根據一個實施例的圖1的系統的示意圖；
[0010]圖3是根據一個實施例，當將系統的攝像頭對準時，由圖1的系統提供的鳥瞰視野圖像；
[0011]圖4是根據一個實施例，當沒有將系統的攝像頭對準時，由圖1的系統提供的鳥瞰視野圖像；
[0012]圖5A是根據一個實施例的來自圖1的系統的攝像頭的當前圖像；
[0013]圖5B是根據一個實施例的來自圖1的系統的攝像頭的參考圖像；
[0014]圖6A是根據一個實施例的圖5A的圖像中車輛特征的表示；
[0015]圖6B是根據一個實施例的圖5B的圖像中車輛特征的表示；以及
[0016]圖6C是根據一個實施例的圖6A和圖6B的覆蓋圖的表示。
[0017]詳細描述
[0018]圖1示出安裝在車輛12上的環繞視野監測系統(以下稱為系統10)的非限制性示例。一般而言，系統10配置為合成車輛12周圍區域16的鳥瞰視野圖像14(圖3)。如在以下描述中將變得明顯地，此處描述的系統10從安裝為具有對于車輛12周圍的不同視野的多個攝像頭捕捉圖像，且將這些圖像電子地組合或“縫合在一起”以形成或合成鳥瞰視野圖像14。此處描述的系統10的優勢在于使得多個圖像的對準自動化。對準是必須的，使得鳥瞰視野圖像14不具有令人不快的不連續。有利地，如果一個或多個攝像頭變得不對準，車輛12不需要送去技術人員那里進行攝像頭對準。
[0019]系統10包括攝像頭18。以示例的方式而非限制，攝像頭18可以是左視野攝像頭18L、右視野攝像頭18R、前視野攝像頭18F、和/或后視野攝像頭18B。此處描述的系統10的非限制性示例示出四個攝像頭，但是可構想具有多于或少于四個攝像頭的系統。在這個實例中，示出四個攝像頭，因為這樣看起來在成本和性能之間具有良好平衡，其中如果使用多于四個攝像頭則成本可不期望地增加，且如果使用少于四個攝像頭，則性能(即，鳥瞰視野圖像14的質量)可不期望地減少。如此處所使用地，攝像頭18可指所示攝像頭中的任何一個和/或全部。如在之后的描述中將變得明顯地，此處提供的非限制性示例的焦點一般涉及左視野攝像頭18L。然而，對于攝像頭18的引用并不被解釋為限制到左視野攝像頭18L。
[0020]攝像頭18配置為捕捉車輛12周圍的視野22的當前圖像20 (圖5A)。由于此處描述的系統10的非限制性示例具有四個攝像頭，視野22可包括左視野22L、右視野22R、前視野22F、和后視野22B。作為攝像頭18，視野22可指所示視野中的任何一個和/或全部。如在之后的描述中將變得明顯地，此處提供的非限制性示例的焦點一般涉及左視野22L。然而，對于視野22的引用并不被解釋為限制到左視野22L。一般而言，左視野22L、右視野22R、前視野22F、和后視野22B覆蓋或構成區域16。
[0021]圖2進一步示出系統10的非限制性細節。攝像頭18 —般配置為輸出指示當前圖像20(圖5A)的信號24。視野22可包括車輛12的一部分，因此當前圖像20可包括車輛12的特征26 (圖5A)的圖像，諸如車輛12的車體邊界或邊緣。
[0022]繼續參看圖2，系統10可包括配置為接收信號24的控制器30。控制器30可包括諸如微處理器的處理器(未示出)或其它控制電路，例如模擬和/或數字控制電路，包括本領域內技術人員熟知的用于處理數據的專用集成電路(ASIC)。控制器30可包括存儲器(未示出)，包括非易失性存儲器，例如電可擦除可編程只讀存儲器(EEPROM)，用以存儲一個或多個例程、閾值和捕捉的數據。可由處理器執行一個或多個例程從而執行步驟用于確定來自此處描述的各攝像頭的圖像是否被對準。
[0023]特別地，控制器30配置為將當前圖像20 (圖5A)與來自系統10的初始化校準的參考圖像32進行比較。如此處所使用地，術語“初始化校準”被用于指在系統10被安裝到車輛后執行的校準過程，以使得特征236在參考圖像32中的位置可被存儲，如果有必要，將來被用于對準攝像頭18。由此，系統10的初始化校準有別于在系統10安裝到車輛上之前的系統10的工廠校準，且有別于依賴于將幾何圖案或已知目標放置在車輛12周圍以幫助攝像頭對準的任何校準過程。由于當前圖像20和參考圖像32兩者均包括特征26，特征26在各圖像中的位置可被用于確定由信號24指示的當前圖像20的修正表34(圖2)從而將當前圖像20中的特征26與參考圖像32中的特征26對準，修正表34 —般存儲在控制器30內。
[0024]圖6A和6B示出分別與圖5A和5B中所示的圖像對應的當前圖像20和參考圖像32的經圖像處理的版本的非限制性示例，其中車輛12的邊緣36被定義在每一個圖像中。圖像處理使用已知算法來確定車輛12的當前邊緣36A在當前圖像20中的位置，以及參考邊緣36B在參考圖像32中的位置。要注意，僅為了在當前邊緣36A和參考邊緣36B兩者均被示出在組合圖像38 (圖6C)中時將當前邊緣36A和參考邊緣36B區分開的目的，用虛線表示當前邊緣36A在圖6A中的圖示。
[0025]圖6C進一步示出可存儲在修正表34內并被施加至當前圖像20從而將當前圖像20與參考圖像32對準的各種方向性調整或方向性修正。該修正表可包括，但不限于，用于做出左/右方向調整的水平旋轉(pan)角度40、用于做出上/下方向調整的偏轉(yaw)角度42、以及用于做出順時針/逆時針調整的滾轉(roll)角度44。當這些調整應用于指示當前圖像20的信號24時，當前邊緣36A可被移動以覆蓋參考邊緣，以使得攝像頭18 (在該示例中是左視野攝像頭18L)與其他攝像頭(例如右視野攝像頭18R、前視野攝像頭18F、和后視野攝像頭18B)合適地對準。
[0026]圖4示出其中攝像頭18 (如，左視野攝像頭18L)沒有被合適地對準的失準視圖48的非限制性示例。圖4對應于如果圖5A中所示的當前圖像20沒有被修正或對準則將被提供的鳥瞰視野圖像。圖3示出在圖5A中所示的當前圖像20被對準以使得當前圖像20中的邊緣36 ( S卩，當前邊緣36A)被修正或與參考圖像32中的參考邊緣36B對準后將會被提供的鳥瞰視野圖像的示例。
[0027]由于攝像頭18可能在任何時間因振動或溫度極端狀況而變得失準，如果控制器30配置為周期性地(例如每分鐘一次)對準當前圖像，則會是有利的。當系統10在例如較冷溫度(如，〈(TC )下被合適地對準但是在升高的溫度下(如<30°C )變得失準時，周期性對準會特別有用。
[0028]區域16可包括在車輛12下方的表面(如，地面)，其具有色彩和/或照明，這使得難以將地面與車輛12本體區分開。由此，如果控制器30配置為僅在車輛12 (例如以大于每小時30公里(30kph)的速度)移動時執行初始化校準和/或對準過程，則會是有利的。期望的是，當車輛12以足夠速度移動時，作為車輛12底下的路面的視野22的部分將在外觀上發生變化。由此，如圖像處理領域的技術人員了解地，作為車輛12的視野22的未變化的部分將更容易與路面區分開。
[0029]如果控制器30配置為僅在環境光亮度大于照明閾值時執行初始化校準和/或對準過程，也會是有利的。以示例的方式，照明閾值可對應于多云天的中午。如果使用這個照明閾值，則當例如來自街燈的人工照明可使得控制器30難以確定邊緣36的位置時的晚上，將不執行對準。
[0030]因此，提供了配置為合成車輛12周圍區域的鳥瞰視野圖像14的環繞視野監測系統(系統10)。系統10有利地利用所捕捉圖像中的車輛12的特征來調整系統攝像頭的對準。基于特定特征在大約在作出調整時的時間所捕捉的當前圖像20中的位置與特定特征在大約在系統10初始地安裝到車輛12上時的時間所捕捉的參考圖像中的位置之間的比較，來做出該調整或對準。由于可在背景中執行這樣的對準，這樣的對準方案是有利的，以使得倘若發生失準時，車輛擁有者不需要雇傭有經驗的技術人員來對準系統。進一步，該系統可補償由于溫度變化弓I起的對準中的變化。
[0031]盡管已根據其優選實施例對本發明進行了描述，然而本發明不旨在被如此限制，而是僅受隨附權利要求書中給出的范圍限制。
【主權項】
1.一種環繞視野監測系統(10)，配置為合成車輛(12)周圍區域(16)的鳥瞰視野圖像(14)，所述系統(10)包括: 攝像頭(18)，所述攝像頭被配置為捕捉車輛(12)周圍視野(22)的當前圖像(20)并輸出指示所述當前圖像(20)的信號(24)，其中所述當前圖像(20)包括所述車輛(12)的特征(26);和 控制器(30)，所述控制器配置為接收所述信號(24)、將所述當前圖像(20)和來自所述系統(10)的初始化校準的參考圖像(32)比較，其中所述參考圖像(32)包括所述特征(26)、并且確定所述當前圖像(20)的修正表(34)從而將所述當前圖像(20)中的所述特征(26)與所述參考圖像(32)中的所述特征(26)對準。2.根據權利要求1所述的系統(10)，其特征在于，所述特征(26)是所述車輛(12)的邊緣(36) ο3.如權利要求1所述的系統(10)，其特征在于，所述修正表(34)包括水平旋轉角度(40)、偏轉角度(42)、以及滾轉角度(44)。4.如權利要求1所述的系統(10)，其特征在于，所述控制器(30)配置為周期性地對準所述當前圖像(20)。5.如權利要求1所述的系統(10)，其特征在于，所述控制器(30)配置為僅當所述車輛(12)在移動且環境光亮度大于照明閾值時執行所述初始化校準。
【文檔編號】B60R1/00GK105984387SQ201510064891
【公開日】2016年10月5日
【申請日】2015年2月6日
【發明人】于萌萌, 馬光林, 蔣如意
【申請人】德爾福電子(蘇州)有限公司