10根據生成的Ξ維地圖控制行駛部180W使車輛行駛。控制部110通過 通信部190將生成的數據發送給服務器2并從服務器2接收關于位置信息或Ξ維地圖的數 據,向行駛部180輸入控制命令使得車輛行駛。
[0047] W下參照附圖詳細說明Ξ維地圖的生成。
[0048] 圖2為本發明的車輛行駛輔助系統的寬帶攝像頭的構成的示意圖。
[0049] 如圖2所示,車輛上的寬帶攝像頭120包括圖像傳感器間largedCoupling Device;CCD) 124及影像處理部125。圖像傳感器124由多個像素121構成。像素數決定圖 像傳感器的像素。
[0050] 如圖2中(A)所示,預定頻率W上的光入射像素m時發生放出像素的導體內部 的光電子的光電效應。
[0051] 如圖2中做所示,在各像素121發生的光電子通過圖像傳感器內部的轉換部123 轉換成具有預定大小的電壓的信號。
[0052] 在此,圖像傳感器124利用透過頻帶的濾波器確定顏色。圖像傳感器124不采用現 有尺68過濾方式,而是根據綠色佑的日]1)、800皿頻帶的近紅外線(化日1'1]1化日的(11;化1?1)、 900nm頻帶的近紅外線(NearInfrared;NIR2) 2、遠紅外線(FarInfrared;FIR)四個信道 信息,WGN1N2F的信號處理方式確定顏色。
[0053] 圖像傳感器124的顏色信息及各像素的電壓信號輸入到影像處理部125。
[0054] 影像處理部125如圖2中C所示,通過處理各像素的信號構成各時間的影像帖,并 輸出由多個影像帖構成的影像I。在此,影像I是除可視光之外還收錄有非可視光數據的寬 帶影像。輸出的影像I的頻帶為300至1100皿。 陽化5] 如上,寬帶攝像頭120能夠獲取超過人類視覺上限的寬帶分光影像,因此作為車 輛行駛用攝像頭使用時能夠利用寬帶的影像I提高道路識別性能、障礙物識別性能及前方 車輛識別性能。
[0056] 圖3為W概念方式顯示圖2所示寬帶攝像頭的受光元件的結構的示意圖。如圖3 所示,圖像傳感器124適用受光濾波器122。
[0057] 受光濾波器122過濾入射光W選擇性地透過光,透過的光除可視光之外還包括非 可視光。目P,受光濾波器122使寬帶的光透過。
[0058] 如W上所述,通過受光濾波器122確定顏色,W獲取四個信道的顏色信息。
[0059] 運種受光濾波器122是多個簇C重復配置而成的形態。一個簇C包括可調式光分 路濾波器(Gfilter)G、近紅外線1濾波器NIR1、近紅外線2濾波器NIR2及遠紅外線濾波 器FIR。
[0060] G濾波器是使可視光中的綠色(Green)光透過的濾波器,NIR1濾波器NIR1是使 800皿頻帶的近紅外線(NearIn化ared-1 ;NIR1)透過的濾波器,NIR2濾波器是使900頻 帶的近紅外線(NearIn化aRed-2 ;NIR2)光透過的濾波器,FIR濾波器是使紅外線(遠紅外 線,FarInfrared;FIR)透過的濾波器。
[0061] 其中,綠色(Green)光是可視光,NIRUNIR2光及FIR光是非可視光。使可視光中 的綠色(Green)光透過的原因在于綠色(Green)光是人的視覺最為敏感的光。
[0062] 在此,可采用使綠色(Green)光之外的其他波長的可視光透過的濾波器。并 且,可W去除一個近紅外線濾波器并包括紫外線0JV)濾波器。UV濾波器是使紫外線 扣ItraViolet;UV)光透過的濾波器。
[0063] 如上所述,適用圖3所示受光濾波器122的圖像傳感器124不僅可W感測綠色 (Green)光,還能夠感測近紅外線NIRUNIR2及紅外線(遠紅外線)FIR等非可視光。
[0064] 上述說明的簇C的排列及結構可W采用當前已商業化的受光濾波器的排列及結 構,只需變更濾波器種類即可,因此能夠最小化變更所需費用。 陽0化]圖4至圖6C為說明利用圖2所示攝像頭識別道路的識別方法的示意圖。
[0066] 例如,圖4中(A)所示的新建道路與圖4中做所示的老舊道路相比,漸青與混凝 上具有不同的反射率。如果是老舊道路,那么漸青與混凝上的反射率相近,因此可能無法通 過可視光區分。因此,無法利用現有一般攝像頭區分老舊道路的漸青R3、路緣石R1及側溝 R2〇
[0067] 其原因如圖5所示,在可視光頻帶下漸青的特性曲線R12與混凝±的特性曲線R11 相近。
[0068] 但如圖6A至圖6C所示,在近紅外線(NIR)頻帶下漸青與混凝±的頻帶特性曲線 圖的斜率不同,因此在利用寬帶攝像頭120獲取道路的影像數據時還能夠區分老化道路的 漸青R3、路緣石R1及側溝R2等。因此能夠提高車輛駐車及自適應巡航精確度。
[0069] 上述實施例說明的是受光濾波器122使可視光與非可視光均透過的情況,但也可 W僅透過可視光之外的非可視光。并且說明了紅外線(IR)透過及受光,但也可W選擇性 地使紫外線0JV)透過、受光。并且,上述實施例說明了區分為近紅外線(NIR)與遠紅外線 (FIR)透過、受光,但也可W不加W區分,而是與紅外線(IR) -起透過、受光,也可W透過、 受光兩個W上的可視光頻帶(波長)。在此,若可視光數量增加,那么非可視光數量減少。
[0070]另外,設置兩個寬帶攝像頭120構成立體視覺的情況下,能夠感測八個頻帶(波 長)的可視光/非可視光。
[0071]圖7為本發明的車輛行駛輔助系統處理影像時提取寬帶圖像數據的數據流的示 意圖。
[0072] 如圖7所示,利用圖像傳感器124輸入的影像11通過適用于圖像傳感器124的受 光濾波器122包括光波長的頻率各異的綠色(Green) 21、NIR1即22、NIR2即23及FIR即 24運四個信道的顏色信息。目P,通過寬帶攝像頭120獲取的影像數據包括四個信道的顏色 ?目息。
[0073] 如上區分的顏色信息分別用于生成深度地圖值巧thMap) 31與GNF圖像32。
[0074] 在此,地圖生成部130利用影像數據中的800nm頻帶的NIR1即22信道判斷空間 信息。并且,地圖生成部130根據影像數據的顏色信息區分物體。尤其,地圖生成部130利 用綠色21、NIR2即23及FIR即24的顏色信息從影像中區分物體。例如,可W利用各信道 的顏色信息區分漸青與路緣石。并且,使用綠色21、NIR2即23及FIR即24信道的情況下 霧及光反射影響較小,因此容易區分區域。 陽075] 寬帶圖像生成部150根據深度地圖值巧thMap) 31與GNF圖像32生成寬帶圖像數 據41。對此,可W結合寬帶圖像數據與車輛位置信息輸出Ξ維的全域地圖(globalmap)。[0076]圖8為說明圖7中寬帶圖像數據的提取方法的示意圖。 陽077] 如圖8中(A)所示,地圖生成部130在生成深度地圖值巧thMap) 31時利用影像 數據中的800皿頻帶的NIR1即22、NIR投影儀判斷空間信息。
[0078]在步驟S1中,NIR投影儀W像素為單位發射800nm頻帶的紅外線光。此時,步驟S2中,寬帶攝像頭120在被物體反射的紅外線光入射時從NIR1即22信道接收紅外線光。 在步驟S3中,地圖生成部130分析通過NIR1信道接收的紅外線光的圖案并構成深度地圖 值巧thMap)。 陽0巧]如圖8中度)所示,地圖生成部130事先從參照區域(referencescene)提取投 影的紅外線圖案,控制部110將提取的紅外線圖案存儲到數據部195。
[0080] 地圖生成部130根據存儲的紅外線圖案,通過被對象區域的bjectPlane)反射的 紅外線圖案與視差變化計算深度信息。深度信息通過Ξ角函數進行計算,通過如下數學式 算出。
[00川【數學式1】
[0082]
陽〇8:3]【數學式2】
[0084]
[00財其中,Zk是點k與寬帶攝像頭120之間的距離,Z。是參照區域的深度值,b是NIR投影儀L與寬帶攝像頭120之間的距離,d是圖像平面(Imageplane)記錄的視差,D是對 象區域的bjectPlane)的點k的移動視差。將數學式2中的D值代入數學式1時,距離值 Zk表示為如W下數學式3,其作為深度信息輸出。
[0086] 【數學式3】
[0087]
[0088] 在此,生成深度地圖值epthMap)時利用上述說明的多個信道的顏色信息,因此 深度地圖值巧thMap)與影像的圖像一致,Ξ維圖像生成于相同的光學軸(化ticalaxis) 上。因此地圖生成部130在考慮寬帶攝像頭120的移動的同時根據算出的深度信息生成深 度地圖值巧thMap)。
[0089] 使用現有RGB濾波器的情況下深度地圖值epthMap)與RGB濾波器的信息之間不 一致,因此需要適用復雜的算法生成Ξ維圖像,計算量非常大,故發