箭頭信號識別裝置的制造方法
【技術領域】
[0001]本發明涉及基于車載相機拍攝的圖像識別附設在信號燈處的箭頭信號燈的箭頭信號識別裝置。
【背景技術】
[0002]以往，已知有如下技術:基于通過搭載在車輛上的相機(以下稱為“車載相機”)拍攝的本車前方的行駛環境，來識別信號燈以及附設在信號燈處的箭頭信號燈。
[0003]例如，在專利文獻I (特開2012-168592號公報)中公開了如下技術:基于車載相機拍攝的圖像檢測信號燈的紅燈信號，同時基于該紅燈信號在圖像中的位置設定箭頭信號燈的搜索區域，通過在所設定的搜索區域內檢測具有由RGB的預定比例構成的顏色特征量的像素來提取箭頭信號燈。
[0004]現有技術文獻
[0005]專利文獻
[0006]專利文獻1:日本特開2012-168592號公報
【發明內容】
[0007]技術問題
[0008]然而，信號燈包括燈泡型信號燈和LED型信號燈，當然，箭頭信號燈也包括燈泡型和LED型。在LED型箭頭信號燈中，由于通過以預定間隔布置LED來形成箭頭，因此亮度在整體上基本固定。然而，由于燈泡型信號燈具有被蓋板玻璃(cover lens)濾除了綠色等的燈光顏色，因此隨著遠離燈泡，亮度也逐漸降低。另外，燈泡本身的亮度也不固定。
[0009]結果，如在上述文獻中所公開的，在將由RGB的預定比例構成的顏色特征量作為閾值提取箭頭信號燈的情況下，例如，會存在本車自身難以從與信號燈相距較遠的位置識別箭頭信號燈的情況。為了解決該問題，雖然考慮到將顏色特征量設定為較低，但是存在箭頭信號燈的識別精度下降的問題。
[0010]鑒于以上情況，本發明的目的在于提供一種即使在較遠的位置也可高精度地檢測箭頭信號燈的箭頭信號識別裝置。
[0011]技術方案
[0012]本發明涉及一種箭頭信號識別裝置，包括:車載相機，拍攝本車前方的行駛環境；圖像識別處理單元，基于通過所述車載相機拍攝的一幀圖像識別設置在信號燈處的亮燈信號燈，并計算該亮燈信號燈與所述本車之間的信號燈間距離；箭頭信號檢測單元，檢測附設在所述信號燈處的箭頭信號燈，其中，所述箭頭信號檢測單元包括:箭頭信號區域設定單元，基于所述信號燈間距離以所述亮燈信號燈為基準設定箭頭信號區域；色彩有效像素搜索單元，從通過所述箭頭信號區域設定單元設定了的箭頭信號區域內的顏色搜索被看作亮燈的色彩有效像素，并對該色彩有效像素的像素數進行計數；色彩無效像素搜索單元，通過將由所述色彩有效像素搜索單元搜索到的所述各色彩有效像素與該各色彩有效像素的周邊像素進行比較，來從該色彩有效像素中搜索色彩無效像素，并對該色彩無效像素的像素數進行計數；箭頭有效像素數計算單元，從通過所述色彩有效像素搜索單元搜索到的所述色彩有效像素的像素數減去通過所述色彩無效像素搜索單元搜索到的所述色彩無效像素的像素數，來計算箭頭有效像素數；箭頭像素確定單元，在通過所述箭頭有效像素數計算單元計算出的所述箭頭有效像素數超過基于所述信號燈間距離而設定的箭頭有效像素閾值的情況下，確定存在箭頭像素。
[0013]技術效果
[0014]根據本發明，基于信號燈間距離，以亮燈信號燈為基準來設定箭頭信號區域，從該箭頭信號區域內的色彩中搜索被看作亮燈的色彩有效像素，并同時對色彩有效像素的像素數進行計數，此外，將各色彩有效像素與各色彩有效像素的周邊像素進行比較以從色彩有效像素中搜索色彩無效像素，并且對色彩無效像素的像素數進行計算，之后，在通過從色彩有效像素的像素數減去色彩無效像素的像素數而計算出的箭頭有效像素數超過基于信號燈間距離而設定的箭頭有效像素閾值的情況下，確定存在箭頭像素，從而即使從較遠的位置也可高精度地檢測箭頭信號燈。
【附圖說明】
[0015]圖1是箭頭信號識別裝置的示意構成圖。
[0016]圖2是示出箭頭信號識別處理流程的流程圖(之一)。
[0017]圖3是示出箭頭信號識別處理流程的流程圖(之二)。
[0018]圖4是示出通過車載相機拍攝的本車前方的圖像的說明圖。
[0019]圖5是示出信號燈與本車的位置關系的說明圖。
[0020]圖6是示出以紅色信號燈為基準設定箭頭信號燈的搜索區域的說明圖。
[0021]圖7(a)是在橫型信號燈處附設箭頭信號燈的狀態的說明圖，圖7(b)是在豎型信號燈處附設箭頭信號燈的狀態的說明圖。
[0022]圖8 (a)是從箭頭信號搜索區域提取色彩有效像素的說明圖，圖8 (b)是從色彩有效像素提取箭頭有效像素的說明圖。
[0023]圖9(a)是從提取出的箭頭有效像素中基于與其周邊的像素的G邊緣差提取無效像素的說明圖，圖9(b)是從提取出的箭頭有效像素中基于其周邊的像素提取無效像素的說明圖。
[0024]符號說明
[0025]I 本車
[0026]2車載相機
[0027]11圖像識別模塊
[0028]12圖像識別處理部
[0029]13相機控制部
[0030]14箭頭信號識別部
[0031]15存儲部
[0032]21信號燈(橫型信號燈、豎型信號燈)
[0033]2 Ir紅色信號燈
[0034]2Iy黃色信號燈
[0035]22r、22f、221 箭頭信號燈
[0036]FY箭頭識別標志
[0037]ING色彩無效像素數
[0038]1K色彩有效像素數
[0039]Ls信號燈間距離
[0040]NI?N6、Ni箭頭信號區域
[0041]PNiNG箭頭無效點數
[0042]PN1K箭頭有效點數
[0043]SLNG箭頭無效閾值
[0044]SLOK箭頭有效閾值
[0045]SLY箭頭信號檢測閾值
[0046]YOK箭頭有效像素數
【具體實施方式】
[0047]以下，基于【附圖說明】本發明的一個實施例。圖1的符號I是汽車等的車輛(本車)，在該車輛的車廂內的前部，車載相機2被設置為面朝前擋風玻璃的上部。該車載相機2是由主相機2a和副相機2b構成的立體相機。該各相機2a、2b中內置有(XD、CMOS等的攝像元件(圖像傳感器)，例如，夾著在車寬方向中央布置的后視鏡被布置在左右對稱的位置。需要說明的是，在下文中，在沒有特別限定的情況下，為了方便，當描述車載相機2時表示主相機2a和副相機2b兩者。
[0048]此外，該車載相機2是將本車行進道路的行駛環境拍攝為彩色圖像的彩色相機，各個攝像元件的像素數據被設定為R、G、B各為8比特(O?255灰度級)的亮度值(像素值)。需要說明的是，亮度值并不限定為8比特。
[0049]主相機2a在進行立體處理時拍攝所需要的基準圖像(右圖像)，副相機2b拍攝該處理中的比較圖像(左圖像)。在相互同步的狀態下，從兩個相機2a和2b輸出的R、G、B的各個模擬圖像通過A/D轉換器3被轉換為預定灰度的數字圖像。進行了數字轉換后的圖像被輸出到圖像識別模塊11。
[0050]圖像識別模塊11主要由微計算機構成，具備公知的CPU、ROM、RAM等，作為通過CPU進行處理的箭頭信號識別功能，圖像識別模塊11具備作為圖像識別處理單元的圖像識別處理部12、相機控制部13、作為箭頭信號識別裝置的箭頭信號識別部14，此外，該圖像識別模塊11還具備作為存儲裝置的存儲部15。該存儲部15存儲在下文描述的各個數據:按每個箭頭信號區域而檢測的箭頭有效像素數Υ0Κ、按每幀而進行某些更新的箭頭有效點數PN1K和箭頭無效點數PNiNG、以及針對每個箭頭信號區域設定的箭頭信號燈類別確定標志FNi的值等。
[0051]圖像識別處理部12基于通過車載相機2拍攝的圖像數據，來識別本車前方的立體物并計算出平均亮度值。即，例如，如圖4中所示，在通過車載相機2拍攝的圖像數據中，作為立體物，除了信號燈21以外還有前行車輛22、道路標識23、白線24、路沿石25以及圖中未示出的對向車、行人等，在識別這些各個立體物的同時，從主相機2a和副相機2b的視差求出這些立體物與本車I的距離。需要說明的是，通過使用公知的圖形匹配方法等來進行各個立體物的識別。此外，由于求出立體物與本車I的距離的方法是公知的，因此省略其說明。
[0052]此外，在圖4中示出的圖像中，信號燈21具有紅色信號燈21r、黃色信號燈21y和綠色信號燈21b，此外，在各信號燈的下方附設有右轉、直行、左轉的各箭頭信號燈22r、22f、221。需要說明的是，由于該各箭頭信號燈22r、22f、221根據道路情況而被設置，因此也存在僅附設其中的一個或兩個箭頭信號燈的情況。
[0053]相機控制部13讀取通過圖像識別處理部12處理的圖像數據的平均亮度值，設定在下一幀的拍攝中達到最合適的亮度的曝光時間(快門速度)，基于該曝光時間進行各相機2a、2b的曝光控制。在此，該曝光時間也通過箭頭信號識別部14讀取。
[0054]箭頭信號識別部14基于通過圖像識別處理部12處理的圖像數據檢查是否檢測到信號燈21的紅色信號燈21r的亮燈，在檢測到亮燈的情況下，檢查該信號燈是否附設