專利名稱：車輛用外界識別裝置及使用了該裝置的車輛控制系統的制作方法
技術領域：
本發明涉及車輛用外界識別裝置及使用了該車輛用外界識別裝置的車輛控制系統，例如，涉及基于來自車載相機(攝像裝置)的圖像信息來檢測本車前方的車輛和行人的車輛用外界識別裝置及使用了該車輛用外界識別裝置的車輛控制系統。
背景技術：
為了減少交通事故引起的傷 亡人數，將事故防患于未然的預防安全系統的開發不斷發展。預防安全系統是在事故發生的可能性高的狀況下工作的系統，例如，在可能與本車前方的前車(日語先行車)發生碰撞時，通過警報使駕駛員引起注意，在達到無法避免碰撞的狀況時，通過自動制動來減輕乘客的傷害的預防碰撞安全系統(precrash safetysystem)等被實際應用。作為檢測本車前方的前車的方法，已知有一種方法是利用相機拍攝本車前方，通過圖案匹配(pattern matching)處理從拍攝到的圖像中檢測車輛的形狀圖案的方法。圖案匹配處理通常處理負載大，因此為了減輕處理負載，通常在圖案匹配處理之前進行邊緣分析等，在將車輛可能存在的區域縮小之后，進行圖案匹配處理。例如，在專利文獻I中記載了從圖像的邊緣檢測出車輛候補，并利用圖案匹配來判別前方車輛的方法。另一方面，作為檢測本車前方的前車的另一個方法，已知有抽出前車的尾燈的特征即紅色區域，使用紅色的一對來檢測車輛的方法。例如，在專利文獻2中記載了從圖像中抽出規定閾值以上的亮度信號，根據其位置關系等來檢測前車的尾燈的方法。以上列舉的車輛檢測的技術中，前者以進行警報 制動等的控制為目的，因此實際上需要盡可能減少沒有碰撞危險的場景的誤檢測。另一方面，后者在夜間為了提高本車的視覺辨認性而以進行本車燈光裝置的自動調整為目的，因此比前者的誤檢測多。在先技術文獻專利文獻專利文獻I日本特開2006-182086號公報專利文獻2日本特開2006-244331號公報然而，在上述方法中，在黃昏、隧道內、夜間的市區那樣微暗且照明條件與白天不同的場所難以進行警報·制動等的控制。前者的技術使車輛的圖案與白天不同，在白天調整的圖案匹配方式下，檢測率低。另一方面，若調整成無論是白天的車輛圖案還是微暗場景的車輛圖案都能夠檢測，則白天的車輛圖案的檢測精度下降。另一方面，后者雖然在微暗的場景下能夠檢測使燈點亮的車輛，但如上述那樣誤檢測多，因此難以使用于警報·制動等的控制。
發明內容
本發明鑒于上述情況而提出，其目的在于提供一種例如在黃昏那樣與白天照明條件不同的場景下能夠正確地檢測出前車的車輛用外界識別裝置。為了實現上述目的，本發明的車輛用外界識別裝置的特征在于，基本具有圖像取得機構，其取得拍攝本車周邊而得到的圖像；第一車輛候補區域檢測機構，其使用圖像的梯度信息(日語勾配情報)從所述圖像檢測出車輛候補區域；第二車輛候補區域檢測機構，其使用圖像的顏色信息從所述圖像檢測出車輛候補區域；車輛判定機構，其使用所述第一車輛候補區域和所述第二車輛候補區域來判定車輛的有無，其中，所述車輛判定機構將所述第一車輛候補區域與所述第二車輛候補區域重復且同步移動的區域判定為車輛。發明效果根據本發明，在黃昏、隧道內、夜間的市區那樣微暗且照明條件與白天不同的場所中能夠得到誤檢測少的車輛檢測結果，在這種場景中，能夠適當地進行警報·制動器等的控制。
·
上述以外的課題、構成及效果通過以下的實施方式變得更加清楚。
圖I是表示本發明的車輛用外界識別裝置的第一實施例的功能框圖。圖2是用于說明第一實施例中的車輛外形檢測機構的示意圖。圖3是用于說明第一實施例中的車輛尾燈檢測機構的示意圖。圖4是用于說明第一實施例中的車輛圖案檢測機構的示意圖。圖5是表示第一實施例中的第二車輛判定機構執行的處理順序的一例的流程圖。圖6是表示在第一實施例中的判定選擇機構中使用的圖表的一例的圖。圖7是表示本發明的車輛用外界識別裝置的第二實施例的功能框圖。圖8是表示第二實施例中的移動檢測機構執行的處理順序的一例的流程圖。圖9是表示圖8的流程圖中的步驟803的移動檢測處理部分的詳細構成例的流程圖。圖10是表示第二實施例中的第一物體判定機構的處理順序的一例的流程圖。圖11是表示本發明的車輛用外界識別裝置的第三實施例的功能框圖。圖12是表示使用了本發明的車輛用外界識別裝置的車輛控制系統的處理順序的一例的流程圖。圖13是表示使用了本發明的車輛用外界識別裝置的車輛控制系統的處理順序的另一例的流程圖。圖14是用于說明使用了本發明的車輛用外界識別裝置的車輛控制系統的危險度的算出的示意圖。圖15是用于說明使用了本發明的車輛用外界識別裝置的配光控制系統的示意圖。符號說明1000車輛用外界識別裝置(第一實施例)1010 相機1011圖像取得機構1021車輛外形檢測機構
1031車輛尾燈檢測機構1041車輛圖案檢測機構1051第一車輛判定機構1061第二車輛判定機構1071判定選擇機構1081第一輸出機構1091第二輸出機構1111外界判定機構2000車輛用外界識別裝置(第二實施例)2041移動檢測機構2051第一車輛判定機構3000車輛用外界識別裝置(第三實施例)3041車輛圖案檢測機構
具體實施例方式
以下，參照附圖，說明本發明的實施方式。圖I是表示本發明的車輛用外界識別裝置的一實施方式(第一實施例)的功能框圖。<第一實施例>圖示實施方式的車輛用外界識別裝置1000裝入到在機動車上搭載的相機1010內或綜合控制器內等，用于從通過相機1010拍攝的圖像內檢測車輛，在本實施方式中，從拍攝本車的前方而得到的圖像內檢測前車。車輛用外界識別裝置1000通過具有CPU、存儲器、I/O等的計算機構成其主要部分，被編制規定的處理及順序，以預定的周期反復執行處理。如圖I所示，第一實施例的車輛用外界識別裝置1000具有圖像取得機構1011、車輛外形檢測機構1021、車輛尾燈檢測機構1031、車輛圖案檢測機構1041、第一車輛判定機構1051、第二車輛判定機構1061、判定選擇機構1071、第一輸出機構1081、第二輸出機構1091，而且根據實施方式的不同，有時還具有外界判定機構1111。圖像取得機構1011從安裝在能夠拍攝本車的前方的位置上的相機1010，取入拍攝本車前方而得到的圖像數據，作為圖像IMGSRC[c] [x] [y]而寫入RAM。需要說明的是，圖像MGSRC[c] [x] [y]是二維排列，c表示顏色信息，x、y分別表示圖像的坐標。顏色信息的形式可以是YUV形式，也可以是RGB形式等的顏色形式。例如若為YUV形式，則c = O時成為Y圖像，c = I時成為UV圖像，例如若為RGB形式，則c = O成為紅成分，c = I成為綠成分，c = 2成為藍成分。以下，在本實施例中，使用上述的YUV形式。車輛外形檢測機構1021從圖像MGSRC[c] [x] [y]內檢測車輛外形ROIl [i] (SX，SY, EX, EY)。在此，i是檢測出多個外形時的ID編號。關于處理的詳細情況在后面敘述。車輛尾燈檢測機構1031從圖像MGSRC[c] [x] [y]內檢測車輛尾燈R0I2[j] (SX，SY, EX, EY)。在此，j是檢測出多個尾燈時的ID編號。關于處理的詳細情況在后面敘述。車輛圖案檢測機構1041對車輛外形ROIl [i] (SX, SY, EX, EY)進行圖案識別，在第一車輛判定機構1051中使用其結果。在本實施例中，判定車輛的背面圖案的有無。關于圖案識別處理的詳細情況在后面敘述。第一車輛判定機構1051使用車輛圖案檢測機構1041的結果，輸出第一車輛候補VCLl [k] (SX, SY, EX, EY)。在此，k是檢測出多個車輛時的ID編號。第二車輛判定機構1061對車輛外形ROIl [i]、車輛尾燈R0I2[j]中的重復的區域進行處理，輸出第二車輛候補VCL2 [I]。在此，I是檢測出多個車輛時的ID編號。關于處理的詳細情況在后面敘述。
判定選擇機構1071根據第一車輛候補VCLl [k]、第二車輛候補VCL2 [I]，輸出檢測車輛VCL[m]。由于實施方式的不同，根據外界判定機構1111而變更處理。在此，m是檢測出多個車輛時的ID編號。處理的詳細情況在后面敘述。第一輸出機構1081將檢測車輛VCL[m]的信息朝向其它的處理或其它的裝置輸出。輸出既可以是圖像上的坐標，也可以是使用相機幾何模型算出的車輛的物理位置(距離、橫向位置)。輸出既可以從車輛用外界識別裝置1000通過信號線直接輸出，也可以通過進行使用了 LAN(Local Area Network)的通信來輸出。第二輸出機構1091將車輛尾燈R0I2[j]的信息朝向其它的處理或其它的裝置輸出。輸出既可以是圖像上的坐標，也可以是使用相機幾何模型算出的車輛的物理位置(距離、橫向位置)。輸出既可以從車輛用外界識別裝置1000通過信號線直接輸出，也可以通過進行使用了 LAN的通信來輸出。因實施方式的不同而存在的外界判定機構1111對本車周邊的照度進行測定。在照度的測定中，既可以對圖像頂GSRC進行處理來測定，也可以從裝備于本車的其它的傳感器接收。在對圖像MGSRC進行處理時，例如以下這樣進行處理。首先，根據事先設置相機時的角度等參數和相機幾何，在相機圖像中設定影像顯示路面的區域。然后，求出設定的區域內的亮度的平均值，由此，在其值低時可知周圍昏暗，在值大時可知周圍明亮。在從其它的傳感器接收時，既可以向車輛用外界識別裝置1000直接輸入信號，也可以通過進行使用了 LAN的通信來取得信號。外界判定機構1111的結果在判定選擇機構1071中使用。[車輛外形檢測機構1021]接下來，使用圖2，說明車輛外形檢測機構1021中的處理的內容。圖2表示車輛外形檢測機構1021執行的處理的一例。檢測車輛外形的方法已知有檢測車輛兩端的縱向的邊緣的方法、檢測車輛的水平邊緣的方法等。圖2是用于說明從圖像數據中確定車輛候補區域的方法的圖。圖2(a)表示由圖像取得機構1011取得的圖像IMGSRC[c] [x] [y]的Y成分。圖像數據中的車輛成為將車輛的兩端作為左右邊、將車頂作為上邊、將陰影或保險杠的線作為下邊的大致矩形。因此，車輛外形檢測機構1021首先檢測成為矩形的縱線的車輛兩端的縱向邊緣。具體而言，如圖2(b)所示，從灰白圖像僅檢測出縱向的邊緣。接下來，為了觀察縱向邊緣的分布，如圖2 (c)所示，確定車輛有可能存在的車窗區域201，并進行邊緣的X軸投影，得到柱狀圖202。在車輛兩端，縱向邊緣應該密集，因此車輛外形檢測機構1021如圖2(d)所示，將柱狀圖202的同等程度的高度的峰值兩點確定為車輛兩端203a、203b。接下來，如圖2(e)所示，車輛外形檢測機構1021在車輛兩端203a、203b之間，從畫面下方檢索橫向邊緣連續的部分，將該部分作為車輛下端204。此外，由于車輛的寬度與高度之比固定為某種程度，因此在距車輛的下端204為規定距離(例如，兩端的距離的O. 8倍的距離)上確定上端205。這樣，車輛外形檢測機構1021如圖2(f)所示那樣確定車輛候補區域206。檢測到的車輛外形作為車 輛外形ROIl [i] (SX, SY, EX, EY)而預先存儲圖像上的上下左右端的坐標值。[車輛尾燈檢測機構1031]接下來，使用圖3，說明車輛尾燈檢測機構1031的處理的內容。圖3表示車輛尾燈檢測機構1031執行的處理的一例。車輛尾燈檢測機構1031首先利用由圖像取得機構1011取得的圖像MGSRC [c] [x][y]的UV成分，生成抽出了圖像中的紅色區域的2值圖像。該2值圖像是檢索MGSRC[c][x] [y]的每個像素，若該像素滿足紅色區域的條件則放入I值，若不滿足則放入O值的圖像。紅色區域的條件是事先利用相機1010在各種環境下拍攝各種車輛的尾燈，手動求出尾燈區域的U成分、V成分的分布，并使用該分布。具體的方法是使用事先求出的UV空間中的分布的平均·方差而使用馬哈拉諾比斯(Mahalanobis)距離，或以包含分布的方式求出U的范圍、V的范圍而進行閾值處理等的方法。在生成了 2值圖像之后，進行標記處理，抽出區域。抽出的結果如圖3(b)所示。抽出的結果是，抽出3011、3012那樣的車輛的尾燈以外的區域的情況較多。接下來，利用抽出的區域的關系，挑選車輛尾燈。車輛的尾燈相對于車輛左右對稱地安裝。由此，可以將抽出的區域中的高度和尺寸類似的區域的一對認為車輛尾燈。圖3(c)是將圖3(b)的圖像中的Y坐標為相同高度且尺寸相同的區域進行配對的結果，抽出3021的一對、3022的一對。檢測到的車輛尾燈作為車輛尾燈R0I2[j] (SX，SY，EX，EY)，而存儲圖像上的上下左右端的坐標值。[車輛圖案檢測機構1041]接下來，使用圖4，說明車輛圖案檢測機構1041執行的處理的內容。圖4表示車輛圖案檢測機構1041執行的處理的一例。本處理對于車輛外形ROIl [i] (SX, SY, EX, EY) 一個一個地進行處理。首先，對于某車輛外形ROIl [i] (SX, SY, EX, EY)，從圖像IMGSRC[c] [x] [y]切出該區域的圖像。切出的圖像既可以是Y圖像、UV圖像這雙方，也可以僅為Y圖像。在本實施例中，說明僅切出Y圖像的情況。接下來，將該圖像縮小成規定的尺寸，生成縮小圖像401。在本實施例中，向寬度16像素、高度12像素的圖像縮小。然后，對縮小的圖像的像素進行光柵掃描，生成I維向量402，將其作為向神經網絡403的輸入。神經網絡403是模仿人腦的網絡，存在由多個節點構成的輸入層4031、中間層4033、輸出層4035，而且在輸入層4031的各節點與中間層4032的各節點之間存在加權系數，在中間層4032的各節點與輸出層4035的各節點之間也存在加權系數。神經網絡的輸出是輸出層的節點的一個值，該值通過和該節點連接的全部的中間層4033的節點的值與其加權系數的積和運算而得到。此外，中間層4033的各節點的值通過和各節點連接的全部的輸入層的節點的值與其加權系數的積和運算而得到。當前，在車輛圖案檢測機構1041中，將一維向量402直接向輸入層連接，因此輸出層的各節點的值可以通過上述的處理來算出。其結果是，若輸出層的規定的節點的值超過閾值，則判定為車輛圖案存在。輸出層的規定的節點需要事先在裝入程序時決定，且需要預先調整各節點間的加權系數，以使當車輛的圖案進入輸入節點時，該輸出層的節點的輸出成為閾值以上，而當車輛以外的圖案進入時，輸出成為閾值以下。調整的方法只要使用作為公知技術的后向傳播(back propagation)法等即可。檢測結果向第一車輛判定機構1051發送，將車輛外形ROIl [i] (SX, SY，EX，EY)中·的判定為車輛的區域登記作為車輛候補VCLl [k] (SX, SY, EX, EY)。[第二車輛判定機構1061]接下來，利用圖5，說明第二車輛判定機構1061執行的處理的內容。圖5是表示車輛判定機構1061執行的處理順序的一例的流程圖。首先，在步驟S501中，選擇一個車輛外形ROIl [i] (SX, SY, EX, EY)。在接下來的步驟S502中，選擇一個車輛尾燈R0I2[j] (SX, SY, EX, EY)。然后，在步驟S503中，判定車輛外形R011[i] (SX, SY,EX,EY)與車輛尾燈R0I2[j](SX, SY, EX, EY)是否重復。在重復時向步驟S504移動，在不重復時向步驟S508移動。在重復的判定中，存在例如使用圖像上的上下左右端SX、SY、EX、EY來確認是否重疊的方法。在步驟S504中，檢測R011[i]的移動。移動可以使用I幀前的外形檢測結果，并利用距與當前外形最接近的外形的變化量來求出。而且，也可以在車輛外形ROIl [i] (SX，SY，EX, EY)內算出光流(optical flow)，并根據該光流的平均值來算出。這樣，算出R011[i]的移動向量(VXl，VYl)。在步驟S505中，檢測R0I2[j]的移動。移動可以使用I幀前的尾燈檢測結果，并利用距與當前尾燈最接近的尾燈的變化量來求出。而且，也可以在車輛尾燈R0I2[j] (SX，SY，EX,EY)內算出光流，并根據該光流的平均值來算出。這樣，算出R0I2[i]的移動向量(VX2，VY2)。在步驟S506中，使用移動的方向和大小，判定是否為同一物體。在一致時，向步驟S507移動，在不一致時，向步驟S508移動。在判定中，例如可以根據R011[i]的移動向量(VXl, VYl)、R0I2[j]的移動向量(VX2，VY2)，利用(VX1-VX2) 2+(VY1-VY2) 2 是否為規定閾值以下來進行判定。在步驟S507中，將檢測到的區域作為第二車輛區域VCL2[1]進行新登記。在步驟S508中，判定是否確認了全部R0I2[j]，在全部確認時，向S509移動，在未全部確認時，向S502返回。步驟S509判定是否確認了全部ROIl [i]，在全部確認時，結束處理，在未全部確認時，向S501返回。
[判定選擇機構1071]接下來，說明判定選擇機構1071執行的處理的內容。以下，說明在判定選擇機構1071中使用外界判定機構1111的情況和未使用的情況這兩種。首先，說明使用外界判定機構1111的情況。使用從外界判定機構1111得到的傳感器輸入和從上述的圖像測定到的值，來推定本車周圍的照度。推定可以預先在各種環境下測定外界判定機構1111的輸出，作成將實際的照度與此時的外界判定機構1111的輸出建立對應的表，由此能夠根據外界判定機構1111的輸出來推定實際的照度。 接下來，根據照度，決定如何使用第一車輛候補VCLl [k]、第二車輛候補VCL2[1]的結果。這也可以如圖6所示那樣預先在各種照度下確認實際的環境并作成圖表。接下來，說明未使用外界判定機構1111的情況。這種情況下，使用將過去幾分鐘的數據累計之后的車輛外形ROIl [i]的總數I、車輛尾燈R0I2[j]的總數J、第一車輛候補VCLl [k]的總數K、第二車輛候補VCL2[1]的總數L，推定當前的狀況。例如，若I <<J，則可以推測為夜間，若I >>J，則可以推測為白天，若I〉K，則可以推測為黃昏。根據如此推測的狀況，使用圖6所示的圖表，決定如何使用第一車輛候補VCLl[k]、第二車輛候補VCL2[1]的結果。在此選擇的一方作為車輛VCL[m]而輸出。如以上說明所述，通過使用本發明實施例，白天、夜間的檢測結果保持原樣，即便在在以往的方式中無法應對的黃昏那樣的場景下也能夠自動地向最佳的檢測結果切換。因此，在黃昏那樣的與通常不同的照明條件的場景下，能夠輸出可適用于警報 控制的檢測結果，從而能夠擴大黃昏下的系統的適用范圍。〈第二實施例〉接下來，使用圖7，說明本發明的車輛用外界識別裝置的第二實施例。圖7是表示第二實施例的車輛用外界識別裝置2000的功能框圖。需要說明的是，在以下的說明中，僅詳細說明與上述的第一實施例的車輛用外界識別裝置1000不同的部分，對于同樣的部分，標注同一編號而省略說明。車輛用外界識別裝置2000裝入到在機動車上搭載的相機1010內或綜合控制器內等，用于從通過相機1010拍攝到的圖像內檢測車輛，在本實施方式中，從拍攝本車的前方而得到的圖像內檢測前車。車輛用外界識別裝置2000通過具有CPU、存儲器、I/O等的計算機構成其主要部分，被編制規定的處理，而以預定的周期反復執行處理。如圖7所示，車輛用外界識別裝置2000具有圖像取得機構1011、車輛外形檢測機構1021、車輛尾燈檢測機構1031、移動檢測機構2041、第一車輛判定機構2051、第二車輛判定機構1061、判定選擇機構1071、第一輸出機構1081、第二輸出機構1091，而且根據實施方式的不同，有時還具有外界判定機構1111。[移動檢測機構2041]移動檢測機構2041使用通過圖像取得機構1011取得的圖像MGSRC[c] [x] [y]和I幀前的圖像，對移動進行分析，抽出進行與背景不同的移動的區域，并輸出候補區域R0I3[n]。以下，使用圖8，說明移動檢測機構2041執行的處理的內容。圖8是表示移動檢測機構2041執行的處理順序的一例的流程圖。首先，在步驟S801中，判定是否為第一次的處理。若為第一次的處理，則不存在用于檢測移動的過去圖像，因此向步驟S806移動。若不是第一次的處理，則向步驟S802移動。接下來，在步驟S802中，讀入在前一處理中保存的一次取樣前的過去圖像IMGOLD[c][X][y]。然后，在步驟S803中，使用圖像IMGSRC[c] [x] [y]和過去圖像IMGOLD [c] [x] [y],算出移動向量。移動向量是算出某一張圖像的像素向另一張圖像的哪個位置移動了的處
理，已知有梯度法和塊匹配法。在本實施例中，以下，使用圖9，說明塊匹配法的算出方法。首先，在步驟S901中，將過去圖像MGOLD [c] [x] [y]分割成小區域PT [p]。接下來，在步驟S902中，選擇一個小區域PT[p]，將其中的圖像圖案存儲作為樣板。然后，在步驟S903中，根據小區域ΡΤ[ρ]的位置，在圖像MGSRC[c] [x] [y]內設定檢索范圍SC。檢索范圍SC設定成例如以與小區域PT[p]相同的位置為中心而擴大了預先設定的規定值的量的范圍，或設定成以使用本車的車速預測了從與小區域ΡΤ[ρ]相同的位置移動后的點為中心而擴大了預先設定的規定值的量的范圍。接下來，在步驟S904中，設定與小區域PT[ρ]相同尺寸的參照小區域RF[q]。參照小區域RF[q]例如在檢索范圍SC內以重復且鋪滿的方式配置或拉開間隔配置。然后，在步驟S905中，對于一個小區域PT [ρ]與多個參照小區域RF[q]的組合，算出圖像的各像素間的差量的絕對值的累計，求出其值最少的RFMIN[q]。接下來，在步驟S906中，根據PT [ρ]與參照小區域RFMIN[q]的位置的差量，算出移動向量(VX[P]，VY[P])。在步驟S907中，判定是否對于全部的小區域PT[p]進行了處理，在進行了處理時，結束處理，在處理未結束時，向步驟S901移動。通過以上的處理，能夠算出各小區域ΡΤ[ρ]的在圖像上的移動向量(VX[p]，VY [P])。返回圖8的說明。通過上述的處理，在步驟S803中算出移動向量之后，在步驟S804中，抽出具有與背景不同的移動的小區域。使用本車的車速、轉向角、橫擺角速度來預測車輛的移動，且假定成圖像上移動的物體全部為路面時，能夠預測圖像上的一點在下一幀向何處移動。由此，假定各小區域PT[p]為平面，來預測其移動量(VXE[p]，VYE [ρ]),并抽出其移動量與從圖像觀測到的移動向量(VX[p]，VY[p])之差大的區域。例如將(VXE[p]-VX[ρ]) 2+(VYE[p]-VY[ρ]) 2超過閾值TH的情況等作為條件。接下來，在步驟S805中，使用抽出的小區域的位置、移動的方向、大小，進行分組，作為候補區域R0I3 [η]。分組例如通過對于各小區域，檢索存在相鄰的小區域且移動向量的方向·尺寸之差在規定的閾值以內的小區域來進行。[第一車輛判定機構2051]接著，以下說明第一車輛判定機構2051執行的處理。首先，使用圖10，說明第一車輛判定機構2051的處理的內容。
圖10是表不第一車輛判定機構2051執行的處理順序的一例的流程圖。首先，在步驟SlOl中，選擇一個車輛外形R011[i] (SX，SY，EX，EY)。接下來，在步驟S102中，選擇一個候補區域R0I3[n] (SX, SY, EX, EY) 然后，在步驟S103中，判斷車輛外形R011[i] (SX, SY,EX,EY)與候補區域R0I3[n](SX, SY, EX, EY)是否重復。在重復時，向步驟S104前進，在不重復時，向步驟S108前進。在重復的判定中，使用例如圖像上的上下左右端SX、SY、EX、EY，通過是否重疊規定的面積以上來判定。在步驟S104中，檢測ROIl [i]的移動。移動可以使用I幀前的外形檢測結果，并使用距與當前外形最接近的外形的變化量來求出。而且，也可以在車輛外形ROIl [i] (SX，SY，EX,EY)內算出光流，并根據該光流的平均值來算出。這樣，算出R011[i]的移動向量(VX1，
VYl)。在步驟S105中，檢測候補區域R0I3[n]的移動。移動可以使用I幀前的移動檢測結果，并使用距與當前移動區域最接近的移動區域的變化量來求出。而且，由于候補區域R0I3[n] (SX, SY, EX, EY)通過光流求出，因此也可以根據該光流的平均值來算出。這樣，算出候補區域R0I3[n]的移動向量(VX3、VY3)。在步驟S106中，利用移動的方向和大小，判定是否為同一物體。在一致時，向步驟S107移動，在不一致時，向步驟S108移動。在判定中，例如可以根據R011[i]的移動向量(VXl，VYl)、R0I3[n]的移動向量(VX3、VY3)，利用(VX1-VX3)2+(VY1-VY3)2 是否為規定閾值以下來進行判定。在步驟S107中，將檢測到的區域作為第一車輛區域VCL1[1]進行新登記。在步驟S108中，判定是否確認了全部R0I3[n]，在全部確認時，向S109移動，在未全部確認時，向S102返回。步驟S109判定是否確認了全部ROIl [i]，在全部確認時，結束處理，在未全部確認時，向SlOl返回。〈第三實施例〉接下來，使用圖11，說明本發明的車輛用外界識別裝置的第三實施例。圖11是表示第三實施例的車輛用外界識別裝置3000的功能框圖。需要說明的是，在以下的說明中，僅詳細說明與上述的第一、第二實施例的車輛用外界識別裝置1000、2000不同的部分，對于同樣的部分，標注同一符號而省略說明。車輛用外界識別裝置3000裝入到在機動車上搭載的相機1010內或綜合控制器內等，用于從通過相機1010拍攝到的圖像內檢測車輛，在本實施方式中，從拍攝本車的前方而得到的圖像內檢測前車。車輛用外界識別裝置3000通過具有CPU、存儲器、I/O等的計算機構成其主要部分，被編制規定的處理而以預定的周期反復執行處理。如圖11所示，車輛用外界識別裝置3000具有圖像取得機構1011、車輛外形檢測機構1021、車輛尾燈檢測機構1031、車輛圖案檢測機構3041、第一車輛判定機構2051、第二車輛判定機構1061、判定選擇機構1071、第一輸出機構1081、第二輸出機構1091，而且根據實施方式的不同，有時還具有外界判定機構1111。[車輛圖案檢測機構3041]
車輛圖案檢測機構3041通過圖案匹配處理，從由圖像取得機構1011取得的圖像IMGSRC[c] [X] [y]輸出候補區域 R0I3 [η]。圖4中說明的車輛圖案檢測處理對于車輛外形R011[i]進行，但在本實施例中，對于畫面整體，邊改變圖像上的坐標U，y)及尺寸(s)邊反復進行處理。處理例如遍及畫面整體進行檢索，或利用相機幾何模型隨著尺寸減小而僅檢索消失點附近，或使用本車的車速、轉向角、橫擺角速度來限制處理區域。需要說明的是，使用該 結果得到的候補區域R0I3[n]和車輛外形R011[i]的第一車輛判定機構的處理由于與上述的第一車輛判定機構2051大致相同，因此省略說明。〈車輛控制系統〉接下來，使用圖12至圖14，說明使用了上述的實施例所示的車輛用外界識別裝置的車輛控制系統的一例。圖12是表不車輛控制系統的基本移動的一例的流程圖。首先，在步驟S121中，通過上述的車輛用外界識別裝置的第一輸出機構1081，取得第一物體信息。在本例中，使用根據通過車輛用外界識別裝置檢測出的車輛的圖像信息，利用相機幾何而算出的與車輛的距尚PYl [a]、橫向位置PXl [a]。同樣，在步驟S122中，通過上述的車輛用外界識別裝置的第二輸出機構1091，取得第二物體信息。在本實施例中，使用根據通過車輛用外界識別裝置檢測到的車輛的圖像信息，利用相機幾何而算出的與車輛的距尚PY2 [b]、橫向位置PX2 [b]。接下來，在步驟S123中，使用第一物體信息，使預防碰撞安全系統動作(警報 控制處理)。關于動作的詳細情況在后面敘述。然后，在步驟S124中，使用第二物體信息，進行配光控制處理。關于動作的詳細情況在后面敘述。[警報 控制處理]以下，使用圖13、14，說明根據通過上述的實施例判定的前車而輸出警報或自動地控制制動器這樣的車輛控制系統。圖13是表示預防碰撞安全系統的處理順序的流程圖。首先，在步驟S131中，讀入障礙物信息(PYl [a]，PXl [a])。接著，在步驟S132中，利用式(1)，運算檢測到的各物體的碰撞預測時間TTC[a]。在此，相對速度VYl [a]通過對物體的相對距離PYl [a]進行仿射微分(日語凝似微分)而求出。TTC [a] = PYl [a] ^-VYl [a].....(I)此外，在步驟S133中，運算相對于各障礙物的危險度DRECI [a]。以下，使用圖14，說明相對于通過上述任一個車輛用外界識別裝置檢測到的物體X[a]的危險度DRECI [a]的運算方法的例子。首先，說明預測路線的推定方法。如圖14所示，當以本車位置為原點O時，預測路線可以利用通過原點O的轉彎半徑R的圓弧來近似。在此，轉彎半徑R使用本車的轉向角α、速度Vsp、穩定系數A、軸距L及轉向齒輪比Gs，由式(2)表示。R = (I+AV2) X (L · Gs/ α )......(2)穩定系數是指其正負支配車輛的轉向特性的系數，是作為表示依賴于車輛的恒定環行的速度的變化的大小的指數的重要值。從式(2)可知，轉彎半徑R以穩定系數A為系數，與本車的速度Vsp的平方成比例地變化。而且，轉彎半徑R可以使用車速Vsp及橫擺角速度Y，由式(3)表不。R = V"......(3)接下來，從物體X[a]向通過轉彎半徑R的圓弧近似的預測路線的中心引出垂線，求出距離L[a]。此外，從本車寬度H減去距離L[a]，在其為負值時，危險度DRECI [a] =0，為正值時，通過下式(4)來運算危險度DRECI [a]。DRECI [a] = (H-L[a])/H......(4)需要說明的是，步驟S131 S133的處理根據檢測到的物體數而進行循環處理。在步驟S134中，根據在步驟S133中運算出的危險度DRECI[a]，選擇式(5)的條件成立的物體，在選擇的物體中，選擇碰撞預測時間TTC[a]最小的物體aMin。DRECI [a]彡 cDRECI#.......(5)在此，規定值cDRECI#是用于判定是否與本車發生碰撞的閾值。接下來，在步驟S135中，根據選擇的物體k的碰撞預測時間TTC [aMin]，進行是否為自動地控制制動器的范圍的判定。在式(6)成立時，向步驟S136前進，執行制動控制而結束處理。另外，在式(6)未成立時，向步驟S137前進。TTC [aMin]彡 cTTCBRK# · · · · (6)在步驟S137中，根據選擇的物體aMin的碰撞預測時間TTC[aMin]，進行是否為輸出警報的范圍的判定。在式(7)成立時，向步驟S138前進，輸出警報而結束處理。而且，在式(7)未成立時，制動控制、警報均不執行而結束處理。TTC [aMin] ( cTTCALM#.....(7)如以上說明所述，在作為本發明實施例的上述任一個車輛用外界識別裝置1000、2000,3000中，對于判定為前車的物體，可以根據其危險度而使上述警報和制動控制起動。[配光控制]接下來，說明根據通過上述的實施例判定的前車而調整本車的前照燈的照射強度和范圍的車輛控制系統。圖15是配光控制處理的動作說明圖。配光控制處理是控制本車的前照燈1511，以向前車及相向車存在的區域照射低光束，并向除此以外的區域照射高光束的方式，自動調整本車前照燈照射范圍1512的處理。如圖15(a)所示，在前車、相向車不存在時，本車前照燈照射范圍1512被最大化，但如圖15(b)所示，在前車、相向車存在時，使本車前照燈照射范圍變化。以下，說明處理的流程。首先，根據通過上述任一個車輛用外界識別裝置檢測出的車輛尾燈，讀入前車的位置(PY2[b]，PX2[b])。接著，讀入相向車的位置(PYH[h]，PXH[h])。需要說明的是，相向車信息從圖像檢測作為相向車的前照燈的候補的白色的光點，通過采用其一對信息來檢測。前照燈檢測處理的詳細情況通過另一公知的機構能夠抽出，因此這里省略說明。若能夠檢測圖像的前照燈的一對，則能夠使用相機幾何來檢測距離PYH[h]、PXH[h]。
然后，以不向檢測出的前車152、相向車153照射高光束且能夠向任一個都不存在的區域照射高光束方式控制本車的前照燈1511，調整前照燈照射范圍1512。前照燈1511的控制例如包括調整前照燈1511的光源的強度或切換前照燈1511的照射角度等。而且，在能夠將前照燈1511的照射強度多級切換時，根據到相向車153的距離PYH[h]、到前車152的距離PY2[b]中的最接近本車的距離來調整光束強度。另外，在能夠通過橫向的角度來調整前照燈1511的照射范圍時，根據相向車的位置(PYH[h]，PXH[h])、前車的位置(PY2[b]，PX2[b])，求出前車及相向車中的最左端的車輛及最右端的車輛，以向其范圍內照射低光束且向該范圍外側照射高光束的方式進行調整。如以上說明所示，通過使用本發明實施例的車輛用外界識別裝置，在黃昏那樣的與通常不同的照明條件的場景下，能夠使警報·控制起動。需要說明的是，在上述實施例中主要對四輪車進行了記載，但對于二輪車也同樣。
·
本發明并未限定為上述的各實施方式，在不脫離本發明的主旨的范圍內能夠進行各種變更。
權利要求
1.一種車輛用外界識別裝置，其特征在于，具有 圖像取得機構，其取得拍攝本車周邊而得到的圖像； 第一車輛候補區域檢測機構，其使用圖像的梯度信息從所述圖像檢測出車輛候補區域； 第二車輛候補區域檢測機構，其使用圖像的顏色信息從所述圖像檢測出車輛候補區域； 車輛判定機構，其使用所述第一車輛候補區域和所述第二車輛候補區域來判定車輛的有無， 所述車輛判定機構將所述第一車輛候補區域與所述第二車輛候補區域重復且同步移動的區域判定為車輛。
2.—種車輛用外界識別裝置，其特征在于，具有 圖像取得機構，其取得拍攝本車周邊而得到的圖像； 第一車輛候補區域檢測機構，其使用圖像的梯度信息從所述圖像檢測出車輛候補區域； 第二車輛候補區域檢測機構，其使用圖像的顏色信息從所述圖像檢測出車輛候補區域； 第三車輛候補區域檢測機構，其通過與所述第一車輛候補區域檢測機構及第二車輛候補區域檢測機構不同的檢測方法，從所述圖像檢測出車輛候補區域； 第一車輛判定機構，其使用所述第一車輛候補區域和所述第三車輛候補區域來判定車輛的有無； 第二車輛判定機構，其使用所述第一車輛候補區域和所述第二車輛候補區域來判定車輛的有無， 所述第二車輛判定機構將所述第一車輛候補區域與所述第二車輛候補區域重復且同步移動的區域判定為車輛。
3.—種車輛用外界識別裝置，其特征在于，具有 圖像取得機構，其取得拍攝本車周邊而得到的圖像； 第一車輛候補區域檢測機構，其使用圖像的梯度信息從所述圖像檢測出第一車輛候補區域； 第二車輛候補區域檢測機構，其使用圖像的顏色信息從所述圖像檢測出第二車輛候補區域； 第三車輛候補區域檢測機構，其通過對所述圖像實施所需的處理操作來檢測出第三車輛候補區域； 第一車輛判定機構，其使用所述第一車輛候補區域和第三車輛候補區域來判定車輛的有無； 第二車輛判定機構，其使用所述第一車輛候補區域和所述第二車輛候補區域來判定車輛的有無； 判定選擇機構，其根據當時的狀況等，選擇通過所述第一車輛判定機構判定的第一車輛候補和通過所述第二車輛判定機構判定的第二車輛候補中的哪一個； 第一輸出機構，其輸出所述判定選擇機構的選擇結果來作為第一輸出；第二輸出機構，其輸出所述第二車輛候補區域來作為第二輸出， 所述第二車輛判定機構將所述第一車輛候補區域與所述第二車輛候補區域重復且同步移動的區域判定為車輛。
4.根據權利要求I 3中任一項所述的車輛用外界識別裝置，其特征在于， 所述第一車輛候補區域檢測機構檢測車輛的外形，所述第二車輛候補區域檢測機構檢測車輛的尾燈。
5.根據權利要求3所述的車輛用外界識別裝置，其特征在于， 所述第三車輛候補區域檢測機構通過圖案匹配處理來判別車輛圖案的有無，由此檢測所述第三車輛候補區域。
6.根據權利要求5所述的車輛用外界識別裝置，其特征在于， 所述第三車輛候補區域檢測機構對所述第一車輛候補區域進行檢測處理。
7.根據權利要求3所述的車輛用外界識別裝置，其特征在于， 所述第三車輛候補區域檢測機構使用圖像的移動信息來檢測所述第三車輛候補區域。
8.根據權利要求3至7中任一項所述的車輛用外界識別裝置，其特征在于， 所述車輛用外界識別裝置具有判定外界的照度的照度判定機構，所述判定選擇機構根據照度判定結果，來選擇通過第一車輛判定機構判定的第一車輛候補和通過第二車輛判定機構判定的第二車輛候補中的哪一個。
9.一種車輛控制系統，其特征在于，具有 權利要求3至8中任一項所述的車輛用外界識別裝置； 碰撞危險度算出機構，其根據所述第一輸出，算出所述本車發生碰撞的危險度； 第一控制機構，其根據所述碰撞危險度，進行用于避免本車的碰撞的控制； 第二控制機構，其根據所述第二輸出，進行用于提高駕駛員的視覺辨認性的控制。
10.根據權利要求9所述的車輛控制系統，其特征在于， 所述第一控制機構進行發出警報的控制或起動制動器的控制。
11.根據權利要求9或10所述的車輛控制系統，其特征在于， 所述第二控制機構進行調整機動車的燈光裝置的光量及/或照射范圍的控制。
全文摘要
本發明提供一種例如在黃昏那樣與白天照明條件不同的場景下能夠正確地檢測出前車的車輛用外界識別裝置。檢測車輛外形并檢測車輛尾燈，將車輛外形與車輛尾燈同步移動的物體判定為車輛。
文檔編號G08G1/16GK102881186SQ20121023491
公開日2013年1月16日 申請日期2012年7月6日 優先權日2011年7月11日
發明者緒方健人, 村松彰二, 筒井隆, 中村克行, 守永光利 申請人:歌樂株式會社