專利名稱：周邊影像生成方法及裝置的制作方法
技術領域：
本發明涉及周邊影像生成方法及裝置，更詳細地涉及將通過設置在車輛的前方、 后方、左側及右側的攝像機拍攝的影像合成而生成車輛的周邊影像的方法及裝置。
背景技術：
一般，在汽車上沒有普遍地設置拍攝汽車的周邊環境而進行監視的系統，駕駛員單純通過自己的肉眼確認前方，或通過側鏡或后視鏡確認后方而使汽車前進或后退。但是，隨著汽車的結構，坐在駕駛座上容易確認前后方的周邊環境，當然還存在不能通過肉眼或各鏡子確認的死角地帶。特別是，大型汽車的情況下，有很多僅通過側鏡或后視鏡不能確認的部位，在開動汽車之前，必須環視汽車的周邊并用肉眼確認是否存在障礙物，才能防止如碰撞事故的交通安全事故及人事事故的發生。另外，想要停車的駕駛員的情況下，不能一眼就確認左右側和后方，所以駕駛不熟練的新手駕駛員具有與停在周邊的汽車或停車柱發生碰撞事故的危險。并且，即使位于汽車的前方的障礙物也可能被位于汽車的前玻璃或門之間的機架擋住障礙物，未發現坐在汽車的前方或后方玩耍的小孩的情況下，有可能引起人命事故。因此，最近開發出通過分別安裝在汽車的前后方部、左右側面部的攝像機拍攝周邊環境，組合被拍攝的畫面顯示在設置于駕駛員的導航畫面上的裝置。但是，根據過去的技術，單純組合車輛的前后方影像和左右側影像來顯示，從而對在影像之間重疊的重復區域的影像處理執行得不自然，所以存在不能完全去除位于車輛周邊的死角地帶的問題。例如，有時由前方影像和右側影像同時拍攝的重復區域被截取表現或顯示為省略一部分的狀態，使駕駛員難以準確識別當前車輛的周邊狀況。
發明內容
所要解決的技術課題因此，本發明要解決的技術課題涉及消除車輛周邊的死角地帶并使駕駛員準確識別車輛周邊的狀況的車輛周邊影像生成方法及裝置。解決課題技術方案為了實現這樣的技術課題，根據本發明的一實施例的車輛周邊影像生成方法包括將通過設置于車輛的前方、后方、左側及右側的攝像機拍攝的影像，通過連接在上述攝像機的各頻道輸入的步驟；將上述拍攝影像校正處理為頂視圖形態而生成多個校正影像的步驟；利用包含上述每個頻道的區域信息和對構成各區域的像素的加權值信息的掩飾影像，對上述多個校正影像進行覆蓋處理而生成上述車輛的周邊影像的步驟；以及顯示上述周邊影像的步驟。生成多個校正影像的步驟可以包括對由上述攝像機的透鏡畸變引起的拍攝影像的畸變進行校正的步驟；將上述拍攝影像的視點變換為頂視圖形態的步驟；以及使變換為上述頂視圖形態的拍攝影像旋轉或移動或進行比率變換的步驟。
生成多個校正影像的步驟可以包括對由上述攝像機的透鏡畸變引起的拍攝影像的畸變進行校正的步驟；以及將上述拍攝影像投影變換為長方形的頂視圖形態的步驟。可以利用查找表生成上述多個校正影像。對在上述多個校正影像之間重復的區域，可以利用下面的數學式進行覆蓋處理。1' (t+1) = α lJO + d-cOljt)，。彡 α 彡 1ljt)和l2(t)分別表示通過兩個頻道輸入的對重復區域的影像信息，α表示對包含在重復區域的像素的加權值，1' (t+1)表示被覆蓋處理的影像信息。上述掩飾影像可以設定為對包含在上述重復區域的像素具有梯度加權值。上述方法還可以包括通過上述設置在前方的攝像機計算對4個指針的平均亮度值，將上述平均亮度值應用于上述周邊影像的步驟。根據本發明的另一實施例的車輛周邊影像生成裝置包括影像輸入部，將通過設置在車輛的前方、后方、左側及右側的攝像機拍攝的影像，通過連接在上述攝像機的各頻道輸入；影像處理部，將上述拍攝影像校正處理為頂視圖形態而生成多個校正影像；影像合成部，利用包含上述每個頻道的區域信息和對構成各區域像素的加權值信息的掩飾影像， 對上述多個校正影像進行覆蓋處理而生成上述車輛的周邊影像；以及顯示部，顯示上述周邊影像。上述裝置還可以包括對在上述多個校正影像之間重復的區域利用下面的數學式進行覆蓋處理的控制部。1' (t+Ι) = α “⑴ + “-”“⑴，。彡 α 彡 1I1 (t)和I2 (t)分別表示通過兩個頻道輸入的對重復區域的影像信息，α表示對包含在重復區域的像素的加權值，1' (t+1)表示被覆蓋處理的影像信息。上述裝置還可以包括接收上述車輛的行駛狀態信息而傳遞到上述控制部的通信部；上述控制部根據上述車輛的行駛狀態決定上述周邊影像的顯示與否。根據本發明的另一實施例的車輛周邊影像生成系統包括多個攝像機，設置在車輛的前方、后方、左側及右側，將被拍攝的影像通過各頻道輸出；影像生成裝置，將輸入的上述拍攝影像校正處理為頂視圖形態而生成多個校正影像，利用包含上述每個頻道的區域信息和對構成各區域像素的加權值信息的掩飾影像，對上述多個校正影像進行覆蓋處理而生成上述車輛的周邊影像；以及顯示裝置，顯示上述周邊影像。發明效果這樣，根據本發明，消除車輛周邊的死角地帶，對由多個攝像機拍攝的重復區域校正處理為看起來自然，駕駛員可以準確地識別車輛周邊的狀況。因此，駕駛員不看側鏡或后視鏡也可以方便地停車，可以安全進行前進或后退行駛。
圖1至圖4是用于說明根據本發明的實施例的設置于車輛的攝像機的圖。圖5是表示根據本發明的實施例的周邊影像生成系統的構成的圖。圖6是表示根據本發明的實施例的周邊影像生成方法的順序圖。圖7是用于說明根據本發明的實施例的投影變換算法的例示圖。圖8是用于說明根據本發明的實施例的掩飾影像的圖。
圖9是用于說明2臺攝像機拍攝同一物體的情況下產生重復區域的原因的圖。圖10是表示根據本發明的實施例的對包含在掩飾影像的重復區域的像素的加權值信息的圖。圖11是表示對應于圖10進行覆蓋處理的影像的圖。圖12是表示根據本發明的實施例的重復區域被覆蓋處理的周邊影像的例示圖。圖13是表示根據本發明的實施例的顯示裝置的畫面構成的圖。圖14是表示顯示在根據圖13的顯示裝置的畫面的例示圖。
具體實施例方式這樣，參考附圖對本發明的實施例進行詳細地說明，以便本發明所屬技術領域的普通技術人員能夠容易實施。圖1至圖4是用于說明根據本發明的實施例的設置于車輛的攝像機的圖。根據本發明的實施例的周邊影像生成系統是對通過設置于車輛的3維空間上的4臺攝像機110、 120、130、140拍攝的影像進行校正處理，從而使駕駛員能夠確認車輛的360°周邊的用于確保辨認性的系統。如圖1所示，在車輛的前方、后方、左側、右側分別設有攝像機110、120、 130、140，為了最小化車輛的死角地帶，攝像機需要最小180°以上的廣角。另外，為了提高車輛周邊影像的質量，將攝像機的設置高度設定成兩個攝像機的重復的視野角的區域最少維持1000X 1000mm2。攝像機的設置高度越高越能夠確保良好的影像質量。這樣，各攝像機可消除車輛的死角地帶的位置選定和最小化被合成的周邊影像的圖像質量下降的設置位置和視野角設定很重要。通過圖2至圖4，更詳細地說明在車輛(在圖1至圖4舉三箱式汽車為例)設置4 臺攝像機的位置。如圖2所示，前方攝像機110設置在車輛的機罩中心，左側攝像機130和右側攝像機140設置成分別位于車輛的兩個側鏡的邊緣或下方。另外，如圖3所示，后方攝像機120設置在后方保險杠上方的中央。在此，前方攝像機110和后方攝像機120設置成以地面方向的垂直線為基準可以拍攝170°以上。并且，如圖4所示，優選前方攝像機110的高度和后方攝像機120的高度維持相同，同樣地，優選左側攝像機130和右側攝像機140的高度也維持相同。隨著攝像機的高度和角度(PAN/TILT)，所輸出的影像的比率及圖像質量不同，因此在周邊影像合成時，這是為了將行車線的寬度在重復區域表現出不同且周邊事物的大小出現差異的現象最小化。另外，左側攝像機130和右側攝像機140設置成以地面方向的垂直線為基準可以拍攝170°以上。在此，各攝像機的設置位置根據車種不同，根據車輛的設計而可能發生限制。一般，廣角攝像機的透鏡周邊部的光量不足，發生圖像質量的下降，與透鏡的中心部相比，在周邊部發生很多畸變。并且，將通過攝像機拍攝的影像進行視點變換時，周邊部的影像的圖像質量嚴重下降。因此，為了使用形成在攝像機透鏡的中心部區域的影像，前方攝像機Iio和后方攝像機120的光軸與地平線平行，左側攝像機130和右側攝像機140設置成與地面垂直。另外，如圖2及圖4所示，將攝像機110、120、130、140的高度設定為可以拍攝到從車輛的前后方及左右側面離開大約1. 5m的范圍，這時攝像機可以拍攝到相對于地面的垂直軸大約30°至60°左右。
圖5是表示根據本發明的實施例的周邊影像生成系統的構成的圖。如圖5所示，周邊影像生成系統可以包括多個攝像機110、120、130、140、影像生成裝置200及顯示裝置300。多個攝像機110、120、130、140分別設置在車輛的前后方、左右側，可以具備如廣角透鏡或魚眼透鏡的視角大的透鏡，并包括針孔攝像機。攝像機110、120、130、140通過具有170°以上的寬視角的透鏡將3維的被攝體拍攝為2維的影像Dl、D2、D3、D4，被拍攝的影像分別通過4個頻道chl、ch2、ch3、ch4被傳遞到影像生成裝置200。影像生成裝置200包括影像輸入部210、影像處理部230、影像合成部250、控制部 270及通信部四0。影像輸入部210將通過多個攝像機110、120、130、140拍攝的影像D1、D2、D3、D4通過各頻道chl、ch2、ch3、ch4接收。影像處理部230將從影像輸入部210接收的拍攝影像Dl、D2、D3、D4通過查找表進行影像處理，從各拍攝影像Dl、D2、D3、D4生成輸出校正影像El、E2、E3、E4。在此，查找表可以應用畸變校正算法、仿射變換算法、視點變換算法而生成。影像合成部250接收通過影像處理部230校正的校正影像El、E2、E3、E4，對接收到的校正影像E1、E2、E3、E4以重疊的覆蓋方式進行合成處理。在此，影像合成部250利用掩飾影像進行覆蓋合成處理，掩飾影像具有每個頻道chl、ch2、ch3、ch4的區域信息和對構成校正影像的像素的加權值信息。控制部270對包含在校正影像El、E2、E3、E4之間重復的區域的像素的加權值進行調節而使重復區域自然地顯示。這樣，影像合成部250將4個校正影像E1、E2、E3、E4以覆蓋方式進行合成處理而生成可以一眼看到車輛的周邊360°的周邊影像。通信部290通過CAN通信或LIN通信，從車輛的齒輪、方向盤、速度計、驅動裝置等接收當前的行駛狀態信號。通信部290將接收到的信號傳遞到控制部270，控制部270根據行駛狀態決定顯示于顯示裝置300的周邊影像。例如，控制部270為了預防交通事故，在車輛以一定速度以上行駛中的情況下不顯示周邊影像。顯示裝置300是可以顯示由影像合成部250生成的周邊影像的裝置，可以通過設置于汽車內的顯示器或導航體現，也可以包含在影像生成裝置200內。以下，通過圖6對影像生成裝置200生成汽車的周邊影像的方法進行說明。圖6 是表示根據本發明的實施例的周邊影像生成方法的順序圖。首先，影像生成裝置200將通過攝像機110、120、130、140拍攝的影像Dl、D2、D3、 D4分別通過4個頻道chl、ch2、ch3、ch4接收(S310)。如通過圖1至圖4說明，根據攝像機110、120、130、140的設置位置及高度，拍攝影像Dl、D2、D3、D4的構圖不同。接著，影像生成裝置200對接收到的拍攝影像D1、D2、D3、D4通過查找表進行校正處理(S320)，生成適合覆蓋處理的校正影像El、E2、E3、E4。查找表應用畸變校正算法、仿射變換算法、視點變換算法的表，以下對各算法進行說明。首先，畸變校正算法是用于校正由攝像機透鏡產生的幾何學性畸變的算法。實際上廣角透鏡或魚眼透鏡不是完全的球形態并且焦距短，所以可能發生幾何學性畸變，例如放射形畸變或切線方向畸變。通過這種透鏡的畸變，在被拍攝的影像中，直線可能變形為曲線出現。即，可能發生表示透鏡的畸變的畸變常數(k)小于0的枕形畸變或發生透鏡畸變常數(k)大于0的桶形畸變。因此，可以通過畸變校正算法校正透鏡的幾何學性畸變影像。在此，畸變校正算法可以表示為與校正參數和畸變常數有關的函數。校正參數可以包括安裝在攝像機的透鏡的焦距和光學中心坐標，畸變常數可以包括放射形畸變常數和切線方向畸變常數。根據本發明的實施例，可以應用如下面的數學式1的畸變校正算法。[數學式1]u = fxX {χ' X (1+ki X r2+k2 X r4) +2Pi X χ' Xy' +p2 (r2+2x' 2)}+cxν = fyX {y' X (^k1 Xr2+k2Xr4) +P1 (r2+2y' 2)+2p2Xx' Xy' }+cy在此，(x' , y')表示影像平面上的校正指標圖像的坐標，U、ν表示3維空間坐標被投影的透鏡平面上的坐標，fx和fy表示透鏡的焦距，Cx和Cy表示透鏡的光學中心點坐標。ki和1 表示放射形畸變常數，P1和P2表示切線方向畸變常數，表示r2 = χ' 2+y' 2。 在此，校正指標圖像可以由方格形狀構成，是為了校正透鏡的幾何學性畸變而使用的圖像。仿射變換表示2維空間表示為1次式的點對應，經過旋轉(R)、移動⑴、比率⑶ 變換。一般，仿射變換可以如下面的數學式2表示。[數學式2]W = AXD+B在此，W表示仿射運算而輸出的2維彩色影像數據，A表示用于體現2維彩色影像數據的線形放大及縮小、旋轉等的第1變換系數，D表示所輸入的幀單位的2維彩色影像數據，B表示用于體現2維彩色影像數據D的線形移動的第2變換系數。視點變換算法將通過4個頻道輸入的拍攝影像D1、D2、D3、D4變換為頂視圖視點。 即，將輸入影像D1、D2、D3、D4進行視點變換為從上向下看的影像。另一方面，根據本發明的實施例，取代仿射變換和視點變換算法，通過一個投影變換算法也可以執行校正處理。圖7是用于說明根據本發明的實施例的投影變換算法的例示圖。如圖7通過畸變校正算法生成的點(x，y)通過投影變換算法H變換為(χ'，y')。 投影變換算法H如下面的數學式3由3X3的行列構成。[數學式3]在數學式3分別代入通過畸變校正算法生成的點(x，y)和通過投影變換要生成的點(X' ,1')可以導出表示于數學式3的投影變換算法H。S卩，如圖7例示，在(x，y)分別代入(0,0), (1,0), (2，1)、(0，1)，在(χ'，y')分別代入(0,0), (1,0), (1，1)、(0,1)進行運算處理，從而可以獲得投影變換算法H。這樣，通過投影變換來校正由攝像機的傾斜產生的畸變，可以將歪斜的影像變換為如圖7的長方形形態。如本發明的實施例，若利用查找表，則具有可以減少對輸入影像Dl、D2、D3、D4的變換處理時間的優點，但是也可以不利用查找表對輸入影像Dl、D2、D3、D4進行畸變校正、 仿射變換及視點變換，或者分別執行畸變校正及投影變換來進行變換處理。另外，根據本發明的實施例，可以將根據查找表的設定輸出的校正影像El、E2、E3、E4變更為多種形態。并且，影像生成裝置200利用存儲在掩飾影像的每個頻道chl、ch2、ch3、ch4的區域信息和對像素的加權值信息，對校正影像El、E2、E3、E4進行覆蓋處理(S330)。在此，影像生成裝置200對在多個校正影像之間重復的區域也利用掩飾影像執行覆蓋處理而生成最終的車輛的周邊影像(S340)。圖8是用于說明根據本發明的實施例的掩飾影像的圖。根據本發明的實施例，為了將4個校正影像E1、E2、E3、E4覆蓋合成為一個影像而利用掩飾影像。掩飾影像具有每個頻道chl、ch2、ch3、ch4的區域信息和對應于各區域的像素值的信息，如圖8所示分為9個區域。如圖8所示，掩飾影像被設定為通過頻道chl輸入的由前方攝像機110拍攝的影像覆蓋在1、2、3區域，通過頻道ch2輸入的由后方攝像機120拍攝的影像覆蓋在7、8、9區域。另外，掩飾影像被設定為通過頻道ch3輸入的由左側攝像機 130拍攝的影像覆蓋在1、4、7區域，通過頻道ch4輸入的由右側攝像機140拍攝的影像覆蓋在3、6、9區域。在此，第1、3、7、9區域是由多個攝像機重復拍攝的重復區域。S卩，第1區域是由前方攝像機110和左側攝像機130重復拍攝的重復區域，第3區域是由前方攝像機110 和右側攝像機140重復拍攝的重復區域。另外，第7區域是由后方攝像機120和左側攝像機130重復拍攝的重復區域，第9區域是由后方攝像機120和右側攝像機140重復拍攝的重復區域。控制部270將對應于未重復拍攝的區域即第2、4、6、8區域的影像移動到相當于目標影像的周邊影像的相同的區域。并且，控制部270對由多個攝像機重復拍攝的重復區域的第1、3、7、9區域進行利用掩飾影像的覆蓋處理。掩飾影像為了區分色相，對第2、4、6、8區域的每一個顯示為沒有色相的變化的單色。另外，為了區分車輛，相當于車輛的5區域設定為可調節R、G、B像素值。并且，掩飾影像設定為包含在第1、3、7、9區域的各像素具有從1至2M之間的范圍的R像素值。特別是，為了自然的顏色匹配，如圖8所示，掩飾影像將包含在第1、3、7、9 區域的各像素的R像素值在1至2M之間設定為梯度值。若以第1區域為例，將與第2區域相接的部分的像素的R像素值設定為1，越是位于接近第4區域的地方的像素越增加R像素值，與第4區域相接的部分的像素的R像素值設定成254。同樣，如圖8所示，在第3區域，將與第2區域相接的部分像素的R像素值設定為 1，與第6區域相接的部分的像素的R像素值設定成254。另外，在第7區域，將與第8區域相接的部分的像素的R像素值役定為1，與第4區域相接的部分的像素的R像素值設定為 254。并且，在第9區域，將與第8區域相接的部分的像素的R像素值設定為1，與第6區域相接的部分的像素的R像素值設定為254。在此，相鄰的頻道之間影像的重復的區域即第1、3、7、9區域由于各攝像機的亮度或明度差異而看起來區分為不同事物，控制部270對包含在第1、3、7、9區域的各像素應用下面的數學式4執行覆蓋運算。[數學式4]
I' (t+1) = α 1^0 + (1-0)12(0,0 ^ α ^ 1在數學式4中，I1 (t)和I2 (t)分別表示通過兩個頻道輸入的對重復區域的影像信息，α表示對包含在重復區域的像素的加權值，1' (t+1)表示被覆蓋處理的影像信息。特別是，I1 (t)表示由設置在前方的攝像機110或設置在后方的攝像機120拍攝而通過chl頻道和ch2頻道輸入的對重復區域的影像信息，I2 (t)表示由設置在左側的攝像機 130或設置在右側的攝像機140拍攝而通過ch3頻道或ch4頻道輸入的對重復區域的影像 fn息ο另外，α是對包含在重復區域的R像素的加權值，例如，在第1區域和第2區域相接的部分的情況下，α成為接近O的值1/255，在第1區域和第4區域相接的部分的情況下，α成為接近1的值254/255。以下，利用圖9至圖11更詳細地說明控制部270利用掩飾影像對重復區域進行覆蓋處理的過程。圖9是用于說明2臺攝像機拍攝同一物體的情況下產生重復區域的原因的圖。如圖9所示，2臺攝像機(攝像機1、攝像機2)拍攝相同的物體的情況下，由于2 臺攝像機指向的視差，物體的形狀在影像合成邊界區域消失或重復出現。這樣的重復區域是車輛的死角地帶區域，在車輛周邊的四個角地域出現。因此，為了使駕駛員清楚識別車輛周邊的狀況而提高辨認性，在本發明的實施例中應用通過掩飾影像的覆蓋處理。圖10是表示根據本發明的實施例的對包含在掩飾影像的重復區域的像素的加權值信息的圖。圖11是表示對應于圖10進行覆蓋處理的影像的圖。控制部270如圖10所示的(a)至(d)，隨著改變對包含在重復區域的像素的加權值，可以表示如圖11所示的(a) 至(d)的覆蓋處理結果。首先，圖10和圖11所示的(a)的情況表示以影像合成邊界為基準點，兩個攝像機的影像完全獨立分離的情況。即，對通過攝像機1和攝像機2拍攝的重復區域，若將由圖10 的(a)例示的加權值信息應用于數學式4，則可以生成如圖11的(a)的覆蓋處理的影像。并且，如圖10和圖11所示的(b)的情況是通過將鄰接的各像素之間的加權值線形地設定的半透明混合方法(alpha blend方法)對2個影像進行覆蓋處理的情況。(b) 的情況下，線形地設定鄰接的各像素之間的加權值，從而可以成為最自然的影像。在(a)至 (d)所示的重復處理方法中，(b)的情況與圖8中說明的梯度加權值設定方法最類似，可以成為最自然的影像。另外，圖10和圖11所示的(C)的情況分割區間進行覆蓋處理，使得odd列輸出由攝像機1拍攝的影像，even列輸出由攝像機2拍攝的影像。如圖10和圖11所示的(d)的情況是在(c)追加行分割而進行覆蓋處理，使得odd列輸出由攝像機1拍攝的影像，even列輸出由攝像機2拍攝的影像。這樣，影像生成裝置200對在校正影像E1、E2、E3、E4之間產生的重復區域通過掩飾影像進行覆蓋處理，從而可以生成重復區域自然顯示的周邊影像。圖12是表示根據本發明的實施例的重復區域被覆蓋處理的周邊影像的例示圖。如圖12所示，影像生成裝置200將通過攝像機110、120、130、140拍攝的影像Dl、 D2、D3、D4分別通過4個頻道chl、ch2、ch3、ch4接收之后，利用掩飾影像對重復區域執行覆蓋處理，從而可以生成自然顯示重復區域而合成的周邊影像E。
另一方面，通過攝像機110、120、130、140拍攝的影像D1、D2、D3、D4的亮度分別不同，從而根據本發明的實施例的影像生成裝置200在由設置于車輛的前方的攝像機110拍攝的影像Dl放置4個指針并計算對4個指針的亮度的平均值。并且，影像生成裝置200使通過圖表均衡器對4個影像Dl、D2、D3、D4應用平均亮度值合成的周邊影像E盡可能具有相同的亮度。圖13是表示根據本發明的實施例的顯示裝置的畫面構成的圖，圖14是表示在根據圖13的顯示裝置顯示的畫面的例示圖。如圖13及圖14所示，車輛行駛的情況下，在A畫面輸出前方攝像機影像D1，在停車的情況下顯示后方攝像機影像D2。在此，控制部270通過車輛的CAN通信檢測齒輪箱的后退齒輪on/off信號，使A畫面自動轉換。并且，駕駛員直接觸摸按扭1或按扭2，可以選擇性地轉換前方攝像機影像Dl和后方攝像機影像D2。在此，駕駛員也可以利用輕推轉盤來轉換影像。另外，通過A畫面顯示停車時的后方攝像機影像D2的情況下，由通信部290接收車輛的操縱角度信號的控制部270在A畫面顯示停車導向線路和預想軌跡，從而可以對駕駛員提供停車的方便性。并且，如圖13及圖14所示，在B畫面顯示由影像生成裝置200合成的周邊影像E。 在此，控制部270從通信部290接收信號，在行駛中可以顯示左側攝像機影像D3或右側攝像機影像D4。另外，考慮駕駛員的安全性，車輛的行駛速度例如為20km以上，控制部270可以將A畫面及B畫面轉換為關閉狀態。在以上對本發明的優選實施例詳細地進行了說明，但是本發明的權利范圍不限于此，本領域普通技術人員利用下面的權利要求書所定義的本發明的概念的各種變形及改良形態也屬于本發明的權利范圍。工業上可利用性，這樣，根據本發明，消除車輛周邊的死角地帶，將由多個攝像機拍攝的重復區域校正處理為看起來自然，從而駕駛員可以準確識別車輛周邊的狀況。因此，駕駛員不看側鏡或后視鏡也可以方便地停車，可以安全地前進或后退行駛。
權利要求
1.一種車輛周邊影像生成方法，其特征在于，包括將通過設置于車輛的前方、后方、左側及右側的攝像機拍攝的影像，通過連接在上述攝像機的各頻道輸入的步驟；將上述拍攝影像校正處理為頂視圖形態而生成多個校正影像的步驟； 利用包含上述每個頻道的區域信息和對構成各區域的像素的加權值信息的掩飾影像， 對上述多個校正影像進行覆蓋處理而生成上述車輛的周邊影像的步驟；以及顯示上述周邊影像的步驟。
2.如權利要求1所述的車輛周邊影像生成方法，其特征在于， 生成多個校正影像的步驟包括對由上述攝像機的透鏡畸變引起的拍攝影像的畸變進行校正的步驟；將上述拍攝影像的視點變換為頂視圖形態的步驟；以及使變換為上述頂視圖形態的拍攝影像旋轉或移動或進行比率變換的步驟。
3.如權利要求1所述的車輛周邊影像生成方法，其特征在于， 生成多個校正影像的步驟包括對由上述攝像機的透鏡畸變引起的拍攝影像的畸變進行校正的步驟；以及將上述拍攝影像投影變換為長方形的頂視圖形態的步驟。
4.如權利要求2或3所述的車輛周邊影像生成方法，其特征在于， 利用查找表生成上述多個校正影像。
5.如權利要求1所述的車輛周邊影像生成方法，其特征在于，對在上述多個校正影像之間重復的區域，利用下面的數學式進行覆蓋處理1' (t+Ι) = α lJtHd-cOlJt)，。彡 α 彡 1其中，I1 (t)和I2(t)分別表示通過兩個頻道輸入的對重復區域的影像信息，α表示對包含在重復區域的像素的加權值，Γ (t+1)表示被覆蓋處理的影像信息。
6.如權利要求5所述的車輛周邊影像生成方法，其特征在于，上述掩飾影像被設定為對包含在上述重復區域的像素具有梯度加權值。
7.如權利要求1所述的車輛周邊影像生成方法，其特征在于，還包括通過上述設置在前方的攝像機計算對4個指針的平均亮度值，將上述平均亮度值應用于上述周邊影像的步驟。
8.—種車輛周邊影像生成裝置，其特征在于，包括影像輸入部，將通過設置在車輛的前方、后方、左側及右側的攝像機拍攝的影像，通過連接在上述攝像機的各頻道輸入；影像處理部，將上述拍攝影像校正處理為頂視圖形態而生成多個校正影像； 影像合成部，利用包含上述每個頻道的區域信息和對構成各區域的像素的加權值信息的掩飾影像，對上述多個校正影像進行覆蓋處理而生成上述車輛的周邊影像；以及顯示部，顯示上述周邊影像。
9.如權利要求8所述的車輛周邊影像生成裝置，其特征在于，上述影像處理部對由上述攝像機的透鏡畸變引起的拍攝影像的畸變進行校正；將上述拍攝影像的視點變換為頂視圖形態；使變換為上述頂視圖形態的拍攝影像旋轉或移動或進行比率變換。
10.如權利要求8所述的車輛周邊影像生成裝置，其特征在于，還包括對在上述多個校正影像之間重復的區域利用下面的數學式進行覆蓋處理的控制部；1' (t+Ι) = α lJtHd-cOlJt)，。彡 α 彡 1其中，I1 (t)和I2(t)分別表示通過兩個頻道輸入的對重復區域的影像信息，α表示對包含在重復區域的像素的加權值，Γ (t+1)表示被覆蓋處理的影像信息。
11.如權利要求10所述的車輛周邊影像生成裝置，其特征在于，上述掩飾影像被設定為對包含在上述重復區域的像素具有梯度加權值。
12.如權利要求10所述的車輛周邊影像生成裝置，其特征在于， 還包括接收上述車輛的行駛狀態信息而傳遞到上述控制部的通信部； 上述控制部根據上述車輛的行駛狀態決定上述周邊影像的顯示與否。
13.—種車輛周邊影像生成系統，其特征在于，包括多個攝像機，設置在車輛的前方、后方、左側及右側，將被拍攝的影像通過各頻道輸出；影像生成裝置，將輸入的上述拍攝影像校正處理為頂視圖形態而生成多個校正影像， 利用包含上述每個頻道的區域信息和對構成各區域的像素的加權值信息的掩飾影像，對上述多個校正影像進行覆蓋處理而生成上述車輛的周邊影像；以及顯示裝置，顯示上述周邊影像。
全文摘要
本發明涉及周邊影像生成方法及裝置。根據本發明的車輛周邊影像生成方法包括將通過設置于車輛的前方、后方、左側及右側的攝像機拍攝的影像，通過連接在攝像機的各頻道輸入的步驟；將拍攝影像校正處理為頂視圖形態而生成多個校正影像的步驟；利用包含每個頻道的區域信息和對構成各區域的像素的加權值信息的掩飾影像，對多個校正影像進行覆蓋處理而生成車輛的周邊影像的步驟；以及顯示周邊影像的步驟。根據本發明，消除車輛周邊的死角地帶，對由多個攝像機拍攝的重復區域進行校正處理而使其看起來自然，從而駕駛員可以準確地識別車輛周邊的狀況。因此，駕駛員可以不看側鏡或后視鏡，也能夠方便地停車，可以安全地進行前進行駛或后退行駛。
文檔編號B60R11/04GK102271966SQ200980153868
公開日2011年12月7日 申請日期2009年12月24日 優先權日2009年1月6日
發明者宋永寄, 白原寅, 韓榮寅 申請人:株式會社伊美吉內柯斯特