專利名稱：一種用于全景泊車系統(tǒng)的圖像融合方法
技術(shù)領(lǐng)域：
本發(fā)明涉及汽車電子領(lǐng)域和機器視覺領(lǐng)域，尤其涉及汽車安全輔助駕駛領(lǐng)域的圖像處理方法。
背景技術(shù)：
近年來，隨著汽車產(chǎn)業(yè)的迅速發(fā)展和人民生活水平的不斷提高，我國的汽車數(shù)量正在迅猛增長，同時汽車駕駛?cè)藛T中非職業(yè)汽車駕駛?cè)藛T所占的比例也大量增加。在街道、 車庫和停車場等擁擠狹小的地方倒車時，由于常規(guī)的光學(xué)后視鏡存在盲區(qū)，很容易發(fā)生刮碰。為了解決倒車視角盲區(qū)問題，一種簡單的倒車后視系統(tǒng)誕生了。通過安裝在車身尾部的一個攝像頭，駕駛員可以在駕駛室內(nèi)看到車身后方的一小片區(qū)域的圖像，從而避免因倒車過度而導(dǎo)致尾部碰撞。但是，這種簡單的倒車后視系統(tǒng)的可視區(qū)域較小，駕駛員仍需自己觀察左右兩側(cè)的情況，以免與兩側(cè)的車輛刮擦。為了更加直觀地向駕駛員展現(xiàn)車輛周圍的狀況，全景泊車系統(tǒng)應(yīng)運而生。在全景泊車系統(tǒng)中，我們通過安裝在車身前后左右的攝像頭對周圍路面情況進行拍攝，然后利用一整套圖像處理技術(shù)將拍攝到的多幅圖像合成為一個完整的俯視畫面顯示在液晶屏上。這樣，汽車駕駛員只要在車內(nèi)就能完整的看到整個車身前后左右各個區(qū)域，完全沒有任何的死角和盲區(qū)。這種汽車駕駛輔助系統(tǒng)可以為泊車過程和行車安全帶來極大方便。盡管全景泊車技術(shù)正在飛速發(fā)展，但目前仍有很多不足之處。例如，目前大部分全景泊車系統(tǒng)的全景圖像只是簡單地對各個方向的鳥瞰圖進行圖像拼接，即把采集到的圖像進行簡單校正和變換后進行位置匹配，然后直接拼接為一幅圖像。這樣，在車身的四個角落，即各個攝像頭之間的重疊采樣區(qū)域，會有明顯的拼接縫隙，全景圖像的整體感不夠，用戶體驗較差。專利申請?zhí)?01110070860. 9提出了一種車輛輔助系統(tǒng)中的圖像處理方法以及子系統(tǒng)，但是在其圖像融合方法中，僅通過像素點與兩邊界線的距離之比來估計融合權(quán)重。這種數(shù)學(xué)模型過于簡單，不能反映實際問題的變化規(guī)律，導(dǎo)致重疊區(qū)內(nèi)部過渡不夠均勻，仍會在重疊區(qū)內(nèi)部靠近邊界線的位置產(chǎn)生兩條模糊的拼接痕跡。而在本發(fā)明所提出的圖像融合方法中，使用通過原點與像素點的線段與邊界線的夾角作為自變量，并且融合權(quán)重值隨夾角值線性變化。這種角坐標(biāo)系數(shù)學(xué)模型符合實際問題的變化規(guī)律，保證了重疊區(qū)內(nèi)部的絕對均勻過渡，從而確保重疊區(qū)內(nèi)部無任何拼接痕跡， 有效地提升全景泊車系統(tǒng)的用戶體驗。
發(fā)明內(nèi)容
本發(fā)明公開了一種全景泊車輔助系統(tǒng)中的全景圖像融合方法，其目標(biāo)在于對全景泊車輔助系統(tǒng)中攝像頭的重疊采樣區(qū)域進行自然融合，避免出現(xiàn)拼接痕跡，從而提升全景泊車系統(tǒng)的用戶體驗。
為了實現(xiàn)上述效果，需要依次進行一整套圖像處理方法，并且所述的圖像處理方法依賴于全景泊車系統(tǒng)的具體實現(xiàn)。圖1所示為本發(fā)明一種用于全景泊車系統(tǒng)的圖像融合方法的圖像處理流程圖，包括以下步驟步驟101、生成鳥瞰圖。需要融合的圖像來自于安裝于車身四周的各個廣角攝像頭，廣角攝像頭的采樣結(jié)果經(jīng)過視頻解碼器解碼后傳輸至DSP主處理器。DSP處理器獲取到攝像頭采樣圖像以后，首先要對圖像進行畸變校正和透視變換， 生成一幅鳥瞰圖，其具體步驟如下根據(jù)攝像頭的內(nèi)部參數(shù)和畸變模型，得到畸變點與理想點的映射關(guān)系，從而將每個攝像頭的輸入圖像進行畸變校正。在進行畸變校正時，需要使用雙線性插值法進行插值處理，保證畸變校正輸出圖像中無鋸齒等，避免影響圖像質(zhì)量；根據(jù)透視變換原理以及一些標(biāo)定的控制點坐標(biāo)，將每個攝像頭畸變校正后的圖像進行角度透視變換，生成俯視圖像，即鳥瞰圖。全景泊車系統(tǒng)中使用的是廣角攝像頭，其可視區(qū)域非常大。但通常對于全景泊車系統(tǒng)來講，可視區(qū)域達到車身周圍地面較清晰的數(shù)米左右即可。因此，需要裁剪上述步驟中生成的鳥瞰圖，只保留車身周圍較清晰的圖像內(nèi)容。步驟102、獲取像素點在重疊區(qū)中的坐標(biāo)。得到鳥瞰圖之后，即可根據(jù)重疊區(qū)中一些標(biāo)定的控制點在兩幅圖像中的坐標(biāo)對應(yīng)關(guān)系來匹配兩幅圖像的相對位置。通常情況下，兩幅鳥瞰圖的重疊部分為一個矩形，在確定了兩幅鳥瞰圖的相對位置以后，即可確定重疊矩形區(qū)域的寬度W和高度H。重疊區(qū)的位置示意圖如圖2所示，其中CP1、CP2為重疊區(qū)中的控制點。將攝像頭 A對應(yīng)的鳥瞰圖記為水平鳥瞰圖像Bi，攝像頭B對應(yīng)的鳥瞰圖記為垂直鳥瞰圖像B2，并記重疊矩形區(qū)域最靠近車身的頂點為原點0 ；獲取所述重疊矩形區(qū)域的邊界線，將水平方向源圖像內(nèi)部的邊界線記為垂直邊界線Ll，將垂直方向源圖像內(nèi)部的邊界線記為水平邊界線L2 ；計算所述像素點到垂直邊界線Ll的距離，記為所述像素點P的水平坐標(biāo)χ ；計算所述像素點到水平邊界線L2的距離，記為所述像素點P的垂直坐標(biāo)y ；步驟103、計算像素點與重疊區(qū)邊界線的夾角。獲取了所述像素點P在重疊矩形區(qū)域的坐標(biāo)之后，即可根據(jù)如圖3所示的坐標(biāo)系計算經(jīng)過像素點P和原點0的線段與水平邊界線L2的夾角，從而將XY坐標(biāo)系轉(zhuǎn)換為角坐標(biāo)系首先對所述像素點P的坐標(biāo)進行歸一化處理歸一化水平坐標(biāo)=像素點水平坐標(biāo)/重疊區(qū)寬度；歸一化垂直坐標(biāo)=像素點垂直坐標(biāo)/重疊區(qū)高度；經(jīng)過歸一化處理后，重疊區(qū)域變?yōu)榱碎L寬均為1的正方形。此時根據(jù)所述像素點的歸一化坐標(biāo)計算其與重疊區(qū)水平邊界線夾角的正切值夾角正切值=歸一化垂直坐標(biāo)/歸一化水平坐標(biāo)。最后根據(jù)所述夾角的正切值計算夾角值夾角值=arCtan(夾角的正切值)；
記所述像素點P與水平邊界線L2的夾角為θ。以上所述獲取經(jīng)過像素點P和原點0的線段與水平邊界線L2的夾角的過程，可以
用以下計算式來表示 ν/Hθ = arctan(--)
x/W在所述計算式中χ和y分別為像素點P的水平坐標(biāo)和垂直坐標(biāo)；W和H分別為矩形重疊區(qū)的寬度和高度；θ則為歸一化之后的重疊區(qū)中，線段OP與水平邊界線L2的夾角。步驟104、計算兩圖像在像素點的alpha通道值。獲取所述像素點與水平邊界線的夾角之后，即可根據(jù)權(quán)重線性變化規(guī)則計算水平圖像和垂直圖像在所述像素點的融合權(quán)重。在本發(fā)明所提出的方法中，基本思想是將兩幅圖像看做透明圖像的兩個圖層，每一透明圖層除了具備RGB三個通道以外，還具備一個透明度通道，即alpha通道，這種顏色格式稱為ARGB格式。Alpha通道的意義在于表明兩個圖層在某個像素點的圖層合成權(quán)重，這與本發(fā)明所述的融合權(quán)重相同，因此本發(fā)明中的融合權(quán)重值可記為alpha通道值。由于重疊區(qū)域為一矩形，重疊區(qū)的兩條邊界線Ll和L2的夾角為90度，即π /2弧度，而水平鳥瞰圖Bl的alpha值要在夾角從0到π /2弧度的過渡過程中線性地從1下降至0，這種角度-alpha值的線性變化關(guān)系如圖4所示。因此可以通過下式計算水平鳥瞰圖 Bl的alpha通道值水平圖像Bl的alpha =夾角值/(π/2)。在所述重疊區(qū)圖像融合的過程中，有且僅有兩個圖層，而兩個圖層所占的權(quán)重之和應(yīng)該為1，因此可以通過下式獲取垂直圖像Β2的alpha通道值垂直圖像B2的alpha = 1-水平圖像Bl的alpha。記水平圖像Bl在所述像素點的alpha通道值為α ；記垂直圖像Β2在所述像素點的alpha通道值為α 2。上式也可以進行擴展，例如可以指定水平圖像和垂直圖像在重疊區(qū)域所占的比重，水平圖像比重為Rl，垂直圖像比重為R2，則以上所述計算式可以擴展為水平圖像Bl 的 alpha = arctan (夾角的正切值 *R2/Rl)/( π /2)；垂直圖像Β2的alpha = 1-水平圖像Bl的alpha ；通過這種加權(quán)疊加方法，可以調(diào)節(jié)重疊區(qū)中每幅圖像所占的比重，其意義在于由于安裝角度等因素的影響，兩個攝像頭對重疊區(qū)域的采樣圖像的清晰度可能有較大差異，這時可以根據(jù)上述公式增加較清晰的攝像頭的比重，減小較模糊的攝像頭的比重，從而保證融合后的圖像仍然具有較好的清晰度。另外，在一些硬件資源緊張的全景泊車系統(tǒng)中，為了減小圖像融合方法的計算量， 可以適當(dāng)減小融合區(qū)域的面積，如圖5所示，此時融合區(qū)域是重疊區(qū)域的一個子集。在這種情況下，雖然融合區(qū)域不再是中心夾角為η/2的矩形，但仍可采用本發(fā)明所提出的方法進行圖像融合。此時的融合步驟如下對重疊矩形區(qū)域的寬度和高度進行歸一化處理；
獲取像素點P到融合區(qū)邊界線L2的距離以及線段OP的長度；獲取線段OP與融合區(qū)邊界線L2的夾角的正弦值；獲取線段OP與融合區(qū)邊界線L2的夾角，記為θ ；獲取融合區(qū)域的中心夾角，記為Ψ ；根據(jù)下式計算融合區(qū)兩幅圖像的alpha通道值圖像 Bl 的 alpha = θ /ψ ；圖像 Β2 的 alpha = 1_ 圖像 Bl 的 alpha ；由于大型貨車、客車以及工程車等車身較長，如果只安裝四個攝像頭，則遠處的圖像會很模糊，因此往往需要使用具有八個攝像頭的全景泊車系統(tǒng)。在所述的八個攝像頭的全景泊車系統(tǒng)中，融合區(qū)域通常不是中心夾角為η/2的矩形，而是三角形，則此時仍可根據(jù)上面的方法來進行圖像融合。步驟105、融合重疊區(qū)圖像。無論融合區(qū)域的形狀如何，均可通過上面所述的方法計算得到兩幅圖像在一個像素點的alpha通道值。在此之后，即可不斷重復(fù)此步驟，計算重疊區(qū)每一個像素點的alpha 通道值，并存儲于一個與重疊區(qū)相對應(yīng)的矩陣的恰當(dāng)位置，記所述矩陣為alpha矩陣。計算得到每幅圖像在重疊區(qū)域的alpha矩陣之后，則可根據(jù)圖像處理基礎(chǔ)教程中的透明圖像理論將兩幅全景鳥瞰圖合為一體，所采用的計算式為I (X，y) = I1 (x, y) * α ！ (χ, y) +I2 (χ, y) * α 2 (χ, y)其中，Ci1為圖像Bl的alpha通道值，α 2為B2的alpha通道值，I (x，y)即為融合后(χ，y)處像素的顏色值。當(dāng)融合區(qū)域為矩形區(qū)域時，融合效果如圖6所示。其中顏色越淺表示融合結(jié)果中攝像頭A所占成分越重；顏色越深則表示融合結(jié)果中攝像頭B所占成分越重。在圖6中，隨著夾角的增長，攝像頭A所占成分均勻增加，從而保證融合結(jié)果中無任何拼接痕跡。由于實際的全景泊車系統(tǒng)中多為左右對稱的全景圖，因此針對某一重疊區(qū)域計算得到的alpha矩陣也可以緩存并應(yīng)用于與之左右對稱的重疊區(qū)域的圖像融合方法之中，這樣可以減小計算量。全景泊車系統(tǒng)的多個攝像頭的全部重疊區(qū)域均完成圖像融合處理后，即可形成完整的全景鳥瞰圖，繼而經(jīng)DSP處理器輸出，顯示在車載液晶屏等裝置之上。駕駛員只需觀察車載液晶屏所顯示的全景鳥瞰圖，并正確地操控車輛，即可保證泊車安全。通過本發(fā)明所提出的圖像處理方法，尤其是圖像融合方法，可以保證全景圖像的重疊區(qū)域內(nèi)部圖像過渡自然、平滑，從而提升全景泊車系統(tǒng)的用戶體驗。
圖1為本發(fā)明圖像融合方法流程圖；圖2為兩采樣圖像的重疊區(qū)域位置示意圖；圖3為重疊區(qū)內(nèi)像素點的坐標(biāo)示意圖；圖4為夾角-alpha的線性變化關(guān)系圖；圖5為非矩形融合區(qū)位置示意圖；圖6為兩幅鳥瞰圖的重疊區(qū)融合效果示意圖7為具有四個攝像頭的實施例中，攝像頭的采樣區(qū)域分布圖；圖8為四幅鳥瞰圖的重疊區(qū)域示意圖；圖9為具有四個攝像頭的實施例的最終融合效果示意圖。
具體實施例方式以下所述僅為本發(fā)明的一個較佳實施例，并不因此而限定本發(fā)明的保護范圍。圖像融合的具體實施方式
依賴于全景泊車系統(tǒng)，下面結(jié)合具有四個攝像頭的全景泊車系統(tǒng)實例對圖像融合方法進行說明。圖7所示為具有四個攝像頭的全景泊車系統(tǒng)，四個180°廣角攝像頭110、120、 130,140分別安裝于前車標(biāo)、后車廂把手以及兩側(cè)后視鏡的下方，其采樣區(qū)域分別為110a、 120a、130a 和 140a。攝像頭的采樣圖像經(jīng)過視頻解碼芯片解碼后傳入DSP，并根據(jù)鏡頭畸變模型進行畸變校正，然后根據(jù)控制點坐標(biāo)進行透視變換，得到四幅鳥瞰圖。四個攝像頭均為廣角攝像頭，可以觀察到的區(qū)域非常大。但通常對于全景泊車系統(tǒng)來講，可視區(qū)域達到車身周圍地面an左右即可。因此，需要裁剪上述步驟中生成的鳥瞰圖，只保留車身周圍ail的圖像內(nèi)容。裁剪后的圖像區(qū)域分別對應(yīng)圖8中的Al A4四個區(qū)域，其中Al與A2在矩形區(qū)域A12內(nèi)部重疊；A2與A3在矩形區(qū)域A23內(nèi)部重疊；A3與A4在矩形區(qū)域AM內(nèi)部重疊；A4與Al在矩形區(qū)域A41內(nèi)部重疊。由于僅保留了車身周圍an范圍內(nèi)的圖像內(nèi)容，A12、A23、A34、A41四個重疊區(qū)域均為2m*aii大小的正方形。首先使用本發(fā)明提出的圖像融合方法完成A12區(qū)域的圖像融合根據(jù)重疊區(qū)內(nèi)控制點的坐標(biāo)獲取兩圖像的相對位置，從而獲取重疊區(qū)域A12的寬度W與高度H;針對重疊區(qū)域A12內(nèi)部的每一個像素，對其坐標(biāo)進行歸一化，進而計算經(jīng)過所述像素點與原點的線段與水平邊界線的夾角；針對重疊區(qū)域A12內(nèi)部的每一個像素，根據(jù)融合權(quán)重隨夾角線性變化的規(guī)則，計算圖像Al與圖像A2的alpha通道值；重復(fù)上述兩個步驟，獲取重疊區(qū)域內(nèi)Al和A2的alpha矩陣；根據(jù)計算得到的alpha矩陣，利用透明圖像理論進行圖層合并，即圖像融合。然后繼續(xù)使用本發(fā)明提出的圖像融合方法完成A23區(qū)域的圖像融合根據(jù)重疊區(qū)內(nèi)控制點的坐標(biāo)獲取兩圖像的相對位置，從而獲取重疊區(qū)域A23的寬度W與高度H;針對重疊區(qū)域A23內(nèi)部的每一個像素，對其坐標(biāo)進行歸一化，進而計算經(jīng)過所述像素點與原點的線段與水平邊界線的夾角；針對重疊區(qū)域A23內(nèi)部的每一個像素，根據(jù)融合權(quán)重隨夾角線性變化的規(guī)則，計算圖像A2與圖像A3的alpha通道值；
重復(fù)上述步驟，獲取重疊區(qū)域內(nèi)A2和A3的alpha矩陣；根據(jù)計算得到的alpha矩陣進行圖層合并，即圖像融合。在此實施例中，左右兩側(cè)具有對稱性，因此針對重疊區(qū)域A12計算得到的alpha矩陣也可以緩存并應(yīng)用于與之左右對稱的重疊區(qū)域A41的圖像拼接方法之中，只是其alpha 矩陣需要進行水平鏡像處理。同理，區(qū)域A23與A34左右對稱，其alpha矩陣也是簡單的水平鏡像關(guān)系。這樣，區(qū)域A41和A34的圖像融合方法可以省略前幾個步驟，直接進行最后的圖層合并運算。四個重疊區(qū)域全部拼接融合完畢之后，最終得到一幅完整的360°全景鳥瞰圖，如圖9所示。其中重疊區(qū)顏色越深的部分表示垂直方向圖像所占成分越大；顏色越淺則表示水平方向圖像所占成分越大。全景泊車系統(tǒng)的多個攝像頭的全部重疊區(qū)域均完成圖像融合處理后，即可形成完整的全景鳥瞰圖。全景鳥瞰圖經(jīng)過適當(dāng)?shù)姆趴s，即可在車載液晶屏上顯示出來，通過判斷左轉(zhuǎn)、右轉(zhuǎn)、倒車等車輛控制信號，全景泊車系統(tǒng)可以實現(xiàn)與原有車載電子系統(tǒng)的無沖突協(xié)調(diào)工作。這樣，在駕駛員開始泊車時，車載液晶屏?xí)詣忧袚Q至全景泊車系統(tǒng)的鳥瞰圖界面。 而駕駛員只需觀察車載液晶屏所顯示的全景鳥瞰圖，并正確地操控車輛，即可保證泊車安全。通過本發(fā)明實施例所提出的圖像處理方法，可以保證全景圖像的重疊區(qū)域內(nèi)部圖像過渡自然、平滑，從而提升全景泊車系統(tǒng)的用戶體驗。盡管本發(fā)明中未羅列更多的具體實施方式
，但是對于本領(lǐng)域內(nèi)普通技術(shù)人員均可理解，任何對本發(fā)明各個技術(shù)特征進行簡單的替換以實現(xiàn)相同技術(shù)效果的行為，均應(yīng)視為不超脫本發(fā)明的創(chuàng)新精神的。
權(quán)利要求
1.一種用于全景泊車系統(tǒng)的圖像融合方法，其特征在于獲取兩攝像頭重疊采樣的矩形區(qū)域的位置，記所述矩形最靠近車身的頂點為原點； 將重疊區(qū)像素點的坐標(biāo)轉(zhuǎn)換為經(jīng)過所述像素點和原點的線段與重疊矩形區(qū)域邊界線的夾角；根據(jù)所述夾角的值計算互相重疊的兩幅圖像在所述像素點的alpha通道的值； 利用圖像處理基礎(chǔ)教程中的透明圖像理論，根據(jù)每幅圖像的alpha通道將兩圖層合并。
2.如權(quán)利要求1所述的一種用于全景泊車系統(tǒng)的圖像融合方法，其特征在于，所述獲取經(jīng)過像素點和原點的線段與重疊區(qū)邊界線的夾角的步驟包括(1)獲取重疊矩形區(qū)域的位置、長度和寬度計算所述像素點到垂直邊界線的距離，記為所述像素點的水平坐標(biāo)； 計算所述像素點到水平邊界線的距離，記為所述像素點的垂直坐標(biāo)；(2)對所述像素點的坐標(biāo)進行歸一化處理歸一化水平坐標(biāo)=像素點水平坐標(biāo)/重疊區(qū)寬度； 歸一化垂直坐標(biāo)=像素點垂直坐標(biāo)/重疊區(qū)高度；(3)根據(jù)所述像素點的歸一化坐標(biāo)計算其與重疊區(qū)水平邊界線夾角的正切值 夾角正切值=歸一化垂直坐標(biāo)/歸一化水平坐標(biāo)；(4)根據(jù)所述夾角的正切值計算夾角值 夾角值=arCtan(夾角的正切值)。
3.如權(quán)利要求1所述的一種用于全景泊車系統(tǒng)的圖像融合方法，其特征在于，所述根據(jù)夾角的值計算互相重疊的兩幅圖像在像素點的alpha通道值的方法為水平圖像的alpha通道值=夾角值/(π/2)； 垂直圖像的alpha通道值=1-水平圖像的alpha通道值。
全文摘要
本發(fā)明公開了一種用于全景泊車輔助系統(tǒng)的圖像融合方法，是一種應(yīng)用于汽車電子領(lǐng)域和汽車安全輔助駕駛領(lǐng)域的圖像處理方法。該方法包括以下步驟獲取像素點在重疊區(qū)中的坐標(biāo)、計算像素點與重疊區(qū)邊界線的夾角、計算兩圖像在像素點的alpha通道值、融合重疊區(qū)圖像。本發(fā)明提出的圖像處理方法能夠?qū)⒅丿B區(qū)的鳥瞰圖融合為一體，解決重疊采樣區(qū)域中存在明顯拼接痕跡的問題，使得重疊區(qū)域內(nèi)部圖像過渡自然、平滑，從而提升全景泊車系統(tǒng)的用戶體驗。本發(fā)明所提出的圖像融合方法，使用符合實際問題變化規(guī)律的數(shù)學(xué)模型，而且計算量很小，處理速度快，可擴展性強，便于大面積推廣和應(yīng)用。
文檔編號G06T5/50GK102521817SQ20111038236
公開日2012年6月27日 申請日期2011年11月22日 優(yōu)先權(quán)日2011年11月22日
發(fā)明者周立功 申請人:廣州致遠電子有限公司