一種基于U型脈沖網(wǎng)絡(luò)的圖像曝光矯正方法

本發(fā)明涉及圖像矯正，尤其涉及一種基于u型脈沖網(wǎng)絡(luò)的圖像曝光矯正方法。

背景技術(shù)：

1、自動(dòng)駕駛技術(shù)的核心之一是使車(chē)輛能夠通過(guò)其傳感器獨(dú)立理解周?chē)h(huán)境，并做出安全有效的駕駛決策。在這些傳感器中，視覺(jué)系統(tǒng)(如攝像頭)扮演了至關(guān)重要的角色，它們?yōu)檐?chē)輛提供了豐富的環(huán)境信息，包括道路標(biāo)志、行人、其他車(chē)輛以及道路條件等。然而，這些視覺(jué)系統(tǒng)的性能極大依賴(lài)于光照條件，尤其是在光照強(qiáng)度變化劇烈的情況下，如車(chē)輛進(jìn)出隧道時(shí)。

2、隧道入口和出口處的光照條件變化極其迅速，從強(qiáng)光到暗光或反之，這種急劇的曝光差異給自動(dòng)駕駛車(chē)輛的視覺(jué)系統(tǒng)帶來(lái)了巨大挑戰(zhàn)。在這種情況下，視覺(jué)系統(tǒng)需要能夠快速調(diào)整，以避免圖像過(guò)曝或欠曝，這對(duì)于保證車(chē)輛能夠準(zhǔn)確識(shí)別路標(biāo)、障礙物和其他關(guān)鍵信息至關(guān)重要。如果處理不當(dāng)，這可能導(dǎo)致車(chē)輛反應(yīng)延遲或做出錯(cuò)誤的決策，進(jìn)而增加交通事故的風(fēng)險(xiǎn)。

3、現(xiàn)有的曝光矯正技術(shù)主要是高動(dòng)態(tài)范圍(hdr)重構(gòu)技術(shù)。由于低動(dòng)態(tài)范圍(ldr)設(shè)備捕獲高動(dòng)態(tài)范圍(hdr)場(chǎng)景圖像容易出現(xiàn)過(guò)曝光問(wèn)題，過(guò)曝光區(qū)域會(huì)丟失紋理細(xì)節(jié)，從而給計(jì)算機(jī)視覺(jué)任務(wù)帶來(lái)挑戰(zhàn)?，F(xiàn)實(shí)世界中的場(chǎng)景動(dòng)態(tài)范圍非常廣，而傳統(tǒng)的攝像機(jī)和顯示設(shè)備只能捕獲和顯示有限的動(dòng)態(tài)范圍，這導(dǎo)致圖像中可能出現(xiàn)過(guò)曝或欠曝的區(qū)域，失去一些重要的細(xì)節(jié)。過(guò)去解決這個(gè)問(wèn)題的典型方法是根據(jù)mertens等人的建議，從多次曝光中重建hdr。然而，上述方法通常無(wú)法正確重建所需的hdr圖像，從而導(dǎo)致最終hdr圖像中出現(xiàn)偽影、重影和撕裂，尤其是當(dāng)場(chǎng)景中引入運(yùn)動(dòng)時(shí)。長(zhǎng)期以來(lái)，hdr重建的研究重點(diǎn)是減輕此類(lèi)偽影。在深度學(xué)習(xí)的現(xiàn)代時(shí)代，kalantari等人提出了第一個(gè)基于學(xué)習(xí)的動(dòng)態(tài)場(chǎng)景hdr圖像重建方法，該方法使用卷積神經(jīng)網(wǎng)絡(luò)(cnn)執(zhí)行圖像對(duì)齊和合并。后來(lái)的工作中，prabhakar等人沿用了之前的流程，但使用cnn取代了對(duì)齊步驟中的傳統(tǒng)光流。其他人選擇端到端網(wǎng)絡(luò)或生成對(duì)抗神經(jīng)網(wǎng)絡(luò)(gan)來(lái)解決這個(gè)問(wèn)題。雖然上面這些方法可以生成高質(zhì)量的hdr圖像，但重影偽影等問(wèn)題仍然沒(méi)有得到很好的解決。

4、因此，使用單個(gè)圖像進(jìn)行hdr重建是有益的，因?yàn)榭梢员苊馕磳?duì)準(zhǔn)問(wèn)題。eilertsen等人提出使用cnn來(lái)預(yù)測(cè)由于傳感器飽和而導(dǎo)致的飽和區(qū)域丟失的信息丟失。與之前的工作不同，yang等人通過(guò)使用cnn首先恢復(fù)丟失細(xì)節(jié)的hdr圖像來(lái)豐富ldr圖像中的細(xì)節(jié)。然后，它學(xué)習(xí)了一個(gè)色調(diào)映射函數(shù)，該函數(shù)利用檢索到的細(xì)節(jié)從hdr映射到ldr域。一些人提出了其他想法，例如采用混合損失、結(jié)合局部和全局特征或使用反饋網(wǎng)絡(luò)，試圖輸出更真實(shí)的結(jié)果。最近，liu等人基于對(duì)反向hdr到ldr圖像形成管道的建模，將hdr成像問(wèn)題分解為三個(gè)子任務(wù)：動(dòng)態(tài)范圍裁剪、非線性映射和量化。類(lèi)似的想法已應(yīng)用于去噪任務(wù)中反轉(zhuǎn)相機(jī)管道。santos等人提出了一種特征屏蔽機(jī)制來(lái)引導(dǎo)網(wǎng)絡(luò)關(guān)注暴露良好區(qū)域中的有效信息而不是飽和區(qū)域，以避免在訓(xùn)練cnn時(shí)引起歧義。此外，他們的工作還表明，修復(fù)預(yù)訓(xùn)練可以幫助網(wǎng)絡(luò)合成視覺(jué)上令人愉悅的內(nèi)容飽和區(qū)域的紋理。之前的工作通常通過(guò)直接預(yù)測(cè)由傳感器飽和引起的過(guò)度曝光區(qū)域的細(xì)節(jié)來(lái)擴(kuò)展輸入的動(dòng)態(tài)范圍。這些方法需要學(xué)習(xí)過(guò)程中可用的真實(shí)hdr才能實(shí)現(xiàn)該目標(biāo)。從單個(gè)圖像重建hdr的間接方法是通過(guò)多個(gè)曝光圖像的預(yù)測(cè)，然后根據(jù)推斷的包圍式ldr圖像重建最終的hdr照片。這種方法的好處是，通過(guò)在單獨(dú)的過(guò)程中生成低曝光和高曝光，可以對(duì)細(xì)節(jié)進(jìn)行更細(xì)粒度的控制。這個(gè)想法首先由endo等人探索，他們使用兩個(gè)神經(jīng)網(wǎng)絡(luò)從中等曝光的ldr圖像中推斷出向上和向下曝光的圖像。同樣，li等人后來(lái)提出了一個(gè)包含鏈接結(jié)構(gòu)中的六個(gè)子網(wǎng)絡(luò)的單一模型，以順序推斷包圍圖像。當(dāng)輸入處于中間曝光值(ev0)時(shí)，隨著網(wǎng)絡(luò)的深入，他們的模型可以有效地推斷出ev±1、±2、±3。由于合成的包圍圖像的數(shù)量隨著每個(gè)圖像的曝光而固定，任何克服這些限制的嘗試可能需要重新訓(xùn)練網(wǎng)絡(luò)。為了克服上述問(wèn)題，lee等人定義了兩個(gè)代表圖像與相對(duì)ev之間關(guān)系的神經(jīng)網(wǎng)絡(luò)。所提出的結(jié)構(gòu)可以隨著生成圖像的數(shù)量很好地?cái)U(kuò)展，而無(wú)需重新訓(xùn)練或添加更多子網(wǎng)絡(luò)。隨后，lee等人通過(guò)使用兩個(gè)條件gan結(jié)構(gòu)遞歸地生成多重曝光堆棧，改進(jìn)了前人的工作。盡管上述框架可以合成合理的多重曝光堆棧，但它仍然有局限性，因?yàn)樗葲](méi)有對(duì)輸出曝光進(jìn)行更精細(xì)的控制，也沒(méi)有考慮圖像形成管道。以上技術(shù)通常不適用于自動(dòng)駕駛場(chǎng)景，因?yàn)樗鼈儫o(wú)法滿(mǎn)足自動(dòng)駕駛對(duì)實(shí)時(shí)性和精確性的高要求。此外，這些hdr重構(gòu)技術(shù)往往不能有效處理在極端光照條件下捕獲的圖像，特別是在快速變化的光照環(huán)境中。

技術(shù)實(shí)現(xiàn)思路

1、為此，本發(fā)明提供一種基于u型脈沖網(wǎng)絡(luò)的圖像曝光矯正方法，用以克服現(xiàn)有技術(shù)中自動(dòng)駕駛系統(tǒng)中因光照變化極端而導(dǎo)致的圖像異常曝光的問(wèn)題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供一種基于u型脈沖網(wǎng)絡(luò)的圖像曝光矯正方法，，包括：

3、獲取輸入圖像；

4、利用正向激勵(lì)學(xué)習(xí)對(duì)所述輸入圖像進(jìn)行噪聲優(yōu)化以生成噪聲圖像；

5、將所述噪聲圖像與所述輸入圖像融合，并輸入至訓(xùn)練完成的u型脈沖網(wǎng)絡(luò)模型以進(jìn)行曝光矯正；

6、將曝光矯正后的所述融合圖像通過(guò)卷積操作與所述輸入圖像進(jìn)行融合，得到曝光矯正圖像。

7、進(jìn)一步地，所述利用正向激勵(lì)學(xué)習(xí)對(duì)所述輸入圖像進(jìn)行噪聲優(yōu)化的過(guò)程包括：

8、利用卷積操作和relu激活函數(shù)來(lái)提取所述輸入圖像的若干特征；

9、通過(guò)兩個(gè)線性層預(yù)測(cè)均值和方差的重參數(shù)化生成噪聲圖像。

10、進(jìn)一步地，所述生成噪聲圖通過(guò)以下公式表示，設(shè)定：

11、x1＝relu(conv(x))

12、m＝clamp(linear(x1))

13、v＝clamp(linear(x1))

14、map＝reparameterize(m,v)

15、其中，x為輸入特征張量，conv(·)表示卷積操作，relu(·)表示激活函數(shù)，linear(·)表示全連接層，clamp(·)表示限幅函數(shù)，reparameterize(·)表示重參數(shù)化，m表示預(yù)測(cè)的均值，v表示預(yù)測(cè)的方差，map表示噪音圖。

16、進(jìn)一步地，所述將所述噪聲圖像與所述輸入圖像融合，并輸入至訓(xùn)練完成的u型脈沖網(wǎng)絡(luò)模型以進(jìn)行曝光矯正的過(guò)程包括：

17、將所述噪聲圖像疊加至所述輸入圖像得到融合圖像；

18、將所述融合圖像輸入至所述u型脈沖網(wǎng)絡(luò)模型中以回復(fù)所述輸入圖像的細(xì)節(jié)。

19、進(jìn)一步地，所述將所述噪聲圖像與所述輸入圖像融合通過(guò)以下公式表示，設(shè)定：

20、f1＝map+x

21、其中，x為輸入特征張量，map表示噪音圖，f1表示輸出特征張量。

22、進(jìn)一步地，所述u型脈沖網(wǎng)絡(luò)模型包括脈沖卷積塊、下采樣模塊和上采樣模塊，其中，

23、所述脈沖卷積塊基于spikingjelly框架搭建，用于提取圖像的特征并保持圖像細(xì)節(jié)，所述脈沖卷積塊由兩個(gè)相同的脈沖卷積單元組成；

24、所述下采樣模塊由一個(gè)最大池化操作和兩個(gè)脈沖卷積塊組成，用以對(duì)特征空間進(jìn)行壓縮，通過(guò)稀疏性?xún)?yōu)化來(lái)增強(qiáng)網(wǎng)絡(luò)的能量效率，并在脈沖域中捕獲圖像的本質(zhì)特征；

25、所述上采樣模塊由脈沖神經(jīng)網(wǎng)絡(luò)和脈沖卷積塊組成，用以分別通過(guò)脈沖神經(jīng)網(wǎng)絡(luò)和脈沖卷積塊實(shí)現(xiàn)雙線性上采樣和特征放大融合，利用脈沖動(dòng)態(tài)恢復(fù)圖像的細(xì)節(jié)和結(jié)構(gòu)，并利用稀疏性?xún)?yōu)勢(shì)減少計(jì)算負(fù)荷，同時(shí)優(yōu)化能量消耗。

26、進(jìn)一步地，所述脈沖卷積單元首先執(zhí)行一個(gè)卷積操作，再接批量歸一化和基于脈沖的非線性激活，其中非線性激活使用lif神經(jīng)元模型，輸出通過(guò)批歸一化層進(jìn)行歸一化處理；

27、其中，非線性激活使用lif神經(jīng)元模型，卷積層應(yīng)用一個(gè)大小為3×3的核，填充設(shè)置為1以保持空間維度。

28、進(jìn)一步地，所述脈沖卷積單元通過(guò)以下公式表示，設(shè)定：

29、f2＝lif(bn(conv(f1)))

30、其中，f1表示上一層的輸出，conv(·)表示卷積操作，bn(·)表示批歸一化操作，lif(·)表示lif神經(jīng)元模型的激活函數(shù)。

31、進(jìn)一步地，所述下采樣模塊的處理過(guò)程通過(guò)以下公式表示，設(shè)定：

32、f's＝sconv(sconv(maxpool(fs)))

33、其中，fs表示脈沖卷積塊的輸出，maxpool(·)表示最大池化操作，sconv(·)表示單次脈沖卷積塊操作；

34、所述上采樣模塊的處理過(guò)程通過(guò)以下公式表示，設(shè)定：

35、fup＝sconv(sconv(bilinear(fdown)))

36、其中，fdown表示下采樣模塊的輸出，bilinear(·)表示雙線性下采樣操作，sconv(·)表示單次脈沖卷積塊操作。

37、進(jìn)一步地，所述lif神經(jīng)元的信息傳遞過(guò)程包括充電、放電和復(fù)位，所述lif神經(jīng)元的充電和放電過(guò)程通過(guò)以下公式表示，設(shè)定：

38、ht＝vt-1+xt

39、

40、其中，xt表示神經(jīng)元的輸入，它是時(shí)間步長(zhǎng)t處的電壓增量，ht表示充電后的瞬時(shí)電壓，vt-1表示從上一個(gè)時(shí)間步長(zhǎng)t-1保留下來(lái)的電壓，θt表示輸出尖峰的發(fā)生；

41、所述復(fù)位為膜電位恢復(fù)至靜息水平，所述復(fù)位過(guò)程通過(guò)以下公式表示，設(shè)定：

42、vt＝ht(1-θt)

43、或，

44、vt＝ht-vthreshθt

45、其中，vt＝ht(1-θt)是放電后電位復(fù)位為零，vt＝ht-vthreshθt是復(fù)位到電流閾值vthresh。

46、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于，本發(fā)明通過(guò)高效重構(gòu)丟失的顏色與細(xì)節(jié)，提高了圖像的曝光矯正質(zhì)量，特別適用于光照變化劇烈的自動(dòng)駕駛環(huán)境，如進(jìn)出隧道時(shí)。

47、尤其，通過(guò)u型脈沖網(wǎng)絡(luò)(u-spikenet)設(shè)計(jì)：本發(fā)明核心為一個(gè)基于編碼-解碼結(jié)構(gòu)的u-spikenet，專(zhuān)門(mén)針對(duì)圖像的曝光矯正進(jìn)行設(shè)計(jì)。該網(wǎng)絡(luò)能夠有效捕捉圖像中的細(xì)節(jié)和顏色信息，通過(guò)重構(gòu)過(guò)程恢復(fù)由于不當(dāng)曝光而丟失或變形的圖像內(nèi)容。

48、尤其，通過(guò)正向激勵(lì)學(xué)習(xí)：在u-spikenet處理之前，本技術(shù)采用正向激勵(lì)學(xué)習(xí)對(duì)輸入圖像進(jìn)行預(yù)處理。模型首先將圖像進(jìn)行下采樣，然后通過(guò)正向激勵(lì)學(xué)習(xí)生成噪音特征圖。這一步驟旨在增強(qiáng)模型對(duì)于圖像噪聲和細(xì)節(jié)的感知能力，提高最終曝光矯正的質(zhì)量和魯棒性。

49、尤其，通過(guò)圖像融合與曝光矯正：生成的噪音特征圖將與下采樣后的圖像進(jìn)行融合，以?xún)?yōu)化圖像的噪聲和細(xì)節(jié)表現(xiàn)。之后，優(yōu)化后的圖像輸入到u-spikenet進(jìn)行曝光矯正。最終，u-spikenet的輸出特征與原始輸入圖像進(jìn)行卷積融合，以得到最終的矯正結(jié)果。

50、進(jìn)一步地，本發(fā)明通過(guò)設(shè)計(jì)u型脈沖網(wǎng)絡(luò)(u-spikenet)作為基礎(chǔ)模塊，該網(wǎng)絡(luò)通過(guò)一個(gè)編碼-解碼結(jié)構(gòu)能夠有效地重構(gòu)丟失的顏色與細(xì)節(jié)。此外，在模型的輸入圖像信息基礎(chǔ)上補(bǔ)充一個(gè)帶有正向激勵(lì)的噪音特征圖以提升模型魯棒性。模型首先將下采樣圖像輸入到正向激勵(lì)學(xué)習(xí)中來(lái)獲得噪音特征圖，然后將噪音特征圖與下采樣圖像融合，從而對(duì)下采樣圖像進(jìn)行噪聲和細(xì)節(jié)優(yōu)化，再將優(yōu)化后的圖輸入到u-spikenet進(jìn)行曝光矯正，將獲得的特征通過(guò)一個(gè)卷積操作與輸入圖像進(jìn)一步融合從而得到優(yōu)化結(jié)果。

51、進(jìn)一步地，現(xiàn)有的大部分方法都是基于卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)和變壓器(transformer)等方法，但是它們?cè)谀Ｐ屯评磉^(guò)程需要大量的計(jì)算資源、功耗過(guò)高以及模型缺乏可解釋。本發(fā)明使用脈沖神經(jīng)網(wǎng)絡(luò)構(gòu)造了一個(gè)u型脈沖網(wǎng)絡(luò)，由于在脈沖神經(jīng)網(wǎng)絡(luò)中，信息的表示是通過(guò)二進(jìn)制時(shí)間序列數(shù)據(jù)而非連續(xù)形式實(shí)現(xiàn)的。這種方法使得脈沖神經(jīng)網(wǎng)絡(luò)能夠采用低功耗的累加方式，而非傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中常用的高功耗乘法累加方法，從而顯著提升了能源效率。此外，正向激勵(lì)學(xué)習(xí)通過(guò)集成π噪聲以?xún)?yōu)化復(fù)雜環(huán)境，為噪聲在提高圖像清晰度方面的性能提供了新的視角。