一種基于YOLOv4網(wǎng)絡(luò)的輸水隧洞裂縫檢測(cè)方法

本發(fā)明涉及輸水隧洞裂縫檢測(cè)，是一種基于yolov4網(wǎng)絡(luò)的輸水隧洞裂縫檢測(cè)方法。

背景技術(shù)：

1、輸水隧洞的襯砌大多是采用鋼筋混凝土結(jié)構(gòu)，常年運(yùn)行中，受到水流沖刷、內(nèi)部水壓、外部地質(zhì)壓力、巖層變化、溫度變化等一系列因素的影響，隧洞襯砌會(huì)出現(xiàn)脫落、裂縫、變形、露筋、塌方等缺陷。

2、輸水隧洞最典型的缺陷就是裂縫，裂縫的存在降低了襯砌的整體性和牢固度，大大縮短了隧洞的使用壽命，如不及時(shí)進(jìn)行檢測(cè)和維修極易造成重大事故。目前輸水隧洞裂縫檢測(cè)最常用的是儀器檢測(cè)和人工檢測(cè)，儀器檢測(cè)是通過(guò)在隧洞中預(yù)埋應(yīng)力計(jì)、鋼筋計(jì)、流量計(jì)、傾斜儀等傳感器進(jìn)行隧洞的安全狀態(tài)監(jiān)測(cè)，但是由于隧洞距離長(zhǎng)、直徑大，傳感器不能對(duì)隧洞全覆蓋，為了避免遺漏，需要進(jìn)行不定期的人工巡。首先將輸水隧洞斷水，把洞內(nèi)水排空，工作人員進(jìn)入隧洞進(jìn)行巡檢，巡檢過(guò)程中若發(fā)現(xiàn)裂縫則進(jìn)行拍照，對(duì)重要的裂縫進(jìn)行標(biāo)記，繪制裂縫分布圖，將數(shù)據(jù)帶回交由專家進(jìn)行分析?；蛘呤嵌磧?nèi)水排空后，工作人員使用超聲波探測(cè)、探地雷達(dá)技術(shù)、紅外成像技術(shù)、三維激光掃描技術(shù)等手段進(jìn)行裂縫的檢測(cè)。有時(shí)專家為了獲取更加精確的結(jié)果需要進(jìn)行二次現(xiàn)場(chǎng)勘察，對(duì)裂縫進(jìn)行取樣驗(yàn)證，獲取更多的檢測(cè)數(shù)據(jù)。這種方式需要較長(zhǎng)的檢測(cè)周期，且有些隧洞環(huán)境惡劣，工作人員難以抵達(dá)，導(dǎo)致檢測(cè)結(jié)果不可靠。另一種人工檢測(cè)方式是潛水員入水檢測(cè)，通過(guò)派遣專業(yè)潛水員攜帶水下檢測(cè)設(shè)備入水的方式來(lái)對(duì)輸水隧洞進(jìn)行檢測(cè)，但是由于專業(yè)潛水員對(duì)水工工程運(yùn)行特點(diǎn)不了解，導(dǎo)致此方法具有諸多的局限性。

3、隨著信息化的不斷發(fā)展，基于計(jì)算機(jī)視覺(jué)的缺陷檢測(cè)方法相較于人工檢測(cè)方法具有準(zhǔn)確性高、實(shí)時(shí)性強(qiáng)、檢測(cè)全面、成本低的優(yōu)點(diǎn)，被廣泛應(yīng)用于現(xiàn)代工業(yè)中。深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)(convolutioal?neural?networks,cnn)能夠通過(guò)訓(xùn)練來(lái)學(xué)習(xí)數(shù)據(jù)特征，對(duì)復(fù)雜結(jié)構(gòu)有很好的非線性表達(dá)能力，可以有效解決輸水隧洞裂縫圖像特征不明顯、目標(biāo)位置區(qū)域隨機(jī)等問(wèn)題，使用自主式水下航行器(autonomous?underwater?vehicle，auv)可以在輸水隧洞不斷水情況下進(jìn)行檢測(cè)，解決人工檢測(cè)的局限性。因此，開展基于深度學(xué)習(xí)的輸水隧洞裂縫檢測(cè)研究，實(shí)現(xiàn)不斷水的高效、快速、準(zhǔn)確全面檢測(cè)具有重要的工程應(yīng)用意義。

4、傳統(tǒng)裂縫檢測(cè)通常以人工視覺(jué)檢測(cè)為主，這種方法動(dòng)用資源多、效率低、檢測(cè)精度差?；趥鹘y(tǒng)圖像處理的裂縫檢測(cè)方法能較好的提取裂縫，但是僅能處理簡(jiǎn)單環(huán)境下的圖像，環(huán)境一旦變得復(fù)雜便不具有適用性，效果不理想。實(shí)際工程中裂縫一般具有裂縫與背景之間對(duì)比度底、裂縫對(duì)象內(nèi)灰度強(qiáng)度不均、裂縫形式多樣性等問(wèn)題。深度學(xué)習(xí)模型可以從底層學(xué)習(xí)裂縫特征，能夠很好地解決這些問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明為克服傳統(tǒng)裂縫檢測(cè)方法能方便快捷地進(jìn)行各種任務(wù)的實(shí)時(shí)性檢測(cè)，但是其往往需要人工設(shè)置和調(diào)整參數(shù)，且容易受到光照、噪聲等因素干擾，難以一次性達(dá)到很好的檢測(cè)效果。為了滿足輸水隧洞水下裂縫簡(jiǎn)單快速檢測(cè)，本發(fā)明提供一種基于yolov4網(wǎng)絡(luò)的輸水隧洞裂縫檢測(cè)方法。

2、需要說(shuō)明的是，在本文中，諸如第一和第二等之類的關(guān)系術(shù)語(yǔ)僅僅用來(lái)將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開來(lái)，而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且，術(shù)語(yǔ)“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過(guò)程、方法、物品或者設(shè)備不僅包括那些要素，而且還包括沒(méi)有明確列出的其他要素，或者是還包括為這種過(guò)程、方法、物品或者設(shè)備所固有的要素。

3、本發(fā)明提供了一種基于yolov4網(wǎng)絡(luò)的輸水隧洞裂縫檢測(cè)方法，本發(fā)明提供了以下技術(shù)方案：

4、一種基于yolov4網(wǎng)絡(luò)的輸水隧洞裂縫檢測(cè)方法，所述方法包括以下步驟：

5、步驟1：搜集裂縫圖像，篩選合并裂縫圖像；

6、步驟2：對(duì)裂縫圖像進(jìn)行預(yù)數(shù)理，并采用labelimg進(jìn)行標(biāo)注數(shù)據(jù)集，隨機(jī)劃分訓(xùn)練集合驗(yàn)證集；

7、步驟3：搭建yolov4網(wǎng)絡(luò)，設(shè)置并調(diào)節(jié)訓(xùn)練參數(shù)，根據(jù)隨機(jī)劃分的訓(xùn)練集合驗(yàn)證集訓(xùn)練模型；

8、步驟4：根據(jù)loss值繪制損失函數(shù)衰減曲線，根據(jù)曲線是否收斂來(lái)測(cè)試裂縫圖像，統(tǒng)計(jì)裂縫檢測(cè)準(zhǔn)確率。

9、優(yōu)選地，所述步驟1具體為：

10、尋找只包含裂縫的數(shù)據(jù)集，包括crackdetection、concretecrack、sdnet2018；crackdetection有6069張包括正負(fù)樣本的大小為224×224的橋梁裂縫圖像；concretecrack包含了4萬(wàn)張大小為227×227的各類路面裂縫，其中一半為正樣本，一半為負(fù)樣本；sdnet2018是一個(gè)包含了墻面、橋梁、路面等多種分類的大型混凝土裂縫數(shù)據(jù)集，共有超過(guò)56000張大小為256×256的圖像；

11、從以上公開數(shù)據(jù)集中挑選出9300張合適的裂縫圖像，加上用手機(jī)拍攝的路面以及墻面混凝土裂縫圖像500張，大壩水下裂縫圖像200張，共計(jì)10000張?jiān)紨?shù)據(jù)集；

12、使用cyclegan風(fēng)格轉(zhuǎn)換模型對(duì)地面裂縫數(shù)據(jù)集和輸水隧洞水下風(fēng)格數(shù)據(jù)集進(jìn)行訓(xùn)練，得到大量的輸水隧洞水下裂縫圖像，從中挑選出3500張符合真實(shí)情況的裂縫圖像作為原始數(shù)據(jù)集。

13、優(yōu)選地，所述步驟2具體為：

14、基于小波變換的輸水隧洞水下裂縫圖像去噪，使用有限長(zhǎng)的并會(huì)衰減的小波基替換傅立葉變換中無(wú)限長(zhǎng)的三角函數(shù)基，公式如下：

15、

16、其中，α表示控制小波函數(shù)伸縮的尺度；τ表示控制小波函數(shù)的平移；

17、采用平均梯度、均方誤差和峰值信噪比作為去噪圖像評(píng)價(jià)標(biāo)準(zhǔn)；

18、mg表達(dá)的是圖像對(duì)微小細(xì)節(jié)變化的速率，體現(xiàn)了圖像的細(xì)節(jié)表達(dá)，值越大說(shuō)明圖像對(duì)比度越強(qiáng)，計(jì)算公式如下：

19、

20、其中，m*n為圖像大小，和表示圖像水平和垂直方向梯度；

21、mse衡量的是圖像灰度變化，值越小說(shuō)明對(duì)噪聲的抑制效果越好，計(jì)算公式如下：

22、

23、其中，m·n為圖像大小，i(i,j)和i'(i,j)表示濾波前后像素點(diǎn)的灰度；

24、psnr評(píng)價(jià)的是圖像濾波前后失真程度，值越大說(shuō)明圖像失真越少，計(jì)算公式如下：

25、

26、優(yōu)選地，輸水隧洞水下裂縫圖像中選取3500張作為仿真實(shí)驗(yàn)數(shù)據(jù)集，將所有圖片分辨率resize為416×416來(lái)減少訓(xùn)練時(shí)間，為了保證模型泛化性能，將數(shù)據(jù)集按8:1:1隨機(jī)劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集；

27、使用labelimg標(biāo)注工具對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注，將標(biāo)注框命名為crack類，然后生成對(duì)應(yīng)的xml文件；由于本發(fā)明所用數(shù)據(jù)集裂縫大多貫穿整幅圖片，使用單框標(biāo)注覆蓋面積較大，背景區(qū)域占比太高不利于網(wǎng)絡(luò)學(xué)習(xí)，采用多個(gè)大小適中的標(biāo)注框交替覆蓋裂縫。

28、優(yōu)選地，所述步驟3具體為：

29、yolov4使用深層網(wǎng)絡(luò)加強(qiáng)目標(biāo)特征提取并獲取預(yù)測(cè)結(jié)果，特征圖在經(jīng)過(guò)spp模塊時(shí)都要經(jīng)過(guò)一個(gè)三次卷積塊，panet中每次堆疊之后都連接一個(gè)五次卷積塊。三次卷積塊由2個(gè)1×1卷積和1個(gè)3×3卷積組成，五次卷積塊由3個(gè)1×1卷積和2個(gè)3×3卷積組成，而yolohead中又包含1個(gè)3×3卷積和1個(gè)1×1卷積。由此可見(jiàn)，yolov4深層網(wǎng)絡(luò)中含有大量的3×3標(biāo)準(zhǔn)卷積，網(wǎng)絡(luò)模型復(fù)雜繁瑣，計(jì)算量大，為了使網(wǎng)絡(luò)更加輕量化，將深層網(wǎng)絡(luò)中的三次卷積塊、五次卷積塊、下采樣和yolo?head中的3×3標(biāo)準(zhǔn)卷積替換為深度可分離卷積；

30、深度學(xué)習(xí)中的注意力機(jī)制能夠讓網(wǎng)絡(luò)將重點(diǎn)放在圖像中的目標(biāo)區(qū)域，忽略冗余信息；通過(guò)建立特征通道之間的依賴關(guān)系對(duì)特征圖進(jìn)行權(quán)重分配，得到更加多樣化的深度特征；senet通過(guò)一維特征向量序列，獲得一個(gè)帶有權(quán)重的特征序列，以表示通道間的相關(guān)信息，將帶有權(quán)重的特征序列與對(duì)應(yīng)的二維特征圖序列相乘，即可生成新的基于權(quán)重分配的三維特征向量；

31、在panet模塊中的四個(gè)五次卷積塊后加入senet，提升了裂縫特征信息通道的權(quán)重，降低其他通道權(quán)重，放大了兩次特征金字塔的作用，使網(wǎng)絡(luò)同時(shí)具有輕量化和高檢測(cè)準(zhǔn)確率的特點(diǎn)。

32、優(yōu)選地，yolov4使用了的mish激活函數(shù)來(lái)提升整個(gè)網(wǎng)絡(luò)模型的精度上，mish激活函數(shù)是在relu激活函數(shù)的基礎(chǔ)上對(duì)relu激活函數(shù)的負(fù)半軸區(qū)間進(jìn)行優(yōu)化而來(lái)的函數(shù)，mish激活函數(shù)公式如下：

33、f(x)＝xtanh(ln(1+ex))。

34、優(yōu)選地，所述步驟4具體為：

35、裂縫檢測(cè)模型采用平均檢測(cè)精度ap和平均檢測(cè)時(shí)間t作為評(píng)價(jià)指標(biāo)，公式如下所示：

36、

37、

38、其中，p表示精確率，r表示召回率，ttotal表示目標(biāo)檢測(cè)總時(shí)間，n表示檢測(cè)圖片總數(shù)；

39、為了減少訓(xùn)練時(shí)間，采用遷移學(xué)習(xí)的思想對(duì)模型進(jìn)行訓(xùn)練，首先在voc數(shù)據(jù)集上對(duì)改進(jìn)yolov4的主干網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練得到模型初始權(quán)重，使模型具備基礎(chǔ)的特征提取能力；整個(gè)訓(xùn)練過(guò)程為600個(gè)epoch，動(dòng)量參數(shù)為0.9；將學(xué)習(xí)率設(shè)為0.0001，batchsize設(shè)為16。

40、一種基于yolov4網(wǎng)絡(luò)的輸水隧洞裂縫檢測(cè)系統(tǒng)，其特征是：所述系統(tǒng)包括：

41、數(shù)據(jù)采集模塊，所述數(shù)據(jù)采集模塊搜集裂縫圖像，篩選合并裂縫圖像；

42、預(yù)處理模塊，所述預(yù)處理模塊對(duì)裂縫圖像進(jìn)行預(yù)數(shù)理，并采用labelimg進(jìn)行標(biāo)注數(shù)據(jù)集，隨機(jī)劃分訓(xùn)練集合驗(yàn)證集；

43、網(wǎng)絡(luò)搭建模塊，所述網(wǎng)絡(luò)模型搭建模塊搭建yolov4網(wǎng)絡(luò)，設(shè)置并調(diào)節(jié)訓(xùn)練參數(shù)，根據(jù)隨機(jī)劃分的訓(xùn)練集合驗(yàn)證集訓(xùn)練模型；

44、測(cè)試模塊，所述測(cè)試模塊根據(jù)loss值繪制損失函數(shù)衰減曲線，根據(jù)曲線是否收斂來(lái)測(cè)試裂縫圖像，統(tǒng)計(jì)裂縫檢測(cè)準(zhǔn)確率。

45、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行，以用于實(shí)現(xiàn)一種基于yolov4網(wǎng)絡(luò)的輸水隧洞裂縫檢測(cè)方法

46、一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)一種基于yolov4網(wǎng)絡(luò)的輸水隧洞裂縫檢測(cè)方法

47、本發(fā)明具有以下有益效果：

48、本發(fā)明與現(xiàn)有技術(shù)相比：

49、本發(fā)明提出的一種基于yolov4網(wǎng)絡(luò)的輸水隧洞裂縫檢測(cè)方法，yolov4的準(zhǔn)確率和檢測(cè)速度均衡，在coco和voc等數(shù)據(jù)集上都有很好的檢測(cè)效果，是目前很好的目標(biāo)檢測(cè)算法之一。檢測(cè)對(duì)象只有裂縫一種種類，由于裂縫本身特征原因以及輸水隧洞環(huán)境問(wèn)題，使得特征提取難度大，訓(xùn)練易出現(xiàn)過(guò)擬合。且yolov4網(wǎng)絡(luò)復(fù)雜，參數(shù)多，檢測(cè)時(shí)間相對(duì)較長(zhǎng)，不適合直接用于輸水隧洞水下裂縫檢測(cè)。本發(fā)明基于yolov4網(wǎng)絡(luò)進(jìn)行改進(jìn)，使網(wǎng)絡(luò)輕量化并提高了檢測(cè)速度。

50、為了滿足輸水隧洞水下裂縫檢測(cè)實(shí)時(shí)性要求，本發(fā)明改進(jìn)yolov4，首先將yolov4中的主干網(wǎng)絡(luò)cspdarknet53替換為mobilenetv2，使主干特征提取網(wǎng)絡(luò)輕量化；然后將深層網(wǎng)絡(luò)中的三次卷積塊、五次卷積塊、下采樣和yolo?head中的3×3標(biāo)準(zhǔn)卷積替換為深度可分離卷積進(jìn)一步使網(wǎng)絡(luò)輕量化；最后在panet模塊中的五次卷積塊后加入senet來(lái)提高網(wǎng)絡(luò)的特征提取能力。通過(guò)消融實(shí)驗(yàn)對(duì)比，證明了本發(fā)明改進(jìn)網(wǎng)絡(luò)同時(shí)具有輕量化和高檢測(cè)準(zhǔn)確率的特點(diǎn)。