本申請屬于航空數字化檢測領域領域,特別涉及一種飛機艙內管路安裝符合性智能識別方法及系統。
背景技術:
1、隨著航空智能化檢測程度不斷提升,飛機艙內管路安裝符合性檢查成為飛機健康狀態檢測的重要環節。
2、傳統的人工目視檢查方法效率較低,檢測結果易受到人為因素的影響,存在漏檢、錯檢的風險,無法保障產品狀態檢查的穩定性,成為制約了產品高質量、高可靠交付的關鍵因素,需要充分利用數字化、信息化與智能化技術手段,提升復雜工況下的艙內管路健康狀態的可靠性及效率。
3、因此,希望有一種技術方案來克服或至少減輕現有技術的至少一個上述缺陷。
技術實現思路
1、本申請的目的是提供了一種飛機艙內管路安裝符合性智能識別方法及系統,以解決現有技術中人工目視檢查飛機管路安裝狀態造成的效率低、漏檢等問題。
2、本申請的技術方案是:一種飛機艙內管路安裝符合性智能識別方法,包括:
3、利用便攜式圖像采集設備收集飛機艙內各區域圖像,直至采集范圍覆蓋整個艙內區域,對采集的飛機艙內表面圖像的管路區域進行標注,根據分割區域和類型標注信息建立管路圖像數據庫;
4、根據管路圖像數據庫搭建面向管路圖像語義分割的深度神經網絡模型,利用管路圖像數據庫對深度神經網絡模型進行訓練,直至深度神經網絡模型的訓練損失值下降至穩定值并且測試精度穩定,得到管路圖像語義分割模型;
5、實時采集飛機艙內表面圖像,利用管路圖像語義分割模型,對艙內管路位置區域的像素級圖像分割,獲得艙內表面圖像中管路區域與類型特征信息,并在艙內各區域表面圖像上利用高亮顏色標記出管路區域,獲得飛機艙內各區域標記后的表面圖像;
6、將飛機艙內各區域標記后的表面圖像與對應的管路理論位置圖像進行對比,從而直觀獲得艙內各區域管路健康狀態檢查結果;
7、將管路健康狀態檢查結果與飛機艙內各區域標記后的表面圖像反饋至數據管理系統進行存儲、管理與顯示。
8、優選地,所述構建管路圖像數據庫,包括:
9、在不同光線強度下,通過工業相機在機上進行艙內表面狀態圖像采集,人工篩選存在管路的圖像,得到一定數量的艙內管路圖像;
10、對所述艙內管路圖像中的管路目標區域進行圖像分割標注,生成標簽文檔,每張管路圖像對一個標簽文檔;根據所述艙內管路圖像以及所述標簽文檔,生成管路圖像數據庫。
11、優選地,對每一張艙內管路圖像中的管路目標區域進行圖像分割標注時,生成對應的json格式的標簽文檔,所述管路圖像數據庫包括艙內管路圖像與對應的標簽文檔。
12、所述標簽文檔中包括艙內管路圖像的名稱、圖像中管路區域的坐標信息。
13、優選地,所述管路圖像語義分割模型采用基于卷積神經網絡的編碼-解碼架構,且所述管路圖像語義分割模型內設置有特征增強模塊,所述特征增強模塊包括編碼部分的特征注意力機制單元與解碼部分的特征融合單元,其中,
14、所述特征注意力機制單元對特征的處理方式為:
15、
16、
17、
18、其中,fin為輸入特征,fout為輸出特征,與分別是由輸入特征fin沿空間h×w的維度進行最大值池化運算和平均值池化運算獲得,與分別是由輸入特征fin沿通道軸c的維度進行最大值池化運算和平均值池化運算獲得,fc1與fc2為全連接層,conv2d與upsample分別為卷積層與上采樣層,σ為激活函數sigmoid,表示特征逐點元素相加運算,⊙表示特征逐點元素相乘運算。
19、所述特征融合單元對特征的處理方式為:
20、f3=concat(f1,f2)
21、f4=fc2(fc1(gap(f3)))
22、fc=σ(f4)⊙f3
23、其中,f1與f2分別為不同尺度的輸入特征,fc為輸出融合特征,gap為全局均值池化運算,σ為激活函數sigmoid,⊙表示特征逐點元素相乘運算。
24、優選地,在通過所述管路圖像數據庫對所述管路圖像語義分割模型進行訓練之前,采用數據增強方法對所述管路圖像數據庫中的圖像數據進行擴充,提升模型訓練精度,所述數據增強方法對圖像數據的處理方式包括亮度調節、加入噪聲以及隨機旋轉。
25、優選地,在通過所述管路圖像數據庫對所述管路圖像語義分割模型進行訓練時,通過前向推理運算獲得預測值與真值標簽之間的訓練損失值,通過反向傳播計算損失函數相對于模型參數的梯度并獲得模型中每個參數的梯度值,使用梯度信息更新校正模型參數,使得所述管路圖像語義分割模型訓練損失值逐漸下降并收斂到一定數值,從而實現對所述管路圖像語義分割模型的訓練過程。
26、優選地,在對健康狀態下的飛機艙內表面進行拍攝前,艙內表面進行手動劃分網格區域,獲得艙內各區域管路理論位置圖像;在進行飛機管路健康狀態檢測時,每次相機采集范圍需要正對一個艙內網格區域內的表面進行拍攝。
27、作為一種具體實施方式,一種飛機艙內管路安裝符合性智能識別系統,采用上述所述的方法,包括:便攜式圖像采集設備、圖像處理服務器和數據管理系統,所述便攜式圖像采集設備由高清工業相機和輔助光源組成,能夠實時采集飛機艙內表面圖像并通過有線網絡將飛機艙內表面圖像傳輸至圖像處理服務器,所述圖像處理服務器包括數據增強模塊、模型訓練與驗證模塊、管路圖像語義分割模型,所述數據增強模塊能夠擴充管路圖像數據庫內艙內管路圖像的數量,從而提升模型訓練的檢測精度,所述模型訓練與驗證模塊能夠對管路圖像語義分割模型進行訓練和性能驗證,所述管路圖像語義分割模型能夠對艙內管路的分布位置信息進行區域分割,得到艙內管路分布識別結果,所述數據管理系統能夠對艙內管路分布識別結果進行數據記錄與管理。
28、本申請的一種飛機艙內管路安裝符合性智能識別方法,先利用高清工業相機采集飛機艙內各區域圖像,并對各區域圖像進行管路區域標注,建立管路圖像數據庫,搭建面向管路圖像語義分割的深度神經網絡模型,再利用管路圖像數據庫對深度神經網絡模型進行訓練,得到管路圖像語義分割模型;工作過程中通過實時采集飛機艙內表面圖像,利用管路圖像語義分割模型即可完成對艙內管路位置區域的像素級圖像分割,與艙內管路理論位置圖像進行對比,從而直觀顯示艙內各區域健康狀態檢查結果;能夠實現飛機艙內表面圖像的管路安裝狀態符合性快速檢查,極大提高飛機艙內管路狀態檢查的效率與準確度。
1.一種飛機艙內管路安裝符合性智能識別方法,其特征在于,包括:
2.根據權利要求1所述的飛機艙內管路安裝符合性智能識別方法,其特征在于,所述構建管路圖像數據庫,包括:
3.根據權利要求2所述的飛機艙內管路安裝符合性智能識別方法,其特征在于,所述標簽文檔中包括艙內管路圖像的名稱、圖像中管路區域的坐標信息。
4.根據權利要求1所述的飛機艙內管路安裝符合性智能識別方法,其特征在于,所述管路圖像語義分割模型采用基于卷積神經網絡的編碼-解碼架構,且所述管路圖像語義分割模型內設置有特征增強模塊,所述特征增強模塊包括編碼部分的特征注意力機制單元與解碼部分的特征融合單元,其中,
5.根據權利要求1所述的飛機艙內管路安裝符合性智能識別方法,其特征在于,在通過所述管路圖像數據庫對所述管路圖像語義分割模型進行訓練之前,采用數據增強方法對所述管路圖像數據庫中的圖像數據進行擴充,提升模型訓練精度,所述數據增強方法對圖像數據的處理方式包括亮度調節、加入噪聲以及隨機旋轉。
6.根據權利要求1所述的飛機艙內管路安裝符合性智能識別方法,其特征在于,在通過所述管路圖像數據庫對所述管路圖像語義分割模型進行訓練時,通過前向推理運算獲得預測值與真值標簽之間的訓練損失值,通過反向傳播計算損失函數相對于模型參數的梯度并獲得模型中每個參數的梯度值,使用梯度信息更新校正模型參數,使得所述管路圖像語義分割模型訓練損失值逐漸下降并收斂到一定數值,從而實現對所述管路圖像語義分割模型的訓練過程。
7.根據權利要求1所述的飛機艙內管路安裝符合性智能識別方法,其特征在于,在對健康狀態下的飛機艙內表面進行拍攝前,艙內表面進行手動劃分網格區域,獲得艙內各區域管路理論位置圖像;在進行飛機管路健康狀態檢測時,每次相機采集范圍需要正對一個艙內網格區域內的表面進行拍攝。
8.一種飛機艙內管路安裝符合性智能識別系統,采用如權利要求1至7中任意一項所述的飛機艙內管路安裝符合性智能識別方法,其特征在于,包括:便攜式圖像采集設備、圖像處理服務器和數據管理系統,所述便攜式圖像采集設備由高清工業相機和輔助光源組成,能夠實時采集飛機艙內表面圖像并通過有線網絡將飛機艙內表面圖像傳輸至圖像處理服務器,所述圖像處理服務器包括數據增強模塊、模型訓練與驗證模塊、管路圖像語義分割模型,所述數據增強模塊能夠擴充管路圖像數據庫內艙內管路圖像的數量,從而提升模型訓練的檢測精度,所述模型訓練與驗證模塊能夠對管路圖像語義分割模型進行訓練和性能驗證,所述管路圖像語義分割模型能夠對艙內管路的分布位置信息進行區域分割,得到艙內管路分布識別結果,所述數據管理系統能夠對艙內管路分布識別結果進行數據記錄與管理。