本發明屬于但不限于智慧機場,尤其涉及一種基于多尺度注意力的飛機艙門檢測方法及系統。
背景技術:
1、登機橋是機場用以連接候機廳與飛機之間的可移動升降的通道。隨著機場及整個運輸系統的發展,機場的規模越來越大,旅客運載量也與日俱增,登機橋的使用率也隨之大幅增長,登機橋作為連接機場與飛機的紐帶在機場運行中承擔著至關重要的作用,登機橋對接效率會直接影響機場的運行效率。
2、人工駕駛登機橋需要耗費大量的培訓成本,同時容易出現誤操作導致機場安全事故的發生。無人駕駛登機橋利用自身的高精度傳感器以及智能感知算法,完成對周圍環境的感知和與飛機艙門的對接,可以實現更安全、高效的艙門對接過程,是目前智慧機場的發展趨勢之一。
3、隨著人工智能、計算機視覺的發展,目前基于深度學習的實時目標檢測器yolo已經被應用于無人駕駛登機橋的飛機艙門檢測中,是與本發明最接近的實現方案。yolo通過基于cnn的主干網絡提取特征飛機艙門圖像中的局部特征,如艙門邊框、艙門踏板、手柄、觀察窗等,用基于特征金字塔結構的頸部網絡融合多尺度特征,最后在不同尺度的特征圖上檢測不同大小的艙門目標,通過卷積檢測頭輸出目標的位置信息,可以在簡單涂裝艙門檢測上達到較高的精度。
4、機身復雜涂裝會對艙門檢測帶來極大的干擾,復雜涂裝具有較高的隨機性,含有豐富的邊緣信息、色彩信息,對飛機艙門的局部特征提取影響嚴重。目前,yolo在常規涂裝飛機艙門檢測上能達到90%以上的準確率,在復雜涂裝飛機艙門上卻經常出現漏檢情況,準確率不及80%。
5、現有的飛機艙門檢測方法使用yolo作為艙門檢測模型,yolo的主干網絡、頸部網絡、檢測頭均采用卷積架構,卷積操作通過對局部感受野內的信息進行加權來提取特征,因此yolo更傾向于利用圖像中的局部信息來檢測艙門。飛機艙門上的復雜涂裝對艙門的局部特征的識別影響較大,因此yolo在復雜涂裝飛機艙門檢測場景精度不高。
6、鑒于上述分析,現有技術存在的急需解決的技術問題為:
7、(1)現有的飛機艙門檢測模型yolo主要利用圖像中的局部特征識別艙門,在機身帶有復雜涂裝的情況下,飛機艙門的局部特征難以提取,yolo在這種情況下精度不足。
8、(2)現有的基于transformer的目標檢測模型普遍存在實時性不足的特點,難以滿足無人駕駛登機橋自動對接艙門的實時性要求。
技術實現思路
1、針對現有技術存在的問題,本發明提供了一種基于多尺度注意力的飛機艙門檢測方法及系統。
2、本發明是這樣實現的,一種基于多尺度注意力的飛機艙門檢測方法,該方法具體包括:
3、s1:搭建基于多尺度注意力和可變形注意力的視覺transformer艙門檢測模型。
4、s2:采集包含多種涂裝樣式的飛機艙門數據集,訓練復雜涂裝飛機艙門檢測模型。
5、s3:將訓練好的艙門檢測模型部署在無人駕駛登機橋,實時檢測登機橋橋頭攝像頭傳輸的畫面。
6、進一步,所述s1,模型包括主干網絡、編碼器、解碼器三個部分:
7、(1)主干網絡:主干網絡用于對輸入艙門圖像進行初步的特征提取,同時進行逐層下采樣,為頸部網絡提供多尺度特征圖,現有的能輸出多尺度特征圖的主流網絡模型如resnet、mobilenet、vision?tranformer等均可作為主干網絡。
8、(2)編碼器:編碼器是一個包含多尺度transformer編碼器和多尺度特征金字塔的架構,多尺度transformer編碼器包括一個多尺度注意力模塊、一個前饋網絡模塊以及兩個殘差歸一化層,多尺度注意力模塊將圖像按通道分割成多組,不同組特征圖分給不同的注意力頭部,在不同頭部上進行不同的擴展率的滑動窗口自注意操作,從而提取圖像中的不同大小艙門目標的邊緣信息,多尺度特征金字塔接收多尺度transformer編碼器的輸出和主干網絡的淺層輸出,通過一條上采樣路徑和下采樣路徑融合不同的多尺度特征。
9、(3)解碼器:用于從編碼器輸出的特征圖中預測目標,采用的解碼器是一個多層的可變形transformer解碼器,每個解碼器層由一個多頭自注意力模塊、一個可變形注意力模塊和一個前饋網絡模塊組成,這些模塊的輸出在進入到下一個模塊之前進行殘差連接和層歸一化。
10、進一步,所述s2,訓練階段的具體步驟如下:
11、(1)利用搭載在登機橋橋頭的攝像頭,在不同的位置、天氣、光照等條件下采集多種涂裝樣式的飛機艙門圖片,也可采集網絡上的圖片對數據集進行擴充。
12、(2)對圖片進行幾何變換增廣如平移、裁剪、翻轉、旋轉以及顏色變換增廣如亮度變換、加入噪聲、對比度調節、飽和度調節等,通過數據增廣擴充訓練樣本數量。
13、(3)對數據集標注標簽,每張圖片對應一個txt文本文件,txt文本文件的每一行對應圖片中的一個艙門,每行內容包括目標類別、目標邊界框的中心坐標以及尺寸。
14、(4)將數據集按一定比例拆分為訓練集和測試集,將訓練集輸入到檢測模型中,通過反向傳播算法進行訓練模型參數,用測試集測試模型的檢測精度、推理速度,當精度和推理速度達到要求后,就可以將訓練好的目標檢測模型用于艙門檢測。
15、進一步,所述s3,在檢測階段,啟動搭載在登機橋橋頭的攝像頭,對機身進行實時的視頻采集,利用訓練好的艙門檢測模型實時檢測每一幀畫面中的艙門位置,所述檢測階段的具體步驟如下:
16、(1)將訓練好的模型部署到無人駕駛登機橋的工控機上。
17、(2)啟動搭載在登機橋橋頭的攝像頭,采集飛機艙門視頻數據。
18、(3)將視頻流輸入訓練好的艙門檢測模型中,實時檢測每一幀視頻畫面中的艙門,輸出艙門的檢測框的中心坐標、長度、寬度信息。
19、本發明另一目的在于提供一種基于多尺度注意力的飛機艙門檢測系統,該系統具體包括:
20、視覺transformer艙門檢測模型,該模型基于多尺度注意力和可變形注意力,包含主干網絡、編碼器和解碼器,用于對飛機艙門圖像進行特征提取和檢測。
21、數據采集裝置,用于在不同位置、天氣和光照條件下采集多種涂裝樣式的飛機艙門圖片,并對數據集進行幾何和顏色變換增廣。
22、訓練模塊,用于對采集到的數據進行標注,將數據集拆分為訓練集和測試集,通過反向傳播算法訓練模型參數。
23、部署模塊,用于將訓練好的艙門檢測模型部署在無人駕駛登機橋的工控機上,實現實時檢測。
24、進一步,所述視覺transformer艙門檢測模型包括:
25、主干網絡,用于對輸入的飛機艙門圖像進行初步特征提取,逐層下采樣,輸出多尺度特征圖,主流網絡模型如resnet、mobilenet、vision?transformer均可作為主干網絡。
26、編碼器,包括多尺度transformer編碼器和多尺度特征金字塔,用于通過多尺度注意力模塊和前饋網絡模塊提取圖像中的不同大小艙門目標的邊緣信息,并通過上采樣路徑和下采樣路徑融合多尺度特征。
27、解碼器,由多層可變形transformer解碼器組成,每層包含多頭自注意力模塊、可變形注意力模塊和前饋網絡模塊,用于從編碼器輸出的特征圖中預測艙門的位置和大小。
28、進一步,所述數據采集裝置包括:
29、攝像頭,搭載在登機橋橋頭,用于在不同位置、天氣和光照條件下采集多種涂裝樣式的飛機艙門圖片。
30、數據增廣模塊,用于對采集到的圖片進行幾何變換(如平移、裁剪、翻轉、旋轉)和顏色變換(如亮度變換、加入噪聲、對比度調節、飽和度調節)增廣,擴充訓練樣本數量。
31、數據標注模塊,用于對數據集進行標注,每張圖片記錄艙門的類別、中心坐標和尺寸。
32、進一步,所述部署模塊包括:
33、工控機,用于部署訓練好的艙門檢測模型,并處理實時視頻流。
34、實時檢測模塊,啟動搭載在登機橋橋頭的攝像頭,采集飛機艙門的視頻數據,將視頻流輸入訓練好的艙門檢測模型,實時檢測每一幀視頻畫面中的艙門,輸出艙門的檢測框的中心坐標、長度和寬度信息。
35、結合上述的技術方案和解決的技術問題,本發明所要保護的技術方案所具備的優點及積極效果為:
36、第一、本發明提出的方法具有更強的長距離信息建模能力和全局特征提取能力,更傾向于通過艙門的形狀特征識別艙門,在機身帶有復雜涂裝的場景下具有更高的精度。傳統的yolo模型在處理復雜涂裝飛機艙門時,由于其依賴于局部信息,容易受到復雜涂裝的干擾,導致復雜涂裝飛機艙門誤檢和漏檢情況較多。而本發明通過引入多尺度注意力機制和視覺transformer架構,有效建模圖像中的長距離依賴關系,增強了對艙門形狀特征的識別能力,從而顯著提高了在復雜涂裝場景下的檢測精度。
37、此外,本發明提出的模型采用的實時性更好的基于多尺度注意力的編碼器結構,能夠滿足無人駕駛登機橋自動對接艙門的實時性要求,確保了登機橋自動對接系統的運行效率。
38、本發明提出一種基于多尺度注意力的飛機艙門檢測方法,針對復雜涂裝飛機艙門檢測場景設計與優化艙門檢測模型結構。本發明提出的模型采用基于多尺度注意力的視覺transformer架構,相比于yolo具有更強的長距離信息建模能力,更傾向于通過圖像中艙門的形狀特征來識別艙門,有利于提高復雜涂裝飛機艙門檢測的準確率,減少誤檢、漏檢情況。
39、第二,作為本發明的權利要求的創造性輔助證據,還體現在以下幾個重要方面:
40、隨著智慧機場建設的不斷推進,無人駕駛登機橋作為未來機場運行的重要趨勢,其市場需求將不斷擴大。本發明的技術方案能夠顯著提高無人駕駛登機橋在復雜涂裝飛機艙門檢測中的精度和穩定性,降低誤檢和漏檢率,從而提升整個對接過程的效率和安全性。這將為機場運營商節省大量的人力成本和培訓成本,提高機場的運行效率和服務質量,進而帶來顯著的經濟效益。
41、本發明的技術方案解決了人們一直渴望解決、但始終未能獲得成功的技術難題:
42、由于飛機的涂裝樣式隨機、色彩紋理信息復雜且機身涂裝經常變更,對于艙門檢測模型是難以學習的特征,復雜涂裝對飛機艙門的識別造成了嚴重的干擾。長期以來,復雜涂裝飛機艙門的檢測一直是無人駕駛登機橋自動對接飛機艙門技術落地應用的一個難題。本發明的技術方案通過優化模型結構,提高了在復雜涂裝飛機艙門場景下的檢測精度,解決了這一長期困擾行業的技術難題,有效減少了無人駕駛登機橋的使用場景限制,推進無人駕駛登機橋的落地應用,為智慧機場的發展注入了新的活力。
43、第三,本發明針對現有技術中飛機艙門檢測的精度不高、適應性差以及難以在復雜環境下實現實時檢測的問題,提出了一種基于多尺度注意力的飛機艙門檢測方法,顯著提高了檢測的準確性和效率。傳統方法往往依賴于單一的圖像處理技術或簡單的機器學習模型,在面對不同的涂裝樣式、光照條件以及復雜背景時,檢測效果不理想,導致登機橋對接不準甚至失敗,嚴重影響了機場的運行效率和安全性。
44、首先,本發明通過構建多尺度注意力和可變形注意力的視覺transformer檢測模型,能夠有效提取多尺度特征,尤其在處理復雜背景和多樣化涂裝時表現出色。多尺度transformer編碼器和解碼器的結合,使得模型能夠準確識別不同大小和形狀的艙門,并提取艙門的邊緣信息,解決了傳統方法中因特征提取不足而導致的檢測不準確問題。此外,通過引入可變形注意力機制,本發明的模型能夠在變形區域內靈活調整注意力窗口,更加精確地定位艙門的具體位置和尺寸,進一步提高了檢測的精度。
45、其次,本發明通過在多種涂裝樣式和復雜光照條件下采集和訓練數據集,使得模型能夠適應多種現實場景。特別是在夜間低光照條件下,傳統檢測方法容易因光照不足而失效,而本發明通過對低光照數據的專門處理和模型的調優,確保了在各種光線條件下的檢測魯棒性。這一進步解決了傳統檢測系統在特定環境下的適應性不足的問題,使得艙門檢測在全天候、全場景下均能高效運行。
46、最后,本發明還通過模型的高效訓練和優化,實現了對攝像頭實時傳輸畫面的高效處理。將訓練好的模型部署到無人駕駛登機橋后,可以實時分析和檢測視頻流中的艙門信息,并迅速輸出檢測結果。相比傳統方法,本發明不僅在檢測精度上取得了顯著提升,還大幅度提高了檢測速度,能夠及時響應機場復雜的運營需求,顯著提升了機場的自動化水平和作業效率。