本申請涉及計算機視覺,尤其涉及一種用于邊緣設備的圖像處理方法、裝置、輕量級架構、電子設備及可讀存儲介質。
背景技術:
1、視覺模型是由神經網絡作為骨干以進行圖像處理,視覺模型在邊緣設備上的部署通常受到邊緣設備的計算資源、存儲資源的制約,同時邊緣設備具備較高的延時需求,因此,邊緣設備上的視覺模型具有輕量級、小計算以及低延時的特點。
2、在一些場景下,視覺模型通常使用卷積神經網絡(convolution?neural?network,cnn)作為骨干進行圖像處理,cnn包含空間歸納偏置,因此參數量少、訓練易收斂,但難以建模像素間的遠距離空間關系。基于此,自注意機制的深度神經網絡引入了視覺領域,其具備更強大的遠距離空間關系建模能力,因此基于transformer的骨干迅速在多類視覺任務中取得了比cnn骨干更具競爭力的結果,但由于transformer結構計算復雜度更高、且圖像數據維度較大,造成了transformer骨干大計算量、大參數量、高延時的特性,其并不適用于邊緣設備,雖然segformer對transformer骨干進行了輕量級改進,但是其網絡結構過于精簡,難以提取圖像的局部上下文,導致模型的精度較低。因此,如何構建既能滿足遠距離空間關系建模能力又能滿足精度要求的輕量化視覺模型是本領域技術人員需要解決的問題。
技術實現思路
1、本申請實施例的目的是提供一種用于邊緣設備的圖像處理方法、裝置、神經網絡輕量級架構、電子設備及可讀存儲介質,能夠有效規避現有的視覺模型難以提取圖像的局部上下文,導致模型的精度較低以及缺乏遠距離空間關系的建模能力的問題。
2、為了解決上述技術問題,本申請實施例是這樣實現的:
3、第一方面,本申請實施例提供了一種用于邊緣設備的圖像處理方法,該用于邊緣設備的圖像處理方法包括:獲取待處理的目標圖像;將所述目標圖像輸入到輕量化骨干視覺模型,通過所述輕量化骨干視覺模型中瓶頸結構的局部聚合模塊聚合所述目標圖像的目標像素點的鄰域范圍內的局部上下文信息,所述局部聚合模塊的參數量小于閾值;通過所述瓶頸結構的稀疏注意力模塊對所述目標圖像進行池化,并建立所述目標圖像池化后的像素點之間的遠距離空間關系;通過所述稀疏注意力模塊根據所述遠距離空間關系聚合所述目標圖像的像素點的全局上下文信息。
4、第二方面,本申請實施例提供了一種邊緣設備的神經網絡輕量級架構,邊緣設備的神經網絡輕量級架構包括:瓶頸結構,所述瓶頸結構包括:局部聚合模塊和稀疏注意力模塊;所述局部聚合模塊用于聚合目標圖像的目標像素點的鄰域范圍內的局部上下文信息,所述局部聚合模塊的參數量小于閾值;所述稀疏注意力模塊用于對所述目標圖像進行池化,并建立所述目標圖像池化后的像素點之間的遠距離空間關系;所述稀疏注意力模塊還用于根據所述遠距離空間關系聚合所述目標圖像的像素點的全局上下文信息。
5、第三方面,本申請實施例提供了一種電子設備,包括處理器、通信接口、存儲器和通信總線;其中,處理器、通信接口以及存儲器通過通信總線完成相互間的通信;存儲器,用于存放計算機程序;處理器,用于執行存儲器上所存放的程序,實現如第一方面所提到的用于邊緣設備的圖像處理方法步驟。
6、第四方面,本申請實施例提供了一種計算機可讀存儲介質,計算機可讀存儲介質上存儲有計算機程序,計算機程序被處理器執行時,實現如第一方面所提到的用于邊緣設備的圖像處理方法步驟。
7、第五方面,本申請實施例提供了一種用于邊緣設備的圖像處理裝置,包括:獲取模塊,用于獲取待處理的目標圖像;聚合模塊,用于將所述目標圖像輸入到輕量化骨干視覺模型,通過所述輕量化骨干視覺模型中瓶頸結構的局部聚合模塊聚合所述目標圖像的目標像素點的鄰域范圍內的局部上下文信息,所述局部聚合模塊的參數量小于閾值;建立模塊,用于通過所述瓶頸結構的稀疏注意力模塊對所述目標圖像進行池化,并建立所述目標圖像池化后的像素點之間的遠距離空間關系;聚合模塊,用于通過所述稀疏注意力模塊根據所述遠距離空間關系聚合所述目標圖像的像素點的全局上下文信息。
8、由以上本申請實施例提供的技術方案可見,通過獲取待處理的目標圖像,然后將目標圖像輸入到輕量化骨干視覺模型中,通過輕量化骨干視覺模型中瓶頸結構的局部聚合模塊聚合目標圖像的目標像素點的鄰域范圍內的局部上下文信息,局部聚合模塊的參數量小于閾值,再通過瓶頸結構的稀疏注意力模塊對目標圖像進行池化,并建立目標圖像池化后的像素點之間的遠距離空間關系,最后通過稀疏注意力模塊根據遠距離空間關系聚合目標圖像的像素點的全局上下文信息。如此,本申請實施例提供的輕量化骨干視覺模型的瓶頸結構中局部聚合模塊的參數量小于閾值,其在邊緣設備中更加輕量化,且瓶頸結構既能聚合局部上下文信息又能建立圖像的像素點之間的遠距離關系以提取全局上下文信息,能夠有效規避現有的視覺模型難以提取圖像的局部上下文,導致模型的精度較低以及缺乏遠距離空間關系的建模能力的問題。
1.一種用于邊緣設備的圖像處理方法,其特征在于,所述用于邊緣設備的圖像處理方法包括:
2.根據權利要求1所述的用于邊緣設備的圖像處理方法,其特征在于,在所述通過所述稀疏注意力模塊根據所述遠距離空間關系聚合所述目標圖像的像素點的全局上下文信息之后,所述方法還包括:
3.根據權利要求2所述的用于邊緣設備的圖像處理方法,其特征在于,所述通過所述瓶頸結構的局部擴張模塊將所述目標圖像的第一像素點的全局上下文信息傳遞至第二像素點包括:
4.根據權利要求1-3任意一項所述的用于邊緣設備的圖像處理方法,其特征在于,所述通過所述輕量化骨干視覺模型中瓶頸結構的局部聚合模塊聚合所述目標圖像的目標像素點的鄰域范圍內的局部上下文信息包括:
5.根據權利要求1-3任意一項所述的用于邊緣設備的圖像處理方法,其特征在于,所述通過所述瓶頸結構的稀疏注意力模塊對所述目標圖像進行池化,并建立所述目標圖像池化后的像素點之間的遠距離空間關系包括:
6.根據權利要求1所述的用于邊緣設備的圖像處理方法,其特征在于,所述瓶頸結構的數量為至少一個。
7.一種用于邊緣設備的神經網絡輕量級架構,其特征在于,所述神經網絡輕量級架構包括:瓶頸結構,所述瓶頸結構包括:局部聚合模塊和稀疏注意力模塊;
8.根據權利要求7所述的邊緣設備的神經網絡輕量級架構,其特征在于,所述瓶頸結構還包括:局部擴張模塊,所述局部擴張模塊,用于將所述目標圖像的第一像素點的全局上下文信息傳遞至第二像素點,以恢復經所池化處理后的目標圖像的分辨率。
9.根據權利要求7或8所述的邊緣設備的神經網絡輕量級架構,其特征在于,所述局部聚合模塊包括深度可分離卷積神經網絡和混合前饋網絡;
10.一種用于邊緣設備的圖像處理裝置,其特征在于,包括: