本發明屬于魚類行為識別領域,尤其涉及基于行為視覺節奏差異性感知的魚類行為識別方法及系統。
背景技術:
1、本部分的陳述僅僅是提供了與本發明相關的背景技術信息,不必然構成在先技術。
2、隨著人口數量的增加和人們生活消費水平的提高,傳統的漁業捕撈作業方式已經無法滿足水產品消費大幅上漲的需求;水產養殖業作為可持續供應水產品的重要途徑,其發展速度顯著加快;行為是反映水產養殖中魚類狀態的重要指標,對魚類行為進行識別可以實時了解和預警魚類狀態,這對水產養殖管理具有重要意義;例如,通過識別魚類的攝食行為,可以制定科學的投喂策略,降低養殖成本并提高生產效率;同時,通過識別魚類的異常行為,能幫助養殖管理者及時調整養殖環境,確保魚類的健康和福祉。
3、伴隨著人工智能時代的到來,深度學習為魚類行為識別提供了新的方向;與手工特征方法相比,深度學習方法能夠從原始數據中自動提取到更加抽象和高級的特征表示,從而實現更好的識別效果;然而,現有基于視頻理解的魚類行為識別方法一般通過雙流網絡或3d卷積神經網絡架構提取魚類行為的時間信息,但并未對其進行更加精細化的建模,尤其是忽略了行為視覺節奏對魚類行為識別的重要性。行為視覺節奏描述了魚類在時間尺度上進行游泳運動的速率,部分魚類行為在行為視覺節奏上的差異遠大于其在空間外觀上的差異,例如恐懼行為和饑餓行為的空間外觀表現相似,但在時間維度上這兩種魚類行為的游泳運動速率卻有著較大差異;因此,現有方法對魚類行為視覺節奏這一時間信息利用不夠充分,難以區分空間外觀相似的魚類行為,導致魚類行為識別不準確。
技術實現思路
1、為克服上述現有技術的不足,本發明提供了基于行為視覺節奏差異性感知的魚類行為識別方法及系統,精細化建模魚類的行為視覺節奏這一時間信息,提高行為識別準確率。
2、為實現上述目的,本發明的一個或多個實施例提供了如下技術方案:
3、本發明第一方面提供了基于行為視覺節奏差異性感知的魚類行為識別方法。
4、基于行為視覺節奏差異性感知的魚類行為識別方法,包括:
5、獲取待識別的魚類行為視頻,對視頻進行幀采樣,得到一組連續的幀序列;
6、感知所述幀序列中的行為視覺節奏差異性,提取一組具有不同視覺節奏的層級特征;
7、對層級特征進行時空調制,包括在時間維度上剔除非關鍵幀和對各層級特征的空間語義進行對齊;
8、聚合時空調制后的層級特征,得到魚類行為特征;
9、對所述魚類行為特征進行分類,得到識別結果。
10、進一步的,所述感知所述幀序列中的行為視覺節奏差異性,是采用不同時間感受野,從骨干網絡的不同層級提取不同視覺節奏的特征表示,得到一組層級特征,其中,頂層提取的特征作為頂層特征。
11、進一步的,所述在時間維度上剔除非關鍵幀,是對時間信息進行重要性建模,篩選關鍵幀的信息。
12、進一步的,所述對時間信息進行重要性建模,篩選關鍵幀的信息,具體為:
13、通過全局最大池化和全局平均池化,對輸入的層級特征進行降維,得到更具全局性的兩個特征;
14、將兩個特征對應元素相加,并對特征維度進行重塑;
15、對重塑后的特征進行學習,獲得時間維度上的重要性權重;
16、利用重要性權重和殘差連接,篩選關鍵幀的信息,得到剔除非關鍵幀后的特征。
17、進一步的,所述對各層級特征的空間語義進行對齊,是以頂層特征為基準,通過一系列3d卷積和池化層進行空間語義對齊,具體為:
18、通過兩個卷積核大小為1×3×3的卷積層,進一步增強空間語義;
19、通過一個卷積核大小為1×1×1的卷積層,調整特征通道數與頂層特征一致;
20、通過一個3d平均池化層,調整特征的高度和寬度與頂層特征一致。
21、進一步的,所述聚合時空調制后的層級特征,采用特征相加、特征相乘、特征拼接中的至少一種。
22、進一步的,所述特征相加和特征相乘,時空調制后的層級特征在時間維度上大小不一致,受特征金字塔方法啟發,沿時間維度進行上采樣或下采樣的方式對其進行統一。
23、本發明第二方面提供了基于行為視覺節奏差異性感知的魚類行為識別系統。
24、基于行為視覺節奏差異性感知的魚類行為識別系統,包括幀采樣模塊、特征提取模塊、時空調制模塊、特征聚合模塊和特征分類模塊:
25、幀采樣模塊,被配置為:獲取待識別的魚類行為視頻,對視頻進行幀采樣,得到一組連續的幀序列;
26、特征提取模塊,被配置為:感知所述幀序列中的行為視覺節奏差異性,提取一組具有不同視覺節奏的層級特征;
27、時空調制模塊,被配置為:對層級特征進行時空調制,包括在時間維度上剔除非關鍵幀和對各層級特征的空間語義進行對齊;
28、特征聚合模塊,被配置為:聚合時空調制后的層級特征,得到魚類行為特征;
29、特征分類模塊,被配置為:對所述魚類行為特征進行分類,得到識別結果。
30、本發明第三方面提供了計算機可讀存儲介質,其上存儲有程序,該程序被處理器執行時實現如本發明第一方面所述的基于行為視覺節奏差異性感知的魚類行為識別方法中的步驟。
31、本發明第四方面提供了電子設備,包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的程序,所述處理器執行所述程序時實現如本發明第一方面所述的基于行為視覺節奏差異性感知的魚類行為識別方法中的步驟。
32、以上一個或多個技術方案存在以下有益效果:
33、本發明充分利用3d卷積中隨著卷積深度的增加、時間感受野隨之擴大的特性,通過從骨干網絡不同層級提取特征,以模仿不同視覺節奏的魚類行為特征表示,從而精細化建模魚類的行為視覺節奏這一時間信息,最終提高魚類行為識別準確率。
34、本發明設計了時空調制模塊,對提取的層次特征進行時間信息編碼和空間語義對齊,以進一步增強特征的表達能力;還設計了一個特征聚合模塊對不同視覺節奏的特征進行融合,從而得到基于行為視覺節奏差異性感知的魚類行為特征。
35、本發明附加方面的優點將在下面的描述中部分給出,部分將從下面的描述中變得明顯,或通過本發明的實踐了解到。
1.基于行為視覺節奏差異性感知的魚類行為識別方法,其特征在于,包括:
2.如權利要求1所述的基于行為視覺節奏差異性感知的魚類行為識別方法,其特征在于,所述感知所述幀序列中的行為視覺節奏差異性,是采用不同時間感受野,從骨干網絡的不同層級提取不同視覺節奏的特征表示,得到一組層級特征,其中,頂層提取的特征作為頂層特征。
3.如權利要求1所述的基于行為視覺節奏差異性感知的魚類行為識別方法,其特征在于,所述在時間維度上剔除非關鍵幀,是對時間信息進行重要性建模,篩選關鍵幀的信息。
4.如權利要求3所述的基于行為視覺節奏差異性感知的魚類行為識別方法,其特征在于,所述對時間信息進行重要性建模,篩選關鍵幀的信息,具體為:
5.如權利要求2所述的基于行為視覺節奏差異性感知的魚類行為識別方法,其特征在于,所述對各層級特征的空間語義進行對齊,是以頂層特征為基準,通過一系列3d卷積和池化層進行空間語義對齊,具體為:
6.如權利要求1所述的基于行為視覺節奏差異性感知的魚類行為識別方法,其特征在于,所述聚合時空調制后的層級特征,采用特征相加、特征相乘、特征拼接中的至少一種。
7.如權利要求6所述的基于行為視覺節奏差異性感知的魚類行為識別方法,其特征在于,所述特征相加和特征相乘,時空調制后的層級特征在時間維度上大小不一致,受特征金字塔方法啟發,沿時間維度進行上采樣或下采樣的方式對其進行統一。
8.基于行為視覺節奏差異性感知的魚類行為識別系統,其特征在于,包括幀采樣模塊、特征提取模塊、時空調制模塊、特征聚合模塊和特征分類模塊:
9.一種電子設備,其特征是,包括:
10.一種存儲介質,其特征是,非暫時性地存儲計算機可讀指令,其中,當所述計算機可讀指令由計算機執行時,執行權利要求1-7任一項所述的方法。