菜品制作過程異常識別方法、裝置、電子設備及存儲介質與流程

本申請涉及數據處理，具體涉及一種菜品制作過程異常識別方法、裝置、電子設備及存儲介質。

背景技術：

1、隨著生活節奏的加快，外賣越來越多的成為百姓生活方式的選擇，部分區域，大約有70％的人群直接或間接的將外賣作為主要或補充的餐飲消費方式，網絡餐飲關系到一代人的健康成長。為進一步加強入網餐飲單位食品安全監管，方便消費者等社會各方參與食品安全的監督管理，需要加快推進網絡餐飲的監控建設。

2、現有監控廚房菜品的制作過程的手段多為監控監視廚師做菜過程，檢查人員隨機抽取監控視頻，人工判定菜品制作過程是否合規。該類方法嚴重依賴人工，時效性差。

3、現有技術暫無有效手段來實現廚房監控范圍內的菜品制作過程中異常操作的自動識別。

技術實現思路

1、本申請實施例提供一種菜品制作過程異常識別方法、裝置、電子設備及存儲介質，用以解決自動識別菜品制作過程中的異常操作的技術問題。

2、第一方面，本申請實施例提供一種菜品制作過程異常識別方法，包括：

3、獲取菜品制作過程的視頻數據；

4、將所述視頻數據輸入菜品制作過程的描述模型，得到所述描述模型輸出的菜品制作過程的描述數據；其中，所述描述模型基于注意力機制，確定所述視頻數據的上下文向量的權重，并基于所述權重聚焦所述上下文向量，生成所述描述數據；

5、將所述描述數據輸入菜品制作過程的異常識別模型，得到所述異常識別模型輸出的菜品制作過程的異常結果；其中，所述異常識別模型基于多種空域窗長度的卷積核，提取所述描述數據的特征，得到所述異常結果。

6、在一個實施例中，所述異常識別模型包括多個并列連接的卷積通道，每個所述卷積通道包括卷積層、舍棄層、最大值池化層和平整層；

7、所述卷積層基于卷積核，提取所述描述數據的特征，并生成多個特征值；其中，一個所述卷積層包括一種空域窗長度的卷積核，每個所述卷積通道的卷積層中的卷積核的空域窗長度不同；

8、所述舍棄層用于隨機斷開輸入所述特征值的神經元；

9、所述最大值池化層用于選擇最大的特征值；

10、所述平整層用于壓縮所述最大的特征值的維度。

11、在一個實施例中，所述異常識別模型還包括合并層、全連接層和輸出層；

12、所述合并層與所述平整層相連，用于將壓縮后的所述最大的特征值進行拼接，生成特征向量；

13、所述全連接層用于對所述特征向量進行整合和轉換，得到初始預測結果；

14、所述輸出層用于對所述初始預測結果進行分類，輸出所述異常結果。

15、在一個實施例中，所述描述模型包括編碼器和長短期記憶lstm解碼器；

16、所述編碼器與圖像特征提取器相連，用于將所述圖像特征提取器輸出的圖像數據編碼為至少一個固定長度的所述上下文向量；

17、所述lstm解碼器用于確定每個所述上下文向量的權重，并將所述上下文向量與其權重相乘，得到與所述描述數據關聯的上下文向量，并基于所述關聯的上下文向量生成所述描述數據。

18、在一個實施例中，所述描述模型還包括圖像特征提取器；

19、所述圖像特征提取器用于從所述視頻數據中提取多幀圖像數據，并對所述圖像數據的大小和像素進行標準化處理，并將標準化后的所述圖像數據輸入編碼器。

20、在一個實施例中，所述描述模型是基于以下步驟得到的：

21、基于菜品制作過程的樣本視頻數據，生成樣本圖像數據；

22、將所述樣本圖像數據對應的圖像描述集合進行文本清洗和文本序列化，得到樣本文本序列，并對所述樣本文本序列的菜品制作過程的描述數據進行標記；

23、根據預設比例，將標記后的所述樣本文本序列劃分為第一訓練集和第一測試集；

24、設置第一預設模型的訓練回合數和數據批處理量，基于所述第一訓練集、所述第一預設模型的訓練回合數和數據批處理量，對所述第一預設模型進行訓練得到初始描述模型；

25、基于所述第一測試集，對所述初始描述模型進行測試得到描述模型。

26、在一個實施例中，所述異常識別模型是基于以下步驟得到的：

27、對所述描述模型輸出的樣本描述數據中菜品制作過程的異常結果進行標記；

28、對標記后的所述樣本描述數據進行文本清洗和文本序列化；

29、據根據預設比例，將序列化后的所述樣本描述數劃分為第二訓練集和第二測試集；

30、設置第二預設模型的訓練回合數和數據批處理量，基于所述第二訓練集、所述第二預設模型的訓練回合數和數據批處理量，對所述第二預設模型進行訓練得到初始異常識別模型；

31、基于所述第二測試集，對所述初始異常識別模型進行測試得到異常識別模型。

32、第二方面，本申請實施例提供一種菜品制作過程異常識別裝置，包括：

33、獲取模塊，用于獲取菜品制作過程的視頻數據；

34、描述模塊，用于將所述視頻數據輸入菜品制作過程的描述模型，得到所述描述模型輸出的菜品制作過程的描述數據；其中，所述描述模型基于注意力機制，確定所述視頻數據的上下文向量的權重，并基于所述權重聚焦所述上下文向量，生成所述描述數據；

35、識別模塊，用于將所述描述數據輸入菜品制作過程的異常識別模型，得到所述異常識別模型輸出的菜品制作過程的異常結果；其中，所述異常識別模型基于多種空域窗長度的卷積核，提取所述描述數據的特征，得到所述異常結果。

36、第三方面，本申請實施例提供一種電子設備，包括處理器和存儲有計算機程序的存儲器，所述處理器執行所述程序時實現第一方面所述的菜品制作過程異常識別方法的步驟。

37、第四方面，本申請實施例提供一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執行時實現第一方面所述的菜品制作過程異常識別方法的步驟。

38、本申請實施例提供的菜品制作過程異常識別方法、裝置、電子設備及存儲介質，通過獲取菜品制作過程的視頻數據；將所述視頻數據輸入菜品制作過程的描述模型，得到所述描述模型輸出的菜品制作過程的描述數據；其中，所述描述模型基于注意力機制，確定所述視頻數據的上下文向量的權重，并基于所述權重聚焦所述上下文向量，生成所述描述數據；將所述描述數據輸入菜品制作過程的異常識別模型，得到所述異常識別模型輸出的菜品制作過程的異常結果；其中，所述異常識別模型基于多種空域窗長度的卷積核，提取所述描述數據的特征，得到所述異常結果。本申請實施例根據權重聚焦上下文向量，生成描述數據；通過具有不同空域窗長度的卷積核對描述數據進行不同程度的特征提取，得到異常結果，實現了菜品制作過程中異常結果的自動識別。

技術特征：

1.一種菜品制作過程異常識別方法，其特征在于，包括：

2.根據權利要求1所述的菜品制作過程異常識別方法，其特征在于，所述異常識別模型包括多個并列連接的卷積通道，每個所述卷積通道包括卷積層、舍棄層、最大值池化層和平整層；

3.根據權利要求2所述的菜品制作過程異常識別方法，其特征在于，所述異常識別模型還包括合并層、全連接層和輸出層；

4.根據權利要求1所述的菜品制作過程異常識別方法，其特征在于，所述描述模型包括編碼器和長短期記憶lstm解碼器；

5.根據權利要求1所述的菜品制作過程異常識別方法，其特征在于，所述描述模型還包括圖像特征提取器；

6.根據權利要求1所述的菜品制作過程異常識別方法，其特征在于，所述描述模型是基于以下步驟得到的：

7.根據權利要求1所述的菜品制作過程異常識別方法，其特征在于，所述異常識別模型是基于以下步驟得到的：

8.一種菜品制作過程異常識別裝置，其特征在于，包括：

9.一種電子設備，包括處理器和存儲有計算機程序的存儲器，其特征在于，所述處理器執行所述計算機程序時實現權利要求1至7任一項所述的菜品制作過程異常識別方法的步驟。

10.一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至7任一項所述的菜品制作過程異常識別方法的步驟。

技術總結
本申請涉及數據處理技術領域，提供一種菜品制作過程異常識別方法、裝置、電子設備及存儲介質。所述方法包括：獲取菜品制作過程的視頻數據；將視頻數據輸入具有注意力機制的菜品制作過程的描述模型，得到描述模型輸出的菜品制作過程的描述數據；將描述數據輸入具有多種空域窗長度的卷積核的菜品制作過程的異常識別模型，提取描述數據的特征，得到異常識別模型輸出的菜品制作過程的異常結果。本申請實施例根據權重聚焦上下文向量，生成描述數據；通過具有不同空域窗長度的卷積核對描述數據進行不同程度的特征提取，得到異常結果，實現了菜品制作過程中異常結果的自動識別。

技術研發人員：邢彪,馮杭生,肖力,哈文軒
受保護的技術使用者：中國移動通信集團浙江有限公司
技術研發日：
技術公布日：2024/10/21