圖像處理方法、裝置、設備、存儲介質和產品與流程

本技術涉及圖像處理領域，尤其涉及一種圖像處理方法、裝置、設備、存儲介質和產品。

背景技術：

1、基于深度學習算法的多目標圖像檢測方法通常將視頻流解碼得到的圖像輸入到算法模型中，經過大量推理計算后獲得圖像中感興趣目標的位置和對應類別。由于基于深度學習算法的視頻多目標檢測方法的計算量需求大，因此需要計算平臺具有較高的算力以保證檢測速度。

2、針對視頻采集設備固定安裝的特定場景，結合此類場景下采集圖像變化緩慢的特點，通常采用深度學習算法結合濾波跟蹤算法的方式對多目標圖像的關鍵幀圖像進行檢測，以降低圖像處理計算量。在相關技術中，獲取關鍵幀圖像，檢測關鍵幀圖像中感興趣目標的類別和位置，并在后續圖像中對感興趣目標周邊區域內進行濾波跟蹤檢測，尋找相似目標。由于相關技術需要對感興趣目標周邊區域內進行掃描式檢測，且當感興趣目標被瞬時遮擋時，容易導致感興趣目標跟蹤丟失，需要對關鍵幀圖像進行全圖重新檢測，因此相關技術無法有效大幅降低圖像處理計算量。

技術實現思路

1、有鑒于此，本技術實施例提供了一種圖像處理方法、裝置、設備、存儲介質和產品，旨在針對采集圖像變化緩慢的場景，實現對圖像進行快速檢測，并降低圖像處理計算量。

2、本技術實施例的技術方案是這樣實現的：

3、第一方面，本技術實施例提供了一種圖像處理方法，包括：

4、獲取視頻流數據中的目標幀圖像；

5、基于所述目標幀圖像，獲取所述視頻流數據中的第一圖像列表，所述第一圖像列表包括初始幀圖像及所述初始幀圖像之后的連續多幀圖像；

6、基于設定幀數間隔，抽取所述第一圖像列表中的多幀圖像，生成第二圖像列表，所述第二圖像列表包括所述初始幀圖像及多幀關鍵幀圖像；

7、基于所述初始幀圖像的圖像數據和所述關鍵幀圖像的圖像數據，生成對比結果；

8、基于所述對比結果，將所述目標幀圖像的多目標檢測結果作為所述第一圖像列表中各幀圖像的多目標檢測結果。

9、在一些實施方案中，所述基于所述目標幀圖像，獲取所述視頻流數據中的第一圖像列表，包括：

10、確定所述目標幀圖像為所述初始幀圖像，并獲取所述視頻流數據中緊接所述初始幀圖像之后的連續多幀圖像，得到所述視頻流數據中的第一圖像列表。

11、在一些實施方案中，所述方法還包括：

12、對所述目標幀圖像進行全圖目標檢測，得到所述目標幀圖像的多目標檢測結果。

13、在一些實施方案中，各幀圖像還包括指示各幀圖像采集時刻的時間戳信息，所述方法還包括：

14、基于所述時間戳信息，若確定所述第一圖像列表中幀序號最大的第一圖像與所述目標幀圖像的采集時刻之差大于或等于設定時長閾值，則將所述目標幀圖像更新為所述第一圖像，對所述第一圖像進行全圖目標檢測，將所述目標幀圖像的多目標檢測結果更新為所述第一圖像的多目標檢測結果。

15、在一些實施方案中，所述方法還包括：

16、基于所述時間戳信息，若確定所述第一圖像與所述目標幀圖像的采集時刻之差小于所述設定時長閾值，則將所述初始幀圖像更新為所述第一圖像；

17、基于所述更新后的初始幀圖像，重新獲取第一圖像列表。

18、在一些實施方案中，所述基于所述初始幀圖像的圖像數據和所述關鍵幀圖像的圖像數據，生成對比結果，包括：

19、獲取用于圖像目標檢測的感興趣區域參數，所述感興趣區域參數表征圖像中待檢測的多個感興趣區域；

20、基于所述感興趣區域參數確定的各感興趣區域，對比所述初始幀圖像的圖像數據和每幀所述關鍵幀圖像的圖像數據的相似度，生成對比結果。

21、在一些實施方案中，所述獲取用于圖像目標檢測的感興趣區域參數，包括：

22、獲取多個目標區域，所述目標區域用于確定所述第二圖像列表中每幀圖像的感興趣區域；

23、基于所述多個目標區域，生成表征所述目標區域外接矩形的多個矩形區域，所述矩形區域用于生成包含所述第二圖像列表中每幀圖像的感興趣區域的第一處理圖像；

24、基于每個所述矩形區域的像素尺寸，生成對應的設定縮放尺寸；

25、將所述矩形區域內包含在所述目標區域內的像素置為1，不包含在所述目標區域內的像素置為0，并根據對應的所述設定縮放尺寸進行縮放并轉換后，生成掩膜矩陣，所述掩膜矩陣用于從所述第一處理圖像的圖像數據中提取所述感興趣區域的圖像數據；

26、基于所述掩膜矩陣，生成表征所述掩膜矩陣的元素之和的掩膜矩陣結果，所述掩膜矩陣結果用于對所述感興趣區域的圖像數據進行歸一化處理。

27、在一些實施方案中，所述基于所述感興趣區域參數確定的各感興趣區域，對比所述初始幀圖像的圖像數據和每幀所述關鍵幀圖像的圖像數據的相似度，生成對比結果，包括：

28、基于所述感興趣區域參數，獲取所述第二圖像列表中每幀圖像的多個第二處理圖像；

29、基于所述各感興趣區域、所述掩膜矩陣、所述掩膜矩陣結果、設定灰度閾值和設定相似度閾值，對比所述初始幀圖像的第二處理圖像和每幀所述關鍵幀圖像對應的第二處理圖像的相似度，生成每幀所述關鍵幀圖像的各感興趣區域對應的相似度結果；

30、基于所述各感興趣區域對應的相似度結果，采用投票法，生成所述各感興趣區域對應的對比結果。

31、在一些實施方案中，所述基于所述感興趣區域參數，獲取所述第二圖像列表中每幀圖像的多個第二處理圖像，包括：

32、基于所述多個矩形區域，獲取所述第二圖像列表中每幀圖像的多個第一處理圖像；

33、基于對應的所述設定縮放尺寸，對所述第一處理圖像進行縮放處理，生成第二圖像列表中每幀圖像的多個第三處理圖像；

34、對所述第三處理圖像進行灰度處理，生成所述第二圖像列表中每幀圖像的多個第二處理圖像。

35、在一些實施方案中，所述基于所述各感興趣區域、所述掩膜矩陣、所述掩膜矩陣結果、設定灰度閾值和設定相似度閾值，對比所述初始幀圖像的第二處理圖像和每幀所述關鍵幀圖像對應的第二處理圖像的相似度，生成每幀所述關鍵幀圖像的各感興趣區域對應的相似度結果，包括：

36、基于所述各感興趣區域，對所述初始幀圖像的第二處理圖像中的像素的灰度值與每幀所述關鍵幀圖像的第二處理圖像中的像素的灰度值根據像素坐標進行逐一對比，生成表征灰度值比較結果的第一矩陣；

37、基于所述設定灰度閾值，將所述第一矩陣中大于或等于所述設定灰度閾值的元素置為1，小于所述設定灰度閾值的元素置為0，生成第二矩陣；

38、基于對應的所述掩膜矩陣和對應的所述掩膜矩陣結果，對所述第二矩陣進行歸一化處理，生成歸一化結果；

39、對比所述歸一化結果和所述設定相似度閾值，生成所述各感興趣區域對應的相似度結果；

40、其中，所述第一矩陣的元素表征所述初始幀圖像的第二處理圖像中的像素的灰度值與相應的關鍵幀圖像的第二處理圖像中的像素的灰度值的差值絕對值。

41、在一些實施方案中，所述基于對應的所述掩膜矩陣和對應的所述掩膜矩陣結果，對所述第二矩陣進行歸一化處理，生成歸一化結果，包括：

42、對所述第二矩陣和對應的所述掩膜矩陣進行對應元素相乘，生成第三矩陣；

43、將所述第三矩陣中的全部元素相加求和，得到第三矩陣結果；

44、對所述第三矩陣結果和對應的掩膜矩陣結果進行歸一化處理，生成所述歸一化結果。

45、在一些實施方案中，所述對比所述歸一化結果和所述設定相似度閾值，生成所述各感興趣區域對應的相似度結果，包括：

46、若確定所述歸一化結果大于或等于所述設定相似度閾值，則生成第一相似度結果；

47、若確定所述歸一化結果小于所述設定相似度閾值，則生成第二相似度結果；

48、其中，所述第一相似度結果表征所述初始幀圖像的感興趣區域的圖像數據與所述關鍵幀圖像相應的感興趣區域的圖像數據相似，所述第二相似度結果表征所述初始幀圖像的感興趣區域的圖像數據與所述關鍵幀圖像相應的感興趣區域的圖像數據不相似。

49、在一些實施方案中，所述基于各所述感興趣區域對應的相似度結果，采用投票法，生成所述各感興趣區域對應的對比結果，包括：

50、若確定所述感興趣區域對應的相似度結果中所述第一相似度結果的數量大于或等于所述第二相似度結果，則生成表征所述感興趣區域對應的圖像數據滿足相似度要求的第一對比結果；

51、若確定所述感興趣區域對應的相似度結果中所述第一相似度結果的數量小于所述第二相似度結果，則生成表征所述感興趣區域對應的圖像數據不滿足相似度要求的第二對比結果。

52、在一些實施方案中，基于所述對比結果，將所述目標幀圖像的多目標檢測結果作為所述第一圖像列表中各幀圖像的多目標檢測結果，包括：

53、基于所述對比結果，若確定所述各感興趣區域對應的圖像數據均滿足相似度要求，則將所述目標幀圖像的多目標檢測結果作為所述第一圖像列表中各幀圖像的多目標檢測結果。

54、在一些實施方案中，所述方法還包括：

55、基于所述對比結果，若確定存在所述感興趣區域對應的圖像數據不滿足相似度要求，則對所述第一圖像列表中的每幀圖像進行全圖目標檢測，將所述目標幀圖像更新為所述第一圖像列表中幀序號最大的第一圖像，將所述目標幀圖像的多目標檢測結果更新為所述第一圖像的多目標檢測結果。

56、第二方面，本技術實施例提供了一種圖像處理裝置，所述裝置包括：

57、獲取模塊，用于獲取視頻流數據中的目標幀圖像；基于所述目標幀圖像，獲取所述視頻流數據中的第一圖像列表，所述第一圖像列表包括初始幀圖像及所述初始幀圖像之后的連續多幀圖像；

58、抽取模塊，用于基于設定幀數間隔，抽取所述第一圖像列表中的多幀圖像，生成第二圖像列表，所述第二圖像列表包括所述初始幀圖像及多幀關鍵幀圖像；

59、對比模塊，用于基于所述初始幀圖像的圖像數據和所述關鍵幀圖像的圖像數據，生成對比結果；

60、確定模塊，用于基于所述對比結果，將所述目標幀的目標幀圖像的多目標檢測結果作為所述第一圖像列表中各幀圖像的多目標檢測結果。

61、第三方面，本技術實施例提供了一種圖像處理設備，包括：處理器和用于存儲能夠在處理器上運行的計算機程序的存儲器，其中，所述處理器，用于運行計算機程序時，執行如第一方面所述方法的步驟。

62、第四方面，本技術實施例提供了一種存儲介質，所述存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時，實現如第一方面所述方法的步驟。

63、第五方面，本技術實施例提供了一種計算機程序產品，包括計算機程序，所述計算機程序在被處理器執行時，實現如第一方面任一項所述方法的步驟。

64、本技術實施例提供的技術方案，獲取目標幀圖像，從視頻流數據中獲取待檢測的第一圖像列表，從第一圖像列表中抽取多幀圖像生成第二圖像列表，對比第二圖像列表中初始幀圖像的圖像數據和每幀關鍵幀圖像的圖像數據，基于對比后生成的對比結果將目標幀圖像的多目標檢測結果作為第一圖像列表中各幀圖像的多目標檢測結果。如此，本技術提供一種針對采集圖像變化緩慢的場景的圖像過濾方法，從視頻流中抽取多幀圖像，并基于對比初始幀圖像和關鍵幀圖像的圖像數據，實現對視頻流中的圖像進行快速檢測，并降低圖像處理計算量。