數據處理方法、裝置、設備、可讀存儲介質及程序產品與流程

本發明涉及數據處理，尤其涉及一種數據處理方法、裝置、設備、可讀存儲介質及程序產品。

背景技術：

1、現有的光域神經網絡可以實現并行光速計算，相對電域神經網絡大大提升了計算速度，同時降低了電域計算的計算量和能耗；但是目前的光域神經網絡只能實現2d(二維)卷積運算，無法同時提取視頻數據的時域和空域特征，在視頻類任務的效果較差。

2、由上，現有技術中的光域神經網絡無法支持提取三維視頻數據的時域和空域特征。

技術實現思路

1、本發明的目的在于提供一種數據處理方法、裝置、設備、可讀存儲介質及程序產品，以解決現有技術中光域神經網絡無法支持提取三維視頻數據的時域和空域特征的問題。

2、為了解決上述技術問題，本發明實施例提供一種數據處理方法，包括：

3、利用第一光卷積神經網絡中的第一空間光調制器，根據三維視頻數據的二維空域數據，得到二維空域卷積數據；

4、利用所述第一光卷積神經網絡中的時域處理器，針對所述二維空域卷積數據中所述三維視頻數據對應的一維時域數據進行卷積處理，得到所述三維視頻數據對應的偽三維卷積特征圖；

5、其中，所述時域處理器包括：探測器，或者第二空間光調制器；

6、所述第一光卷積神經網絡中還設有第一透鏡和第二透鏡；所述第一光卷積神經網絡中用于輸入所述三維視頻數據的輸入層位于所述第一透鏡的前焦面上，所述第一空間光調制器位于所述第一透鏡的后焦面以及所述第二透鏡的前焦面上，所述時域處理器位于所述第二透鏡的后焦面上。

7、可選的，所述利用所述第一光卷積神經網絡中的時域處理器，針對所述二維空域卷積數據中所述三維視頻數據對應的一維時域數據進行卷積處理，得到所述三維視頻數據對應的偽三維卷積特征圖，包括：

8、利用所述第一光卷積神經網絡中的時域處理器，針對所述二維空域卷積數據中所述三維視頻數據對應的一維時域數據進行卷積處理中的相乘處理，得到第一中間數據；并針對所述第一中間數據進行卷積處理中的相加處理，得到所述三維視頻數據對應的偽三維卷積特征圖。

9、可選的，在所述時域處理器包括第二空間光調制器的情況下，所述利用所述第一光卷積神經網絡中的時域處理器，針對所述二維空域卷積數據中所述三維視頻數據對應的一維時域數據進行卷積處理中的相乘處理，得到第一中間數據，包括：

10、利用所述第一光卷積神經網絡中的時域處理器，針對所述二維空域卷積數據中所述三維視頻數據對應的一維時域數據進行卷積處理中的相乘處理，并利用所述第一光卷積神經網絡中的探測器進行感應，獲取所述相乘處理后得到的第一中間數據。

11、可選的，所述針對所述第一中間數據進行卷積處理中的相加處理，得到所述三維視頻數據對應的偽三維卷積特征圖，包括：

12、根據針對所述一維時域數據的卷積核的大小和步長，針對所述第一中間數據進行卷積處理中的相加處理，得到所述三維視頻數據對應的偽三維卷積特征圖。

13、可選的，所述時域處理器滿足以下至少一項設置：

14、所述三維視頻數據的輸入幀率與所述時域處理器包含的探測器的采集幀率是根據同一時鐘信號確定的；

15、所述時域處理器包含的探測器的曝光時間是根據針對所述一維時域數據的卷積核的不同位置的值確定的；

16、所述三維視頻數據的輸入控制時鐘信號和所述時域處理器包含的探測器的采集控制時鐘信號是根據針對所述一維時域數據的卷積核的不同位置的值、所述三維視頻數據的幀數以及所述三維視頻數據的輸入幀率確定的；

17、所述三維視頻數據的輸入采用時鐘信號的上升沿觸發；

18、所述時域處理器包含的探測器的采集采用時鐘信號的帶寬觸發；

19、所述三維視頻數據的輸入周期、所述時域處理器包含的第二空間光調制器的控制周期以及所述第一光卷積神經網絡中的探測器的采集周期是根據同一時鐘信號確定的。

20、本發明實施例還提供了一種數據處理裝置，包括：

21、第一處理模塊，用于利用第一光卷積神經網絡中的第一空間光調制器，根據三維視頻數據的二維空域數據，得到二維空域卷積數據；

22、第二處理模塊，用于利用所述第一光卷積神經網絡中的時域處理器，針對所述二維空域卷積數據中所述三維視頻數據對應的一維時域數據進行卷積處理，得到所述三維視頻數據對應的偽三維卷積特征圖；

23、其中，所述時域處理器包括：探測器，或者第二空間光調制器；

24、所述第一光卷積神經網絡中還設有第一透鏡和第二透鏡；所述第一光卷積神經網絡中用于輸入所述三維視頻數據的輸入層位于所述第一透鏡的前焦面上，所述第一空間光調制器位于所述第一透鏡的后焦面以及所述第二透鏡的前焦面上，所述時域處理器位于所述第二透鏡的后焦面上。

25、可選的，所述利用所述第一光卷積神經網絡中的時域處理器，針對所述二維空域卷積數據中所述三維視頻數據對應的一維時域數據進行卷積處理，得到所述三維視頻數據對應的偽三維卷積特征圖，包括：

26、利用所述第一光卷積神經網絡中的時域處理器，針對所述二維空域卷積數據中所述三維視頻數據對應的一維時域數據進行卷積處理中的相乘處理，得到第一中間數據；并針對所述第一中間數據進行卷積處理中的相加處理，得到所述三維視頻數據對應的偽三維卷積特征圖。

27、可選的，在所述時域處理器包括第二空間光調制器的情況下，所述利用所述第一光卷積神經網絡中的時域處理器，針對所述二維空域卷積數據中所述三維視頻數據對應的一維時域數據進行卷積處理中的相乘處理，得到第一中間數據，包括：

28、利用所述第一光卷積神經網絡中的時域處理器，針對所述二維空域卷積數據中所述三維視頻數據對應的一維時域數據進行卷積處理中的相乘處理，并利用所述第一光卷積神經網絡中的探測器進行感應，獲取所述相乘處理后得到的第一中間數據。

29、可選的，所述針對所述第一中間數據進行卷積處理中的相加處理，得到所述三維視頻數據對應的偽三維卷積特征圖，包括：

30、根據針對所述一維時域數據的卷積核的大小和步長，針對所述第一中間數據進行卷積處理中的相加處理，得到所述三維視頻數據對應的偽三維卷積特征圖。

31、可選的，所述時域處理器滿足以下至少一項設置：

32、所述三維視頻數據的輸入幀率與所述時域處理器包含的探測器的采集幀率是根據同一時鐘信號確定的；

33、所述時域處理器包含的探測器的曝光時間是根據針對所述一維時域數據的卷積核的不同位置的值確定的；

34、所述三維視頻數據的輸入控制時鐘信號和所述時域處理器包含的探測器的采集控制時鐘信號是根據針對所述一維時域數據的卷積核的不同位置的值、所述三維視頻數據的幀數以及所述三維視頻數據的輸入幀率確定的；

35、所述三維視頻數據的輸入采用時鐘信號的上升沿觸發；

36、所述時域處理器包含的探測器的采集采用時鐘信號的帶寬觸發；

37、所述三維視頻數據的輸入周期、所述時域處理器包含的第二空間光調制器的控制周期以及所述第一光卷積神經網絡中的探測器的采集周期是根據同一時鐘信號確定的。

38、本發明實施例還提供了一種數據處理設備，包括：處理器；

39、所述處理器，用于利用第一光卷積神經網絡中的第一空間光調制器，根據三維視頻數據的二維空域數據，得到二維空域卷積數據；

40、利用所述第一光卷積神經網絡中的時域處理器，針對所述二維空域卷積數據中所述三維視頻數據對應的一維時域數據進行卷積處理，得到所述三維視頻數據對應的偽三維卷積特征圖；

41、其中，所述時域處理器包括：探測器，或者第二空間光調制器；

42、所述第一光卷積神經網絡中還設有第一透鏡和第二透鏡；所述第一光卷積神經網絡中用于輸入所述三維視頻數據的輸入層位于所述第一透鏡的前焦面上，所述第一空間光調制器位于所述第一透鏡的后焦面以及所述第二透鏡的前焦面上，所述時域處理器位于所述第二透鏡的后焦面上。

43、可選的，所述利用所述第一光卷積神經網絡中的時域處理器，針對所述二維空域卷積數據中所述三維視頻數據對應的一維時域數據進行卷積處理，得到所述三維視頻數據對應的偽三維卷積特征圖，包括：

44、利用所述第一光卷積神經網絡中的時域處理器，針對所述二維空域卷積數據中所述三維視頻數據對應的一維時域數據進行卷積處理中的相乘處理，得到第一中間數據；并針對所述第一中間數據進行卷積處理中的相加處理，得到所述三維視頻數據對應的偽三維卷積特征圖。

45、可選的，在所述時域處理器包括第二空間光調制器的情況下，所述利用所述第一光卷積神經網絡中的時域處理器，針對所述二維空域卷積數據中所述三維視頻數據對應的一維時域數據進行卷積處理中的相乘處理，得到第一中間數據，包括：

46、利用所述第一光卷積神經網絡中的時域處理器，針對所述二維空域卷積數據中所述三維視頻數據對應的一維時域數據進行卷積處理中的相乘處理，并利用所述第一光卷積神經網絡中的探測器進行感應，獲取所述相乘處理后得到的第一中間數據。

47、可選的，所述針對所述第一中間數據進行卷積處理中的相加處理，得到所述三維視頻數據對應的偽三維卷積特征圖，包括：

48、根據針對所述一維時域數據的卷積核的大小和步長，針對所述第一中間數據進行卷積處理中的相加處理，得到所述三維視頻數據對應的偽三維卷積特征圖。

49、可選的，所述時域處理器滿足以下至少一項設置：

50、所述三維視頻數據的輸入幀率與所述時域處理器包含的探測器的采集幀率是根據同一時鐘信號確定的；

51、所述時域處理器包含的探測器的曝光時間是根據針對所述一維時域數據的卷積核的不同位置的值確定的；

52、所述三維視頻數據的輸入控制時鐘信號和所述時域處理器包含的探測器的采集控制時鐘信號是根據針對所述一維時域數據的卷積核的不同位置的值、所述三維視頻數據的幀數以及所述三維視頻數據的輸入幀率確定的；

53、所述三維視頻數據的輸入采用時鐘信號的上升沿觸發；

54、所述時域處理器包含的探測器的采集采用時鐘信號的帶寬觸發；

55、所述三維視頻數據的輸入周期、所述時域處理器包含的第二空間光調制器的控制周期以及所述第一光卷積神經網絡中的探測器的采集周期是根據同一時鐘信號確定的。

56、本發明實施例還提供了一種數據處理設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的程序；所述處理器執行所述程序時實現上述的數據處理方法。

57、本發明實施例還提供了一種可讀存儲介質，其上存儲有程序，該程序被處理器執行時實現上述的數據處理方法中的步驟。

58、本發明實施例還提供了一種計算機程序產品，包括計算機指令，所述計算機指令被處理器執行時實現上述的數據處理方法的步驟。

59、本發明的上述技術方案的有益效果如下：

60、上述方案中，所述數據處理方法通過利用第一光卷積神經網絡中的第一空間光調制器，根據三維視頻數據的二維空域數據，得到二維空域卷積數據；利用所述第一光卷積神經網絡中的時域處理器，針對所述二維空域卷積數據中所述三維視頻數據對應的一維時域數據進行卷積處理，得到所述三維視頻數據對應的偽三維卷積特征圖；其中，所述時域處理器包括：探測器，或者第二空間光調制器；所述第一光卷積神經網絡中還設有第一透鏡和第二透鏡；所述第一光卷積神經網絡中用于輸入所述三維視頻數據的輸入層位于所述第一透鏡的前焦面上，所述第一空間光調制器位于所述第一透鏡的后焦面以及所述第二透鏡的前焦面上，所述時域處理器位于所述第二透鏡的后焦面上；能夠支持實現利用光域神經網絡提取三維視頻數據的時域和空域特征，實現光域等效的三維卷積運算處理，降低網絡運算量，大大提升運算速度，降低處理能耗，很好的解決現有技術中光域神經網絡無法支持提取三維視頻數據的時域和空域特征的問題。