目標(biāo)的標(biāo)注方法、電子設(shè)備及存儲介質(zhì)與流程

本技術(shù)涉及計(jì)算機(jī)視覺，具體涉及一種目標(biāo)的標(biāo)注方法、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)：

1、目前，在計(jì)算機(jī)視覺領(lǐng)域，對三維點(diǎn)云中的目標(biāo)進(jìn)行標(biāo)注時，通常是通過3d檢測模型直接輸出3d預(yù)測框，然后將三維點(diǎn)云投影到二維圖像上，得到帶有3d預(yù)測框的二維圖像。在此基礎(chǔ)上，通過人工判斷標(biāo)注的預(yù)測框是否正確，從而篩選出有效數(shù)據(jù)，為后續(xù)進(jìn)行模型訓(xùn)練和數(shù)據(jù)分析等提供基礎(chǔ)數(shù)據(jù)。

2、然而，這種標(biāo)注方式存在一些問題。首先，將三維點(diǎn)云投影到二維圖像上會影響目標(biāo)邊緣位置的判斷，導(dǎo)致人工判斷標(biāo)注是否正確的誤差很大。其次，由于二維圖像無法估計(jì)出目標(biāo)的深度信息，所以無法對二維圖像上的標(biāo)注進(jìn)行修改，因此大部分?jǐn)?shù)據(jù)只要存在一個錯誤就只能丟棄，導(dǎo)致標(biāo)注的數(shù)據(jù)轉(zhuǎn)化率很低。

3、相應(yīng)地，本領(lǐng)域需要一種新的技術(shù)方案來解決上述問題。

技術(shù)實(shí)現(xiàn)思路

1、為了克服上述缺陷，提出了本技術(shù)，以提供解決或至少部分地解決現(xiàn)有的目標(biāo)標(biāo)注方式誤差大、無法進(jìn)行修改且數(shù)據(jù)轉(zhuǎn)化率低的技術(shù)問題的一種目標(biāo)的標(biāo)注方法、電子設(shè)備及存儲介質(zhì)。

2、在第一方面，提供一種目標(biāo)的標(biāo)注方法，其特征在于，所述方法包括：

3、獲取多個時刻對應(yīng)的多組初始多路圖像幀；其中，每組所述初始多路圖像幀包括同一時刻不同視角下的多幀圖像，每幀圖像包括待標(biāo)注目標(biāo)，所述待標(biāo)注目標(biāo)包括動態(tài)目標(biāo)和靜態(tài)目標(biāo)；

4、獲取所述多組初始多路圖像幀對應(yīng)的深度圖、所述待標(biāo)注目標(biāo)的三維預(yù)測框和預(yù)測線；

5、基于所述深度圖和所述待標(biāo)注目標(biāo)的三維預(yù)測框?qū)λ龃龢?biāo)注目標(biāo)進(jìn)行動靜態(tài)分離，得到所述動態(tài)目標(biāo)的點(diǎn)云和所述靜態(tài)目標(biāo)的點(diǎn)云；

6、對所述多組初始多路圖像幀中的所述靜態(tài)目標(biāo)的點(diǎn)云進(jìn)行多幀拼接，得到完整靜態(tài)點(diǎn)云；

7、將所述動態(tài)目標(biāo)的點(diǎn)云和所述完整靜態(tài)點(diǎn)云進(jìn)行融合，得到全局點(diǎn)云；

8、基于所述待標(biāo)注目標(biāo)的三維預(yù)測框和預(yù)測線對所述全局點(diǎn)云進(jìn)行標(biāo)注，得到標(biāo)注了目標(biāo)的三維點(diǎn)云。

9、在上述目標(biāo)的標(biāo)注方法的一個技術(shù)方案中，所述靜態(tài)目標(biāo)包括靜態(tài)障礙物和/或靜態(tài)標(biāo)識，所述三維預(yù)測框用于標(biāo)注所述動態(tài)目標(biāo)和/或所述靜態(tài)障礙物，所述預(yù)測線用于標(biāo)注所述靜態(tài)標(biāo)識；所述獲取所述多組初始多路圖像幀對應(yīng)的深度圖、所述待標(biāo)注目標(biāo)的三維預(yù)測框和預(yù)測線包括：

10、將每組所述初始多路圖像幀輸入深度估計(jì)模型，得到所述初始多路圖像幀中每幀圖像對應(yīng)的深度圖；

11、將每組所述初始多路圖像幀輸入三維預(yù)測模型，得到所述初始多路圖像幀對應(yīng)的所有待標(biāo)注目標(biāo)的三維預(yù)測框和預(yù)測線；

12、其中，所述三維預(yù)測框包括幾何信息和位姿信息，所述預(yù)測線包括端點(diǎn)位置信息。

13、在上述目標(biāo)的標(biāo)注方法的一個技術(shù)方案中，所述深度圖包括每個像素點(diǎn)的深度信息；所述基于所述深度圖和所述待標(biāo)注目標(biāo)的三維預(yù)測框?qū)λ龃龢?biāo)注目標(biāo)進(jìn)行動靜態(tài)分離，得到所述動態(tài)目標(biāo)的點(diǎn)云和所述靜態(tài)目標(biāo)的點(diǎn)云包括：

14、基于所述深度信息和所述待標(biāo)注目標(biāo)的三維預(yù)測框獲取所述待標(biāo)注目標(biāo)在不同時刻的位置信息；

15、基于所述位置信息對所述所有待標(biāo)注目標(biāo)進(jìn)行動靜態(tài)分離，得到所述動態(tài)目標(biāo)和所述靜態(tài)目標(biāo)；

16、基于所述動態(tài)目標(biāo)和所述靜態(tài)目標(biāo)對應(yīng)的所述深度信息和所述位置信息，得到所述動態(tài)目標(biāo)的點(diǎn)云和所述靜態(tài)目標(biāo)的點(diǎn)云。

17、在上述目標(biāo)的標(biāo)注方法的一個技術(shù)方案中，所述基于所述位置信息對所述所有待標(biāo)注目標(biāo)進(jìn)行動靜態(tài)分離，得到所述動態(tài)目標(biāo)和所述靜態(tài)目標(biāo)包括：

18、基于所述位置信息，分別判斷每個所述待標(biāo)注目標(biāo)是否發(fā)生位置變化；

19、若發(fā)生位置變化，則判定所述待標(biāo)注目標(biāo)為動態(tài)目標(biāo)；否則判定所述待標(biāo)注目標(biāo)為靜態(tài)目標(biāo)；

20、其中，所述動態(tài)目標(biāo)包括移動的生命體、駕駛設(shè)備和飛行設(shè)備中的至少一種。

21、在上述目標(biāo)的標(biāo)注方法的一個技術(shù)方案中，所述對所述多組初始多路圖像幀中的所述靜態(tài)目標(biāo)的點(diǎn)云進(jìn)行多幀拼接，得到完整靜態(tài)點(diǎn)云包括：

22、將每組所述初始多路圖像幀中的所述靜態(tài)目標(biāo)的點(diǎn)云進(jìn)行拼接，得到每組所述初始多路圖像幀對應(yīng)的靜態(tài)目標(biāo)點(diǎn)云；

23、將所述多組初始多路圖像幀對應(yīng)的所述靜態(tài)目標(biāo)點(diǎn)云進(jìn)行疊加，得到所述完整靜態(tài)點(diǎn)云。

24、在上述目標(biāo)的標(biāo)注方法的一個技術(shù)方案中，所述將所述動態(tài)目標(biāo)的點(diǎn)云和所述完整靜態(tài)點(diǎn)云進(jìn)行融合，得到全局點(diǎn)云包括：

25、獲取所述動態(tài)目標(biāo)的點(diǎn)云的坐標(biāo)信息和所述完整靜態(tài)點(diǎn)云的坐標(biāo)信息；

26、基于所述坐標(biāo)信息，將任一時刻的所述動態(tài)目標(biāo)的點(diǎn)云和所述完整靜態(tài)點(diǎn)云進(jìn)行融合，得到所述任一時刻對應(yīng)的全局點(diǎn)云。

27、在上述目標(biāo)的標(biāo)注方法的一個技術(shù)方案中，所述動態(tài)目標(biāo)的點(diǎn)云包括動態(tài)目標(biāo)的彩色點(diǎn)云，所述靜態(tài)目標(biāo)的點(diǎn)云包括靜態(tài)目標(biāo)的彩色點(diǎn)云，所述標(biāo)注了目標(biāo)的三維點(diǎn)云包括三維彩色點(diǎn)云；所述方法還包括：

28、判斷所述三維彩色點(diǎn)云中已完成標(biāo)注的目標(biāo)的標(biāo)注質(zhì)量；

29、當(dāng)所述標(biāo)注質(zhì)量不符合預(yù)設(shè)要求時，至少對所述三維彩色點(diǎn)云中標(biāo)注質(zhì)量不符合預(yù)設(shè)要求的所述已完成標(biāo)注的目標(biāo)執(zhí)行修改標(biāo)注操作或再次標(biāo)注操作。

30、在上述目標(biāo)的標(biāo)注方法的一個技術(shù)方案中，所述深度圖包括每個像素點(diǎn)的深度信息；所述方法還包括：

31、基于所述多組初始多路圖像幀獲取所述深度圖中每個像素點(diǎn)的顏色信息；

32、基于所述每個像素點(diǎn)的顏色信息和所述深度信息，得到所述動態(tài)目標(biāo)的彩色點(diǎn)云和所述靜態(tài)目標(biāo)的彩色點(diǎn)云。

33、在第二方面，提供一種電子設(shè)備，該電子設(shè)備包括處理器和存儲器，所述存儲器適于存儲多條程序代碼，所述程序代碼適于由所述處理器加載并運(yùn)行以執(zhí)行上述目標(biāo)的標(biāo)注方法的技術(shù)方案中任一項(xiàng)技術(shù)方案所述的目標(biāo)的標(biāo)注方法。

34、在第三方面，提供一種計(jì)算機(jī)可讀存儲介質(zhì)，該計(jì)算機(jī)可讀存儲介質(zhì)中存儲有多條程序代碼，所述程序代碼適于由處理器加載并運(yùn)行以執(zhí)行上述目標(biāo)的標(biāo)注方法的技術(shù)方案中任一項(xiàng)技術(shù)方案所述的目標(biāo)的標(biāo)注方法。

35、本技術(shù)上述一個或多個技術(shù)方案，至少具有如下一種或多種有益效果：

36、在實(shí)施本技術(shù)的技術(shù)方案中，可以獲取多個時刻對應(yīng)的多組初始多路圖像幀；其中，每組初始多路圖像幀包括同一時刻不同視角下的多幀圖像，每幀圖像包括待標(biāo)注目標(biāo)，待標(biāo)注目標(biāo)包括動態(tài)目標(biāo)和靜態(tài)目標(biāo)；然后獲取多組初始多路圖像幀對應(yīng)的深度圖、待標(biāo)注目標(biāo)的三維預(yù)測框和預(yù)測線，并基于深度圖和待標(biāo)注目標(biāo)的三維預(yù)測框?qū)Υ龢?biāo)注目標(biāo)進(jìn)行動靜態(tài)分離，得到動態(tài)目標(biāo)的點(diǎn)云和所述靜態(tài)目標(biāo)的點(diǎn)云，接著對多組初始多路圖像幀中的靜態(tài)目標(biāo)的點(diǎn)云進(jìn)行多幀拼接，得到完整靜態(tài)點(diǎn)云，并將動態(tài)目標(biāo)的點(diǎn)云和完整靜態(tài)點(diǎn)云進(jìn)行融合，得到全局點(diǎn)云，最后基于待標(biāo)注目標(biāo)的三維預(yù)測框和預(yù)測線對全局點(diǎn)云進(jìn)行標(biāo)注，得到標(biāo)注了目標(biāo)的三維點(diǎn)云。通過上述實(shí)施方式，對待標(biāo)注目標(biāo)進(jìn)行動靜態(tài)分離能夠避免在獲取多個時刻對應(yīng)的多組初始多路圖像幀時動靜態(tài)目標(biāo)相互干擾而導(dǎo)致的圖像信息缺失或錯誤，提高標(biāo)注的準(zhǔn)確性；將分離得到的多組初始多路圖像幀中的靜態(tài)目標(biāo)點(diǎn)云進(jìn)行多幀拼接，能夠得到完整靜態(tài)點(diǎn)云，提高點(diǎn)云密度和質(zhì)量；將動態(tài)目標(biāo)的點(diǎn)云和完整靜態(tài)點(diǎn)云進(jìn)行融合，能夠得到全局點(diǎn)云，全面準(zhǔn)確地呈現(xiàn)整個場景的信息；最后通過目標(biāo)的三維預(yù)測框和預(yù)測線能夠直接對三維的全局點(diǎn)云進(jìn)行標(biāo)注，提高了數(shù)據(jù)標(biāo)注的精度。

37、進(jìn)一步地，獲取的動態(tài)目標(biāo)的點(diǎn)云包括動態(tài)目標(biāo)的彩色點(diǎn)云，靜態(tài)目標(biāo)的點(diǎn)云包括靜態(tài)目標(biāo)的彩色點(diǎn)云，標(biāo)注了目標(biāo)的三維點(diǎn)云包括三維彩色點(diǎn)云。三維彩色點(diǎn)云能夠使得目標(biāo)的語義參考更為準(zhǔn)確，有助于提高目標(biāo)標(biāo)注質(zhì)量的判斷準(zhǔn)確性，在目標(biāo)標(biāo)注質(zhì)量不符合預(yù)設(shè)要求時，還可以根據(jù)彩色點(diǎn)云修改標(biāo)注，如修改標(biāo)注的三維預(yù)測框和預(yù)測線，或重新進(jìn)行標(biāo)注，避免因?yàn)橐粋€或部分標(biāo)注錯誤就丟棄全部標(biāo)注數(shù)據(jù)，從而提高數(shù)據(jù)的轉(zhuǎn)換率。