本申請涉及增強現實,特別是涉及一種三維跟蹤方法、裝置以及計算機存儲介質。
背景技術:
1、增強現實技術是一種基于計算機實時計算和多傳感器融合,將真實場景與虛擬場景結合起來的技術,通過把文字、模型、圖像、視頻等虛擬信息實時疊加在真實物體上,實現真實與虛擬場景的無縫疊加,是增強現實技術在一些研究領域的具體應用。
2、為了實現增強現實,需要在三維空間位置中對虛擬信息與真實環境進行匹配,即跟蹤注冊技術。目前的增強現實實驗系統多借助于標識實現虛擬場景在真實環境上的疊加,基于自然特征的跟蹤注冊方法在物體移動塊時容易出現抖動或擾動,影響實際使用。
技術實現思路
1、本申請提供一種三維跟蹤方法、裝置以及計算機存儲介質。
2、為解決上述技術問題,本申請提出一種基于增強現實的三維跟蹤方法,所述三維跟蹤方法包括:獲取當前幀的目標對象點云和上一幀的目標對象點云;計算所述當前幀的目標對象點云和上一幀的目標對象點云的重疊率;響應于所述重疊率大于預設閾值,將所述當前的幀目標對象點云與上一幀的目標對象點云進行融合,獲取融合目標對象點云;根據虛擬模擬點云的當前位姿和所述融合目標對象點云的當前位姿獲取變換矩陣,通過所述變換矩陣將所述虛擬模擬點云和所述融合目標對象點云進行配準。
3、其中,所述將所述當前幀目標對象點云與上一幀目標對象點云進行融合,獲取融合目標對象點云,包括:獲取所述當前幀的目標對象點云的第一語義特征,和所述上一幀的目標對象點云的第二語義特征;基于所述第一語義特征和所述第二語義特征,確定匹配點對,其中,所述匹配點對中的第一匹配點為所述當前幀目標對象點云的數據點,第二匹配點為所述上一幀目標對象點云的數據點;基于所述匹配點對,獲取所述上一幀的目標對象點云和所述當前幀的目標對象點云的變換矩陣;按照所述變換矩陣將所述上一幀的目標對象點云和所述當前幀的目標對象點云進行融合,獲取所述融合目標對象點云。
4、其中,所述獲取當前幀的目標對象點云,包括:獲取當前幀的原始待處理點云;對所述原始待處理點云進行下采樣,獲取第一待處理點云;獲取所述第一待處理點云的第一點云幾何特征,并獲取所述原始待處理點云的第二點云幾何特征;判斷第一點云幾何特征和所述第二點云幾何特征的相似度是否大于等于第一預設閾值;若是,對所述第一待處理點云進行分割,獲取所述當前幀的目標對象點云。
5、其中,所述三維跟蹤方法,還包括:響應于所述第一點云幾何特征和所述第二點云幾何特征的相似度小于等于所述第一預設閾值,獲取所述原始待處理點云中每一數據點的數據點曲率;將所述數據點曲率小于第二預設閾值的數據點刪除,得到第二待處理點云;對所述第二待處理點云進行分割,獲取所述當前幀的目標對象點云。
6、其中,所述對所述原始待處理點云進行下采樣,包括:計算所述原始待處理點云的點云分辨率;以所述點云分辨率為邊長建立第一包圍盒;保留所述第一包圍盒的中心數據點,將所述第一包圍盒內的其余數據點刪除。
7、其中,所述獲取當前幀的目標對象點云,包括:獲取所述第一待處理點云或所述第二待處理點云的點云分辨率;以所述第一待處理點云或所述第二待處理點云的點云分辨率為邊長建立第二包圍盒;計算每一第二包圍盒的點云密度,以及計算所有所述第二包圍盒的平均點云密度;對所述第二包圍盒的點云密度小于所述平均點云密度的第二包圍盒中的點云進行上采樣。
8、其中,所述計算所述原始待處理點云的點云分辨率,包括:獲取所述原始待處理點云中的數據點個數;獲取每一目標數據點預設數量的相鄰數據點;計算每一所述相鄰數據點與所述目標數據點的距離;根據所述距離和所述數據點個數計算所述原始待處理點云的點云分辨率。
9、其中,所述獲取所述第一待處理點云的第一點云幾何特征,包括:獲取所述第一待處理點云的包圍盒的最小外接長方體;獲取所述最小外接長方體的長度與寬度的第一比值、寬度與高度的第二比值以及長度和高度的第三比值;將所述第一比值、所述第二比值和所述第三比值按照預設比例加權相加,獲取所述第一待處理點云的第一點云幾何特征。
10、為解決上述技術問題,本申請提出一種三維跟蹤裝置,所述三維跟蹤裝置包括處理器和存儲器;所述存儲器中存儲有計算機程序,所述處理器用于執行所述計算機程序以實現上述三維跟蹤方法的步驟。
11、為解決上述技術問題,本申請提出一種計算機存儲介質,所述計算機存儲介質存儲有計算機程序,所述計算機程序被執行時實現上述三維跟蹤方法的步驟。
12、區別于現有技術,本申請的有益效果在于:三維跟蹤裝置獲取當前幀的目標對象點云和上一幀的目標對象點云;計算所述當前幀的目標對象點云和上一幀的目標對象點云的重疊率;響應于所述重疊率大于預設閾值,將所述當前的幀目標對象點云與上一幀的目標對象點云進行融合,獲取融合目標對象點云;根據虛擬模擬點云的當前位姿和所述融合目標對象點云的當前位姿獲取變換矩陣,通過所述變換矩陣將所述虛擬模擬點云和所述融合目標對象點云進行配準。由于當前的幀目標對象點云與上一幀的目標對象點云的融合,使得目標對象點云擁有更多的特征用于與虛擬模擬點云進行配準,可以解決目標物體運動幅度較大時,容易出現兩個連續幀的目標點云數據波動較大,造成增強顯示的虛擬模型出現視覺閃爍及模型不穩定的問題,提高三維跟蹤注冊的魯棒性。
1.一種基于增強現實的三維跟蹤方法,其特征在于,所述三維跟蹤方法包括:
2.根據權利要求1所述的三維跟蹤方法,其特征在于,
3.根據權利要求1所述的三維跟蹤方法,其特征在于,
4.根據權利要求3所述的三維跟蹤方法,其特征在于,
5.根據權利要求4所述的三維跟蹤方法,其特征在于,
6.根據權利要求3或4所述的三維跟蹤方法,其特征在于,
7.根據權利要求5所述的三維跟蹤方法,其特征在于,
8.根據權利要求3所述的三維跟蹤方法,其特征在于,
9.一種三維跟蹤裝置,其特征在于,所述三維跟蹤裝置包括處理器和存儲器;所述存儲器中存儲有計算機程序,所述處理器用于執行所述計算機程序以實現如權利要求1~8中任一項所述三維跟蹤方法的步驟。
10.一種計算機存儲介質,其特征在于,所述計算機存儲介質存儲有計算機程序,所述計算機程序被執行時實現如權利要求1~8中任一項所述三維跟蹤方法的步驟。