一種室內環境的視覺SLAM方法、裝置、設備及存儲介質與流程

本申請屬于計算機視覺，特別涉及一種室內環境的視覺slam方法、裝置、設備以及存儲介質。

背景技術：

1、slam(simultaneous?localization?and?mapping，同時定位與地圖繪制)是一種機器人感知技術，指搭載特定傳感器的主體，在運動過程中建立環境的模型，同時估計自己的運動。slam技術分為視覺slam和激光slam兩類，傳統的視覺slam通常通過對相機幀間特征或光流進行數據關聯來對相機的位姿進行估計和優化，并根據估計的軌跡建立滿足任務要求的地圖。而室內環境通常存在紋理缺失，傳統的視覺slam系統很難在室內環境中有效地工作，因此目前在室內環境中多采用激光slam等搭載非相機傳感器的slam系統進行機器人的位姿估計和定位。然而現有的激光slam并沒有充分利用室內環境中的點線特征和幾何約束，導致室內環境下的slam定位精度受到限制，同時，采用激光slam需要耗費的成本較高。

技術實現思路

1、本申請提供了一種室內環境的視覺slam方法、裝置、設備以及存儲介質，旨在至少在一定程度上解決現有技術中的上述技術問題之一。

2、為了解決上述問題，本申請提供了如下技術方案：

3、一種室內環境的視覺slam方法，包括：

4、獲取室內環境的rgb圖像，并采用語義分割算法獲取所述rgb圖像的語義信息；

5、采用特征提取算法對所述rgb圖像進行點線特征提取，并對所述點線特征進行匹配，得到所述rgb圖像的視覺約束；

6、基于所述rgb圖像的語義信息檢測出rgb圖像中的平面物體，并根據所述平面物體的法線獲取所述rgb圖像的曼哈頓世界約束；

7、結合所述視覺約束和曼哈頓世界約束對所述rgb圖像進行幀間位姿估計，根據所述幀間位姿估計結果構建所述室內環境的視覺slam。

8、本申請實施例采取的技術方案還包括：所述獲取室內環境中的rgb圖像，并采用語義分割算法獲取所述rgb圖像的語義信息包括：

9、通過傳感器數據采集設備獲取室內環境中包含色彩信息及深度信息的rgb圖像；所述傳感器數據采集設備為rgb-d相機；

10、采用deeplabv3+算法對所述rgb圖像進行語義分割，獲取所述rgb圖像的語義信息。

11、本申請實施例采取的技術方案還包括：所述采用特征提取算法對所述rgb圖像進行點線特征提取，并對所述點線特征進行匹配，得到所述rgb圖像的視覺約束具體為：

12、采用orb算法對所述rgb圖像進行點特征提取，并采用brief描述子構建點特征的描述子；

13、采用lsd算法對所述rgb圖像進行線特征提取，并采用lbd描述子構建線特征的描述子；

14、根據所述點特征的描述子和線特征的描述子進行點線特征匹配。

15、本申請實施例采取的技術方案還包括：所述基于所述rgb圖像的語義信息檢測出rgb圖像中的平面物體之前，還包括：

16、基于所述語義信息檢測出rgb圖像中潛在的動態對象；

17、對所述動態對象進行運動一致性檢驗，篩選出正在運動中的動態對象，并剔除所述正在運動中的動態對象的點線特征。

18、本申請實施例采取的技術方案還包括：所述基于所述rgb圖像的語義信息檢測出rgb圖像中的平面物體，并根據所述平面物體的法線獲取所述rgb圖像的曼哈頓世界約束具體為：

19、根據所述語義信息檢測出rgb圖像中的平面物體，所述平面物體包括墻壁、天花板及地面；

20、求解所述墻壁、天花板及地面的法線，將墻壁的法線分別與天花板和地面的法線垂直作為rgb圖像的曼哈頓世界約束。

21、本申請實施例采取的技術方案還包括：所述根據所述幀間位姿估計結果構建所述室內環境的視覺slam具體為：

22、基于所述幀間位姿估計結果，選取所述rgb圖像中具有代表性的幀作為關鍵幀，并采用四叉樹算法剔除關鍵幀中的冗余點；

23、創建滑動窗口，對所述滑動窗口內的關鍵幀進行光束法平差優化后，建立所述室內環境的語義八叉樹地圖。

24、本申請實施例采取的技術方案還包括：所述建立所述室內環境的語義八叉樹地圖之后，還包括：

25、采用詞袋模型進行閉環檢測，根據檢測結果對所述語義八叉樹地圖進行全局優化及修正，完成所述室內環境的視覺slam。

26、本申請實施例采取的另一技術方案為：一種室內環境的視覺slam裝置，包括：

27、語義分割模塊：用于獲取室內環境的rgb圖像，并采用語義分割算法獲取所述rgb圖像的語義信息；

28、特征提取模塊：用于采用特征提取算法對所述rgb圖像進行點線特征提取，并對所述點線特征進行匹配，得到所述rgb圖像的視覺約束；

29、平面檢測模塊：用于基于所述rgb圖像的語義信息檢測出rgb圖像中的平面物體，并根據所述平面物體的法線獲取所述rgb圖像的曼哈頓世界約束；

30、位姿估計模塊：用于結合所述視覺約束和曼哈頓世界約束對所述rgb圖像進行幀間位姿估計，根據所述幀間位姿估計結果構建所述室內環境的視覺slam。

31、本申請實施例采取的又一技術方案為：一種設備，所述設備包括處理器、與所述處理器耦接的存儲器，其中，

32、所述存儲器存儲有用于實現所述室內環境的視覺slam方法的程序指令；

33、所述處理器用于執行所述存儲器存儲的所述程序指令以控制室內環境的視覺slam方法。

34、本申請實施例采取的又一技術方案為：一種存儲介質，存儲有處理器可運行的程序指令，所述程序指令用于執行所述室內環境的視覺slam方法。

35、相對于現有技術，本申請實施例產生的有益效果在于：本申請實施例的室內環境的視覺slam方法、裝置、設備以及存儲介質通過獲取室內環境的rgb圖像，采用語義分割算法獲取所述rgb圖像的語義信息，采用特征提取算法對所述rgb圖像進行點線特征提取，并對所述點線特征進行匹配，得到所述rgb圖像的視覺約束，基于所述rgb圖像的語義信息檢測出rgb圖像中的平面物體，并根據所述平面物體的法線獲取所述rgb圖像的曼哈頓世界約束，結合所述視覺約束和曼哈頓世界約束對所述rgb圖像進行幀間位姿估計，并建立室內環境的語義八叉樹地圖，完成室內環境的視覺slam。本申請實施例通過加入室內環境中的幾何約束，結合點、線、面的低級幾何特征以及高級語義特征構建室內環境的視覺slam，大大提高了相機的位姿估計和準確性和魯棒性。

技術特征：

1.一種室內環境的視覺slam方法，其特征在于，包括：

2.根據權利要求1所述的室內環境的視覺slam方法，其特征在于，所述獲取室內環境中的rgb圖像，并采用語義分割算法獲取所述rgb圖像的語義信息包括：

3.根據權利要求2所述的室內環境的視覺slam方法，其特征在于，所述采用特征提取算法對所述rgb圖像進行點線特征提取，并對所述點線特征進行匹配，得到所述rgb圖像的視覺約束具體為：

4.根據權利要求1至3任一項所述的室內環境的視覺slam方法，其特征在于，所述基于所述rgb圖像的語義信息檢測出rgb圖像中的平面物體之前，還包括：

5.根據權利要求4所述的室內環境的視覺slam方法，其特征在于，所述基于所述rgb圖像的語義信息檢測出rgb圖像中的平面物體，并根據所述平面物體的法線獲取所述rgb圖像的曼哈頓世界約束具體為：

6.根據權利要求5所述的室內環境的視覺slam方法，其特征在于，所述根據所述幀間位姿估計結果構建所述室內環境的視覺slam具體為：

7.根據權利要求6所述的室內環境的視覺slam方法，其特征在于，所述建立所述室內環境的語義八叉樹地圖之后，還包括：

8.一種室內環境的視覺slam裝置，其特征在于，包括：

9.一種設備，其特征在于，所述設備包括處理器、與所述處理器耦接的存儲器，其中，

10.一種存儲介質，其特征在于，存儲有處理器可運行的程序指令，所述程序指令用于執行權利要求1至7任一項所述室內環境的視覺slam方法。

技術總結
本申請涉及一種室內環境的視覺SLAM方法、裝置、設備以及存儲介質。所述方法包括：獲取室內環境的RGB圖像，并獲取所述RGB圖像的語義信息；對所述RGB圖像進行點線特征提取，并對所述點線特征進行匹配，得到所述RGB圖像的視覺約束；基于所述RGB圖像的語義信息檢測出RGB圖像中的平面物體，并獲取所述RGB圖像的曼哈頓世界約束；結合所述視覺約束和曼哈頓世界約束對所述RGB圖像進行幀間位姿估計，根據所述幀間位姿估計結果構建所述室內環境的視覺SLAM。本申請實施例加入室內環境中的幾何約束，結合點、線、面的低級幾何特征以及高級語義特征構建室內環境的視覺SLAM，提高了相機的位姿估計和準確性和魯棒性。

技術研發人員：馮偉,羅浩文,王衛軍,朱子翰,張儀,張耀杰
受保護的技術使用者：深圳先進技術研究院
技術研發日：
技術公布日：2024/10/21