松灵机器人公众号      2022-10-23 15:34:12

松灵学术 | 在Scout Mini平台上,融合SLAM和深度学习的人员检测,实现室内拥挤环境的自主穿越

原文标题:【COMBINING LIDAR SLAM AND DEEP LEARNING-BASED PEOPLE DETECTION FOR AUTONOMOUS INDOOR MAPPING IN A CROWDED ENVIRONMENT】

原文作者:D. Tiozzo Fasiolo, E. Maset, L. Scalera, S. O. Macaulay, A. Gasparetto, A. Fusiello

论文链接:https://isprs-archives.copernicus.org/articles/XLIII-B1-2022/447/2022/

摘要

自意大利乌迪内大学工程与建筑学院(Polytechnic Department of Engineering and Architecture (DPIA), University of Udine, Udine, Italy)的Fasiolo等作者,提出了一种创新的人员检测方法,该方法结合了深度学习和SLAM技术,用于在拥挤的室内环境中进行自主地图绘制。这种方法利用深度学习算法来识别并定位目标个体,以便机器人能够在复杂的环境条件下规划出新的路径,从而探测到被遮挡或难以到达的区域,并最终生成完整的环境点云。实验在松灵机器人的Scout Mini移动机器人平台上进行。

亮点

1. 提出了一种基于移动机器人的室内环境自动建图方法,可以处理人群存在造成的遮挡问题。

2. 在移动平台上搭载了激光雷达和RGB摄像头进行环境感知,实现了多传感器的数据融合。

3. 利用YOLOv3卷积神经网络对图像进行实时人体检测,并结合多个坐标系信息确定人员在点云中的位置。 

4. 可以自动去除点云中对应人群的点,并重新规划路径回到这些位置进行重映射,得到完整的环境模型。

5. 在实际的有人室内环境中测试了该方法,验证其避免遮挡和自动去噪的效果。 

6.为室内移动机器人建图提供了一个行之有效的解决方案,使其可应用于更加复杂的实际场景中。

方法

论文基于一个松灵机器人Scout Mini科研教育套件,配备有LiDAR和摄像头,可以处理人群遮挡。首先利用基于边界搜索的算法使机器人进行初步探索,获取环境的雷达点云和图像数据。然后,使用YOLOv3卷积神经网络对图像进行人群检测,获取人群在图像中的边界框信息。结合SLAM算法进行移动机器人的定位和环境的三维重建,使用卷积神经网络进行人员检测,结合LiDAR的数据、机器人的姿态,估计人员在固定框架中的位置。接着,从点云中自动去除属于人员的噪点,并将这些位置标记为机器人需要重新访问以扫描之前遮挡区域的地点。最后,机器人重新回到这些检测到人员的位置,获取先前遮挡区域的点云数据,并与先前的点云合并,得到无遮挡的完整环境点云。

实验设计

在实际的拥挤室内环境中测试了该方法,包括封闭的办公室和长廊道。验证了该方法可以实现室内环境的自动化建图,有效避免人员遮挡并从点云中自动去除人员造成的噪点。

微信图片_20231215172104.png微信图片_20231215172111.png微信图片_20231215172119.png

微信图片_20231215185845.png微信图片_20231215185852.png微信图片_20231215185857.png微信图片_20231215185902.png微信图片_20231215185912.png



行业案例 | 公交车辆维保基地—松灵智能物料配送机器人
上一篇
行业案例| 世界第二大铁矿商力拓集团采用松灵履带巡检机器人
下一篇