雨果·巴拉:行业北极星Vision Pro过度设计不适合产品市场

Mesh2SLAM框架实现无需传感器数据的轻量级SLAM系统

查看引用/信息源请点击:映维网Nweon

提高了效率并绕过了直接的传感器数据访问

映维网Nweon 2025年05月22日)SLAM这项基础技术在AR/VR等领域有着广泛的应用。SLAM模拟评估新概念,但在资源受限的设备进行测试面临挑战:计算成本高,传感器数据访问受限。

在一项研究中,德国康斯坦茨大学团队提出了一个使用网格几何投影作为特征的稀疏框架,它提高了效率并绕过了直接的传感器数据访问,从而推进了SLAM研究。

SLAM是计算机视觉领域的一种基础方法,对增强现实和虚拟现实设备的操作至关重要。SLAM算法依赖于各种传感器,如激光雷达、摄像头和深度传感器,在估计设备位置的同时构建环境地图。

Visual SLAM主要使用图像作为输入数据。然而,需要对图像流进行额外的处理以检测和匹配帧之间的显著特征。特征的准确检测和匹配对于估计连续帧之间的camera姿态至关重要。在实际部署之前,仿真在有效测试SLAM概念方面起着关键作用。它支持快速原型设计,降低噪点,提高可重复性,并可调整建模环境、过程和传感器的参数。

在SLAM仿真中,与现实世界的SLAM一样,从生成的虚拟环境图像中提取图像特征。然而,无论是使用现代人工智能方法还是使用经典的计算机视觉技术,基于特征的方法不仅会带来计算开销,而且在特征匹配中会引入固有的噪点和模糊性。直接使用头显进行SLAM研究的另一个主要挑战是,商业AR/VR硬件的原始传感器数据访问受限。

为了解决所述限制,德国康斯坦茨大学团队提出了一个高效且可移植的框架,可以直接从运行时虚拟环境执行单目SLAM,从而避免了直接访问传感器的需要。

另外,作为基于图像的SLAM特征的替代方案,所述方法执行网格几何组件的投影。框架通过利用计算机生成环境中固有的结构元素,特别是多边形网格,优先考虑效率。据研究人员所知,这是第一个利用多边形网格顶点的实时SLAM系统。它有三个优点:

  • 首先,所述方法消除了特征关联误差,提高了位置估计精度,提高了运行效率,使其成为相关应用中作为GroundTruth的潜在候选。

  • 其次,SLAM框架能够独立运行(无需接到PC进行繁重工作),可直接作为用户应用在低预算的现成头显运行,无需真正的传感器输入。

  • 第三,框架允许使用任意的3D网格,不需要纹理。

所以,这项研究可以将SLAM的研究机会和原型设计扩展到VR之外,包括机器人和更广泛的计算机视觉应用。它特别适合于虚拟仿真环境中的SLAM研究和原型设计。

团队主要是从PTAM的简单性和双并行模块中获得灵感,从而开发了Mesh2SLAM。另外,他们采用了ORB-SLAM2的初始化、追踪和映射过程,并将模块与自己的特征处理方法相结合。

鉴于资源受限设备在SLAM研究中的重要性日益增加,所述方法被设计为轻量级、可移植且更独立于第三方库。处理图像特征的核心组件模块由顶点特征处理方法所取代,另外,特别是在可视化方面,它包含了自己的可选OpenGL ES可视化引擎,允许更大的可移植性。如图1所示,Mesh2SLAM在主应用程序线程和两个专用SLAM线程(Tracking和Mapping)之间并发地操作。

帧从场景几何中捕获作为顶点特征,并由前端追踪模块处理。后端Mapping模块进行后验优化,包括窗口束调整,以最小化误差,实现帧姿和映射点的最佳拟合。

相关论文Mesh2SLAM in VR: A Fast Geometry-Based SLAM Framework for Rapid Prototyping in Virtual Reality Applications

总的来说,团队提出的Mesh2SLAM是一个快速高效的基于几何的SLAM框架。它的主要新颖之处在于利用网格几何组件、顶点特征和利用GPU加速来提高位置估计的准确性,并大大减少计算开销。

作为一个SLAM模拟,Mesh2SLAM保持了SLAM功能,同时绕过了基于图像的方法中阻碍原型设计的问题。在XR开发的背景下,其轻量级稀疏地图表示非常适合定位为重点的任务,包括追踪用户运动、支持空间交互、验证姿态估计方法以及对其他定位算法进行基准测试。另外,未来的考虑包括将其扩展到协作定位或多代理SLAM。

本文链接https://news.nweon.com/129881
转载须知:转载摘编需注明来源映维网并保留本文链接
素材版权:除额外说明,文章所用图片、视频均来自文章关联个人、企业实体等提供
QQ交流群苹果Vision  |  Meta Quest  |  微软HoloLens  |  AR/VR开发者  |  映维粉丝读者
资讯