Meta研究设计AR端到端立体视觉系统，介绍快速鲁棒新型在线校正算法
设计一个在非常有限的计算预算下运行的端到端系统
（映维网Nweon 2023年04月10日）立体视差估计是计算机视觉的基本问题之一，在AR/VR，机器人和自动驾驶等众多不同领域都有着广泛的应用。尽管研究人员在使用神经网络实现KITTI、Middlebury和ETH3D等基准的高精度方面取得了重大进展，但在端到端深度传感系统中使用立体视觉存在一系列的实际挑战。
在名为《A Practical Stereo Depth System for Smart Glasses》的论文中，Meta和Adobe的研究人员介绍了一种配备两个前置立体摄像头的智能眼镜产品系统，亦即设计一个在非常有限的计算预算下运行的端到端系统。
智能眼镜与智能手机配对，主要计算发生在手机端。端到端系统进行预处理、在线立体视觉校正和立体视觉深度估计。在校正失败的情况下，回退到单目深度估计。深度感测系统的输出然后馈送到渲染管道，以从单个用户捕获数据来创建三维计算摄影效果。
系统的主要目标是实现创建3D计算摄影效果的最佳用户体验，支持用户选择使用的任何主流智能手机，并捕获任何类型的环境。所以，它需要具有鲁棒性，并且要在非常有限的计算预算下运行。实验结果表明，团队提出的网络比其他方法快几个数量级，而且经过训练的模型取得了与最先进网络相当的性能。
......（全文 3818 字，剩余 3364 字）
请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限
