微软AR/VR专利介绍了一种摄像头定位方法
摄像头定位方法
(映维网Nweon 2023年07月12日)摄像头定位是指从摄像头拍摄的视频或图像中确定摄像头的位置和方向,通常是在三维空间。位置和方向通常是相对于摄像头在场景中的预先建立的场景图而言。但对于AR/VR等资源受限的设备,很难准确和稳健地实现摄像头定位。
所以在名为“Camera localization”的专利申请中,微软就介绍了一种摄像头定位方法。
现代摄像头方法通常使用图像检索、特征匹配和基于三维结构的姿势估计,但这需要长期存储大量的场景图像或大量的图像特征,所以不太适合资源受限的设备。微软描述的学习型摄像头定位技术则能够避免存储图像特征或详细的三维点云。
其中,一组稀疏的场景landmark可以编码到一个机器学习模型中,只要场景landmark可见,模型就能在查询图像中检测到它们。这种编码消除了维护图像特征数据库的必要性。在一个示例中,机器学习模型训练成回归场景landmark的方位向量(即便它们不在摄像头的视场内)。预测的场景landmark对应关系可以产生极其准确的姿势估计。
......(全文 3764 字,剩余 3384 字)