南京理工大学提出基于网格变形的3D眼镜框架重建方法，提升虚拟试戴体验
可用于从单个RGB图像中恢复高精度3D全帧眼镜模型
（映维网Nweon 2025年02月06日）在XR技术的支持下，3D虚拟眼镜试戴应用正在成为一种新的流行解决方案，它提供了一个“试戴”选项，允许你在舒适的家中选择一副完美的眼镜。
以往基于深度和图像的方法由于缺乏足够的纹理特征严重的自遮挡等问题，从单幅图像重建镜框非常困难。
在一项研究中，南京理工大学提出了第一个基于网格变形的重建框架，可用于从单个RGB图像中恢复高精度3D全帧眼镜模型。
具体而言，在构建合成眼镜框架数据集的基础上，首先定义了具有预定义关键点的特定类眼镜框架模板。
然后，给定一幅结构薄且纹理特征少的输入眼镜帧图像，设计关键点检测器和细化器，对预定义的关键点进行coarse-to-fine检测，以准确估计camera姿态。然后，利用可微渲染，他们提出了一种新的优化方法，通过在模板网格逐步执行自由变形（FFD）来生成正确的几何形状。
团队定义了一系列的损失函数来加强渲染结果和相应的RGB输入之间的一致性，利用了固有结构、轮廓、关键点、每像素阴影信息等的约束。在合成数据集和真实图像的实验结果表明了算法的有效性。
......（全文 1773 字，剩余 1349 字）
请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限
