日本团队实现高精度动态面部投影映射技术
查看引用/信息源请点击：techxplore
仅用0.107毫秒就实现了高速执行
（映维网Nweon 2025年02月24日）增强现实已经成为娱乐、时尚和化妆品行业的热门话题。其中，动态面部投影映射是最复杂和视觉方面最令人惊叹的技术之一。简而言之，动态面部投影映射包括实时将动态视觉投影到人脸，并使用先进的面容追踪来确保投影无缝地适应动作和表情。
然而，但这种方法受到技术挑战的阻碍。将视觉投影到移动人脸意味着动态面部投影映射系统需要在不到一毫秒的时间内检测到人脸特征，如眼睛、鼻子和嘴巴。
所以即便是轻微的延迟，或者摄像头和投影仪的图像坐标之间的微小偏差，都有可能导致投影误差或错位伪影。
所以，日本一个研究小组开始寻找解决现有挑战的方法，并提出了一系列创新的策略和技术。
首先，研究人员开发了一种称为“高速人脸追踪方法”的混合技术以实时检测landmark。他们主要采用了一种称为回归树集合（ERT）的方法来实现快速检测。
团队同时实现了一种方法来有效地将传入的图片裁剪到人脸，以更快地检测landmark，具体是通过利用前一帧的时间信息来限制“搜索区域”。为了帮助基于ERT的检测从错误或具有挑战性的情况中恢复，他们将其与较慢的辅助方法相结合，以较低的速度提供高精度。
利用这种巧妙的混合策略，研究人员取得了前所未有的速度：“通过将高精度但慢速检测，以及低精度但快速检测技术的结果并行集成，补偿时间差异，我们在保持高精度的同时，仅用0.107毫秒就实现了高速执行。”
团队同时解决了一个紧迫的问题：用于训练模型的视频数据集的可用性有限。所以他们创造了一种创新的方法，利用现有的静止图像人脸数据集来模拟高帧率的视频注释。这使得他们的算法能够在高帧率下正确地学习运动信息。
最后，研究人员提出了一种移位同轴投影仪-摄像头设置，以帮助减少对齐伪影。他们解释说：“摄像头光学系统中的移位机制使其与投影仪光学系统的投影对齐，从而实现更精确的坐标对齐。”
通过这种方式，团队实现了高度光学对准，对于位于1米至2米深度之间的用户，误差仅为1.274像素。
