微软 AR/VR专利提出手部交互生成简化网格的优化方法
优化的网格简化技术
(映维网Nweon 2023年10月30日)AR/VR内容可以表示为由摄像头阵列生成的点云构建的网格。网格包括定义对象结构的多面体表示的多个顶点、边和面。通过简化网格以减少顶点、边和面的数量,这减少了网格占用的内存量,减少了处理时间,以满足不同设备的视频编码预算。然而,简化网格会降低网格详细区域的分辨率,并在AR/VR内容中引入视觉伪影。
另外,AR/VR系统使用基于计算机视觉和ML机器学习的工具来检测图像中的手和手指。然而,准确地将图像的检测部分映射到网格具有挑战性。同时,训练模型在运行时输入图像中识别手和手指具有挑战性。
所以在名为“Mesh simplification”的专利申请中,微软提出了一种用于生成简化网格的优化方法。所述简化网格可以保留诸如手等区域的结构细节。
简单地说,基于光滑网格的离散曲率,从初始网格中的多个顶点中识别一个或多个候选手指顶点。一个或多个手指顶点根据每个手指顶点的邻域中一个或多个其他顶点的离散曲率,从一个或多个候选手指顶点中识别一个或多个手指顶点。
......(全文 3411 字,剩余 3013 字)