微软专利探索基于AR眼镜+智能手机的虚拟化身生成渲染

PICO 4 Ultra

查看引用/信息源请点击:映维网Nweon

生成逼真的Avatar

映维网Nweon 2022年05月28日微软于2021年发布了Mesh for Teams,正式开启MR全息办公,从而提升远程协作体验。其中,用户可以通过Avatar的方式参加视像会议。在名为“Multiple device sensor input based avatar”的发明中,这家公司介绍了一种根据多传感器设备来渲染生成Avatar的方式。

简单来说,可以用两台设备来分别捕获用户的不同部位,然后整合出完整的Avatar。例如,AR眼镜可以捕获用户身体的双手,而智能手机可以捕获用户的面部表情。

来自与用户相关联,且在物理空间中具有不同视角的多个设备的传感器输入可共同提供关于用户的信息。由于所述信息具有足够的特异性水平,所以可用于生成逼真的Avatar。

另外,由于Avatar是通过将用户面部的三维表示纹理映射到三维身体模拟来生成,所以它可以准确地捕捉细微差别的人类行为,例如用户的面部表情和手势。这种在Avatar视频流中生成,从而能够并入虚拟现实或混合现实体验中,例如多个用户之间的虚拟现实或混合现实电话会议。

微软专利探索基于AR眼镜+智能手机的虚拟化身生成渲染

图1示出了一场远程混合现实会议场景,包括位于第一物理空间102中的第一用户100,以及位于远离第一物理空间102的第二物理空间106中的第二用户104。第一用户100穿戴第一头戴式显示设备108,头戴式显示设备108包括前置图像传感器,前置图像传感器从第一用户100的角度对第一物理场景102进行成像。

利用前置图像传感器,第一头戴式显示设备108可以对进入头显摄像头视场的第一用户100的各种身体部位进行成像,例如手部。物理空间102同时存在与第一头戴式显示设备108分离的第一成像设备110,第一生成设备110从与第一头戴式显示设备108不同的视角成像第一用户100的面部。

......(全文 2594 字,剩余 2011 字)

wx_mp

请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限

本文链接https://news.nweon.com/97513
转载须知:转载摘编需注明来源映维网并保留本文链接
素材版权:除额外说明,文章所用图片、视频均来自文章关联个人、企业实体等提供
QQ交流群苹果Vision  |  Meta Quest  |  AR/VR开发者  |  映维粉丝读者
XR Research Wechat Group/微信群

您可能还喜欢...

资讯