从画中逃走,Facebook实现在AR中基于图片人物生成3D动画
文章相关引用及参考:next.reality
单张图片即可在AR环境中生成3D动画
(映维网 2019年01月03日)在学习谷歌和华为并向华盛顿大学的UW Reality Lab捐赠一笔资金后,Facebook的付出似乎开始迎来回报。
根据本月初公布了一份的论文《Photo Wake-Up: 3D Character Animation from a Single Photo(唤醒图片:基于单张图片的3D角色动画)》,华盛顿大学和Facebook的研究人员开发了一种仅利用单张图片即可在AR环境中生成3D动画的方法。
他们的方案能够将可变形躯体模型拟合到图像,并估计模型的躯体映射。利用映射模型,系统能够构建3D网格,然后将纹理应用于与躯体映射匹配的网格,同时集成骨架rig以控制图形的运动。如动图或视频所示,具体的效果就像是照片中的对象活了过来。研究小组表示,他们研发的系统适用于图片,卡通人物,甚至是抽象绘画。
对于 《Photo Wake-Up: 3D Character Animation from a Single Photo(唤醒图片:基于单张图片的3D角色动画)》这份论文,作者包括Facebook研究科学家、华盛顿大学Paul G. Allen计算机科学与工程学院的助理教授Ira Kemelmacher-Shlizerman;UW Reality Lab的联合主任Brian Curless;以及华盛顿大学博士生,于2018年夏天曾在Facebook担任研究实习生的翁仲毅。
相关论文:Photo Wake-Up: 3D Character Animation from a Single Photo
Kemelmacher-Shlizerman是在Facebook收购其初创公司Dreambit后加入这家公司。Curless对3D表面重建的研究则曾对微软HoloLens和谷歌Project Tango中的环境映射算法作出过贡献。
在演示视频中我们可以看到,一名HoloLens用户正看着毕加索画作中的人物从画布“逃走”,广告中的男人向前奔跑,以及詹姆斯·保罗·麦卡特尼从披头士唱片《Help!》的封面中冒出头来。
正如论文在局限部分所述,实践结果有点粗糙(当然,这实际上有利于抽象画作),但计算机视觉方法与Facebook对Spark AR平台的全身AR蒙版,图像识别,以及其他功能的研究相一致。
就目前而言,研究团队只是通过HoloLens演示了这种AR体验,他们没有明确表示方法的实现是否需要这款头显的深度传感器。
尽管研究技术可能不会马上登陆Spark AR平台或谷歌的移动AR项目,但最终,为华盛顿大学UW Reality Lab提供过资金援助的企业都会从相关的研究中获益。