Oculus首席科学家深入探讨AR/VR未来发展：光学、显示、渲染、音频、输入、角色、外形、计算机视觉等

文章相关引用及参考：roadtovr

“VR的未来一片光明。”

（映维网 2018年10月16日）在Oculus Connect 5大会的主题演讲中，Oculus首席科学家迈克尔·亚伯拉什重新审视了他在16年OC3对未来五年VR技术的预测。亚伯拉什相信，对于自己经常提及的关键预测，尽管有些需要推迟大约一年时间，但“基本上都在朝着正确的方向发展” ，而且他“低估了某些领域的进展”。在今天的文章中，映维网将与大家一起回顾亚伯拉什对AR和VR未来的洞察。

1. 光学与显示

亚伯拉什在OC5大会上重新审视每个技术领域，而他首先讨论的是光学与显示。这位Oculus首席科学家对2021年头显功能的预测是单眼4K×4K分辨率，140度视场和可变焦深。

“这是我明显低估的一个领域。”亚伯拉什如是说道，并指出Oculus于今年年初展示的Half Dome原型已经满足了其中两个标准（140度视场和可变焦深），而且现在已经出现了能够满足其预测分辨率的显示面板。

亚伯拉什强调了变焦显示领域正在快速发展，他表示借助可以实时实现“自然注视跟随模糊”的AI渲染器DeepFocus，他们“在解决这个问题上已经取得了相当大的进步”，而他们会在未来几个月内发表他们的研究成果。

除了Hald Dome，亚伯拉什简略提到了针对未来光学的两个潜在解决方案：Pancake透镜和波导。跟菲涅尔透镜一样，Pancake透镜不是一项新事物，但“到了现在才真正变得切实可行”。亚伯拉什解释道，Pancake透镜可以通过基于偏振的反射将光学路径折叠成一个小空间，从而有可能实现视网膜分辨率和200度的视场，但你必须在外形尺寸和视场之间进行权衡。由于Pancake的工作方式，“你可以产生一个非常宽的视场或一款非常紧凑的头显…但不能同时实现”。

但波导（一种正因AR研发工作而得到加速发展的技术）在理论上没有分辨率或视场的限制，并且只有几毫米厚，最终可以在任何所需的视场和视网膜分辨率下产生非常轻巧的头显（但这仍然需要很多年的时间发展）。

2. 注视点渲染

对于图形，亚伯拉什在2016年的预测是注视点渲染将在五年内成为一项核心技术。他将这个预测延长了一年时间，而渲染方法可能会通过深度学习得到加强。他展示了一张图像，其中95％的像素被移除，剩余像素则集中在焦点。图像的其余部分通过深度学习算法进行有效的重建，而最终结果与原始的全分辨率版本非常相似，表面上足够欺骗你的外围视觉。

注视点渲染与眼动追踪密切相关，而亚伯拉什认为这是他2016年预测中风险最大的技术。今天，他更有信心可以实现稳定的眼动追踪（它已经成为Half Dome的一部分） ，但这个预测同样需要延长一年时间。

3. 空间音频

空间音频是下一个主题。亚伯拉什曾预测个性化的头相关传输函数（HeadRelated Transfer Functions；HRTF）将在五年内成为家用VR设置的标准，而他在本届OC5大会承认这个预测可能同样需要延长。但亚伯拉什指出，最近的一次演示体验令他确信“音频临场感是确有其事”。显然，这项技术已经行得通，但用于演示的个性化HRTF涉及30分钟的耳朵扫描，并紧接需要“漫长的模拟”，因此它尚不适合用于消费级产品。

4. 控制器与输入

至于控制器，亚伯拉什认为Touch类型的控制器在不久的将来仍然是主要输入设备（以及手部追踪）。在播放了Oculus的一个触觉手套实验短片之后，他调整了自己先前的观点，即用于双手的触觉反馈已经不再遥远，并指出“我们将在十年内以某种形式实现有用的触觉双手。”

5. 人体工学与外形尺寸

在谈到人体工学时，亚伯拉什提到VR和AR研究之间正日益增加的技术重叠，并指出未来的VR头显不仅能够做到无线，而且可以利用某些AR设备所采用的分体式结构来变得更加轻便，其中重型组件（如电池和计算硬件）可夹在口袋或腰间。他指出，重型组件同时可以与头显无线相连，从而实现完全的运动自由。

即便如此，光学限制仍然是阻碍VR头显接近滑雪镜设计的瓶颈，但Pancake透镜和波导光学系统的进步可以带来更加轻便的头显。

6. 计算机视觉

亚伯拉什接着讲到VR和AR设备在未来将会共享的计算机视觉技术。因为两种类型的硬件都能够渲染令人信服的混合现实，其中虚拟世界的对象和环境与真实世界融为一体。应对这一挑战的方法各不相同。亚伯拉什指出，未来的VR头显将能够在虚拟环境中实时扫描和渲染现实世界（他相信这可以在四年内成为现实），而AR眼镜则将渲染层“叠加’至现实世界，并通过透明显示屏进行浏览感知。

尽管亚伯拉什认为VR将在很长一段时间里成为“混合现实的最佳（形态）”，但他同时希望这两种技术最终能共享相同的底层接口，并共享相同的开发环境和工具，以至于应用程序和环境能够无缝地跨越两种类型的头显。Virtual Humans

7. 虚拟人类

亚伯拉什最后谈到了逼真的虚拟人类。在以前，恐怖谷效应看起来似乎都无法克服。亚伯拉什强调了一种名为Codec Avatars的机器学习方法，其能够在非常精确地重建旁边一个说话人头。尽管仍处于早期阶段，但他认为这可能会彻底改变虚拟通信和协作。他指出：“我不会打赌在四年内能够实现令人信服的人类化身。但我同样不会打赌这不可能在四年内实现。”

他推测道：“四年后，VR将能跳到更高的水平，而那只是一个开始。每个领域都将继续优化，虚拟人类和潜在的触觉双手将在不久之后出现。简而言之，就我看来，而我可以看得相当遥远，VR的未来一片光明。”