Facebook展示反向透视VR头显，允许看到头显用户的眼部表情
（映维网 2021年08月03日）随着AR和VR设备开始成为我们工作和娱乐方式的重要组成一环，我们如何在真实世界和虚拟世界之间保持无缝的社交联系呢？换句话说，AR/VR体验之外和之内的人们如何在一个共享空间中保持“社交共在感”呢？
Facebook Reality Labs Research（FRL）在在SIGGRAPH大会就VR头显的共在感提出了一个新概念：“反向透视虚拟现实（Reverse Passthrough VR）”。简单来说，反向透视这个实验性研究演示允许外界看到头显用户的眼睛。这与Quest如今通过PasstThrough+和实验性PasstThrough API可以实现的功能形成对比，后者是利用外置摄像头帮助头显用户轻松看到周遭物理环境。
多年来，Oculus在实现透视功能方面已经取得了长足的进步。这项实验性的反向透视研究由研究科学松田内森（Nathan Matsuda）提出。有一次，他在办公室里体验启用Passthrough功能的Quest头显，并思考如何提高混合现实在社交和职业环境中无缝性。利用透视，他可以清楚地看到周围的同事，但对方却看不到自己的表情变化。所以每次在对话时，别人都会说无法进行眼神交流有多么奇怪。所以，松田提出了一个问题：如果能看到对方的眼睛会如何？这会给社交带来什么变化吗？
当松田在2019年第一次向FRL首席科学家迈克尔·亚伯拉什（Michael Abrash）演示反向透视时，亚伯拉什对这项研究的实用性并不信服。在演示中，松田佩戴了一个前端配备了显示屏的定制Rift S头显。然后，游戏引擎可以粗略渲染松田的浮动面容3D图像，并利用眼动追踪摄像头发出的信号来重新生成眼睛注视。
亚伯拉什回忆道：“我的第一反应是，这是一个愚蠢的想法，最多只能算是新奇玩意。但我不会告诉研究人员应该怎么做，因为如果没有尝试新概念的自由，你就无法获得创新。这是好事，因为现在这显然是一个非常具有前景的独特想法。”
在首次演示过去两年后，3D显示技术和研究原型有了显著的进展，拥有了专门构建的光学、电子、软件和一系列支持技术，能够帮助设备捕获和绘制逼真的3D人脸。这一进展十分具有前景，但研究依然只是实验性质：存在一系列的线缆，远不是一体式设备，而且眼睛和面容渲染不够逼真。然而，这是一个以FRL核心的自由探索理念为精神设计的研究原型。尽管研究离实际的产品路线图尚十分遥远，但它确实提供了关于反向透视如何应用到未来协作空间的一瞥。
左边：没有启用外置显示器的头显原型；中间：采用2D显示器的头显原型；右边：采用FRL团队的3D显示器的头显原型
1. 反向透视
反向透视的关键要素是外置3D显示器。你可以简单地在头显前端放置一块2D显示器，并在上面显示用户面容的平面投影。但对于这种解决方案，实际人脸到头显前端的任何偏移都会产生不和谐、不自然的视觉感知，并严重影响真正的眼神交流。随着研究原型的发展，3D显示器显然是一个正确的方向，因为它可以将用户的眼睛和面容渲染到正确的空间位置。随着第三方相对于3D显示器移动时，这能够保持相关眼神面容的对齐。
显示3D图像存在多种已确立的方法。在这项研究中，FRL团队采用了微透镜阵列光场显示器，因为它非常薄，结构简单，并且基于现有的消费者LCD技术。这种显示器采用一个微型透镜网格，由不同的LCD像素向不同的方向发射光线。这样，当第三方从不同的方向看向显示器时，其可以看到不同的图像。图像的透视角度会自然变化，所以房间中的所有人都可以看到光场显示，看到其位置的正确透视图。
与任何早期的研究原型一样，这种硬件依然存在非常大的局限性：第一，视角不能太大；第二，原型只能显示距离物理屏幕表面几厘米以内的清晰焦点对象。对话需要面对面进行，这自然限制了反向透视视角。
当然，人脸离实际屏幕表面只有几厘米，这非常适合当前的情况，而如果虚拟现实头显继续缩小尺寸，采用全息光学元件等方法，效果会进一步提升。
2. 打造研究原型
FRL的研究人员在早期的探索中使用了Rift S。随着概念的演进，团队开始用Half Dome 2进行迭代，以构建今年在SIGGRAPH展示的研究原型。机械研究工程师乔尔·赫格兰（Joel Hegland）用最基础的裸架提供了一个大约50毫米厚的VR头显，以作为最新反向透视演示的基础。然后，光学科学家布赖恩·惠尔赖特（Brian Wheelwright）设计了一个装载到头显前端的微透镜阵列。
最终的头显包含两个彼此镜像的显示盒。它们具有一个LCD面板和用于基础VR显示的透镜。一圈红外LED照亮由裸架覆盖的人脸。在透镜和屏幕之间搭载一面只反射红外光的镜子，这样红外摄像头就可以几乎正面地观察眼睛。在不可见的红外波段进行所述操作可以避免眼睛成像系统分散用户对VR显示器本身的注意力。然后，裸架的前端包括另一个带有微透镜阵列的LCD。
3. 在3D中成像双眼和面容
由光场显示器成像交错的3D图像本身就是一个重大挑战。对于这个研究原型，松田及其团队选择使用一对立体摄像头来生成面容的表面模型，然后将眼睛视图投影到所述表面。尽管产生的投影眼睛和面容并不逼真，但这只是为日后发展铺平道路的短期解决方案。
FRL的Codec Avatars研究指明了下一代的成像方案。Codec Avatars是人脸、表情、声音和身体的真实表示。通过深度学习，它可以由VR头显实采集的一组紧凑测量数据中驱动。所述虚拟化身对于反向透视应该更为有效，允许实现一个统一的人脸表现系统。
如下所示，这是FRL匹兹堡实验室的一个Codec Avatar研究，由反向透视头显原型运行。与使用当前立体摄像头方法拍摄的图像相比，相关图像及其随时间的运动看起来要逼真得多。这表明，所述系统在与远程临场感系统协同工作时可以提供进一步的改进。
显示Codex Avatar面容构建的反向透视原型
4. 通向社交共在感的道路
完全沉浸式VR和AR眼镜是两种根本不同的技术。从长远来看，这两种技术可能最终会为不同场景中的不同用户提供服务。在特定情况下，人们需要AR眼镜的透明光学系统；在其他情况下，用户更喜欢VR的沉浸感。在迈克尔·亚伯拉什的指导下，Facebook Reality Labs Research在探索新技术概念方面采用了广撒网的策略，以便在这两种显示架构中向前推进。充分探索这一领域将确保实验室掌握未来AR/VR设备的所有可能性和局限性，并最终以一种支持大多数人机交互的方式来将所述发现付诸实践。
反向透视是这类研究的代表：一个来自实验室的想法是如何推动VR头显实用性的向前发展。在今年下半年，团队将对所述显示系统研究进行更为全面的介绍，展示从变焦、全息光学、眼动追踪、失真校正到反向透等是如何协作并通过虚拟现实版的视觉图灵测试。
团队表示：“最终，这些创新和更多的创新将共同创造出紧凑、轻便、全天可佩戴的虚拟现实头显，并将高质量的虚拟图像与高质量的真实图像混合在一起。这样，不管对方是在地球的另一边还是站在旁边，你都可以和世界上的任何人共在一起。实现这一目标是我们Facebook Reality Labs Research的目标。”
