Meta将在Siggraph 2022亮相HDR VR头显原型Starburst、畸变技术及Codec Avatar
Siggraph大会将于当地时间8月8日-11日在加拿大温哥华举行
（映维网Nweon 2022年08月09日）在六月一篇“视觉图灵征途”的博文中，Meta介绍了一系列的原型，并表示将在今年的Siggraph大会进行介绍其中的高动态范围头显（HDR）原型Starburst。
随着Siggraph大会将于当地时间8月8日-11日在加拿大温哥华举行，下面我们不妨看看Meta将在本届活动介绍的内容，包括HDR原型Starburst、畸变技术、以及Codec Avatar。
1. Starburst
Starburst是Meta的HDR VR头显原型的代号。根据当时的介绍，Meta认为在通过VR视觉图灵测试之前，硬件设备需要先解决四个关键挑战，而其中最重要的是HDR。
为了证明HDR对VR体验的影响，显示系统研究团队构建了另一个原型Starburst。据称，这是第一款亮度可以达到惊人20000 nit的VR头显。
但HDR的目标不是令你“眼前一亮”，而是为现实生活中非常明亮的对象提供真实的亮度。例如火灾、爆炸、烟火，甚至窗户的明亮反光。Meta表示，能够在VR中复刻这种现实亮度对于通过视觉图灵测试至关重要。
相比之下，Quest 2的最大显示亮度为100 nit，而高端HDR电视则为2000 nit左右。这意味着Starburst可以实现比HDR电视高10倍的亮度范围。
索尼即将发售的PSVR 2有望成为首款商用HDR VR头显，但这家公司对“HDR”的定义并不明确。所以无法预测它是否能够达到1000 nit。
在今年举行的Siggraph大会，访客将能够在现场体验Siggraph原型。另外，相关的技术和操作细节可以访问映维网的论文页面《NeuralPassthrough: Learned Real-Time View Synthesis for VR》。
2. 畸变
VR视觉体验的分辨率很重要，但这只是拼图的一环。图像质量同样重要。由于各种技术原因，任何VR透镜都无法完全消除光学像差。有些像差可以通过在软件中扭曲图像来纠正。这是当今几乎所有VR头显的关键要素，正确使用它是实现出色视觉体验的关键。
然而，现有VR头显中的畸变校正软件并不完美；校正是静态的，但虚拟图像的畸变是动态的，会根据视线位置而变化。如下面所示，这种称为瞳游的现象会令VR看起来不太真实，因为当眼睛移动时，一切都会移动一点。使用变焦技术时，这一点变得更加重要，因为随着显示器焦距的变化，图像会略微放大和缩小。
得益于2017年Half Dome Zero用户研究中的一个错误：意外关闭了变焦技术的畸变校正，团队很早就意识到了准确变焦畸变校正的重要性。他们纠正了这个错误，并在这个过程中发现，只有在正确应用透镜畸变校正的情况下，变焦技术才能显示出显著的优势。这突出了正确校正畸变的重要性。但随着团队深入研究，他们又很快发现，缺乏进行校正所需的工具。
问题是畸变研究需要很长时间才能建立；仅在定制头显中制作透镜可能需要数周或数月的时间，而对于只是构建可用于测试的功能性头显显示器而言，这只是漫长过程的开始。DSR意识到他们需要以光学设计软件而不是透镜制造硬件的速度进行畸变研究。
他们解决了这个问题。团队重新利用3D TV技术创建了一个VR透镜畸变模拟器，从而诱发精确控制的畸变。这允许研究人员立即研究任何透镜设计的畸变校正算法。
凭借这一独特的快速原型制作能力，团队首次能够进行用户研究，调查眼动追踪畸变校正。与当今头显中的校正软件不同，动态畸变校正利用眼动追踪来更新渲染的校正，这有可能产生今天静态校正所不能产生的始终稳定图像。
快速原型技术有望大大加快对VR透镜畸变和各种校正的研究，为未来VR头显减少畸变铺平道路。
对于今年的SIGGRAPH大会，Meta将会展示相关的畸变模拟器和校正算法，并提供专门的论文《Perceptual Requirements for Eye-tracked Distortion Correction in VR》介绍。
3. Codec Avatars
除了HDR和畸变之外，Codec Avatar团队负责人亚瑟·谢赫亚瑟·谢赫（Yaser Sheikh）将在本届大会继续Codec Avatars的进展。
虚拟现实硬件正越来越能够将人体运动直接转换为计算体验，并通过头显来闭合动作感知反馈循环的方式具现体验。当你只需环顾四周即可调整对周遭世界的感知时，体验的沉浸感将能进一步加强，仿佛这就是真实。再利用精确追踪的运动控制器，你可以看到在虚拟世界中感知自己的双手并与其中的对象进行交互。这时，临场感就将越发凸显，亦即身临其境的感觉。
对于VR体验，如果可以利用虚拟化身实现实时的言语社交和非言语社交，你将越来越接近真正的社交临场感，仿佛对方真的就在身边一样。
只需非常小的输入，你都能感觉自己能够与对方建立联结。借助头显和双手控制器的位置追踪，相隔一方的用户可以在共享式虚拟环境中协作，并且感觉大家都是置身于同一个房间之中。我们非常容易接受彼此的行为线索，如肢体语言。我们可以推断出某人是否正在全神贯注倾听自己的讲话，而通过最微妙的头部动作，我们能够体验仿如现实世界般的社交规范。
随着虚拟化身的渲染正变得越来越细致入微（增加了眼睛和嘴巴，以及身体模拟），现在的挑战已经变成再现行为线索的细微差别。要通过今天的VR硬件实现所述目标，这意味着无需任何额外面部摄像头或身体追踪即可实现高度的社交临场感，所以我们必须将高质量的头部和双手动作追踪与行为和表达模拟相结合。如果能够做好，你的社交临场感就会提升。当虚拟化身的感知质量与真实意图出现脱节时，你会感到非常不和谐或不舒适。
如果大家有关注映维网的分享，Meta一直都在积极探索如何提升Codec Avatars，从而为我们带来逼真的虚拟数字人。今年的大会同样不例外。其中，Codec Avatar团队负责人亚瑟·谢赫亚瑟·谢赫（Yaser Sheikh）将在本届大会继续Codec Avatars的进展。另外，更多关于Codec Avatar的消息可以访问映维网，并进行关键词搜索。
