中秋国庆AR/VR行业重点信息汇总：Quest 3、Vision Pro
查看引用/信息源请点击：映维网Nweon
中秋国庆长假AR-VR行业重点信息都在这里了。
（映维网Nweon 2023年10月06日）很多映维网的读者在中秋国庆长假期间选择了度假旅游以丰富人生生活，无暇及时了解AR/VR行业发展，为此映维网准备了这篇大集合，将这个假期期间的重点内容概括起来。
1：扎克伯格以逼真全身Codec Avatar化身在VR中接受采访
在Connect大会后，马克·扎克伯格接受Lex Fridman，两人以Codec Avatar化身在VR中进行对话。
借助突破性3D捕获技术和人工智能系统，Codec Avatar可以创建图片真实感的虚拟化身，实现精确表情映射，表现对方微表情和肢体语言。
当然，当前Codec Avatar只有上半身，没有下半身。扎克伯格解释道，这是一个更为艰巨的挑战。扎克伯格表示这个未来至少需要三年的时间，而他们会继续为此努力，并实现真正的全身Codec Avatar。
2：Quest 3通过AI支持逼真映射用户动作的全身Avatar
对于Meta全新消费者头显Quest 3，将能够利用它的多个前置摄像头，尤其是侧面的摄像头，以及先进的计算机视觉算法来追踪用户的手腕、手肘、肩膀和躯干，从而能够精确地追踪上半身。Meta称之为内向外身体追踪（Inside-Out Body Tracking——IOBT）。
Meta将在12月通过软件更新带来Generative Legs/生成式双腿。团队表示，它通过人工智能模型来估计双腿的位置。由于可以利用精确上半身追踪作为输入，预计Generative Legs可以提供更精确的双腿估计。需要注意的是，Generative Legs目前仅支持行走、跳跃、蹲下等粗略动作，不能覆盖更为细微的动作。
3：Meta为Quest开发者发布一系列工具，助力开发创作和迭代
在Connect大会，Meta发布了一系列工具来帮助开发者更快地从构思走向迭代。这些工具包括：Project Setup Tool，Building Blocks和Meta XR Simulator等。
Project Setup Tool工具旨在帮助减少设置SDK的时间，这个项目设置工具会自动向你提醒各种问题，并通过一个大型自动修复库来帮助你修复它们。Building Blocks是一个全新实验性功能，旨在帮助你轻松发现和添加Presence Platform功能，如Passthrough透视和手部追踪。
Meta XR Simulator可允许你快速、轻松地测试和改进应用程序的机制、设计和整体用户体验。这个模拟器是一个轻量级的XR运行时，允许你在API level模拟Meta Quest设备和功能。
Meta还介绍了它们如何协同工作以增强应用开发工作。值得一提的是，Unity的AR Foundation现在提供了对Quest 3和Quest Pro的支持。
4：Meta Quest MR功能全升级，赋能输入交互、动捕追踪等
在Connect大会中，Meta宣布了一系列对Presence Platform功能的升级，从而赋能下一代头显的输入、交互和动捕，包括高保真的上半身追踪，更自然和响应的交互，以及逼真的双腿等等。
5：Quest 3为控制器Touch Plus追踪覆盖范围带来巨大变化
Meta Quest 3带来了全新的无灯环控制器Touch Plus，将红外LED从圆环移到了控制器的面板，同时在手柄底部增加了一个红外LED。虽然系统具有不太一致的可见追踪标记，但团队相信改进的追踪算法能够应对相关挑战。
Quest 3的Touch Plus与同样没有灯环的Touch Pro控制器不同。Touch Pro使用机载摄像头来追踪自己在空间中的位置，亦即自追踪方法，而Touch Plus则是继续利用头显光学追踪并通过改进的追踪算法来实现控制器定位。
Meta明确指出Quest 3摄像头位置的变化意味着控制器的追踪量（Tracking Volume）将与Quest 2有明显不同。Quest 3的摄像头不能像Quest 2那样捕捉用户头顶上方的图像，但Quest 3在用户的躯干周围（尤其是身后）实现了更多的追踪覆盖，并在肩膀周围提供了更多的追踪覆盖。
Meta认为这是一个值得权衡的选择，因为玩家不会经常长时间把手举过头顶，而且Quest 3可以在控制器短时间内离开追踪区域时有效地估算其位置。
6：《红色物质2》在Quest 3上带来“主机质量”画质升级
以画质著称的Vertical Robot日前通过X（原Twitter）宣布，Quest 3版《红色物质2》已经发布，大大提升了渲染分辨率，4K纹理和动态阴影等。
这家工作室宣称这次Quest 3版本更新将阴影滤波和纹理升级到“主机质量”。
屏幕分辨率升级：动态分辨率现在将上限从Quest 2的固定1226×1440显著增加到3322×3519。
4K纹理：利用Quest 3的增强内存，纹理已经升级到主机质量，拥有高达16倍的像素增加。
各向异性滤波：屏幕纹理现在受益于Aniso 8x，显著增强了清晰度。
动态阴影：Spotlights现在投射动态阴影，为场景增加一层真实感。
PCF5x5阴影滤波：选定的表面显示主机质量的阴影滤波，产生更柔和，更逼真的阴影。
网格LOD改进：增强的图形减少LOD popping。
帧率适应性：在战斗中，Quest 3将动态调整帧率从72帧/秒改到90帧/秒。
7：Virtual Desktop：Quest 3是迄今最适合无线串流PC VR的头显
热门VR串流应用Virtual Desktop日前进行了更新，并新增了Quest 3支持，从而允许用户以更高清晰度享受PC应用。
对于搭载高通骁龙XR2 Gen 2芯片组的Quest 3，它的处理性能和画质都获得了不同程度的提升，而新版本Virtual Desktop增加了对AV1视频编解码器的支持，HEVC编解码器高达200mbps。
AV1在与HEVC相同的比特率下可以提供更好的图像质量，并且能够产生更稳定的帧时间，这意味着在VR中移动时更少的抖动。
8：Meta：已在研究10年，15年，甚至20年后的VR硬件
Meta首席技术官安德鲁·博斯沃思（Andrew Bosworth）表示公司的实验室团队可能已经在探究10年，15年，甚至20年后的VR硬件。
回答问题“Meta在VR硬件方面有多超前”时，博斯沃思说：“真的非常超前。我们当然有我们的愿景。在我们的研究室里，也许10年，15年，20年。显示器会是什么样子？输入是什么样的呢？可能存在什么样的颠覆性技术？我们能在它们身上投资吗？我们能让它们发生得更快吗？话虽如此，我们可能在任何时候都有三到四种不同的头显在开发之中，而它们看起来更像是未来2到5年的事情。所以当你在开发硬件的时候你必须有一个远近模式。”
博斯沃思同时评价Vision Pro说：“3500美元，我能造出这样的设备（Vision Pro）。但我不想这样做。我们从没认真考虑过这个问题。你可以在很多不同的方向进行创新。我们把我们的功能做到亲民和易于使用。我为此感到自豪，并会坚持下去。”
9：自研计划再度受挫，Meta将裁员AR/VR定制芯片团队FAST
据路透社报道，Meta计划对元宇宙事业群Reality Labs的芯片自研团队FAST裁员，不确定具体的裁员幅度。路透社引述两名知情人士称，Meta员工已通过公司论坛Workplace知晓了裁员消息。
对于拥有大约600名员工的FAST团队，他们一直专注于为Meta的AR/VR硬件开发定制芯片，然而Meta的芯片自研计划屡次受挫。The Information早前报道称，Meta的第二代雷朋智能眼镜原本计划采用团队开发的定制芯片Brasilia，从而摆脱对高通的依赖。但由于研发进度，性能效果和批量生产等多方面的原因，所述设备继续采用了高通的芯片。
诸如Meta和苹果等巨头都在发力头显的MR透视模式，并且在大肆宣传这种体验的未来。但约翰·卡马克却泼了一盆冷水，表示自己不相信这种功能可以提升头显的销量。
卡马克分享说：“我依然不相信混合现实应用会成为提高头显销量的引擎。高质量的透视固然出色，但我不认为将渲染与现实世界环境相结合的应用程序是杀手级应用。我认为这是一种正在寻找正名机会的有趣且具有挑战性的技术。VR的力量在于用更好的空间来取代你的环境，而不是在你的真实环境中悬挂一个虚拟屏幕。在所有展示MR未来的精制视频中，你看到的环境总是时尚、干净和宽敞。但这并不能代表现实世界的用户群。这种努力当然有一定的价值，但我一直认为，还有更多唾手可得的果实等着我们先去采摘。”
为了帮助厂商构建下一代VR/MR头显，高通已经发布了骁龙XR2 Gen 2参考设计Snapdragon QXR2230P。该设备采用2.56 x 2.56K Micro-OLED 双面板，Pancak光学元件，支持眼动追踪，手部追踪，以及MR透视。
全新的骁龙XR2 Gen 2基于高端智能手机芯片组骁龙 8 Gen 2，但针对虚拟现实和混合现实用例进行了优化。骁龙XR2 Gen 2采用4nm工艺，在性能、能效和功能方面都有诸多改进。这款组件的主要优化包括:
- GPU提供高达2.5倍的峰值性能，与骁龙XR2 Gen 1相比，功效提高了50%。
- CPU的性能提高了33%以上。
- 与上一代芯片组相比，NPU神经处理单元提供了高达8倍的AI性能。
- 骁龙XR 2第二代支持高达3K × 3K分辨率的显示器，动态注视点渲染，空间扭曲和游戏超分辨率功能。
- 在传感器方面，骁龙XR2 Gen 2可以处理多达10个摄像头的数据。
- 骁龙XR2 Gen 2可实现12毫秒的超低延迟直通，具体取决于分辨率和其他传感器利用率等各种因素。
- 所述芯片组同时支持无线标准Wi-Fi 7和6E以及蓝牙5.3和5.2。
- SOC的专用区域可以处理和加速关键的头显任务，如房间追踪，透视，空间扭曲和超分辨率。这样可以减轻CPU和GPU的负担，降低功耗和延迟。
12：库克：首次尝试Vision Pro就看到了全新计算时代
在接受英国《独立报》专访时，苹果首席执行官库克表示自己首次使用Vision Pro时是一次“Aha Moment（顿悟时刻）”。他声称，这款混合现实设备有可能开创一个全新的计算时代，并对我们的工作、沟通和体验世界的方式产生深远的影响，就如同16年前的iPhone一样。
这位苹果掌舵人称，使用Vision Pro已经成为他每晚的例行事项，并帮助他理解它如何才能成为一款行业定义产品。他指出，人们看待它的方式存在巨大差异，而这取决于他们是否实际尝试过。
13：苹果为开发者推送visionOS Beta 4 SDK
苹果最初在6月发布了版本号为21N5165g的第一个visionOS beta SDK，并在7月带来了版本号为21N5207f的visionOS beta 2 SDK，在8月份带来了版本号为21N5233f的visionOS beta 3 SDK。现在，苹果又带来了名为21N5259j的第四个beta版本visionOS beta 4 SDK。
苹果同时发布了Xcode 15.1 Beta（15C5028h），并提醒开发者称：为visionOS开发内容需要使用搭载Apple Silicon处理器的Mac。
14：苹果Vision Pro创建Persona需要眼镜用户先摘除眼镜
根据早前介绍，苹果Vision Pro可以通过内置摄像头创建一个与用户相似的逼真Avatar化身“Persona”，并可用于FaceTime等视频聊天应用程序。创建Persona需要对脸部和上身进行3D捕捉，但代码显示该技术目前无法将眼镜考虑在内。
根据Twitter用户@M1Astra的情报，visionOS代码要求用户移除遮挡面部的任何元素，比如眼镜。目前，苹果似乎也没有提供任何二次扫描机制，来单独捕获用户的眼镜。但苹果将允许用户从各种预置选项中“选择眼镜”。
visionOS代码表明，Vision Pro用户将能够从一系列不同的眼镜和太阳镜中进行选择，它们涵盖常见的形状，如方形、圆形、椭圆形等，框架有厚有薄。
15：苹果Vision Pro支持通过AirPlay或FaceTime投屏到其他设备
根据visionOS第四个测试版的代码挖掘，苹果Vision Pro头显将支持通过AirPlay或FaceTime进行屏幕镜像，亦即投屏，将Vision Pro的屏幕内容同步到其他设备。Beta 4中的代码包括以下说明:
- 选择要从Apple Vision Pro镜像内容的设备
- 当通过AirPlay或FaceTime镜像或分享你的视图时，只有一个活动可用。
这意味着用户将能够通过AirPlay或FaceTime把Vision Pro的显示内容投屏到外部显示器或电视，或者与他人分享他们的视图。
16：苹果10月31日在上海举办Vision Pro开发者实验室活动
所以，苹果公布了新一轮Apple Vision Pro开发者实验室活动日期，并允许开发者在世界各地的 Apple Vision Pro实验室中体验自己的App和游戏，并与苹果专家联系，从而帮助完善你的想法并回答问题。有兴趣的开发者可以通过这个页面申请注册实验室。
值得一提的是，苹果同时提供了一个名为“在Apple Vision Pro上重新设计企业应用程序”的活动，地点是美国库比蒂诺，时间11月8日。届时，你可以探索体验式学习、可穿戴设备工作空间和引导式工作在理想用例类别下的示例。深入了解创建或转换现有媒体、将设备端和远程素材整合到App中等操作所涉及的工作流程。这家公司指出，本活动专为负责构建商务和教育解决方案的开发者和产品经理而设。
《半衰期：爱莉克斯》拥有大量的Mod，而这对PC VR玩家而言意味着数以百计的新模式、任务和玩法。现在，热门Mod“Re-Education”和“Incursion”背后的创作者内特·格罗夫（Nate Grove）通过X（原Twitter）表示，他已经作为关卡设计师和美术入职Valve，但他没有透露是否会参与V社的VR游戏研发工作。
格罗夫解释道：“我被雇佣的一个重要因素是我对‘Re-Education’和‘Incursion’的工作。对于我和其他许多人来说，在Valve工作是一个梦想，我认为这突出了支持社区工作融入任何游戏的重要性。它只会让产品（和行业）变得更强大。”
18：郭明錤：Meta的XR硬件出货量持续显著衰退，Quest 3今年预计200-250万台
著名消息人士郭明錤日前通过X（原Twitter）指出， Meta的XR硬件出货量持续显著衰退，而XR硬件业务因需求疲软造成的亏损可能高于市场共识。郭明錤相关博文中列出的情报，包括：
- 我的最新调查指出，Meta的头戴装置/元宇宙硬件出货量持续显著衰退，故缩编头戴装置/元宇宙业务对改善亏损帮助有限。
- Quest 3最初的出货预估为在2H23达到700万台以上，但因预期需求疲软，故目前最新的2H23出货预估为200–250万台，2024年出货量则约100万台。
- Quest系列的出货量在2023将进一步显著衰退约50%，YoY至350万台，2024年出货量不排除还有YoY衰退可能。
- 新款Ray-Ban Meta智能眼镜即便以规格/功能改善作为卖点，但目前整个生命周期出货预估仅约150万台，低于前代Ray-Ban Stories智能眼镜最初出货目标的200万台。但值得注意的是，Ray-Ban Stories智能眼镜的最终出货量仅约30–40万台，销售结果显著低于预期，而实际活跃使用者甚至更低于5万。
- 根據上述Meta新產品的出貨規模估算，Meta的頭戴裝置/元宇宙硬體事業的虧損可能高於預期，值得投資人關注。
