显示技术专家Karl：Vision Pro之显示器像素密度讨论
“信息密度”的问题
（映维网Nweon 2024年03月19日）自Vision Pro在2023年6月发布以来，近眼显示技术专家卡尔·古塔格（Karl Guttag）就一直在分享他对苹果Vision Pro的技术分析，包括与Quest Pro的对比，Pancake光学元件分析等等。
延伸阅读：显示技术专家Karl：Vision Pro vs Quest Pro 的技术对比
延伸阅读：显示技术专家Karl：Vision Pro的硬件问题分析探讨
延伸阅读：显示技术专家Karl：从FOV分析Vision Pro的观影体验效果
延伸阅读：显示技术专家Karl：Vision Pro的Pancake光学元件分析
延伸阅读：显示技术专家Karl谈Vision Pro：用虚拟屏替代物理屏是荒谬想法
延伸阅读：显示技术专家Karl谈Vision Pro：用虚拟屏替代物理屏是荒谬想法-Part B
延伸阅读：显示技术专家Karl分享Vision Pro原生办公Excel app实测效果
延伸阅读：显示技术专家Karl：Vision Pro图像质量问题之初印象
延伸阅读：显示技术专家Karl：Vision Pro光学模糊度高于Quest 3，对比度低于Quest 3
延伸阅读：显示技术专家Karl：Vision Pro相同图像显示因应用程序而异
日前，古塔格谈到了Linus Tech Tips和Artur Tech等YouTube频道对自己博文的引用和讨论，并延申探索了“信息密度”的问题。
1. 导读
无论是文字还是视频，许多大大小小的媒体都会将这个博客作为XR头显技术信息的资源。有时，他们甚至会给予肯定。在过去的两周里，YouTube频道Linus Tech Tips（LTT）和Artur Tech Tales显著引用了这个博客。
我想跟进补充一下Linus Tech Tips等人的视频，我特别想讨论一下LTT视频中提到的虚拟显示器与物理显示器的“信息密度问题”。
1.1 LTT
在他们的“Apple Vision Pro-A PC Guy’s Perspective”视频中，Linus Tech Tips展示了来自这个博客的几个页面。另外，我喜欢他们对AVP的幽默物理“模拟”。LTT使用了本博客的图片来解释光学元件是如何扭曲显示内容，以及AVP中的处理是如何与眼动追踪结合使用来减少这种扭曲。LTT同时使用了本博客的图片来展示视场是如何根据眼睛到光学元件的距离而变化。
1.2 Adam Savages’ Tested
Adam Savages’ Tested对Apple Vision Pro的评论使用了本博客来讨论Apple Vision Pro的注视点边界是如何可见的。尽管电子表格取自本博客，但我没有看到任何引用。
Adam Savages’ Tested的视频在几个要点上要么看漏了什么，要么是错误的:
-
他们忽略了本博文的要点，即当在AVP直接从Excel中渲染而不是在MacBook镜像时，注视点渲染会对电子表格产生问题。
-
他们表示，透过光学元件拍照是不可能的，但本博文这样做已经有一个多月的时间了（包括这篇文章）。
-
他们说，AVP的透视3D视角对于近距离对象表现良好，但远距离对象表现不佳，但LTT（稍后讨论）发现情况正好相反。由于相机的位置，AVP对近距离对象的精度很差。
-
他们说没有真实世界的视频透视没有“扭曲”，这是错误的。与Meta Quest 3和Quest Pro相比，AVP的扭曲程度要小一点，但它依然会扭曲距离小于0.6米（2英尺）的对象。对于AVP的摄像头位置，近距离对象不可能做到既透视正确，又不扭曲。AVP似乎以透视正确作为权衡，从而做到比Meta头显更少的扭曲。
1.3 Artur’s Tech Tales
Artur’s Tech Tales的视频由Hypervision首席执行官亚瑟·拉伯纳（Arthur Rabner）主讲，而他多次提到了这个博客。
2. Linus Tech Tips对Apple Vision Pro的人体工学评论
LTT的视频谈了很多人体工学和用户界面问题。在本文的其余部分，我将讨论和扩展LTT视频中的评论。LTT同时评论了透视摄像头的“快门角度”，但我把我对这一点的讨论移到了最后的“附录”环节，因为它有点偏离主题，需要一定的解释。
2.1 它会把你的脸弄得一团糟
在视频的5:18位置，主持人摘下头显，并显示了Vision Pro留下的红色标记（下图左）。作为参考，我把Apple Vision Pro在我脸上留下的痕迹（下图右）列了出来。我有时开玩笑说，我想知道如果我戴的时间足够长，它会在我的头骨形成一个凹槽，并帮助支撑头显。
苹果的AVP专家可能会根据我们脸上的痕迹判断出我们的面部界面是不是“不合适”。LTT主持人的头显在他的脸颊留下了更深的印记，而我的头显在我的额头留下了最深的印记。当我使用隐形眼镜时，我用了一个相当厚的25W面垫，而AVP的眼动追踪经常抱怨道我需要让眼睛离透镜更近一点。所以，我最后把头带调到几乎能感觉到额头脉搏的程度，就像测量血压的袖带一样（或许将来会成为一种健康“功能”？）。
2.2 对游戏控制器的需求
LTT主持人对虚拟对象的分辨率和位置感到满意。但他表示，“遗憾的是，当你与游戏交互时，整个过程就会崩溃。”然后，LTT主持人遇到了许多因为没有控制器而只依赖手部追踪的问题。
我不是一个虚拟现实游戏玩家，但我同意The Verge的观点，即AVP的手眼追踪技术是“十分神奇，直到它不再神奇”。我对基于眼动追踪的手指选择感到无比沮丧。即便头显紧紧贴着我的脸，即便在多次重新校准IPD和眼动追踪后，眼动追踪的表现都并不稳定。我认为手眼追踪是一个很好的“次要”选择工具，设备需要一个精确的主要选择工具。我有一个苹果妙控板可以“支持”AVP，但不能在“3D空间”中应用。
2.3 Windows PC游戏通过WiFi镜像有延迟，存在低分辨率和压缩伪影问题
LTT主持人讨论了在AVP玩Steam游戏，但存在一定的延迟，而这对于某些游戏而言可能是个问题，特别是竞技类游戏。另外，分辨率限制在1080p，压缩伪影非常明显。
LTT主持人同时讨论了使用Sunshine （PC的串流服务器）和Moonlight（AVP的远程访问）应用程序来镜像Windows PC。尽管这个组合支持120P的4K分辨率，但LTT主持人表示，你需要一个非常好的无线接入来实现更高的分辨率和帧率。就有效分辨率和我称之为“信息密度”的方面而言，由于是尝试在3D空间中模拟虚拟显示器，它们仍将显著丢失分辨率。
从“Pro”设计的角度来看，苹果的AVP不支持数据和电源的Thunderbolt直连，而它同时需要线接电池，这是相当糟糕的。当然，我需要指出的是，售价300美元的开发者头带可以通过USB-C连接器支持100mb的以太网数据传输。开发者头带有许多未使用的引脚，而AVP的软件中有迹象表明，头带将来可能支持更快的连接（或许可以访问外设）。
2.4 透视视频的扭曲效果
在视频透视方面，在视频的13:43，LTT主持人评论了近距离对象的扭曲效果，以及深度感知“有点偏离”。他同时谈到，你是在通过手机摄像头看世界。当你移动头部时，透视视频看起来有点暗，并且存在明显的模糊。
同一段视频包括对AVP环境的幽默模拟。在其中一个场景中（下文），一个人戴着防毒面罩（模拟头显），周围则是三个非常大的显示器/电视。他们展示了用户需要大幅度转动头部来看到所有的内容。LTT没有提到显示器的角度分辨率相当低，而这就是为什么显示器需要这么大的原因。
2.5 共享文档是件痛苦的事情
LTT主持人讨论了AVP与同一房间的其他人共享文档的困难。部分原因是MacBook在镜像到AVP时显示为空白。主持人讨论了他不得不使用一个“奇怪的变通方法”，即设置一个视频会议来与同一房间的人共享文档。
3. 信息密度- AVP提供了多个大但非常低分辨率的显示器
LTT视频中最重要的演示涉及到我称之为“信息密度”的问题。AVP或任何VR头显在试图模拟三维空间中的2D物理显示器时，信息密度都非常低。AVP的有效分辨率远低于正在模拟的显示器的分辨率的一半。这一问题的主要原因是：
-
光学中心的峰值显示分辨率仅为44.4 ppd（人类视觉通常优于60 ppd）。
-
2D显示器图像必须重新采样到3-D空间，有效分辨率损失大于2倍。
-
如果显示器可见，它必须被刻在光学的椭圆形最佳视点之内。在AVP的情况下，这切断了大约一半的像素。
-
尽管AVP的近似水平视场约为100度，但光学分辨率在光学器件的外三分之一处显著下降。只有视场中心约40-50度可用于高分辨率内容。
简单地说，AVP需要两倍以上的PPD和更好的光学元件来提供典型现代计算机显示器的信息/分辨率密度。即便如此，它都会在某些方面有所欠缺。
下图显示了用相机拍摄通过显示透镜看到的影像的中心特写（左，以及计算机显示器以相同视场拍摄的相同图像（右）。所有内容都必须放大约2倍（线性），AVP的画面才能像计算机显示器一样清晰。
显示器模拟的一些当前问题是可以改进的“临时软件问题”，但信息密度问题并非如此。
LTT视频在17:48处表示，设置AVP是一件“令人厌烦的任务”，但应该理解的是，大多数问题是由于当前软件的限制，而它们可以用更好的软件来解决。正如主持人指出，最明显的问题是AVP目前不支持多个MacBook屏幕，而且它不会保存MacBook的虚拟屏屏幕位置。我想大多数人都希望苹果能在不久的将来解决相关问题。
在18:20,，主持人展示了真正的多显示器工作空间。尽管对于一些人来说，在横向显示器使用两个垂直堆叠的4K显示器和在纵向模式下使用第三个4K显示器有点极端，但它与我十多年来使用两个大型并排显示器的情况相差不远（今天我有一个34英寸22:9 1440p的“中心显示器”，以及一个28英寸4K侧面显示器，两者都是横向模式）。
我想指出LTT视频的一个评论（粗体强调）：
Vision Pro听起来就像你的个人助理Colin （团队的制作助理Colin De Graaf）为你拿着一台电视，然后让它重新定位，并毫不费力地漂浮在你想要的任何地方。但实际上，我真的不需要经常这样做，很多人都不需要。例如Nicole（团队的制作总监Nicole Yuen），这是一个真实的人在做真实的工作。她有多个4K显示器同时在她的视场范围内，要看全不同显示器的内容，她的头只需移动这么多。
再一次强调，我欣赏（Vision Pro）这个技术奇迹，它是一平方英寸的4K显示器。但为了获得最佳的文本清晰度，你需要使用这些像素的大部分，这意味着虚拟显示器需要足够巨大才能让Vision Pro真正发光。”
上面的粗体突出显示了信息密度。一个人可以一次看到的所有信息，然后，只需用最小的眼睛和头部运动就能看到他们当时想要看到的特定信息。把文字变大只适用于少量的内容，因为它会使阅读速度变慢，头部和眼睛的运动变得更大，并且会造成眼睛在更大的角度运动时更疲劳。
为了说明这一点，LTT视频“模拟”了一个AVP桌面，并假设支持多个显示器，然后在现实场景中将三个非常大的显示器并排放置，顶部放置两个较小的显示器。他们让模拟用户戴上一个彩色防毒面具来“模拟”头显（可能是为了喜剧效果）。我想补充一点，即便是这样的尺寸，对于AVP，每一台大型显示器的分辨率都将更像是1920x1080p显示器。
引用主持人对这部分视频的描述（粗体强调）：
这更像是有一台更大的电视，离你很远，这是一件好事，因为你会把注意力集中在你前面几英尺多的地方。但我仍然发现，尽管如此，如果我在空间计算领域呆一个多小时，那对我来说是个大问题。
使效率问题变得更糟的是，当前的Vision Pro不允许你保存布局。所以每次你想回来，你必须戴上头显，进行认证，接到你的MacBook，调整显示器的大小，打开一个Safari窗口，把它放在你想要的地方。这里存在很多的摩擦，例如我们的编辑，每次他们想坐下来完成几个小时的工作之前，他们的眼睛和脸都会伤得太厉害，无法继续工作。
我认为LTT视频提到的许多问题都可以通过AVP软件解决。在软件中不太可能解决的问题是头痛，眼睛疲劳，以及相对于典型设置中的现代计算机显示器而言，AVP的角度分辨率较低。
在洛杉矶地区的SID LA One Day大会发表演讲时，我试用了大约三小时的Bigscreen Beyond头显。我可以戴上Bigscreen Beyond将近三个小时，而通常情况下，我戴上AVP大约40分钟后就会头痛得直吐。我不知道为什么，但这可能是Bigscreen Beyond给我额头施加的压力小了很多，以及和光学元件有关。不管它是什么，这款头显对我来说显然有很大的不同。对于Bigscreen大大缩小的头显，从罐子里喝水都容易得多。
结论
很高兴看到这个博客在世界范围内获得了广泛的受众（这个博客的受众中约有50%是在美国以外）。由于其他媒体转载了这个博客的文章，上个月的读者人数大约翻了一番，达到50000人（数据来自于Google Analytics）。
我特别欣赏LTT视频的真实工作空间例子，而不是他们对AVP工作空间的“模拟”。它有助于说明使用头显模拟计算机显示器的人体工学问题，包括信息密度。我一直在强调信息密度问题，因为它似乎被许多媒体低估了。
附录LTT对AVP“奇怪的摄像头快门角度”的评论
我之所以将这个话题移到附录中，是因为它涉及一定的技术讨论。尽管它可能很重要，但可能不是所有人都感兴趣，并且需要一定的时间来解释。同时，我不想忽视这个问题，因为它造成了AVP的潜在问题。
在LTT视频的16:30位置，主持人提到Apple Vision Pro的摄像头使用了“奇怪的快门角度来补偿你周围闪烁的光线，导致（AVP）调高ISO感光度，从而给图像增加了一堆噪点。”
“快门角度”源自胶片时代的旋转式快门。快门角度是表示以前用在胶片电影机上的旋转快门的曝光时间的参数，每秒会记录24格胶片，即24fps，因此在不做任何遮挡的情况下每张胶片的曝光时间为1/24秒。当需要调整胶片上的曝光量的时候就需要加入一个旋转快门装置来调整曝光时间。在旋转快门叶片开角全开时（即360°），相当于在胶片前方没有任何遮挡物，因此此时每张胶片的曝光时间为1/24，而在旋转快门叶片开角打开一半时（即180°），相当于胶片有一半的时间被叶片挡住，因此此时每张胶片的曝光时间为1/48。
通常，人们谈论不同的快门角度如何影响运动的起伏和运动模糊，而不是亮度或ISO，尽管由于曝光时间的变化，它确实会影响ISO/亮度。
我不确定为什么LTT视频会说某些光线会减少快门角度从而增加ISO，除非他是说某些类型的光线会减少快门时间，或者对于某些类型的闪烁照明，摄像头会丢失大部分光线。如果是这样，这是一种迂回的方式来讨论摄像头问题。如前所述，术语快门角度通常用于运动效果，亮度/ISO更多是次要问题。
一个相关的时间问题是显示器的占空比（与透视摄像头相反），它有一个类似的“快门角度”问题。VR用户发现，长时间的实时占空比显示器会导致头部快速运动时的感知模糊。因此，他们倾向于使用低占空比的显示技术。然而，低显示占空比通常会导致较低的显示亮度。LED背光可以在更短的时间内更用力地驱动LED，从而帮助弥补亮度损失。然而，Micro OLED显示器通常具有相对长（有时为100%）的接通时间占空比。我还没有机会检查AVP的工作周期，但这是我待办事项之一。根据LTT视频的评论，我想进行一定的实验来检查AVP的透视摄像头的时间行为。
