显示技术专家Karl:Vision Pro vs Quest Pro 的技术对比
近眼显示技术专家
(映维网Nweon 2023年06月14日)苹果Vision Pro已经正式发布,并将于明年年初发售。对于这款搭载一系列先进组件的强大头显,它相较于目前市场中的其他设备又有何领先呢,比如说Meta最高端的Quest Pro。
延伸阅读:显示技术专家Karl:Vision Pro的硬件问题分析探讨
Vision Pro QQ群交流:653565822
日前,近眼显示技术专家卡尔·古塔格(Karl Guttag)撰文介绍了它与Meta Quest Pro的对比分析。但需要注意的是,他似乎没有受邀参加苹果开发者大会并实际体验Apple Vision Pro。
简介
我一直在看和读受邀体验Apple Vision Pro(通常是30分钟左右)的媒体评论。遗憾的是,我很少有看到技术分析,同时很少有对虚拟和增强现实的问题具有深刻认识的人。至少他们没有提到在我看来十分明显的问题。我看到的大多数人要么是粉丝,要么是感激于受邀提前体验AVP,并希望(或需要)再次获得苹果邀请。
我没有看到太多“批判性思考”或对技术问题的深入理解,更多只是“太震撼了”的表述。具体而言,尽管许多人都讨论了不可思议的Eyesight显示效果,但没有人提到视觉辐辏调节冲突的问题。我看到唯一提到它的地方是在Reddit AR/VR/MR讨论串和Y-Combinator论坛。
我在AWE 2023的演讲视频中曾提到,我对苹果能否解决视觉辐辏调节冲突的问题表示怀疑。像其他大多数厂商一样,苹果似乎忽视了VR/MR中众所周知的、有据可查的人类视觉问题。正如我多次所说,“如果单纯给钱和给人就行,问题早就解决了。”
我将在Part 2中介绍Apple Vision Pro(AVP)的问题及其前景应用。本文是Part 1,并主要讨论AVP之于Meta Quest Pro(MQP)所做对的地方。
对AVP进行了一定批判性思考的媒体和博客
我想强调三个媒体博客,它们都提出了很好的问题,并至少往下挖了一点。SadlyIsBradley有一个小时49分钟的直播,他讨论了一系列的问题,特别是显示硬件和与VR相关的应用;The Verge有一个pre-WWDC和post-WWDC讨论,并提出了演示应用相关的问题。我特别推荐爱蒂·罗伯逊(Adi Robertson)在pre-WWDC中的评论;最后是Snazzy Lab关于苹果演示的应用程序的13分钟解释。简而言之,没有什么新东西,其他人之前的失败仅仅是因为硬件不够好。
苹果之于Meta Quest Pro做对了什么地方
几乎所有人的看法都是AVP要优于Meta的Quest Pro。Meta Quest Pro(MQP)价格昂贵,许多功能的执行效果都十分糟糕。MQP目前的价格不到发布时一半(降价后不到1/3),或许最好把MQP称为Quest 2.5。下面讨论的是AVP和MQP之间的具体硬件差异。
认为AVP 3499美元太贵的人都缺乏发展观
我将对苹果的诸多决定提出批评,但我认为,觉得这款设备价格太高的评论都没有想明白。这个价格是暂时的,可以随着产量增加和技术发展而降低。当然,苹果或Meta必须证明,在任何价格下都可以制造出高度有用的MR透视头显。根据我所看到的情况,我不相信AVP能够成功证明MR透视的未来。
对于评论AVP价格的人,他们是从看待一项成熟技术而不是一项全新技术的视角出发。仅举一例,内存为4KB的Apple II初始零售价为1298美元(相当于2022年的6268美元),而最大内存为48KB的型号则为2638美元(相当于2022年的12739美元)。再比如,我在1979年买了第一台录像机,价格约为1千美元,按通货膨胀率调整后相当于现在的4400多美元,一盘1.5小时的空白磁带约为10美元(相当于2023年的44美元)。问题不在于价格,而在于AVP是否会成为人们经常使用的设备。
透视
与AVP相比,MQP看起来是一次半生不熟的尝试,它的透视模式非常糟糕。AVP的透视模式并不完美,但苹果的问题没有这么多显而易见的问题。
MQP搭载两个红外摄像头,中间是一个高分辨率的彩色摄像头,从而为每只眼睛合成一个具有三维深度感知的“virtual camera”。MQP的方法导致了一个低分辨率和非常扭曲的视图。AVP每只眼睛都有一个高分辨率的摄像头,有更多的深度感应摄像头/传感器和更多的处理方法来创建每只眼睛的virtual camera视图。
我应该补充的是,我没有看到关于AVP创建真实世界三维视图的精确性的报告,但根据媒体的报道,AVP的透视效果大大优于MQP。但关于AVP的透视效果,不好的地方是前方主摄像头位置不佳(将在Part 2中讨论)。
用于“商业应用”的分辨率–必要,但不足够
下一个问题是,如果你的目标是“商业应用”和PC显示器的替代方案,你需要至少每度40像素(PPD),当然越高越好。MQP每度只有大约20个像素,这意味着在给定的区域内可以容纳的可读文本要少得多。由于字体较大,眼睛必须进一步移动以阅读相同数量的文字,从而减慢阅读速度。据估计,AVP的视场与MQP大致相同,但AVP的水平和垂直像素是MQP的2倍多,所以PPD约为40。
关于测量每度像素的说明: 通常情况下,VR头显的视场测量包括双眼的重叠部分。当涉及到测量每度像素时,测量是基于单眼视场除以可见像素的数量。单眼视场通常是没有规定。另外,根据假设的眼距大小,测量有一定程度的变化。
对于支持商业应用,每度至少有40个像素是“必要,但不足够。我相信其他人类视觉因素将造成AVP不适合用于“紧急”情况以外的商业应用,以及我称之为“冰桶挑战”的情况:戴一个星期或一个月头显来证明可行。我没有看到任何研究(找了很多年),苹果同时没有提出任何表明长期使用虚拟桌面对人类有益的研究(如果你知道任何相关研究,请务必告诉我)。
watchOS环节给出的信息是少看屏幕
具有讽刺意味的是,在watchOS环节中,就在AVP宣布的前几分钟,苹果鼓励人们走出去,不要看太多屏幕,因为这可能是近视的一个原因。
AVP的Micro OLED vs MQP的LCD与Mini LED局部可调背光
AVP的Micro OLED应该比MPQ提供更好的黑度/对比度。尽管Mini LED在产生光线方面更有效率,但大部分光线在通过LCD时就会损失,通常只有大约3%到6%的背光能通过LCD。
尽管苹果声称正在制造Micro OLED CMOS背板,但根据相关报道,是索尼在供货OLED并组装Micro OLED。长期以来,索尼一直是相机取景器和Birdbath AR头显中的Micro OLED主导供货商,包括Xreal(原名Nreal)。
增加效率的微型透镜阵列
与老款索尼ECX335相比,WWDC视频中的彩色子像素排列显示出明显较小的光发射面积。这表明,苹果可以通过使用微型透镜阵列来支持更有效的光采集(半准直)。
MQP的局部调光
前Meta首席技术官顾问约翰·卡马克在Connect 2022的脱稿演讲中介绍了MQP局部调光功能的部分限制和问题。他说道:“它不是默认启用,因为要做到这一点,我们必须对屏幕进行扫描,这需要花费一定的时间,而我们在这里没有太多的额外时间。”
Pancake(MQP)与非球面折射光学(AVP)的比较
本小节存在错误,Karl后面对此小节做了纠正,纠正内容如下:
所有大会前和大会后的传言都表明,AVP使用Pancake光学元件。我从WWDC 2023的视频中得出了一个错误的结论,亦即它看起来像是采用了非球面折射。在阅读蜂拥出现的报道时,我没有及时回过头来复查这个假设。事实证明,苹果6月5日的官方新闻稿指出:“此技术突破与定制反射折射镜片实现令人惊艳的锐度和清晰度……”
反射折射是指折射光学元件和反射光学元件的组合,其中包括Pancake光学元件。苹果最近收购了Limbak,而他们拥有所谓的“超级Pancake”设计。苹果避免使用其他公司使用的任何措辞,就像他们避免说MR、XR、AR、VR和元宇宙一样,而我们现在可以在这个名单中加上 “Pancake”。
苹果使用了三晶非球面光学器件,而不是Pancake。Pancake光学器件在Micro OLED显示器的效率特别低,因为它们要求未偏振的OLED光被偏振。这种偏振通常会损失大约55%的光线(45%的透射率)。然后有50%的透射光损失,另外Pancake光学器件中的50/50半镜反射又损失50%。这就导致,当与偏振损失相结合时,只有不到11%的OLED光能够通过Pancake光学器件。应该指出的是,MQP目前使用的是输出偏振光的LCD,所以它不会遭受Pancake光学器件的偏振损失,但依然会有50/50的半镜面损失。(本小节存在错误,纠正内容见上)
AVP的卓越手部追踪
AVP使用四个手部追踪摄像头,其中两个额外的摄像头支持对大约腰部水平的手进行追踪。自从我第一次尝试Hololens_1以来,执行追踪需要你抬起手来一直是我对人体工学的一个主要吐槽点。任何对人体工学有所了解的人都知道,人类并不适合长时间举起双手。苹果似乎是第一家解决这个问题的厂商。另外,根据媒体报告,手部追踪非常准确,可能比MQP好得多。
AVP异常出色的眼动追踪
根据媒体报道,AVP的眼动追踪非常好,非常准确。部分原因可能是由于更好的算法和处理。在硬件方面,AVP的红外照明器和摄像头与眼睛之间隔了目镜。相比之下,Meta Quest Pro的红外照明器和摄像头更靠近眼睛。由于离眼睛更远,AVP的摄像头相对更能直视眼睛。
处理和功率
正如其他许多人指出的那样,AVP使用PC级别的CPU+GPU(M2)和定制设计的R1视觉处理器,而MQP使用高端智能手机级别的处理器。
AVP有两个鼠笼轮风扇,位于M2和R1处理器芯片和光学器件之间。AVP似乎有大约37瓦特-小时的电池来支持两小时的额定续航。这表明AVP“通常”会消耗大约18.5瓦特。MQP有一个类似的双风扇散热系统。MQP有一个20.58瓦特/小时的电池,而官方描述是2到3小时的续航。
由于AVP使用Micro OLED和更有效的光学设计,我预计AVP的OLED单眼功耗低于1W。因此,我怀疑AVP的大部分功率用于M2和R1的处理。
应该注意的是,AVP显示的像素约为3.3倍,拥有更多、更高分辨率的摄像头,并支持更高分辨率的透视。因此,AVP正在移动大量的数据,这同样会消耗大量资源。所以,尽管看起来AVP的功耗是MQP的两倍,但“每个像素”的功率比MQP少1/3。考虑到AVP似乎是在执行更先进的处理,这显示出了苹果的处理效率。
APV的功耗似乎是MQP的2倍
一系列的文章和视频都指出,AVP有4789mAh/18.3Wh的电池,而我认为这是错误的。相关报道的引用来源是Twitter用户Kosutami,但它们似乎都忽略了“双”这个字眼。这位Twitter人士的后续推文十分清楚,两个电池折叠在一起,当加在一起时,将总共有36.6Wh。
重要的是,如果AVP的电池容量增加一倍,AVP的估计功耗大约是其他人报告的两倍,或每小时约18.5瓦特。
iFixit确定MQP有两个电池,结合起来形成20.58Wh的电池组。
由于MQP和AVP都声称有类似的续航(需要注意的是,两家公司都在谈论“典型的使用情况”),这表明AVP的功耗大约是MQP的两倍。
根据我对光学器件和显示器的分析,我认为AVP的显示器单眼消耗功率小于1W或小于2W。这表明~18Wh的大部分被两个处理器(M2,R1)、数据/内存运动(经常被忽略)、摄像头和红外照明器所使用。
音频
本博客主要不是关注音频技术,但从各方面来看,AVP的音频硬件和空间声音处理能力将远远优于MQP。
结论
在许多方面,AVP可以视作“实现更好的Meta Quest Pro”。AVP的价格是MQP的3.5倍,是Meta Quest 3的7倍,但从长远来看,这都不重要。未来的关键是,是否能够证明透视VR对大众市场是可行的。我可以看到AVP的重要利基应用(对低视力人群的支持只是其中之一,尽管显示分辨率对这种用例而言是过剩的)。
如果MQP或AVP能解决它们声称要解决的问题,价格就不会成为主要的绊脚石。