从零到一：Meta Orion 定制芯片如何彻底变革AR眼镜
定制芯片
（映维网Nweon 2025年03月06日）在2024年举行的Connect大会中，马克·扎克伯格发布了增强现实眼镜Orion。Meta表示：“凭借行业领先的视场，碳化硅透镜，复杂的波导和投影仪等，Orion是我们迄今为止最先进，最精致的产品原型。”
延伸阅读：幕后故事：Meta Orion AR眼镜的独家设计
延伸阅读：Meta Orion十年突破：从颈带原型到便携式AI协处理器
现在，Meta正积极介绍Orion的方方面面。继眼镜本身和外接计算组件之后，团队日前又以《从零到一：我们的定制芯片如何彻底改变AR》为题分享了相关组件的发展历程：
在Meta创始人兼首席执行官马克·扎克伯格的支持下，Reality Labs首席科学家迈克尔·亚伯拉什于2017年通过当时的Oculus Research建立了一支全新的秘密团队，目标是为下一个计算平台奠定基础。他们的艰巨任务是：创造一种定制的芯片解决方案，以支持未来AR眼镜的独特需求。这是一次技术壮举，需要重新构想全天可穿戴AR眼镜的每个组件。
紧凑的形状，大量的问题
从最初的数名研究人员发展到现在的数百人，定制芯片团队的建立前提是AR眼镜不能依赖于当今智能手机所使用的芯片。我们的第一款真AR眼镜原型产品Orion内置的数个定制芯片已经证实了这一假设。
先进技术战略总监杰里米·斯诺德格拉斯（Jeremy Snodgrass）表示：“建造一艘即将驶出海港的船只，这就是我们的工作。在开发芯片的同时，我们必须扩大团队规模。看到高层在引进新员工的同时发展出一种重视敏捷性的文化，这真是太棒了。没有什么是别人的问题。你需要拿起桨并开始划，即便这不是你最初的工作内容。那是一段非常非常激动人心的时光。”
显示架构技术总监麦克·易（Mike Yee）表示同意：“几乎所有关于Orion的一切在很多方面都是以前所不存在的。有的想法已经出现，但没有人真正探索打造一副全天可穿戴的增强现实眼镜。”
团队必须以尽可能低的功耗提供引人入胜的AR体验。眼镜的外形只能散发这么多热量，同时只能容纳这么大的电池。所以，眼镜所能提供的体验完全取决于芯片。换句话说，如果你保持热量和电池容量不变，提供给定体验的唯一方法就是优化芯片。
产品管理总监尼尔拉吉·乔贝（Neeraj Choube）表示：“为Orion设计一个全新的架构要求团队积极推动现有的技术，如无线和显示，同时要承担新技术的风险。例如，团队开发了一个当时没有明确用例的机器学习加速器，因为他们坚信机器学习在Meta的产品中会变得越来越重要。对于Orion，每个机器学习加速器都有使用，并提供眼动追踪和手部追踪等功能。同样，团队开发了自定义压缩协议，以减少数据从计算包移动到显示器时的带宽和功耗。开发定制芯片来实现Orion的形状参数目标需要对高度模糊的容忍度和对细节的细致关注，以交付令人难以置信的复杂系统架构。”
斯诺德格拉斯指出：“我们面临的最大挑战是如何呈现3D世界锁定的渲染图像，以及空间化的音频，使其看起来像是来自虚拟对象。我们必须将所有电子元件整合到热容量和物理空间中，然后由电池运行。而且我们必须以一个真正的眼镜形态做到这一切。”
SoC解决方案总监罗伯特·希勒（Robert Shearer）表示：“我们知道如何提供必要的计算能力来实现我们对Orion的愿景，但我们面临着一项艰巨的任务：将功耗降低100倍。这要求我们突破芯片设计的界限，采用来自行业各个角落的方法——从物联网到高性能计算——并发明新的方法来弥合差距。我们的行业伙伴认为我们疯了，或许他们并没有完全错。但这正是它所需要的：挑战传统智慧和重新思考一切的意愿。打造一个能够无缝融合虚拟世界和物理世界的计算机需要对环境有深刻的理解，而这远远超过了现有计算平台所能提供的。从本质上讲，我们已经重塑了计算机与人类交互的方式，这意味着我们要重新构想如何从零开始构建芯片。”
Micro LED的魔力
有时候事情会落后于计划，或者出现了看似无法克服的技术挑战，所以很难保持动力和士气。但团队非常有韧性，他们总能找到绕过障碍的途径，或者干脆把它们推倒。
以Orion的显示器为例。团队负责位于眼镜角落的显示投影仪中的芯片。
斯诺德格拉斯指出：“对于投影仪而言，我们是否能够以足够高的效率和亮度将Micro LED排列，以部署宽视场显示，这是一个悬而未决的问题。在我们考虑的时间框架内，我们是否能够做到这一点存在巨大的疑问，因为这是一项非常新颖的技术。”
麦克·易补充道：“我们很早就意识到，我们必须重新思考产品开发的诸多模式。对于AR眼镜来说，制作可用显示器所需的光量要大得多，因为作为可穿戴显示器，你要和太阳竞争。所以我们需要能与之匹敌的能量水平，或者至少这是我们的目标。我们尚未完全做到这一点，但这是我们的主要工作内容。这就意味着你需要能够做到这一点的显示器光源，而且需要能够控制它的电路。同时，你需要确保它足够小。”
Micro LED似乎是最适合投影仪的光源，而定制芯片帮助释放了它们的潜力。
麦克·易解释道：“对于显示器，我们谈论的是像素间距，这是相邻像素中心点之间的距离。对于电视而言，距离是数百微米。对于你的手机，数十微米。现在，我们需要把这个数字降到个位数，而唯一能做到这一点的半导体制造就是硅。”
令工作变得复杂的是，显示屏的背面必须是一块硅，而当时尚未有人为Micro LED设计硅。
麦克·易说：“之前没有人为Micro LED设计过背板。我们面临着一个非常独特的挑战，因为它是一个光学元件。它必须是平的。你不能刮伤它。它必须具备所有的特性，因为当你透过波导、透过投影仪时，你实际上是在看这块硅片的上表面。”
团队为Micro LED显示器开发了一系列复杂的测试平台，并与全球供应商密切协调。所述Micro LED的足迹遍布全球，从一个地方开始，然后转移到另一个地方，然后晶圆运往美国，切割成特定的形状，然后与另一个晶圆粘合在一起，接下来又运往全球各地并进行实际模块的建造和测试。这是一个极其复杂的过程。
团队同时需要找到一种方法来将电力输送到眼镜角落的Micro LED显示屏。模拟团队开发了一个定制的电源管理芯片以适应这个体积。
模拟与混合信号系统负责人指出：“对于这种小尺寸可穿戴设备而言，电池尺寸有限，空间非常宝贵，所以供能至关重要。我们的定制电源管理IC解决方案利用了尖端技术，在系统级为我们的特定工作负载优化电源效率，同时满足可用空间的限制。实现这一最佳解决方案需要我们的机械、电气、SoC、μLED和热团队密切的跨学科合作，以确保所有组件的无缝集成并最大限度地提高整体性能。”
斯诺德格拉斯补充道：“这不仅是工程方面的壮举，同时是组织管理方面的壮举：将一个团队聚拢在一起，跨越时区，与所有不同的供应商合作。在某种程度上，组织管理所有这一切，和满足技术规格一样具有挑战性。”
麦克·易接着道：“不仅设计是定制的，整个制造过程都是定制的。我们非常幸运，有一系列优秀的业内合作伙伴帮助我们实现了这一目标。他们看到了整体AR显示的长期潜力，当然看到了Meta对它的愿景。所以他们愿意与我们合作进行定制和优化。”
迭代与加速
芯片团队与Reality Labs Research和XR Tech之间存在紧密的反馈循环。后者提供算法，前者将把算法转换成硬件，从而消除了通用CPU运行软件的开销。这意味着算法可以以更低的功耗运行。
芯片加速器架构和算法总监奥哈德·梅塔夫（Ohad Meitav）解释道：“假设XR Tech正在开发某种算法学科。他们拥有算法堆栈及其性能。我的团队，与他们合作并决定如何加速算法，如何强化算法的特定环节，以及如何以一种超级高效的方式将其放入硬件之中。然后XR Teck会调整软件栈来适应硬件。这是一个反复的过程。”
另一个成功案例是，芯片团队与Reality Labs Research合作提出了一种新颖的投影算法。
芯片架构师史蒂夫·克洛塞特（Steve Clohset）表示：“我们需要重投影算法来支持各种不同的扭曲和修正。我们最终使用的Reality Labs Research开发的算法。直到今天，它证明是一个非常强大的工具。”
一旦算法得到强化，硬件得到优化，芯片开发团队就开始测试定制芯片。
端到端系统和基础设施高级总监表示：“Orion的定制硅片组充满了复杂性。在短时间内推出和验证独立芯片及其互操作性非常具有挑战性。幸运的是，我们在一个垂直整合的环境中工作，从芯片和底层固件到操作系统、软件和上层体验，Reality Labs拥有整个堆栈。我们充分利用了这一点，与我们的跨职能合作伙伴密切合作，并在验证阶段转移了我们的跨堆栈集成。Orion是我们对这种方法的试点，为未来实现定制芯片的全部优势奠定了坚实的基础。”
接下来，是时候优化软件了。
斯诺德格拉斯指出：“这是一个迭代的过程，你从一个完全未优化的软件堆栈开始，然后一个接一个地检查子系统，并开始针对特定硬件优化软件，包括减少软件使用的内存量。硬件可以设计得非常漂亮，但除非你投入同样多或更多的时间来帮助软件充分利用硬件，否则你无法达到理论功效。这就是Orion的故事：硬件和软件都优化到了极致。不要浪费一皮焦耳或毫瓦。”
尽管Orion可能只是一个原型，但它有相当大的潜力会影响到Meta未来的路线图。
梅塔夫补充道：“我们将从一代或一个产品到另一代产品进行改进。所有的计算机视觉和图形算法都不仅仅是为Orion设计。它们将继续影响未来的产品。”
团队的芯片工作包括创造新颖的解决方案，同时包括与合作伙伴密切合作。事实上，芯片团队的影响力已经超越了Orion，延伸到了今天的Ray-Ban Meta智能眼镜和Meta Quest头显（尽管它们都使用第三方芯片）。芯片团队定期与混合现实团队分享他们的工作，并展示在功率效率方面的可能性。然后，MR团队与高通等合作伙伴分享相关发现，以帮助指导未来的芯片设计。由于芯片团队使用与Ray-Ban Meta智能眼镜相同的现成数字信号处理器，所以他们能够在实现和编写代码时分享经验教训和最佳实践，以帮助改善人工智能眼镜可用的音频体验。
这种知识共享是双向的：MR团队向芯片团队提供了异步时间扭曲和应用空间扭曲等方面的见解。
模糊性<愿景
因为Orion是真正的从0到1，参与的团队必须处理大量的模糊性。
克洛塞特说道：“对于Orion，我不能夸大这种模糊性增加了多少复杂。例如，当你制造一台电脑时，你通常对显示器是什么有一个很好的概念。但我们不知道波导最终会变成什么样子，所以我们必须对不同的波导进行采样，并提出一种机制以应对最坏的情况，因为我们不知道最终会变成怎样。”
值得注意的是，Orion不仅仅是一副增强现实眼镜，它是由三部分组成的硬件星座。许多处理都是在外接计算包中进行，这就要求它和眼镜之间有具有非常强的连接。另外，将表面肌电腕带加入环路令系统架构变得更加复杂。
斯诺德格拉斯表示：“这对团队来说是一个巨大的挑战，但所有这一切都是可行的。这是整个公司的芯片团队、无线团队和软件团队之间的一次惊人合作。”
克洛塞特补充道：“通过Orion，我们建立了一个由各种各样的工程师组成的完整团队，而他们能够设计一个全新的管道。这是一个处理3D空间中对象六个自由度运动的管道。它使用自己的定制显示驱动程序。我们必须进行非常独特的图像质量校正。我认为我们面临的挑战是，因为这是一个从零到一的项目，没有现有的规范可以对着调整和改进。这里的一切都是全新的，所以我们有足够的自由。”
就像外接计算包在表面之下隐藏了一定的功能，定制芯片的能力远超表面所见。尽管Orion不允许用户使用RGB摄像头拍照，但芯片能够支持这项功能，以及Codec Avatars。另外，就像外接计算包减轻了计算负担，解锁了真正的眼镜形态一样，Orion的定制芯片证明是AR拼图的必要组成。
斯诺德格拉斯解释道：“为了实现像AR眼镜这样的零到一体验，你需要定制芯片。随着时间的推移，如果有市场，芯片供应商将开发产品来满足需求。但从零到一的角度来看，你不能只是把现有的产品从货架拿下来，它们本来是为不同的产品设计的，然后你把它放进一个新的模具里。你必须投资定制的产品。为了将零对一的体验变为现实，你需要软件合作伙伴、工业设计师、机械工程师等之间的广泛合作。”
希勒补充道：“通过打破传统的思维模式，我们创造了真正的非凡设备。我们相信这个计算平台代表了技术的未来——它将彻底改变我们生活、工作和交互的方式。我们非常高兴能站在这项创新的最前沿，推动可能的界限，帮助塑造历史的进程。”
【AI总结】
Meta在2024年Connect大会上发布的增强现实眼镜Orion，标志着该公司在AR技术领域的一次重大突破。Orion不仅是Meta迄今为止最先进、最精致的产品原型，还展示了Meta在硬件、芯片设计和软件优化方面的深厚积累和创新精神。通过定制芯片、Micro LED显示技术、跨学科协作和全球供应链管理，Meta成功将Orion从一个概念变成了现实。Orion的成功为Meta未来的AR产品线奠定了坚实的基础，同时也为整个AR行业树立了新的标杆。以下是Orion项目的几个关键亮点和背后的故事：
1. 定制芯片的突破
Orion的核心在于其定制芯片解决方案，这是Meta为满足AR眼镜独特需求而专门设计的。传统的智能手机芯片无法满足AR眼镜对低功耗、高性能和紧凑设计的要求。因此，Meta的芯片团队从零开始，重新构想了一个全新的架构，以支持全天可穿戴的AR体验。
低功耗设计：AR眼镜的外形限制了电池容量和散热能力，因此芯片的功耗必须极低。Meta的芯片团队通过优化架构、引入机器学习加速器、开发自定义压缩协议等手段，成功将功耗降低了100倍。
跨学科合作：芯片团队与Reality Labs Research、XR Tech等部门紧密合作，确保硬件和软件的高度协同。这种垂直整合的环境使得Meta能够快速迭代和优化，从而在短时间内推出复杂的定制芯片。
2. Micro LED显示技术
Orion的显示器采用了Micro LED技术，这是AR眼镜的关键组件之一。Micro LED具有高亮度、高效率和低功耗的特点，非常适合AR显示需求。然而，这项技术在当时尚未成熟，Meta的团队不得不面对诸多技术挑战：
像素间距：为了在AR眼镜中实现高分辨率显示，团队需要将像素间距降低到个位数微米，这要求他们在硅基板上进行创新设计。
全球供应链协作：Micro LED的制造过程涉及全球多个供应商，Meta与这些合作伙伴紧密协调，定制了复杂的制造流程，以确保显示器的质量和性能。
3. 跨功能团队协作
Orion项目的成功离不开Meta内部多个团队的紧密协作。芯片团队、无线团队、软件团队、机械工程师等跨学科专家共同应对了AR眼镜开发中的各种挑战：
模糊性与创新：由于Orion是一个从零到一的项目，团队面临大量技术不确定性。例如，波导显示器的最终形态未知，团队必须设计出能够应对各种情况的灵活解决方案。
知识共享：Meta的芯片团队不仅为Orion开发了定制芯片，还与其他产品线（如Ray-Ban Meta智能眼镜和Meta Quest头显）分享了技术经验和最佳实践，推动了整个公司的技术进步。
4. 未来愿景
Orion虽然只是一个原型，但它为Meta未来的AR产品奠定了基础。通过Orion项目，Meta不仅证明了定制芯片和跨学科协作的重要性，还展示了AR技术在未来计算平台中的潜力。Meta相信，Orion所代表的技术将彻底改变人类与虚拟世界的交互方式，推动社会进入一个全新的数字时代。
5. 挑战与创新
Orion的开发过程中，团队面临了诸多看似无法克服的挑战，但他们通过技术创新和团队合作，成功找到了解决方案。例如：
3D渲染与空间音频：团队开发了复杂的算法，确保虚拟对象在3D空间中的位置和音频能够与现实世界无缝融合。
热管理与电池优化：AR眼镜的紧凑设计要求团队在散热和电池寿命之间找到最佳平衡，这进一步推动了芯片和电源管理技术的创新。
