Reality Labs采用ExecuTorch，为Meta全系列设备赋能设备端AI
为Meta全系列设备赋能设备端AI
（映维网Nweon 2025年12月12日）在Meta，设备端AI是核心基石，旨在为用户提供快速、私密且智能的体验。这家公司开源、轻量且高效的推理引擎ExecuTorch对于在各类应用中实现这些能力起到了关键作用。现在，ExecuTorch正驱动Reality Labs旗下VR头显和AI智能眼镜系列产品实现尖端的机器学习体验。ExecuTorch允许开发者能够轻松部署最先进的机器学习模型，解锁更丰富、更智能、更沉浸的体验。通过打通从研究到应用的路径，并让人们能亲手体验我们的成果，ExecuTorch正在为先进的设备端AI树立新标准。
ExecuTorch在Reality Labs设备中的广泛应用
Reality Labs的目标是打造下一代计算平台。为此，Reality Labs的各个团队开发了下一代硬件，包括Ray-Ban Meta与Oakley Meta智能眼镜、Meta Ray-Ban Display智能眼镜与Meta Neural Band，以及Meta Quest头显。从高性能系统级芯片到超低功耗微控制器，这些产品需要AI模型在多种硬件上高效运行。ExecuTorch的模块化设计及其可移植性、小内存占用和硬件抽象能力，使其非常适合Reality Labs多样化的产品生态系统。
设备端AI部署面临一个根本性挑战：需要平衡对研究人员和工程师快速实验的支持，以及针对不同硬件目标的优化流程，同时不牺牲性能和生产效率。传统方法需要将PyTorch模型转换为其他格式，这会引入数值不匹配和耗时的调试周期，从而打破研究人员所需的紧密迭代循环。在产品线和AI用例多样化的情况下，这一挑战变得尤为突出。
ExecuTorch通过消除转换步骤并提供完全原生的PyTorch工作流来应对这一挑战。它利用PyTorch的导出能力创建模型的可移植表示，该表示既能在设备上执行，也能在PyTorch中进行部署前验证。开发者随后可以为特定硬件进一步编译计算图。例如，对模型进行量化以优化内存限制，或应用编译器传递以优化目标SoC上的延迟。ExecuTorch的一个重要优势在于，大多数优化在部署前仍可在PyTorch内进行验证。这是通过与硬件合作伙伴的紧密集成实现的，他们通过遵循ExecuTorch的API和设计原则来贡献支持。
凭借这种设计及其硬件抽象能力，ExecuTorch使得Reality Labs能够以最少的修改，在不同产品和芯片组上一致地部署模型。以下是其在Reality Labs硬件中的应用实例。
Meta Quest 3与Quest 3S
ExecuTorch使Meta Quest 3和3S能够在设备上直接运行高级AI工作负载——例如深度估计和场景理解。这种本地处理确保了快速、可靠的性能，使得”透视”等功能能够将物理世界与虚拟内容无缝融合。其结果是与环境自然、真实的互动，虚拟与物理空间的界限逐渐消失。凭借兼具响应性和便利性的高性能AI功能，这些头显提供了超越以往的体验。
ExecuTorch支持的实时AI模型还驱动着手部追踪和控制器追踪等重要功能。这些能力构成了精确的UI控制、手势识别和虚拟键盘的基础，使交互变得直观且精准。
ExecuTorch实现的另一个突出功能是持久房间记忆。得益于高效的设备端推理，Meta Quest 3和3S最多可以记住15个不同的房间，每个房间都有其独特的布局和边界。这种灵活性节省了时间，并确保无论您在何处使用头显，都能获得一致、个性化的体验。
Meta Ray-Ban Display
ExecuTorch使得复杂模型能够直接在Ray-Ban Meta和Meta Ray-Ban Display智能眼镜上运行，以提供实时转译以及眼镜显示屏上实时显示的视觉字幕等新功能。与传统的纯音频转译不同，这种视觉方法——由快速、本地推理实现——让人们可以按自己的节奏滚动和查看转录文本，使得外语对话或在嘈杂环境中的交流变得更容易。
另一项突破是由设备端AI和自中心OCR（光学字符识别）实现的”现实世界文字识别”功能。由于眼镜能看到您所看到的内容，它们可以即时从场景中识别出用户感兴趣的区域，并读取相关文字。这实现了对文档、菜单、路标等内容的即时翻译、朗读和情境化操作，所有信息直接显示在镜片上。佩戴者可以走进一家餐厅，瞥一眼外语菜单，几秒钟内获得转译；或者指向菜单上的特定项目询问更多信息，无需掏出手机。
Meta Ray-Ban Display的阅读助手功能更进一步：只需指向实体文本，即可触发即时翻译、定义解释或听写，这都得益于实时手部追踪和在设备上直接运行的高级OCR模型。这些能力使Meta Ray-Ban Display智能眼镜成为人们探索世界和即时获取信息的有益助手。
Oakley Meta Vanguard
专为运动员设计的Oakley Meta Vanguard智能眼镜，在连接到Garmin账户时，利用尖端AI提供实时运动表现分析。无论是跑步、骑行还是徒步，Meta AI都能通过简单的语音指令，即时反馈步频、心率、卡路里消耗等关键指标。
例如，你可以说：”Hey Meta，我的心率是多少？”或”Hey Meta，我表现如何？”而在运动后的放松时段，运动员也能收到Meta AI提供的训练总结。
拓展ExecuTorch的影响力
ExecuTorch已迅速从Meta扩展成为一个充满活力的开发者、研究人员和硬件合作伙伴社区，他们共享对开放、高效、可移植的设备端AI的愿景。从芯片供应商、设备制造商到应用开发者和AI研究人员，整个生态系统的贡献者正在帮助拓展ExecuTorch的应用范围。
项目的开源开发确保了透明度和协作，并获得了来自苹果、Arm、Cadence、英特尔、联发科、恩智浦半导体、高通和三星等公司的贡献。针对这些平台的ExecuTorch后端均已公开可用。除了硬件合作伙伴，ExecuTorch现已成为AI生态系统中的重要一环。例如在最近的正式版发布中，ExecuTorch展示了与Hugging Face transformers和Ultralytics库的模型导出覆盖范围，与Unsloth AI和torchao框架的互操作性，以及集成到Liquid AI、NimbleEdge和React-Native-Executorch等SDK中。
开放至关重要，因为设备端AI横跨多个平台、芯片和用例。通过开源协作，ExecuTorch让整个生态系统能够共同创新，确保PyTorch模型能在任何地方高效运行——从手机、AI应用到未来的AR眼镜及其他设备。
展望未来
Meta表示：“ExecuTorch是Meta设备端AI的基础技术，其在Reality Labs内的采用正在加速公司产品线中智能、私密且响应迅速体验的交付。我们与芯片合作伙伴的紧密协作也确保了ExecuTorch保持在设备端AI创新的前沿。我们期待继续这段旅程，并在帮助全球用户解锁新能力的过程中分享更多进展。”
