多所高校与Meta合作开发面向AR/VR的混合AI模型异构计算方案
实现高效的混合模型执行
（映维网Nweon 2025年09月01日）低延迟与低功耗的边缘AI对于增强/虚拟现实应用至关重要。 近期进展表明，结合卷积神经网络和ViT的混合机器学习模型，通常能实现更优的精度/性能权衡。然而，混合ML模型由于其数据流和内存访问模式的多样性，可能会在延迟和能效方面带来系统性的挑战。
在一项研究中，卡内基梅隆大学，Meta，纽约大学，以及康奈尔大学纽约科技校区团队利用神经处理单元和CIM的架构异构性，并探索多样化的执行方案以实现高效的混合模型执行。
团队提出了H4H-NAS，这是一个两阶段的神经架构搜索（NAS）框架，用于自动设计面向同时具备NPU和CIM的异构边缘系统的混合CNN/ViT模型。他们在NAS中提出了一个两阶段的增量式超网训练方法以提高模型精度。H4H-NAS方法同时配备了一个性能估算器，而所述估算器基于真实硅芯片测量的NPU性能结果以及基于行业IP的CIM性能数据。H4H-NAS在ImageNet-1k分类任务上实现了显著的（最高达1.34%）Top-1精度提升，以及最高达56.08%的整体延迟降低和41.72%的能耗降低。
......（全文 2261 字，剩余 1879 字）
请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限
