Meta研究低秩张量压缩与稀疏剪枝结合，降低AR/VR设备机器学习的内存成本
降低内存成本
（映维网 2021年12月09日）使用机器学习在边缘设备启用多个应用程序需要多个特定于任务的持久化模型，而所述模型可用于从计算机视觉（Howard et al.，2019）到自动语音识别等多种任务。但是，多应用和多模型的趋势受到以下事实的制约：片外存储器读取会产生高延迟和电源成本。
在名为《Low-Rank+Sparse Tensor Compression For Neural Networks》的研究论文中，加州大学和Meta组成的团队把降低内存成本作为目标。
在这一领域，低秩张量压缩是一种流行的方法，它可以实现数量级压缩，不过会导致严重的精度损失。低秩张量压缩已经获得了令人印象深刻的压缩数，并且由于其依赖于标准密集线性代数运算，它适合于设备加速。然而，它通常应用于大规模超参数化架构，如VGG或ResNet。最近的稀疏修剪基准测试研究提出了一个问题：应用于过参数化架构的压缩技术可能无法达到SOTA压缩网络的Pareto压缩/精度水准，如EfficientNet。
另外，张量压缩对神经网络权重强制执行低秩因子分解结构。同时，SOTA计算机视觉主干已经通过深度可分离卷积利用了这种分解结构。这促使团队考虑以下问题：低秩张量压缩如何影响SOTA计算机视觉架构呢？
......（全文 1382 字，剩余 967 字）
请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限
