Facebook为AR/VR提出更高效DNN神经网络训练技术CPT

查看引用/信息源请点击:映维网

有效的深度神经网络训练

映维网 2021年04月30日)由于需要大量的训练数据和参数,现代深度神经网络(DNN)的破纪录性能带来了高昂的训练成本,限制了大量应用对DNN智能解决方案的需求。举例来说,训练ResNet-50涉及1018次浮点运算,而且一个先进的(SOTA)GPU可能需要14天时间。

与此同时,庞大的DNN培训成本引起了越来越多的财务和环境问题。例如,据估计,训练一个DNN的费用可能超过1万美元,而排放的碳则和一辆汽车的生命周期排放一样高。同时,DNN的最新进展促进了对智能边缘设备的巨大需求,其中许多都需要机载现场学习,以确保在动态现实环境中的准确性。但在动态现实环境中,设备有限的资源和高昂的培训成本之间存在不匹配现象。

为了应对上述挑战,广泛的研究致力于发展有效的DNN训练技术。其中,低精度训练因其能极大地提高训练时间/能量效率而备受关注。例如,GPU现在可以使用16位IEEE半精度浮点格式执行混合精度DNN训练。但是,现有的低精度研究尚未充分探索和利用最近研究发现的成果。特别是现有的研究大多是在整个训练过程中固定模型精度,采用静态量化策略。最近的DNN训练优化研究则提出了沿DNN训练轨迹的动态超参数。例如在一份研究中,较大的初始学习率有助于模型记忆更容易拟合和更具普遍性的模式。

相关论文CPT: Efficient Deep Neural Network Training via Cyclic Precision

在名为《CPT: Efficient Deep Neural Network Training via Cyclic Precision》的论文中,Facebok团队提出动态精确训练。团队证明低精度和大量化噪声有助于DNN训练探索,而高精度和更精确的更新有助于模型收敛,动态精度调度有助于DNN收敛到更好的极小值。这一发现为同时提高DNN训练的优化和效率打开了一个设计旋钮。另外,团队提出了循环精度训练(Cyclic Precision Training ,CPT),它采用沿DNNs的循环精度调度,以推在DNN之间的精度和效率之间实现权衡的训练轨迹。

同时,团队证明在训练的早期阶段,使用一个简单的精度范围测试可以自动识别循环精度界限,而计算开销可以忽略不计。在5个数据集和10个模型进行的广泛实验证明,所提出的CPT技术不仅能够提高训练效率,而且具有相当、甚至更好的精度。不仅只是这样,团队提供了损失面可视化,以便更好地理解CPT的有效性,并讨论其与理解DNNs训练优化的最新发现的联系。

本文链接https://news.nweon.com/85320
转载须知:转载摘编需注明来源映维网并保留本文链接
入行必读:AR/VR——计算机历史第二次大浪潮

更多阅读推荐......

资讯