Facebook为AR/VR提出更高效DNN神经网络训练技术CPT
有效的深度神经网络训练
（映维网 2021年04月30日）由于需要大量的训练数据和参数，现代深度神经网络（DNN）的破纪录性能带来了高昂的训练成本，限制了大量应用对DNN智能解决方案的需求。举例来说，训练ResNet-50涉及1018次浮点运算，而且一个先进的（SOTA）GPU可能需要14天时间。
与此同时，庞大的DNN培训成本引起了越来越多的财务和环境问题。例如，据估计，训练一个DNN的费用可能超过1万美元，而排放的碳则和一辆汽车的生命周期排放一样高。同时，DNN的最新进展促进了对智能边缘设备的巨大需求，其中许多都需要机载现场学习，以确保在动态现实环境中的准确性。但在动态现实环境中，设备有限的资源和高昂的培训成本之间存在不匹配现象。
为了应对上述挑战，广泛的研究致力于发展有效的DNN训练技术。其中，低精度训练因其能极大地提高训练时间/能量效率而备受关注。例如，GPU现在可以使用16位IEEE半精度浮点格式执行混合精度DNN训练。但是，现有的低精度研究尚未充分探索和利用最近研究发现的成果。特别是现有的研究大多是在整个训练过程中固定模型精度，采用静态量化策略。最近的DNN训练优化研究则提出了沿DNN训练轨迹的动态超参数。例如在一份研究中，较大的初始学习率有助于模型记忆更容易拟合和更具普遍性的模式。
相关论文：CPT: Efficient Deep Neural Network Training via Cyclic Precision
在名为《CPT: Efficient Deep Neural Network Training via Cyclic Precision》的论文中，Facebok团队提出动态精确训练。团队证明低精度和大量化噪声有助于DNN训练探索，而高精度和更精确的更新有助于模型收敛，动态精度调度有助于DNN收敛到更好的极小值。这一发现为同时提高DNN训练的优化和效率打开了一个设计旋钮。另外，团队提出了循环精度训练（Cyclic Precision Training ，CPT），它采用沿DNNs的循环精度调度，以推在DNN之间的精度和效率之间实现权衡的训练轨迹。
同时，团队证明在训练的早期阶段，使用一个简单的精度范围测试可以自动识别循环精度界限，而计算开销可以忽略不计。在5个数据集和10个模型进行的广泛实验证明，所提出的CPT技术不仅能够提高训练效率，而且具有相当、甚至更好的精度。不仅只是这样，团队提供了损失面可视化，以便更好地理解CPT的有效性，并讨论其与理解DNNs训练优化的最新发现的联系。
