Facebook为AR/VR提出更高效DNN神经网络训练技术CPT
有效的深度神经网络训练
（映维网 2021年04月30日）由于需要大量的训练数据和参数，现代深度神经网络（DNN）的破纪录性能带来了高昂的训练成本，限制了大量应用对DNN智能解决方案的需求。举例来说，训练ResNet-50涉及1018次浮点运算，而且一个先进的（SOTA）GPU可能需要14天时间。
与此同时，庞大的DNN培训成本引起了越来越多的财务和环境问题。例如，据估计，训练一个DNN的费用可能超过1万美元，而排放的碳则和一辆汽车的生命周期排放一样高。同时，DNN的最新进展促进了对智能边缘设备的巨大需求，其中许多都需要机载现场学习，以确保在动态现实环境中的准确性。但在动态现实环境中，设备有限的资源和高昂的培训成本之间存在不匹配现象。
为了应对上述挑战，广泛的研究致力于发展有效的DNN训练技术。其中，低精度训练因其能极大地提高训练时间/能量效率而备受关注。例如，GPU现在可以使用16位IEEE半精度浮点格式执行混合精度DNN训练。但是，现有的低精度研究尚未充分探索和利用最近研究发现的成果。特别是现有的研究大多是在整个训练过程中固定模型精度，采用静态量化策略。最近的DNN训练优化研究则提出了沿DNN训练轨迹的动态超参数。例如在一份研究中，较大的初始学习率有助于模型记忆更容易拟合和更具普遍性的模式。
......（全文 798 字，剩余 324 字）
请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限
