上节课,介绍了 Label Smoothing 这个正则化策略,接下来再给补充一个论文当中的知识点,在论文的 5.3 节,关于学习率衰减策略的设置。这节课的安排,是首先实现论文里面的方法,然后再讲一个自己写的策略。因为论文里面的训练次数比较多,他的 warmup 值也会比较大,但是我们训练不了几十万次,自己写的策略会比较好控制一些。

代码示例

1、论文中的学习率调整策略

内容不可见,请联系管理员开通权限。

2、自定义调整策略

内容不可见,请联系管理员开通权限。

3、动态调整学习率

内容不可见,请联系管理员开通权限。

这节课主要是给大家介绍了,在训练过程中动态调整学习率的方法。因为模型结构越复杂,对参数的精细化程度要求也越高。所以我们用动态学习率的目的,是在兼顾训练效率的同时,尽量让模型效果更稳定。

下节课,再给大家补充一个多 GPU 并行训练的方法之后,就可以用真实数据集,来做模型训练了。

本文链接:http://edu.ichenhua.cn/edu/note/675

版权声明:本文为「陈华编程」原创课程讲义,请给与知识创作者起码的尊重,未经许可不得传播或转售!