type
status
date
slug
summary
tags
category
icon
password
Property
到目前为止，主要关注如何更新权重向量的优化算法，而不是它们的更新速率。 然而，调整学习率通常与实际算法同样重要，有如下几方面需要考虑：
- 首先，学习率的大小很重要。如果它太大，优化就会发散；如果它太小，训练就会需要过长时间，或者最终只能得到次优的结果。直观地说，这是最不敏感与最敏感方向的变化量的比率。
- 其次，衰减速率同样很重要。如果学习率持续过高，可能最终会在最小值附近弹跳，从而无法达到最优解。 我们希望速率衰减，但要比 慢，这样能成为解决凸问题的不错选择。
- 另一个同样重要的方面是初始化。这既涉及参数最初的设置方式，又关系到它们最初的演变方式。这被戏称为预热（warmup），即最初开始向着解决方案迈进的速度有多快。一开始的大步可能没有好处，特别是因为最初的参数集是随机的。最初的更新方向可能也是毫无意义的。
- 最后，还有许多优化变体可以执行周期性学习率调整。例如，如何通过对整个路径参数求平均值来获得更好的解。
鉴于管理学习率需要很多细节，因此大多数深度学习框架都有自动应对这个问题的工具。 这里将梳理不同的调度策略对准确性的影响，并展示如何通过学习率调度器（learning rate scheduler）来有效管理。
一个简单的问题
从一个简单的问题开始，选择了一个稍微现代化的LeNet版本（激活函数使用
relu而不是sigmoid，汇聚层使用最大汇聚层而不是平均汇聚层），并应用于Fashion-MNIST数据集。 
学习率调度器
可以在每个迭代轮数（甚至在每个小批量）之后向下调整学习率。 例如，以动态的方式来响应优化的进展情况。
更通常而言，应该定义一个调度器。 当调用更新次数时，它将返回学习率的适当值。 让我们定义一个简单的方法，将学习率设置为 。
让我们在一系列值上绘制它的行为。
现在让我们来看看这对在Fashion-MNIST数据集上的训练有何影响。 我们只是提供调度器作为训练算法的额外参数。
这比以前好一些：曲线比以前更加平滑，并且过拟合更小了。 遗憾的是，关于为什么在理论上某些策略会导致较轻的过拟合，有一些观点认为，较小的步长将导致参数更接近零，因此更简单。 但是，这并不能完全解释这种现象，因为我们并没有真正地提前停止，而只是轻柔地降低了学习率。
策略
虽然我们不可能涵盖所有类型的学习率调度器，但我们会尝试在下面简要概述常用的策略：多项式衰减和分段常数表。 此外，余弦学习率调度在实践中的一些问题上运行效果很好。 在某些问题上，最好在使用较高的学习率之前预热优化器。
多因子调度器
多项式衰减的一种替代方案是乘法衰减，即 其中 。为了防止学习率衰减超出合理的下限，更新方程经常修改为 。
接下来，将使用内置的调度器，但在这里仅解释它们的功能。
训练深度网络的常见策略之一是保持分段稳定的学习率，并且每隔一段时间就一定程度学习率降低。 具体地说，给定一组降低学习率的时间，例如 每当 时降低 。 假设每步中的值减半，我们可以按如下方式实现这一点。
这种分段恒定学习率调度背后的直觉是，让优化持续进行，直到权重向量的分布达到一个驻点。 此时，我们才将学习率降低，以获得更高质量的代理来达到一个良好的局部最小值。 下面的例子展示了如何使用这种方法产生更好的解决方案。
余弦调度器
余弦调度器是
Loshchilov.Hutter.2016提出的一种启发式算法。 它所依据的观点是：我们可能不想在一开始就太大地降低学习率，而且可能希望最终能用非常小的学习率来“改进”解决方案。 这产生了一个类似于余弦的调度，函数形式如下所示，学习率的值在 之间。这里 是初始学习率， 是当 时的目标学习率。 此外，对于 ，我们只需将值固定到 而不再增加它。 在下面的示例中，我们设置了最大更新步数 。
在计算机视觉中，这个调度可以引出改进的结果。 但请注意，如下所示，这种改进并不能保证成立。
预热
在某些情况下，初始化参数不足以得到良好的解。 这对于某些高级网络设计来说尤其棘手，可能导致不稳定的优化结果。 对此，一方面，我们可以选择一个足够小的学习率， 从而防止一开始发散，然而这样进展太缓慢。 另一方面，较高的学习率最初就会导致发散。
解决这种困境的一个相当简单的解决方法是使用预热期，在此期间学习率将增加至初始最大值，然后冷却直到优化过程结束。 为了简单起见，通常使用线性递增。 这引出了如下表所示的时间表。
注意，观察前5个迭代轮数的性能，网络最初收敛得更好。
预热可以应用于任何调度器，而不仅仅是余弦。
- optimer指的是网络的优化器
- mode (str) ，可选择‘min’或者‘max’，min表示当监控量停止下降的时候，学习率将减小，max表示当监控量停止上升的时候，学习率将减小。默认值为‘min’
- factor 学习率每次降低多少，new_lr = old_lr * factor
- patience=10，容忍网路的性能不提升的次数，高于这个次数就降低学习率
- verbose（bool） - 如果为True，则为每次更新向stdout输出一条消息。 默认值：False
- threshold（float） - 测量新最佳值的阈值，仅关注重大变化。 默认值：1e-4
- cooldown： 减少lr后恢复正常操作之前要等待的时期数。 默认值：0。
- min_lr,学习率的下限
- eps ，适用于lr的最小衰减。 如果新旧lr之间的差异小于eps，则忽略更新。 默认值：1e-8
小结
- 在训练期间逐步降低学习率可以提高准确性，并且减少模型的过拟合
- 在实验中，每当进展趋于稳定时就降低学习率，这是很有效的。从本质上说，这可以确保我们有效地收敛到一个适当的解，也只有这样才能通过降低学习率来减小参数的固有方差
- 余弦调度器在某些计算机视觉问题中很受欢迎
- 优化之前的预热期可以防止发散
- 优化在深度学习中有多种用途。对于同样的训练误差而言，选择不同的优化算法和学习率调度，除了最大限度地减少训练时间，可以导致测试集上不同的泛化和过拟合量