优化算法 - Adam算法

寻找机会 · 发表于 2024-8-2 09:29

Adam算法

在本章中，我们已经学习了许多有效优化的技术。在本节讨论之前，我们先详细回顾以下这些技术：

随机梯度下降：在解决优化问题时比梯度下降更有效
小批量随机梯度下降：在一个小批量中使用更大的不雅观测值集，可以通过向量化提供额外效率。这是高效的多机、多GPU和整体并行措置的关键
动量法：添加了一种机制，用于汇总过去梯度的历史以加速收敛
AdaGrad算法：对每个坐标缩放来实现高效计算的预措置器
RMSProp算法：通过学习率的调整来分手每个坐标的缩放

Adam算法将所有这些技术汇总到一个高效的学习算法中。不出预料，作为深度学习中使用的更强大和有效的优化算法之一，它非常受欢迎。但是它并非没有问题，尤其是 [Reddi et al., 2019]表白，有时Adam算法可能由于⽅差控制不良⽽发散。在完善⼯作中，[Zaheer et al., 2018]给Adam算法提供了⼀个称为Yogi的热补丁来解决这些问题。下⾯我们了解⼀下Adam算法
1 - 算法

2 - 实现

从头开始实现Adam算法并不难，为了便利起见，我们将时间步t存储在hyperparams字典中。除此之外，一切都很简单

%matplotlib inline
import torch
from d2l import torch as d2l
def init_adam_states(feature_dim):
v_w,v_b = torch.zeros((feature_dim,1)),torch.zeros(1)
s_w,s_b = torch.zeros((feature_dim,1)),torch.zeros(1)
return ((v_w,s_w),(v_b,s_b))
def adam(params,states,hyperparams):
beta1,beta2,eps = 0.9,0.999,1e-6
for p,(v,s) in zip(params,states):
with torch.no_grad():
v[:] = beta1 * v + (1 - beta1) * p.grad
s[:] = beta2 * s + (1 - beta2) * torch.square(p.grad)
v_bias_corr = v / (1 - beta1 ** hyperparams['t'])
s_bias_corr = s / (1 - beta2 ** hyperparams['t'])
p[:] -= hyperparams['lr'] * v_bias_corr / (torch.sqrt(s_bias_corr + eps))
p.grad.data.zero_()
hyperparams['t'] += 1

复制代码

此刻，我们用以上Adam算法来训练模型，这里我们使用η=0.01的学习率

data_iter,feature_dim = d2l.get_data_ch11(batch_size=10)
d2l.train_ch11(adam,init_adam_states(feature_dim),{'lr':0.01,'t':1},data_iter,feature_dim);
loss: 0.246, 0.014 sec/epoch

复制代码

此外，我们可以用深度学习框架自带算法应用Adam算法，这里我们只需要传递配置参数

trainer = torch.optim.Adam
d2l.train_concise_ch11(trainer,{'lr':0.01},data_iter)
loss: 0.247, 0.015 sec/epoch

复制代码

3 - Yogi

def yogi(params,states,hyperparams):
beta1,beta2,eps = 0.9,0.999,1e-3
for p,(v,s) in zip(params,states):
with torch.no_grad():
v[:] = beta1 * v + (1 - beta1) * p.grad
s[:] = s + (1 - beta2) * torch.sign(torch.square(p.grad) -s ) * torch.square(p.grad)
v_bias_corr = v / (1 - beta1 ** hyperparams['t'])
s_bias_corr = s / (1 - beta2 ** hyperparams['t'])
p[:] -= hyperparams['lr'] * v_bias_corr / (torch.sqrt(s_bias_corr) + eps)
p.grad.data.zero_()
hyperparams['t'] += 1
data_iter,feature_dim = d2l.get_data_ch11(batch_size=10)
d2l.train_ch11(yogi,init_adam_states(feature_dim),{'lr':0.01,'t':1},data_iter,feature_dim)
loss: 0.244, 0.007 sec/epoch

复制代码

([0.006999015808105469,
0.01399993896484375,
0.02099919319152832,
0.026999235153198242,
0.03399944305419922,
0.0410001277923584,
0.04800128936767578,
0.05700254440307617,
0.06400370597839355,
0.07200503349304199,
0.07900643348693848,
0.08518671989440918,
0.09218716621398926,
0.10018706321716309,
0.10867691040039062],
[0.3831201309363047,
0.30505007115999855,
0.27388086752096813,
0.25824862279494604,
0.248792000691096,
0.24663881778717042,
0.24533938866853713,
0.24811744292577106,
0.2440877826611201,
0.24333851114908855,
0.24304762629667917,
0.24334035567442577,
0.24402384889125825,
0.24259794521331787,
0.2435852948029836])

复制代码

4 - 小结

Adam算法将许多优化算法的功能结合到了相当强大的更新法则中
Adam算法在RMSProp算法基础上创建的，还在小批量的随机梯度上使用EWMA
在估计动量和二次矩时，Adam算法使用偏差校正来调整迟缓的启动速度
对于具有显著差异的梯度，我们可能会遇到收敛性问题，我们可以通过使用更大的小批量或者切换到改良的估计值$s_t$来修正它们。Yogi提供了这样的替代方案

		自动登录	找回密码
密码			立即注册

优化算法 - Adam算法

本帖子中包含更多资源