找回密码
 立即注册
楼主: BlaXuan

Deep Learning 最优化方法之AdaGrad

[复制链接]
发表于 2021-12-3 14:32 | 显示全部楼层
部分情况会好吧
发表于 2021-12-3 14:39 | 显示全部楼层
非常有帮助!本质上就是让参数更新的方向别按照原来梯度的g的方向走,即不要沿着垂直等高线的方向走,而是直指极值的方向。是这样吧?
发表于 2021-12-3 14:46 | 显示全部楼层
因为调整了不同维度的学习率,稀疏数据0较多,频率高,梯度平方和大,学习率会调整变小
懒得打字嘛,点击右侧快捷回复 【右侧内容,后台自定义】
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Unity开发者联盟 ( 粤ICP备20003399号 )

GMT+8, 2024-11-14 19:19 , Processed in 0.094309 second(s), 23 queries .

Powered by Discuz! X3.5 Licensed

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表