Unity开发者联盟收藏本站
发帖教程新人必读切换到宽版

 找回密码
 立即注册
Unity开发者联盟»论坛 › 3D Answers 技术讨论 › 技术讨论 Technology Answers › Deep Learning 最优化方法之AdaGrad
12
返回列表 发新帖
楼主: BlaXuan

Deep Learning 最优化方法之AdaGrad

[复制链接]
发表于 2021-12-3 14:32 | 显示全部楼层
部分情况会好吧
回复 推荐 不推荐

使用道具 举报

Baste
发表于 2021-12-3 14:39 | 显示全部楼层
非常有帮助！本质上就是让参数更新的方向别按照原来梯度的g的方向走，即不要沿着垂直等高线的方向走，而是直指极值的方向。是这样吧？
回复 推荐 不推荐

使用道具 举报

Baste
发表于 2021-12-3 14:46 | 显示全部楼层
因为调整了不同维度的学习率，稀疏数据0较多，频率高，梯度平方和大，学习率会调整变小
回复 推荐 不推荐

使用道具 举报

12
返回列表 发新帖
懒得打字嘛，点击右侧快捷回复 【右侧内容，后台自定义】
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Unity开发者联盟 ( 粤ICP备20003399号 )

GMT+8, 2024-9-23 02:22 , Processed in 0.088056 second(s), 23 queries .

Powered by Discuz! X3.5 Licensed

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表