优化算法Optimizer比较和总结

super1 · 发表于 2021-7-4 07:57

这个是我引用别人的，下面有参考文章

FeastSC · 发表于 2021-7-4 07:57

好的谢谢啦！[爱]

mastertravels77 · 发表于 2021-7-4 07:58

你好，请问灰狼算法和这几个优化算法有什么区别？

johnsoncodehk · 发表于 2021-7-4 08:08

tensorflow 里的SGD是随机梯度下降还是小批量梯度下降？

闲鱼技术01 · 发表于 2021-7-4 08:12

小批量

c0d3n4m · 发表于 2021-7-4 08:15

图不错。

KaaPexei · 发表于 2021-7-4 08:20

【但是由于每次的下降方向为总体平均梯度，它得到的会是一个全局最优解。】这和得到全局最优解没关系吧？未必能得到全局最优

rustum · 发表于 2021-7-4 08:21

adadelta 牛顿近似那里，最后那个公式上面是不是得对历史梯度方向求导呀

pc8888888 · 发表于 2021-7-4 08:25

而且感觉Adadelta和RMSprop的公式好像是一样的感觉

IT圈老男孩1 · 发表于 2021-7-4 08:33

pytorch中的SGD是随机梯度下降还是小批量梯度下降？

		自动登录	找回密码
密码			立即注册