深度学习中的优化算法

BlaXuan · 发表于 2021-8-25 08:02

No free Lunch只是说没有机器学习算法木有最好的吧优化是另一回事

super1 · 发表于 2021-8-25 08:09

都有的，既有说模型没有普适的，也有说优化算法没有普适的。

pc8888888 · 发表于 2021-8-25 08:12

请问，在求解的过程中，x == x - α* f'（x）中，α* f'（x）对应的不是函数值的变化吗（dy）？这样不就变成自变量x-函数值变化量（dy）？这要怎么理解呢？

fwalker · 发表于 2021-8-25 08:13

你应该写出图片出处

XGundam05 · 发表于 2021-8-25 08:14

导数 f’(x) 并不是 dy。

RhinoFreak · 发表于 2021-8-25 08:21

学过数学分析，还是被闷了一棍！建议写成H*(x-x0)什么的，加个乘号或者黑点啊什么的，也不至于让人误解为是函数。还有，既然二阶导装X用Hessian矩阵表示了，一阶导为什么不用Jacobian矩阵J表示呢，一直在思考，最初在Paper里写下这个公式的数学家（工程师）是否装逼没装到位～～～

maltadirk · 发表于 2021-8-25 08:30

你好，有两个问题想请教一下：
学习率的范围一定是0到1吗，还是根据模型来定义的。在几种算法中都提到了参数更新，而案例里没有相关的说明。这个部分能否再展开讲讲。

JoshWindsor · 发表于 2021-8-25 08:39

请问一下这些优化器的具体应用有哪些

		自动登录	找回密码
密码			立即注册