梯度下降法、牛顿法和拟牛顿法

xiaozongpeng · 发表于 2022-1-2 15:40

您好、文中说“步长，由一维搜索确定”，不是很懂，步长学习率不是通过检验数据来自行选取嘛，这玩意儿还能够动态？谢谢指教

TheLudGamer · 发表于 2022-1-2 15:50

明白了，算法中的最优化lambda步长是理想状态的，但是无法实现，所以现实求解中才用固定lambda，靠验证集来选取一个合适的学习率，应该莫得问题把这种理解

kyuskoj · 发表于 2022-1-2 15:59

写得太好了，比较系统，而且一看就懂

JamesB · 发表于 2022-1-2 16:05

[赞同][赞同][赞同]

XGundam05 · 发表于 2022-1-2 16:08

“拟牛顿条件(Secant equation)” 上面记 y, sigema 下标有问题，应该是k-1，而不是k

unityloverz · 发表于 2022-1-2 16:16

拟牛顿法处理单方程和方程组的时候需要再进行方程组向单方程转化吗[好奇]

FeastSC · 发表于 2022-1-2 16:24

BFGS算法用B近似H,还是要求B逆,不会存在问题么?

unityloverz · 发表于 2022-1-2 16:33

5： BFGS(Broyden-Fletcher-Goldfard-Shano)算法(BFGS algorithm)那里第三个公式应该是第二个公式左右乘以δk得来的吧？这样和后面求Qk才对的上。

stonstad · 发表于 2022-1-2 16:41

DFP里面为什么要冒出两个转置矩阵？

RedZero9 · 发表于 2022-1-2 16:45

DFP里面为什么要冒出两个转置矩阵？

		自动登录	找回密码
密码			立即注册