xiaozongpeng 发表于 2022-1-2 15:40

您好、文中说“步长,由一维搜索确定”,不是很懂,步长学习率不是通过检验数据来自行选取嘛,这玩意儿还能够动态?谢谢指教

TheLudGamer 发表于 2022-1-2 15:50

明白了,算法中的最优化lambda步长是理想状态的,但是无法实现,所以现实求解中才用固定lambda,靠验证集来选取一个合适的学习率,应该莫得问题把这种理解

kyuskoj 发表于 2022-1-2 15:59

写得太好了,比较系统,而且一看就懂

JamesB 发表于 2022-1-2 16:05

[赞同][赞同][赞同]

XGundam05 发表于 2022-1-2 16:08

“拟牛顿条件(Secant equation)” 上面记 y, sigema下标有问题,应该是k-1,而不是k

unityloverz 发表于 2022-1-2 16:16

拟牛顿法处理单方程和方程组的时候需要再进行方程组向单方程转化吗[好奇]

FeastSC 发表于 2022-1-2 16:24

BFGS算法用B近似H,还是要求B逆,不会存在问题么?

unityloverz 发表于 2022-1-2 16:33

5: BFGS(Broyden-Fletcher-Goldfard-Shano)算法(BFGS algorithm)那里第三个公式应该是第二个公式左右乘以δk得来的吧?这样和后面求Qk才对的上。

stonstad 发表于 2022-1-2 16:41

DFP里面为什么要冒出两个转置矩阵?

RedZero9 发表于 2022-1-2 16:45

DFP里面为什么要冒出两个转置矩阵?
页: 1 [2] 3
查看完整版本: 梯度下降法、牛顿法和拟牛顿法