ainatipen 发表于 2021-9-28 11:21

优化算法新观点

优化算法新观点

Doris232 发表于 2021-9-28 11:28

用微分方程观点看优化确实很有意思，内点法中用多阶导数逼近路径就是采用这种方法

super1 发表于 2021-9-28 11:29

观点非常新颖有趣。本人是学控制的，后来学的运筹优化，所以对动态系统，李亚普洛夫和优化算法都熟悉。

zt3ff3n 发表于 2021-9-28 11:34

很有意思啊!

APSchmidt 发表于 2021-9-28 11:40

加了 BN 的动态平均，Adam中各种动态存储，优化过程就写不成局域的方程了。。。我觉得更加类似广义朗之万方程。另外，你说的gibbs分布对于loss surface的高维 flat minimum， 在物理里面不是太友好。。。有entropy barrier 问题

Zephus 发表于 2021-9-28 11:44

adam这种一直在考虑怎么用ode去刻画，可能会有分数阶ode的感觉………后面barrier是所有非凸优化的问题了

Baste 发表于 2021-9-28 11:51

蒜子分裂，想吃

KaaPexei 发表于 2021-9-28 11:56

之前看的deep relaxation：PDEs优化DNN，总觉得没有找到源头文章，冒昧问一声

redhat9i 发表于 2021-9-28 11:57

deep relaxation其实是另一个思路了

JoshWindsor 发表于 2021-9-28 12:07

能把一些术语换成英文么（捂脸，中文名字不咋看得懂
页: [1] 2
查看完整版本: 优化算法新观点