学习最优化方法有什么好的方法或者书么？

HuldaGnodim · 发表于 2021-7-4 09:40

学习最优化方法有什么好的方法或者书么？

xiaozongpeng · 发表于 2021-7-4 09:42

推荐几本新书:

这两本书正在出版中, 作者公布了在线版本, 应该是国内出版的最优化书籍里面最贴合机器学习方面的一本. 内容安排和逻辑与国内传统的教科书差别比较大, 内容多篇幅大. 有时候为了让逻辑严谨结论更加广泛, 其论述思路有时候不是最容易理解的那种. 另外, 可能是作者方向相关, 在一些topic上会把问题延伸到较为前沿的内容, 对初次阅读会是不小的挑战.
作者同步发布了对应的程序.
2. Algorithms for convex Optimization.
这本也是Cambridge Press正在出版, 作者公布了在线版本, Algorithms for convex Optimization。这本书和上面一本某种程度上互补, 内容上比前面那本少一些, 有些传统内容没有讨论. 也多一些额外的内容, 侧重点不同.
3.Lectures on Convex Optimization, Yurii Nesterov, 今年刚出了中文版凸优化教程.

First-order and Stochastic Optimization Methods for Machine Learning, George Lan, 2020.
Accelerated Optimization for Machine Learning  - First-Order Algorithms, Zhouchen Lin, 2020
后两本是今年刚出版，这几本比前面的内容要难，与国内优化教材不同, 通常不讨论QN和 CG, 更加专注一阶算法，专注机器学习中的优化.

闲鱼技术01 · 发表于 2021-7-4 09:42

实现的话Numerical Optimization。这本书对线搜索方法，最小二乘法做了较多介绍，而且大多数地方都给出了伪代码实现。
理论的话推荐Convex Optimization以及Nonlinear Pgrogrammimg。Convex Optimization对凸优化问题做了比较全面的介绍，同时也有大量的理论证明。
最后推荐同时阅读Matrix Computation，这样会对矩阵运算，比如QR分解，特征值和奇异值求解的时间复杂度有一个比较好的了解。这样在实际解决问题的时候也能选择更好的数值优化方法。

unityloverz · 发表于 2021-7-4 09:50

看是想建模还是想求解。
数值解的话有Numerical Optimization，针对连续优化，组合优化没有涉及，那个比较庞杂；
建模的话David Luenberger的Linear and Nonlinear Programming，国内胡运权的运筹学跟它类似；
另外就是Stephen Boyd的convex optimization，各方面涉及一些，比如如何把非凸的变成凸的。
貌似深度学习很多非凸的，那是另一回事了。

rustum · 发表于 2021-7-4 09:59

推荐两本英文的书籍，内容比较全面，是上课时的参考书籍：

Numerical optimization

Optimization theory and methods: nonlinear programming

以及高立老师的《数值最优化方法》，不过这个是本科生的教材，所以内容的覆盖面并不广。
关于学习方法的话，可能和大多数数学课程一样，选课然后认真听讲是比较直接高效的方法。上面两本书都是大块头，不从事相关研究的话，就直接从头到尾都看一遍我觉得其实挺困难的。课上完了之后或许来更新一下主要的学习内容，先占坑。

DomDomm · 发表于 2021-7-4 10:02

题主要什么类型的书？要是科普之类的，找一本好点的运筹学就可以了；偏数学一点，推荐两本：《数值最优化算法与理论》---李董辉等，《最优化方法》---张立卫.第二本是我导师写的书，非常偏理论，题主数学功底好的话可以看，不过实用性不强；前一本是很好的，讲的比较通俗，又不失数学的严谨，我导师当初推荐课本以外的书就这一本。

johnsoncodehk · 发表于 2021-7-4 10:09

最优化包含的方法种类很多，每个方法几乎都有一本书详细解释其内容。一下按分类推荐书籍（入门的话，推荐从线性规划或者凸优化开始）：
线性规划：
《Linear Programming and Network Flows》, Fourth Edition, Mokhtar S. Bazaraa, WILEY
凸优化：
Boyd的《Convex Optimization》，凸优化领域非常经典的入门级教材！
数值优化：
《Numerical Optimization》，对应中文名字为《数值最优化》。
随机过程：
《应用随机过程：概率论模型导论》（第11版），人民邮电出版社。这本书更偏应用，列举了很多例子帮助读者理解概念，是一本适合初学者的书。
学习最优化方法的一些感慨：成为一个领域的专家，只是了解其教材上的知识还是远远不够的，还需要能够灵活运用这些知识，在遇到运筹问题时，能够快速反应到相应的解决方法。答主当年学习完运筹学的相关知识后，仍然觉得没有入门，有一种很强烈的不踏实感。直到后来跟随导师参与了一些
具体的项目，才对运筹学有了更深一步的了解与认识。同时，根据项目内容，还撰写了论文，撰写论文不仅要求我自己明白，还要求我能够给读者讲明白，这对我更是一种能力的提升。因此，如果题主想要在运筹学领域做出一番成就，参与项目和发表论文是必不可少的。
<hr/>此为PK入驻导师或往届学员撰写，更多干货或需要留学、考研/保研的背景提升、科研论文辅导服务，请关注微信公众号：Paper King。

TheLudGamer · 发表于 2021-7-4 10:13

这取决于你学最优化算法干嘛，

学传统最优化可以先看高立的书入个门，这本书节奏很快，但有些推理也不全，然后看袁亚湘的书，这本书我只找到过电子版，现在似乎也不出了，但值得深钻，内容除了不新外非常全面，可以吊打外国书，然后再看boyd的书，不难有些地方也比较新，除了boyd的凸优化，他还写了一些讲义介绍新方法，比如promxial 梯度下降法balabala。

如果你学最优化为的是机器学习，首先应该去看duchi的统计信息论讲义，在他个人网站上就能下，接着看传统凸优化和统计决策论，最后要是你想往深走要看的是lecam的渐进统计论。近年来机器学习用的最优化方法严格意义上叫随机凸优化方法，是建立在robbin_Morre工作上的东西

Ilingis · 发表于 2021-7-4 10:17

还没有人答？《最优化理论与算法》陈宝林清华大学出版社

ainatipen · 发表于 2021-7-4 10:24

现在觉得书没有那么重要，基本上找一本主流的书就行，反正第一遍基本看不懂，看第二遍的时候就懂了

		自动登录	找回密码
密码			立即注册

学习最优化方法有什么好的方法或者书么？

本帖子中包含更多资源