传统优化算法与智能算法如何界定其区别？有相关这类的书籍可以推荐吗？

franciscochonge · 发表于 2021-10-27 08:55

最近学了《最优化理论与算法》这门课，所以想请教一下，这一类算法与新兴的智能算法（我的定义是：例如神经网络、SVM这样的“没有办法的办法（这门课老师原话）”）如何区分？两者各有什么样的优劣，有哪些参考书籍和资料可以阅读？
已经在看陈宝林老师的《最优化理论与算法》了。

闲鱼技术01 · 发表于 2021-10-27 08:58

简答：

1. 传统优化算法一般是针对结构化的问题，有较为明确的问题和条件描述，如线性规划，二次规划，整数规划，混合规划，带约束和不带约束条件等，即有清晰的结构信息；而智能优化算法一般针对的是较为普适的问题描述，普遍比较缺乏结构信息。

2. 传统优化算法不少都属于凸优化范畴，有唯一明确的全局最优点；而智能优化算法针对的绝大多数是多极值问题，如何防止陷入局部最优而尽可能找到全局最优是采纳智能优化算法的根本原因：对于单极值问题，传统算法大部分时候已足够好，而智能算法没有任何优势；对多极值问题，智能优化算法通过其有效设计可以在跳出局部最优和收敛到一个点之间有个较好的平衡，从而实现找到全局最优点，但有的时候局部最优也是可接受的，所以传统算法也有很大应用空间和针对特殊结构的改进可能。

3. 传统优化算法一般是确定性算法，有固定的结构和参数，计算复杂度和收敛性可做理论分析；智能优化算法大多属于启发性算法，能定性分析却难定量证明，且大多数算法基于随机特性，其收敛性一般是概率意义上的，实际性能不可控，往往收敛速度也比较慢，计算复杂度较高。

btw，你老师的原话“没有办法的办法”基本上是对的，如果有确定的问题结构描述和对应的传统算法（有理论证明可保证其可靠性），谁会去选计算又复杂结果又不可控的智能算法呢？只有在传统算法很难得到一个可接受的最优解（实际问题中许多时候并不要求全局最优，智能算法也并不保证100%找到全局最优）的时候，智能算法作为一个可选项确实是没有办法的办法。为什么智能算法的研究更热门呢，因为前者剩下的都是硬骨头了又需要强大的数学功底才能小小的进步一点，而智能算法本科生拍脑袋就能写篇文章——虽然高质量的文章依然是很难的。但另一半话不准确，SVM和神经网络并不是“优化”算法，这俩一般是用做分类问题或回归——倒是如何训练神经网络是个优化问题，传统BP算法并不能保证全局最优（但并不妨碍其使用，因为大多数时候也能得到一个可接受的解），许多许多年前就有人提出用智能算法来训练神经网络的参数。

Zephus · 发表于 2021-10-27 08:59

感觉传统的算法跟智能算法最大的不同在于只能算法得到的大多是概率解换句话说用比传统算法快很多的速度得到一个近似是最优的解

优点快简单易懂
缺点未必最优但是可以再多用一点时间来提高正确率但是永远达不到100%

		自动登录	找回密码
密码			立即注册