传统优化算法与智能优化算法与凸优化算法如何界定其区别？都属于最优化算法吗？

Zephus

三者之间的区别是什么

fwalker

个人理解：本质上都是求解最优化问题(一个目标函数在给定区域内的最小值就是约束优化，不考虑给定区域就是无约束优化)。传统优化算法可以理解为比较general的优化算法但是针对不同问题可能并不适用，且考虑的最优只能是局部最优；凸优化则是优化问题中的一种特殊情况，因为凸性可以保证全局最优；而智能优化算法很多就是加入一些trick来避免陷入局部最优。

IT圈老男孩1

感觉这是一个很大的问题，我还回答不好，希望做一个交流，慢慢补充吧。
先说说我眼里的传统优化、凸优化、智能优化指的是那些吧。
一、传统优化
1、线性规划：单纯形法
2、无约束优化：最速下降法、牛顿法、共轭梯度法
3、约束非线性规划：罚函数法、可行方向法
二、凸优化
参考Stephen Boyd的凸优化的书，主要是将问题怎么转化成凸问题上去。因为凸优化是一类被解决的优化问题。采用CVX可以轻松地使用内点法进行求解。
三、智能优化
1、模拟退火、遗传算法、禁忌搜索、神经网络
2、Q-learning，可以用于求解组合优化问题

作者观点：
凸优化与传统优化并非孤立的。在求解一个非凸的问题的时候，一个常规思路是将非凸问题转化成一系列的凸问题，这一步是凸优化教你怎么辨别哪一类凸问题可以求解。在每一次的迭代过程中，除了内点法之外，我们还可以使用传统的优化方案，比如说牛顿法具有二次收敛速度去求解。

Ylisar

随机规划；线性或者整数规划；和组合优化的区别是什么？有什么样的联系？这些最优化算法和概率论；应用统计的关系是什么呢？