现在模拟退火算法、粒子群优化算法、遗传算法和蚁群优化算法现在用的还多吗？

七彩极 · 发表于 2021-7-4 06:59

都是优化问题。
启发式算法的把自然的套路用在数学上。
比如遗传算法，迭代基因可以看作相当于训练一个feature吧？那我们就是要找到这个最优的基因。
但是，遗传算法太粗暴了，可能在我理解来看。怎么交叉和突变基因？这比神经网络还要玄学。收敛上都有问题。
如果都是网络权重优化，显然神经网络更有层次性，易于理解。全局优化基因这种。。。如果基因结构复杂了，那浪费的算力不是一点点。
一点点浅见，有空也补补这方面的姿势。

RedZero9 · 发表于 2021-7-4 07:00

梯度下降法要求函数可微，粒子群算法、遗传算法没有这个要求，即使函数不连续都可以使用

Doris232 · 发表于 2021-7-4 07:05

《智能优化算法及其MATAB实例》，电子工业出版社
在电子、通信、计算机、自动化、机器人、经济学和管理学等众多学科中，不断地出现了许多复杂的组合优化问题。面对这些大型的优化问题，传统的优化方法（如牛顿法、单纯形法等）需要遍历整个搜索空间，无法在短时间内完成搜索，且容易产生搜索的“组合爆炸”。例如，许多工程优化问题，往往需要在复杂而庞大的搜索空间中寻找最优解或者准最优解。鉴于实际工程问题的复杂性、非线性、约束性以及建模困难等诸多特点，寻求高效的优化算法已成为相关学科的主要研究内容之一。
受到人类智能、生物群体社会性或自然现象规律的启发，人们发明了很多智能优化算法来解决上述复杂优化问题，主要包括：模仿自然界生物进化机制的遗传算法；通过群体内个体间的合作与竞争来优化搜索的差分进化算法；模拟生物免疫系统学习和认知功能的免疫算法；模拟蚂蚁集体寻径行为的蚁群算法；模拟鸟群和鱼群群体行为的粒子群算法；源于固体物质退火过程的模拟退火算法；模拟人类智力记忆过程的禁忌搜索算法；模拟动物神经网络行为特征的神经网络算法；等等。这些算法有个共同点，即都是通过模拟或揭示某些自然界的现象和过程或生物群体的智能行为而得到发展；在优化领域称它们为智能优化算法，它们具有简单、通用、便于并行处理等特点。

Doris232 · 发表于 2021-7-4 07:10

相对更了解遗传算法一些。
遗传算法是模仿自然界生物进化论的方式实现的一种算法（好书面的说法……）。
其实就是建立一个初始种群（集合），通过交叉繁衍（具体交叉方式多种，在很多公司的仿真软件里有不同的算子实现）生成新的种群（染色体互换后生成新的个体），又在其中有优胜劣汰的机制（你是上帝，怎么选拔你说了算，比如轮盘法），将种群可能性地推向你想要的进化方向。最后通过一定可接受的繁衍代数（时间，性能等维度的要求），得到一个近似最优解。
个人大致理解是这样，如有错误，烦请指正(づ ●─● )づ。

APSchmidt · 发表于 2021-7-4 07:19

比如搜索神经网络结构，这几个算法都不错，遗传算法效果相当好。

c0d3n4m · 发表于 2021-7-4 07:20

牛顿法与梯度下降法只是适用于无约束的优化问题，而您在上面列举的模拟退火、粒子群等算法是启发式算法，一般来说启发式算法适用于各种问题，在科研领域用的比较热

RhinoFreak · 发表于 2021-7-4 07:21

投CS夏令营时介绍我的工作，我认为和深度学习一样，演化计算缺乏充分的数理基础与理论指导；和深度学习不一样的则是演化计算是个“冷板凳”，想要做出成果来需要较强的发散思维和非常大的毅力。
欢迎访问：
机器学习导航 - OmegaXYZ

BlaXuan · 发表于 2021-7-4 07:28

早期的进化计算的思想比计算机的历史还要早，图灵冯诺依曼等人都曾研究这个领域。但现在后来者已经将其变为灌水和发表毫无实际应用意义的paper的工具了。

kirin77 · 发表于 2021-7-4 07:30

很多应用场景，主要适用于无梯度的 black-box 优化问题，在深度学习中，如神经网络架构搜索(NAS)，超参数优化，图结构的优化 and so on.

kyuskoj · 发表于 2021-7-4 07:37

sa ts是单解的算法，相当于在爬山的基础上加扰动以跳出局部最优
群体智能算法基本都是ga pso aco eda这几类的变种
用处………………科研用的比较多（灌水）
一般离散的问题用他们确实效果还可以的（就是有点慢），还有听说现在强化学习和神经网络结构搜索有用到

		自动登录	找回密码
密码			立即注册