超参数调优技术

jquave

正常大家其实都用手动调优，也就是靠经验。但该学的自动超参调优技术也得学
说到自动调参算法，大家可能已经知道了Grid search（网格搜索）、Random search（随机搜索）、Bayesian Optimization（贝叶斯优化），还有Genetic algorithm（遗传算法）、Paticle Swarm Optimization（粒子群优化）、TPE、SMAC等。
Grid search（网格搜索）：给定所有参数的组合，对所有参数组合进行遍历，找出最好的参数组合。
Random search（随机搜索）：给定所有参数的组合，按照迭代次数n，随机从所有参数组合中进行采样，找出这n次迭代中最好的参数组合。
Bayesian Optimization（贝叶斯优化）：贝叶斯优化用于机器学习调参由J. Snoek(2012)提出，主要思想是，给定优化的目标函数(广义的函数，只需指定输入和输出即可，无需知道内部结构以及数学性质)，通过不断地添加样本点来更新目标函数的后验分布(高斯过程,直到后验分布基本贴合于真实分布。简单的说，就是考虑了上一次参数的信息**，从而更好的调整当前的参数。
Genetic algorithm（遗传算法）、Paticle Swarm Optimization（粒子群优化）等经典黑盒优化算法，可以归类为群体优化算法，不是特别适合模型超参数调优场景，因为需要有足够多的初始样本点，并且优化效率不是特别高。