经典的算法永远值得被吃透。回顾 XGBoost 的推导过程,仍能感觉到实在是太巧妙了!特别是 XGBoost 能将树模型这种非参模型引入参数和导数,进而得到最优参数的闭式解,拍案叫绝。本文内容来自贪心学院录播整理。
集成学习(Ensemble Learning)本身不是一个单独的机器学习算法,而是通过构建并结合多个机器学习器来完成学习任务。也就是我们常说的「博采众长」。集成学习的直觉是结合多个个体的能力,获得远超个体的集体能力优势。这种直觉在实际上对于“弱学习器”是非常符合的。故很多集成学习的研究也都是针对弱学习器,而基学习器(Base Learner)有时也被直接称为弱学习器。 什么是弱学习器呢(weak learner)?弱学习器指泛化性能略优于随机猜测的学习器:例如在二分类问题精度略高于50%的分类器。
泰勒公式得名于英国数学家布鲁克·泰勒,他在1712年的一封信里首次叙述了这个公式。泰勒公式是为了研究复杂函数性质时经常使用的近似方法之一,也是函数微分学的一项重要应用内容。
换句话一言以蔽之:对于复杂函数,想要知道某个点附近的取值,除了直接代入原函数求,可以利用泰勒级数通过原函数在这个点的一/二阶导数构建多项式,从而近似这个点的取值。
您需要 登录 才可以下载或查看,没有账号?立即注册
使用道具 举报
本版积分规则 发表回复 回帖并转播 回帖后跳转到最后一页
小黑屋|手机版|Unity开发者联盟 ( 粤ICP备20003399号 )
GMT+8, 2024-11-15 07:22 , Processed in 0.118900 second(s), 26 queries .
Powered by Discuz! X3.5 Licensed
© 2001-2024 Discuz! Team.