XGBoost推导

决策树的boosting模型

Posted by Jiayue Cai on February 11, 2018

仅主要知识点梳理

引言

XGBoost的全称 eXtreme Gradient Boosting,2014年2月诞生的专注于梯度提升算法的机器学习函数库,作者为华盛顿大学研究机器学习的大牛——陈天奇。他在研究中深深的体会到现有库的计算速度和精度问题,为此而着手搭建完成 xgboost 项目。xgboost问世后,因其优良的学习效果以及高效的训练速度而获得广泛的关注,并在各种算法大赛上大放光彩……

本文主要对XGBoost的原理进行了一个简要梳理,方便大家能从中捕获一些知识点,同时在此特别感谢北大的wepon同学的分享。在阅读此篇之前,建议参读顺序为:最优化算法(梯度下降和牛顿法)->GBDT->XGBoost

主要知识点

结束语

到此,XGboost的主要内容已全部梳理完,对于其算法的其他特性,可以参读原文《XGBoost: A Scalable Tree Boosting System 》