XGBoost（极端梯度提升）

XGBoost 是梯度提升框架的高度优化实现，在准确性与工程效率之间取得了出色平衡。

• 核心范式：属于 Boosting 集成学习，以决策树为基学习器，通过串行迭代拟合前一轮的残差
• 正则化内置：目标函数显式加入 L1（lasso）和 L2（ridge）惩罚，防止单棵树过度复杂
• 二阶优化：利用损失函数的一阶梯度（gradient）与二阶 Hessian 共同确定节点分裂增益，收敛更快
• 工程友好：支持 Python、R、Java、Scala、C++ 等多语言接口，与 scikit-learn API 无缝兼容
• 竞赛霸主：在 Kaggle 结构化数据竞赛中长期占据主导，被称为「表格数据的标配武器」

XGBoost 的训练过程是对传统 GBDT 的系统性强化。

• 加法模型：最终预测值为 K 棵回归树输出之和，每轮迭代新增一棵树来最小化当前残差
• 二阶泰勒目标：将损失函数对预测值展开至二阶，节点分裂增益公式为 Gain = ½[G_L²/(H_L+λ) + G_R²/(H_R+λ) − (G_L+G_R)²/(H_L+H_R+λ)] − γ，其中 λ 控制 L2 正则，γ 是最小增益阈值
• 贪心分裂 + 近似算法：精确贪心法遍历所有特征所有分裂点；数据量大时启用分位数草图（Weighted Quantile Sketch）近似，大幅加速
• 列块存储：将数据按特征列预先排序存为 Block，支持并行扫描各特征的分裂点，减少磁盘 I/O
• 缺失值处理：训练时自动学习将含缺失值的样本分配到左子树或右子树的最优策略，无需预处理

XGBoost 超参数众多，以下几类对性能影响最为显著。

• 树结构控制：max_depth（树最大深度，通常 3–8）、min_child_weight（子节点最小 Hessian 和，控制叶节点样本量下限）
• 正则化：lambda（L2 权重惩罚）、alpha（L1 权重惩罚）、gamma（最小分裂增益阈值）
• 随机化：subsample（行采样比例）、colsample_bytree（列采样比例），类似随机森林的双重随机化，降低过拟合
• 学习率：eta（缩减步长，通常 0.01–0.3）；搭配 n_estimators 使用 early stopping 是最常见调参策略
• 并行与分布式：nthread 控制本地线程数；通过 tree_method=hist 或 gpu_hist 可大幅提速

XGBoost 在结构化数据任务中几乎无处不在。

• 金融风控：信用评分、反欺诈检测、贷款违约预测，因其可输出特征重要性，满足监管可解释要求
• 广告推荐：CTR（点击率）预估的粗排和精排阶段，阿里、美团等互联网公司大规模使用
• 生物医学：基因组关联分析（GWAS）、药物响应预测、患者分层
• 竞赛刷榜：Kaggle 结构化数据赛道几乎每届冠军方案都包含 XGBoost 或其变种
• 时序预测：结合时间窗口特征工程，用于销量预测、设备故障预警等工业场景

XGBoost 常与 LightGBM、CatBoost 及随机森林混淆，核心差异如下。

• vs. 随机森林：XGBoost 串行 Boosting，偏差更低；随机森林并行 Bagging，训练速度更快、更难过拟合但精度通常略低
• vs. LightGBM：LightGBM 采用叶（leaf-wise）生长策略和直方图算法，在大数据集上训练速度通常快 10 倍以上；XGBoost 默认层（level-wise）生长，更稳健但内存占用较高
• vs. CatBoost：CatBoost 专为类别特征设计，内置有序编码（Ordered Target Encoding），XGBoost 需手动处理类别特征
• vs. 标准 GBDT：XGBoost 在 GBDT 基础上增加正则化、二阶梯度和系统工程优化，是 GBDT 的增强版而非独立算法

XGBoost 并非所有场景的最优选择，使用时需注意以下几点。

• 内存占用大：精确贪心分裂需要将全量数据加载到内存，超大数据集（亿级样本）需切换至 tree_method=hist 或使用 LightGBM
• 非结构化数据不适用：对图像、音频、长文本等非结构化数据，深度学习远优于 XGBoost
• 超参数多，调参耗时：涉及十余个关键超参数，随机搜索或贝叶斯优化往往耗时数小时
• 误区：特征重要性等同因果：XGBoost 的 feature importance 反映的是相关性与分裂频率，不代表因果关系，不可直接用于政策决策
• 串行瓶颈：树的迭代必须串行，虽然单棵树内部可并行，但整体轮次无法分布式加速

XGBoost 是梯度提升方法数十年演进的集大成者。

• 2001 年：Friedman 提出梯度提升机（GBM/GBDT），奠定理论基础
• 2014 年：陈天奇在华盛顿大学作为 DMLC 项目开始开发 XGBoost，最初版本用于内部研究
• 2015 年：XGBoost 因在 Higgs 机器学习挑战赛（希格斯玻色子识别）中被冠军方案采用而声名大噪
• 2016 年：论文 「XGBoost: A Scalable Tree Boosting System」发表于 KDD 2016，正式奠定学术地位
• 2017 年：LightGBM（微软）和 CatBoost（Yandex）相继发布，在速度和类别特征处理上形成竞争
• 2019 年：XGBoost 1.0 发布，引入 GPU 加速（gpu_hist）和 Dask 分布式支持
• 2022 年后：XGBoost 持续更新，支持 CUDA 多 GPU 并行，在 AutoML 框架（如 AutoGluon、H2O）中作为核心基础模型被广泛集成