Decision Tree（决策树）

决策树是一种以树形图表达预测逻辑的监督学习模型，因其规则可直接读取而被称为「白盒模型」。

• 根节点：代表整个训练集，选取信息量最大的特征作为第一个分裂点
• 内部节点：每个节点对应一个特征的判断条件（如 年龄 ≤ 30）
• 叶节点：终止节点，输出类别标签（分类）或均值（回归）
• 无需特征归一化，天然支持类别型特征与缺失值处理
• 可直接生成人类可读的规则列表，常用于金融风控与医疗辅助决策

决策树通过递归地选择最优分裂特征与阈值来构建树结构。

• 分裂准则：CART 用基尼系数（Gini Impurity），ID3 用信息增益，C4.5 用增益率
• 递归分裂：每次将当前节点的样本按最优条件一分为二（CART）或多叉（ID3/C4.5）
• 停止条件：节点样本纯度达标、样本数低于阈值、或达到最大深度
• 预测阶段：新样本从根节点沿条件逐层向下，到达叶节点后输出该叶的统计结果
• 分裂过程的时间复杂度约为 O(n · d · log n)，n 为样本数，d 为特征数

决策树家族经过数十年演化，形成多个主流实现。

• ID3（1986）：Quinlan 提出，仅支持类别特征，使用信息增益，易偏向多值特征
• C4.5（1993）：ID3 改进版，支持连续特征与缺失值，采用增益率纠正偏差
• CART（1984）：Breiman 等提出，统一分类与回归，生成二叉树，支持剪枝；scikit-learn 默认实现
• CHAID：基于卡方检验的多叉树，常用于市场研究
• Oblivious Tree（均衡决策树）：所有节点同层使用相同分裂，是 CatBoost 的基础

决策树在结构化数据场景中应用极为广泛。

• 金融风控：信用评分、欺诈检测，规则易于向监管机构解释
• 医疗诊断：辅助临床决策，树形规则符合医生思维习惯
• 客户细分：市场营销中的用户分群与流失预测
• 工业质检：传感器数据异常分类，可转化为硬件规则部署
• 特征重要性分析：利用分裂贡献度对特征进行排序，辅助后续模型选择

决策树与其他常见模型的核心差异值得明确区分。

• vs 逻辑回归：逻辑回归学习线性决策边界，决策树学习轴对齐的阶梯状边界，非线性能力更强但易过拟合
• vs 随机森林：随机森林是多棵决策树的 Bagging 集成，方差更低、泛化更强，但可解释性下降
• vs 梯度提升树（GBDT/XGBoost）：采用 Boosting 串行集成，预测精度通常优于单棵树，同样牺牲可解释性
• vs 规则列表：决策树天然可转化为 if-else 规则，但规则列表允许更灵活的非树形结构
• vs 神经网络：决策树无需梯度下降，训练快、可解释，但在图像/文本等非结构化数据上能力有限

决策树存在若干需要特别关注的局限性。

• 高方差 ：对训练数据微小变动敏感，不同子集可能产生结构差异很大的树
  - 过拟合： 不加限制时树会记住噪声，需通过最大深度、最小叶节点样本数 或后剪枝（CCP） 控制
  -轴对齐偏差 ：分裂只能平行于坐标轴，斜线边界需要大量分裂节点才能近似
  - 类别不平衡： 不平衡数据集下倾向于多数类，需配合类权重或重采样
  -常见误区：认为树越深越好——实际上深树往往泛化差；认为决策树不需要数据预处理——类别特征的编码方式仍影响分裂效果

决策树经历了从单一算法到集成生态的完整演化路径。

• 1960s：Hunt 等人在心理学实验中提出递归概念分裂的原型方法
• 1984：Breiman、Friedman、Olshen、Stone 出版 CART 专著，奠定分类与回归树的理论基础
• 1986：Quinlan 发表 ID3，引入信息增益选择分裂特征
• 1993：Quinlan 发表 C4.5，支持连续特征与增益率，成为此后十年最广泛引用的 ML 算法之一
• 2001：Breiman 提出随机森林，以 Bagging + 特征随机化大幅提升树的集成性能
• 2016：XGBoost 在竞赛社区爆发，GBDT 家族成为结构化数据的标准基线
• 2020s：TabNet、NODE 等神经网络试图在表格数据上挑战树模型，但 GBDT 仍保持主导地位