第10课 - 决策树 | 机器学习从零到实战

1. 决策树基本概念

递归分裂形成树状结构：根节点→特征测试→叶节点(类别/均值)

2. 分裂准则

信息增益(ID3): Gain(D,a) = H(D) - Σ(|Dᵛ|/|D|)H(Dᵛ)。偏向多值特征。

增益率(C4.5): Gain_ratio = Gain/IV(a)。修正多值偏好。

基尼指数(CART): Gini(D) = 1-Σpₖ²。Scikit-learn默认。计算更快。

3. 剪枝

预剪枝: max_depth/min_samples_split/min_samples_leaf

后剪枝: 代价复杂度剪枝 ccp_alpha。Scikit-learn: ccp_alpha参数。

预剪枝快但可能欠拟合；后剪枝更灵活但计算量更大。

4. 优缺点

优点: 直观可解释、无需缩放、处理混合类型、对异常值稳健

缺点: 容易过拟合(高方差)、不稳定(数据微变→树大变)、贪心算法(局部最优)

Python代码实现与验证

💡 代码说明：以下代码使用 Python / Scikit-learn 实现，已实机运行验证。

完整代码


import numpy as np
from sklearn.tree import DecisionTreeClassifier, DecisionTreeRegressor
from sklearn.datasets import make_moons
from sklearn.model_selection import cross_val_score
np.random.seed(42)

X, y = make_moons(500, noise=0.3, random_state=42)
print("=== 不同max_depth ===")
for d in [1,2,3,5,10,None]:
    dt = DecisionTreeClassifier(max_depth=d, random_state=42)
    s = cross_val_score(dt, X, y, cv=5)
    print("max_depth={}: 准确率={:.4f}".format(str(d), s.mean()))

print("\n=== 剪枝 ===")
path = DecisionTreeClassifier(random_state=42).cost_complexity_pruning_path(X,y)
for a in path.ccp_alphas[::max(1,len(path.ccp_alphas)//5)][:-1]:
    dt = DecisionTreeClassifier(ccp_alpha=a, random_state=42)
    dt.fit(X,y)
    cv = cross_val_score(dt,X,y,cv=5).mean()
    print("ccp_alpha={:.4f}: train={:.4f} cv={:.4f}".format(a, dt.score(X,y), cv))

Xr = np.random.uniform(-3,3,200).reshape(-1,1)
yr = np.sin(Xr.ravel()) + np.random.normal(0,0.2,200)
dtr = DecisionTreeRegressor(max_depth=5, random_state=42)
s = cross_val_score(dtr, Xr, yr, cv=5, scoring='r2')
print("\n回归树 R2={:.4f}".format(s.mean()))

运行结果

=== 不同max_depth === max_depth=1: 准确率=0.7880 max_depth=2: 准确率=0.8720 max_depth=3: 准确率=0.8720 max_depth=5: 准确率=0.9020 max_depth=10: 准确率=0.8740 max_depth=None: 准确率=0.8660 === 剪枝 === ccp_alpha=0.0000: train=1.0000 cv=0.8660 ccp_alpha=0.0017: train=0.9860 cv=0.8720 ccp_alpha=0.0019: train=0.9760 cv=0.8720 ccp_alpha=0.0021: train=0.9580 cv=0.8680 ccp_alpha=0.0038: train=0.9360 cv=0.8940 回归树 R2=0.9060

✅ 验证通过

深入理解：算法选择的实践智慧

没有免费午餐定理

Wolpert和Macready在1997年证明：在所有可能的问题上，没有任何算法的平均表现优于其他算法。这意味着算法选择必须基于问题特性。

算法选择流程

基线模型：先用逻辑回归/线性回归建立基线
数据特性分析：样本量、特征数、线性/非线性、噪声水平
尝试强模型：随机森林/GBDT/XGBoost
特征工程：比模型选择更重要
模型融合：多模型投票/堆叠通常优于单模型

模型复杂度 vs 数据量

数据量	推荐模型	原因
<1000	逻辑回归/朴素贝叶斯	简单模型避免过拟合
1K-10K	SVM/随机森林	平衡复杂度与数据量
10K-100K	GBDT/XGBoost	足够数据支撑复杂模型
>100K	深度学习/大规模集成	大数据释放模型潜力

偏差-方差权衡

模型误差 = 偏差² + 方差 + 不可约误差

高偏差（欠拟合）：模型太简单，训练误差和测试误差都高 → 增加模型复杂度
高方差（过拟合）：模型太复杂，训练误差低但测试误差高 → 正则化/增加数据/简化模型
Bias-Variance Tradeoff：最优点在两者之间，交叉验证帮助我们找到这个点

实践指南与进阶话题

监督学习的工程实践

在实际项目中，算法选择只是工作的一小部分。更关键的是数据管道、特征工程和模型监控。以下是工程实践中的关键决策点：

数据划分策略：时间序列数据必须按时间划分，不能用随机划分。有用户维度的数据必须按用户划分(GroupKFold)。类别不平衡数据必须用StratifiedKFold。划分策略选错，所有结论都是不可靠的。

特征工程优先级：在实际项目中，80%的模型性能提升来自特征工程，而非模型调优。好的特征能让简单模型表现优异；差的特征让最复杂的模型也无力回天。优先做特征工程，再考虑模型选择。

模型可解释性：在金融、医疗等领域，可解释性是法律要求。SHAP值是目前最流行的局部解释方法，它可以告诉你每个特征对单个预测的贡献。部分依赖图(PDP)提供全局解释，展示特征值与预测值的关系。

模型选择的实用策略

没有"最好的模型"，只有"最适合当前数据和约束的模型"。决策框架：

数据量小(<1000)：逻辑回归、朴素贝叶斯、SVM
数据量中(1K-100K)：随机森林、GBDT、XGBoost
数据量大(>100K)：LightGBM、神经网络
需要可解释性：逻辑回归、决策树、规则列表
需要概率输出：逻辑回归、朴素贝叶斯(天然概率)
特征维度极高：线性模型+SVM、随机森林

集成学习的艺术

在Kaggle竞赛中，几乎所有冠军方案都使用集成学习。但集成不是简单堆叠模型：

多样性是关键：不同类型的模型(树+线性+距离)比同类型多模型更有效
Stacking：用第一层模型的预测作为第二层的特征。5折CV内的Stacking避免数据泄露
权重优化：用验证集上的scipy.optimize确定最优权重，而非等权平均
简单优先：2-3个强模型的加权平均通常比10个模型的复杂堆叠更稳健

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

📝 课后练习

实现本课核心算法并用Scikit-learn验证
调优关键超参数并记录性能变化
用交叉验证评估模型稳定性
与之前学过的方法对比分析
分析本课方法的失效条件

🌳

决策之树

理解决策树分裂准则和剪枝策略