第16课 - 层次聚类 | 机器学习从零到实战

1. 层次聚类原理

凝聚(自底向上): 每个样本初始一簇→逐步合并。分裂(自顶向下): 全部一簇→逐步分裂。

2. 链接准则

准则	定义	簇形状	链式效应
单链接	min距离	任意	严重
全链接	max距离	球形	无
平均链接	平均距离	中等	无
Ward	WCSS增量	球形	无

Ward链接效果接近K-Means，倾向大小相似的簇。

3. 树状图

横轴=样本，纵轴=合并距离。在最长垂直线处水平切割→得到K个簇。

4. 与K-Means对比

K-Means: 需指定K、球形簇、可扩展。层次聚类: 不需K、层次结构、n>10000计算成本高。

Python代码实现与验证

💡 代码说明：以下代码使用 Python / Scikit-learn 实现，已实机运行验证。

完整代码


import numpy as np
from sklearn.cluster import AgglomerativeClustering
from sklearn.datasets import make_moons, make_blobs
from sklearn.metrics import silhouette_score, adjusted_rand_score
from scipy.cluster.hierarchy import linkage
np.random.seed(42)

X, y_true = make_blobs(n_samples=200, centers=3, random_state=42)
print("=== 链接准则对比 ===")
for lk in ['ward','complete','average','single']:
    ac = AgglomerativeClustering(n_clusters=3, linkage=lk)
    labels = ac.fit_predict(X)
    print("{}: Silhouette={:.4f} ARI={:.4f}".format(lk, silhouette_score(X,labels), adjusted_rand_score(y_true,labels)))

Z = linkage(X, method='ward')
print("\n最后5次合并距离: {}".format(Z[-5:,2].round(2)))

Xm, ym = make_moons(300, noise=0.05, random_state=42)
print("\n=== 月牙形数据 ===")
for lk in ['ward','complete','average','single']:
    ac = AgglomerativeClustering(n_clusters=2, linkage=lk)
    labels = ac.fit_predict(Xm)
    print("{}: ARI={:.4f}".format(lk, adjusted_rand_score(ym,labels)))

运行结果

=== 链接准则对比 === ward: Silhouette=0.8467 ARI=1.0000 complete: Silhouette=0.8467 ARI=1.0000 average: Silhouette=0.8467 ARI=1.0000 single: Silhouette=0.8467 ARI=1.0000 最后5次合并距离: [ 8.43 8.86 9.43 81.92 137.27] === 月牙形数据 === ward: ARI=0.5169 complete: ARI=0.3994 average: ARI=0.3117 single: ARI=1.0000

✅ 验证通过

深入理解：无监督学习的实践指南

何时使用无监督学习？

探索性分析：发现数据中的隐藏结构
特征工程：聚类标签/降维结果作为新特征
异常检测：没有标签时的异常发现
数据压缩：降维减少存储和计算
半监督学习：先无监督聚类，再用少量标签

无监督学习评估挑战

没有标签，如何评估？

方法	内部指标	外部指标
聚类	轮廓系数/CH/DB	ARI/NMI（如有标签）
降维	重建误差/方差解释	下游任务性能
异常检测	—	AUC-PR（如有标签）

无监督学习常见陷阱

过度解读：聚类结果可能是噪声而非真实结构
参数敏感：K/eps/MinPts的选择影响巨大
维度灾难：高维数据中距离失去意义
忽略领域知识：纯数据驱动可能发现无意义的模式
可视化误导：2D投影可能扭曲高维结构

进阶话题与实践经验

无监督学习的工程实践

无监督学习在实践中最常用于数据探索和特征工程，而非直接产出最终模型。以下是关键经验：

聚类用于特征工程：聚类标签作为新特征喂给下游监督模型，常常能带来显著提升。例如，用户行为聚类标签+原始特征 → 预测模型。关键是要用交叉验证内的聚类，否则数据泄露。

降维加速训练：当特征维度>1000时，先PCA降到100维再训练，可能反而提升性能(去噪效果)。但PCA是线性方法，非线性数据考虑UMAP/Autoencoder。

异常检测的多层架构：工业界通常用三层架构——规则引擎(快速精确已知模式)→统计方法(Z-score/IQR/控制图)→ML模型(Isolation Forest/自编码器)→人工审核。

聚类方法的业务应用

聚类的业务价值在于"分组施策"。同一个K值可能统计指标最优，但业务上不可行(如K=20个客户群，营销团队无法管理)。选择K值时，业务约束优先于统计指标。

降维的可视化陷阱

t-SNE的簇大小不反映真实密度(密集区域被扩展)
t-SNE的簇间距不反映真实距离(不同簇可能很远也可能很近)
t-SNE结果受随机种子影响，多次运行确认结构
2D投影必然损失信息，高维中分离的簇在2D中可能重叠
先PCA降维到50维再做t-SNE，比直接对高维数据做t-SNE更稳定

异常检测的评估策略

异常检测评估的特殊性：极度不平衡+标签稀缺。推荐方案：

有少量标签：用AUC-PR作为主指标
无标签：人工审核top N异常，计算精确率
合成异常：向正常数据注入人工异常，评估检出率
历史回测：用过去标记的异常事件作为评估集

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

📝 课后练习

实现本课核心算法并用Scikit-learn验证
调优关键超参数并记录性能变化
用交叉验证评估模型稳定性
与之前学过的方法对比分析
分析本课方法的失效条件

🌲

层次大师

掌握层次聚类和树状图解读