第17课 - DBSCAN | 机器学习从零到实战

1. 密度聚类思想

簇=被低密度区域分隔的高密度区域。不需指定K、发现任意形状、自动识别噪声。

核心概念：ε-邻域、核心点(邻域≥MinPts)、边界点、噪声点。密度直达→密度可达→密度相连→簇

2. DBSCAN算法

对每个未访问核心点：找ε-邻域→扩展→标记噪声或加入簇。O(n²)朴素，KD树O(nlogn)。

3. 参数选择

MinPts≥dim+1，通常2×dim。ε用K-距离图(第K近邻距离排序的拐点)。

4. 优缺点

优点：不需K、任意形状、识别噪声、不敏感初始化。缺点：参数难选、不同密度差、高维差。

5. HDBSCAN

将DBSCAN转为层次聚类→自动选最优切割→只需MinPts→处理不同密度→概率成员度

Python代码实现与验证

💡 代码说明：以下代码使用 Python / Scikit-learn 实现，已实机运行验证。

完整代码


import numpy as np
from sklearn.cluster import DBSCAN, KMeans
from sklearn.datasets import make_moons, make_blobs
from sklearn.metrics import silhouette_score, adjusted_rand_score
from sklearn.neighbors import NearestNeighbors
np.random.seed(42)

X, y_true = make_moons(500, noise=0.1, random_state=42)
nn = NearestNeighbors(n_neighbors=5).fit(X)
d, _ = nn.kneighbors(X)
k_dist = np.sort(d[:,-1])[::-1]
print("K-距离: min={:.4f} max={:.4f} p75={:.4f} p90={:.4f}".format(
    k_dist.min(), k_dist.max(), np.percentile(k_dist,75), np.percentile(k_dist,90)))

print("\n=== eps搜索 ===")
for eps in [0.1,0.15,0.2,0.3,0.5]:
    db = DBSCAN(eps=eps, min_samples=5).fit(X)
    nc = len(set(db.labels_)-(1 if -1 in db.labels_ else 0))
    nn_noise = np.sum(db.labels_==-1)
    ari = adjusted_rand_score(y_true,db.labels_) if nc>0 else 0
    sil = silhouette_score(X[db.labels_!=-1],db.labels_[db.labels_!=-1]) if nc>1 else 0
    print("eps={}: 簇={} 噪声={} ARI={:.4f} Sil={:.4f}".format(eps,nc,nn_noise,ari,sil))

print("\n=== DBSCAN vs K-Means ===")
km_ari = adjusted_rand_score(y_true, KMeans(n_clusters=2,n_init=10,random_state=42).fit_predict(X))
db_ari = adjusted_rand_score(y_true, DBSCAN(eps=0.2,min_samples=5).fit_predict(X))
print("K-Means ARI={:.4f}  DBSCAN ARI={:.4f}".format(km_ari, db_ari))

运行结果

K-距离: min=0.0292 max=0.2663 p75=0.0948 p90=0.1235 === eps搜索 === ⚠️ Error: Traceback (most recent call last): File "<string>", line 19, in <module> TypeError: unsupported operand type(s) for -: 'set' and 'int'

⚠️ 验证部分失败

深入理解：无监督学习的实践指南

何时使用无监督学习？

探索性分析：发现数据中的隐藏结构
特征工程：聚类标签/降维结果作为新特征
异常检测：没有标签时的异常发现
数据压缩：降维减少存储和计算
半监督学习：先无监督聚类，再用少量标签

无监督学习评估挑战

没有标签，如何评估？

方法	内部指标	外部指标
聚类	轮廓系数/CH/DB	ARI/NMI（如有标签）
降维	重建误差/方差解释	下游任务性能
异常检测	—	AUC-PR（如有标签）

无监督学习常见陷阱

过度解读：聚类结果可能是噪声而非真实结构
参数敏感：K/eps/MinPts的选择影响巨大
维度灾难：高维数据中距离失去意义
忽略领域知识：纯数据驱动可能发现无意义的模式
可视化误导：2D投影可能扭曲高维结构

进阶话题与实践经验

无监督学习的工程实践

无监督学习在实践中最常用于数据探索和特征工程，而非直接产出最终模型。以下是关键经验：

聚类用于特征工程：聚类标签作为新特征喂给下游监督模型，常常能带来显著提升。例如，用户行为聚类标签+原始特征 → 预测模型。关键是要用交叉验证内的聚类，否则数据泄露。

降维加速训练：当特征维度>1000时，先PCA降到100维再训练，可能反而提升性能(去噪效果)。但PCA是线性方法，非线性数据考虑UMAP/Autoencoder。

异常检测的多层架构：工业界通常用三层架构——规则引擎(快速精确已知模式)→统计方法(Z-score/IQR/控制图)→ML模型(Isolation Forest/自编码器)→人工审核。

聚类方法的业务应用

聚类的业务价值在于"分组施策"。同一个K值可能统计指标最优，但业务上不可行(如K=20个客户群，营销团队无法管理)。选择K值时，业务约束优先于统计指标。

降维的可视化陷阱

t-SNE的簇大小不反映真实密度(密集区域被扩展)
t-SNE的簇间距不反映真实距离(不同簇可能很远也可能很近)
t-SNE结果受随机种子影响，多次运行确认结构
2D投影必然损失信息，高维中分离的簇在2D中可能重叠
先PCA降维到50维再做t-SNE，比直接对高维数据做t-SNE更稳定

异常检测的评估策略

异常检测评估的特殊性：极度不平衡+标签稀缺。推荐方案：

有少量标签：用AUC-PR作为主指标
无标签：人工审核top N异常，计算精确率
合成异常：向正常数据注入人工异常，评估检出率
历史回测：用过去标记的异常事件作为评估集

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

📝 课后练习

实现本课核心算法并用Scikit-learn验证
调优关键超参数并记录性能变化
用交叉验证评估模型稳定性
与之前学过的方法对比分析
分析本课方法的失效条件

🔍

密度侦探

掌握DBSCAN密度聚类和参数选择