第31课：客户分群

1. RFM模型

扩展：Tenure(注册时长)、Variety(品类数)、ReturnRate(退货率)

2. 数据预处理

从订单聚合到客户级别→对数变换(消费右偏)→标准化

3. 聚类分析

肘部+轮廓选K(3-8个群最实用)。K-Means(球形)、层次(嵌套)、GMM(概率/软聚类)

4. 分群解读

计算每群各特征均值→与全局对比→画像→营销策略

Python代码实现与验证

完整代码

import numpy as np
import pandas as pd
from sklearn.cluster import KMeans
from sklearn.mixture import GaussianMixture
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import silhouette_score
from sklearn.decomposition import PCA
np.random.seed(42)

n = 500
df = pd.DataFrame({
    'recency': np.random.exponential(30,n),
    'frequency': np.random.poisson(10,n),
    'monetary': np.random.exponential(500,n)+50,
    'tenure': np.random.uniform(1,60,n)
})
df.loc[:100,'recency']=np.random.exponential(5,100)
df.loc[:100,'frequency']=np.random.poisson(30,100)
df.loc[:100,'monetary']=np.random.exponential(2000,100)+500

for c in ['recency','monetary']:
    df[c+'_log'] = np.log1p(df[c])

features = ['recency_log','frequency','monetary_log','tenure']
X = StandardScaler().fit_transform(df[features])

print("=== K-Means分群 ===")
for k in [3,4,5,6]:
    km = KMeans(n_clusters=k,n_init=10,random_state=42)
    labels = km.fit_predict(X)
    print("K={}: Silhouette={:.4f}".format(k, silhouette_score(X,labels)))

km4 = KMeans(n_clusters=4,n_init=10,random_state=42)
df['cluster'] = km4.fit_predict(X)
print("\n=== 分群画像 ===")
profile = df.groupby('cluster')[['recency','frequency','monetary','tenure']].mean()
print(profile.round(2))

print("\n=== GMM软聚类 ===")
gmm = GaussianMixture(n_components=4,random_state=42).fit(X)
proba = gmm.predict_proba(X)
print("前5客户簇概率:")
for i in range(5):
    print("  客户{}: {}".format(i, proba[i].round(3)))

运行结果

深入理解：从项目到产品的关键步骤

ML项目成功的关键因素

项目时间分配建议

从竞赛到生产的差距

ML系统技术债

D. Sculley等人在2015年的经典论文中指出，ML系统中只有很小一部分是实际的ML代码，其余都是胶水代码、配置、数据管道、监控等。隐藏的技术债包括：

• 数据依赖：输入特征的数据源变更
• 配置债务：超参数、特征选择等配置散落各处
• 实验债务：大量实验代码未被清理
• 应对变化：世界在变，模型需要更新

项目复盘与进阶路线

5个项目的核心收获

从竞赛到生产的差距

继续学习路线

• 深度学习：神经网络→CNN(图像)→RNN/Transformer(NLP)→大模型微调
• 强化学习：Q-Learning→Policy Gradient→PPO
• MLOps：MLflow→Docker→K8s→监控→持续训练
• 领域深耕：NLP/CV/推荐/时序/图学习

推荐学习资源

补充：关键概念与面试要点

核心直觉

• 正则化 = 给模型加"约束"，防止过度拟合噪声
• 交叉验证 = "用数据的不同部分反复检验模型"
• 特征选择 = "选择携带最多目标信息的特征"
• 集成学习 = "三个臭皮匠顶个诸葛亮"
• 降维 = "抓住主要矛盾"

常见面试问题

1. L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
2. 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
3. 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
4. K-Means为什么收敛到局部最优？（目标函数非凸）
5. PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

• 正则化 = 给模型加"约束"，防止过度拟合噪声
• 交叉验证 = "用数据的不同部分反复检验模型"
• 特征选择 = "选择携带最多目标信息的特征"
• 集成学习 = "三个臭皮匠顶个诸葛亮"
• 降维 = "抓住主要矛盾"

常见面试问题

1. L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
2. 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
3. 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
4. K-Means为什么收敛到局部最优？（目标函数非凸）
5. PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

• 正则化 = 给模型加"约束"，防止过度拟合噪声
• 交叉验证 = "用数据的不同部分反复检验模型"
• 特征选择 = "选择携带最多目标信息的特征"
• 集成学习 = "三个臭皮匠顶个诸葛亮"
• 降维 = "抓住主要矛盾"

常见面试问题

1. L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
2. 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
3. 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
4. K-Means为什么收敛到局部最优？（目标函数非凸）
5. PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

• 正则化 = 给模型加"约束"，防止过度拟合噪声
• 交叉验证 = "用数据的不同部分反复检验模型"
• 特征选择 = "选择携带最多目标信息的特征"
• 集成学习 = "三个臭皮匠顶个诸葛亮"
• 降维 = "抓住主要矛盾"

常见面试问题

1. L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
2. 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
3. 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
4. K-Means为什么收敛到局部最优？（目标函数非凸）
5. PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

• 正则化 = 给模型加"约束"，防止过度拟合噪声
• 交叉验证 = "用数据的不同部分反复检验模型"
• 特征选择 = "选择携带最多目标信息的特征"
• 集成学习 = "三个臭皮匠顶个诸葛亮"
• 降维 = "抓住主要矛盾"

常见面试问题

1. L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
2. 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
3. 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
4. K-Means为什么收敛到局部最优？（目标函数非凸）
5. PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

• 正则化 = 给模型加"约束"，防止过度拟合噪声
• 交叉验证 = "用数据的不同部分反复检验模型"
• 特征选择 = "选择携带最多目标信息的特征"
• 集成学习 = "三个臭皮匠顶个诸葛亮"
• 降维 = "抓住主要矛盾"

常见面试问题

1. L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
2. 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
3. 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
4. K-Means为什么收敛到局部最优？（目标函数非凸）
5. PCA为什么需要中心化？（否则第一主成分指向均值方向）