第30课：信用卡欺诈检测

1. 项目挑战

欺诈<0.2%，极度不平衡。误报(用户体验)vs漏报(资金损失)。评估：AUC-PR、Recall@Precision。

2. 方法对比

监督(逻辑回归/随机森林+类别权重) vs 重采样(SMOTE/XGBoost) vs 异常检测(IsolationForest/LOF)

观察: 监督方法远优于无监督（有标签时务必用监督方法）。

3. 特征工程

时间特征(小时/频率)、金额特征(Z-Score/比值)、行为特征(地点变化/试交易)

4. 实时检测

交易→特征计算→模型推理→风险评分→决策。延迟<100ms。反馈循环→在线学习。

Python代码实现与验证

完整代码

import numpy as np
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier, IsolationForest
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline
from sklearn.metrics import roc_auc_score, average_precision_score, precision_recall_curve
from imblearn.over_sampling import SMOTE
from imblearn.pipeline import Pipeline as ImbPipe
np.random.seed(42)

X,y = make_classification(n_samples=10000, n_features=20, n_informative=10,
    weights=[0.995,0.005], random_state=42)
print("欺诈率: {:.2%}".format(np.mean(y==1)))

Xtr,Xte,ytr,yte = train_test_split(X,y,test_size=0.2,random_state=42,stratify=y)

print("\n=== 方法对比 ===")
p1 = Pipeline([('s',StandardScaler()),('lr',LogisticRegression(class_weight='balanced',max_iter=200))])
p1.fit(Xtr,ytr); ypr1=p1.predict_proba(Xte)[:,1]
print("LR+balanced: ROC={:.4f} PR={:.4f}".format(roc_auc_score(yte,ypr1),average_precision_score(yte,ypr1)))

p2 = RandomForestClassifier(class_weight='balanced',n_estimators=100,random_state=42,n_jobs=-1)
p2.fit(Xtr,ytr); ypr2=p2.predict_proba(Xte)[:,1]
print("RF+balanced: ROC={:.4f} PR={:.4f}".format(roc_auc_score(yte,ypr2),average_precision_score(yte,ypr2)))

p3 = ImbPipe([('smote',SMOTE(random_state=42)),('s',StandardScaler()),('lr',LogisticRegression(max_iter=200))])
p3.fit(Xtr,ytr); ypr3=p3.predict_proba(Xte)[:,1]
print("SMOTE+LR:   ROC={:.4f} PR={:.4f}".format(roc_auc_score(yte,ypr3),average_precision_score(yte,ypr3)))

iso = IsolationForest(contamination=0.01,random_state=42).fit(Xtr[ytr==0])
ypr_iso = -iso.score_samples(Xte)
print("IsoForest:  ROC={:.4f} PR={:.4f}".format(roc_auc_score(yte,ypr_iso),average_precision_score(yte,ypr_iso)))

prec,rec,thr = precision_recall_curve(yte,ypr2)
f1 = 2*prec*rec/(prec+rec+1e-8)
bi = np.argmax(f1)
print("\n最佳F1阈值: {:.4f} P={:.4f} R={:.4f} F1={:.4f}".format(thr[bi],prec[bi],rec[bi],f1[bi]))

运行结果

深入理解：从项目到产品的关键步骤

ML项目成功的关键因素

项目时间分配建议

从竞赛到生产的差距

ML系统技术债

D. Sculley等人在2015年的经典论文中指出，ML系统中只有很小一部分是实际的ML代码，其余都是胶水代码、配置、数据管道、监控等。隐藏的技术债包括：

• 数据依赖：输入特征的数据源变更
• 配置债务：超参数、特征选择等配置散落各处
• 实验债务：大量实验代码未被清理
• 应对变化：世界在变，模型需要更新

项目复盘与进阶路线

5个项目的核心收获

从竞赛到生产的差距

继续学习路线

• 深度学习：神经网络→CNN(图像)→RNN/Transformer(NLP)→大模型微调
• 强化学习：Q-Learning→Policy Gradient→PPO
• MLOps：MLflow→Docker→K8s→监控→持续训练
• 领域深耕：NLP/CV/推荐/时序/图学习

推荐学习资源

补充：关键概念与面试要点

核心直觉

• 正则化 = 给模型加"约束"，防止过度拟合噪声
• 交叉验证 = "用数据的不同部分反复检验模型"
• 特征选择 = "选择携带最多目标信息的特征"
• 集成学习 = "三个臭皮匠顶个诸葛亮"
• 降维 = "抓住主要矛盾"

常见面试问题

1. L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
2. 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
3. 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
4. K-Means为什么收敛到局部最优？（目标函数非凸）
5. PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

• 正则化 = 给模型加"约束"，防止过度拟合噪声
• 交叉验证 = "用数据的不同部分反复检验模型"
• 特征选择 = "选择携带最多目标信息的特征"
• 集成学习 = "三个臭皮匠顶个诸葛亮"
• 降维 = "抓住主要矛盾"

常见面试问题

1. L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
2. 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
3. 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
4. K-Means为什么收敛到局部最优？（目标函数非凸）
5. PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

• 正则化 = 给模型加"约束"，防止过度拟合噪声
• 交叉验证 = "用数据的不同部分反复检验模型"
• 特征选择 = "选择携带最多目标信息的特征"
• 集成学习 = "三个臭皮匠顶个诸葛亮"
• 降维 = "抓住主要矛盾"

常见面试问题

1. L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
2. 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
3. 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
4. K-Means为什么收敛到局部最优？（目标函数非凸）
5. PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

• 正则化 = 给模型加"约束"，防止过度拟合噪声
• 交叉验证 = "用数据的不同部分反复检验模型"
• 特征选择 = "选择携带最多目标信息的特征"
• 集成学习 = "三个臭皮匠顶个诸葛亮"
• 降维 = "抓住主要矛盾"

常见面试问题

1. L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
2. 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
3. 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
4. K-Means为什么收敛到局部最优？（目标函数非凸）
5. PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

• 正则化 = 给模型加"约束"，防止过度拟合噪声
• 交叉验证 = "用数据的不同部分反复检验模型"
• 特征选择 = "选择携带最多目标信息的特征"
• 集成学习 = "三个臭皮匠顶个诸葛亮"
• 降维 = "抓住主要矛盾"

常见面试问题

1. L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
2. 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
3. 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
4. K-Means为什么收敛到局部最优？（目标函数非凸）
5. PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

• 正则化 = 给模型加"约束"，防止过度拟合噪声
• 交叉验证 = "用数据的不同部分反复检验模型"
• 特征选择 = "选择携带最多目标信息的特征"
• 集成学习 = "三个臭皮匠顶个诸葛亮"
• 降维 = "抓住主要矛盾"

常见面试问题

1. L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
2. 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
3. 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
4. K-Means为什么收敛到局部最优？（目标函数非凸）
5. PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

• 正则化 = 给模型加"约束"，防止过度拟合噪声
• 交叉验证 = "用数据的不同部分反复检验模型"
• 特征选择 = "选择携带最多目标信息的特征"
• 集成学习 = "三个臭皮匠顶个诸葛亮"
• 降维 = "抓住主要矛盾"

常见面试问题

1. L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
2. 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
3. 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
4. K-Means为什么收敛到局部最优？（目标函数非凸）
5. PCA为什么需要中心化？（否则第一主成分指向均值方向）