1. 缺失机制
| 类型 | 定义 | 处理 |
|---|
| MCAR | 完全随机 | 删除/简单填充 |
| MAR | 与已观测有关 | 模型填充 |
| MNAR | 与未观测有关 | 领域知识 |
2. 方法
删除法: MCAR+低缺失率可用，MAR/MNAR下有偏差
单值填充: 均值/中位数/众数(低估方差)、常数+缺失指示列
KNN填充: 用K个近邻均值。迭代填充(MICE): 用其他特征训练模型预测缺失值
多重插补: M个完整数据集→分别分析→Rubin合并。M=5-20。
3. 流程
分析缺失机制→>50%缺失考虑删除→MCAR低缺失率→删除→MAR→MICE/KNN→MNAR→指示列+敏感性分析
Python代码实现与验证
💡 代码说明：以下代码使用 Python / Scikit-learn 实现，已实机运行验证。
完整代码
import numpy as np
from sklearn.impute import SimpleImputer, KNNImputer
from sklearn.experimental import enable_iterative_imputer
from sklearn.impute import IterativeImputer
from sklearn.datasets import load_iris
from sklearn.model_selection import cross_val_score
from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline
np.random.seed(42)
iris = load_iris()
X = iris.data.copy()
mask = np.random.random(X.shape) < 0.1
Xm = X.copy(); Xm[mask] = np.nan
print("缺失率: {:.2%}".format(np.mean(mask)))
print("\n=== 填充方法对比 ===")
for name,imp in [('均值',SimpleImputer(strategy='mean')),('中位数',SimpleImputer(strategy='median')),
('KNN',KNNImputer(n_neighbors=5)),('迭代',IterativeImputer(max_iter=10,random_state=42))]:
Xf = imp.fit_transform(Xm)
mse = np.mean((Xf[mask]-X[mask])**2)
print("{}: MSE={:.4f}".format(name, mse))
print("\n=== 填充后模型性能 ===")
for name,imp in [('均值',SimpleImputer(strategy='mean')),('KNN',KNNImputer(n_neighbors=5)),
('迭代',IterativeImputer(max_iter=10,random_state=42))]:
pipe = Pipeline([('imp',imp),('s',StandardScaler()),('lr',LogisticRegression(max_iter=200))])
s = cross_val_score(pipe, Xm, iris.target, cv=5)
print("{}: CV准确率={:.4f}".format(name, s.mean()))
运行结果
缺失率: 12.00%
=== 填充方法对比 ===
均值: MSE=1.2993
中位数: MSE=1.3093
KNN: MSE=0.2245
迭代: MSE=0.1393
=== 填充后模型性能 ===
均值: CV准确率=0.9200
KNN: CV准确率=0.9533
迭代: CV准确率=0.9667
✅ 验证通过
深入理解：特征工程的精髓
"特征工程是决定模型上限的关键"
业界共识：好的特征工程比好的模型更重要。一个线性模型配上优秀特征可以超越复杂模型配普通特征。
特征工程流程
- 理解业务：领域知识是最好的特征来源
- EDA发现：从数据中发现模式→构造特征
- 变换：对数/Box-Cox处理偏态，分箱处理非线性
- 编码：类别→数值，选择合适编码方式
- 缩放：数值特征标准化/归一化
- 选择：删除无关/冗余特征
- 验证：交叉验证评估特征贡献
Kaggle竞赛中的特征工程技巧
- 目标编码：高基数类别特征的杀手锏（需防泄露）
- 交叉特征：两个特征的组合可能产生强信号
- 聚合特征：按组统计（均值/标准差/排名）
- 时间特征：周期编码(sin/cos)保持连续性
- 计数特征：出现频率/缺失次数
- 差分特征：当前值与历史均值的偏差
常见特征工程错误
- 数据泄露：在特征构造中使用了未来信息
- 目标泄露：特征中包含了目标变量的信息
- 过拟合特征：在训练集上有效但测试集失效
- 忽略缺失模式：缺失本身可能是有价值的特征
- 不验证：没有用交叉验证确认特征的实际贡献
进阶特征工程技巧
Kaggle竞赛中的特征工程
在Kaggle竞赛中，特征工程是区分Top 1%和Top 10%的关键。以下是从顶级选手那里学到的技巧：
聚合特征：对时序数据，按实体ID聚合历史行为的统计量——均值、标准差、最小最大、趋势斜率、最近N次的均值变化。这些"在用户层面的历史摘要"往往是最强特征。
目标编码：高基数类别特征(如城市名2000+类)的杀手锏。关键：必须在5折CV内计算，使用平滑参数防止小样本类别不稳定。公式：enc = (count*mean + m*global_mean)/(count+m)，m通常取10-100。
比率特征：两个相关特征的比值常常比原始特征更有信息量。贷款金额/年收入、月供/月收入、信用额度使用率等。这些比率捕捉了"相对"而非"绝对"信息。
数据泄露防范完整清单
- 目标泄露：特征包含目标信息——检查每个特征与目标的互信息
- 时间泄露：用了未来数据——特征构造时只用截止时间前的数据
- 组泄露：同组数据分布在训练和测试集——使用GroupKFold
- 预处理泄露：全数据fit scaler——用Pipeline自动处理
- 特征选择泄露：在CV外选特征——特征选择必须在CV内
缺失值处理策略决策树
- 缺失率>50% → 考虑删除特征，但添加缺失指示列
- MCAR(完全随机缺失) → 均值/中位数填充即可
- MAR(与已观测变量相关) → MICE/KNN填充
- MNAR(与缺失值本身相关) → 添加指示列+敏感性分析
- 模型内置 → XGBoost/LightGBM可原生处理缺失值
交叉验证的常见错误
错误的交叉验证比没有交叉验证更危险——它给你虚假的信心。
- 在CV外做特征选择 → 所有折都"看到"了测试数据
- 时间序列数据用K-Fold → 未来数据泄露到训练集
- 同用户数据跨越训练和验证 → 过于乐观的估计
- 超参数调优后"验证" → 测试集已成为验证集
- 不固定随机种子 → 结果不可复现
补充：关键概念与面试要点
核心直觉
- 正则化 = 给模型加"约束"，防止过度拟合噪声
- 交叉验证 = "用数据的不同部分反复检验模型"
- 特征选择 = "选择携带最多目标信息的特征"
- 集成学习 = "三个臭皮匠顶个诸葛亮"
- 降维 = "抓住主要矛盾"
常见面试问题
- L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
- 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
- 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
- K-Means为什么收敛到局部最优？（目标函数非凸）
- PCA为什么需要中心化？（否则第一主成分指向均值方向）
补充：关键概念与面试要点
核心直觉
- 正则化 = 给模型加"约束"，防止过度拟合噪声
- 交叉验证 = "用数据的不同部分反复检验模型"
- 特征选择 = "选择携带最多目标信息的特征"
- 集成学习 = "三个臭皮匠顶个诸葛亮"
- 降维 = "抓住主要矛盾"
常见面试问题
- L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
- 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
- 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
- K-Means为什么收敛到局部最优？（目标函数非凸）
- PCA为什么需要中心化？（否则第一主成分指向均值方向）
补充：关键概念与面试要点
核心直觉
- 正则化 = 给模型加"约束"，防止过度拟合噪声
- 交叉验证 = "用数据的不同部分反复检验模型"
- 特征选择 = "选择携带最多目标信息的特征"
- 集成学习 = "三个臭皮匠顶个诸葛亮"
- 降维 = "抓住主要矛盾"
常见面试问题
- L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
- 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
- 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
- K-Means为什么收敛到局部最优？（目标函数非凸）
- PCA为什么需要中心化？（否则第一主成分指向均值方向）
补充：关键概念与面试要点
核心直觉
- 正则化 = 给模型加"约束"，防止过度拟合噪声
- 交叉验证 = "用数据的不同部分反复检验模型"
- 特征选择 = "选择携带最多目标信息的特征"
- 集成学习 = "三个臭皮匠顶个诸葛亮"
- 降维 = "抓住主要矛盾"
常见面试问题
- L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
- 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
- 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
- K-Means为什么收敛到局部最优？（目标函数非凸）
- PCA为什么需要中心化？（否则第一主成分指向均值方向）
补充：关键概念与面试要点
核心直觉
- 正则化 = 给模型加"约束"，防止过度拟合噪声
- 交叉验证 = "用数据的不同部分反复检验模型"
- 特征选择 = "选择携带最多目标信息的特征"
- 集成学习 = "三个臭皮匠顶个诸葛亮"
- 降维 = "抓住主要矛盾"
常见面试问题
- L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
- 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
- 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
- K-Means为什么收敛到局部最优？（目标函数非凸）
- PCA为什么需要中心化？（否则第一主成分指向均值方向）
补充：关键概念与面试要点
核心直觉
- 正则化 = 给模型加"约束"，防止过度拟合噪声
- 交叉验证 = "用数据的不同部分反复检验模型"
- 特征选择 = "选择携带最多目标信息的特征"
- 集成学习 = "三个臭皮匠顶个诸葛亮"
- 降维 = "抓住主要矛盾"
常见面试问题
- L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
- 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
- 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
- K-Means为什么收敛到局部最优？（目标函数非凸）
- PCA为什么需要中心化？（否则第一主成分指向均值方向）
补充：关键概念与面试要点
核心直觉
- 正则化 = 给模型加"约束"，防止过度拟合噪声
- 交叉验证 = "用数据的不同部分反复检验模型"
- 特征选择 = "选择携带最多目标信息的特征"
- 集成学习 = "三个臭皮匠顶个诸葛亮"
- 降维 = "抓住主要矛盾"
常见面试问题
- L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
- 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
- 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
- K-Means为什么收敛到局部最优？（目标函数非凸）
- PCA为什么需要中心化？（否则第一主成分指向均值方向）
补充：关键概念与面试要点
核心直觉
- 正则化 = 给模型加"约束"，防止过度拟合噪声
- 交叉验证 = "用数据的不同部分反复检验模型"
- 特征选择 = "选择携带最多目标信息的特征"
- 集成学习 = "三个臭皮匠顶个诸葛亮"
- 降维 = "抓住主要矛盾"
常见面试问题
- L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
- 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
- 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
- K-Means为什么收敛到局部最优？（目标函数非凸）
- PCA为什么需要中心化？（否则第一主成分指向均值方向）
补充：关键概念与面试要点
核心直觉
- 正则化 = 给模型加"约束"，防止过度拟合噪声
- 交叉验证 = "用数据的不同部分反复检验模型"
- 特征选择 = "选择携带最多目标信息的特征"
- 集成学习 = "三个臭皮匠顶个诸葛亮"
- 降维 = "抓住主要矛盾"
常见面试问题
- L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
- 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
- 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
- K-Means为什么收敛到局部最优？（目标函数非凸）
- PCA为什么需要中心化？（否则第一主成分指向均值方向）
📝 课后练习
- 实现本课核心算法并用Scikit-learn验证
- 调优关键超参数并记录性能变化
- 用交叉验证评估模型稳定性
- 与之前学过的方法对比分析
- 分析本课方法的失效条件