第34课：A/B测试

1. A/B测试流程

定义假设→确定指标→计算样本量→随机分组→运行→统计检验→决策

2. 实验设计

H₀: μ_B=μ_A, H₁: μ_B≠μ_A

指标选择：OEC(核心业务指标)、数据指标(直接受影响)、护栏指标(不能恶化)

随机化：用户级/会话级/分层随机化

陷阱：Simpson悖论、溢出效应、新手效应

3. 样本量

n = (Z_α/2+Z_β)²σ²/(μ_A-μ_B)²

4. 统计检验

比例→Z检验/卡方检验。连续→t检验/Welch's t。非参数→Mann-Whitney U

报告置信区间比p值更有用。

5. 多重比较

Bonferroni(保守FWER) vs BH(FDR更不保守)

序贯分析：预定义检查点+α消耗函数

Python代码实现与验证

完整代码

import numpy as np
from scipy import stats
from statsmodels.stats.power import TTestIndPower
from statsmodels.stats.proportion import proportions_ztest
from statsmodels.stats.multitest import multipletests
np.random.seed(42)

print("=== 样本量计算 ===")
pa = TTestIndPower()
baseline = 0.10; mde = 0.005
es = mde/np.sqrt(baseline*(1-baseline)*2)
n = pa.solve_power(effect_size=es, power=0.8, alpha=0.05)
print("基线{:.0%} MDE{:.1%} 每组需{}样本".format(baseline,mde,int(n)+1))

print("\n=== 模拟A/B测试 ===")
N = 10000
ca = np.random.binomial(1, 0.10, N)
cb = np.random.binomial(1, 0.105, N)
z,p = proportions_ztest([cb.sum(),ca.sum()], [N,N], alternative='larger')
diff = cb.mean()-ca.mean()
se = np.sqrt(cb.var()/N+ca.var()/N)
print("A={:.4f} B={:.4f} diff={:.4f} z={:.4f} p={:.4f}".format(ca.mean(),cb.mean(),diff,z,p))
print("95%CI: [{:.4f},{:.4f}]".format(diff-1.96*se, diff+1.96*se))

print("\n=== 多重比较 ===")
pvals = [0.02,0.03,0.15,0.008,0.04]
r1,_,_,_ = multipletests(pvals,method='bonferroni')
r2,_,_,_ = multipletests(pvals,method='fdr_bh')
print("原始p: {} Bonferroni拒绝: {} BH拒绝: {}".format(pvals, list(r1), list(r2)))

print("\n=== 连续指标 ===")
ra = np.random.exponential(50,N)+10
rb = np.random.exponential(55,N)+10
t,p = stats.ttest_ind(ra,rb)
tw,pw = stats.ttest_ind(ra,rb,equal_var=False)
print("A={:.2f} B={:.2f} t={:.4f} p={:.4f} Welch p={:.4f}".format(ra.mean(),rb.mean(),t,p,pw))

运行结果

深入理解：从项目到产品的关键步骤

ML项目成功的关键因素

项目时间分配建议

从竞赛到生产的差距

ML系统技术债

D. Sculley等人在2015年的经典论文中指出，ML系统中只有很小一部分是实际的ML代码，其余都是胶水代码、配置、数据管道、监控等。隐藏的技术债包括：

• 数据依赖：输入特征的数据源变更
• 配置债务：超参数、特征选择等配置散落各处
• 实验债务：大量实验代码未被清理
• 应对变化：世界在变，模型需要更新

项目复盘与进阶路线

5个项目的核心收获

从竞赛到生产的差距

继续学习路线

• 深度学习：神经网络→CNN(图像)→RNN/Transformer(NLP)→大模型微调
• 强化学习：Q-Learning→Policy Gradient→PPO
• MLOps：MLflow→Docker→K8s→监控→持续训练
• 领域深耕：NLP/CV/推荐/时序/图学习

推荐学习资源

补充：关键概念与面试要点

核心直觉

• 正则化 = 给模型加"约束"，防止过度拟合噪声
• 交叉验证 = "用数据的不同部分反复检验模型"
• 特征选择 = "选择携带最多目标信息的特征"
• 集成学习 = "三个臭皮匠顶个诸葛亮"
• 降维 = "抓住主要矛盾"

常见面试问题

1. L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
2. 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
3. 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
4. K-Means为什么收敛到局部最优？（目标函数非凸）
5. PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

• 正则化 = 给模型加"约束"，防止过度拟合噪声
• 交叉验证 = "用数据的不同部分反复检验模型"
• 特征选择 = "选择携带最多目标信息的特征"
• 集成学习 = "三个臭皮匠顶个诸葛亮"
• 降维 = "抓住主要矛盾"

常见面试问题

1. L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
2. 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
3. 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
4. K-Means为什么收敛到局部最优？（目标函数非凸）
5. PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

• 正则化 = 给模型加"约束"，防止过度拟合噪声
• 交叉验证 = "用数据的不同部分反复检验模型"
• 特征选择 = "选择携带最多目标信息的特征"
• 集成学习 = "三个臭皮匠顶个诸葛亮"
• 降维 = "抓住主要矛盾"

常见面试问题

1. L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
2. 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
3. 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
4. K-Means为什么收敛到局部最优？（目标函数非凸）
5. PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

• 正则化 = 给模型加"约束"，防止过度拟合噪声
• 交叉验证 = "用数据的不同部分反复检验模型"
• 特征选择 = "选择携带最多目标信息的特征"
• 集成学习 = "三个臭皮匠顶个诸葛亮"
• 降维 = "抓住主要矛盾"

常见面试问题

1. L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
2. 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
3. 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
4. K-Means为什么收敛到局部最优？（目标函数非凸）
5. PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

• 正则化 = 给模型加"约束"，防止过度拟合噪声
• 交叉验证 = "用数据的不同部分反复检验模型"
• 特征选择 = "选择携带最多目标信息的特征"
• 集成学习 = "三个臭皮匠顶个诸葛亮"
• 降维 = "抓住主要矛盾"

常见面试问题

1. L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
2. 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
3. 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
4. K-Means为什么收敛到局部最优？（目标函数非凸）
5. PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

• 正则化 = 给模型加"约束"，防止过度拟合噪声
• 交叉验证 = "用数据的不同部分反复检验模型"
• 特征选择 = "选择携带最多目标信息的特征"
• 集成学习 = "三个臭皮匠顶个诸葛亮"
• 降维 = "抓住主要矛盾"

常见面试问题

1. L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
2. 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
3. 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
4. K-Means为什么收敛到局部最优？（目标函数非凸）
5. PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

• 正则化 = 给模型加"约束"，防止过度拟合噪声
• 交叉验证 = "用数据的不同部分反复检验模型"
• 特征选择 = "选择携带最多目标信息的特征"
• 集成学习 = "三个臭皮匠顶个诸葛亮"
• 降维 = "抓住主要矛盾"

常见面试问题

1. L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
2. 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
3. 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
4. K-Means为什么收敛到局部最优？（目标函数非凸）
5. PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

• 正则化 = 给模型加"约束"，防止过度拟合噪声
• 交叉验证 = "用数据的不同部分反复检验模型"
• 特征选择 = "选择携带最多目标信息的特征"
• 集成学习 = "三个臭皮匠顶个诸葛亮"
• 降维 = "抓住主要矛盾"

常见面试问题

1. L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
2. 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
3. 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
4. K-Means为什么收敛到局部最优？（目标函数非凸）
5. PCA为什么需要中心化？（否则第一主成分指向均值方向）