🔬 第20课：A/B测试

🎯 学习目标

🗂️ 课程定位

📖 核心理论

A/B测试是推荐系统效果验证的金标准。通过随机将用户分为对照组和实验组，对比不同推荐策略的真实效果。A/B测试能捕捉离线评估无法衡量的因素（位置偏差、长期影响等）。

📐 数学公式

💻 代码实现

import numpy as np
from scipy import stats
np.random.seed(42)
print("="*60+"\nA/B测试\n"+"="*60)
# 模拟A/B测试数据
n_users_ab=2000
# 控制组(A): 旧推荐算法
ctr_A=np.random.binomial(1,0.05,n_users_ab)
# 实验组(B): 新推荐算法(提升0.8pp)
ctr_B=np.random.binomial(1,0.058,n_users_ab)
print(f"样本量:每组{n_users_ab}")
print(f"控制组(A)CTR:{ctr_A.mean():.4f}")
print(f"实验组(B)CTR:{ctr_B.mean():.4f}")
# 统计检验
# Z检验(两比例)
p_A=ctr_A.mean();p_B=ctr_B.mean()
p_pool=(ctr_A.sum()+ctr_B.sum())/(2*n_users_ab)
se=np.sqrt(2*p_pool*(1-p_pool)/n_users_ab)
z=(p_B-p_A)/se
p_value=2*(1-stats.norm.cdf(abs(z)))
print(f"\nZ检验:z={z:.4f} p={p_value:.4f}")
print(f"结论:{'显著'if p_value<0.05 else '不显著'}(α=0.05)")
# 置信区间
diff=p_B-p_A
ci_low=diff-1.96*se;ci_high=diff+1.96*se
print(f"差异置信区间:[{ci_low:.4f},{ci_high:.4f}]")
# 样本量计算
def sample_size(p_base,mde,alpha=0.05,beta=0.2):
    z_alpha=stats.norm.ppf(1-alpha/2)
    z_beta=stats.norm.ppf(1-beta)
    p1=p_base;p2=p_base+mde
    p_avg=(p1+p2)/2
    n=(z_alpha*np.sqrt(2*p_avg*(1-p_avg))+z_beta*np.sqrt(p1*(1-p1)+p2*(1-p2)))**2/mde**2
    return int(np.ceil(n))
print(f"\n--- 样本量计算 ---")
for mde in [0.005,0.01,0.02]:
    n=sample_size(0.05,mde)
    print(f"MDE={mde}:需要每组{n}样本")
# 多指标测试
print("\n--- 多指标测试 ---")
metrics={"CTR":(ctr_A,ctr_B),"停留时长":(np.random.exponential(30,n_users_ab),np.random.exponential(32,n_users_ab))}
for name,(a,b) in metrics.items():
    t_stat,p_val=stats.ttest_ind(a,b)
    print(f"  {name}:A均值={np.mean(a):.2f} B均值={np.mean(b):.2f} p={p_val:.4f}")
# 分层分析
print("\n--- 分层分析 ---")
user_type=np.random.choice(["新用户","老用户"],n_users_ab,p=[0.3,0.7])
for ut in ["新用户","老用户"]:
    mask_a=user_type==ut
    ctr_a=ctr_A[mask_a];ctr_b=ctr_B[mask_a]
    if len(ctr_a)>0 and len(ctr_b)>0:
        print(f"  {ut}:A={ctr_a.mean():.4f} B={ctr_b.mean():.4f} n={mask_a.sum()}")
# AA测试(验证分流正确性)
print("\n--- AA测试(验证分流) ---")
ctr_all=np.concatenate([ctr_A,ctr_B])
half=len(ctr_all)//2
aa_a=ctr_all[:half];aa_b=ctr_all[half:]
t_aa,p_aa=stats.ttest_ind(aa_a,aa_b)
print(f"AA测试:p={p_aa:.4f} ({'通过'if p_aa>0.05 else '失败'} - 应>0.05)")

🔴 运行结果

✅ 验证通过

🔍 代码解读

💡 关键洞察

📝 本章小结

🧪 练习

📚 延伸阅读

💼 面试考点

🏭 工业案例