🧪 A/B测试 — 样本量与显著性判断

📖 A/B测试核心原理

A/B测试（随机对照实验）是科技行业做产品决策的基石。Google、Meta、字节跳动每天运行数千个A/B测试，用数据而非直觉来决定产品方向。

🔢 样本量计算

样本量太小→功效不足，可能漏掉真实效果；样本量太大→浪费流量，延迟决策。

import numpy as np
from scipy import stats

def sample_size_ab(alpha, power, p1, p2):
    """计算A/B测试每组所需样本量"""
    z_alpha = stats.norm.ppf(1 - alpha/2)
    z_beta = stats.norm.ppf(power)
    p_avg = (p1 + p2) / 2
    n = ((z_alpha * np.sqrt(2 * p_avg * (1 - p_avg)) + 
          z_beta * np.sqrt(p1*(1-p1) + p2*(1-p2))) / (p2 - p1)) ** 2
    return int(np.ceil(n))

# 转化率5% → 7%
n = sample_size_ab(0.05, 0.8, 0.05, 0.07)
print(f"转化率5%→7%, 每组需要: {n} 人")  # 2213

# 不同场景对比
print("\n样本量对照表:")
for p1, delta in [(0.05, 0.01), (0.05, 0.02), (0.10, 0.02), (0.10, 0.05)]:
    p2 = p1 + delta
    n = sample_size_ab(0.05, 0.8, p1, p2)
    print(f"  基线{p1*100:.0f}% → {p2*100:.0f}% (+{delta*100:.0f}%): 每组{n}人")

🔬 模拟A/B测试全流程

import numpy as np
from scipy import stats

np.random.seed(42)

# 使用计算出的样本量
n = 2213

# 模拟数据
conversions_a = np.random.binomial(1, 0.05, n)  # 对照组
conversions_b = np.random.binomial(1, 0.07, n)  # 实验组

rate_a = conversions_a.mean()
rate_b = conversions_b.mean()
print(f"对照组转化率: {rate_a:.4f}")
print(f"实验组转化率: {rate_b:.4f}")
print(f"相对提升: {(rate_b-rate_a)/rate_a*100:.2f}%")

# Z检验（双比例检验）
pooled = (conversions_a.sum() + conversions_b.sum()) / (2 * n)
se = np.sqrt(pooled * (1 - pooled) * (2 / n))
z_score = (rate_b - rate_a) / se
p_value = 2 * (1 - stats.norm.cdf(abs(z_score)))

print(f"\nZ统计量: {z_score:.4f}")
print(f"p值: {p_value:.6f}")
print(f"显著性(α=0.05): {'✅ 显著' if p_value < 0.05 else '❌ 不显著'}")

# 置信区间
ci_a = stats.norm.interval(0.95, loc=rate_a, scale=np.sqrt(rate_a*(1-rate_a)/n))
ci_b = stats.norm.interval(0.95, loc=rate_b, scale=np.sqrt(rate_b*(1-rate_b)/n))
print(f"\n对照组95%CI: [{ci_a[0]:.4f}, {ci_a[1]:.4f}]")
print(f"实验组95%CI: [{ci_b[0]:.4f}, {ci_b[1]:.4f}]")

📊 连续指标A/B测试

除转化率外，A/B测试也常用于比较连续指标（如人均收入、停留时长、点击次数）：

# 连续指标A/B测试
np.random.seed(42)
n_continuous = 500

# 人均停留时长（分钟）
control = np.random.exponential(10, n_continuous)  # 均值10分钟
treatment = np.random.exponential(11, n_continuous)  # 均值11分钟

# t检验
t_stat, p_val = stats.ttest_ind(control, treatment)
print(f"对照组均值: {control.mean():.2f}分钟")
print(f"实验组均值: {treatment.mean():.2f}分钟")
print(f"t统计量: {t_stat:.4f}, p值: {p_val:.6f}")

# 效应量
d = (treatment.mean() - control.mean()) / np.sqrt(
    (control.var() + treatment.var()) / 2)
print(f"Cohen's d: {d:.4f}")

🛡️ A/B测试常见陷阱

📐 2024-2025 A/B测试前沿

• 序贯检验(Sequential Testing)：允许提前停止实验而不膨胀I类错误，2024年Meta开源了其框架
• 方差缩减(CUPED)：利用实验前协变量降低方差，同等功效减少50%样本量
• Switchback实验：时间片轮替实验，解决网络效应/溢出问题
• 贝叶斯A/B测试：用后验概率替代p值，更直观地量化不确定性
• 因果推断+CATE：条件平均处理效应——不仅看整体提升，还找谁受益最大
• AI辅助实验设计：LLM辅助撰写实验文档、自动生成分流配置

🧮 CUPED方差缩减实战

# CUPED: 利用实验前数据降低方差
np.random.seed(42)
n = 1000

# 实验前数据（协变量）
pre_data = np.random.normal(100, 15, n)
# 实验期间数据 = 真实效果 + 噪声 + 与实验前相关
post_control = pre_data * 0.8 + np.random.normal(20, 10, n)
post_treatment = pre_data * 0.8 + np.random.normal(23, 10, n)  # +3效果

# 原始t检验
t_orig, p_orig = stats.ttest_ind(post_control[:500], post_treatment[500:])
print(f"原始: t={t_orig:.3f}, p={p_orig:.4f}")

# CUPED调整
theta = np.cov(pre_data[:500], post_control[:500])[0,1] / np.var(pre_data[:500])
control_cuped = post_control[:500] - theta * (pre_data[:500] - pre_data[:500].mean())
treatment_cuped = post_treatment[500:] - theta * (pre_data[500:] - pre_data[500:].mean())

t_cuped, p_cuped = stats.ttest_ind(control_cuped, treatment_cuped)
print(f"CUPED: t={t_cuped:.3f}, p={p_cuped:.4f}")
print(f"方差缩减: {(1 - control_cuped.var()/post_control[:500].var())*100:.1f}%")

📝 课后练习

1. 实现完整的A/B测试Pipeline（从样本量到报告）
2. 模拟p-hacking：重复抽样直到p<0.05，计算实际I类错误率
3. 实现CUPED方差缩减并对比效果
4. 用Bootstrap方法计算转化率差异的置信区间
5. 模拟辛普森悖论场景并分析原因