第6课：正则化：Dropout与BatchNorm

📖 本课概述

过拟合是深度学习的头号敌人。正则化技术帮助模型在训练集和测试集上都表现良好。本课深入分析Dropout和BatchNorm的原理、实现和效果。

🎯 一、过拟合问题

💧 二、Dropout

2.1 原理

训练时以概率p随机"丢弃"神经元，测试时使用所有神经元但输出乘以(1-p)。

Dropout的效果：①隐式集成多个子网络②减少神经元共适应③提供模型平均效果

2.2 PyTorch验证

import torch
import torch.nn as nn

# Dropout效果验证
torch.manual_seed(42)
X = torch.randn(1000, 50)
y = (X[:, 0] + X[:, 1] > 0).float().unsqueeze(1)

# 有Dropout的模型
class ModelWithDropout(nn.Module):
    def __init__(self, use_dropout=False, p=0.5):
        super().__init__()
        self.use_dropout = use_dropout
        self.net = nn.Sequential(
            nn.Linear(50, 200),
            nn.ReLU(),
            nn.Dropout(p) if use_dropout else nn.Identity(),
            nn.Linear(200, 100),
            nn.ReLU(),
            nn.Dropout(p) if use_dropout else nn.Identity(),
            nn.Linear(100, 1),
            nn.Sigmoid()
        )
    def forward(self, x):
        return self.net(x)

# 训练对比
for use_drop, name in [(False, "无Dropout"), (True, "有Dropout(p=0.5)")]:
    torch.manual_seed(42)
    model = ModelWithDropout(use_dropout=use_drop)
    optimizer = torch.optim.Adam(model.parameters(), lr=0.001)
    loss_fn = nn.BCELoss()
    
    train_losses = []
    test_losses = []
    # Split train/test
    X_train, X_test = X[:800], X[800:]
    y_train, y_test = y[:800], y[800:]
    
    for epoch in range(200):
        model.train()
        optimizer.zero_grad()
        output = model(X_train)
        loss = loss_fn(output, y_train)
        loss.backward()
        optimizer.step()
        
        model.eval()
        with torch.no_grad():
            test_loss = loss_fn(model(X_test), y_test)
        
        if epoch % 50 == 0 or epoch == 199:
            train_losses.append(loss.item())
            test_losses.append(test_loss.item())
    
    gap = [t - tr for tr, t in zip(train_losses, test_losses)]
    print(f"\n{name}:")
    print(f"  训练loss: {' → '.join([f'{l:.4f}' for l in train_losses])}")
    print(f"  测试loss: {' → '.join([f'{l:.4f}' for l in test_losses])}")
    print(f"  过拟合差距: {' → '.join([f'{g:.4f}' for g in gap])}")

# BatchNorm验证
print("\n=== BatchNorm效果 ===")
class ModelWithBN(nn.Module):
    def __init__(self, use_bn=False):
        super().__init__()
        self.net = nn.Sequential(
            nn.Linear(50, 200),
            nn.BatchNorm1d(200) if use_bn else nn.Identity(),
            nn.ReLU(),
            nn.Linear(200, 100),
            nn.BatchNorm1d(100) if use_bn else nn.Identity(),
            nn.ReLU(),
            nn.Linear(100, 1),
        )
    def forward(self, x):
        return self.net(x)

for use_bn, name in [(False, "无BN"), (True, "有BN")]:
    torch.manual_seed(42)
    model = ModelWithBN(use_bn=use_bn)
    optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
    loss_fn = nn.MSELoss()
    y_reg = X[:, :1] * 2 + 1
    
    for epoch in range(100):
        optimizer.zero_grad()
        loss = loss_fn(model(X), y_reg)
        loss.backward()
        optimizer.step()
        if epoch % 25 == 0:
            print(f"  {name} Epoch {epoch}: loss={loss.item():.4f}")

🔬 三、Dropout深入分析

3.1 Dropout的理论解释

Dropout可以从多个角度理解：

• 模型集成视角：每次训练相当于采样一个子网络，相当于训练了2ⁿ个模型（n为神经元数）的集成
• 正则化视角：相当于给参数加了L2正则化，因为任何特征都不能被单个神经元独占
• 噪声注入视角：给隐层表示注入噪声，使模型对噪声鲁棒

3.2 Dropout率选择指南

3.3 Spatial Dropout与DropPath

📖 四、延伸阅读

📝 练习

💡 五、BatchNorm深入理解

5.1 BatchNorm的工作原理

5.2 BatchNorm为什么有效

三种解释：

• 内部协变量偏移（原始论文）：减少层间输入分布的变化
• 优化景观平滑（Santurkar et al. 2018）：使损失函数更平滑，梯度更可靠
• 隐式正则化：mini-batch的统计量引入噪声，类似Dropout

5.3 BatchNorm的替代方案

🔬 深度拓展：从理论到实践

核心概念网络

理解本课内容需要将其置于更大的知识网络中。每个核心概念都不是孤立的，它们相互关联、相互支撑：

• 数学基础：线性代数、微积分、概率论是理解所有深度学习算法的根基
• 计算基础：自动微分、GPU并行计算让理论变为现实
• 工程基础：数据处理、模型设计、训练技巧的有机结合
• 领域知识：CV、NLP、语音等领域的先验知识指导模型设计

关键洞察与直觉

建立正确的直觉比记住公式更重要：

与其他课程的关联

本课作为神经网络基础阶段的核心内容，与前后课程紧密关联：

面试常见问题

进阶学习路径

掌握本课内容后，可以通过以下方式继续深入：

• 阅读本课相关的一手论文，理解原始动机和推导
• 复现论文的实验结果，验证自己的理解
• 尝试改进方法，思考为什么现有方法有局限
• 在真实项目或Kaggle竞赛中应用
• 关注该方向的最新进展（arXiv、顶级会议）