第28课：过拟合诊断与处理

📖 本课概述

过拟合是深度学习最常见的问题。本课系统化地诊断和解决过拟合，让模型在真实世界中可靠工作。

🏥 一、过拟合诊断

1.1 经典症状

1.2 学习曲线分析

🔧 二、解决方案工具箱

2.1 数据层面

• 更多数据（最有效！）
• 数据增强
• 数据清洗

2.2 模型层面

• 减小模型容量
• Dropout
• 权重衰减(L2正则化)
• 早停(Early Stopping)

2.3 训练层面

• 增大Batch Size
• 标签平滑
• 混合精度训练(间接正则化效果)

2.4 PyTorch实现早停与正则化

import torch
import torch.nn as nn
import copy

# 过拟合诊断与处理
torch.manual_seed(42)

# 生成有噪声的数据
X = torch.randn(200, 20)
y = (X[:, 0] * 3 + X[:, 1] * 2 + X[:, 2] * 0.5 > 0).long()

# 划分数据
X_train, X_val = X[:150], X[150:]
y_train, y_val = y[:150], y[150:]

# 添加噪声标签（模拟真实场景）
noise_idx = torch.randperm(150)[:15]
y_train_noisy = y_train.clone()
y_train_noisy[noise_idx] = 1 - y_train_noisy[noise_idx]

# 大模型（容易过拟合）
class BigModel(nn.Module):
    def __init__(self, dropout=0.0, use_bn=False):
        super().__init__()
        layers = [nn.Linear(20, 512)]
        if use_bn: layers.append(nn.BatchNorm1d(512))
        layers.append(nn.ReLU())
        if dropout > 0: layers.append(nn.Dropout(dropout))
        layers.append(nn.Linear(512, 256))
        if use_bn: layers.append(nn.BatchNorm1d(256))
        layers.append(nn.ReLU())
        if dropout > 0: layers.append(nn.Dropout(dropout))
        layers.append(nn.Linear(256, 2))
        self.net = nn.Sequential(*layers)
    
    def forward(self, x):
        return self.net(x)

# 早停实现
class EarlyStopping:
    def __init__(self, patience=10, min_delta=0):
        self.patience = patience
        self.min_delta = min_delta
        self.counter = 0
        self.best_loss = None
        self.should_stop = False
    
    def __call__(self, val_loss):
        if self.best_loss is None:
            self.best_loss = val_loss
        elif val_loss > self.best_loss - self.min_delta:
            self.counter += 1
            if self.counter >= self.patience:
                self.should_stop = True
        else:
            self.best_loss = val_loss
            self.counter = 0

# 对比不同正则化策略
configs = [
    ("无正则化", {"dropout": 0.0, "use_bn": False, "wd": 0.0}),
    ("Dropout(0.3)", {"dropout": 0.3, "use_bn": False, "wd": 0.0}),
    ("BatchNorm", {"dropout": 0.0, "use_bn": True, "wd": 0.0}),
    ("权重衰减(0.01)", {"dropout": 0.0, "use_bn": False, "wd": 0.01}),
    ("Dropout+BN+WD", {"dropout": 0.3, "use_bn": True, "wd": 0.01}),
]

print("=== 正则化策略对比 ===")
for name, cfg in configs:
    torch.manual_seed(42)
    model = BigModel(dropout=cfg["dropout"], use_bn=cfg["use_bn"])
    optimizer = torch.optim.Adam(model.parameters(), lr=0.001, weight_decay=cfg["wd"])
    loss_fn = nn.CrossEntropyLoss()
    early_stop = EarlyStopping(patience=20)
    
    train_losses = []
    val_losses = []
    best_val_loss = float('inf')
    
    for epoch in range(200):
        model.train()
        optimizer.zero_grad()
        loss = loss_fn(model(X_train), y_train_noisy)
        loss.backward()
        optimizer.step()
        
        model.eval()
        with torch.no_grad():
            val_loss = loss_fn(model(X_val), y_val)
        
        train_losses.append(loss.item())
        val_losses.append(val_loss.item())
        early_stop(val_loss.item())
        
        if val_loss.item() < best_val_loss:
            best_val_loss = val_loss.item()
        
        if early_stop.should_stop:
            break
    
    train_acc = (model(X_train).argmax(1) == y_train).float().mean()
    val_acc = (model(X_val).argmax(1) == y_val).float().mean()
    gap = abs(train_acc.item() - val_acc.item())
    
    print(f"{name:>20}: train_acc={train_acc:.2%}, val_acc={val_acc:.2%}, "
          f"差距={gap:.2%}, epochs={len(train_losses)}, best_val={best_val_loss:.4f}")

🔬 深入拓展

核心要点回顾

本课的核心知识点构成了训练技巧学习的重要一环。让我们从更高维度审视这些知识之间的关系：

• 理论层面：理解数学原理是正确应用的前提，每个公式背后都有直觉
• 工程层面：PyTorch提供了高效实现，但理解底层原理才能正确调试
• 实践层面：没有银弹，不同场景需要不同的策略组合

常见陷阱与最佳实践

与前后课程的联系

深度学习是一个整体——每一课的知识都不是孤立的：

• 优化器（第5课）的选择影响正则化（第6课）的效果
• 初始化（第7课）决定了训练能否开始
• CNN（第8-14课）的成功依赖训练技巧（第22-28课）
• Transformer（第20-21课）结合了注意力和位置编码
• 实战项目（第29-35课）综合运用所有知识

📖 延伸阅读

📝 练习

💡 过拟合处理实践

诊断与治疗

• 画出学习曲线
• 比较训练/验证差距
• 先试数据增强
• 最后减小模型

常见错误与解决方案

性能优化建议

🔬 深度拓展：从理论到实践

核心概念网络

理解本课内容需要将其置于更大的知识网络中。每个核心概念都不是孤立的，它们相互关联、相互支撑：

• 数学基础：线性代数、微积分、概率论是理解所有深度学习算法的根基
• 计算基础：自动微分、GPU并行计算让理论变为现实
• 工程基础：数据处理、模型设计、训练技巧的有机结合
• 领域知识：CV、NLP、语音等领域的先验知识指导模型设计

关键洞察与直觉

建立正确的直觉比记住公式更重要：

与其他课程的关联

本课作为训练技巧阶段的核心内容，与前后课程紧密关联：

面试常见问题

进阶学习路径

掌握本课内容后，可以通过以下方式继续深入：

• 阅读本课相关的一手论文，理解原始动机和推导
• 复现论文的实验结果，验证自己的理解
• 尝试改进方法，思考为什么现有方法有局限
• 在真实项目或Kaggle竞赛中应用
• 关注该方向的最新进展（arXiv、顶级会议）