第26课：混合精度训练

📖 本课概述

混合精度训练用FP16做前向和梯度计算，FP32维护主权重，既加速训练又保持精度。

⚡ 一、为什么用混合精度

⚠️ 二、FP16的风险

2.1 数值溢出

FP16最大值~65504，梯度可能溢出！

2.2 数值下溢

FP16最小正值~6e-8，小梯度可能变为0！

2.3 舍入误差

小数+大数时，小数可能被"吃掉"。

🔧 三、解决方案：损失缩放

3.1 PyTorch AMP实现

import torch
import torch.nn as nn
from torch.cuda.amp import autocast, GradScaler

# 混合精度训练模拟（CPU上也展示逻辑）
torch.manual_seed(42)
X = torch.randn(500, 100)
y = torch.randint(0, 10, (500,))

model = nn.Sequential(
    nn.Linear(100, 256), nn.ReLU(),
    nn.Linear(256, 128), nn.ReLU(),
    nn.Linear(128, 10),
)

# FP32训练
model_fp32 = nn.Sequential(
    nn.Linear(100, 256), nn.ReLU(),
    nn.Linear(256, 128), nn.ReLU(),
    nn.Linear(128, 10),
)
model_fp32.load_state_dict(model.state_dict())

optimizer_fp32 = torch.optim.Adam(model_fp32.parameters(), lr=0.001)
loss_fn = nn.CrossEntropyLoss()

import time
start = time.time()
for epoch in range(50):
    optimizer_fp32.zero_grad()
    loss = loss_fn(model_fp32(X), y)
    loss.backward()
    optimizer_fp32.step()
fp32_time = time.time() - start
fp32_loss = loss.item()

# 模拟FP16的效果（手动转换）
print("=== FP16 vs FP32 数值对比 ===")
for name, param in model_fp32.named_parameters():
    fp16_param = param.data.half().float()  # FP32→FP16→FP32
    error = (param.data - fp16_param).abs().mean().item()
    max_val = param.data.abs().max().item()
    print(f"{name}: FP16转换误差={error:.8f}, 最大值={max_val:.4f}")

# 损失缩放演示
print("\n=== 损失缩放 ===")
small_grad = torch.tensor([1e-6, 1e-7, 1e-8, 1e-9])
scale_factor = 1024.0

scaled_grad = small_grad * scale_factor
print(f"原始梯度: {small_grad.tolist()}")
print(f"缩放后:   {scaled_grad.tolist()}")
print(f"FP16下溢阈值: ~6e-8")

unscaled_grad = scaled_grad / scale_factor
print(f"还原后:   {unscaled_grad.tolist()}")

# 不同精度内存对比
print("\n=== 内存占用对比 ===")
model_size = sum(p.numel() for p in model.parameters())
print(f"模型参数量: {model_size:,}")
print(f"FP32: {model_size * 4 / 1024:.1f} KB")
print(f"FP16: {model_size * 2 / 1024:.1f} KB")
print(f"INT8: {model_size * 1 / 1024:.1f} KB")
print(f"FP32→FP16节省: {50:.0f}%")

print(f"\nFP32训练: loss={fp32_loss:.4f}, 耗时={fp32_time:.2f}s")

🔬 深入拓展

核心要点回顾

本课的核心知识点构成了训练技巧学习的重要一环。让我们从更高维度审视这些知识之间的关系：

• 理论层面：理解数学原理是正确应用的前提，每个公式背后都有直觉
• 工程层面：PyTorch提供了高效实现，但理解底层原理才能正确调试
• 实践层面：没有银弹，不同场景需要不同的策略组合

常见陷阱与最佳实践

与前后课程的联系

深度学习是一个整体——每一课的知识都不是孤立的：

• 优化器（第5课）的选择影响正则化（第6课）的效果
• 初始化（第7课）决定了训练能否开始
• CNN（第8-14课）的成功依赖训练技巧（第22-28课）
• Transformer（第20-21课）结合了注意力和位置编码
• 实战项目（第29-35课）综合运用所有知识

📖 延伸阅读

📝 练习

💡 混合精度实践

精度选择

• 训练：FP16+FP32混合
• 推理：INT8量化
• 注意：loss scaling防下溢
• BF16：不需要loss scaling

常见错误与解决方案

性能优化建议

🔬 深度拓展：从理论到实践

核心概念网络

理解本课内容需要将其置于更大的知识网络中。每个核心概念都不是孤立的，它们相互关联、相互支撑：

• 数学基础：线性代数、微积分、概率论是理解所有深度学习算法的根基
• 计算基础：自动微分、GPU并行计算让理论变为现实
• 工程基础：数据处理、模型设计、训练技巧的有机结合
• 领域知识：CV、NLP、语音等领域的先验知识指导模型设计

关键洞察与直觉

建立正确的直觉比记住公式更重要：

与其他课程的关联

本课作为训练技巧阶段的核心内容，与前后课程紧密关联：

面试常见问题

进阶学习路径

掌握本课内容后，可以通过以下方式继续深入：

• 阅读本课相关的一手论文，理解原始动机和推导
• 复现论文的实验结果，验证自己的理解
• 尝试改进方法，思考为什么现有方法有局限
• 在真实项目或Kaggle竞赛中应用
• 关注该方向的最新进展（arXiv、顶级会议）

📐 补充：知识体系梳理

核心公式速查

将本课涉及的关键公式整理如下，方便回顾和记忆。理解每个公式背后的直觉比死记硬背更重要——试着用自然语言解释每个公式在做什么。

易混淆概念辨析

代码模板

以下是本课核心概念的标准PyTorch实现模板，可以直接用于实际项目：

• 定义模型时，继承nn.Module，实现__init__和forward
• 训练循环：zero_grad → forward → loss → backward → step
• 验证时使用model.eval()和torch.no_grad()
• 保存模型用torch.save(model.state_dict())
• 加载模型用model.load_state_dict(torch.load())