第22课：学习率调度

📖 本课概述

学习率是训练最重要的超参数，好的调度策略可以显著提升模型性能。本课深入各种学习率调度策略和实战技巧。

📊 一、学习率调度的重要性

📅 二、常见调度策略

2.1 StepLR

2.2 CosineAnnealing

2.3 Warmup + Cosine Decay

2.4 OneCycleLR

2.5 PyTorch实现

import torch
import torch.nn as nn
import math

# 学习率调度对比
torch.manual_seed(42)
model = nn.Sequential(nn.Linear(10, 64), nn.ReLU(), nn.Linear(64, 2))
X = torch.randn(200, 10)
y = torch.randint(0, 2, (200,))
loss_fn = nn.CrossEntropyLoss()

# 不同调度策略
schedulers = {
    "Constant": lambda opt: None,
    "StepLR(5,0.5)": lambda opt: torch.optim.lr_scheduler.StepLR(opt, 5, 0.5),
    "CosineAnnealing": lambda opt: torch.optim.lr_scheduler.CosineAnnealingLR(opt, T_max=20),
    "ExpLR(0.9)": lambda opt: torch.optim.lr_scheduler.ExponentialLR(opt, 0.9),
    "OneCycleLR": lambda opt: torch.optim.lr_scheduler.OneCycleLR(opt, max_lr=0.1, total_steps=20),
}

for name, sched_fn in schedulers.items():
    torch.manual_seed(42)
    model_new = nn.Sequential(nn.Linear(10, 64), nn.ReLU(), nn.Linear(64, 2))
    opt = torch.optim.SGD(model_new.parameters(), lr=0.01)
    sched = sched_fn(opt)
    
    lrs = []
    losses = []
    for epoch in range(20):
        opt.zero_grad()
        loss = loss_fn(model_new(X), y)
        loss.backward()
        opt.step()
        if sched is not None:
            sched.step()
        lrs.append(opt.param_groups[0]['lr'])
        losses.append(loss.item())
    
    print(f"{name:>20}: loss={losses[0]:.4f}→{losses[-1]:.4f}, lr={lrs[0]:.6f}→{lrs[-1]:.6f}")

# Warmup实现
class WarmupCosineScheduler:
    def __init__(self, optimizer, warmup_steps, total_steps, lr_max, lr_min=0):
        self.optimizer = optimizer
        self.warmup_steps = warmup_steps
        self.total_steps = total_steps
        self.lr_max = lr_max
        self.lr_min = lr_min
        self.step_count = 0
    
    def step(self):
        self.step_count += 1
        if self.step_count <= self.warmup_steps:
            lr = self.lr_max * self.step_count / self.warmup_steps
        else:
            progress = (self.step_count - self.warmup_steps) / (self.total_steps - self.warmup_steps)
            lr = self.lr_min + 0.5 * (self.lr_max - self.lr_min) * (1 + math.cos(math.pi * progress))
        for param_group in self.optimizer.param_groups:
            param_group['lr'] = lr

# Warmup效果
print("\n=== Warmup + Cosine Decay ===")
torch.manual_seed(42)
model_warmup = nn.Sequential(nn.Linear(10, 64), nn.ReLU(), nn.Linear(64, 2))
opt = torch.optim.SGD(model_warmup.parameters(), lr=0.0)
sched = WarmupCosineScheduler(opt, warmup_steps=5, total_steps=50, lr_max=0.01)

lrs = []
for step in range(50):
    opt.zero_grad()
    loss = loss_fn(model_warmup(X), y)
    loss.backward()
    opt.step()
    sched.step()
    lrs.append(opt.param_groups[0]['lr'])

print(f"LR变化: {lrs[0]:.6f}(step0) → {max(lrs):.6f}(peak) → {lrs[-1]:.6f}(end)")
warmup_lrs = lrs[:6]
print(f"Warmup阶段: {' → '.join([f'{lr:.6f}' for lr in warmup_lrs])}")

🔬 深入拓展

核心要点回顾

本课的核心知识点构成了训练技巧学习的重要一环。让我们从更高维度审视这些知识之间的关系：

• 理论层面：理解数学原理是正确应用的前提，每个公式背后都有直觉
• 工程层面：PyTorch提供了高效实现，但理解底层原理才能正确调试
• 实践层面：没有银弹，不同场景需要不同的策略组合

常见陷阱与最佳实践

与前后课程的联系

深度学习是一个整体——每一课的知识都不是孤立的：

• 优化器（第5课）的选择影响正则化（第6课）的效果
• 初始化（第7课）决定了训练能否开始
• CNN（第8-14课）的成功依赖训练技巧（第22-28课）
• Transformer（第20-21课）结合了注意力和位置编码
• 实战项目（第29-35课）综合运用所有知识

📖 延伸阅读

📝 练习

💡 学习率调度实践

调度器选择

• CV：CosineAnnealing或StepLR
• NLP：Warmup+CosineDecay
• 快速实验：OneCycleLR
• 生产：固定调度表

常见错误与解决方案

性能优化建议

🔬 深度拓展：从理论到实践

核心概念网络

理解本课内容需要将其置于更大的知识网络中。每个核心概念都不是孤立的，它们相互关联、相互支撑：

• 数学基础：线性代数、微积分、概率论是理解所有深度学习算法的根基
• 计算基础：自动微分、GPU并行计算让理论变为现实
• 工程基础：数据处理、模型设计、训练技巧的有机结合
• 领域知识：CV、NLP、语音等领域的先验知识指导模型设计

关键洞察与直觉

建立正确的直觉比记住公式更重要：

与其他课程的关联

本课作为训练技巧阶段的核心内容，与前后课程紧密关联：

面试常见问题

进阶学习路径

掌握本课内容后，可以通过以下方式继续深入：

• 阅读本课相关的一手论文，理解原始动机和推导
• 复现论文的实验结果，验证自己的理解
• 尝试改进方法，思考为什么现有方法有局限
• 在真实项目或Kaggle竞赛中应用
• 关注该方向的最新进展（arXiv、顶级会议）