第9课：经典网络：LeNet与AlexNet

📖 本课概述

从LeNet到AlexNet，见证了深度学习在计算机视觉的革命。本课回顾这两个里程碑网络，复现它们的架构和训练过程。

🏛️ 一、LeNet-5 (1998)

1.1 历史意义

Yann LeCun提出的LeNet-5是第一个成功的卷积神经网络，用于手写数字识别(MNIST)。它奠定了CNN的基本范式：卷积→池化→全连接。

1.2 网络架构

🔥 二、AlexNet (2012)

2.1 历史意义

Alex Krizhevsky等人在ImageNet竞赛中以巨大优势夺冠，开启了深度学习时代。关键创新：ReLU激活、Dropout、GPU训练、数据增强。

2.2 网络架构

AlexNet包含5个卷积层和3个全连接层，约6000万参数。使用ReLU代替Sigmoid，训练速度快6倍。

2.3 PyTorch复现

import torch
import torch.nn as nn
import torch.nn.functional as F

# LeNet-5实现
class LeNet5(nn.Module):
    def __init__(self):
        super().__init__()
        self.features = nn.Sequential(
            nn.Conv2d(1, 6, 5),     # 32→28
            nn.Sigmoid(),
            nn.AvgPool2d(2),         # 28→14
            nn.Conv2d(6, 16, 5),    # 14→10
            nn.Sigmoid(),
            nn.AvgPool2d(2),         # 10→5
        )
        self.classifier = nn.Sequential(
            nn.Linear(16*5*5, 120),
            nn.Sigmoid(),
            nn.Linear(120, 84),
            nn.Sigmoid(),
            nn.Linear(84, 10),
        )
    def forward(self, x):
        x = self.features(x)
        x = x.view(x.size(0), -1)
        return self.classifier(x)

# AlexNet简化版
class AlexNetSimple(nn.Module):
    def __init__(self, num_classes=10):
        super().__init__()
        self.features = nn.Sequential(
            nn.Conv2d(1, 64, 3, padding=1), nn.ReLU(),
            nn.MaxPool2d(2),
            nn.Conv2d(64, 192, 3, padding=1), nn.ReLU(),
            nn.MaxPool2d(2),
            nn.Conv2d(192, 384, 3, padding=1), nn.ReLU(),
            nn.Conv2d(384, 256, 3, padding=1), nn.ReLU(),
            nn.Conv2d(256, 256, 3, padding=1), nn.ReLU(),
            nn.MaxPool2d(2),
        )
        self.classifier = nn.Sequential(
            nn.Linear(256*4*4, 4096), nn.ReLU(), nn.Dropout(0.5),
            nn.Linear(4096, 4096), nn.ReLU(), nn.Dropout(0.5),
            nn.Linear(4096, num_classes),
        )
    def forward(self, x):
        x = self.features(x)
        x = x.view(x.size(0), -1)
        return self.classifier(x)

# 对比
models = {"LeNet-5": LeNet5(), "AlexNet(简化)": AlexNetSimple()}
for name, model in models.items():
    x = torch.randn(1, 1, 32, 32)
    out = model(x)
    params = sum(p.numel() for p in model.parameters())
    print(f"{name}: 输入{list(x.shape)} → 输出{list(out.shape)}, 参数量={params:,}")
    
    # 训练测试
    X = torch.randn(100, 1, 32, 32)
    y = torch.randint(0, 10, (100,))
    optimizer = torch.optim.Adam(model.parameters(), lr=0.001)
    loss_fn = nn.CrossEntropyLoss()
    
    for epoch in range(0, 51, 25):
        optimizer.zero_grad()
        loss = loss_fn(model(X), y)
        loss.backward()
        optimizer.step()
        if epoch % 25 == 0:
            acc = (model(X).argmax(1) == y).float().mean()
            print(f"  Epoch {epoch}: loss={loss.item():.4f}, acc={acc.item():.2%}")

🔬 三、AlexNet的关键创新

3.1 ReLU的革命

AlexNet最持久的贡献是证明了ReLU的优越性。Sigmoid/Tanh在深层网络中梯度消失严重，而ReLU在正区间梯度恒为1，使得深层训练成为可能。

3.2 GPU训练

AlexNet首次使用双GPU并行训练，训练时间从数周缩短到5-6天。这开启了GPU加速深度学习的时代。

3.3 从AlexNet到现代CNN

📖 四、延伸阅读

📝 练习

💡 五、经典网络设计模式

5.1 CNN的通用设计模式

从LeNet到ResNet，CNN遵循一个共同模式：

1. 特征提取：交替使用卷积和下采样，逐步减小空间尺寸、增加通道数
2. 全局聚合：全局平均池化，将空间信息压缩为一个向量
3. 分类头：全连接层映射到类别空间

5.2 现代改进

• 用全局平均池化替代大型全连接层（减少参数、防止过拟合）
• 用BatchNorm加速训练
• 用残差连接支持更深层
• 用1×1卷积控制通道数
• 用深度可分离卷积减少计算量

🔬 深度拓展：从理论到实践

核心概念网络

理解本课内容需要将其置于更大的知识网络中。每个核心概念都不是孤立的，它们相互关联、相互支撑：

• 数学基础：线性代数、微积分、概率论是理解所有深度学习算法的根基
• 计算基础：自动微分、GPU并行计算让理论变为现实
• 工程基础：数据处理、模型设计、训练技巧的有机结合
• 领域知识：CV、NLP、语音等领域的先验知识指导模型设计

关键洞察与直觉

建立正确的直觉比记住公式更重要：

与其他课程的关联

本课作为CNN阶段的核心内容，与前后课程紧密关联：

面试常见问题

进阶学习路径

掌握本课内容后，可以通过以下方式继续深入：

• 阅读本课相关的一手论文，理解原始动机和推导
• 复现论文的实验结果，验证自己的理解
• 尝试改进方法，思考为什么现有方法有局限
• 在真实项目或Kaggle竞赛中应用
• 关注该方向的最新进展（arXiv、顶级会议）

📐 补充：知识体系梳理

核心公式速查

将本课涉及的关键公式整理如下，方便回顾和记忆。理解每个公式背后的直觉比死记硬背更重要——试着用自然语言解释每个公式在做什么。

易混淆概念辨析

代码模板

以下是本课核心概念的标准PyTorch实现模板，可以直接用于实际项目：

• 定义模型时，继承nn.Module，实现__init__和forward
• 训练循环：zero_grad → forward → loss → backward → step
• 验证时使用model.eval()和torch.no_grad()
• 保存模型用torch.save(model.state_dict())
• 加载模型用model.load_state_dict(torch.load())