第11课：迁移学习

📖 本课概述

迁移学习让我们站在巨人的肩膀上——用预训练模型的知识解决新问题，用更少的数据和计算达到更好的效果。

🧠 一、迁移学习原理

1.1 核心思想

1.2 两种策略

1.3 PyTorch实现迁移学习

import torch
import torch.nn as nn
import torchvision.models as models

# 迁移学习实验
torch.manual_seed(42)

# 模拟预训练模型（小规模）
class PretrainedModel(nn.Module):
    def __init__(self):
        super().__init__()
        self.features = nn.Sequential(
            nn.Linear(20, 128), nn.ReLU(),
            nn.Linear(128, 128), nn.ReLU(),
            nn.Linear(128, 64), nn.ReLU(),
        )
        self.classifier = nn.Linear(64, 5)  # 5类源任务
    
    def forward(self, x):
        return self.classifier(self.features(x))

# 源任务预训练
source_model = PretrainedModel()
X_source = torch.randn(500, 20)
y_source = torch.randint(0, 5, (500,))

optimizer = torch.optim.Adam(source_model.parameters(), lr=0.001)
loss_fn = nn.CrossEntropyLoss()
for epoch in range(100):
    optimizer.zero_grad()
    loss = loss_fn(source_model(X_source), y_source)
    loss.backward()
    optimizer.step()

print("=== 源任务预训练完成 ===")

# 目标任务（3类，少数据）
X_target = torch.randn(50, 20)
y_target = torch.randint(0, 3, (50,))

# 策略1：特征提取（冻结特征层）
model_fe = PretrainedModel()
model_fe.load_state_dict(source_model.state_dict())
model_fe.classifier = nn.Linear(64, 3)  # 替换分类头

# 冻结特征层
for param in model_fe.features.parameters():
    param.requires_grad = False

trainable = sum(p.numel() for p in model_fe.parameters() if p.requires_grad)
total = sum(p.numel() for p in model_fe.parameters())
print(f"\n特征提取: 可训练参数={trainable:,}/{total:,} ({trainable/total*100:.1f}%)")

# 策略2：微调（小学习率）
model_ft = PretrainedModel()
model_ft.load_state_dict(source_model.state_dict())
model_ft.classifier = nn.Linear(64, 3)

# 策略3：从零训练
model_scratch = PretrainedModel()
model_scratch.classifier = nn.Linear(64, 3)

# 训练对比
for name, model, lr in [("特征提取", model_fe, 0.01), ("微调", model_ft, 0.0001), ("从零训练", model_scratch, 0.001)]:
    optimizer = torch.optim.Adam(filter(lambda p: p.requires_grad, model.parameters()), lr=lr)
    for epoch in range(100):
        optimizer.zero_grad()
        loss = loss_fn(model(X_target), y_target)
        loss.backward()
        optimizer.step()
    
    with torch.no_grad():
        acc = (model(X_target).argmax(1) == y_target).float().mean()
    print(f"{name}: 最终acc={acc.item():.2%}")

🔬 深入拓展

核心要点回顾

本课的核心知识点构成了CNN学习的重要一环。让我们从更高维度审视这些知识之间的关系：

• 理论层面：理解数学原理是正确应用的前提，每个公式背后都有直觉
• 工程层面：PyTorch提供了高效实现，但理解底层原理才能正确调试
• 实践层面：没有银弹，不同场景需要不同的策略组合

常见陷阱与最佳实践

与前后课程的联系

深度学习是一个整体——每一课的知识都不是孤立的：

• 优化器（第5课）的选择影响正则化（第6课）的效果
• 初始化（第7课）决定了训练能否开始
• CNN（第8-14课）的成功依赖训练技巧（第22-28课）
• Transformer（第20-21课）结合了注意力和位置编码
• 实战项目（第29-35课）综合运用所有知识

📖 延伸阅读

📝 练习

💡 迁移学习实践

选择预训练模型

• 任务相似性：选择与目标任务相似的预训练模型
• 数据量：少数据→特征提取，多数据→微调
• 计算资源：资源有限→冻结更多层
• 领域差异：差异大→需要更深的微调

常见错误与解决方案

性能优化建议

🔬 深度拓展：从理论到实践

核心概念网络

理解本课内容需要将其置于更大的知识网络中。每个核心概念都不是孤立的，它们相互关联、相互支撑：

• 数学基础：线性代数、微积分、概率论是理解所有深度学习算法的根基
• 计算基础：自动微分、GPU并行计算让理论变为现实
• 工程基础：数据处理、模型设计、训练技巧的有机结合
• 领域知识：CV、NLP、语音等领域的先验知识指导模型设计

关键洞察与直觉

建立正确的直觉比记住公式更重要：

与其他课程的关联

本课作为CNN阶段的核心内容，与前后课程紧密关联：

面试常见问题

进阶学习路径

掌握本课内容后，可以通过以下方式继续深入：

• 阅读本课相关的一手论文，理解原始动机和推导
• 复现论文的实验结果，验证自己的理解
• 尝试改进方法，思考为什么现有方法有局限
• 在真实项目或Kaggle竞赛中应用
• 关注该方向的最新进展（arXiv、顶级会议）

📐 补充：知识体系梳理

核心公式速查

将本课涉及的关键公式整理如下，方便回顾和记忆。理解每个公式背后的直觉比死记硬背更重要——试着用自然语言解释每个公式在做什么。

易混淆概念辨析

代码模板

以下是本课核心概念的标准PyTorch实现模板，可以直接用于实际项目：

• 定义模型时，继承nn.Module，实现__init__和forward
• 训练循环：zero_grad → forward → loss → backward → step
• 验证时使用model.eval()和torch.no_grad()
• 保存模型用torch.save(model.state_dict())
• 加载模型用model.load_state_dict(torch.load())