第15课：RNN原理

📖 本课概述

循环神经网络(RNN)是处理序列数据的经典模型。本课从RNN的数学原理出发，理解它的能力和局限。

🔄 一、RNN基本结构

1.1 数学定义

1.2 计算图展开

RNN在时间步上展开，权重在所有时刻共享。这使得RNN可以处理变长序列。

1.3 BPTT（沿时间反向传播）

1.4 PyTorch实现RNN

import torch
import torch.nn as nn

# RNN实现
class SimpleRNN(nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super().__init__()
        self.hidden_size = hidden_size
        self.i2h = nn.Linear(input_size + hidden_size, hidden_size)
        self.h2o = nn.Linear(hidden_size, output_size)
    
    def forward(self, x, hidden=None):
        if hidden is None:
            hidden = torch.zeros(x.size(0), self.hidden_size)
        
        outputs = []
        for t in range(x.size(1)):
            combined = torch.cat([x[:, t, :], hidden], dim=1)
            hidden = torch.tanh(self.i2h(combined))
            outputs.append(self.h2o(hidden))
        
        return torch.stack(outputs, dim=1), hidden

# 对比自定义RNN和PyTorch RNN
torch.manual_seed(42)
X = torch.randn(16, 10, 5)  # batch=16, seq_len=10, input_dim=5
y = torch.randint(0, 3, (16,))

# 自定义RNN
model1 = SimpleRNN(5, 32, 3)
out1, _ = model1(X)
print(f"自定义RNN: 输出shape={list(out1.shape)}")

# PyTorch RNN
rnn = nn.RNN(5, 32, batch_first=True)
fc = nn.Linear(32, 3)
out_rnn, _ = rnn(X)
out2 = fc(out_rnn)
print(f"PyTorch RNN: 输出shape={list(out2.shape)}")

# 梯度消失演示
print("\n=== RNN梯度消失演示 ===")
seq_lengths = [10, 30, 50, 100]
for seq_len in seq_lengths:
    X_long = torch.randn(4, seq_len, 5)
    y_long = torch.randint(0, 3, (4,))
    
    model = nn.Sequential(
        nn.RNN(5, 32, batch_first=True),
    )
    fc_layer = nn.Linear(32, 3)
    
    rnn_out, _ = model[0](X_long)
    out = fc_layer(rnn_out[:, -1, :])
    loss = nn.CrossEntropyLoss()(out, y_long)
    loss.backward()
    
    grad_norm = model[0].weight_ih_l0.grad.norm().item()
    print(f"序列长度={seq_len:3d}: 输入权重梯度范数={grad_norm:.8f}")

# 正弦波预测
print("\n=== RNN正弦波预测 ===")
torch.manual_seed(42)
t = torch.linspace(0, 4*3.14159, 50)
x_sin = torch.sin(t).unsqueeze(0).unsqueeze(-1)  # [1, 50, 1]

model = nn.RNN(1, 16, batch_first=True)
fc = nn.Linear(16, 1)
optimizer = torch.optim.Adam(list(model.parameters()) + list(fc.parameters()), lr=0.01)

for epoch in range(200):
    optimizer.zero_grad()
    out, _ = model(x_sin[:, :-1, :])
    pred = fc(out)
    loss = nn.MSELoss()(pred, x_sin[:, 1:, :])
    loss.backward()
    optimizer.step()

print(f"正弦波预测最终loss: {loss.item():.6f}")

🔬 深入拓展

核心要点回顾

本课的核心知识点构成了序列模型学习的重要一环。让我们从更高维度审视这些知识之间的关系：

• 理论层面：理解数学原理是正确应用的前提，每个公式背后都有直觉
• 工程层面：PyTorch提供了高效实现，但理解底层原理才能正确调试
• 实践层面：没有银弹，不同场景需要不同的策略组合

常见陷阱与最佳实践

与前后课程的联系

深度学习是一个整体——每一课的知识都不是孤立的：

• 优化器（第5课）的选择影响正则化（第6课）的效果
• 初始化（第7课）决定了训练能否开始
• CNN（第8-14课）的成功依赖训练技巧（第22-28课）
• Transformer（第20-21课）结合了注意力和位置编码
• 实战项目（第29-35课）综合运用所有知识

📖 延伸阅读

📝 练习

💡 RNN实践

序列建模技巧

• 梯度裁剪防止爆炸
• 双向RNN捕获前后文
• 多层RNN增加容量
• 适当的数据归一化

常见错误与解决方案

性能优化建议

🔬 深度拓展：从理论到实践

核心概念网络

理解本课内容需要将其置于更大的知识网络中。每个核心概念都不是孤立的，它们相互关联、相互支撑：

• 数学基础：线性代数、微积分、概率论是理解所有深度学习算法的根基
• 计算基础：自动微分、GPU并行计算让理论变为现实
• 工程基础：数据处理、模型设计、训练技巧的有机结合
• 领域知识：CV、NLP、语音等领域的先验知识指导模型设计

关键洞察与直觉

建立正确的直觉比记住公式更重要：

与其他课程的关联

本课作为序列模型阶段的核心内容，与前后课程紧密关联：

面试常见问题

进阶学习路径

掌握本课内容后，可以通过以下方式继续深入：

• 阅读本课相关的一手论文，理解原始动机和推导
• 复现论文的实验结果，验证自己的理解
• 尝试改进方法，思考为什么现有方法有局限
• 在真实项目或Kaggle竞赛中应用
• 关注该方向的最新进展（arXiv、顶级会议）

📐 补充：知识体系梳理

核心公式速查

将本课涉及的关键公式整理如下，方便回顾和记忆。理解每个公式背后的直觉比死记硬背更重要——试着用自然语言解释每个公式在做什么。

易混淆概念辨析

代码模板

以下是本课核心概念的标准PyTorch实现模板，可以直接用于实际项目：

• 定义模型时，继承nn.Module，实现__init__和forward
• 训练循环：zero_grad → forward → loss → backward → step
• 验证时使用model.eval()和torch.no_grad()
• 保存模型用torch.save(model.state_dict())
• 加载模型用model.load_state_dict(torch.load())