第21课：位置编码与多头注意力

📖 本课概述

Transformer没有循环结构，位置编码告诉它"顺序"信息。本课深入各种位置编码方法和多头注意力的细节实现。

📍 一、为什么需要位置编码

📐 二、正弦位置编码

2.1 相对位置关系

🔬 三、可学习位置编码

BERT和GPT使用可学习的位置嵌入：nn.Embedding(max_len, d_model)

优点：更灵活，可能学得更好

缺点：不能推广到训练时未见过的长度

🔄 四、旋转位置编码(RoPE)

4.1 PyTorch实现位置编码

import torch
import torch.nn as nn
import math

# 位置编码实现
class SinusoidalPositionalEncoding(nn.Module):
    def __init__(self, d_model, max_len=5000):
        super().__init__()
        pe = torch.zeros(max_len, d_model)
        position = torch.arange(0, max_len).unsqueeze(1).float()
        div_term = torch.exp(torch.arange(0, d_model, 2).float() * (-math.log(10000.0) / d_model))
        pe[:, 0::2] = torch.sin(position * div_term)
        pe[:, 1::2] = torch.cos(position * div_term)
        self.register_buffer('pe', pe.unsqueeze(0))
    
    def forward(self, x):
        return x + self.pe[:, :x.size(1)]

class LearnedPositionalEncoding(nn.Module):
    def __init__(self, d_model, max_len=512):
        super().__init__()
        self.pe = nn.Parameter(torch.randn(1, max_len, d_model) * 0.02)
    
    def forward(self, x):
        return x + self.pe[:, :x.size(1)]

# RoPE实现
class RotaryPositionalEncoding(nn.Module):
    def __init__(self, d_model, max_len=2048):
        super().__init__()
        inv_freq = 1.0 / (10000 ** (torch.arange(0, d_model, 2).float() / d_model))
        self.register_buffer('inv_freq', inv_freq)
    
    def forward(self, x):
        seq_len = x.size(1)
        t = torch.arange(seq_len, device=x.device).float()
        freqs = torch.outer(t, self.inv_freq)
        emb = torch.cat([freqs, freqs], dim=-1)
        cos_emb = emb.cos().unsqueeze(0)
        sin_emb = emb.sin().unsqueeze(0)
        return x * cos_emb + self._rotate_half(x) * sin_emb
    
    def _rotate_half(self, x):
        x1, x2 = x[..., :x.shape[-1]//2], x[..., x.shape[-1]//2:]
        return torch.cat([-x2, x1], dim=-1)

# 对比
d_model = 64
seq_len = 20
x = torch.randn(1, seq_len, d_model)

encodings = {
    "正弦PE": SinusoidalPositionalEncoding(d_model),
    "可学习PE": LearnedPositionalEncoding(d_model),
    "RoPE": RotaryPositionalEncoding(d_model),
}

for name, enc in encodings.items():
    out = enc(x)
    diff = (out - x).abs().mean().item()
    params = sum(p.numel() for p in enc.parameters())
    print(f"{name}: 编码后差异={diff:.6f}, 可训练参数={params}")

# 正弦PE的性质：线性关系
print("\n=== 正弦PE的线性关系 ===")
sin_pe = SinusoidalPositionalEncoding(d_model)
pe = sin_pe.pe[0, :10, :8]  # 前10位置，前8维度
print("位置编码(前10位置，前8维):")
for pos in range(5):
    vals = [f"{pe[pos, d]:.4f}" for d in range(8)]
    print(f"  pos={pos}: {vals}")

# 不同距离的PE相似度
print("\nPE点积相似度（位置0 vs 位置k）:")
for k in [1, 2, 5, 10, 20]:
    sim = torch.dot(pe[0], sin_pe.pe[0, k, :8]).item()
    print(f"  pos0·pos{k}: {sim:.4f}")

🔬 深入拓展

核心要点回顾

本课的核心知识点构成了序列模型学习的重要一环。让我们从更高维度审视这些知识之间的关系：

• 理论层面：理解数学原理是正确应用的前提，每个公式背后都有直觉
• 工程层面：PyTorch提供了高效实现，但理解底层原理才能正确调试
• 实践层面：没有银弹，不同场景需要不同的策略组合

常见陷阱与最佳实践

与前后课程的联系

深度学习是一个整体——每一课的知识都不是孤立的：

• 优化器（第5课）的选择影响正则化（第6课）的效果
• 初始化（第7课）决定了训练能否开始
• CNN（第8-14课）的成功依赖训练技巧（第22-28课）
• Transformer（第20-21课）结合了注意力和位置编码
• 实战项目（第29-35课）综合运用所有知识

📖 延伸阅读

📝 练习

💡 位置编码实践

位置编码选择

• 短序列：可学习PE
• 长序列：正弦PE或RoPE
• 外推需求：RoPE或ALiBi
• 相对位置：T5相对PE

常见错误与解决方案

性能优化建议

🔬 深度拓展：从理论到实践

核心概念网络

理解本课内容需要将其置于更大的知识网络中。每个核心概念都不是孤立的，它们相互关联、相互支撑：

• 数学基础：线性代数、微积分、概率论是理解所有深度学习算法的根基
• 计算基础：自动微分、GPU并行计算让理论变为现实
• 工程基础：数据处理、模型设计、训练技巧的有机结合
• 领域知识：CV、NLP、语音等领域的先验知识指导模型设计

关键洞察与直觉

建立正确的直觉比记住公式更重要：

与其他课程的关联

本课作为序列模型阶段的核心内容，与前后课程紧密关联：

面试常见问题

进阶学习路径

掌握本课内容后，可以通过以下方式继续深入：

• 阅读本课相关的一手论文，理解原始动机和推导
• 复现论文的实验结果，验证自己的理解
• 尝试改进方法，思考为什么现有方法有局限
• 在真实项目或Kaggle竞赛中应用
• 关注该方向的最新进展（arXiv、顶级会议）