第19课：注意力机制

📖 本课概述

注意力机制让模型"聚焦"于输入的相关部分，是Transformer的核心组件。本课从Bahdanau注意力到自注意力，理解注意力的一切。

🔍 一、注意力机制的直觉

人类看图像或读文本时，不会平等关注所有部分——我们"注意"重要的部分。注意力机制让神经网络也拥有这种能力。

📐 二、注意力机制数学

2.1 通用注意力框架

2.2 加性注意力 (Bahdanau)

2.3 乘性注意力 (Luong)

2.4 自注意力

Q, K, V都来自同一个输入序列——序列中的每个位置关注其他所有位置。

2.5 PyTorch实现注意力

import torch
import torch.nn as nn
import torch.nn.functional as F
import math

# 注意力机制实现
class ScaledDotProductAttention(nn.Module):
    def __init__(self, d_k):
        super().__init__()
        self.scale = math.sqrt(d_k)
    
    def forward(self, Q, K, V, mask=None):
        scores = torch.matmul(Q, K.transpose(-2, -1)) / self.scale
        if mask is not None:
            scores = scores.masked_fill(mask == 0, -1e9)
        attn = F.softmax(scores, dim=-1)
        context = torch.matmul(attn, V)
        return context, attn

# 测试
d_model = 64
n_head = 4
d_k = d_model // n_head

Q = torch.randn(2, n_head, 10, d_k)
K = torch.randn(2, n_head, 10, d_k)
V = torch.randn(2, n_head, 10, d_k)

attn = ScaledDotProductAttention(d_k)
context, attn_weights = attn(Q, K, V)
print(f"注意力输出: {list(context.shape)}")
print(f"注意力权重: {list(attn_weights.shape)}")
print(f"注意力权重和: {attn_weights[0, 0, 0, :].sum().item():.4f}")

# 不同注意力类型
print("\n=== 注意力类型对比 ===")
seq_len = 10

# 自注意力：Q=K=V
X = torch.randn(2, seq_len, d_model)
W_q = nn.Linear(d_model, d_model)
W_k = nn.Linear(d_model, d_model)
W_v = nn.Linear(d_model, d_model)

Q_self = W_q(X).view(2, n_head, seq_len, d_k)
K_self = W_k(X).view(2, n_head, seq_len, d_k)
V_self = W_v(X).view(2, n_head, seq_len, d_k)

context_self, weights_self = attn(Q_self, K_self, V_self)
print(f"自注意力: 输入{list(X.shape)} → 输出{list(context_self.view(2, seq_len, d_model).shape)}")

# 交叉注意力：Q来自解码器，K/V来自编码器
Y = torch.randn(2, seq_len, d_model)
Q_cross = W_q(Y).view(2, n_head, seq_len, d_k)
context_cross, weights_cross = attn(Q_cross, K_self, V_self)
print(f"交叉注意力: Q{list(Y.shape)}, K/V{list(X.shape)} → 输出{list(context_cross.view(2, seq_len, d_model).shape)}")

# 缩放因子的重要性
print("\n=== 缩放因子影响 ===")
for d in [16, 32, 64, 128]:
    q = torch.randn(1, 1, 10, d)
    k = torch.randn(1, 1, 10, d)
    scores_no_scale = (q @ k.transpose(-2, -1))
    scores_scaled = scores_no_scale / math.sqrt(d)
    print(f"d={d:3d}: 未缩放方差={scores_no_scale.var().item():.2f}, 缩放后={scores_scaled.var().item():.2f}")

🔬 深入拓展

核心要点回顾

本课的核心知识点构成了序列模型学习的重要一环。让我们从更高维度审视这些知识之间的关系：

• 理论层面：理解数学原理是正确应用的前提，每个公式背后都有直觉
• 工程层面：PyTorch提供了高效实现，但理解底层原理才能正确调试
• 实践层面：没有银弹，不同场景需要不同的策略组合

常见陷阱与最佳实践

与前后课程的联系

深度学习是一个整体——每一课的知识都不是孤立的：

• 优化器（第5课）的选择影响正则化（第6课）的效果
• 初始化（第7课）决定了训练能否开始
• CNN（第8-14课）的成功依赖训练技巧（第22-28课）
• Transformer（第20-21课）结合了注意力和位置编码
• 实战项目（第29-35课）综合运用所有知识

📖 延伸阅读

📝 练习

💡 注意力实践

注意力机制选择

• 加性注意力：灵活但慢
• 点积注意力：简单快速
• 自注意力：全局依赖
• 局部注意力：长序列高效

常见错误与解决方案

性能优化建议

🔬 深度拓展：从理论到实践

核心概念网络

理解本课内容需要将其置于更大的知识网络中。每个核心概念都不是孤立的，它们相互关联、相互支撑：

• 数学基础：线性代数、微积分、概率论是理解所有深度学习算法的根基
• 计算基础：自动微分、GPU并行计算让理论变为现实
• 工程基础：数据处理、模型设计、训练技巧的有机结合
• 领域知识：CV、NLP、语音等领域的先验知识指导模型设计

关键洞察与直觉

建立正确的直觉比记住公式更重要：

与其他课程的关联

本课作为序列模型阶段的核心内容，与前后课程紧密关联：

面试常见问题

进阶学习路径

掌握本课内容后，可以通过以下方式继续深入：

• 阅读本课相关的一手论文，理解原始动机和推导
• 复现论文的实验结果，验证自己的理解
• 尝试改进方法，思考为什么现有方法有局限
• 在真实项目或Kaggle竞赛中应用
• 关注该方向的最新进展（arXiv、顶级会议）

📐 补充：知识体系梳理

核心公式速查

将本课涉及的关键公式整理如下，方便回顾和记忆。理解每个公式背后的直觉比死记硬背更重要——试着用自然语言解释每个公式在做什么。

易混淆概念辨析

代码模板

以下是本课核心概念的标准PyTorch实现模板，可以直接用于实际项目：

• 定义模型时，继承nn.Module，实现__init__和forward
• 训练循环：zero_grad → forward → loss → backward → step
• 验证时使用model.eval()和torch.no_grad()
• 保存模型用torch.save(model.state_dict())
• 加载模型用model.load_state_dict(torch.load())