第31课：文本分类

📖 本课概述

文本分类是NLP最基础的任务之一——情感分析、垃圾邮件检测、新闻分类都是文本分类。本课实现一个完整的文本分类pipeline。

📝 一、文本分类Pipeline

📐 二、词嵌入

2.1 One-Hot的问题

维度=词表大小，稀疏，无法表示语义关系。

2.2 词嵌入 (Word Embedding)

2.3 TextCNN vs LSTM

2.4 PyTorch实现文本分类

import torch
import torch.nn as nn

# 文本分类实现
print("=== 文本分类实战 ===")

# 模拟文本数据
vocab_size = 5000
embed_dim = 64
num_classes = 4
class_names = ['体育', '科技', '娱乐', '财经']

# 生成模拟数据
torch.manual_seed(42)
seq_len = 30
X_train = torch.randint(0, vocab_size, (500, seq_len))
y_train = torch.randint(0, num_classes, (500,))
X_test = torch.randint(0, vocab_size, (100, seq_len))
y_test = torch.randint(0, num_classes, (100,))

# TextCNN
class TextCNN(nn.Module):
    def __init__(self, vocab_size, embed_dim, num_classes, num_filters=100, filter_sizes=[3,4,5]):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, embed_dim)
        self.convs = nn.ModuleList([
            nn.Conv2d(1, num_filters, (fs, embed_dim)) for fs in filter_sizes
        ])
        self.fc = nn.Linear(num_filters * len(filter_sizes), num_classes)
        self.dropout = nn.Dropout(0.5)
    
    def forward(self, x):
        x = self.embedding(x).unsqueeze(1)  # B×1×L×D
        conv_outs = []
        for conv in self.convs:
            c = torch.relu(conv(x)).squeeze(3)  # B×F×(L-fs+1)
            c = torch.max(c, dim=2)[0]  # B×F
            conv_outs.append(c)
        x = torch.cat(conv_outs, dim=1)
        x = self.dropout(x)
        return self.fc(x)

# LSTM分类器
class LSTMClassifier(nn.Module):
    def __init__(self, vocab_size, embed_dim, hidden_dim, num_classes):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, embed_dim)
        self.lstm = nn.LSTM(embed_dim, hidden_dim, batch_first=True, bidirectional=True)
        self.fc = nn.Linear(hidden_dim * 2, num_classes)
    
    def forward(self, x):
        x = self.embedding(x)
        _, (h, _) = self.lstm(x)
        h = torch.cat([h[-2], h[-1]], dim=1)  # 双向最后隐状态
        return self.fc(h)

# 对比训练
models = {
    "TextCNN": TextCNN(vocab_size, embed_dim, num_classes),
    "BiLSTM": LSTMClassifier(vocab_size, embed_dim, 64, num_classes),
}

for name, model in models.items():
    optimizer = torch.optim.Adam(model.parameters(), lr=0.001)
    loss_fn = nn.CrossEntropyLoss()
    
    for epoch in range(50):
        optimizer.zero_grad()
        loss = loss_fn(model(X_train), y_train)
        loss.backward()
        optimizer.step()
    
    with torch.no_grad():
        train_acc = (model(X_train).argmax(1) == y_train).float().mean()
        test_acc = (model(X_test).argmax(1) == y_test).float().mean()
        params = sum(p.numel() for p in model.parameters())
    
    print(f"{name}: train_acc={train_acc:.2%}, test_acc={test_acc:.2%}, params={params:,}")

# 词嵌入可视化概念
print("\n=== 词嵌入关系 ===")
# 模拟预训练词向量
embedding = nn.Embedding(vocab_size, embed_dim)
word_pairs = [("国王", "女王"), ("男人", "女人"), ("中国", "北京")]
print("词向量类比: King - Man + Woman ≈ Queen")
print("v(国王) - v(男人) + v(女人) ≈ v(女王)")
print("这种语义关系是词嵌入的核心价值")

🔬 深入拓展

核心要点回顾

本课的核心知识点构成了实战项目学习的重要一环。让我们从更高维度审视这些知识之间的关系：

• 理论层面：理解数学原理是正确应用的前提，每个公式背后都有直觉
• 工程层面：PyTorch提供了高效实现，但理解底层原理才能正确调试
• 实践层面：没有银弹，不同场景需要不同的策略组合

常见陷阱与最佳实践

与前后课程的联系

深度学习是一个整体——每一课的知识都不是孤立的：

• 优化器（第5课）的选择影响正则化（第6课）的效果
• 初始化（第7课）决定了训练能否开始
• CNN（第8-14课）的成功依赖训练技巧（第22-28课）
• Transformer（第20-21课）结合了注意力和位置编码
• 实战项目（第29-35课）综合运用所有知识

📖 延伸阅读

📝 练习

💡 文本分类技巧

分类优化

• 预训练词向量很重要
• TextCNN适合短文本
• BERT微调效果最好
• 处理类别不平衡

常见错误与解决方案

性能优化建议

🔬 深度拓展：从理论到实践

核心概念网络

理解本课内容需要将其置于更大的知识网络中。每个核心概念都不是孤立的，它们相互关联、相互支撑：

• 数学基础：线性代数、微积分、概率论是理解所有深度学习算法的根基
• 计算基础：自动微分、GPU并行计算让理论变为现实
• 工程基础：数据处理、模型设计、训练技巧的有机结合
• 领域知识：CV、NLP、语音等领域的先验知识指导模型设计

关键洞察与直觉

建立正确的直觉比记住公式更重要：

与其他课程的关联

本课作为实战项目阶段的核心内容，与前后课程紧密关联：

面试常见问题

进阶学习路径

掌握本课内容后，可以通过以下方式继续深入：

• 阅读本课相关的一手论文，理解原始动机和推导
• 复现论文的实验结果，验证自己的理解
• 尝试改进方法，思考为什么现有方法有局限
• 在真实项目或Kaggle竞赛中应用
• 关注该方向的最新进展（arXiv、顶级会议）