第23课：超参搜索

📖 本课概述

超参数选择对模型性能影响巨大。本课从网格搜索到贝叶斯优化，掌握系统化的超参调优方法。

🎯 一、关键超参数

📐 二、搜索策略

2.1 网格搜索

穷举所有组合。简单但效率低——维度灾难！

2.2 随机搜索

2.3 贝叶斯优化

用概率模型（高斯过程/TPE）预测哪些区域值得探索，智能选择下一个试验点。

2.4 PyTorch实现超参搜索

import torch
import torch.nn as nn
import random

# 超参搜索实现
torch.manual_seed(42)
X = torch.randn(500, 10)
y = (X[:, 0] * 2 + X[:, 1] > 0).long()
X_train, X_val = X[:400], X[400:]
y_train, y_val = y[:400], y[400:]

def evaluate(lr, hidden_dim, dropout, weight_decay, epochs=50):
    model = nn.Sequential(
        nn.Linear(10, hidden_dim), nn.ReLU(), nn.Dropout(dropout),
        nn.Linear(hidden_dim, hidden_dim//2), nn.ReLU(),
        nn.Linear(hidden_dim//2, 2)
    )
    opt = torch.optim.Adam(model.parameters(), lr=lr, weight_decay=weight_decay)
    loss_fn = nn.CrossEntropyLoss()
    
    for _ in range(epochs):
        model.train()
        opt.zero_grad()
        loss = loss_fn(model(X_train), y_train)
        loss.backward()
        opt.step()
    
    model.eval()
    with torch.no_grad():
        val_acc = (model(X_val).argmax(1) == y_val).float().mean()
    return val_acc.item()

# 随机搜索
print("=== 随机搜索 ===")
best_acc = 0
best_params = {}
results = []

for trial in range(10):
    lr = 10**random.uniform(-4, -2)
    hidden = random.choice([32, 64, 128, 256])
    dropout = random.uniform(0.0, 0.5)
    wd = 10**random.uniform(-5, -2)
    
    acc = evaluate(lr, hidden, dropout, wd)
    results.append((lr, hidden, dropout, wd, acc))
    
    if acc > best_acc:
        best_acc = acc
        best_params = {'lr': lr, 'hidden': hidden, 'dropout': dropout, 'wd': wd}
    
    print(f"Trial {trial+1}: lr={lr:.6f}, hidden={hidden}, dropout={dropout:.2f}, wd={wd:.6f} → acc={acc:.2%}")

print(f"\n最佳: acc={best_acc:.2%}, params={best_params}")

# 网格搜索（小规模）
print("\n=== 网格搜索（对比）===")
grid_results = []
for lr in [0.0001, 0.001, 0.01]:
    for hidden in [64, 128]:
        acc = evaluate(lr, hidden, 0.2, 0.001)
        grid_results.append((lr, hidden, acc))
        print(f"lr={lr}, hidden={hidden} → acc={acc:.2%}")

best_grid = max(grid_results, key=lambda x: x[2])
print(f"网格搜索最佳: lr={best_grid[0]}, hidden={best_grid[1]}, acc={best_grid[2]:.2%}")

🔬 深入拓展

核心要点回顾

本课的核心知识点构成了训练技巧学习的重要一环。让我们从更高维度审视这些知识之间的关系：

• 理论层面：理解数学原理是正确应用的前提，每个公式背后都有直觉
• 工程层面：PyTorch提供了高效实现，但理解底层原理才能正确调试
• 实践层面：没有银弹，不同场景需要不同的策略组合

常见陷阱与最佳实践

与前后课程的联系

深度学习是一个整体——每一课的知识都不是孤立的：

• 优化器（第5课）的选择影响正则化（第6课）的效果
• 初始化（第7课）决定了训练能否开始
• CNN（第8-14课）的成功依赖训练技巧（第22-28课）
• Transformer（第20-21课）结合了注意力和位置编码
• 实战项目（第29-35课）综合运用所有知识

📖 延伸阅读

📝 练习

💡 超参搜索实践

搜索策略

• 先调学习率（影响最大）
• 随机搜索优于网格搜索
• Early Stopping节省资源
• 记录所有实验结果

常见错误与解决方案

性能优化建议

🔬 深度拓展：从理论到实践

核心概念网络

理解本课内容需要将其置于更大的知识网络中。每个核心概念都不是孤立的，它们相互关联、相互支撑：

• 数学基础：线性代数、微积分、概率论是理解所有深度学习算法的根基
• 计算基础：自动微分、GPU并行计算让理论变为现实
• 工程基础：数据处理、模型设计、训练技巧的有机结合
• 领域知识：CV、NLP、语音等领域的先验知识指导模型设计

关键洞察与直觉

建立正确的直觉比记住公式更重要：

与其他课程的关联

本课作为训练技巧阶段的核心内容，与前后课程紧密关联：

面试常见问题

进阶学习路径

掌握本课内容后，可以通过以下方式继续深入：

• 阅读本课相关的一手论文，理解原始动机和推导
• 复现论文的实验结果，验证自己的理解
• 尝试改进方法，思考为什么现有方法有局限
• 在真实项目或Kaggle竞赛中应用
• 关注该方向的最新进展（arXiv、顶级会议）