第7课：权重初始化

📖 本课概述

好的初始化可以加速收敛、避免梯度消失/爆炸。本课深入分析Xavier、Kaiming等初始化方法，理解它们为什么有效。

🎯 一、为什么初始化很重要

1.1 全零初始化的问题

如果所有权重初始化为0，同一层的所有神经元输出相同，梯度也相同，对称性无法打破。

1.2 随机初始化的方差分析

📐 二、Xavier初始化

🔥 三、Kaiming初始化

3.1 PyTorch验证

import torch
import torch.nn as nn
import math

# 不同初始化方法的对比
torch.manual_seed(42)
input_dim = 100
hidden_dims = [256, 256, 256, 256, 256]

def test_init(init_fn, name):
    layers = []
    prev_dim = input_dim
    for h in hidden_dims:
        linear = nn.Linear(prev_dim, h)
        init_fn(linear.weight)
        nn.zeros_(linear.bias)
        layers.append(linear)
        layers.append(nn.ReLU())
        prev_dim = h
    layers.append(nn.Linear(prev_dim, 10))
    model = nn.Sequential(*layers)
    
    x = torch.randn(32, input_dim)
    with torch.no_grad():
        output = model(x)
    
    # 检查每层输出的方差
    x_temp = x.clone()
    variances = []
    for layer in model[:-1]:
        x_temp = layer(x_temp)
        if isinstance(layer, nn.ReLU):
            variances.append(x_temp.var().item())
    
    print(f"{name:>25}: 输出方差={output.var().item():.6f}, 层方差={[f'{v:.4f}' for v in variances]}")

test_init(lambda w: nn.init.zeros_(w), "全零初始化")
test_init(lambda w: nn.init.normal_(w, std=0.01), "正态(0,0.01)")
test_init(lambda w: nn.init.xavier_normal_(w), "Xavier正态")
test_init(lambda w: nn.init.xavier_uniform_(w), "Xavier均匀")
test_init(lambda w: nn.init.kaiming_normal_(w, mode='fan_in'), "Kaiming(ReLU)")
test_init(lambda w: nn.init.kaiming_uniform_(w, mode='fan_in'), "Kaiming均匀(ReLU)")

# Kaiming初始化推导验证
print("\n=== Kaiming初始化方差验证 ===")
fan_in = 256
# ReLU: E[x²] = 0.5 * E[x²] (一半被置零)
# Var(y) = fan_in * Var(W) * 0.5 * Var(x)
# 令 Var(y) = Var(x): Var(W) = 2/fan_in
print(f"fan_in = {fan_in}")
print(f"Kaiming方差 = 2/{fan_in} = {2/fan_in:.6f}")
print(f"Kaiming标准差 = √(2/{fan_in}) = {math.sqrt(2/fan_in):.6f}")

w = torch.empty(256, 256)
nn.init.kaiming_normal_(w, mode='fan_in')
print(f"实际方差: {w.var().item():.6f}")
print(f"实际标准差: {w.std().item():.6f}")

🔬 四、初始化的数学分析

4.1 Xavier初始化推导

4.2 Kaiming初始化推导

4.3 初始化失败的案例

📖 五、延伸阅读

📝 练习

💡 六、初始化实践技巧

6.1 偏置初始化

6.2 预训练权重初始化

最佳初始化 = 有人在相关任务上训练好的权重

• ImageNet预训练 → CV任务的起点
• BERT预训练 → NLP任务的起点
• 自监督预训练 → 无标注数据时的选择

6.3 初始化与训练稳定性的关系

好的初始化不仅加速收敛，还能让训练成为可能。深层网络尤其敏感：

• 50层网络：Kaiming初始化可以训练，Xavier可能困难
• 100+层网络：需要残差连接配合正确的初始化
• Transformer：需要配合Warmup策略

🔬 深度拓展：从理论到实践

核心概念网络

理解本课内容需要将其置于更大的知识网络中。每个核心概念都不是孤立的，它们相互关联、相互支撑：

• 数学基础：线性代数、微积分、概率论是理解所有深度学习算法的根基
• 计算基础：自动微分、GPU并行计算让理论变为现实
• 工程基础：数据处理、模型设计、训练技巧的有机结合
• 领域知识：CV、NLP、语音等领域的先验知识指导模型设计

关键洞察与直觉

建立正确的直觉比记住公式更重要：

与其他课程的关联

本课作为神经网络基础阶段的核心内容，与前后课程紧密关联：

面试常见问题

进阶学习路径

掌握本课内容后，可以通过以下方式继续深入：

• 阅读本课相关的一手论文，理解原始动机和推导
• 复现论文的实验结果，验证自己的理解
• 尝试改进方法，思考为什么现有方法有局限
• 在真实项目或Kaggle竞赛中应用
• 关注该方向的最新进展（arXiv、顶级会议）

📐 补充：知识体系梳理

核心公式速查

将本课涉及的关键公式整理如下，方便回顾和记忆。理解每个公式背后的直觉比死记硬背更重要——试着用自然语言解释每个公式在做什么。

易混淆概念辨析

代码模板

以下是本课核心概念的标准PyTorch实现模板，可以直接用于实际项目：

• 定义模型时，继承nn.Module，实现__init__和forward
• 训练循环：zero_grad → forward → loss → backward → step
• 验证时使用model.eval()和torch.no_grad()
• 保存模型用torch.save(model.state_dict())
• 加载模型用model.load_state_dict(torch.load())