第4课：损失函数

📖 本课概述

损失函数衡量模型预测与真实标签的差距，是训练优化的目标。选择正确的损失函数对模型性能至关重要。本课深入分析回归和分类中各种损失函数的数学性质与适用场景。

📐 一、回归损失函数

1.1 均方误差 (MSE / L2 Loss)

MSE对大误差惩罚更重（平方），因此对异常值敏感。

1.2 平均绝对误差 (MAE / L1 Loss)

MAE对异常值更鲁棒，但在0点不可导，收敛可能较慢。

1.3 Huber Loss (Smooth L1)

Huber结合了MSE和MAE的优点：小误差用MSE（平滑），大误差用MAE（鲁棒）。

import torch
import torch.nn as nn
import torch.nn.functional as F
import math

# 常见损失函数演示
print("=== 回归损失函数 ===")

# 模拟数据
pred = torch.tensor([2.5, 0.0, 2.1, 7.8])
target = torch.tensor([3.0, -0.5, 2.0, 8.0])

mse = F.mse_loss(pred, target)
mae = F.l1_loss(pred, target)
huber = F.smooth_l1_loss(pred, target)

print(f"预测值: {pred.tolist()}")
print(f"真实值: {target.tolist()}")
print(f"MSE  Loss: {mse.item():.6f}")
print(f"MAE  Loss: {mae.item():.6f}")
print(f"Huber Loss: {huber.item():.6f}")

# MSE vs MAE 对异常值的敏感性
print("\n=== 异常值敏感性 ===")
pred_clean = torch.tensor([1.0, 2.0, 3.0, 4.0])
target_clean = torch.tensor([1.1, 2.2, 2.8, 4.5])

pred_outlier = torch.tensor([1.0, 2.0, 3.0, 100.0])
target_outlier = torch.tensor([1.1, 2.2, 2.8, 4.5])

print(f"无异常值: MSE={F.mse_loss(pred_clean, target_clean):.4f}, MAE={F.l1_loss(pred_clean, target_clean):.4f}")
print(f"有异常值: MSE={F.mse_loss(pred_outlier, target_outlier):.4f}, MAE={F.l1_loss(pred_outlier, target_outlier):.4f}")
print(f"MSE对异常值放大倍数: {F.mse_loss(pred_outlier, target_outlier)/F.mse_loss(pred_clean, target_clean):.1f}x")
print(f"MAE对异常值放大倍数: {F.l1_loss(pred_outlier, target_outlier)/F.l1_loss(pred_clean, target_clean):.1f}x")

🎯 二、分类损失函数

2.1 交叉熵损失 (Cross-Entropy)

2.2 Focal Loss

import torch
import torch.nn as nn
import torch.nn.functional as F
import math

print("=== 分类损失函数 ===")

# 二分类
logits = torch.tensor([0.8, -0.5, 1.2, -2.0])
labels = torch.tensor([1.0, 0.0, 1.0, 0.0])

bce = F.binary_cross_entropy_with_logits(logits, labels)
print(f"二分类 BCE Loss: {bce.item():.6f}")

# 手动计算BCE
probs = torch.sigmoid(logits)
manual_bce = -(labels * torch.log(probs + 1e-8) + (1-labels) * torch.log(1-probs + 1e-8)).mean()
print(f"手动计算 BCE:    {manual_bce.item():.6f}")

# 多分类
logits_multi = torch.tensor([[2.0, 1.0, 0.1], [0.5, 2.5, 0.3], [0.1, 0.2, 3.0]])
labels_multi = torch.tensor([0, 1, 2])

ce = F.cross_entropy(logits_multi, labels_multi)
print(f"\n多分类 Cross Entropy Loss: {ce.item():.6f}")

# 手动计算
probs_multi = F.softmax(logits_multi, dim=1)
print(f"Softmax概率: {probs_multi.tolist()}")
manual_ce = 0
for i in range(3):
    manual_ce -= torch.log(probs_multi[i, labels_multi[i]] + 1e-8)
manual_ce /= 3
print(f"手动计算 CE: {manual_ce.item():.6f}")

# Focal Loss演示
print("\n=== Focal Loss vs CE Loss ===")
gamma = 2.0
for conf in [0.9, 0.7, 0.5, 0.3]:
    ce_val = -math.log(conf) if conf > 0 else 20.0
    fl_val = (1 - conf)**gamma * ce_val
    print(f"正确类概率={conf:.1f}: CE={ce_val:.4f}, Focal={fl_val:.4f}, 压缩比={fl_val/ce_val:.4f}")

📋 三、损失函数选择指南

🔬 四、高级损失函数

4.1 Label Smoothing

4.2 对比损失(Contrastive Loss)

4.3 KL散度

4.4 损失函数设计原则

📖 五、延伸阅读

📝 练习

💡 六、实践技巧总结

6.1 损失函数数值稳定性

实际实现中，数值稳定性至关重要：

6.2 多任务损失加权

当同时优化多个损失时，如何平衡权重？

• 固定权重：手动调参，简单但不灵活
• 不确定性加权：Kendall et al. (2018) 学习每个任务的σ，用1/σ²加权
• 动态权重平均：根据各任务的损失变化率调整权重
• GradNorm：根据梯度范数平衡各任务的训练速度

6.3 不平衡数据的损失设计

🔬 深度拓展：从理论到实践

核心概念网络

理解本课内容需要将其置于更大的知识网络中。每个核心概念都不是孤立的，它们相互关联、相互支撑：

• 数学基础：线性代数、微积分、概率论是理解所有深度学习算法的根基
• 计算基础：自动微分、GPU并行计算让理论变为现实
• 工程基础：数据处理、模型设计、训练技巧的有机结合
• 领域知识：CV、NLP、语音等领域的先验知识指导模型设计

关键洞察与直觉

建立正确的直觉比记住公式更重要：

与其他课程的关联

本课作为神经网络基础阶段的核心内容，与前后课程紧密关联：

面试常见问题

进阶学习路径

掌握本课内容后，可以通过以下方式继续深入：

• 阅读本课相关的一手论文，理解原始动机和推导
• 复现论文的实验结果，验证自己的理解
• 尝试改进方法，思考为什么现有方法有局限
• 在真实项目或Kaggle竞赛中应用
• 关注该方向的最新进展（arXiv、顶级会议）