第1课：感知机与线性回归

📖 本课概述

深度学习的一切始于最简单的模型——感知机和线性回归。本课将从数学原理出发，理解这些基础模型如何学习，并通过PyTorch实机验证。

🧠 一、感知机（Perceptron）

1.1 历史背景

1957年，Frank Rosenblatt提出感知机——第一个可以学习的人工神经网络模型。它是现代神经网络的鼻祖，虽然简单，却蕴含了深度学习最核心的思想：通过数据自动学习参数。

1.2 数学定义

1.3 几何直觉

在二维空间中，感知机画出一条直线 w₁x₁ + w₂x₂ + b = 0，将平面分成两个区域。权重向量 w 决定了直线的方向，偏置 b 决定了直线离原点的距离。

对于AND逻辑门，真值表为：

AND门是线性可分的——存在一条直线可以完美分开正例和负例，所以感知机可以学会。

1.4 PyTorch实现AND门

import torch
import torch.nn as nn

# 感知机实现
class Perceptron(nn.Module):
    def __init__(self, input_dim):
        super().__init__()
        self.linear = nn.Linear(input_dim, 1)
        self.activation = nn.Sigmoid()
    
    def forward(self, x):
        return self.activation(self.linear(x))

# AND 门训练
X = torch.tensor([[0,0],[0,1],[1,0],[1,1]], dtype=torch.float32)
y = torch.tensor([[0],[0],[0],[1]], dtype=torch.float32)

model = Perceptron(2)
criterion = nn.BCELoss()
optimizer = torch.optim.SGD(model.parameters(), lr=0.5)

losses = []
for epoch in range(1000):
    optimizer.zero_grad()
    output = model(X)
    loss = criterion(output, y)
    loss.backward()
    optimizer.step()
    if epoch % 200 == 0:
        losses.append(f"Epoch {epoch}: loss={loss.item():.6f}")

# 测试
with torch.no_grad():
    pred = model(X)
    results = (pred > 0.5).float()
    accuracy = (results == y).float().mean()

print("=== AND 门训练结果 ===")
for l in losses:
    print(l)
print(f"\n预测输出: {pred.squeeze().tolist()}")
print(f"四舍五入: {results.squeeze().tolist()}")
print(f"准确率: {accuracy.item():.2%}")

# 权重分析
w = model.linear.weight.data.squeeze()
b = model.linear.bias.data.item()
print(f"\n权重: w1={w[0]:.4f}, w2={w[1]:.4f}")
print(f"偏置: b={b:.4f}")
print(f"决策边界: {w[0]:.4f}*x1 + {w[1]:.4f}*x2 + {b:.4f} = 0")

📐 二、线性回归

2.1 问题定义

线性回归是机器学习最基本的模型，目标是找到最优的线性关系：

2.2 解析解 vs 梯度下降

线性回归有解析解（闭式解），但在深度学习中，我们用梯度下降来优化。因为：

• 深度网络没有解析解
• 梯度下降可扩展到任意复杂模型
• 随机梯度下降(SGD)支持大规模数据

2.3 梯度推导

2.4 PyTorch实现线性回归

import torch
import torch.nn as nn
import numpy as np

# 线性回归：y = 3x + 2 + noise
torch.manual_seed(42)
X = torch.linspace(0, 10, 100).reshape(-1, 1)
y = 3 * X + 2 + torch.randn(X.shape) * 1.5

model = nn.Linear(1, 1)
criterion = nn.MSELoss()
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)

loss_history = []
for epoch in range(500):
    optimizer.zero_grad()
    pred = model(X)
    loss = criterion(pred, y)
    loss.backward()
    optimizer.step()
    if epoch % 100 == 0:
        loss_history.append(loss.item())
        print(f"Epoch {epoch}: loss={loss.item():.4f}")

w = model.weight.item()
b = model.bias.item()
print(f"\n学习到的参数: w={w:.4f}, b={b:.4f}")
print(f"真实参数: w=3.0000, b=2.0000")
print(f"误差: w_err={abs(w-3):.4f}, b_err={abs(b-2):.4f}")

# 训练曲线数据
print("\n=== 训练曲线 ===")
for i, l in enumerate(loss_history):
    bar = "█" * int(l / max(loss_history) * 30)
    print(f"Epoch {i*100:4d}: {l:8.4f} {bar}")

🔬 三、深入理解

3.1 感知机与线性回归的统一视角

感知机和线性回归本质上都是线性模型，区别在于：

3.2 学习率的影响

学习率 η 是训练最重要的超参数之一：

• η 太小 → 收敛太慢，可能陷入局部最优
• η 太大 → 震荡甚至发散
• η 合适 → 快速稳定收敛

🔬 四、从感知机到深度网络

4.1 多层感知机(MLP)

单层感知机只能解决线性可分问题。但如果把多个感知机层叠起来，就能解决XOR等非线性问题。

XOR问题的解决：第一层将输入映射到新的空间，使得原来线性不可分的数据变得可分。

4.2 通用近似定理

1989年，Cybenko证明：具有单个隐藏层的前馈网络，只要隐藏层足够宽，可以近似任意连续函数到任意精度。但实践中，深度比宽度更高效——更深的网络可以用指数级更少的神经元表达同样的函数。

4.3 线性回归的假设与局限

📖 五、延伸阅读

📝 练习

💡 六、实践技巧总结

6.1 感知机实现Checklist

1. 确保数据已归一化（零均值、单位方差）
2. 使用合适的学习率（Sigmoid输出用0.1-1.0）
3. 检查梯度是否正常（不为0、不爆炸）
4. 监控训练/验证损失曲线
5. 验证决策边界的合理性

6.2 调试技巧

6.3 线性回归在深度学习中的角色

虽然线性回归看起来简单，但它是理解深度学习的基石：

• 最后一层全连接通常就是线性回归（分类时加softmax）
• 残差网络的核心思想：学习残差而非完整映射
• 线性探针(Linear Probing)用于评估特征质量