第08课：线性回归

1. 线性回归模型

Y = Xw + ε, 最小化 L(w) = ‖Y-Xw‖²

解析解: ŵ = (XᵀX)⁻¹XᵀY（高斯-马尔可夫定理：BLUE）

2. 梯度下降

wₜ₊₁ = wₜ - η∇L(wₜ)。变体：BGD(全量)/SGD(单样本)/Mini-batch(折中)

学习率太大→震荡/发散；太小→收敛慢。自适应：AdaGrad, RMSProp, Adam

3. 正则化

Ridge(L2): L+λ‖w‖² → ŵ=(XᵀX+λI)⁻¹XᵀY，系数收缩但不会为0

Lasso(L1): L+λ‖w‖₁ → 稀疏解，自动特征选择

ElasticNet: L+λ₁‖w‖₁+λ₂‖w‖²，兼顾稀疏性和稳定性

4. 多项式回归

Y = w₀+w₁x+w₂x²+...，本质仍是对参数线性的回归，通过特征映射引入非线性

5. 评估指标

MSE/RMSE(对大误差敏感)、MAE(稳健)、R²(可解释)、调整R²(惩罚多余变量)

Python代码实现与验证

完整代码

import numpy as np
from sklearn.linear_model import LinearRegression, Ridge, Lasso, ElasticNet
from sklearn.preprocessing import PolynomialFeatures
from sklearn.pipeline import Pipeline
from sklearn.model_selection import cross_val_score
np.random.seed(42)

X = np.random.uniform(-3, 3, 200).reshape(-1,1)
y = 2 + 1.5*X.ravel() + 0.5*X.ravel()**2 + np.random.normal(0, 1, 200)

print("=== 线性回归 ===")
lr = LinearRegression()
lr.fit(X, y)
print("R2={:.4f}".format(lr.score(X,y)))

print("\n=== 多项式回归 ===")
for d in [1,2,3,5]:
    pipe = Pipeline([('poly',PolynomialFeatures(d)),('lr',LinearRegression())])
    s = cross_val_score(pipe, X, y, cv=5, scoring='r2')
    print("degree={}: R2={:.4f}(+/-{:.4f})".format(d, s.mean(), s.std()))

print("\n=== 正则化 ===")
Xm = np.random.randn(200,20)
ym = Xm[:,0]*3 + Xm[:,3]*(-2) + np.random.randn(200)*0.5
for name, mdl in [('Ridge',Ridge(1)),('Lasso',Lasso(0.1)),('ElasticNet',ElasticNet(0.1,l1_ratio=0.5))]:
    s = cross_val_score(mdl, Xm, ym, cv=5, scoring='r2')
    mdl.fit(Xm, ym)
    nnz = np.sum(np.abs(mdl.coef_)>0.01)
    print("{}: R2={:.4f} 非零系数={}/20".format(name, s.mean(), nnz))

运行结果

深入理解：算法选择的实践智慧

没有免费午餐定理

Wolpert和Macready在1997年证明：在所有可能的问题上，没有任何算法的平均表现优于其他算法。这意味着算法选择必须基于问题特性。

算法选择流程

模型复杂度 vs 数据量

偏差-方差权衡

模型误差 = 偏差² + 方差 + 不可约误差

• 高偏差（欠拟合）：模型太简单，训练误差和测试误差都高 → 增加模型复杂度
• 高方差（过拟合）：模型太复杂，训练误差低但测试误差高 → 正则化/增加数据/简化模型
• Bias-Variance Tradeoff：最优点在两者之间，交叉验证帮助我们找到这个点

实践指南与进阶话题

监督学习的工程实践

在实际项目中，算法选择只是工作的一小部分。更关键的是数据管道、特征工程和模型监控。以下是工程实践中的关键决策点：

模型选择的实用策略

没有"最好的模型"，只有"最适合当前数据和约束的模型"。决策框架：

• 数据量小(<1000)：逻辑回归、朴素贝叶斯、SVM
• 数据量中(1K-100K)：随机森林、GBDT、XGBoost
• 数据量大(>100K)：LightGBM、神经网络
• 需要可解释性：逻辑回归、决策树、规则列表
• 需要概率输出：逻辑回归、朴素贝叶斯(天然概率)
• 特征维度极高：线性模型+SVM、随机森林

集成学习的艺术

在Kaggle竞赛中，几乎所有冠军方案都使用集成学习。但集成不是简单堆叠模型：

• 多样性是关键：不同类型的模型(树+线性+距离)比同类型多模型更有效
• Stacking：用第一层模型的预测作为第二层的特征。5折CV内的Stacking避免数据泄露
• 权重优化：用验证集上的scipy.optimize确定最优权重，而非等权平均
• 简单优先：2-3个强模型的加权平均通常比10个模型的复杂堆叠更稳健

补充：关键概念与面试要点

核心直觉

• 正则化 = 给模型加"约束"，防止过度拟合噪声
• 交叉验证 = "用数据的不同部分反复检验模型"
• 特征选择 = "选择携带最多目标信息的特征"
• 集成学习 = "三个臭皮匠顶个诸葛亮"
• 降维 = "抓住主要矛盾"

常见面试问题

1. L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
2. 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
3. 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
4. K-Means为什么收敛到局部最优？（目标函数非凸）
5. PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

• 正则化 = 给模型加"约束"，防止过度拟合噪声
• 交叉验证 = "用数据的不同部分反复检验模型"
• 特征选择 = "选择携带最多目标信息的特征"
• 集成学习 = "三个臭皮匠顶个诸葛亮"
• 降维 = "抓住主要矛盾"

常见面试问题

1. L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
2. 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
3. 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
4. K-Means为什么收敛到局部最优？（目标函数非凸）
5. PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

• 正则化 = 给模型加"约束"，防止过度拟合噪声
• 交叉验证 = "用数据的不同部分反复检验模型"
• 特征选择 = "选择携带最多目标信息的特征"
• 集成学习 = "三个臭皮匠顶个诸葛亮"
• 降维 = "抓住主要矛盾"

常见面试问题

1. L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
2. 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
3. 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
4. K-Means为什么收敛到局部最优？（目标函数非凸）
5. PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

• 正则化 = 给模型加"约束"，防止过度拟合噪声
• 交叉验证 = "用数据的不同部分反复检验模型"
• 特征选择 = "选择携带最多目标信息的特征"
• 集成学习 = "三个臭皮匠顶个诸葛亮"
• 降维 = "抓住主要矛盾"

常见面试问题

1. L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
2. 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
3. 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
4. K-Means为什么收敛到局部最优？（目标函数非凸）
5. PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

• 正则化 = 给模型加"约束"，防止过度拟合噪声
• 交叉验证 = "用数据的不同部分反复检验模型"
• 特征选择 = "选择携带最多目标信息的特征"
• 集成学习 = "三个臭皮匠顶个诸葛亮"
• 降维 = "抓住主要矛盾"

常见面试问题

1. L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
2. 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
3. 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
4. K-Means为什么收敛到局部最优？（目标函数非凸）
5. PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

• 正则化 = 给模型加"约束"，防止过度拟合噪声
• 交叉验证 = "用数据的不同部分反复检验模型"
• 特征选择 = "选择携带最多目标信息的特征"
• 集成学习 = "三个臭皮匠顶个诸葛亮"
• 降维 = "抓住主要矛盾"

常见面试问题

1. L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
2. 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
3. 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
4. K-Means为什么收敛到局部最优？（目标函数非凸）
5. PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

• 正则化 = 给模型加"约束"，防止过度拟合噪声
• 交叉验证 = "用数据的不同部分反复检验模型"
• 特征选择 = "选择携带最多目标信息的特征"
• 集成学习 = "三个臭皮匠顶个诸葛亮"
• 降维 = "抓住主要矛盾"

常见面试问题

1. L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
2. 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
3. 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
4. K-Means为什么收敛到局部最优？（目标函数非凸）
5. PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

• 正则化 = 给模型加"约束"，防止过度拟合噪声
• 交叉验证 = "用数据的不同部分反复检验模型"
• 特征选择 = "选择携带最多目标信息的特征"
• 集成学习 = "三个臭皮匠顶个诸葛亮"
• 降维 = "抓住主要矛盾"

常见面试问题

1. L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
2. 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
3. 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
4. K-Means为什么收敛到局部最优？（目标函数非凸）
5. PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

• 正则化 = 给模型加"约束"，防止过度拟合噪声
• 交叉验证 = "用数据的不同部分反复检验模型"
• 特征选择 = "选择携带最多目标信息的特征"
• 集成学习 = "三个臭皮匠顶个诸葛亮"
• 降维 = "抓住主要矛盾"

常见面试问题

1. L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
2. 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
3. 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
4. K-Means为什么收敛到局部最优？（目标函数非凸）
5. PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

• 正则化 = 给模型加"约束"，防止过度拟合噪声
• 交叉验证 = "用数据的不同部分反复检验模型"
• 特征选择 = "选择携带最多目标信息的特征"
• 集成学习 = "三个臭皮匠顶个诸葛亮"
• 降维 = "抓住主要矛盾"

常见面试问题

1. L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
2. 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
3. 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
4. K-Means为什么收敛到局部最优？（目标函数非凸）
5. PCA为什么需要中心化？（否则第一主成分指向均值方向）