1. 最大间隔分类器
min ½‖w‖² s.t. yᵢ(wᵀxᵢ+b)≥1 → 凸QP，唯一全局最优
对偶: min ½Σαᵢαⱼyᵢyⱼxᵢᵀxⱼ-Σαᵢ s.t. αᵢ≥0,Σαᵢyᵢ=0
支持向量: αᵢ>0的样本点，决定分类边界。大部分αᵢ=0→稀疏性。
2. 软间隔
min ½‖w‖²+CΣξᵢ s.t. yᵢ(wᵀx+b)≥1-ξᵢ
C大→间隔窄(可能过拟合)；C小→间隔宽(可能欠拟合)。等价于合页损失+L2正则。
3. 核函数
K(xᵢ,xⱼ) = φ(xᵢ)ᵀφ(xⱼ)，Mercer定理：核矩阵半正定。
| 核函数 | 公式 | 参数 |
|---|
| 线性 | xᵀz | 无 |
| RBF | exp(-γ‖x-z‖²) | γ |
| 多项式 | (γxᵀz+r)ᵈ | γ,r,d |
RBF最常用。γ大→复杂边界→过拟合风险。
4. SVM回归(SVR)
ε-不敏感损失: L = max(0, |y-f(x)|-ε)。在ε管内不产生损失。
5. 优缺点
优点：高维好、仅依赖支持向量、全局最优、核技巧。缺点：大规模慢O(n²~n³)、参数选择难、不直接输出概率
Python代码实现与验证
💡 代码说明：以下代码使用 Python / Scikit-learn 实现，已实机运行验证。
完整代码
import numpy as np
from sklearn.svm import SVC, SVR
from sklearn.datasets import make_moons
from sklearn.model_selection import cross_val_score, GridSearchCV
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline
np.random.seed(42)
X, y = make_moons(500, noise=0.2, random_state=42)
print("=== 不同核函数 ===")
for k in ['linear','rbf','poly']:
pipe = Pipeline([('s',StandardScaler()),('svm',SVC(kernel=k,random_state=42))])
s = cross_val_score(pipe, X, y, cv=5)
print("kernel={}: 准确率={:.4f}".format(k, s.mean()))
print("\n=== C参数影响 ===")
for C in [0.01,0.1,1,10,100]:
pipe = Pipeline([('s',StandardScaler()),('svm',SVC(kernel='rbf',C=C,random_state=42))])
s = cross_val_score(pipe, X, y, cv=5)
print("C={}: 准确率={:.4f}".format(C, s.mean()))
print("\n=== GridSearchCV ===")
pipe = Pipeline([('s',StandardScaler()),('svm',SVC())])
grid = GridSearchCV(pipe, {'svm__C':[0.1,1,10],'svm__kernel':['rbf','poly'],'svm__gamma':['scale','auto']}, cv=5, n_jobs=-1)
grid.fit(X,y)
print("最佳: {} CV={:.4f}".format(grid.best_params_, grid.best_score_))
运行结果
=== 不同核函数 ===
kernel=linear: 准确率=0.8540
kernel=rbf: 准确率=0.9720
kernel=poly: 准确率=0.8620
=== C参数影响 ===
C=0.01: 准确率=0.8680
C=0.1: 准确率=0.9180
C=1: 准确率=0.9720
C=10: 准确率=0.9760
C=100: 准确率=0.9740
=== GridSearchCV ===
最佳: {'svm__C': 10, 'svm__gamma': 'scale', 'svm__kernel': 'rbf'} CV=0.9760
✅ 验证通过
深入理解：算法选择的实践智慧
没有免费午餐定理
Wolpert和Macready在1997年证明：在所有可能的问题上，没有任何算法的平均表现优于其他算法。这意味着算法选择必须基于问题特性。
算法选择流程
- 基线模型：先用逻辑回归/线性回归建立基线
- 数据特性分析：样本量、特征数、线性/非线性、噪声水平
- 尝试强模型：随机森林/GBDT/XGBoost
- 特征工程：比模型选择更重要
- 模型融合：多模型投票/堆叠通常优于单模型
模型复杂度 vs 数据量
| 数据量 | 推荐模型 | 原因 |
|---|
| <1000 | 逻辑回归/朴素贝叶斯 | 简单模型避免过拟合 |
| 1K-10K | SVM/随机森林 | 平衡复杂度与数据量 |
| 10K-100K | GBDT/XGBoost | 足够数据支撑复杂模型 |
| >100K | 深度学习/大规模集成 | 大数据释放模型潜力 |
偏差-方差权衡
模型误差 = 偏差² + 方差 + 不可约误差
- 高偏差（欠拟合）：模型太简单，训练误差和测试误差都高 → 增加模型复杂度
- 高方差（过拟合）：模型太复杂，训练误差低但测试误差高 → 正则化/增加数据/简化模型
- Bias-Variance Tradeoff：最优点在两者之间，交叉验证帮助我们找到这个点
实践指南与进阶话题
监督学习的工程实践
在实际项目中，算法选择只是工作的一小部分。更关键的是数据管道、特征工程和模型监控。以下是工程实践中的关键决策点：
数据划分策略：时间序列数据必须按时间划分，不能用随机划分。有用户维度的数据必须按用户划分(GroupKFold)。类别不平衡数据必须用StratifiedKFold。划分策略选错，所有结论都是不可靠的。
特征工程优先级：在实际项目中，80%的模型性能提升来自特征工程，而非模型调优。好的特征能让简单模型表现优异；差的特征让最复杂的模型也无力回天。优先做特征工程，再考虑模型选择。
模型可解释性：在金融、医疗等领域，可解释性是法律要求。SHAP值是目前最流行的局部解释方法，它可以告诉你每个特征对单个预测的贡献。部分依赖图(PDP)提供全局解释，展示特征值与预测值的关系。
模型选择的实用策略
没有"最好的模型"，只有"最适合当前数据和约束的模型"。决策框架：
- 数据量小(<1000)：逻辑回归、朴素贝叶斯、SVM
- 数据量中(1K-100K)：随机森林、GBDT、XGBoost
- 数据量大(>100K)：LightGBM、神经网络
- 需要可解释性：逻辑回归、决策树、规则列表
- 需要概率输出：逻辑回归、朴素贝叶斯(天然概率)
- 特征维度极高：线性模型+SVM、随机森林
集成学习的艺术
在Kaggle竞赛中，几乎所有冠军方案都使用集成学习。但集成不是简单堆叠模型：
- 多样性是关键：不同类型的模型(树+线性+距离)比同类型多模型更有效
- Stacking：用第一层模型的预测作为第二层的特征。5折CV内的Stacking避免数据泄露
- 权重优化：用验证集上的scipy.optimize确定最优权重，而非等权平均
- 简单优先：2-3个强模型的加权平均通常比10个模型的复杂堆叠更稳健
补充：关键概念与面试要点
核心直觉
- 正则化 = 给模型加"约束"，防止过度拟合噪声
- 交叉验证 = "用数据的不同部分反复检验模型"
- 特征选择 = "选择携带最多目标信息的特征"
- 集成学习 = "三个臭皮匠顶个诸葛亮"
- 降维 = "抓住主要矛盾"
常见面试问题
- L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
- 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
- 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
- K-Means为什么收敛到局部最优？（目标函数非凸）
- PCA为什么需要中心化？（否则第一主成分指向均值方向）
补充：关键概念与面试要点
核心直觉
- 正则化 = 给模型加"约束"，防止过度拟合噪声
- 交叉验证 = "用数据的不同部分反复检验模型"
- 特征选择 = "选择携带最多目标信息的特征"
- 集成学习 = "三个臭皮匠顶个诸葛亮"
- 降维 = "抓住主要矛盾"
常见面试问题
- L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
- 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
- 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
- K-Means为什么收敛到局部最优？（目标函数非凸）
- PCA为什么需要中心化？（否则第一主成分指向均值方向）
补充：关键概念与面试要点
核心直觉
- 正则化 = 给模型加"约束"，防止过度拟合噪声
- 交叉验证 = "用数据的不同部分反复检验模型"
- 特征选择 = "选择携带最多目标信息的特征"
- 集成学习 = "三个臭皮匠顶个诸葛亮"
- 降维 = "抓住主要矛盾"
常见面试问题
- L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
- 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
- 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
- K-Means为什么收敛到局部最优？（目标函数非凸）
- PCA为什么需要中心化？（否则第一主成分指向均值方向）
补充：关键概念与面试要点
核心直觉
- 正则化 = 给模型加"约束"，防止过度拟合噪声
- 交叉验证 = "用数据的不同部分反复检验模型"
- 特征选择 = "选择携带最多目标信息的特征"
- 集成学习 = "三个臭皮匠顶个诸葛亮"
- 降维 = "抓住主要矛盾"
常见面试问题
- L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
- 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
- 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
- K-Means为什么收敛到局部最优？（目标函数非凸）
- PCA为什么需要中心化？（否则第一主成分指向均值方向）
补充：关键概念与面试要点
核心直觉
- 正则化 = 给模型加"约束"，防止过度拟合噪声
- 交叉验证 = "用数据的不同部分反复检验模型"
- 特征选择 = "选择携带最多目标信息的特征"
- 集成学习 = "三个臭皮匠顶个诸葛亮"
- 降维 = "抓住主要矛盾"
常见面试问题
- L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
- 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
- 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
- K-Means为什么收敛到局部最优？（目标函数非凸）
- PCA为什么需要中心化？（否则第一主成分指向均值方向）
补充：关键概念与面试要点
核心直觉
- 正则化 = 给模型加"约束"，防止过度拟合噪声
- 交叉验证 = "用数据的不同部分反复检验模型"
- 特征选择 = "选择携带最多目标信息的特征"
- 集成学习 = "三个臭皮匠顶个诸葛亮"
- 降维 = "抓住主要矛盾"
常见面试问题
- L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
- 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
- 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
- K-Means为什么收敛到局部最优？（目标函数非凸）
- PCA为什么需要中心化？（否则第一主成分指向均值方向）
补充：关键概念与面试要点
核心直觉
- 正则化 = 给模型加"约束"，防止过度拟合噪声
- 交叉验证 = "用数据的不同部分反复检验模型"
- 特征选择 = "选择携带最多目标信息的特征"
- 集成学习 = "三个臭皮匠顶个诸葛亮"
- 降维 = "抓住主要矛盾"
常见面试问题
- L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
- 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
- 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
- K-Means为什么收敛到局部最优？（目标函数非凸）
- PCA为什么需要中心化？（否则第一主成分指向均值方向）
补充：关键概念与面试要点
核心直觉
- 正则化 = 给模型加"约束"，防止过度拟合噪声
- 交叉验证 = "用数据的不同部分反复检验模型"
- 特征选择 = "选择携带最多目标信息的特征"
- 集成学习 = "三个臭皮匠顶个诸葛亮"
- 降维 = "抓住主要矛盾"
常见面试问题
- L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
- 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
- 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
- K-Means为什么收敛到局部最优？（目标函数非凸）
- PCA为什么需要中心化？（否则第一主成分指向均值方向）
补充：关键概念与面试要点
核心直觉
- 正则化 = 给模型加"约束"，防止过度拟合噪声
- 交叉验证 = "用数据的不同部分反复检验模型"
- 特征选择 = "选择携带最多目标信息的特征"
- 集成学习 = "三个臭皮匠顶个诸葛亮"
- 降维 = "抓住主要矛盾"
常见面试问题
- L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
- 逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
- 随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
- K-Means为什么收敛到局部最优？（目标函数非凸）
- PCA为什么需要中心化？（否则第一主成分指向均值方向）
📝 课后练习
- 实现本课核心算法并用Scikit-learn验证
- 调优关键超参数并记录性能变化
- 用交叉验证评估模型稳定性
- 与之前学过的方法对比分析
- 分析本课方法的失效条件