第09课 - 逻辑回归 | 机器学习从零到实战

1. Sigmoid函数与模型

σ(z) = 1/(1+e⁻ᶻ)，输出(0,1)，对数几率线性：log(p/(1-p)) = wᵀx

2. 极大似然估计

似然 L(w) = Π σ(wᵀxᵢ)^yᵢ (1-σ(wᵀxᵢ))^(1-yᵢ)

最大化似然 ⟺ 最小化交叉熵损失 → 梯度 ∂ℓ/∂w = Xᵀ(y-ŷ)

3. 多分类

OvR: K个二分类器。Softmax: P(Y=k|x) = e^(wₖᵀx)/Σe^(wⱼᵀx)

4. 正则化与概率校准

L1/L2正则化。逻辑回归天然输出良好校准的概率。其他模型可用Platt Scaling或Isotonic Regression校准。

Python代码实现与验证

💡 代码说明：以下代码使用 Python / Scikit-learn 实现，已实机运行验证。

完整代码


import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.datasets import make_classification, load_iris
from sklearn.model_selection import cross_val_score
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline
from sklearn.metrics import classification_report
np.random.seed(42)

X, y = make_classification(n_samples=500, n_features=4, random_state=42)
pipe = Pipeline([('s',StandardScaler()),('lr',LogisticRegression())])
s = cross_val_score(pipe, X, y, cv=5)
print("二分类 CV准确率: {:.4f}(+/-{:.4f})".format(s.mean(), s.std()))

pipe.fit(X,y)
print("\n分类报告:\n{}".format(classification_report(y, pipe.predict(X))))

iris = load_iris()
pipe2 = Pipeline([('s',StandardScaler()),('lr',LogisticRegression(multi_class='multinomial'))])
s2 = cross_val_score(pipe2, iris.data, iris.target, cv=5)
print("Iris多分类 CV: {:.4f}".format(s2.mean()))

pipe2.fit(iris.data, iris.target)
proba = pipe2.predict_proba(iris.data[:3])
print("\n前3样本概率: {}".format([dict(zip(iris.target_names,p.round(3))) for p in proba]))

运行结果

二分类 CV准确率: 0.8920(+/-0.0194) 分类报告: precision recall f1-score support 0 0.89 0.89 0.89 250 1 0.89 0.89 0.89 250 accuracy 0.89 500 macro avg 0.89 0.89 0.89 500 weighted avg 0.89 0.89 0.89 500 ⚠️ Error: Traceback (most recent call last): File "<string>", line 20, in <module> TypeError: LogisticRegression.__init__() got an unexpected keyword argument 'multi_class'

⚠️ 验证部分失败

深入理解：算法选择的实践智慧

没有免费午餐定理

Wolpert和Macready在1997年证明：在所有可能的问题上，没有任何算法的平均表现优于其他算法。这意味着算法选择必须基于问题特性。

算法选择流程

基线模型：先用逻辑回归/线性回归建立基线
数据特性分析：样本量、特征数、线性/非线性、噪声水平
尝试强模型：随机森林/GBDT/XGBoost
特征工程：比模型选择更重要
模型融合：多模型投票/堆叠通常优于单模型

模型复杂度 vs 数据量

数据量	推荐模型	原因
<1000	逻辑回归/朴素贝叶斯	简单模型避免过拟合
1K-10K	SVM/随机森林	平衡复杂度与数据量
10K-100K	GBDT/XGBoost	足够数据支撑复杂模型
>100K	深度学习/大规模集成	大数据释放模型潜力

偏差-方差权衡

模型误差 = 偏差² + 方差 + 不可约误差

高偏差（欠拟合）：模型太简单，训练误差和测试误差都高 → 增加模型复杂度
高方差（过拟合）：模型太复杂，训练误差低但测试误差高 → 正则化/增加数据/简化模型
Bias-Variance Tradeoff：最优点在两者之间，交叉验证帮助我们找到这个点

实践指南与进阶话题

监督学习的工程实践

在实际项目中，算法选择只是工作的一小部分。更关键的是数据管道、特征工程和模型监控。以下是工程实践中的关键决策点：

数据划分策略：时间序列数据必须按时间划分，不能用随机划分。有用户维度的数据必须按用户划分(GroupKFold)。类别不平衡数据必须用StratifiedKFold。划分策略选错，所有结论都是不可靠的。

特征工程优先级：在实际项目中，80%的模型性能提升来自特征工程，而非模型调优。好的特征能让简单模型表现优异；差的特征让最复杂的模型也无力回天。优先做特征工程，再考虑模型选择。

模型可解释性：在金融、医疗等领域，可解释性是法律要求。SHAP值是目前最流行的局部解释方法，它可以告诉你每个特征对单个预测的贡献。部分依赖图(PDP)提供全局解释，展示特征值与预测值的关系。

模型选择的实用策略

没有"最好的模型"，只有"最适合当前数据和约束的模型"。决策框架：

数据量小(<1000)：逻辑回归、朴素贝叶斯、SVM
数据量中(1K-100K)：随机森林、GBDT、XGBoost
数据量大(>100K)：LightGBM、神经网络
需要可解释性：逻辑回归、决策树、规则列表
需要概率输出：逻辑回归、朴素贝叶斯(天然概率)
特征维度极高：线性模型+SVM、随机森林

集成学习的艺术

在Kaggle竞赛中，几乎所有冠军方案都使用集成学习。但集成不是简单堆叠模型：

多样性是关键：不同类型的模型(树+线性+距离)比同类型多模型更有效
Stacking：用第一层模型的预测作为第二层的特征。5折CV内的Stacking避免数据泄露
权重优化：用验证集上的scipy.optimize确定最优权重，而非等权平均
简单优先：2-3个强模型的加权平均通常比10个模型的复杂堆叠更稳健

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

补充：关键概念与面试要点

核心直觉

正则化 = 给模型加"约束"，防止过度拟合噪声
交叉验证 = "用数据的不同部分反复检验模型"
特征选择 = "选择携带最多目标信息的特征"
集成学习 = "三个臭皮匠顶个诸葛亮"
降维 = "抓住主要矛盾"

常见面试问题

L1正则化为什么产生稀疏解？（几何：菱形与等高线在角上相交）
逻辑回归为什么用交叉熵而不用MSE？（MSE导致梯度消失）
随机森林为什么不容易过拟合？（Bagging降方差，特征随机降相关性）
K-Means为什么收敛到局部最优？（目标函数非凸）
PCA为什么需要中心化？（否则第一主成分指向均值方向）

📝 课后练习

实现本课核心算法并用Scikit-learn验证
调优关键超参数并记录性能变化
用交叉验证评估模型稳定性
与之前学过的方法对比分析
分析本课方法的失效条件

🎯

分类先锋

学会了逻辑回归和概率分类