Skip to content

逻辑回归与分类 ​

WARNING

🧪 Beta公测版本提示:教程主体已完成,正在优化细节,欢迎大家提Issue反馈问题或建议。

把 线性回归 的 wx+b 塞进 σ,输出就变成概率。正文保留结论公式 ∂L/∂z=y^−y;代数在折叠里。demo.py 用 Iris 前两维做二分类(η=0.5)和 Softmax 三分类。

1. 从回归到分类 ​

在前一章中,我们学习了线性回归——预测一个连续的数值。但现实中很多问题需要回答「是」或「否」:

  • 这封邮件是垃圾邮件吗?(是/否)
  • 这个肿瘤是恶性的吗?(是/否)
  • 这张图片是猫还是狗?(猫/狗)

这些问题属于分类(Classification)。分类的目标是将输入 x 分配到 K 个离散类别中的一个。

为什么不能直接用线性回归做分类? ​

假设我们尝试用一个线性模型 f(x)=wx+b 来做二分类。我们设定标签 y=1 表示正类,y=0 表示负类。我们可能遇到以下问题:

  1. 输出范围不对:线性模型的输出可能是任意实数(−∞ 到 +∞),而我们需要一个介于 0 和 1 之间的值来表示「属于正类的概率」。

  2. 对异常值敏感:一个极端的数据点可能大幅拉扯决策边界。在分类问题中,一个点只要被正确放在了边界的一侧即可,不应要求预测值「逼近」标签。

  3. 决策边界的解释:我们希望 y^>0.5 时判为正类,y^<0.5 时判为负类。线性回归的输出无法满足这种概率解释。

解决方案:给线性模型的输出套上一个非线性函数,将其「压缩」到 (0,1) 区间。这个函数就是 Sigmoid。


2. Sigmoid 函数:从实数到概率 ​

2.1 定义 ​

Sigmoid 函数(也称 logistic 函数)的定义为:

σ(z)=11+e−z

其中 z=wTx+b 是线性模型的输出。

2.2 关键性质 ​

值域:σ(z)∈(0,1)。当 z→+∞ 时 σ(z)→1;当 z→−∞ 时 σ(z)→0。

对称性:σ(−z)=1−σ(z)。将得分取反,概率恰好互补。

导数:Sigmoid 的导数可以用自身表示,这是其最重要的数学性质之一:

σ′(z)=σ(z)(1−σ(z))

这个优美的性质使得在反向传播中计算梯度变得异常简单。

中心点:当 z=0 时,σ(0)=0.5,这正好对应决策边界(wx+b=0)。

Sigmoid 函数曲线:从实数 z 到概率 (0,1) 的平滑 S 形映射,标注了中心点 (0, 0.5) 和正负类置信度区域

图解说明:z 从负到正,概率从 0 爬到 1。|z| 很大时曲线几乎水平——这就是「饱和」,用 MSE 时梯度会消失。

保姆级数字例。

zσ(z)含义
00.5压在边界上,最没把握
11/(1+e−1)≈0.731略偏正类
2≈0.881比较确信
−2≈0.119比较确信是负类

demo.py 用 np.exp(-np.logaddexp(0, -z)) 稳定计算 Sigmoid,避免 z=−1000 时直接计算 e−z 溢成 inf。对称性可手算:σ(−2)=1−σ(2)。

2.3 逻辑回归模型 ​

将 Sigmoid 套在线性模型上,就得到了逻辑回归模型:

P(y=1|x)=y^=σ(wTx+b)=11+e−(wTx+b)

这个值被解释为「给定输入 x,样本属于正类的概率」。


3. 决策边界 ​

逻辑回归输出的是概率,但我们最终需要做出类别决策。规则很简单:

预测类别={1if σ(z)≥0.5 即 z≥00if σ(z)<0.5 即 z<0

因此,决策边界是满足 wTx+b=0 的所有 x 的集合。

几何解释 ​

在二维特征空间中,wTx+b=0 是一条直线(三维中是一个平面,更高维中是一个超平面)。法向量 w 垂直于决策边界,指向正类区域。

  • 沿法向量 w 指向的一侧,wTx+b>0,预测为正类
  • 另一侧 wTx+b<0,预测为负类;它是否位于图的“上方”取决于坐标与权重符号

点到决策边界的有符号距离与 wTx+b 成正比,决定了预测概率的置信度。越远离边界,σ 越接近 0 或 1——模型越「确信」。

二维特征空间中的决策边界:一条直线将红蓝两类数据点分隔,法向量 w 指向正类区域,标注了误分类点

图解说明:边界仍是直线 w⊤x+b=0。离线越远颜色越深,对应 σ 越接近 0 或 1。


4. 交叉熵损失:为什么不用 MSE? ​

4.1 为什么 MSE 不适合分类 ​

对于二分类问题,如果我们仍使用 MSE 损失:

J(w,b)=1n∑i=1n(σ(wTxi+b)−yi)2

会遇到一个严重问题:由于 Sigmoid 的「饱和」特性,当预测值接近 0 或 1 且标签相反时,梯度会变得极小(梯度消失),导致训练停滞。更重要的是,MSE 在参数空间中对逻辑回归是非凸的,存在多个局部最小值,梯度下降可能找不到全局最优。

4.2 交叉熵的引入 ​

逻辑回归的标准损失函数是二元交叉熵(Binary Cross-Entropy):

L(y^,y)=−[ylog⁡(y^)+(1−y)log⁡(1−y^)]

对于 n 个样本,总体损失为:

J(w,b)=−1n∑i=1n[yilog⁡(y^i)+(1−yi)log⁡(1−y^i)]

4.3 为什么交叉熵好? ​

概率解释:交叉熵等价于负对数似然(Negative Log-Likelihood)。最小化交叉熵 = 最大化看到训练数据的概率(MLE)。

梯度优美:交叉熵和 Sigmoid 搭配使用时,梯度中的 Sigmoid 导数项会被约掉,得到一个非常简洁的形式:

∂L∂z=y^−y

这个结果意味着:梯度的方向就是「预测值 - 真实值」,直观合理——预测偏高就往下调,预测偏低就往上调。

凸性:逻辑回归的交叉熵关于参数是凸的,所以局部极小点也是全局极小点。但这不自动保证解存在、唯一,也不保证任意学习率的梯度下降收敛。

令增广参数 θ=(w,b)、增广设计矩阵 X~=[X,1]。Hessian 为 ∇2J=X~⊤DX~/n,其中 Dii=y^i(1−y^i)≥0。任意向量 v 满足 v⊤∇2Jv=∑iDii(x~i⊤v)2/n≥0,这就是凸性的来源。

反例:线性可分数据。 若存在方向使所有样本都严格分对,把权重沿该方向不断放大,损失会趋近于 0,但有限权重下仍大于 0;无正则 MLE 没有有限最小点。严格正的 L2 正则可约束被惩罚参数;是否惩罚截距以及数据是否包含两类也需说明。

MSE 与交叉熵的损失曲面对比:交叉熵凸,但有限最小解的存在性与唯一性仍需额外条件


5. 梯度:结论与卡点 ​

单样本交叉熵对得分的梯度(记住这一行就够写代码):

∂L∂z=y^−y,∂L∂w=(y^−y)x,∂L∂b=y^−y.

和线性回归 + MSE 长得一样,只是 y^=σ(wx+b) 而不是 wx+b。demo.py 里就是 errors = y_pred - y,再 X.T @ errors。

数字例。 y=1,y^=0.2(该判正却只有两成把握)。∂L/∂z=0.2−1=−0.8。w←w−η(−0.8)x,即沿 x 方向增大 w,把得分抬上去。若 y=0 且 y^=0.9,梯度 +0.9,把 w 往反方向拧。

逐步推导:交叉熵 + Sigmoid 为何 ∂L/∂z=y^−y(点击展开)

L=−ylog⁡σ(z)−(1−y)log⁡(1−σ(z)),σ′=σ(1−σ)。

∂L∂z=−yσ′σ−(1−y)−σ′1−σ=−y(1−σ)+(1−y)σ=σ−y.

σ′ 被约掉:饱和区 σ′≈0 不再把梯度掐死。这就是交叉熵相对 MSE 的关键。再乘 ∂z/∂w=x 得到 (y^−y)x。

σ′(z) 本身:σ=(1+e−z)−1,对数求导 log⁡σ=−log⁡(1+e−z),σ′/σ=e−z/(1+e−z)=1−σ,故 σ′=σ(1−σ)。

5.2 批量梯度 ​

对于 n 个样本,总体损失梯度为各样本梯度的平均:

∂J∂w=1n∑i=1n(y^i−yi)⋅xi∂J∂b=1n∑i=1n(y^i−yi)

两者都含“残差乘输入”:若线性回归用半均方误差 12n∑(y^−y)2,梯度形式相同;本仓库线性回归 demo 使用 MSE 1n∑(y^−y)2,因此多一个系数 2。逻辑回归还把预测换成 σ(wx+b)。


6. 多分类扩展:Softmax 回归 ​

6.1 从二分类到多分类 ​

当有 K>2 个类别时(如鸢尾花的三个品种),我们需要做一个扩展。

6.2 Softmax 函数 ​

Softmax 将 K 个原始得分 z=[z1,z2,…,zK] 转换为概率分布:

softmax(zk)=ezk∑j=1Kezj

它满足:

  • 非负性:每个输出 ∈(0,1)
  • 归一性:所有输出之和 = 1
  • 保序性:如果 zi>zj,则 softmax(zi)>softmax(zj)

Softmax 函数:将原始得分 [2.0, 1.0, 0.1] 通过 exp 和 normalize 两步变换为概率分布 [0.66, 0.24, 0.10]

图解说明:先 exp,再除以总和。最大分 2.0 变成约 0.66,不是 1——Softmax 永远留一点质量给其他类。

数字例(与图相同)。 z=[2.0,1.0,0.1]。减最大值再 exp:[1,e−1,e−1.9]≈[1,0.368,0.150],和 ≈1.518,概率 ≈[0.659,0.242,0.099]。demo.py 的 z - max(z) 就是为了避免巨大正 logit 的指数溢出(例如 float64 下的 e1000);减常数不改变 Softmax。

6.3 多分类交叉熵 ​

多分类的交叉熵损失(也称 categorical cross-entropy):

L=−∑k=1Kyklog⁡(y^k)

其中 yk 是 one-hot 编码的真实标签(只有一个位置为 1,其余为 0),y^k 是 Softmax 输出的概率。这实际上是二元交叉熵的自然推广。

梯度同样简洁:

∂L∂zk=y^k−yk

与二分类形式一致!这就是为什么交叉熵 + Sigmoid/Softmax 被称为机器学习中的「黄金搭档」。

6.4 One-vs-Rest 策略 ​

另一种多分类方法是训练 K 个二分类器,每个区分「类别 k」vs「其他所有类别」,然后取得分最高的类别。这种方法称为 One-vs-Rest (OvR)。


7. 实战案例解析 ​

复现提示:损失已改为 logit 空间的稳定公式,概率热力图使用 RdBu_r 对应低概率蓝色、高概率红色。旧输出图片尚未重新生成;代码详解页面中的旧裁剪片段尚待同步,当前源码为准。

让我们用一个实例来串联所有概念——使用经典的 Iris 数据集进行花卉分类。

数据准备 ​

Iris 数据集包含 150 个样本,3 个类别(Setosa, Versicolor, Virginica),4 个特征(花萼长度/宽度,花瓣长度/宽度)。为了直观展示,我们通常先取前两个特征做二维可视化。

二分类问题 ​

取其中两个类别(如 Setosa vs Versicolor),训练一个逻辑回归模型。模型会学到一个决策边界直线。

多分类问题 ​

取全部三个类别。我们可以选择:

  • Softmax 回归:一个模型输出三个概率
  • One-vs-Rest:训练三个二分类器

评估指标 ​

对于分类问题,我们有比 MSE/R² 更合适的指标:

  • 准确率(Accuracy):预测正确的比例
  • 精确率(Precision):预测为正的样本中,真正为正的比例
  • 召回率(Recall):真正的正样本中,被正确预测的比例
  • F1-Score:精确率和召回率的调和平均
  • 混淆矩阵(Confusion Matrix):直观展示各类别的预测情况

对照 demo.py。 Iris 取两类、前两维,η=0.5。该步长是否使损失单调下降需要实际检查,决策边界是直线,热力图从一侧蓝到另一侧红。三分类 Softmax 用同一套 y^−y 梯度,只是 W 变成矩阵。sklearn 的 LogisticRegression 默认带 L2,和从零实现的无正则版本系数不会逐位相同,但准确率应接近。卡点:把概率当成类别标签;以及先计算饱和概率再取对数导致损失不准确。


本章总结 ​

逻辑回归虽然名字里带「回归」,但它是最经典的分类模型。它的核心思想简单而优美:

  1. 用线性模型计算原始得分 z=wTx+b
  2. 用 Sigmoid/Softmax 将得分转化为概率
  3. 用交叉熵损失来度量概率预测的质量
  4. 用梯度下降(或更高级的优化器)来最小化损失

这个框架——线性变换 + 非线性激活 + 交叉熵损失——是几乎所有现代神经网络的基石。逻辑回归本质上就是一个没有隐藏层的神经网络。

卡点。 (1) 数值稳定:直接从 logit 计算 logaddexp / log-softmax 损失;单纯裁剪概率会把极端错误预测的损失截平。 (2) 标签必须是 {0,1},不能把感知机的 ±1 直接塞进来。 (3) 决策阈值不必是 0.5:疾病筛查可把阈值降到 0.3 以提高召回,见 贝叶斯决策 的风险矩阵。


📥 Code ​

FileViewDownload
demo.pyOpenDownload
exercise.pyOpenDownload

参考 ​

  1. Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer. Chapter 4.
  2. Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning. Springer. Chapter 4.
  3. Murphy, K. P. (2012). Machine Learning: A Probabilistic Perspective. MIT Press.