知源笔记

交叉熵在机器学习中的应用

无忌 · 2021 年 5 月 22 日

交叉熵 (cross entropy) 在机器学习中,一般用来求目标与预测值之间的差距。

1交叉熵的由来

交叉熵是信息论中的一个概念,要想了解交叉熵的本质,需要先从最基本的概念讲起。

1.1信息量

假设我们听到了两件事,分别如下:

  • 事件 A:巴西队进入了2018世界杯决赛圈。
  • 事件 B:中国队进入了2018世界杯决赛圈。

显而易见,事件 B 的信息量比事件 A 的信息量要大。究其原因,是因为事件 A 发生的概率很大,事件 B 发生的概率很小。所以当越不可能的事件发生了,我们获取到的信息量就越大。越可能发生的事件发生了,我们获取到的信息量就越小。那么信息量应该和事件发生的概率有关。

假设 XX 是一个离散型随机变量,其取值集合为 χ\chi, 概率分布函数 p(x)=Pr(X=x)p(x)={\rm Pr}(X=x), x∈χx\in\chi, 则定义事件 X=x0X=x_0 的信息量为:

I(x0)=−log⁡(p(x0))I(x_0)=−\log(p(x_0))

由于是概率所以 p(x0)p(x_0) 的取值范围是 [0,1][0,1], 绘制为图形如下, 可见该函数符合我们对信息量的直觉.

import matplotlib.pyplot as plt
import numpy as np

x = np.linspace(1e-3, 1, 100)
y = -np.log(x)
plt.plot(x, y)
plt.savefig('info.jpg')
plt.show()

1.2熵

对于某个事件,有 nn 种可能性,每一种可能性都有一个概率 p(xi)p(x_i), 这样就可以计算出每种可能性的信息量. 举一个例子,假设你拿出了你的电脑,按下开关,会有三种可能性,下表列出了每一种可能的概率及其对应的信息量.

事件 概率 信息量
电脑正常开机 0.7 0.36
电脑无法开机 0.2 1.61
电脑爆炸了 0.1 2.30

注意: 本文中的对数均指自然对数.

熵表示所有信息量的期望,即:

H(X)=-\sum_{i=1}^np(x_i)\log(p(x_i))\tag1

其中 nn 表示可能性的总数, 所以上面事件的熵就是

H(X)=0.7×0.36+0.2×1.61+0.1×2.30=0.804H(X)=0.7\times0.36+0.2\times1.61+0.1\times2.30=0.804

对于二项分布特例, 比如投掷硬币只有两种可能,字朝上或花朝上, 此时, 熵的计算公式 (1) 可以简化为

H(x)=-p(x)\log(p(x))-(1-p(x))\log(1-p(x))\tag2

1.3相对熵

相对熵又称 KL 散度, 如果对于随机变量 xx 有两个单独的概率分布 P(x)P(x) 和 Q(x)Q(x),那么可以使用 KL 散度(Kullback-Leibler divergence)来衡量这两个分布的差异.

在维基百科中, 是这样介绍相对熵的

In the context of machine learning, DKL(P∥Q)D_{\rm KL}(P\|Q) is often called the information gain achieved if PP would be used instead of QQ.

即如果用 PP 来描述目标问题,而不是用 QQ 来描述目标问题,得到的信息增量。

在机器学习中,PP 往往用来表示样本的真实分布,比如 [1,0,0] 表示当前样本属于第一类。QQ 用来表示模型所预测的分布,比如 [0.7,0.2,0.1]。直观的理解就是如果用 PP 来描述样本,那么就非常完美。而用 $Q $ 来描述样本,虽然可以大致描述,但是不是那么的完美,信息量不足,需要额外的一些 "信息增量" 才能达到和 PP 一样完美的描述。如果我们的 QQ 通过反复训练,也能完美的描述样本,那么就不再需要额外的 "信息增量", QQ 等价于 PP。

KL 散度的计算公式

D_{\rm KL}(p\|q)=\sum_{i=1}^np(x_i)\log\left[\frac{p(x_i)}{q(x_i)}\right]\tag3

DKLD_{\rm KL} 的值越小, 表示 qq 分布和 pp 分布越接近.

1.4交叉熵

对 (3) 变形可以得到

D_{\rm KL}(p\|q)=-H(p(x))-\sum_{i=1}^np(x_i)\log(q(x_i))\tag4

等式的前一部分恰巧就是 pp 的熵,等式的后一部分,就是交叉熵

H(p,q)=-\sum_{i=1}^np(x_i)\log(q(x_i))\tag5

在机器学习中,我们需要评估 label 和 predict 之间的差距,使用 KL 散度刚刚好,即 DKL(y∥y^)D_{\rm KL}(y\|\hat y), 由于 KL 散度中的前一部分 −H(y)−H(y) 不变,故在优化过程中,只需要关注交叉熵就可以了。所以一般在机器学习中直接用用交叉熵做 loss,评估模型。

2交叉熵的应用

在线性回归问题中,常常使用 MSE (Mean Squared Error) 作为 loss 函数,比如:

loss=\frac1{2m}\sum_{i=1}^m(y_i-\hat y_i)^2\tag6

单类别分类问题, 是指一个样本只能有一个类别, 在这种问题上, 交叉熵是标配的方法

loss=-\sum_{i=1}^ny_i\log(\hat y_i)\tag7

对应一个 batch 的 loss 就是

loss=-\frac1m\sum_{j=1}^m\sum_{i=1}^ny_{ji}\log(\hat y_{ji})\tag8

多类别分类问题, 是指一个样本可能有多个类别, 在这种问题上, 由于 predict 不再是通过 softmax 计算出来的, 而是采用 sigmoid. 每一个 label 都是独立分布的,相互之间没有影响。所以交叉熵在这里是单独对每一个节点进行计算,每一个节点只有两种可能值,所以是一个二项分布。前面说过对于二项分布这种特殊的分布,熵的计算可以进行简化。最终, 对应一个 batch 的 loss 就是

loss=\frac1m\sum_{j=1}^m\sum_{i=1}^n-y_{ji}\log(\hat y_{ji})-(1-y_{ji})\log(1-\hat y_{ji})\tag9

其中 mm 为当前 batch 中的样本量,nn 为类别数.

参考文献

2021 年 5 月 22 日