知源笔记

深入理解逻辑回归

无忌 · 2021 年 5 月 27 日

1Sigmoid 函数

S(x)=\frac1{1+e^{-x}}=\frac{e^x}{e^x+1}\in(0,1),\quad x\in(-\infty,+\infty)\tag1

函数特性 S(0)=0.5S(0)=0.5, S(x)+S(−x)=1S(x)+S(-x)=1. 令 T(x)=S(x)−0.5T(x)=S(x)-0.5, 则 T(−x)=−T(x)T(-x)=-T(x), 因此 S(x)S(x) 关于点 (0,0.5)(0,0.5) 中心对称.

绘图代码如下

import matplotlib.pyplot as plt
import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

x = np.linspace(-5, 5, 100)
y = sigmoid(x)
plt.plot(x, y)
plt.plot([-5, 5], [0.5, 0.5], color='gray', linestyle='--')
plt.plot([0, 0], [0, 1], color='gray', linestyle='--')
plt.savefig('sigmoid.png')
plt.show()

Sigmoid 另一个特性 S′(x)=S(x)[1−S(x)]S'(x)=S(x)[1-S(x)].

2逻辑回归

考虑一个二分类情形, 我们建立了 nn 个特征, 并将二分类结果编码为 0 和 1. 那么, 这里的本质是将 X=(x1,x2,...,xn)X=(x_1, x_2, ..., x_n) 映射成 0 或 1.

如何建立特征到分类的数学模型, 假设线性回归得到的值为 yy, 映射产生的概率为 pp, 考虑如下比值比 (odds)

p1−p∈(0,+∞)\frac p{1-p}\in(0,+\infty)

又名机会比、优势比、交叉乘积比、相对比值、两个比值的比、赔率等. 将 pp 通过如下方式映射到 yy

y=\ln\frac p{1-p}=logit=\theta\cdot x\tag2

通过求上述函数的逆函数, 就得到 p=S(y)p=S(y). 于是得到逻辑回归 (Logistic/Logit Regression), 假设函数

h_\theta(x)=S(\theta\cdot x)\tag3

损失函数

L(\theta)=\frac1m\sum_{i=1}^m\left[-y^{(i)}\ln(h_\theta(x^{(i)}))-(1-y^{(i)})\ln(1-h_\theta(x^{(i)}))\right]\tag4

计算偏导

\theta_j:=\theta_j+\alpha(y^{(i)}-h_\theta(x^{(i)}))x_j^{(i)}\tag5

3参考文档

2021 年 5 月 27 日