为什么梯度方向是函数变化最快的方向

导数

对于单变量函数 $f(x)$, 在 $x_0$ 处的导数定义为

$$\Delta y=f(x_0+\Delta x)-f(x_0)\approx f^{\prime }(x_0)\Delta x\text{\hspace{1em}(1)}$$

几何意义上, 导数表示函数在该点的切线的斜率, 即该点的变化率. 从上面的等式还能看出, 步长 $\Delta x$ 保持不变的前提下, $|f^{\prime }(x_0)|$ 越大, 函数值变化越大 (曲线越陡峭).

梯度

对多元函数的参数求偏导, 将各个偏导数以向量的形式展示出来, 即为梯度.

$$\mathrm{grad}f(x,y)=\nabla f(x,y)={\left(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}\right)}^{\mathrm{T}}\text{\hspace{1em}(2)}$$

方向导数

给定 (单位) 方向向量 $l$, 设 $\phi$ 是 $x$ 轴到 $l$ 的夹角, $\rho$ 是点 $M_0$ 到 $M_1$ 的距离, 则

$$l=(\cos \phi ,\sin \phi ),\rho =\sqrt{(\Delta x{)}^2+(\Delta y{)}^2}$$

根据三角函数的定义有

$$\cos \phi =\frac{\Delta x}{\rho },\sin \phi =\frac{\Delta y}{\rho },\rho l=(\Delta x,\Delta y)$$

沿 $l$ 方向的导数定义为

$$\frac{\partial f}{\partial l}=\underset{\rho \to 0}{\lim }\frac{f(x+\Delta x,y+\Delta y)-f(x,y)}{\rho }\text{\hspace{1em}(3)}$$

而根据可微的定义有

$$\Delta z=f(x+\Delta x,y+\Delta y)-f(x,y)=\frac{\partial f}{\partial x}\Delta x+\frac{\partial f}{\partial y}\Delta y+o(\rho )$$

因此

$$\frac{\partial f}{\partial l}=\frac{\partial f}{\partial x}\cos \phi +\frac{\partial f}{\partial y}\sin \phi =\nabla f\cdot l\text{\hspace{1em}(4)}$$

即任意方向导数可以表示为梯度与 (单位) 方向向量的内积.

$$\left|\frac{\partial f}{\partial l}\right|=|\nabla f\cdot l|=|\nabla f||l||\cos \beta |\le |\nabla f|\text{\hspace{1em}(5)}$$

其中 $\beta$ 为梯度与方向向量的夹角. 因此, 方向导数最大值 $|\nabla f|$, 当且仅当方向向量 $l$ 与 $\nabla f$ 平行时, 等号成立. 因此梯度方向是函数变化最快的方向.

梯度下降法

$$\Delta z\approx \rho \nabla f\cdot l$$

为了让 $f$ 尽快达到最小值, 因此 $l$ 需要与梯度方向相反, 即负梯度方向. 假设函数 $h_{\theta }(x)$, 损失函数 $J(\theta )$, 迭代公式.

$$\theta :=\theta -\alpha \frac{\partial J(\theta )}{\partial \theta }\text{\hspace{1em}(6)}$$