一般梯度

也称常规梯度就是 $f(\vec{w})$ 对 $\vec{w}$ 的偏导即 $\frac{\partial f(\vec{w})}{\partial \vec{w}}$因为在欧式坐标系中负梯度方向是下降最快的方向即所谓的最速下降法。

随机梯度

和常规梯度很像不同的是随机梯度会在 $\nabla f(\vec{w})$ 中随机挑选一个或多个方向进行下降。

相对梯度

增量 $\Delta \vec{w}=D\vec{w}$选择适当的 $D$使得 $f(\vec{w}+D\vec{w})$ 最小。Cardoso 等人将 $\frac{\partial f(\vec{w})}{\partial \vec{w}}{w}^T$ 定义为 $f(\vec{w})$ 的相对梯度。

自然梯度

在保持 $||\Delta \vec{w}|{|}^2$ 不变的前提下寻找一个最佳的方向使得 $f(\vec{w}+\Delta \vec{w})$ 最小。Amari 利用黎曼几何的有关理论证明该最佳方向不是 “负” 常规梯度方向而是 “负” 黎曼梯度。并将 $\frac{\partial f(\vec{w})}{\partial \vec{w}}{w}^{T}w$ 定义为 $f(\vec{w})$ 的自然梯度。