深度学习中7种最优化算法的可视化与理解

在深度学习中，有很多种优化算法，这些算法需要在极高维度（通常参数有数百万个以上）也即数百万维的空间进行梯度下降，从最开始的初始点开始，寻找最优化的参数，通常这一过程可能会遇到多种的情况，诸如：1.提前遇到局部最小值从而卡住，再也找不到全局最小值了