深度学习中的优化问题通常指的是：寻找神经网络上的一组参数θ，它能显著地降低代价函数J(θ)。针对此类问题，研究人员提出了多种优化算法，Sebastian Ruder 在《An overview of gradient descent optimizationalgorithms》（链接：https://arxiv.org/pdf/1609.04747.pdf ）这篇论文中列出了常用优化算法的比较。主要优化算法有：BGD、SGD、Momentum、Adagrad、Adadelta、RMSProp、Adam。

优化算法简单介绍

BGD：批量梯度下降，每次迭代采用整个训练集数据来计算损失函数J(θ)对参数θ的的梯度。

SGD：随机梯度下降法，用单个训练样本的损失来近似平均损失。

Momentum：动量算法。

Adagrad：是一种可以自动改变学习速率的优化算法，只需设定一个全局学习速率ϵ。

Adadelta：adagrad算法的延伸和改进，

RMSProp：自适应学习率方法，引入一个衰减系数ρ，让r每次都以一定的比例衰减，类似于Momentum中的做法。

Adam（Adaptive Moment Estimation）：Momentum+RMSProp，带有动量项的RMSProp算法。

参考文档

https://zhuanlan.zhihu.com/p/55150256

https://zhuanlan.zhihu.com/p/43506482

https://www.cnblogs.com/54hys/p/12340332.html

https://www.cnblogs.com/zingp/p/11352012.html

本文为 陈华 原创，欢迎转载，但请注明出处：http://edu.ichenhua.cn/read/240