Tensorflow—— tf.train.AdamOptimizer

2024-09-09 12:38分类：品茶阅读：

此函数是Adam优化算法：是一个寻找全局最优点的优化算法，引入了二次方梯度校正。相比于基础SGD算法：

Adam这个名字来源于Adaptive Moment Estimation，自适应矩估计。

概率论中矩的含义是：如果一个随机变量 $X$ 服从某个分布， $X$ 的一阶矩是 $E(X)$ ，也就是样本平均值， $X$ 的二阶矩就是 $E(X^2)$ ，也就是样本平方的平均值。

Adam算法根据损失函数对每个参数的梯度的一阶矩估计和二阶矩估计动态调整针对于每个参数的学习速率。详情请参考：

参考文献：

请大家批评指正，谢谢～

郑重声明：喝茶属于保健食品，不能直接替代药品使用，如果患有疾病者请遵医嘱谨慎食用，部分文章来源于网络，仅作为参考，如果网站中图片和文字侵犯了您的版权，请联系我们处理！

杏耀注册登录中国站