?注： 本文转自优化器optimizers - Keras中文文档

---

Keras文档系列

Keras笔记(一)：常用函数

Keras笔记(二)：优化器optimizers

Keras笔记(三)：目标函数objectives /loss

Keras笔记(四)：序贯（Sequential）模型

Keras笔记(五)：Sequential模型接口

Keras笔记(六)：回调函数Callbacks

---

目录

?所有优化器都可用的参数 ：clipnorm和clipvalue

SGD? ：?参数? ? ? ? RMSprop? ? ? ? ? ? ? 参数

Adagrad? ? ? ? Adagrad? ? ? ? ?

Adadelta? ? ? 参数? ? ? ? ? ? ? ?参考文献

Adam? ? ? ? ? ?参数? ? ? ? ? ? ? ?参考文献

Adamax? ? ? ?参数? ? ? ? ? ? 参考文献

Nadam? ? ? 参数? ? ? ? ? ? ? ? ?参考文献

TFOptimizer

---

优化器是编译Keras模型必要的两个参数之一

可以在调用之前初始化一个优化器对象，然后传入该函数（如上所示），也可以在调用时传递一个预定义优化器名。在后者情形下，优化器的参数将使用默认值。

和

? 随机梯度下降法，支持动量参数，支持学习衰减率，支持Nesterov动量

参数

• lr：大或等于0的浮点数，学习率

• momentum：大或等于0的浮点数，动量参数

• decay：大或等于0的浮点数，每次更新后的学习率衰减值

• nesterov：布尔值，确定是否使用Nesterov动量

• ?

RMSprop

?除学习率可调整外，建议保持优化器的其他默认参数不变

该优化器通常是面对递归神经网络时的一个良好选择

参数

• lr：大或等于0的浮点数，学习率

• rho：大或等于0的浮点数

• epsilon：大或等于0的小浮点数，防止除0错误

建议保持优化器的默认参数不变

Adagrad

• lr：大或等于0的浮点数，学习率

• epsilon：大或等于0的小浮点数，防止除0错误

---

建议保持优化器的默认参数不变

参数

• lr：大或等于0的浮点数，学习率

• rho：大或等于0的浮点数

• epsilon：大或等于0的小浮点数，防止除0错误

参考文献

• Adadelta - an adaptive learning rate method

该优化器的默认值来源于参考文献

参数

• lr：大或等于0的浮点数，学习率

• beta_1/beta_2：浮点数， 0<beta<1，通常很接近1

• epsilon：大或等于0的小浮点数，防止除0错误

参考文献

• Adam - A Method for Stochastic Optimization

---

Adamax优化器来自于Adam的论文的Section7，该方法是基于无穷范数的Adam方法的变体。

默认参数由论文提供

参数

• lr：大或等于0的浮点数，学习率

• beta_1/beta_2：浮点数， 0<beta<1，通常很接近1

• epsilon：大或等于0的小浮点数，防止除0错误

参考文献

• Adam - A Method for Stochastic Optimization

---

Nesterov Adam optimizer: Adam本质上像是带有动量项的RMSprop，Nadam就是带有Nesterov 动量的Adam RMSprop

默认参数来自于论文，推荐不要对默认参数进行更改。

参数

• lr：大或等于0的浮点数，学习率

• beta_1/beta_2：浮点数， 0<beta<1，通常很接近1

• epsilon：大或等于0的小浮点数，防止除0错误

参考文献

• Nadam report

• On the importance of initialization and momentum in deep learning

TF优化器的包装器

参考链接?优化器optimizers - Keras中文文档

---

---

Keras文档系列

Keras笔记(一)：常用函数

Keras笔记(二)：优化器optimizers

Keras笔记(三)：目标函数objectives /loss

Keras笔记(四)：序贯（Sequential）模型

Keras笔记(五)：Sequential模型接口

Keras笔记(六)：回调函数Callbacks

上一篇：家庭装中央空调哪个牌子好

下一篇：Tensorflow 优化器（optimizer）