第四章：神经网络优化算法
阅读：1335698510 分享到
经过上一章的学习，我们已经学会了搭建神经网络并使用搭建好的神经网络去学习得到神经网络模型，然后使用该模型进行预测。
在我们人类的学习过程中，有的人学习成绩好，有的人学习成绩不好；神经网络也是如此。学会神经网络优化过程：自定义损失函数、动态调整学习率、选择合适的激活函数、使用正则化减少过拟合、使用优化器更新网络参数等，让我们的神经网络更聪明。就如给孩子吃更好的营养品，参加名师的辅导班，让学霸教他学习方法，让孩子成为卷王！！！
自定义损失函数
常用的损失函数
一个案例
自己定义一个损失函数
交叉熵
动态调整学习率
学习率设置过小
学习率设置过大
使用指数衰减学习率
激活函数
激活函数的特点
sigmoid 激活函数
tanh 激活函数
relu 激活函数
leaky relu 激活函数
如何选择激活函数
正则化
正则化的特点
L1 正则化和 L2 正则化
优化器
优化器的方法流程
SGD 优化器
SGDM 优化器
AdaGrad 优化器
RMSProp 优化器
AdaDelta 优化器
adam 优化器
如何选择优化器
如果以上内容对您有帮助，请老板用微信扫一下赞赏码，赞赏后加微信号 birdpython 领取免费视频。
请登录后评论