新闻动态
新闻动态
- 出国留学还是国内考研---优势对比
- 生物工程出国留学哪个国家好?
- 翻译专业跨考哪些专业 翻译专业考研考哪里
- 外语专业工作方向大汇总!优点/大坑别怪我没告诉你!校招/兼职最好的职业是什么?高薪/稳定/前景好的工作都在这里!法语/小语种/英语皆适用
- 思想政治教育专业考研方向分析
- 逐梦异国,一起走进俄罗斯医学留学!
联系我们
邮箱:demo@eyoucms.com
手机:13900001111
电话:400-123-4567
地址:广东省广州市天河区某某科技园
公司动态
pytorch1.1 半精度训练 Adam RMSprop 优化器 Nan 问题
作者:佚名
发布时间:2024-06-24
点击:
文章转载于https://blog.csdn.net/one_six_mix/article/details/86367086
因为遇到了同样的问题,所以记录一下
在缩小模型,采用半精度模型,参数,输入数据时,发现adam算法有问题,而sgd没有问题。采用方法如下链接:
这个老哥有相同问题https://www.cnblogs.com/yanxingang/p/10148712.html
以下为转载:
2019/5/5更新
pytorch 1.1 版本相比1.0版本,对 half 训练优化了许多,nan发生的情况少了很多,现在应该可以日常使用 half 训练了
使用Adam优化器时,加入参数eps=1e-4
pytorch 半精度浮点数表示的范围比单精度的少很多
1.使网络输入 值域缩放到 [-1, 1] 或 [0, 1]
2.定义Adam优化器时,加入参数eps=1e-3
3.定义RMSprop优化器时,加入参数eps=1e-2
4.降低学习率
推荐资讯
-
2018-05-18CMS是如何应运而生的?
-
2018-05-18网站建设,静态页面和动态页面如何选择
-
2018-05-18网站建设的五大核心要素
-
2018-05-17一文读懂互联网女皇和她的报告:互联网领域的投资圣经、选股指南
-
2018-05-17新手科普文!什么是用户界面和体验设计?
-
2018-05-17用户界面设计和体验设计的差别
推荐产品