软件世界网 购物 网址 三丰软件 | 小说 美女秀 图库大全 游戏 笑话 | 下载 开发知识库 新闻 开发 图片素材
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
移动开发 架构设计 编程语言 Web前端 互联网
开发杂谈 系统运维 研发管理 数据库 云计算 Android开发资料
  软件世界网 -> 互联网 -> 梯度下降实用技巧II之学习率GradientdescentinpracticeII -> 正文阅读
互联网 最新文章
C++11并发API总结
16.收款(AcceptingMoney)
数据链路层综述
IP协议及IP数据报解析
《浅谈HTTP协议》
计算机网络基础
LoadRunner和RPT之间关于手动关联和参数化的
HTTPS中的对称密钥加密,公开密钥加密,数字
上班需要打卡吗?(开通微信公众号--乘着风
ofbizjmsactivemq

[互联网]梯度下降实用技巧II之学习率GradientdescentinpracticeII

  2016-04-01 16:55:38

梯度下降实用技巧II之学习率 Gradient descent in practice II -- learning rate


梯度下降算法中的学习率
(learning rate)很难确定,下面介绍一些寻找
的实用技巧。首先看下如何确定你的梯度下降算法正在正常工作:一般是要画出代价函数
 和迭代次数之间的图像,如下图所示。如果
随着迭代次数的增加不断下降,那么说明梯度下降算法工作的很好,当到达一定迭代次数后
基本持平时,说明
已经收敛了,可以选取此时的
作为参数。一般选取一个数
小于
,如果
下降的幅度小于
,则认为收敛了。








下面给出判断梯度下降不正常工作的判断方法及解决方法:如下图所示,当
随着迭代次数增加反而增加时,说明梯度下降算法工作的不正常。一般的解决办法是缩小学习率
的值。如果学习率
过大,会出现如下图右所示的情况,下降的幅度过大,跳过了全局最小值。下图下方所示的图形问题,解决办法也是缩小学习率
的值。








关于学习率
的取值:由上面我们可以知道,当
过大时,
可能不降反升。需要缩小
的取值,但是如果
取值过小,会导致
收敛的非常慢。因为如何选取一个合适的
很重要。下图给出选取
的方法。








上一篇文章      下一篇文章      查看所有文章
2016-04-01 16:55:16  
360图书馆 论文大全 母婴/育儿 软件开发资料 网页快照 文字转语音 购物精选 软件 美食菜谱 新闻中心 电影下载 小游戏 Chinese Culture
生肖星座解梦 人民的名义 人民的名义在线看 三沣玩客 拍拍 视频 开发 Android开发 站长 古典小说 网文精选 搜图网 天下美图
中国文化英文 多播视频 装修知识库
2017-4-24 23:06:51
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  软件世界网 --