软件世界网 购物 网址 三丰软件 | 小说 美女秀 图库大全 游戏 笑话 | 下载 开发知识库 新闻 开发 图片素材
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
移动开发 架构设计 编程语言 Web前端 互联网
开发杂谈 系统运维 研发管理 数据库 云计算 Android开发资料
  软件世界网 -> 互联网 -> 梯度下降实用技巧II之学习率GradientdescentinpracticeII -> 正文阅读

[互联网]梯度下降实用技巧II之学习率GradientdescentinpracticeII

梯度下降实用技巧II之学习率 Gradient descent in practice II -- learning rate


梯度下降算法中的学习率[img]http://latex.codecogs.com/gif.latex?%5Calpha(learning rate)很难确定,下面介绍一些寻找[img]http://latex.codecogs.com/gif.latex?%5Calpha的实用技巧。首先看下如何确定你的梯度下降算法正在正常工作:一般是要画出代价函数[img]http://latex.codecogs.com/gif.latex?J%28%5Ctheta%20%29 和迭代次数之间的图像,如下图所示。如果[img]http://latex.codecogs.com/gif.latex?J%28%5Ctheta%20%29随着迭代次数的增加不断下降,那么说明梯度下降算法工作的很好,当到达一定迭代次数后[img]http://latex.codecogs.com/gif.latex?J%28%5Ctheta%20%29基本持平时,说明[img]http://latex.codecogs.com/gif.latex?J%28%5Ctheta%20%29已经收敛了,可以选取此时的[img]http://latex.codecogs.com/gif.latex?%5Ctheta作为参数。一般选取一个数[img]http://latex.codecogs.com/gif.latex?%5Cvarepsilon小于[img]http://latex.codecogs.com/gif.latex?10%5E%7B-3%7D,如果[img]http://latex.codecogs.com/gif.latex?J%28%5Ctheta%20%29下降的幅度小于[img]http://latex.codecogs.com/gif.latex?%5Cvarepsilon,则认为收敛了。


[img]http://img.blog.csdn.net/20160331225947623?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center





下面给出判断梯度下降不正常工作的判断方法及解决方法:如下图所示,当[img]http://latex.codecogs.com/gif.latex?J%28%5Ctheta%20%29随着迭代次数增加反而增加时,说明梯度下降算法工作的不正常。一般的解决办法是缩小学习率[img]http://latex.codecogs.com/gif.latex?%5Calpha的值。如果学习率[img]http://latex.codecogs.com/gif.latex?%5Calpha过大,会出现如下图右所示的情况,下降的幅度过大,跳过了全局最小值。下图下方所示的图形问题,解决办法也是缩小学习率[img]http://latex.codecogs.com/gif.latex?%5Calpha的值。
[img]http://img.blog.csdn.net/20160331230616250







关于学习率[img]http://latex.codecogs.com/gif.latex?%5Calpha的取值:由上面我们可以知道,当[img]http://latex.codecogs.com/gif.latex?%5Calpha过大时,[img]http://latex.codecogs.com/gif.latex?J%28%5Ctheta%20%29可能不降反升。需要缩小[img]http://latex.codecogs.com/gif.latex?%5Calpha的取值,但是如果[img]http://latex.codecogs.com/gif.latex?%5Calpha取值过小,会导致[img]http://latex.codecogs.com/gif.latex?J%28%5Ctheta%20%29收敛的非常慢。因为如何选取一个合适的[img]http://latex.codecogs.com/gif.latex?%5Calpha很重要。下图给出选取[img]http://latex.codecogs.com/gif.latex?%5Calpha的方法。


[img]http://img.blog.csdn.net/20160331231631395


[img]http://blog.csdn.net/u012328159/article/details/51030961/file:/C:\Users\天泽\AppData\Local\Temp\GNN%4C}{72S~B2}4MI%[A`N.gif


......显示全文...
    点击查看全文


上一篇文章      下一篇文章      查看所有文章
2016-04-01 16:55:16  
互联网 最新文章
C++11并发API总结
16.收款(AcceptingMoney)
数据链路层综述
IP协议及IP数据报解析
《浅谈HTTP协议》
计算机网络基础
LoadRunner和RPT之间关于手动关联和参数化的
HTTPS中的对称密钥加密,公开密钥加密,数字
上班需要打卡吗?(开通微信公众号--乘着风
ofbizjmsactivemq
360图书馆 软件开发资料 文字转语音 购物精选 软件下载 美食菜谱 新闻资讯 电影视频 小游戏 Chinese Culture
生肖星座 三丰软件 视频 开发 Android开发 站长 古典小说 网文精选 搜图网 美图 中国文化英文版 多播 租车 短信
2017-7-24 10:30:27
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  软件世界网 --