软件世界网 购物 网址 三丰软件 | 小说 美女秀 图库大全 游戏 笑话 | 下载 开发知识库 新闻 开发 图片素材
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
移动开发 架构设计 编程语言 Web前端 互联网
开发杂谈 系统运维 研发管理 数据库 云计算 Android开发资料
  软件世界网 -> 互联网 -> 梯度下降实用技巧II之学习率GradientdescentinpracticeII -> 正文阅读

[互联网]梯度下降实用技巧II之学习率GradientdescentinpracticeII

梯度下降实用技巧II之学习率 Gradient descent in practice II -- learning rate


梯度下降算法中的学习率[img]http://latex.codecogs.com/gif.latex?%5Calpha(learning rate)很难确定,下面介绍一些寻找[img]http://latex.codecogs.com/gif.latex?%5Calpha的实用技巧。首先看下如何确定你的梯度下降算法正在正常工作:一般是要画出代价函数[img]http://latex.codecogs.com/gif.latex?J%28%5Ctheta%20%29 和迭代次数之间的图像,如下图所示。如果[img]http://latex.codecogs.com/gif.latex?J%28%5Ctheta%20%29随着迭代次数的增加不断下降,那么说明梯度下降算法工作的很好,当到达一定迭代次数后[img]http://latex.codecogs.com/gif.latex?J%28%5Ctheta%20%29基本持平时,说明[img]http://latex.codecogs.com/gif.latex?J%28%5Ctheta%20%29已经收敛了,可以选取此时的[img]http://latex.codecogs.com/gif.latex?%5Ctheta作为参数。一般选取一个数[img]http://latex.codecogs.com/gif.latex?%5Cvarepsilon小于[img]http://latex.codecogs.com/gif.latex?10%5E%7B-3%7D,如果[img]http://latex.codecogs.com/gif.latex?J%28%5Ctheta%20%29下降的幅度小于[img]http://latex.codecogs.com/gif.latex?%5Cvarepsilon,则认为收敛了。


[img]http://img.blog.csdn.net/20160331225947623?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center





下面给出判断梯度下降不正常工作的判断方法及解决方法:如下图所示,当[img]http://latex.codecogs.com/gif.latex?J%28%5Ctheta%20%29随着迭代次数增加反而增加时,说明梯度下降算法工作的不正常。一般的解决办法是缩小学习率[img]http://latex.codecogs.com/gif.latex?%5Calpha的值。如果学习率[img]http://latex.codecogs.com/gif.latex?%5Calpha过大,会出现如下图右所示的情况,下降的幅度过大,跳过了全局最小值。下图下方所示的图形问题,解决办法也是缩小学习率[img]http://latex.codecogs.com/gif.latex?%5Calpha的值。
[img]http://img.blog.csdn.net/20160331230616250







关于学习率[img]http://latex.codecogs.com/gif.latex?%5Calpha的取值:由上面我们可以知道,当[img]http://latex.codecogs.com/gif.latex?%5Calpha过大时,[img]http://latex.codecogs.com/gif.latex?J%28%5Ctheta%20%29可能不降反升。需要缩小[img]http://latex.codecogs.com/gif.latex?%5Calpha的取值,但是如果[img]http://latex.codecogs.com/gif.latex?%5Calpha取值过小,会导致[img]http://latex.codecogs.com/gif.latex?J%28%5Ctheta%20%29收敛的非常慢。因为如何选取一个合适的[img]http://latex.codecogs.com/gif.latex?%5Calpha很重要。下图给出选取[img]http://latex.codecogs.com/gif.latex?%5Calpha的方法。


[img]http://img.blog.csdn.net/20160331231631395


[img]http://blog.csdn.net/u012328159/article/details/51030961/file:/C:\Users\天泽\AppData\Local\Temp\GNN%4C}{72S~B2}4MI%[A`N.gif


......显示全文...
    点击查看全文


上一篇文章      下一篇文章      查看所有文章
2016-04-01 16:55:16  
互联网 最新文章
C++11并发API总结
16.收款(AcceptingMoney)
数据链路层综述
IP协议及IP数据报解析
《浅谈HTTP协议》
计算机网络基础
LoadRunner和RPT之间关于手动关联和参数化的
HTTPS中的对称密钥加密,公开密钥加密,数字
上班需要打卡吗?(开通微信公众号--乘着风
ofbizjmsactivemq
360图书馆 软件开发资料 文字转语音 购物精选 软件下载 美食菜谱 新闻资讯 电影视频 小游戏 Chinese Culture 股票 租车
生肖星座 三丰软件 视频 开发 短信 中国文化 网文精选 搜图网 美图 阅读网 多播 租车 短信 看图 日历 万年历 2018年1日历
2018-1-17 14:43:07
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  软件世界网 --