软件世界网 购物 网址 三丰软件 | 小说 美女秀 图库大全 游戏 笑话 | 下载 开发知识库 新闻 开发 图片素材
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
移动开发 架构设计 编程语言 Web前端 互联网
开发杂谈 系统运维 研发管理 数据库 云计算 Android开发资料
  软件世界网 -> 开发杂谈 -> 分类 -> 正文阅读

[开发杂谈]分类


逻辑回归(Logistic regression)


我们现在只考虑二分类,即y{0,1}
类似于线性回归问题,我们同样定义一个估计(hypothesis)函数hθ(x)。显然我们的输出值要限定在{0,1}之间会更加有利。因此选择模型:

hθ(x)=g(θTx)=11+e?θTxwhereg(z)=11+e?z
我们称上式为logistic functionsigmoid function.
下面给出g(z)线
[img]http://img.blog.csdn.net/20160402171220735
zg(z)1;z?g(z)0
和之前一样,我们令x0=1θTx=θ0+nj=1θjxj
下面让我们来看看怎样得到θ:
假设:[img]http://img.blog.csdn.net/20160402173107743
上式可以合并为一个式子:
[img]http://img.blog.csdn.net/20160402173146634
类似于我的这一篇博客中求最大似然值一样,我们可得:
[img]http://img.blog.csdn.net/20160402173527682
进而得到log likehood:
[img]http://img.blog.csdn.net/20160402173609167
然后还是一如既往的求导:
在求?(θ)关于θ的导数前,我们先来看看g(z)的导数,因为在对?(θ)求导时会用到。
[img]http://img.blog.csdn.net/20160402174333265
下面开始对?(θ)求导:
[img]http://img.blog.csdn.net/20160402174538375
还记得梯度下降吗,不记得点这里,当时我们是为了求最小值。比较一下呢,现在我们是要求最大值,所以我们可以用梯度上升法求θ

θj:=θj+α(y(i)?hθ(x(i)))x(i)j
可以看到,与线性回归类似,不同之处只是θTx(i)hθ(x(i))hθ(x(i))θTx(i)g(z)
扩展到整个样本集就是:

θ:=θ+α?θ?(θ)

感知学习算法(perceptron learning algorithm)


这里我们改写Logistic regression中的映射函数g(z)
[img]http://img.blog.csdn.net/20160402181735356
经过与逻辑回归中同样的推导后我们会得到类似的结果:
[img]http://img.blog.csdn.net/20160402181857169
这就是感知学习算法。。。
它只输出0或1

牛顿迭代法


在逻辑回归中我们求最大似然值?(θ)时,是使用的梯度上升法。牛顿迭代法是另一种求最值的方法,这里让我们来看看怎样用牛顿迭代法求最大似然值?(θ)

首先什么是牛顿迭代法?


f(θ)线使f(θ)=0θ便
[img]http://img.blog.csdn.net/20160403171257517
牛顿迭代法公式:
θ:=θ?f(θ)f(θ)
我们将公式和图形结合来看:首先在中间那幅图中我们给θ4.5,f(4.5)f(θ)=0θ=2.8,f(θ)的值等于两个直角边长的比值,所以f(4.5)=f(4.5)4.5?2.8f(4.5)f(4.5)=4.5?2.8.
其本质就是通过迭代,使得θ不断的接近目标值。

牛顿迭代求最大似然值


上面是用牛顿迭代来求零点处的值,怎样用牛顿迭代来求最大值呢。很简单,我们只要求?(θ)=0处的θ,因此牛顿迭代法要写成下面的形式:

θ:=θ??(θ)?′′(θ)
,θ
[img]http://img.blog.csdn.net/20160403174253247
HHessian矩阵,就是2阶偏导数构成的矩阵,它是一个n×n的矩阵(在实际应用中加上偏置项,其实会是一个(n+1)×(n+1)的矩阵)。[img]http://img.blog.csdn.net/20160403174617655
牛顿迭代法相对于梯度上升法的优点是,只需较少的迭代次数便可完成计算
缺点是,每次迭代都需要计算Hessian矩阵,若属性过多,计算代价会很大。
......显示全文...
    点击查看全文


上一篇文章           查看所有文章
2016-04-03 20:46:48  
开发杂谈 最新文章
BloomFilter
大学四年编程之历程
内核分析
造人论坛——意识的本质和一个人工脑模型
OFDM信号[matlab描述]
人类还会进化吗?
HDUACM1035RobotMotion简单模拟题
树、二叉树(二)
iisphpweb.config处理404,500等,跳转友好
DatabaseAsaFortress
360图书馆 软件开发资料 文字转语音 购物精选 软件下载 美食菜谱 新闻资讯 电影视频 小游戏 Chinese Culture 股票 租车
生肖星座 三丰软件 视频 开发 短信 中国文化 网文精选 搜图网 美图 阅读网 多播 租车 短信 看图 日历 万年历 2017年11日历
2017-11-18 23:59:41
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  软件世界网 --