软件世界网 购物 网址 三丰软件 | 小说 美女秀 图库大全 游戏 笑话 | 下载 开发知识库 新闻 开发 图片素材
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
移动开发 架构设计 编程语言 Web前端 互联网
开发杂谈 系统运维 研发管理 数据库 云计算 Android开发资料
  软件世界网 -> 云计算 -> logistic回归 -> 正文阅读

[云计算]logistic回归

逻辑斯谛回归模型

逻辑斯谛分布


首先介绍逻辑斯谛分布,该分布的定义是
设X是连续随机变量,X服从逻辑斯谛分布是指X服从如下分布函数和密度函数:

[img]http://ww3.sinaimg.cn/large/6cbb8645gw1ewjeeb7m58j20ny05e0t4.jpg
其中,[img]http://ww3.sinaimg.cn/large/6cbb8645gw1ewjeflqberj201q023742.jpg为位置参数,[img]http://ww1.sinaimg.cn/large/6cbb8645gw1ewjegyzp7dj201p02b0si.jpg> 0 为形状参数。
可以通过其图像观察:
[img]http://ww1.sinaimg.cn/large/6cbb8645gw1ewjejmez18j20jw08dq3g.jpg
右边的逻辑斯蒂分布函数以点[img]http://ww4.sinaimg.cn/large/6cbb8645gw1ewjela1p7ij2022023dfm.jpg中心对称,即满足:
[img]http://ww1.sinaimg.cn/large/6cbb8645gw1ewjemqz9xkj20aj02hdfq.jpg
形状参数[img]http://ww1.sinaimg.cn/large/6cbb8645gw1ewjegyzp7dj201p02b0si.jpg越小,曲线在中心的增长速度越快。

二项逻辑斯蒂回归模型


这是一种由条件概率表示的模型,其条件概率模型如下:
[img]http://ww4.sinaimg.cn/large/6cbb8645gw1ewjewl3vmaj207u03hwel.jpg
其中,exp为以e为底的指数函数,x∈Rn是输入,y∈{0,1}输出,w,b是模型参数——w是权值向量,b称作偏置,w·x是向量内积。
有了后验概率,逻辑斯蒂回归模型选择二分类中较大的那一个完成分类。
另外,逻辑斯特回归模型还有一个方便的形式,如果将权值向量w和输入向量x拓充为w=(w(1),w(2),…w(n),b)T,x=(x(1),…x(n),1)T,此时逻辑斯谛模型可以表示为:
[img]http://ww1.sinaimg.cn/large/6cbb8645gw1ewjj2lcsrqj20c605uq3a.jpg
为什么要重新提一个形式出来呢?这是因为,这个形式跟几率的表达式很像。
定义事件的几率:发生概率与不发生概率的比值——[img]http://ww1.sinaimg.cn/large/6cbb8645gw1ewjjcg1ymej201o01sjr5.jpg。
定义对数几率:
[img]http://ww2.sinaimg.cn/large/6cbb8645gw1ewjjdig7gsj20d304jdfz.jpg
将逻辑斯蒂模型的便捷形式做一个变换恰好可以得到:
[img]http://ww2.sinaimg.cn/large/6cbb8645gw1ewjjh6a0uij20810290sn.jpg

这也就是说,在逻辑斯蒂回归模型中,输出Y=1的对数几率是输入x的线性函数。或者说输出Y=1的对数几率是由输入x的线性函数表示的模型,即逻辑斯蒂回归模型。反过来讲,如果知道权值向量,给定输入x,就能求出Y=1的概率:
[img]http://ww1.sinaimg.cn/large/6cbb8645gw1ewjjnxmewrj208n0270sn.jpg

线性函数w·x的值越接近正无穷,概率值越接近1;反之,越接近负无穷,概率值越接近0——这就是逻辑斯谛回归模型。

模型参数估计


在模型学习的时候,对于给定训练集T = {(x1,y1)…(xN,yN)},x∈Rn,y∈{0,1}

[img]http://ww1.sinaimg.cn/large/6cbb8645gw1ewjk8k757sj20db01cmx3.jpg
定义似然函数
[img]http://ww2.sinaimg.cn/large/6cbb8645gw1ewjkbzax6ij208802bwed.jpg
则有对数似然函数
[img]http://ww1.sinaimg.cn/large/6cbb8645gw1ewjkdwbm4mj20ee06i0t6.jpg
这个好说,把后面括号里的负π提到前面去就行了。
对L(w)求极大值就可以得出权值向量w的估计值。
解决以L(w)为目标函数的最优化问题的一般方法是梯度下降法及拟牛顿法,前者书上让参考附录,后者在后面会介绍。
梯度下降:

函数的梯度由其偏导数构成:
[img]http://ww3.sinaimg.cn/large/6cbb8645gw1ewkp1dnsofj205j02r3yd.jpg
[img]http://ww4.sinaimg.cn/large/6cbb8645gw1ewlxa2zohdj20mn0h3wgf.jpg
梯度是函数增长最快的方向,记移动补偿为α,则梯度算法的迭代公式为:
[img]http://ww3.sinaimg.cn/large/6cbb8645gw1ewkp64xdfsj203l00st8h.jpg
假定权值向量w有了,怎么计算模型输出呢?
特征向量乘以权值向量得出一个实数z
[img]http://ww3.sinaimg.cn/large/6cbb8645gw1ewld39optbj205z00rt8i.jpg
希望通过该实数输出一个0或1的类别,这时候就需要利用Sigmoid函数了:
[img]http://ww1.sinaimg.cn/large/6cbb8645gw1ewlcuxlwtvj203q01pq2p.jpg
其图像如下:
[img]http://ww2.sinaimg.cn/large/6cbb8645gw1ewlcxb15kkj20fu0cfq3q.jpg
将该实数代入Sigmoid函数后,得到一个0~1之间的数,大于0.5归入1,小于0.5归入0即可。
利用Sigmoid函数,梯度上升算法的伪码如下:
[img]http://ww1.sinaimg.cn/large/6cbb8645gw1ewlhxtxl2dj208s03c74c.jpg
......显示全文...
    点击查看全文


上一篇文章      下一篇文章      查看所有文章
2016-03-28 21:49:19  
云计算 最新文章
CentOS7上安装Zabbix(快速安装监控工具Zab
十分钟搭建NeuralStyle服务
solr入门之拼写纠错深入研究及代码Demo
3个netty5的例子,简单介绍netty的用法
RedhatOpenshift云平台注册使用
Akka框架——第一节:并发编程简介
Hadoop实战:Linux报tmp磁盘存储不足
linux安装thrift
感觉快更快规划计划高考韩国
solr相似匹配
360图书馆 软件开发资料 文字转语音 购物精选 软件下载 美食菜谱 新闻资讯 电影视频 小游戏 Chinese Culture 股票 租车
生肖星座 三丰软件 视频 开发 短信 中国文化 网文精选 搜图网 美图 阅读网 多播 租车 短信 看图 日历 万年历 2018年1日历
2018-1-20 7:29:50
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  软件世界网 --