软件世界网 购物 网址 三丰软件 | 小说 美女秀 图库大全 游戏 笑话 | 下载 开发知识库 新闻 开发 图片素材
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
移动开发 架构设计 编程语言 Web前端 互联网
开发杂谈 系统运维 研发管理 数据库 云计算 Android开发资料
  软件世界网 -> 云计算 -> logistic回归 -> 正文阅读

[云计算]logistic回归

逻辑斯谛回归模型

逻辑斯谛分布


首先介绍逻辑斯谛分布,该分布的定义是
设X是连续随机变量,X服从逻辑斯谛分布是指X服从如下分布函数和密度函数:

[img]http://ww3.sinaimg.cn/large/6cbb8645gw1ewjeeb7m58j20ny05e0t4.jpg
其中,[img]http://ww3.sinaimg.cn/large/6cbb8645gw1ewjeflqberj201q023742.jpg为位置参数,[img]http://ww1.sinaimg.cn/large/6cbb8645gw1ewjegyzp7dj201p02b0si.jpg> 0 为形状参数。
可以通过其图像观察:
[img]http://ww1.sinaimg.cn/large/6cbb8645gw1ewjejmez18j20jw08dq3g.jpg
右边的逻辑斯蒂分布函数以点[img]http://ww4.sinaimg.cn/large/6cbb8645gw1ewjela1p7ij2022023dfm.jpg中心对称,即满足:
[img]http://ww1.sinaimg.cn/large/6cbb8645gw1ewjemqz9xkj20aj02hdfq.jpg
形状参数[img]http://ww1.sinaimg.cn/large/6cbb8645gw1ewjegyzp7dj201p02b0si.jpg越小,曲线在中心的增长速度越快。

二项逻辑斯蒂回归模型


这是一种由条件概率表示的模型,其条件概率模型如下:
[img]http://ww4.sinaimg.cn/large/6cbb8645gw1ewjewl3vmaj207u03hwel.jpg
其中,exp为以e为底的指数函数,x∈Rn是输入,y∈{0,1}输出,w,b是模型参数——w是权值向量,b称作偏置,w·x是向量内积。
有了后验概率,逻辑斯蒂回归模型选择二分类中较大的那一个完成分类。
另外,逻辑斯特回归模型还有一个方便的形式,如果将权值向量w和输入向量x拓充为w=(w(1),w(2),…w(n),b)T,x=(x(1),…x(n),1)T,此时逻辑斯谛模型可以表示为:
[img]http://ww1.sinaimg.cn/large/6cbb8645gw1ewjj2lcsrqj20c605uq3a.jpg
为什么要重新提一个形式出来呢?这是因为,这个形式跟几率的表达式很像。
定义事件的几率:发生概率与不发生概率的比值——[img]http://ww1.sinaimg.cn/large/6cbb8645gw1ewjjcg1ymej201o01sjr5.jpg。
定义对数几率:
[img]http://ww2.sinaimg.cn/large/6cbb8645gw1ewjjdig7gsj20d304jdfz.jpg
将逻辑斯蒂模型的便捷形式做一个变换恰好可以得到:
[img]http://ww2.sinaimg.cn/large/6cbb8645gw1ewjjh6a0uij20810290sn.jpg

这也就是说,在逻辑斯蒂回归模型中,输出Y=1的对数几率是输入x的线性函数。或者说输出Y=1的对数几率是由输入x的线性函数表示的模型,即逻辑斯蒂回归模型。反过来讲,如果知道权值向量,给定输入x,就能求出Y=1的概率:
[img]http://ww1.sinaimg.cn/large/6cbb8645gw1ewjjnxmewrj208n0270sn.jpg

线性函数w·x的值越接近正无穷,概率值越接近1;反之,越接近负无穷,概率值越接近0——这就是逻辑斯谛回归模型。

模型参数估计


在模型学习的时候,对于给定训练集T = {(x1,y1)…(xN,yN)},x∈Rn,y∈{0,1}

[img]http://ww1.sinaimg.cn/large/6cbb8645gw1ewjk8k757sj20db01cmx3.jpg
定义似然函数
[img]http://ww2.sinaimg.cn/large/6cbb8645gw1ewjkbzax6ij208802bwed.jpg
则有对数似然函数
[img]http://ww1.sinaimg.cn/large/6cbb8645gw1ewjkdwbm4mj20ee06i0t6.jpg
这个好说,把后面括号里的负π提到前面去就行了。
对L(w)求极大值就可以得出权值向量w的估计值。
解决以L(w)为目标函数的最优化问题的一般方法是梯度下降法及拟牛顿法,前者书上让参考附录,后者在后面会介绍。
梯度下降:

函数的梯度由其偏导数构成:
[img]http://ww3.sinaimg.cn/large/6cbb8645gw1ewkp1dnsofj205j02r3yd.jpg
[img]http://ww4.sinaimg.cn/large/6cbb8645gw1ewlxa2zohdj20mn0h3wgf.jpg
梯度是函数增长最快的方向,记移动补偿为α,则梯度算法的迭代公式为:
[img]http://ww3.sinaimg.cn/large/6cbb8645gw1ewkp64xdfsj203l00st8h.jpg
假定权值向量w有了,怎么计算模型输出呢?
特征向量乘以权值向量得出一个实数z
[img]http://ww3.sinaimg.cn/large/6cbb8645gw1ewld39optbj205z00rt8i.jpg
希望通过该实数输出一个0或1的类别,这时候就需要利用Sigmoid函数了:
[img]http://ww1.sinaimg.cn/large/6cbb8645gw1ewlcuxlwtvj203q01pq2p.jpg
其图像如下:
[img]http://ww2.sinaimg.cn/large/6cbb8645gw1ewlcxb15kkj20fu0cfq3q.jpg
将该实数代入Sigmoid函数后,得到一个0~1之间的数,大于0.5归入1,小于0.5归入0即可。
利用Sigmoid函数,梯度上升算法的伪码如下:
[img]http://ww1.sinaimg.cn/large/6cbb8645gw1ewlhxtxl2dj208s03c74c.jpg
......显示全文...
    点击查看全文


上一篇文章      下一篇文章      查看所有文章
2016-03-28 21:49:19  
云计算 最新文章
CentOS7上安装Zabbix(快速安装监控工具Zab
十分钟搭建NeuralStyle服务
solr入门之拼写纠错深入研究及代码Demo
3个netty5的例子,简单介绍netty的用法
RedhatOpenshift云平台注册使用
Akka框架——第一节:并发编程简介
Hadoop实战:Linux报tmp磁盘存储不足
linux安装thrift
感觉快更快规划计划高考韩国
solr相似匹配
360图书馆 论文大全 母婴/育儿 软件开发资料 网页快照 文字转语音 购物精选 软件 美食菜谱 新闻中心 电影下载 小游戏 Chinese Culture
生肖星座解梦 人民的名义 人民的名义在线看 三沣玩客 拍拍 视频 开发 Android开发 站长 古典小说 网文精选 搜图网 天下美图
中国文化英文 多播视频 装修知识库
2017-7-21 4:46:32
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  软件世界网 --