软件世界网 购物 网址 三丰软件 | 小说 美女秀 图库大全 游戏 笑话 | 下载 开发知识库 新闻 开发 图片素材
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
移动开发 架构设计 编程语言 Web前端 互联网
开发杂谈 系统运维 研发管理 数据库 云计算 Android开发资料
  软件世界网 -> 云计算 -> 最小二乘(LeastSquares) -> 正文阅读

[云计算]最小二乘(LeastSquares)


已经很久没有写博客了,今天决定写一篇关于最小二乘的博客,发表下自己的理解,有不足或错误之处,欢迎大家指正。
最小二乘,又被叫做最小乘方or最小平方,它是一种优化技术。当给你一堆数据点,你可以想象成初中数学课堂上学习解析几何的时候,在坐标轴上给出一些点(通常这些点连起来是一条直线),然后要求算出这条直线的解析式(也就是拟合这些数据点),或计算斜率(可以理解成回归系数),然后要你算出当x等于多少时y的值之类的。我们在利用坐标轴上的点进行计算解析式的时候,其实就是找到最佳斜率(回归系数)来对这些数据点进行拟合了。
现在回到最小二乘上来,最小二乘,就是用来找到最佳的回归系数的方法。在过去的30年中,线性模型一直是统计学的主要支柱,并且现在仍然是最重要的工具之一。给定一个输入向量X=(X 1 ,X 2 ,?,X p )  ,可以通过下面的模型来预测输出Y  :
Y ^ =β ^  0 + j=1 p X j β ^  j  
β ^  0   是截距,在机器学习中也称偏置(bias)。通常我们将X 0   设为 1,与偏置相乘,这样,上面向量形式的线性模型可以写成内积的形式:
Y ^ =X T β ^  
可以发现,上面的公式中Y β  上面有个尖尖的帽子样的符号,这表示一个最佳估计,与真实的Y β  区分开。
现在我们需要找到这样的最佳β  来对Y  进行预测,我们要找到使误差和,也就是 N i=1 (y i ?x T i β)  最小的β  ,如果将各个误差累加的话,正负误差会抵消,那就起不到效果,找不到最佳回归系数,所以将每个误差值先平方,再求和,这样就不存在误差抵消的情况,这就叫做最小二乘:
RSS(β)= i=1 N (y i ?x T i β) 2  
很容易发现这是一个关于β  的二次函数,所以极小值总是存在,但可能不唯一,我们把上式写成矩阵的形式:
RSS(β)=(y?Xβ) T (y?Xβ) 
现在来回顾下高中的知识,当要求二次函数的极值时,我们的做法通常是对其求导,令其等于0(因为导数为0的点,其切线的斜率为0,而这样的点就是极值点),这样就能求的极值点,现在我们对上式中的β  求微分(用用高等数学术语吧:)), 因为我们要求的最小的β  来最小化误差,这样我们得到了标准方程:
X T (y?Xβ)=0 
如果X T X  是非奇异的,也就是它们是满秩矩阵,其行列式不等于0(参考大学课程线性代数)。那么我们可以得到β  的一个最佳估计:
β ^ =(X T X) ?1 y 
这样,我们就计算出了回归系数(可以理解为一次函数的斜率)了, 有了回归系数,我们就确定了预测Y  的方程Y ^ =X T β ^   ,这个方程叫做回归方程,而使用最小二乘计算回归系数的过程就叫做回归。
......显示全文...
    点击查看全文


上一篇文章      下一篇文章      查看所有文章
2016-03-28 21:49:19  
云计算 最新文章
CentOS7上安装Zabbix(快速安装监控工具Zab
十分钟搭建NeuralStyle服务
solr入门之拼写纠错深入研究及代码Demo
3个netty5的例子,简单介绍netty的用法
RedhatOpenshift云平台注册使用
Akka框架——第一节:并发编程简介
Hadoop实战:Linux报tmp磁盘存储不足
linux安装thrift
感觉快更快规划计划高考韩国
solr相似匹配
360图书馆 软件开发资料 文字转语音 购物精选 软件下载 美食菜谱 新闻资讯 电影视频 小游戏 Chinese Culture 股票 租车
生肖星座 三丰软件 视频 开发 短信 中国文化 网文精选 搜图网 美图 阅读网 多播 租车 短信 看图 日历 万年历 2018年1日历
2018-1-17 9:19:11
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  软件世界网 --