软件世界网 购物 网址 三丰软件 | 小说 美女秀 图库大全 游戏 笑话 | 下载 开发知识库 新闻 开发 图片素材
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
移动开发 架构设计 编程语言 Web前端 互联网
开发杂谈 系统运维 研发管理 数据库 云计算 Android开发资料
  软件世界网 -> 云计算 -> 最小二乘(LeastSquares) -> 正文阅读
云计算 最新文章
CentOS7上安装Zabbix(快速安装监控工具Zab
十分钟搭建NeuralStyle服务
solr入门之拼写纠错深入研究及代码Demo
3个netty5的例子,简单介绍netty的用法
RedhatOpenshift云平台注册使用
Akka框架——第一节:并发编程简介
Hadoop实战:Linux报tmp磁盘存储不足
linux安装thrift
感觉快更快规划计划高考韩国
solr相似匹配

[云计算]最小二乘(LeastSquares)

  2016-03-28 21:49:39

已经很久没有写博客了,今天决定写一篇关于最小二乘的博客,发表下自己的理解,有不足或错误之处,欢迎大家指正。
最小二乘,又被叫做最小乘方or最小平方,它是一种优化技术。当给你一堆数据点,你可以想象成初中数学课堂上学习解析几何的时候,在坐标轴上给出一些点(通常这些点连起来是一条直线),然后要求算出这条直线的解析式(也就是拟合这些数据点),或计算斜率(可以理解成回归系数),然后要你算出当x等于多少时y的值之类的。我们在利用坐标轴上的点进行计算解析式的时候,其实就是找到最佳斜率(回归系数)来对这些数据点进行拟合了。
现在回到最小二乘上来,最小二乘,就是用来找到最佳的回归系数的方法。在过去的30年中,线性模型一直是统计学的主要支柱,并且现在仍然是最重要的工具之一。给定一个输入向量X=(X 1 ,X 2 ,?,X p )  ,可以通过下面的模型来预测输出Y  :
Y ^ =β ^  0 + j=1 p X j β ^  j  
β ^  0   是截距,在机器学习中也称偏置(bias)。通常我们将X 0   设为 1,与偏置相乘,这样,上面向量形式的线性模型可以写成内积的形式:
Y ^ =X T β ^  
可以发现,上面的公式中Y β  上面有个尖尖的帽子样的符号,这表示一个最佳估计,与真实的Y β  区分开。
现在我们需要找到这样的最佳β  来对Y  进行预测,我们要找到使误差和,也就是 N i=1 (y i ?x T i β)  最小的β  ,如果将各个误差累加的话,正负误差会抵消,那就起不到效果,找不到最佳回归系数,所以将每个误差值先平方,再求和,这样就不存在误差抵消的情况,这就叫做最小二乘:
RSS(β)= i=1 N (y i ?x T i β) 2  
很容易发现这是一个关于β  的二次函数,所以极小值总是存在,但可能不唯一,我们把上式写成矩阵的形式:
RSS(β)=(y?Xβ) T (y?Xβ) 
现在来回顾下高中的知识,当要求二次函数的极值时,我们的做法通常是对其求导,令其等于0(因为导数为0的点,其切线的斜率为0,而这样的点就是极值点),这样就能求的极值点,现在我们对上式中的β  求微分(用用高等数学术语吧:)), 因为我们要求的最小的β  来最小化误差,这样我们得到了标准方程:
X T (y?Xβ)=0 
如果X T X  是非奇异的,也就是它们是满秩矩阵,其行列式不等于0(参考大学课程线性代数)。那么我们可以得到β  的一个最佳估计:
β ^ =(X T X) ?1 y 
这样,我们就计算出了回归系数(可以理解为一次函数的斜率)了, 有了回归系数,我们就确定了预测Y  的方程Y ^ =X T β ^   ,这个方程叫做回归方程,而使用最小二乘计算回归系数的过程就叫做回归。
上一篇文章      下一篇文章      查看所有文章
2016-03-28 21:49:19  
360图书馆 论文大全 母婴/育儿 软件开发资料 网页快照 文字转语音 购物精选 软件 美食菜谱 新闻中心 电影下载 小游戏 Chinese Culture
生肖星座解梦 三沣玩客 拍拍 视频 开发 Android开发 站长 古典小说 网文精选 搜图网 天下美图 中国文化英文 多播视频 装修知识库
2017-1-21 4:09:03
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  软件世界网 --