软件世界网 购物 网址 三丰软件 | 小说 美女秀 图库大全 游戏 笑话 | 下载 开发知识库 新闻 开发 图片素材
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
移动开发 架构设计 编程语言 Web前端 互联网
开发杂谈 系统运维 研发管理 数据库 云计算 Android开发资料
  软件世界网 -> 互联网 -> 正规方程NormalEquation -> 正文阅读

[互联网]正规方程NormalEquation

正规方程 Normal Equation


前几篇博客介绍了一些梯度下降的实用技巧,特征缩放(详见http://blog.csdn.net/u012328159/article/details/51030366)和学习率(详见http://blog.csdn.net/u012328159/article/details/51030961)。在线性回归中,为了求得参数[img]http://latex.codecogs.com/gif.latex?%5Ctheta的最优值,一般采用梯度下降和本文将要介绍的正规方程(normal equation)。相比较梯度下降采用多次迭代逼近的方式,normal equation采用矩阵运算可以直接求解出参数[img]http://latex.codecogs.com/gif.latex?%5Ctheta。先介绍下什么是normal equation,假设一个数据集X有m个样本,n个特征。则假设函数为:[img]http://latex.codecogs.com/gif.latex?H_%7B%5Ctheta%20%7D%28X%29%20%3D%20%5Ctheta%20_%7B0%7D%20+%20%5Ctheta%20_%7B1%7Dx_%7B1%7D%20+%20%5Ctheta%20_%7B2%7Dx_%7B2%7D%20+...%20+%20%5Ctheta%20_%7Bn%7Dx_%7Bn%7D ,数据集X的特征向量表示为:
[img]http://img.blog.csdn.net/20160401140555820

[img]http://latex.codecogs.com/gif.latex?x%5E%7B%28i%29%7D表示第i个训练样本,[img]http://latex.codecogs.com/gif.latex?x%5E%7B%28i%29%7D_%7Bj%7D表示第i个训练样本的第j个特征。之所以在X中加了第一列全为1,是为了让[img]http://latex.codecogs.com/gif.latex?%5Ctheta%20_%7B0%7D*1%20%3D%20%5Ctheta%20_%7B0%7D



若希望假设函数能够拟合Y,则[img]http://latex.codecogs.com/gif.latex?H_%7B%5Ctheta%20%7D%28X%29%20%3D%20Y。又因为 [img]http://latex.codecogs.com/gif.latex?H_%7B%5Ctheta%7D%28X%29%20%3D%20X%20*%20%5Ctheta%20%3D%20Y ,所以可以通过矩阵运算求出参数[img]http://latex.codecogs.com/gif.latex?%5Ctheta。
熟悉线性代数的同学应该知道怎么求出参数[img]http://latex.codecogs.com/gif.latex?%5Ctheta,但是前提是矩阵X存在逆矩阵[img]http://latex.codecogs.com/gif.latex?X%5E%7B-1%7D。但只有方阵才有可能存在逆矩阵(不熟悉定理的同学建议去补补线性代数),因此可以通过左乘[img]http://latex.codecogs.com/gif.latex?X%5E%7BT%7D 使等式变成 [img]http://latex.codecogs.com/gif.latex?X%5E%7BT%7D%5Ccdot%20X%5Ccdot%20%5Ctheta%20%3D%20X%5E%7BT%7D%5Ccdot%20Y,因此[img]http://latex.codecogs.com/gif.latex?%5Ctheta%20%3D%28X%20%5E%7BT%7DX%29%5E%7B-1%7DX%5E%7BT%7DY,有同学可能会有疑问[img]http://latex.codecogs.com/gif.latex?%28X%20%5E%7BT%7DX%29%5E%7B-1%7D不一定存在啊,确实是,但是[img]http://latex.codecogs.com/gif.latex?%28X%20%5E%7BT%7DX%29%5E%7B-1%7D极少不存在,后面会介绍[img]http://latex.codecogs.com/gif.latex?%28X%20%5E%7BT%7DX%29%5E%7B-1%7D不存在的处理方法,先别着急。现在你只需要明白为什么[img]http://latex.codecogs.com/gif.latex?%5Ctheta%20%3D%28X%20%5E%7BT%7DX%29%5E%7B-1%7DX%5E%7BT%7DY就可以了,并且记住。


介绍完normal equation求解参数[img]http://latex.codecogs.com/gif.latex?%5Ctheta,我们已经知道了两种求解参数[img]http://latex.codecogs.com/gif.latex?%5Ctheta的方法,normal equation和梯度下降,现在来对比下这两种方法的优缺点以及什么场景选择什么方法。具体见下表吧:


[img]http://img.blog.csdn.net/20160401151513113





回到上面说的[img]http://latex.codecogs.com/gif.latex?%28X%20%5E%7BT%7DX%29%5E%7B-1%7D不一定存在,这种情况是极少存在的。如果[img]http://latex.codecogs.com/gif.latex?%28X%20%5E%7BT%7DX%29%5E%7B-1%7D不可逆了,一般要考虑一下两者情况:
(1) 移除冗余特征,一些特征存在线性依赖。
(2) 特征太多时,要删除一些特征。例如(m<n),对于小样本数据使用正则化。






......显示全文...
    点击查看全文


上一篇文章      下一篇文章      查看所有文章
2016-04-01 16:55:16  
互联网 最新文章
C++11并发API总结
16.收款(AcceptingMoney)
数据链路层综述
IP协议及IP数据报解析
《浅谈HTTP协议》
计算机网络基础
LoadRunner和RPT之间关于手动关联和参数化的
HTTPS中的对称密钥加密,公开密钥加密,数字
上班需要打卡吗?(开通微信公众号--乘着风
ofbizjmsactivemq
360图书馆 软件开发资料 文字转语音 购物精选 软件下载 美食菜谱 新闻资讯 电影视频 小游戏 Chinese Culture 股票 租车
生肖星座 三丰软件 视频 开发 短信 中国文化 网文精选 搜图网 美图 阅读网 多播 租车 短信 看图 日历 万年历 2018年1日历
2018-1-17 9:18:38
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  软件世界网 --