软件世界网 购物 网址 三丰软件 | 小说 美女秀 图库大全 游戏 笑话 | 下载 开发知识库 新闻 开发 图片素材
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
移动开发 架构设计 编程语言 Web前端 互联网
开发杂谈 系统运维 研发管理 数据库 云计算 Android开发资料
  软件世界网 -> 互联网 -> 正规方程NormalEquation -> 正文阅读

[互联网]正规方程NormalEquation

正规方程 Normal Equation


前几篇博客介绍了一些梯度下降的实用技巧,特征缩放(详见http://blog.csdn.net/u012328159/article/details/51030366)和学习率(详见http://blog.csdn.net/u012328159/article/details/51030961)。在线性回归中,为了求得参数[img]http://latex.codecogs.com/gif.latex?%5Ctheta的最优值,一般采用梯度下降和本文将要介绍的正规方程(normal equation)。相比较梯度下降采用多次迭代逼近的方式,normal equation采用矩阵运算可以直接求解出参数[img]http://latex.codecogs.com/gif.latex?%5Ctheta。先介绍下什么是normal equation,假设一个数据集X有m个样本,n个特征。则假设函数为:[img]http://latex.codecogs.com/gif.latex?H_%7B%5Ctheta%20%7D%28X%29%20%3D%20%5Ctheta%20_%7B0%7D%20+%20%5Ctheta%20_%7B1%7Dx_%7B1%7D%20+%20%5Ctheta%20_%7B2%7Dx_%7B2%7D%20+...%20+%20%5Ctheta%20_%7Bn%7Dx_%7Bn%7D ,数据集X的特征向量表示为:
[img]http://img.blog.csdn.net/20160401140555820

[img]http://latex.codecogs.com/gif.latex?x%5E%7B%28i%29%7D表示第i个训练样本,[img]http://latex.codecogs.com/gif.latex?x%5E%7B%28i%29%7D_%7Bj%7D表示第i个训练样本的第j个特征。之所以在X中加了第一列全为1,是为了让[img]http://latex.codecogs.com/gif.latex?%5Ctheta%20_%7B0%7D*1%20%3D%20%5Ctheta%20_%7B0%7D



若希望假设函数能够拟合Y,则[img]http://latex.codecogs.com/gif.latex?H_%7B%5Ctheta%20%7D%28X%29%20%3D%20Y。又因为 [img]http://latex.codecogs.com/gif.latex?H_%7B%5Ctheta%7D%28X%29%20%3D%20X%20*%20%5Ctheta%20%3D%20Y ,所以可以通过矩阵运算求出参数[img]http://latex.codecogs.com/gif.latex?%5Ctheta。
熟悉线性代数的同学应该知道怎么求出参数[img]http://latex.codecogs.com/gif.latex?%5Ctheta,但是前提是矩阵X存在逆矩阵[img]http://latex.codecogs.com/gif.latex?X%5E%7B-1%7D。但只有方阵才有可能存在逆矩阵(不熟悉定理的同学建议去补补线性代数),因此可以通过左乘[img]http://latex.codecogs.com/gif.latex?X%5E%7BT%7D 使等式变成 [img]http://latex.codecogs.com/gif.latex?X%5E%7BT%7D%5Ccdot%20X%5Ccdot%20%5Ctheta%20%3D%20X%5E%7BT%7D%5Ccdot%20Y,因此[img]http://latex.codecogs.com/gif.latex?%5Ctheta%20%3D%28X%20%5E%7BT%7DX%29%5E%7B-1%7DX%5E%7BT%7DY,有同学可能会有疑问[img]http://latex.codecogs.com/gif.latex?%28X%20%5E%7BT%7DX%29%5E%7B-1%7D不一定存在啊,确实是,但是[img]http://latex.codecogs.com/gif.latex?%28X%20%5E%7BT%7DX%29%5E%7B-1%7D极少不存在,后面会介绍[img]http://latex.codecogs.com/gif.latex?%28X%20%5E%7BT%7DX%29%5E%7B-1%7D不存在的处理方法,先别着急。现在你只需要明白为什么[img]http://latex.codecogs.com/gif.latex?%5Ctheta%20%3D%28X%20%5E%7BT%7DX%29%5E%7B-1%7DX%5E%7BT%7DY就可以了,并且记住。


介绍完normal equation求解参数[img]http://latex.codecogs.com/gif.latex?%5Ctheta,我们已经知道了两种求解参数[img]http://latex.codecogs.com/gif.latex?%5Ctheta的方法,normal equation和梯度下降,现在来对比下这两种方法的优缺点以及什么场景选择什么方法。具体见下表吧:


[img]http://img.blog.csdn.net/20160401151513113





回到上面说的[img]http://latex.codecogs.com/gif.latex?%28X%20%5E%7BT%7DX%29%5E%7B-1%7D不一定存在,这种情况是极少存在的。如果[img]http://latex.codecogs.com/gif.latex?%28X%20%5E%7BT%7DX%29%5E%7B-1%7D不可逆了,一般要考虑一下两者情况:
(1) 移除冗余特征,一些特征存在线性依赖。
(2) 特征太多时,要删除一些特征。例如(m<n),对于小样本数据使用正则化。






......显示全文...
    点击查看全文


上一篇文章      下一篇文章      查看所有文章
2016-04-01 16:55:16  
互联网 最新文章
C++11并发API总结
16.收款(AcceptingMoney)
数据链路层综述
IP协议及IP数据报解析
《浅谈HTTP协议》
计算机网络基础
LoadRunner和RPT之间关于手动关联和参数化的
HTTPS中的对称密钥加密,公开密钥加密,数字
上班需要打卡吗?(开通微信公众号--乘着风
ofbizjmsactivemq
360图书馆 软件开发资料 文字转语音 购物精选 软件下载 美食菜谱 新闻资讯 电影视频 小游戏 Chinese Culture
生肖星座 三丰软件 视频 开发 Android开发 站长 古典小说 网文精选 搜图网 美图 中国文化英文版 多播 租车 短信
2017-7-24 10:38:15
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  软件世界网 --