软件世界网 购物 网址 三丰软件 | 小说 美女秀 图库大全 游戏 笑话 | 下载 开发知识库 新闻 开发 图片素材
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
移动开发 架构设计 编程语言 Web前端 互联网
开发杂谈 系统运维 研发管理 数据库 云计算 Android开发资料
  软件世界网 -> 研发管理 -> 拉格朗日乘数 -> 正文阅读

[研发管理]拉格朗日乘数


     说起拉格朗日乘子法,印象中其实高中都用过,用来求条件极值。大学中,高等数学里面也曾经提到过,印象依然没有什么改变,就是用来求条件极值。研究僧,老板让看SVM,知道SVM是通过拉格朗日方法把原始问题转化对w、b和a的极大极小问题,之后又在许多论文中看到这货的身影。然而从来没有仔细想过,为什么拉格朗日乘子法可以这么吊。
   直到有次听课,讲到《致命魔术》里面的一句话,Are u watching closely? You just wanna be fooled。
   突然发现,对于看书及看论文过程中接触到的一些方法和公式,I just wanna be fooled。因为这样简单、不费事。然而从来没有想过去watching closely,然而这样做的后果就是...完全不能充分理解各种算法就概念,于是我觉得逼自己去watching closely and don't be fooled
    于是,我觉得先从拉格朗日这货开始,见解可能是错的,但是就算是错误的道路,最起码我也已经在路上。

    wiki上是这样的,假设有函数:[img]http://blog.csdn.net/renjunsong0/article/details/51042744/https:/upload.wikimedia.org/math/3/b/a/3baf1600ae50930a155f58ae172b51bd.png,要求其极值(最大值/最小值),且满足条件g(x,y)=c,
c为常数。对不同[img]http://blog.csdn.net/renjunsong0/article/details/51042744/https:/upload.wikimedia.org/math/0/5/a/05a595160436dae94b5be4cad095ddb9.png的值,不难想像出
[img]http://blog.csdn.net/renjunsong0/article/details/51042744/https:/upload.wikimedia.org/math/7/5/a/75a30492a7ce7dca37516f4a75bea670.png
的等高线。而方程[img]http://blog.csdn.net/renjunsong0/article/details/51042744/https:/upload.wikimedia.org/math/b/2/f/b2f5ff47436671b6e533d8dc3614845d.png的可行集所构成的线正好是[img]http://blog.csdn.net/renjunsong0/article/details/51042744/https:/upload.wikimedia.org/math/4/8/6/48675360fb1cf93534004afbbec7da34.png。想像我们沿着[img]http://blog.csdn.net/renjunsong0/article/details/51042744/https:/upload.wikimedia.org/math/d/f/c/dfcc0ee3d46002269da7b661bd49102b.png的可行集走;因为大部分情况下[img]http://blog.csdn.net/renjunsong0/article/details/51042744/https:/upload.wikimedia.org/math/8/f/a/8fa14cdd754f91cc6554c9e71929cce7.png的等高线和[img]http://blog.csdn.net/renjunsong0/article/details/51042744/https:/upload.wikimedia.org/math/b/2/f/b2f5ff47436671b6e533d8dc3614845d.png的可行集线不会重合,但在有解的情况下,这两条线会相交。想像此时我们移动[img]http://blog.csdn.net/renjunsong0/article/details/51042744/https:/upload.wikimedia.org/math/d/f/c/dfcc0ee3d46002269da7b661bd49102b.png上的点,因为[img]http://blog.csdn.net/renjunsong0/article/details/51042744/https:/upload.wikimedia.org/math/8/f/a/8fa14cdd754f91cc6554c9e71929cce7.png是连续的方程,我们因此能走到[img]http://blog.csdn.net/renjunsong0/article/details/51042744/https:/upload.wikimedia.org/math/7/5/a/75a30492a7ce7dca37516f4a75bea670.png更高或更低的等高线上,也就是说[img]http://blog.csdn.net/renjunsong0/article/details/51042744/https:/upload.wikimedia.org/math/0/5/a/05a595160436dae94b5be4cad095ddb9.png可以变大或变小。只有当[img]http://blog.csdn.net/renjunsong0/article/details/51042744/https:/upload.wikimedia.org/math/d/f/c/dfcc0ee3d46002269da7b661bd49102b.png和[img]http://blog.csdn.net/renjunsong0/article/details/51042744/https:/upload.wikimedia.org/math/7/5/a/75a30492a7ce7dca37516f4a75bea670.png相切,也就是说,此时,我们正同时沿着[img]http://blog.csdn.net/renjunsong0/article/details/51042744/https:/upload.wikimedia.org/math/d/f/c/dfcc0ee3d46002269da7b661bd49102b.png和[img]http://blog.csdn.net/renjunsong0/article/details/51042744/https:/upload.wikimedia.org/math/7/5/a/75a30492a7ce7dca37516f4a75bea670.png走。这种情况下,会出极值鞍点
[img]http://img.blog.csdn.net/20160402105557105?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center
点击打开链接当时看的时候也是迷迷糊糊的,其实后来再看,这段解释已经非常的清楚了。不懂的话可以去看下这个视频点击打开链接,个人感觉讲的还是非常不错的,虽然看完还是有些不懂。主要问题还是为什么f和g的梯度平行时为极值。不过下面有一段评论我觉得写得还是蛮好的
“理解拉格朗日乘数法的关键 原来是梯度!
在作为约束条件的等值面g(x,y,z)=constant(二维的话是等值线,更高维就是类似的更高维结构)上函数 w=f(x,y,z) 的梯度的分布是不同的,当w=f(x,y,z)的梯度与g(x,y,z)=constant 等值面不垂直时,自然在所偏的方向还有更大或更小的值,只有垂直时才取到极值,而等值面上的梯度是垂直于等值面的,所以当二者的梯度线性相关时就是取极值处了。”

   看完后我的总结是,这里的极值,并没有明确说是极大值或者极小值(视频里也多次强调),而当f的梯度与等值面垂直的那个瞬间,f沿曲面方向是不变的(对应上图就是曲线方向),而在其他点总是要变的更大或者变的更小,因此当f与g的梯度平行时为极值。当然,对这一概念的理解与对梯度的理解是息息相关的。唉..果然又吃了读书少的亏啊。至于,拉格朗日乘数,其实就是两梯度的线性关系[img]http://img.blog.csdn.net/20160402112801524?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center。

未完待续...


......显示全文...
    点击查看全文


上一篇文章           查看所有文章
2016-04-03 20:46:37  
研发管理 最新文章
拉格朗日乘数
maven之可视化项目依赖(Visualizingdepend
mac效率工具
Atitit.css规范bem项目中CSS的组织和管理
git入门
Asimplemodelfordescribingbasicsourcesofp
Linux进程管理浅析
我的openwrt学习笔记(十九):linux便捷开
2、微控制器选择
Git使用手册:为Git仓库创建Submodule
360图书馆 软件开发资料 文字转语音 购物精选 软件下载 美食菜谱 新闻资讯 电影视频 小游戏 Chinese Culture 股票 租车
生肖星座 三丰软件 视频 开发 短信 中国文化 网文精选 搜图网 美图 阅读网 多播 租车 短信 看图 日历 万年历 2018年1日历
2018-1-17 9:20:16
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  软件世界网 --