软件世界网 购物 网址 三丰软件 | 小说 美女秀 图库大全 游戏 笑话 | 下载 开发知识库 新闻 开发 图片素材
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
移动开发 架构设计 编程语言 Web前端 互联网
开发杂谈 系统运维 研发管理 数据库 云计算 Android开发资料
  软件世界网 -> 云计算 -> CDH集群中YARN的参数配置 -> 正文阅读

[云计算]CDH集群中YARN的参数配置


前言:Hadoop 2.0之后,原先的MapReduce不在是简单的离线批处理MR任务的框架,升级为MapReduceV2Yarn)版本,也就是把资源调度和任务分发两块分离开来。而在最新的CDH版本中,同时集成了MapReduceV1MapReduceV2Yarn)两个版本,如果集群中需要使用Yarn做统一的资源调度,建议使用Yarn
CDHYarn的部分参数做了少了修改,并且添加了相关的中文说明,本文着重介绍了CDH中相比 MapReduceV1一些参数改动的配置。
一、CPU配置
ApplicationMaster虚拟 CPU 内核
yarn.app.mapreduce.am.resource.cpu-vcores       // ApplicationMaster占用的cpu内核数(Gateway--资源管理
容器虚拟 CPU 内核
yarn.nodemanager.resource.cpu-vcores        // NodeManager 最大能分配的cpu核数NodeManager --资源管理
结论:当前 nodemanager 申请的 ApplicationMaster数总 和小于 nodemanager最大cpu内核数
二、内存配置
容器内存   
yarn.nodemanager.resource.memory-mb      //单个NodeManager能分配的最大内存(NodeManager --资源管理)                //Memory Total= 单个NodeManager内存 * 节点数
结论:提交任务占用内存Memory Used 小于Memory Total
Map 任务内存   
mapreduce.map.memory.mb                         //为作业的每个 Map 任务分配的物理内存量  Gateway--资源管理 
结论:mapreduce的内存需求不大于appmaster的内存需求
最大容器内存  
yarn.scheduler.maximum-allocation-mb     //单个任务可申请最大内存 ResourceManager--资源管理 

三、同一个Map或者Reduce 并行执行
Map 任务推理执行
mapreduce.map.speculative                       //Gateway
Reduce 任务推理执行
mapreduce.reduce.speculative                   //Gateway
四、JVM重用
启用 Ubertask 优化 :
mapreduce.job.ubertask.enable | (默认false)     //true则表示启用jvm重用(Gateway--性能
jvm重用的决定参数如下:
Ubertask最大 Map   
mapreduce.job.ubertask.maxmaps                   //超过多少个map启用jvm重用(Gateway--性能)
Ubertask最大 Reduce   
mapreduce.job.ubertask.maxreduces               //超过多少  Reduce  启用jvm重用,目前支持1 Gateway--性能)
Ubertask最大作业大小   
mapreduce.job.ubertask.maxbytes                  //application的输入大小的阀值,默认为 block大小(Gateway--性能)
五、其他参数
给spark加日志编辑 spark-defaults.conf
spark.yarn.historyServer.address=http://cloud003:18080/

更多精彩内容请关注:http://bbs.superwu.cn
关注超人学院微信二维码:[img]http://static.oschina.net/uploads/space/2015/0529/173757_0kmB_2273204.jpg
关注超人学院java免费学习交流群:
[img]http://static.oschina.net/uploads/space/2015/0529/173757_2IBI_2273204.png
......显示全文...
    点击查看全文


上一篇文章      下一篇文章      查看所有文章
2015-06-01 20:23:36  
云计算 最新文章
CentOS7上安装Zabbix(快速安装监控工具Zab
十分钟搭建NeuralStyle服务
solr入门之拼写纠错深入研究及代码Demo
3个netty5的例子,简单介绍netty的用法
RedhatOpenshift云平台注册使用
Akka框架——第一节:并发编程简介
Hadoop实战:Linux报tmp磁盘存储不足
linux安装thrift
感觉快更快规划计划高考韩国
solr相似匹配
360图书馆 软件开发资料 文字转语音 购物精选 软件下载 美食菜谱 新闻资讯 电影视频 小游戏 Chinese Culture 股票 租车
生肖星座 三丰软件 视频 开发 短信 中国文化 网文精选 搜图网 美图 阅读网 多播 租车 短信 看图 日历 万年历 2018年7日历
2018-7-21 16:01:55
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  软件世界网 --