软件世界网 购物 网址 三丰软件 | 小说 美女秀 图库大全 游戏 笑话 | 下载 开发知识库 新闻 开发 图片素材
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
移动开发 架构设计 编程语言 Web前端 互联网
开发杂谈 系统运维 研发管理 数据库 云计算 Android开发资料
  软件世界网 -> 云计算 -> CDH集群中YARN的参数配置 -> 正文阅读

[云计算]CDH集群中YARN的参数配置


前言:Hadoop 2.0之后,原先的MapReduce不在是简单的离线批处理MR任务的框架,升级为MapReduceV2Yarn)版本,也就是把资源调度和任务分发两块分离开来。而在最新的CDH版本中,同时集成了MapReduceV1MapReduceV2Yarn)两个版本,如果集群中需要使用Yarn做统一的资源调度,建议使用Yarn
CDHYarn的部分参数做了少了修改,并且添加了相关的中文说明,本文着重介绍了CDH中相比 MapReduceV1一些参数改动的配置。
一、CPU配置
ApplicationMaster虚拟 CPU 内核
yarn.app.mapreduce.am.resource.cpu-vcores       // ApplicationMaster占用的cpu内核数(Gateway--资源管理
容器虚拟 CPU 内核
yarn.nodemanager.resource.cpu-vcores        // NodeManager 最大能分配的cpu核数NodeManager --资源管理
结论:当前 nodemanager 申请的 ApplicationMaster数总 和小于 nodemanager最大cpu内核数
二、内存配置
容器内存   
yarn.nodemanager.resource.memory-mb      //单个NodeManager能分配的最大内存(NodeManager --资源管理)                //Memory Total= 单个NodeManager内存 * 节点数
结论:提交任务占用内存Memory Used 小于Memory Total
Map 任务内存   
mapreduce.map.memory.mb                         //为作业的每个 Map 任务分配的物理内存量  Gateway--资源管理 
结论:mapreduce的内存需求不大于appmaster的内存需求
最大容器内存  
yarn.scheduler.maximum-allocation-mb     //单个任务可申请最大内存 ResourceManager--资源管理 

三、同一个Map或者Reduce 并行执行
Map 任务推理执行
mapreduce.map.speculative                       //Gateway
Reduce 任务推理执行
mapreduce.reduce.speculative                   //Gateway
四、JVM重用
启用 Ubertask 优化 :
mapreduce.job.ubertask.enable | (默认false)     //true则表示启用jvm重用(Gateway--性能
jvm重用的决定参数如下:
Ubertask最大 Map   
mapreduce.job.ubertask.maxmaps                   //超过多少个map启用jvm重用(Gateway--性能)
Ubertask最大 Reduce   
mapreduce.job.ubertask.maxreduces               //超过多少  Reduce  启用jvm重用,目前支持1 Gateway--性能)
Ubertask最大作业大小   
mapreduce.job.ubertask.maxbytes                  //application的输入大小的阀值,默认为 block大小(Gateway--性能)
五、其他参数
给spark加日志编辑 spark-defaults.conf
spark.yarn.historyServer.address=http://cloud003:18080/

更多精彩内容请关注:http://bbs.superwu.cn
关注超人学院微信二维码:[img]http://static.oschina.net/uploads/space/2015/0529/173757_0kmB_2273204.jpg
关注超人学院java免费学习交流群:
[img]http://static.oschina.net/uploads/space/2015/0529/173757_2IBI_2273204.png
......显示全文...
    点击查看全文


上一篇文章      下一篇文章      查看所有文章
2015-06-01 20:23:36  
云计算 最新文章
CentOS7上安装Zabbix(快速安装监控工具Zab
十分钟搭建NeuralStyle服务
solr入门之拼写纠错深入研究及代码Demo
3个netty5的例子,简单介绍netty的用法
RedhatOpenshift云平台注册使用
Akka框架——第一节:并发编程简介
Hadoop实战:Linux报tmp磁盘存储不足
linux安装thrift
感觉快更快规划计划高考韩国
solr相似匹配
360图书馆 软件开发资料 文字转语音 购物精选 软件下载 新闻资讯 小游戏 Chinese Culture 股票 三丰软件 开发 中国文化 网文精选 阅读网 看图 日历 万年历 2018年9日历
2018-9-25 18:52:37
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  软件世界网 --