首页 购物 网址 三丰软件 | 小说 美女秀 图库大全 游戏 笑话 | 下载 开发知识库 新闻 开发 图片素材
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
移动开发 架构设计 编程语言 Web前端 互联网
开发杂谈 系统运维 研发管理 数据库 云计算 Android开发资料
资讯 业界资讯 软件杂谈 编程开发 网站建设 网络观查 搜索引擎 移动应用 网站运营 网络地图
开发 移动开发 Web前端 架构设计 编程语言 互联网 数据库 系统运维 云计算 开发杂谈
[架构设计] Hadoop集群搭建(三台电脑)
Hadoop集群搭建(三台电脑)

电脑的操作系统是Ubuntu12.04 32位,ubuntu-12.04.4-desktop-i386.iso。
集群介绍:     
        三台电脑的用户名都为hadoop
       主机名:master    10.10.6.176
       服务机:slaver1     10.10.6.242;slaver2    10.10.6.131
一、配置
       以下是三台机器都要安装和相同配置
       在/etc/hostname下修改自己的机器名
       在/etc/hosts下将所有机器名和对应的IP添加
二、安装JDK
        三台机器都需要,我用的是jdk-7u71-linux-i586.tar.gz。
        2.1在usr/local目录下新建java目录,将解压后的jdk1.7.0_71放到java目录下
        2.2在/etc/profile里最后添加JAVA环境(sudo gedit /etc/profile)
              # for java
         export JAVA_HOME=/usr/local/java/jdk1.7.0_71
         export JRE_HOME=${JAVA_HOME}/jre
        export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
        export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH
        2.3保存设置生效 ($ source /etc/profile
        2.4测试($ java -version
三、安装SSH并实现无密码访问
       3.1 安装SSH(sudo apt-get install ssh),包括openssh-server和openssh-client。
             安装过程一直默认就可以。三台机器都需要安装。
       3.2建立ssh无密码登录,采用rsa方式生成(ssh-keygen -t rsa)
              一直默认回车就可以,安装完cd .ssh 可以发现 id_rsa(密钥)和id_rsa.pub(公钥)两个文件。
     3.3无密码访问master本机
         将id_rsa.pub添加到authorized_keys(存放所有公钥)(cp id_rsa.pub  authorized_keys),   这时就可以无密码访问localhost (ssh localhost)。
     3.4无密码访问slaver1和slaver2
           将公钥复制到slaver1机器上:scp id_rsa.pub  hadoop@slaver1:~/.ssh/master_key
           将master_key 追加到slaver1和slaver2的authorized_keys文件里 cat master_key  >> authorized_keys(可以通过cat authorized_keys查看是否添加成功) 
四、安装Hadoop(三台相同) 
     我用的是hadoop-1.2.1.tar.gz
     4.1 将文件解压要目录
           sudo tar -zxf *.tag.gz,得到hadoop-1.2.1
     4.2 修改conf/hadoop-env.sh
          JAVA_HOME=/usr/local/java/jdk1.7.0_71(对应自己的jdk)
     4.3 修改conf目录下的配置文件masters,slaves,core-site.xml,mapred-site.xml,hdfs-site.xml
                masters文件       master               
                slaves文件         slaver1
                                          slaver2 
                修改core-site.xml文件                        
                                     <configuration>   
                                            <property>    
                                                <name>fs.default.name</name>    
                                                <value>hdfs://master:9000</value>    
                                         </property>    
                               </configuration> 
                修改mapred-site.xml文件             
                                  <configuration>   
                                          <property>   
                                                     <name>mapred.job.tracker</name>   
                                                    <value>master:9001</value>   
                                       </property>   
                            </configuration>
                修改hdfs-site.xml文件               
                                  <configuration>   
                                            <property>   
                                                     <name>dfs.replication</name>   
                                                    <value>3</value>   
                                       </property>   
                                 </configuration>  
      4.4测试
               格式化HDFS以做好数据存储   bin/hadoop namenode -format
               启动   bin/start-all.sh
               在master下[hadoop@master]$ jps后有4的进程 Jps、NameNode、JobTracker、SecondaryNameNode
               在slaves下[hadoop@slaver1]$ jps 后有3个进程 Jps、DataNode、TaskTracker
               停止  bin/stop-all.sh
 
     
 

上一篇:适配器模式
下一篇:三层结构

 此文从网络中自动搜索生成,不代表本网站赞成被搜索网站的内容或立场    查看原文
360图书馆 软件开发资料 文字转语音 购物精选 软件下载 新闻资讯 小游戏 Chinese Culture 股票 三丰软件 开发 中国文化 网文精选 阅读网 看图 日历 万年历 2018年9日历
2018-9-25 19:32:28
 
  网站联系 软件世界网-www.sjsjw.com ©2014 蜀ICP备06016416号 三峰网旗下网站