软件世界网 购物 网址 三丰软件 | 小说 美女秀 图库大全 游戏 笑话 | 下载 开发知识库 新闻 开发 图片素材
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
移动开发 架构设计 编程语言 Web前端 互联网
开发杂谈 系统运维 研发管理 数据库 云计算 Android开发资料
  软件世界网 -> 云计算 -> HodoopHDFSNFSGateWay挂载到其他机器深入详解 -> 正文阅读

[云计算]HodoopHDFSNFSGateWay挂载到其他机器深入详解


0.前提有三台机器:


10.0.1.31 为Hadoop NameNode节点机器。
10.1.1.36为Hadoop DataNode节点机器。
10.1.111.13为非Hadoop机器。
目前查到的资料里面显示HDFS NFS GateWay的挂载方式为:
参考:https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/HdfsNfsGateway.html
[root]# mount -t nfs -o vers=3,proto=tcp,nolock,noacl,sync localhost:/ /hdfs_y 

1. 本机挂载方式正常。


参考:http://blog.csdn.net/laoyang360/article/details/50865025
以下完成了Hdfs路径挂载到本地。
[root@WEB-W031 hdfsnew]# mount -t nfs -o vers=3,proto=tcp,nolock,noacl,sync 10.0.1.31:/ /hdfs_2
[root@WEB-W031 hdfsnew]# 
[root@WEB-W031 hdfsnew]# 
[root@WEB-W031 hdfsnew]# 
[root@WEB-W031 hdfsnew]# cd /hdfs_2
[root@WEB-W031 hdfs_2]# ls -al
total 12
drwxr-xr-x 9 root 2584148964 288 Mar 16 16:30 .
drwxr-xr-x 34 root root 4096 Mar 17 10:02 ..
drwxr-xr-x 2 root 2584148964 64 Mar 16 15:01 dl
drwxr-xr-x 3 root 2584148964 96 Mar 16 16:23 input
drwxr-xr-x 2 root 2584148964 64 Mar 16 16:22 output
drwxr-xr-x 4 hadoop 2584148964 128 Mar 16 16:30 output2
drwxr-xr-x 4 root root 128 Mar 11 18:05 testing
drwxrwx--- 3 hadoop 2584148964 96 Mar 9 11:14 tmp
drwxr-xr-x 3 hadoop 2584148964 96 Mar 9 13:24 user
[root@WEB-W031 /]# mount
10.0.1.31:/ on /hdfsnew type nfs (rw,sync,nfsvers=3,proto=tcp,nolock,noacl,addr=10.0.1.31)
10.0.1.31:/ on /hdfs_2 type nfs (rw,sync,nfsvers=3,proto=tcp,nolock,noacl,addr=10.0.1.31)

采取直接挂载到其他机器目录的方式会报错:(不支持如下挂载,网上也没有类似的挂载方式)
[root@WEB-W031 hdfsnew]# mount -t nfs -o vers=3,proto=tcp,nolock,noacl,sync 10.0.1.31:/ 10.1.1.36:/hdfs_2
mount.nfs: Input/output error

2、【最终挂载方法】在Hadoop的DataNode节点挂载会ok(如下机器IP为10.1.1.36)


以下完成了NameNode10.0.1.31节点挂载到DataNode节点。
[root@Processor036 hdfs36]# mount -t nfs -o vers=3,proto=tcp,nolock,noacl,sync 10.0.1.31:/ /hdfs_2
[root@Processor036 hdfs36]# cd /hdfs_2
[root@Processor036 hdfs_2]# ls -al
total 12
drwxr-xr-x 9 root 2584148964 288 Mar 16 16:30 .
drwxr-xr-x 33 root root 4096 Mar 17 10:02 ..
drwxr-xr-x 2 root 2584148964 64 Mar 16 15:01 dl
drwxr-xr-x 3 root 258
4148964 96 Mar 16 16:23 input
drwxr-xr-x 2 root 2584148964 64 Mar 16 16:22 output
drwxr-xr-x 4 hadoop 2584148964 128 Mar 16 16:30 output2
drwxr-xr-x 4 root root 128 Mar 11 18:05 testing
drwxrwx--- 3 hadoop 2584148964 96 Mar 9 11:14 tmp
drwxr-xr-x 3 hadoop 2584148964 96 Mar 9 13:24 user

3、在非Hadoop机器的另外机器上挂载方法同2


以下完成了NameNode10.0.1.31节点挂载到非Hdaoop节点(10.1.111.13)。
[root@ 13]# mount -t nfs -o vers=3,proto=tcp,nolock,noacl,sync 10.0.1.31:/ /hdfs_13

4、如何在非Hadoop的机器上操作Hadoop账号建立的文件?


初始10.1.111.13上面并没有hadoop用户,
所以:新建的文件的uid 和 gid会显示666(原有10.0.1.31上的hadoop账号的uid和gid)。
修改方法:
即:在机器10.1.111.13新建hadoop账户,并修改其uid和gid为666
方法一:
groupmod -g 666 hadoop //修改hadoop用户的gid为666
usermod -g 666 hadoop //修改hadoop用户的uid为666
方法二:
直接修改/etc/passwd 找到hadoop账号修改。
修改后:
[hadoop@etl02 hdfs_13]$ ls -al 
drwxrwxr-x   3 hadoop hadoop       96 Mar 17 13:18 make_in_31

至此,三台机器都可以用hadoop账号读写文件。以下三行分别是在三台机器写入的。
[hadoop@WEB-W031 test22]$ cat test36 
363633636363  //36机器写入
1313131313131313 //13机器写入
inni31_31_31_31  //31机器写入

反思:


本机挂载之前就搞定了,但是挂载到其他机器反复尝试了很多方法, 后来回到原点,挂载本机的方法就可以挂载到其他机器。很有意思。
作者:铭毅天下
转载请标明出处,原文地址:http://blog.csdn.net/laoyang360/article/details/50917665
如果感觉本文对您有帮助,请点击‘顶’支持一下,您的支持是我坚持写作最大的动力,谢谢!
......显示全文...
    点击查看全文


上一篇文章           查看所有文章
2016-03-19 00:37:16  
云计算 最新文章
CentOS7上安装Zabbix(快速安装监控工具Zab
十分钟搭建NeuralStyle服务
solr入门之拼写纠错深入研究及代码Demo
3个netty5的例子,简单介绍netty的用法
RedhatOpenshift云平台注册使用
Akka框架——第一节:并发编程简介
Hadoop实战:Linux报tmp磁盘存储不足
linux安装thrift
感觉快更快规划计划高考韩国
solr相似匹配
360图书馆 软件开发资料 文字转语音 购物精选 软件下载 美食菜谱 新闻资讯 电影视频 小游戏 Chinese Culture 股票 租车
生肖星座 三丰软件 视频 开发 短信 中国文化 网文精选 搜图网 美图 阅读网 多播 租车 短信 看图 日历 万年历 2018年1日历
2018-1-17 9:18:47
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  软件世界网 --