软件世界网 购物 网址 三丰软件 | 小说 美女秀 图库大全 游戏 笑话 | 下载 开发知识库 新闻 开发 图片素材
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
移动开发 架构设计 编程语言 Web前端 互联网
开发杂谈 系统运维 研发管理 数据库 云计算 Android开发资料
  软件世界网 -> 云计算 -> HodoopHDFSNFSGateWay挂载到其他机器深入详解 -> 正文阅读
云计算 最新文章
CentOS7上安装Zabbix(快速安装监控工具Zab
十分钟搭建NeuralStyle服务
solr入门之拼写纠错深入研究及代码Demo
3个netty5的例子,简单介绍netty的用法
RedhatOpenshift云平台注册使用
Akka框架——第一节:并发编程简介
Hadoop实战:Linux报tmp磁盘存储不足
linux安装thrift
感觉快更快规划计划高考韩国
solr相似匹配

[云计算]HodoopHDFSNFSGateWay挂载到其他机器深入详解

  2016-03-19 00:37:22

0.前提有三台机器:


10.0.1.31 为Hadoop NameNode节点机器。
10.1.1.36为Hadoop DataNode节点机器。
10.1.111.13为非Hadoop机器。
目前查到的资料里面显示HDFS NFS GateWay的挂载方式为:
参考:https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/HdfsNfsGateway.html
[root]# mount -t nfs -o vers=3,proto=tcp,nolock,noacl,sync localhost:/ /hdfs_y 

1. 本机挂载方式正常。


参考:http://blog.csdn.net/laoyang360/article/details/50865025
以下完成了Hdfs路径挂载到本地。
[root@WEB-W031 hdfsnew]# mount -t nfs -o vers=3,proto=tcp,nolock,noacl,sync 10.0.1.31:/ /hdfs_2
[root@WEB-W031 hdfsnew]# 
[root@WEB-W031 hdfsnew]# 
[root@WEB-W031 hdfsnew]# 
[root@WEB-W031 hdfsnew]# cd /hdfs_2
[root@WEB-W031 hdfs_2]# ls -al
total 12
drwxr-xr-x 9 root 2584148964 288 Mar 16 16:30 .
drwxr-xr-x 34 root root 4096 Mar 17 10:02 ..
drwxr-xr-x 2 root 2584148964 64 Mar 16 15:01 dl
drwxr-xr-x 3 root 2584148964 96 Mar 16 16:23 input
drwxr-xr-x 2 root 2584148964 64 Mar 16 16:22 output
drwxr-xr-x 4 hadoop 2584148964 128 Mar 16 16:30 output2
drwxr-xr-x 4 root root 128 Mar 11 18:05 testing
drwxrwx--- 3 hadoop 2584148964 96 Mar 9 11:14 tmp
drwxr-xr-x 3 hadoop 2584148964 96 Mar 9 13:24 user
[root@WEB-W031 /]# mount
10.0.1.31:/ on /hdfsnew type nfs (rw,sync,nfsvers=3,proto=tcp,nolock,noacl,addr=10.0.1.31)
10.0.1.31:/ on /hdfs_2 type nfs (rw,sync,nfsvers=3,proto=tcp,nolock,noacl,addr=10.0.1.31)

采取直接挂载到其他机器目录的方式会报错:(不支持如下挂载,网上也没有类似的挂载方式)
[root@WEB-W031 hdfsnew]# mount -t nfs -o vers=3,proto=tcp,nolock,noacl,sync 10.0.1.31:/ 10.1.1.36:/hdfs_2
mount.nfs: Input/output error

2、【最终挂载方法】在Hadoop的DataNode节点挂载会ok(如下机器IP为10.1.1.36)


以下完成了NameNode10.0.1.31节点挂载到DataNode节点。
[root@Processor036 hdfs36]# mount -t nfs -o vers=3,proto=tcp,nolock,noacl,sync 10.0.1.31:/ /hdfs_2
[root@Processor036 hdfs36]# cd /hdfs_2
[root@Processor036 hdfs_2]# ls -al
total 12
drwxr-xr-x 9 root 2584148964 288 Mar 16 16:30 .
drwxr-xr-x 33 root root 4096 Mar 17 10:02 ..
drwxr-xr-x 2 root 2584148964 64 Mar 16 15:01 dl
drwxr-xr-x 3 root 258
4148964 96 Mar 16 16:23 input
drwxr-xr-x 2 root 2584148964 64 Mar 16 16:22 output
drwxr-xr-x 4 hadoop 2584148964 128 Mar 16 16:30 output2
drwxr-xr-x 4 root root 128 Mar 11 18:05 testing
drwxrwx--- 3 hadoop 2584148964 96 Mar 9 11:14 tmp
drwxr-xr-x 3 hadoop 2584148964 96 Mar 9 13:24 user

3、在非Hadoop机器的另外机器上挂载方法同2


以下完成了NameNode10.0.1.31节点挂载到非Hdaoop节点(10.1.111.13)。
[root@ 13]# mount -t nfs -o vers=3,proto=tcp,nolock,noacl,sync 10.0.1.31:/ /hdfs_13

4、如何在非Hadoop的机器上操作Hadoop账号建立的文件?


初始10.1.111.13上面并没有hadoop用户,
所以:新建的文件的uid 和 gid会显示666(原有10.0.1.31上的hadoop账号的uid和gid)。
修改方法:
即:在机器10.1.111.13新建hadoop账户,并修改其uid和gid为666
方法一:
groupmod -g 666 hadoop //修改hadoop用户的gid为666
usermod -g 666 hadoop //修改hadoop用户的uid为666
方法二:
直接修改/etc/passwd 找到hadoop账号修改。
修改后:
[hadoop@etl02 hdfs_13]$ ls -al 
drwxrwxr-x   3 hadoop hadoop       96 Mar 17 13:18 make_in_31

至此,三台机器都可以用hadoop账号读写文件。以下三行分别是在三台机器写入的。
[hadoop@WEB-W031 test22]$ cat test36 
363633636363  //36机器写入
1313131313131313 //13机器写入
inni31_31_31_31  //31机器写入

反思:


本机挂载之前就搞定了,但是挂载到其他机器反复尝试了很多方法, 后来回到原点,挂载本机的方法就可以挂载到其他机器。很有意思。
作者:铭毅天下
转载请标明出处,原文地址:http://blog.csdn.net/laoyang360/article/details/50917665
如果感觉本文对您有帮助,请点击‘顶’支持一下,您的支持是我坚持写作最大的动力,谢谢!
上一篇文章           查看所有文章
2016-03-19 00:37:16  
360图书馆 论文大全 母婴/育儿 软件开发资料 网页快照 文字转语音 购物精选 软件 美食菜谱 新闻中心 电影下载 小游戏 Chinese Culture
生肖星座解梦 三沣玩客 拍拍 视频 开发 Android开发 站长 古典小说 网文精选 搜图网 天下美图 中国文化英文 多播视频 装修知识库
2017-1-19 0:06:07
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  软件世界网 --