windows读取hdfs文件需要的条件

hadoop

2017-03-06

123

0

一、配置hadoop的工作目录,配置方法有两种

1、修改电脑环境变量。增加HADOOP_HOME变量

2、或者在项目中修改

System.setProperty("hadoop.home.dir", "...");

二、需要windows环境下编译生成的winutils.exe等文件

下载地址:https://github.com/Julyme/hadoop-common-2.2.0-bin

把bin/目录下的文件拷贝到hadoop的bin目录下

三、当写入文件时,会碰到hdfs的权限问题,可以修改提交作业的用户

在提交程序里通过代码临时设置指定HADOOP_USER_NAME的名字和linux上的一致

System.setProperty("HADOOP_USER_NAME", "...");

 

 

转载请注明出处: http://www.julyme.com/20170306/71.html

发表评论

全部评论:0条

Julyme

感觉还行吧。

Julyme的IT技术分享

友情链接




/sitemap