namenode 出现 missing blocks的解决方案
今天测试服务器被突然重启，导致hdfs的页面显示 There are 2 missing blocks. The following files may be corrupted: blk_10784
Julyme
YARN的job超过1万个后的优化
YARN提交的job超过1万个后，会出现一系列的REST API的问题和RM UI 的显示问题，例如：在RM UI 上值能看到第9999个job的状态信息，之后的信息看不到了。 YARN的默认保存数量
YARN告警 local-dirs are bad: /hadoop/yarn/local
今天发现YARN的任务都无法执行，一直报资源不足，但是查看内存等资源都是充足的，后来根据ambari的告警信息，发现是硬盘超过90%造成的，把硬盘容量减少到90%以下后yarn正常运行
Hadoop源码分析（一）——hdfs-client（2）
一、代码分析 通过执行代码来分析，hdfs-client在我们操作hdfs的文件时，做了些什么。 1、初始化Hdfs-Client URI uri = URI.create("hdfs://172.1
Hadoop源码分析（一）——hdfs-client（1）
一、hdfs-client的程序包 从图中可以看出，一共有21个包。下面简单说明这些包用来存放哪些类。 1、client和client.impl：impl包里实现了一些block相关接口的实现类，cl
windows读取hdfs文件需要的条件
一、配置hadoop的工作目录，配置方法有两种 1、修改电脑环境变量。增加HADOOP_HOME变量 2、或者在项目中修改 System.setProperty("hadoop.home.dir",
hadoop-2.7.2-HA安装笔记
配置方案如图 NN DN ZK ZKFC JN RM NM(任务管理器) HMaster Region Server Node1 1 1 1 1 1 Node2 1 1 1
Julyme的IT技术分享
热评文章
推荐文章
