学习 YARN(一):概览

YARN 是 Yet Another Resource Negotiator 的缩写,是 Hadoop 2.X 为解决 Hadoop 1.X 扩展性差、资源利用率低、无法支持多种计算框架而引入的资源管理系统。 YARN 的思想是资源池化,负责整个集群的资源(CPU、内存、磁盘、网络等)的管理。 »

学习 HDFS(六):Trouble Shooting

问题一:HDFS 读超时 堆栈信息: java.net.SocketTimeoutException: 60000 millis timeout while waiting for channel to be ready for read. ch : java.nio.channels.SocketChannel[connected local= »

学习 HDFS(五):运维

查看集群情况 hdfs dfsadmin -report fsck 设置 sticky 位 除了标准权限外,HDFS 还支持三种特殊权限: setuid 值为 4 setgid 值为 2 sticky 值为 1 以上权限是可选的,如果使用,在常规权限的左侧。 设置 sticky 位, »

学习 HDFS(四):高可用

架构 HDFS 采用了主从(Master/Slave)架构,就不可避免的要面对单点失效(SPOF,Single Point of Failure)的问题。Hadoop 2.X 之后,提供了对高可用(HA)的支持,架构如下所示: 主备切换 在高可用 HDFS 集群中,存在多个 »