学习 HDFS(十一):WebHDFS

除了 Hadoop 官方提供的基于 Java 的 Apache Hadoop HDFS Client 和基于 C 的 libhdfs 之外,HDFS 还提供了 REST API 操作 HDFS —— WebHDFS。 操作 显示文件状态 显示 /data 文件夹状态: »

学习 HDFS(七):权限

权限模型 HDFS 文件和目录权限模型的实现与 POSIX 模型相似,文件和目录都关联到一个 owner 和一个 group。 执行命令 hadoop fs -ls / 显示: drwxr-x---+ - hdfs supergroup 0 2019-01-15 09:00 /data 第一位 d 说明 »

学习 YARN(三):Trouble Shooting

问题一:无法初始化应用目录 报错信息: Application XXX failed 2 times due to AM Container for XXX exited with exitCode: -1000 Diagnostics: Not able to initialize app directories in »

学习 YARN(一):概览

YARN 是 Yet Another Resource Negotiator 的缩写,是 Hadoop 2.X 为解决 Hadoop 1.X 扩展性差、资源利用率低、无法支持多种计算框架而引入的资源管理系统。 YARN 的思想是资源池化,负责整个集群的资源(CPU、内存、磁盘、网络等)的管理。 »