学习 YARN(五):调度器

更新至 Hadoop 2.9.2 版本 YARN 提供了两个主要的调度器实现: Capacity Scheduler 根据集群资源的百分比分配资源; Fair Scheduler 根据集群资源的内存和处理器分配资源。 Capacity Scheduler Capacity Scheduler 由 Yahoo 贡献给 Hadoop 社区。Capacity Scheduler 在共享的多租户的集群中保证每个租户资源。 »

学习 YARN(四):命令行

更新至 Hadoop 2.9.2 版本 Application YARN 应用相关命令。实现类:org.apache.hadoop.yarn.client.cli.ApplicationCLI。 显示运行中的任务: yarn application -list –appStates RUNNING 选项 appStates 任务状态包括: »

学习 HDFS(十一):WebHDFS

除了 Hadoop 官方提供的基于 Java 的 Apache Hadoop HDFS Client 和基于 C 的 libhdfs 之外,HDFS 还提供了 REST API 操作 HDFS —— WebHDFS。 操作 显示文件状态 显示 /data 文件夹状态: »

学习 HDFS(七):权限

权限模型 HDFS 文件和目录权限模型的实现与 POSIX 模型相似,文件和目录都关联到一个 owner 和一个 group。 执行命令 hadoop fs -ls / 显示: drwxr-x---+ - hdfs supergroup 0 2019-01-15 09:00 /data 第一位 d 说明 »

学习 YARN(三):配置项

更新至 Hadoop 2.9.2 版本 NM 配置项 默认值 说明 yarn.nodemanager.resource.detect-hardware-capabilities false 启用自动检测节点内存和 CPU。 yarn.nodemanager.resource.memory-mb -1 分配给容器的物理内存大小,单位 MB。如果设置为 »