学习 Docker(三):Dockerfile

创建 Docker Image 主要有两种方式: 使用 docker commit 命令从 Container 创建; 定义一个 Dockerfile,通过 docker build 命令创建。 在介绍 Dockerfile 之前,需要了解 Layer(层)的概念。 Layer Docker Image »

学习 Zeppelin(四): Trouble Shooting

Helium 初始化失败导致 Zeppelin Server 无法启动 在启动 Zeppelin 服务初始化 Helium 过程中,添加 Helium Registry 时,因无法访问 AWS 导致 Zeppelin 服务启动失败。 日志: INFO [2019-07-26 10:47:47,674] »

学习 YARN(五):调度器

更新至 Hadoop 2.9.2 版本 YARN 提供了两个主要的调度器实现: Capacity Scheduler 根据集群资源的百分比分配资源; Fair Scheduler 根据集群资源的内存和处理器分配资源。 Capacity Scheduler Capacity Scheduler 由 Yahoo 贡献给 Hadoop 社区。Capacity Scheduler 在共享的多租户的集群中保证每个租户资源。 »

学习 YARN(四):命令行

更新至 Hadoop 2.9.2 版本 Application YARN 应用相关命令。实现类:org.apache.hadoop.yarn.client.cli.ApplicationCLI。 显示运行中的任务: yarn application -list –appStates RUNNING 选项 appStates 任务状态包括: »