学习 Alluxio(一):初识 Alluxio

简介

Alluxio,之前叫 Tachyon,是一个基于内存的分布式文件系统。

使用场景:

  • 经常访问的热数据
  • 同时访问多个数据源(比如,同时访问 S3 和 HDFS)
  • 多个任务之间共享数据
  • 内存紧张任务的堆外内存

架构

Alluxio 采用了主从架构,和 HDFS 非常相似。

架构图如下所示:

Alluxio Architecture

参考:https://www.alluxio.org/overview/architecture

Alluxio Client

应用通过 Alluxio Client 与 Alluxio 进行交互:

  • Java 原生 Alluxio 文件系统客户端
  • HDFS 兼容的文件系统客户端

Alluxio Master

主节点:

  • 文件系统命名空间元数据
  • Worker 元数据
  • 数据块元数据

Alluxio Worker

子节点:

  • 管理数据块
  • 存储,支持硬盘、固态硬盘和内存
  • 从底层存储系统读写数据

集群部署

//TODO