学习 Alluxio(三):HDFS 底层存储

Hadoop 版本

需要保证 Alluxio 编译使用的 Hadoop 版本与环境使用的 Hadoop 版本一致。可以选择在 Alluxio 下载页面 下载预编译版本,也可以在 Alluxio GitHub 页面 从源码编译。

以编译 Hadoop 2.7.1 版本的 Alluxio 为例:

mvn install -Phadoop-2 -Dhadoop.version=2.7.1 -DskipTests  

HDFS 挂载

编辑 <ALLUXIO_HOME>/conf/alluxio-site.properties 文件:

alluxio.underfs.address=hdfs://namenode:9000  

Alluxio 会将 HDFS 根目录挂载到 Alluxio

同样,也可以挂载 HDFS 子目录:

alluxio.underfs.address=hdfs://namenode:9000/data  

如果 HDFS 配置了 HA,要么拷贝 core-site.xml 文件和 hdfs-site.xml 文件到 <ALLUXIO_HOME>/conf/ 目录,要么编辑 <ALLUXIO_HOME>/conf/alluxio-site.properties 文件:

alluxio.underfs.hdfs.configuration=/etc/hadoop/core-site.xml:/etc/hadoop/hdfs-site.xml  

参考: