学习 YARN(二):YarnClient

依赖

编辑 pom.xml 文件添加依赖:

<dependency>  
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>${hadoop.version}</version>
</dependency>  
<dependency>  
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>${hadoop.version}</version>
</dependency>  

初始化

String dir = System.getenv("HADOOP_CONF_DIR");  
Configuration conf = new Configuration();  
conf.addResource((new File(dir + File.separator + "core-site.xml")).toURI().toURL());  
conf.addResource((new File(dir + File.separator + "yarn-site.xml")).toURI().toURL());

YarnClient client = YarnClient.createYarnClient();  
client.init(conf);  
client.start();

// do something

client.stop();  

编写 YARN 应用

TODO

Apache Twill

Apache Twill 在 YARN 之上进行了抽象,从而降低了开发分布式应用的复杂性,让开发者仅仅关注应用逻辑本身。Apache Twill 通过提供编程模型,让使用 YARN 分布式的能力就像运行线程一样。

参考