学习 YARN(三):Trouble Shooting

问题一:无法初始化应用目录 报错信息: Application XXX failed 2 times due to AM Container for XXX exited with exitCode: -1000 Diagnostics: Not able to initialize app directories in »

Spark 调优(二):JVM 调优

Spark 由 Scala/Java 编写的,Spark 的 Driver 和 Executor 是运行在集群中的 JVM 进程,依赖 Java 内存管理和 GC。在生产环境中,通常使用几十上百甚至更大的内存,这在传统的 Java 应用中极为少见。 Spark 通过 spark.driver. »

学习 Flink(六):检查点

检查点(Checkpoint)机制是 Flink 实现错误容忍机制的核心。通过持续以异步的方式保存轻量级的镜像,当错误(机器、网络或者软件原因)发生时,系统重启操作并重置操作到最新保存成功的检查点。 Flink 镜像参考论文:Lightweight Asynchronous Snapshots for Distributed Dataflows 前提 Flink 检查点需要两点: 持久化数据源支持重放(Replay)数据,如消息队列( »