Spark 调优(一):内存调优

Spark 之于 MapReduce 最大的优势在于,Spark 使用了内存计算最大程度的避免了数据落盘。从另一个角度,也说明了像 Spark 内存计算引擎对内存资源的依赖。所以,内存调优是 Spark 调优的重点。

堆内存和堆外内存

堆内存

在 JVM 堆上分配的内存,在 GC 范围内。

Driver 堆内存通过 --driver-memoryspark.driver.memory 指定,默认 1GB 大小。

Executor 堆内存通过 --executor-memoryspark.executor.memory 指定,默认 1GB 大小。

堆外内存

在 JVM 之外分配的内存,不在 GC 范围内。

Driver 堆外内存通过 spark.driver.memoryOverhead 指定,默认为 Driver 堆内存的 0.1 倍,最小 384 MB。

Executor 堆外内存通过 spark.executor.memoryOverhead 指定,默认为 Executor 堆内存的 0.1 倍,最小 384 MB。

Driver 内存大小等于,spark.driver.memoryspark.driver.memoryOverhead之和。

Executor 内存大小等于,spark.executor.memoryspark.executor.memoryOverhead之和。

统一内存管理

在 Spark 1.6 版本之后,作为 Tungsten 计划中的一部分,提供了统一内存管理(Unified Memory Manager)替换之前的静态内存管理(Static Memory Manager)管理内存。

Unified Memory Manager

保留内存

保留内存(Reserved Memory)为系统保留内存,大小硬编码为 300MB。

用户内存

用户内存(User Memory)用于存储 RDD 转换(例如,mapPartition 等)用户自定义数据结构,大小为:

(Java Heap - Reserved Memory) * (1.0 - spark.memory.fraction)

配置 spark.memory.fraction 默认值为 0.6。

Spark 内存

Spark 内存分为两部分:

  • 存储内存(Storage Memory)用于存储缓存数据、广播变量和序列化数据“展开(Unroll)”临时数据。
  • 执行内存(Execution Memory)用于任务执行对象存储。

默认,存储内存的大小为:

(Java Heap - Reserved Memory) * spark.memory.fraction * spark.memory.storageFraction

配置 spark.memory.fraction 默认值为 0.6。

配置 spark.memory.storageFraction 默认值为 0.5。

存储内存和执行内存之间并不是一个严格的边界,统一内存管理器提供了动态占用机制,规则如下:

  • 若对方有空余空间,可占用对方空余空间;
  • 执行内存可以驱逐存储内存占用的原本属于执行内存的空间;
  • 存储内存不可以驱逐执行内存占用的原本属于存储内存的空间。

执行内存,就是这么霸道!!!

堆内存使用估计

Spark 提供了工具类 SizeEstimator 帮助我们估计 RDD / Dataset 使用的堆内存大小:

import org.apache.spark.util.SizeEstimator

SizeEstimator.estimate(df)  

返回值单位为 Byte。

Tips

缓存密集型应用,可以适当提高 spark.memory.storageFraction,增加存储内存的占比。

Shuffle (连接、聚合、排序等)密集型应用,可以适当降低 spark.memory.storageFraction,增加执行内存的占比。

使用 Dataset.persist(StorageLevel.MEMORY_AND_DISK) 替代 Dataset.cache() 可以在存储空间不足时,让缓存数据落盘。

参考