学习 YARN(三):配置项

更新至 Hadoop 2.9.2 版本

NM

配置项 默认值 说明
yarn.nodemanager.resource.detect-hardware-capabilities false 启用自动检测节点内存和 CPU。
yarn.nodemanager.resource.memory-mb -1 分配给容器的物理内存大小,单位 MB。如果设置为 -1 且 yarn.nodemanager.resource.detect-hardware-capabilities 为 true,则自动计算。否则,默认值为 8192 MB。
yarn.nodemanager.resource.system-reserved-memory-mb -1 保留给非 YARN 进程内存,单位 MB。该配置只有在 yarn.nodemanager.resource.detect-hardware-capabilities 为 true 且 yarn.nodemanager.resource.memory-mb 为 -1 时生效。如果设置为 -1 则为 (系统内存 - 2*HADOOP_HEAPSIZE) 的 20%。
yarn.nodemanager.vmem-pmem-ratio 2.1 虚拟内存和物理内存的比率。虚拟内存为允许超过的最大物理内存的比率。
yarn.nodemanager.resource.cpu-vcores -1 分配给容器的虚拟 CPU 核心数。虚拟内核用于 RM 调度器为容器分配资源,而不是用于限制 YARN 容器使用 CPU 的数量。如果设置为 -1 且 yarn.nodemanager.resource.detect-hardware-capabilities 为 true,则自动计算。否则,默认为 8。
yarn.nodemanager.resource.pcores-vcores-multiplier 1.0 物理 CPU 核心数转化为虚拟 CPU 内核数的乘数。该配置只有在 yarn.nodemanager.resource.detect-hardware-capabilities 为 true 且 yarn.nodemanager.resource.cpu-vcores 为 -1 时生效。