[YARN] FairScheduler 设置 AM 的 vcore 无法生效

2016-10-27
#HADOOP #YARN

在集群上了Linux Container之后，如果我们想增加AM在NM上获取时间片的能力，我们可以在配置文件中找到以下参数

1
2
3
4
<property> 
<name>yarn.app.mapreduce.am.resource.cpu-vcores</name> 
<value>15</value> 
</property>

该参数描述的是给AM多少个虚拟核，但是查看RM日志确发现，不管怎么设置AM的核数量都无法生效

1
[2016-10-27T16:36:37.280 08:00] [INFO] resourcemanager.scheduler.SchedulerNode.allocateContainer(SchedulerNode.java 153) [ResourceManager Event Processor] : Assigned container container_1477059529836_336635_01_000001 of capacity <memory:2048, vCores:1>

原因是对于FairScheduler默认的策略说，每次都会对AM的提交请求进行规整，而且只会考虑mem的情况

1
SchedulerUtils.normalizeRequest(amReq, scheduler.getResourceCalculator(), scheduler.getClusterResource(), scheduler.getMinimumResourceCapability(), scheduler.getMaximumResourceCapability(), scheduler.getMinimumResourceCapability());

在DefaultResourceCalculator类中，只对内存进行规整，createResource(memory, (memory > 0) ? 1 : 0)，如果内存大于0，则默认变为1

1
2
3
4
5
6
7
8
9
10
@Override
public Resource normalize(Resource r, Resource minimumResource,
    Resource maximumResource, Resource stepFactor) {
  int normalizedMemory = Math.min(
      roundUp(
          Math.max(r.getMemory(), minimumResource.getMemory()),
          stepFactor.getMemory()),
          maximumResource.getMemory());
  return Resources.createResource(normalizedMemory);
}

所以在默认的DefaultResourceCalculator当中，当你不管怎么设置AM的核数都无法生效