EMR Prioritized Allocation Strategy实例优先级配置实战指南

传统分配策略的局限性

在实际生产环境中，单纯依赖ODCR预留资源往往无法满足复杂的调度需求。以下两个典型场景说明了传统lowest-price策略的不足：

• 多集群差异化配置：集群A和集群B都配置了r7g.4xlarge和r7g.8xlarge，但希望A集群优先使用4xlarge，B集群优先使用8xlarge
• 性价比优先选择：集群同时配置r7g和r6g系列，虽然r6g单价更低，但r7g的综合性价比更高，希望优先调度r7g

传统的Targeted ODCR仅支持二元选择（使用或不使用），无法设定优先级顺序。而lowest-price策略始终选择单价最低的实例，忽略了性能功耗比等综合因素。

Prioritized Allocation Strategy核心机制

2024年EMR发布的prioritized allocation strategy特性，为实例选择提供了精细化控制能力：

• On-Demand实例：使用prioritized策略，严格按照priority数值从小到大选择
• Spot实例：使用capacity-optimized-prioritized策略，优先确保容量可用性，其次考虑优先级

从架构设计角度，我建议将priority=0分配给性价比最优的实例类型，而非单纯价格最低的机型。这种策略能够在长期运行中显著降低TCO。

控制台配置步骤

在EMR控制台创建集群时，需完成以下配置：

1. 选择Instance Fleet部署模式
2. 勾选Apply allocation strategy选项
3. On-Demand策略选择Prioritized
4. Spot策略选择Capacity optimized prioritized
5. 为每个实例类型分配priority数值

实践建议：将同系列不同规格的实例设置相同优先级（如r7g.16xlarge和r7g.12xlarge均设为1），让系统根据实际容量情况灵活选择。

AWS CLI配置方法

通过CLI创建集群时，需在LaunchSpecifications中指定分配策略：

{
  "InstanceFleets": [
    {
      "InstanceFleetType": "TASK",
      "TargetOnDemandCapacity": 2,
      "TargetSpotCapacity": 4,
      "LaunchSpecifications": {
        "OnDemandSpecification": {
          "AllocationStrategy": "prioritized"
        },
        "SpotSpecification": {
          "AllocationStrategy": "capacity-optimized-prioritized",
          "TimeoutDurationMinutes": 60,
          "TimeoutAction": "SWITCH_TO_ON_DEMAND"
        }
      },
      "InstanceTypeConfigs": [
        {
          "InstanceType": "r7a.48xlarge",
          "WeightedCapacity": 48,
          "Priority": 0.0
        },
        {
          "InstanceType": "r7g.16xlarge",
          "WeightedCapacity": 16,
          "Priority": 1.0
        }
      ]
    }
  ]
}

SDK集成要点

使用SDK时需注意以下关键配置：

• 同时指定Provisioning和Resizing阶段的分配策略
• Priority值必须使用Double类型（如0.0、1.0）
• 确保所有实例类型都显式设置priority，避免使用默认值导致不可预期的调度行为

Spot实例的容量优先逻辑

capacity-optimized-prioritized策略的核心逻辑是容量优先。在实际运行中，即使r7a.48xlarge设置了最高优先级（priority=0），当该机型Spot容量紧张时，系统会自动降级到次优先级的r7g.16xlarge。

这种设计确保了集群能够成功启动，避免因坚持使用特定机型而导致资源获取失败。从运维角度，建议配置至少3-4种不同优先级的实例类型作为后备选项。

与ODCR的协同使用策略

Prioritized Allocation Strategy可与ODCR形成互补架构：

• ODCR：保障核心容量的资源预留，适用于关键业务时段
• Prioritized策略：在预留资源之外，按偏好顺序获取额外容量

这种组合特别适合促销季等流量波动场景，既能确保基础资源供应，又能灵活扩展并优化成本结构。