Amazon EMR Serverless の新機能「Flex execution」を試してみた

Amazon EMR Serverless の新機能「Flex execution」を試してみた

Amazon EMR Serverless の Flex execution は、余剰のコンピューティング容量を活用し、コストを最大 60% 削減できるとされている実行オプションです。これをジョブ投入時のオプション1つで有効にして試しました。同じスクリプトとジョブ定義で、Standard のジョブと Flex のジョブを同一アプリケーションに投入し、同じ集計結果が得られることを確認しました。
2026.11.21

はじめに

2026年11月17日に、Amazon EMR Serverless の Flex execution が発表されました。

https://aws.amazon.com/about-aws/whats-new/2026/11/amazon-emr-serverless/

Flex execution は、Spark の executor を余剰のコンピューティング容量で、ドライバーを Standard(既定の実行オプション)のワーカーで動かす実行オプションです。

この記事では、1つのアプリケーションに同じスクリプトを Standard と Flex で投入し、Flex を有効にする指定と、get-job-run などで見える違いを確かめます。

検証環境

  • リージョン: 東京(ap-northeast-1)
  • EMR リリース: emr-7.14.0
  • AWS CLI: 2.41.2
  • ワーカーサイズ: 指定なし

準備

1つのアプリケーションに、Standard のジョブと Flex のジョブを投入します。スクリプトは PySpark で書いた軽い処理で、外部入力を使わずに2,000万行を生成して集計します。

再現用のコマンドとファイル

アプリケーションを作成するコマンドです。応答に含まれる applicationId は、以降のコマンドでは <アプリケーションID> と表記しています。

aws emr-serverless create-application \
  --name flex-verify-1120 \
  --type SPARK \
  --release-label emr-7.14.0 \
  --maximum-capacity '{"cpu":"64 vCPU","memory":"256 GB","disk":"1000 GB"}'

スクリプトを S3 に配置するコマンドです。

aws s3 cp agg_job.py s3://<バケット名>/flex-verify-1120/scripts/agg_job.py

agg_job.py です。キーの数と value の合計を標準出力へ書きます。

from pyspark.sql import SparkSession
from pyspark.sql import functions as F

spark = SparkSession.builder.appName("flex-verify-agg").getOrCreate()

# 2,000万行を生成して10,000キーで集計する軽いジョブ(外部入力なし)
df = (
    spark.range(0, 20_000_000)
    .withColumn("key", F.col("id") % 10_000)
    .withColumn("value", (F.col("id") * 7) % 1_000)
)
agg = df.groupBy("key").agg(F.count("*").alias("cnt"), F.sum("value").alias("total"))

print("RESULT keys=", agg.count())
print("RESULT total_sum=", agg.agg(F.sum("total")).collect()[0][0])
spark.stop()

configuration-overrides.json です。ジョブのログを S3 に出力します。

{
  "monitoringConfiguration": {
    "s3MonitoringConfiguration": {
      "logUri": "s3://<バケット名>/flex-verify-1120/logs/"
    }
  }
}

ジョブの投入

job-driver.json は、Standard のジョブと Flex のジョブで同じものを使いました。

{
  "sparkSubmit": {
    "entryPoint": "s3://<バケット名>/flex-verify-1120/scripts/agg_job.py"
  }
}

Standard のジョブは、次のコマンドで投入しました。

aws emr-serverless start-job-run \
  --application-id <アプリケーションID> \
  --execution-role-arn arn:aws:iam::<アカウントID>:role/<実行ロール名> \
  --name standard-run \
  --job-driver file://job-driver.json \
  --configuration-overrides file://configuration-overrides.json

Flex のジョブは、--flex-execution を付けて投入しました。

aws emr-serverless start-job-run \
  --application-id <アプリケーションID> \
  --execution-role-arn arn:aws:iam::<アカウントID>:role/<実行ロール名> \
  --name flex-run \
  --flex-execution '{"enabled": true}' \
  --job-driver file://job-driver.json \
  --configuration-overrides file://configuration-overrides.json

2つのコマンドの違いは、--name の値と、--flex-execution を付けるかどうかだけです。応答に含まれる jobRunId は、次の節の get-job-run で <ジョブ実行ID> として使います。

実行結果

2つのジョブを同じアプリケーションに約1秒の間隔で投入し、並行して実行しました。実行時刻(日本時間)は、Standard のジョブが 21:36:19 から 21:37:13、Flex のジョブが 21:36:19 から 21:37:27 でした。

get-job-run と list-job-runs で見た違い

各ジョブの状態を、get-job-run で取得しました。

aws emr-serverless get-job-run \
  --application-id <アプリケーションID> \
  --job-run-id <ジョブ実行ID>
項目 Standard Flex
state SUCCESS SUCCESS
flexExecution フィールドなし {"enabled": true}
billedResourceUtilization の vCPUHour 0.267 0.276
billedResourceUtilization の memoryGBHour 1.067 1.102

表の値は、2つのジョブを同時に1回ずつ実行したときのものです。User Guide によると、billedResourceUtilization は1つのジョブ実行で使った Standard と Flex のワーカーの使用量の合計です。費用ではなく使用量を表す値で、Flex のワーカーの分だけを取り出すことはできません。

一覧は list-job-runs で取得しました。

aws emr-serverless list-job-runs \
  --application-id <アプリケーションID>

flexExecution は、ここでも Flex のジョブにだけ {"enabled": true} が返りました。

集計結果

ドライバーの標準出力は、gzip で圧縮されてログ出力先の下に保存されます。保存先は applications/<アプリケーションID>/jobs/<ジョブ実行ID>/SPARK_DRIVER/stdout.gz です。出力は Standard のジョブと Flex のジョブで同じでした。

RESULT keys= 10000
RESULT total_sum= 9990000000

利用条件

次の条件は User Guide の記載です。

https://docs.aws.amazon.com/emr/latest/EMR-Serverless-UserGuide/jobs-flex-execution.html

  • Flex は Spark バッチジョブで使えます。Hive のジョブ、Spark Structured Streaming のジョブ、Livy や Spark Connect を使う対話セッションは対象外です。
  • Flex はジョブ実行ごとの設定で、アプリケーションの既定値には設定できません。start-job-run で指定します。
  • Flex の executor は、1 vCPU と 2 vCPU のワーカーを使えません。指定すると StartJobRun が拒否されます。ドライバーにはこの制約はありません。
  • ジョブ開始から20分間、executor が1つもドライバーに参加しないと、ジョブは失敗します。Standard へは自動で切り替わらないため、Flex のまま、または Standard に切り替えて、自分で投入し直します。
  • Flex のワーカーは、Standard とは別のクォータ Max concurrent flex vCPUs per account に計上されます。このクォータを超えるジョブは、クォータ超過のエラーで失敗します。

この検証のアカウントでは、Max concurrent flex vCPUs per account の値は 4000 でした。

まとめ

Amazon EMR Serverless の Flex execution で、ジョブを実行できました。

Flex は、余剰のコンピューティング容量で executor を動かし、発表ではコストを最大 60% 削減できるとされている実行オプションです。EC2 の Spot フリートや Fargate Spot 等に相当する仕組みです。

緊急性の低い Spark バッチジョブを低コストで実行する機会があれば、ぜひお試しください。

この記事をシェアする

AWSのお困り事はクラスメソッドへ

関連記事