
Amazon EMR Serverless の新機能「Flex execution」を試してみた
はじめに
2026年11月17日に、Amazon EMR Serverless の Flex execution が発表されました。
Flex execution は、Spark の executor を余剰のコンピューティング容量で、ドライバーを Standard(既定の実行オプション)のワーカーで動かす実行オプションです。
この記事では、1つのアプリケーションに同じスクリプトを Standard と Flex で投入し、Flex を有効にする指定と、get-job-run などで見える違いを確かめます。
検証環境
- リージョン: 東京(ap-northeast-1)
- EMR リリース: emr-7.14.0
- AWS CLI: 2.41.2
- ワーカーサイズ: 指定なし
準備
1つのアプリケーションに、Standard のジョブと Flex のジョブを投入します。スクリプトは PySpark で書いた軽い処理で、外部入力を使わずに2,000万行を生成して集計します。
再現用のコマンドとファイル
アプリケーションを作成するコマンドです。応答に含まれる applicationId は、以降のコマンドでは <アプリケーションID> と表記しています。
aws emr-serverless create-application \
--name flex-verify-1120 \
--type SPARK \
--release-label emr-7.14.0 \
--maximum-capacity '{"cpu":"64 vCPU","memory":"256 GB","disk":"1000 GB"}'
スクリプトを S3 に配置するコマンドです。
aws s3 cp agg_job.py s3://<バケット名>/flex-verify-1120/scripts/agg_job.py
agg_job.py です。キーの数と value の合計を標準出力へ書きます。
from pyspark.sql import SparkSession
from pyspark.sql import functions as F
spark = SparkSession.builder.appName("flex-verify-agg").getOrCreate()
# 2,000万行を生成して10,000キーで集計する軽いジョブ(外部入力なし)
df = (
spark.range(0, 20_000_000)
.withColumn("key", F.col("id") % 10_000)
.withColumn("value", (F.col("id") * 7) % 1_000)
)
agg = df.groupBy("key").agg(F.count("*").alias("cnt"), F.sum("value").alias("total"))
print("RESULT keys=", agg.count())
print("RESULT total_sum=", agg.agg(F.sum("total")).collect()[0][0])
spark.stop()
configuration-overrides.json です。ジョブのログを S3 に出力します。
{
"monitoringConfiguration": {
"s3MonitoringConfiguration": {
"logUri": "s3://<バケット名>/flex-verify-1120/logs/"
}
}
}
ジョブの投入
job-driver.json は、Standard のジョブと Flex のジョブで同じものを使いました。
{
"sparkSubmit": {
"entryPoint": "s3://<バケット名>/flex-verify-1120/scripts/agg_job.py"
}
}
Standard のジョブは、次のコマンドで投入しました。
aws emr-serverless start-job-run \
--application-id <アプリケーションID> \
--execution-role-arn arn:aws:iam::<アカウントID>:role/<実行ロール名> \
--name standard-run \
--job-driver file://job-driver.json \
--configuration-overrides file://configuration-overrides.json
Flex のジョブは、--flex-execution を付けて投入しました。
aws emr-serverless start-job-run \
--application-id <アプリケーションID> \
--execution-role-arn arn:aws:iam::<アカウントID>:role/<実行ロール名> \
--name flex-run \
--flex-execution '{"enabled": true}' \
--job-driver file://job-driver.json \
--configuration-overrides file://configuration-overrides.json
2つのコマンドの違いは、--name の値と、--flex-execution を付けるかどうかだけです。応答に含まれる jobRunId は、次の節の get-job-run で <ジョブ実行ID> として使います。
実行結果
2つのジョブを同じアプリケーションに約1秒の間隔で投入し、並行して実行しました。実行時刻(日本時間)は、Standard のジョブが 21:36:19 から 21:37:13、Flex のジョブが 21:36:19 から 21:37:27 でした。
get-job-run と list-job-runs で見た違い
各ジョブの状態を、get-job-run で取得しました。
aws emr-serverless get-job-run \
--application-id <アプリケーションID> \
--job-run-id <ジョブ実行ID>
| 項目 | Standard | Flex |
|---|---|---|
| state | SUCCESS | SUCCESS |
| flexExecution | フィールドなし | {"enabled": true} |
| billedResourceUtilization の vCPUHour | 0.267 | 0.276 |
| billedResourceUtilization の memoryGBHour | 1.067 | 1.102 |
表の値は、2つのジョブを同時に1回ずつ実行したときのものです。User Guide によると、billedResourceUtilization は1つのジョブ実行で使った Standard と Flex のワーカーの使用量の合計です。費用ではなく使用量を表す値で、Flex のワーカーの分だけを取り出すことはできません。
一覧は list-job-runs で取得しました。
aws emr-serverless list-job-runs \
--application-id <アプリケーションID>
flexExecution は、ここでも Flex のジョブにだけ {"enabled": true} が返りました。
集計結果
ドライバーの標準出力は、gzip で圧縮されてログ出力先の下に保存されます。保存先は applications/<アプリケーションID>/jobs/<ジョブ実行ID>/SPARK_DRIVER/stdout.gz です。出力は Standard のジョブと Flex のジョブで同じでした。
RESULT keys= 10000
RESULT total_sum= 9990000000
利用条件
次の条件は User Guide の記載です。
- Flex は Spark バッチジョブで使えます。Hive のジョブ、Spark Structured Streaming のジョブ、Livy や Spark Connect を使う対話セッションは対象外です。
- Flex はジョブ実行ごとの設定で、アプリケーションの既定値には設定できません。
start-job-runで指定します。 - Flex の executor は、1 vCPU と 2 vCPU のワーカーを使えません。指定すると StartJobRun が拒否されます。ドライバーにはこの制約はありません。
- ジョブ開始から20分間、executor が1つもドライバーに参加しないと、ジョブは失敗します。Standard へは自動で切り替わらないため、Flex のまま、または Standard に切り替えて、自分で投入し直します。
- Flex のワーカーは、Standard とは別のクォータ
Max concurrent flex vCPUs per accountに計上されます。このクォータを超えるジョブは、クォータ超過のエラーで失敗します。
この検証のアカウントでは、Max concurrent flex vCPUs per account の値は 4000 でした。
まとめ
Amazon EMR Serverless の Flex execution で、ジョブを実行できました。
Flex は、余剰のコンピューティング容量で executor を動かし、発表ではコストを最大 60% 削減できるとされている実行オプションです。EC2 の Spot フリートや Fargate Spot 等に相当する仕組みです。
緊急性の低い Spark バッチジョブを低コストで実行する機会があれば、ぜひお試しください。









