Glue Python shell jobの処理時間の履歴を取得する

DA事業本部の川崎です。

現在、私が参画している案件では、データ分析基盤のETL処理をGlueの「Python shell job」を使って実装しています。 今回、Python shell jobのパフォーマンスを計測する機会がありました。

Glueのマネジメントコンソールから、個別のジョブの実行履歴を参照できますが、実行時間の集計を行うのには不向きです。そこで、CLIのワンライナーを使い、CSVファイルの形式で取得してみます。

また、今回はGlue Python shell jobの、起動処理にかかる時間についても取得してみます。

利用するコマンドを確認

まずは、CLIのマニュアルを参照し、利用するコマンドを確認します。今回は、以下の2つのコマンドを利用します。

• CLIのマニュアル
  • list-jobsでジョブの一覧を取得
  • get-job-runsでジョブ実行の履歴を取得

list-jobsでジョブの一覧を取得し、実行履歴を取得するジョブの名前を確認します。（JobNames）

get-job-runs の出力内容には、以下の項目が含まれます。

「起動処理にかかる時間」は、出力項目の中に見当たらないため、既存の項目から算出できるか、試してみます。

実際に出力される値を確認すると、 ［CompletedOn］ - ［StartedOn］ の値が、［ExecutionTime］ よりも値が大きいことから、 ［CompletedOn］ - ［StartedOn］ - ［ExecutionTime］ の値を、「起動処理にかかる時間」として扱うことにします。

CLIのワンライナーを組み立てる

get-job-runsコマンドを実行し結果を確認しながら、ワンライナーを組み立てていきます。

aws glue get-job-runs --job-name "glue_job_xxx" | jq -r  '.JobRuns[]'

 {
  "Id": "jr_xxxxxxxxxx9834fff7a166ca2f65172b68983ad1ba1fd231890b5915b936a356",
  "Attempt": 0,
  "JobName": "glue_job_xxx",
  "StartedOn": 1600816132.498,
  "LastModifiedOn": 1600816962.019,
  "CompletedOn": 1600816962.019,
  "JobRunState": "SUCCEEDED",
  "Arguments": {
    "--ENV": "dev"
  },
  "PredecessorRuns": [],
  "AllocatedCapacity": 1,
  "ExecutionTime": 779,
  "Timeout": 2880,
  "MaxCapacity": 1,
  "LogGroupName": "/aws-glue/python-jobs"
},
...(略)

出力する項目をピックアップ

ジョブ開始日時、ジョブ完了日時はUnix時間形式、ジョブ実行時間は秒数で出力されています。

aws glue get-job-runs --job-name "glue_job_xxx" | jq -r  '.JobRuns[] | [.JobName, .StartedOn, .CompletedOn, .ExecutionTime]'

[
  "glue_job_xxx",
  1600816132.498,
  1600816962.019,
  779
],
...(略)

日時をJSTに変換

ジョブ開始日時、ジョブ完了日時はUTCで返されるので、JSTに変換します。

JSTに変換するには、tonumberを行って数値に変換した上で、 9h × 60min × 60sec = 32400

32400（秒）を足します。

aws glue get-job-runs --job-name "glue_job_xxx" | jq -r  '.JobRuns[] | [.JobName, (.StartedOn |tonumber|.+32400|todate), (.CompletedOn |tonumber|.+32400|todate)]'

[
  "glue_job_xxx",
  "2020-09-23T08:08:52Z",
  "2020-09-23T08:22:42Z"
],
...(略)

「起動処理にかかる時間」を求める

「起動処理にかかる時間」を、 ［CompletedOn］ - ［StartedOn］ - ［ExecutionTime］ から算出します。

aws glue get-job-runs --job-name "glue_job_xxx" | jq -r  '.JobRuns[] | [.JobName, (.CompletedOn |tonumber) - (.StartedOn |tonumber) - (.ExecutionTime|tonumber)]'

[
  "glue_job_xxx",
  50.521000146865845
],
...(略)

ジョブ実行ID、ジョブ実行の状態を追加

集計に必要な項目として、ジョブ実行ID、ジョブ実行の状態を追加します。

aws glue get-job-runs --job-name "glue_job_xxx" | jq -r  '.JobRuns[] | [.JobName, (.StartedOn |tonumber|.+32400|todate), (.CompletedOn |tonumber) - (.StartedOn |tonumber) - (.ExecutionTime|tonumber),(.ExecutionTime|tonumber), .Id, .JobRunState]'

[
  "glue_job_xxx",
  "2020-09-23T08:08:52Z",
  50.521000146865845,
  779,
  "jr_xxxxxxxxxx9834fff7a166ca2f65172b68983ad1ba1fd231890b5915b936a356",
  "SUCCEEDED"
],
...(略)

CSV形式に変換

集計がしやすいように、JSON形式をCSV形式に変換します。

aws glue get-job-runs --job-name "glue_job_xxx" | jq -r  '.JobRuns[] | [.JobName, (.StartedOn |tonumber|.+32400|todate), (.CompletedOn |tonumber) - (.StartedOn |tonumber) - (.ExecutionTime|tonumber),(.ExecutionTime|tonumber), .Id, .JobRunState]| @csv'

"glue_job_xxx","2020-09-23T08:08:52Z",50.521000146865845,779,"jr_xxxxxxxxxx9834fff7a166ca2f65172b68983ad1ba1fd231890b5915b936a356","SUCCEEDED"
"glue_job_xxx","2020-09-22T08:14:57Z",51.23900008201599,1056,"jr_xxxxxxxxxx9af086133aa7d90b0ceb2c352ecfebaad50308d46e8b034a89332e","SUCCEEDED"
...(略)

ヘッダーを付与

ファイルに出力した上で、先頭にヘッダーを付けておきます。

echo "JobName,StartedOn,InitSec,Id,JobRunState" > result1.csv
aws glue get-job-runs --job-name "glue_job_xxx" | jq -r  '.JobRuns[] | [.JobName, (.StartedOn |tonumber|.+32400|todate), (.CompletedOn |tonumber) - (.StartedOn |tonumber) - (.ExecutionTime|tonumber),(.ExecutionTime|tonumber), .Id, .JobRunState]| @csv' >> result1.csv

JobName,StartedOn,InitSec,Id,JobRunState
"glue_job_xxx","2020-09-23T08:08:52Z",50.521000146865845,779,"jr_xxxxxxxxxx9834fff7a166ca2f65172b68983ad1ba1fd231890b5915b936a356","SUCCEEDED"
"glue_job_xxx","2020-09-22T08:14:57Z",51.23900008201599,1056,"jr_xxxxxxxxxx9af086133aa7d90b0ceb2c352ecfebaad50308d46e8b034a89332e","SUCCEEDED"
...(略)

まとめ

今回は、CLIのワンライナーで、Glue Python shell jobの実行履歴をCSV形式で取得してみました。

実は最近、Glueのマネジメントコンソール（ジョブ）画面に 「Start-up time」の項目が追加され、 起動処理の時間が表示されるようになりました。

ですが、やはり集計を行うためには、今回紹介したワンライナーのような形で、 データが取得できることが望ましいと考えます。この記事が、データ分析基盤のジョブの、パフォーマンス計測のお役に立てれば幸いです。