Amazon S3の新機能「バッチ一括処理」の使い方 #reinvent

S3オブジェクトの変更を強力に制限するオブジェクトロックの機能がリリースされました。

AWS re:Invent 2018

諏訪悠紀

2019.01.05

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

S3のオブジェクトにバッチで一括処理

re:Invent 2018期間中に発表されたAmazon S3の新機能「S3バッチオペレーション」。何十億におよぶオブジェクトに対して一括でAPIを実行できる機能です。

S3が数十億におよぶ大量オブジェクトへのバッチ処理機能を発表！（プレビュー） #reinvent

現在はまだプレビュー提供中のため、申請が通った方のみ特別に試すことができます。しかしながらドキュメント自体はパブリックに公開されていますので、使い方や仕様を追うことはどなたでも可能です。

ということで使い方をまとめてみました。

次の手順でバッチ一括処理を行います。

新規に追加されるCreateJob APIが、本機能で最も重要なAPIです。

バッチオペレーションの対象となるオブジェクトを指定する方法は2種類あります。

S3インベントリレポートは、S3内のオブジェクトリストを定期出力する機能です。

CSVファイルの場合は以下のようなフォーマットにします。バージョンはオプションですので、特定のバージョンのオブジェクトに対して実行したい場合に指定します。

[csv] <バケット名>, <オブジェクト名>, <バージョン> [/csv]

フォーマットについては以下に記載があります。

一括処理では、以下の処理を行うことができます。標準で用意されている処理以外はLambda Functionで行わせることができます。

CreateJob APIでジョブを作成します。こちらに記載されているパラメータで、どのような一括処理を行うのか設定します。

何の処理を実行するか、前述している処理の種類の中から指定します。

処理の対象にするS3オブジェクトのリストです。こちらも前述の通りCSVファイルで指定します。

バッチ一括処理の優先度です。ジョブに対して設定した優先度が付けられますが、厳密な処理順としては保証されないようです。

バッチ一括処理自体に実行権限を与えるためのIAM Roleを指定します。

バッチ一括処理で完了レポートを生成するかどうかを指定します。保存する場合はレポートの保存先となるS3バケットを指定します。

最大256文字で、管理目的の説明文を付けることができます。

ジョブのステータスはDescribeJob APIを使って確認できます。その中の Status では次のようなステータスがあり、進捗状況を簡単に知ることができます。

ステータス	意味
`New`	作成後すぐの状態
`Preparing`	ジョブをセットアップしている状態
`Suspended`	ユーザーの確認待ち（コンソール利用時のみ発生）
`Ready`	実行可能な状態
`Active`	ジョブの処理を実行中
`Pausing`	停止処理中
`Paused`	停止中（他の優先度の高いジョブが実行される場合に停止される場合がある）
`Complete`	全てのオブジェクトに対して処理が完了した（各オブジェクトに対しては成功または失敗の可能性がある）
`Cancelling`	キャンセル中
`Cancelled`	キャンセルが完了
`Failing`	失敗に転移中
`Failed`	失敗