![[アップデート] Amazon S3 のバッチオペレーションでマニフェストファイルの用意をせずにマネジメントコンソール上でオブジェクトリストの条件を指定してジョブを作成できるようになりました](https://images.ctfassets.net/ct0aopd36mqt/wp-thumbnail-066beb776f0c57ce64255fadcc072f60/82b2f6687ab5774cd73f9176dcac7855/amazon-s3)
[アップデート] Amazon S3 のバッチオペレーションでマニフェストファイルの用意をせずにマネジメントコンソール上でオブジェクトリストの条件を指定してジョブを作成できるようになりました
いわさです。
Amazon S3 のバッチオペレーションを使うと、複数のオブジェクトに対して一括で様々なオペレーションを行うことができます。
非常に便利ではあるのですが、事前準備としてマニフェストファイル（対象オブジェクトリストを CSV などにリストアップしたもの）の準備が必要でそこがちょっと面倒でした。
これがなんと先日のアップデートで、マニフェストファイル不要でマネジメントコンソール上からオブジェクトの条件を指定できるようになりました。
変更点や使った様子を紹介します。
ジョブ作成時に「フィルターを指定してオブジェクトリストを生成」が追加された
以前は次のように、ジョブ作成の最初のステップでマニフェストを選択する必要がありました。
引用元：S3バッチオペレーションを使ってクロスアカウントのS3バケット間コピーをやってみた | DevelopersIO
マニフェスト形式として、S3 インベントリレポート、CSV、S3 レプリケーション設定からマニフェスト作成、が選択できました。
今回のアップデートで次のようにユーザーインターフェースが変わったようです。
新たに「フィルターを指定してオブジェクトリストの生成」というものが選択できるようになっています。これが今回追加されたものみたいですね。
そして従来の 3 つのマニフェスト選択モードは「レプリケーション設定に基づいてオブジェクトリストを生成」と「既存のマニフェストファイルを使用」に分かれたようです。
「フィルターを指定してオブジェクトリストの生成」を選択してみると次のようにソースバケットやオブジェクトフィルター（オブジェクトキー、メタデータ）を指定して対象オブジェクトの条件を設定することができます。
オブジェクトメタデータフィルターでは本日時点では以下の 6 つから複数条件を指定可能でした。
- オブジェクト作成開始日
- オブジェクト作成終了日
- 最小オブジェクトサイズ
- 最大オブジェクトサイズ
- ストレージクラス
- 暗号化タイプ
ここで指定した条件に基づいてバッチオペレーションジョブが実行されるのですが、その際にマニフェストを生成することもできます。
次のステップにて、以下のオブションを有効化します。
作成後のジョブを見てみると、オブジェクトリストに「フィルターを指定してオブジェクトリストを生成」が設定されていました。内部的にマニフェスト変換されているというわけではないようです。
ちなみに生成されたマニフェストファイルは任意の S3 バケットを指定して出力できるのですが、次のような感じで作成されていました。.csv.gzで出力されます。
"hoge-cur","CUR/Hourly/cur_hourly/20230101-20230201/04a3d3ad-5850-479b-a688-4575f99aac3d/cur_hourly-Manifest.json","null","true","false"
"hoge-cur","CUR/Hourly/cur_hourly/20230101-20230201/1a71e48c-6dfc-4f5e-b5a6-aa24a316e99b/cur_hourly-Manifest.json","null","true","false"
"hoge-cur","CUR/Hourly/cur_hourly/20230101-20230201/1e05e7bf-af23-41c2-b22a-dba3badb5495/cur_hourly-Manifest.json","null","true","false"
"hoge-cur","CUR/Hourly/cur_hourly/20230101-20230201/2bc4c42e-1b6f-4d22-b303-57cb370cb3f3/cur_hourly-Manifest.json","null","true","false"
"hoge-cur","CUR/Hourly/cur_hourly/20230101-20230201/2ffe9160-2a38-47b4-8883-2c3200aafb0f/cur_hourly-Manifest.json","null","true","false"
"hoge-cur","CUR/Hourly/cur_hourly/20230101-20230201/612dd23b-2b62-44f0-8669-09dc957c5385/cur_hourly-Manifest.json","null","true","false"
"hoge-cur","CUR/Hourly/cur_hourly/20230101-20230201/61c9a921-5c72-4f41-8c4d-9086a4a50f3c/cur_hourly-Manifest.json","null","true","false"
"hoge-cur","CUR/Hourly/cur_hourly/20230101-20230201/6fa618fe-b379-4138-96e6-60dc6010c147/cur_hourly-Manifest.json","null","true","false"
"hoge-cur","CUR/Hourly/cur_hourly/20230101-20230201/73db9bc5-4853-4a08-9dc2-c490f26255d7/cur_hourly-Manifest.json","null","true","false"
"hoge-cur","CUR/Hourly/cur_hourly/20230101-20230201/7abd9fe2-59f4-4bc9-b984-38767738f4ad/cur_hourly-Manifest.json","null","true","false"
"hoge-cur","CUR/Hourly/cur_hourly/20230101-20230201/82dfec21-b763-4ea3-aab2-1010bda9b5de/cur_hourly-Manifest.json","null","true","false"
"hoge-cur","CUR/Hourly/cur_hourly/20230101-20230201/85644fad-8756-46f7-8779-e9abd30ee4ee/cur_hourly-Manifest.json","null","true","false"
"hoge-cur","CUR/Hourly/cur_hourly/20230101-20230201/9f8b30c0-2e4e-4e7f-8848-6ce65a474909/cur_hourly-Manifest.json","null","true","false"
"hoge-cur","CUR/Hourly/cur_hourly/20230101-20230201/bcb61260-3053-4f39-ae2d-b5c53fa16488/cur_hourly-Manifest.json","null","true","false"
"hoge-cur","CUR/Hourly/cur_hourly/20230101-20230201/c914c7a1-a69c-4cd9-b70d-0b18f34cd035/cur_hourly-Manifest.json","null","true","false"
"hoge-cur","CUR/Hourly/cur_hourly/20230101-20230201/cur_hourly-Manifest.json","null","true","false"
"hoge-cur","CUR/Hourly/cur_hourly/20230101-20230201/e35f6458-348a-44e8-a116-8d022cbe12e6/cur_hourly-Manifest.json","null","true","false"
"hoge-cur","CUR/Hourly/cur_hourly/20230101-20230201/f251c5f8-defc-4aca-92f3-3bffc4b814f3/cur_hourly-Manifest.json","null","true","false"
"hoge-cur","CUR/Hourly/cur_hourly/20230101-20230201/f6709780-4b93-46d6-8924-eb5c3125663e/cur_hourly-Manifest.json","null","true","false"
"hoge-cur","CUR/Hourly/cur_hourly/20230101-20230201/fd8b577e-d3be-439e-b002-99086b20aa69/cur_hourly-Manifest.json","null","true","false"
さいごに
本日は Amazon S3 のバッチオペレーションでマニフェストファイルの用意をせずにマネジメントコンソール上でオブジェクトリストの条件を指定してジョブを作成できるようになったので使ってみました。
マニフェストなど事前準備の関係もあってバッチオペレーション使ったことないという方も多かったのではと思うのですが、このアップデートによってだいぶ使いやすくなりそうです。
