この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。
はじめに
こんにちは、忘年会疲れが隠しきれない佐々木です。
みなさんEmbulkは使っていますか? 僕は大量データも高速に捌いてくれてプラグインでいろいろな事ができるこのツールが大好きです。
でも、ちょっと困る事がたまにあります。 その一つがS3系のプラグイン(embulk-output-s3, embulk-input-s3) がassume roleに対応していない事です。
そんな時はassume-role
そんな時はこれ、assume roleです。 ツールの詳細や使い方については前の記事を参照してください。
config.yml
assume-roleと一緒に使うときの設定ファイルは下記のようになります。
in:
type: s3
bucket: my-s3-bucket
path_prefix: in/logs/csv-
auth_method: default
out:
type: s3
bucket: my-s3-bucket
path_prefix: out/logs/csv-
auth_method: default
簡単ですね。ポイントはauth_method: default
を設定する事です。
default
を指定するとプラグインは認証情報として2つの環境変数AWS_ACCESS_KEY_ID
とAWS_SECRET_ACCESS_KEY
を使用します。
そしてassume-roleでこの環境変数をセットする、というわけです。コマンドラインは下記のようになります。
assume-role profile_name embulk run config.yml
まとめ
小ネタですが、よく使うので紹介してみました。