AWS Database Migration Serviceで圧縮したりファイル形式を指定してS3に出力する

2017.06.16

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

AWS Database Migration Service(以下、DMS)ではターゲットにS3を選択できます。デフォルトではCSV形式、未圧縮の状態でS3にファイルが置かれますがTSV形式にしたりGZIP圧縮したかったので方法を調べました

Management ConsoleでDMSのエンドポイントの設定画面を開いて、[アドバンスト]-[追加の接続情報]のところに設定を追加します。 区切り文字を設定したい場合はcsvDelimiterで形式を指定しています。今回はTSV形式にしたかったのでcsvDelimiter=\tとしました。

次に圧縮したい場合はcompressionTypeで形式を指定しています。GZIPにする場合はcompressionType=GZIPとしました。ドキュメントを見た感じGZIPしかまだないようです。複数属性を指定する場合は;(セミコロン)で区切ります。

dms-s3-gzip-tsv

これ以外のオプションに関して知りたい方は以下のAWSのドキュメントをご覧ください。

Using Amazon S3 as a Target for AWS Database Migration Service - AWS Database Migration Service