[アップデート] AWS DataSync で Amazon S3 と AWS 以外のクラウドストレージの間で転送を行う場合に DataSync エージェントが不要になりました
いわさです。
先日のアップデートで、S3 と 他クラウドのストレージ(Google Cloud Storage、Microsoft Azure Blob Storage、Oracle Cloud Object Storage など)の間で転送を行う場合に、なんと DataSync エージェントが不要になりました。
私の場合だとよく Amazon S3 と Azure Blob Storage の間でファイル転送を行うことが多いです。
AWS DataSync は以前からロケーションとして Azure Blob Storge をサポートはしてたのですが、DataSync エージェントが必要になるという問題がありました。
DataSync エージェントは仮想マシンアプライアンスで、DataSync タスクではロケーションの組み合わせによって DataSync エージェントが必要な場合と不要な場合があります。
よくあるパターンとしては転送用の DataSync エージェントを EC2 や Azure Virtual Machine にセットアップしたりします。
従来は他クラウドを使う場合は DataSync エージェントが必要だったのでこのあたりの運用が面倒で見送ることが多かったのですが、今回のアップデートで DataSync エージェントなしでも転送できるようになりました。
使ってみる
これまでは次のように Azure Blob Storage ロケーションの設定時に DataSync エージェントの設定が必要でした。
では新しくロケーションを設定してアップデートを確認してみましょう。
事前準備として次のように S3 バケットと Azure Storage の Blog コンテナーを準備しました。
S3 ロケーションは従来どおりなので、設定方法の紹介は割愛します。
ポイントとなる Azure 側のロケーション設定ですが、従来はここにセットアップ済みエージェントの指定が必要だったのですが、次のようにエージェントの設定が不要になります。
タスクの作成後に実行すると、S3 バケット内のファイルを Azure Blob コンテナーへ転送することが出来ました。エージェント不要なのはすごい。
タスクモードは拡張モードのみ
なお、エージェントレスのこのクラウド間の転送機能を使う場合、DataSync タスクモードが「拡張モード」のみとなります。
DataSync にはタスクモードの概念があり、拡張と基本から選択が可能です。
基本的には拡張モードのほうが上限が緩かったりパフォーマンスが良かったりします。
ただし、料金体系がことなっており、拡張モードのほうが料金が高いです。今回のエージェントレスのクラウド間転送を使う場合は拡張モードになるため、料金を意識したほうが良いでしょう。
基本モードは転送されたデータに応じて 1 GB あたり 0.0125 ドルとなっています。(東京リージョン)
拡張モードは転送されたデータに応じて 1 GB あたり 0.015 ドルと少しだけ転送料金が高くなっていることに加えて、タスク実行ごとに 0.55 ドルかかります。
ただ、エージェントをホスティングする料金が不要になりますし、タスク実行頻度をコントロールすることで調整できそうです。
エージェントレスは Amazon S3 との転送のみ
他クラウドサービス間の転送がすべてエージェントレスになったかというとそうではなくて、Amazon S3 との間で転送する場合に限られています。
例えば、DataSync は AWS 側のロケーションとして EFS や FSx などもサポートしているのですが、それを指定した場合は他クラウド側のロケーションでエージェント設定が必要になります。
EFS と転送する場合の Microsoft Azure Blob Storage ロケーション設定
エージェントレスはかなり大きいので、可能であれば S3 に寄せれたほうが良いですね。
さいごに
本日は AWS DataSync で Amazon S3 と AWS 以外のクラウドストレージの間で転送を行う場合に DataSync エージェントが不要になったので試してみました。
S3 と他クラウドストレージの間で転送を行っている方はかなり注目度の高いアップデートなのではないでしょうか。
エージェントが必要だったがために DataSync 以外の方法で転送を行っていた方も多いと思うのですが、今回のアップデートを機に DataSync も再検討できるかもしれません。