この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。
困っていること
AWS DataSync を利用して、オンプレミスからのデータを Amazon S3 へ移行しています。
タスク実行をしていますが、データ移行が遅くパフォーマスが不足しているように見受けられます。
データ移行を速くする方法があれば教えてください。
どう対応すればいいの?
下記の対応方法を合わせてご検討ください。
- AWS DataSync エージェントを並列化する
- Include Filter を使用する
AWS DataSync エージェント
ロケーションに複数の AWS DataSync エージェントを使用してください。
ドキュメント 記載の通り、最大 4 つのエージェントを並列化することが可能です。
実装してパフォーマンスが改善されるかご確認ください。
For most workloads, we recommend that you use one AWS DataSync agent for each self-managed location. Some workloads can have tens of millions of small files, though. In these situations, we recommend up to four agents for each location.
Include Filter
"include"パターンで対象ソースをフィルタリングしてデータ転送することは有効な手段です。
ドキュメント 又は 弊社ブログ を参考にお試しください。
まとめ
参考情報 (P68) の通り、AWS DataSync エージェントの並列化、Include Filter 合わせてお試しください。
6
