[レポート] STG324 新機能！ AWS DataSync #reinvent

はじめに

本記事はAWS re:Invent 2018のセッション「STG324 - [NEW LAUNCH!] Introducing AWS DataSync - Simplify, automate, and accelerate online data transfer」 のレポートです。

セッション概要

AWS DataSync is a new online data transfer service that automates movement of data between on-premises storage and Amazon S3 or Amazon Elastic File System (Amazon EFS). In this session, we will introduce the service, showing how you can use DataSync to move active on-premises data to the cloud for one-time migration, timely in-cloud analysis, and replication for data protection and recovery. We’ll demonstrate how to get started with DataSync, and you’ll hear how it is helping Cox Automotive to move their archive of millions of images to AWS.

スピーカーは以下の三人。

• David Green - Enterprise Solution Architect, AWS
• Paul Reed - Principal Product Manager, Amazon Web Services
• Dan Boisvert - Lead Software Engineer, Cox Automotive

レポート

イントロダクション

クリティカルワークロードのクラウド移行はどんどん増えていく。
アプリケーションデータのアーカイブ・・・
クラウド上でのリアルタイム処理をさせるデータ・・・
データ保護とリカバリーのためのレプリケーション・・・

今日の解決策

• オープンソースを使ったDIY
  • 時間がかかる
• 商用ソフトウェアの導入
  • お金がかかる

AWSのデータトランスファーとハイブリッドストレージ
● Amazon S3 Transfer Accelaration - Edge locations for S3
● Amazon Kinesis Data Firehose - Load streaming data into Amazon S3
● AWS Transfer for SFTP NEW!!! - Managed file transfers into Amazon S3
● AWS DataSync NEW!!! - Online transfer of active date
● AWS Snowball - Ship Static data into and out of Amazon S3
● AWS Showball Edge - Storage and compute in diconnected environments
● AWS Storage Gateway - Access AWS storage from on-premises

AWS DataSyncとは？

簡素化された・自動化されたOnP～AWS間のデータ転送サービス。

AWS DataSyncの裏側

メリット

• 愛大転送速度 10Gbps/agent
  • スケールさせるためのマルチスレッドデザイン
  • 速度制限も可能
• 簡単な管理
  • AWS Console、CLI、SDK
  • エージェントアップデートもフルマネージド
• 転送データの保護
  • TLS1.2で暗号化
  • VPC内でサービス稼働
  • I/Oエラーや転送失敗からの自動リカバリー
• AWS統合
  • CloudWatchでモニター
  • CloudWatch Logsに詳細ログ
  • IAMとCloudTrailでコントロール
  • PCI-DSS、HIPAAA
• 低コスト
  • $0.04/GB データコピー

簡単に始められる

1. OnPへのエージェントデプロイ - VMware ESXi 8vCPU / 32 GB Memory
2. ストレージロケーションと設定オプションを含んだタスクを作成 - OnP NFS、S3、EFS
3. タスクのスタートとモニター - CloudWatch

タスクオプション

• コピー後のファイルレベルバリデーション
• ファイルメタデータもコピー(オーナー、パーミッション、タイムスタンプ)
• ファイル削除をクラウドに反映するかしないかの選択
• ネットワーク帯域の制限可能

増分転送

OnPのデータは増分更新で効率良くS3 または EFSへ転送される。
End-to-Endのファイルバリデーションも可能。

タイムリーに増分転送されることで、
ネットワーク転送量を減らすことができ、かつ、
OnP障害時のデータ損失を最小限に留める。

AWS DataSyncとFile Gatewayの同時使用

DataSyncでOnPのデータをS3へ保管。
アプリケーションからはFile Gatewayを使ってS3上のデータへアクセス。

DataSync

• コピー元は既存のNFS Server
• S3 または EFS へコピー

File Gateway

• NFS または SMB Server
• ローカルキャッシュ
• S3バックエンド

さいごに

OnPデータのクラウドバックアップに対してより良いソリューションを展開してきました。
データバックアップの選択肢が広がってきていることを感じます。