[アップデート]5倍早いEFS File Syncを試して見た #reinvent

千葉淳

2017.11.29

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

コンニチハ、千葉です。

EFSに機能アップデートがありEFS File Syncがという機能が追加されました。 (5日くらい前にアップデート通知はありましたが、試せてなかったので...今記事書きました！

EFS File Syncとは

オンプレのファイルやクラウド上のファイルを高速安全にEFSへコピーすることができます。Linuxのコピーに比べて最大で5倍早いとうたっています。データ転送中のデータは暗号化されセキュアにコピーができます。リージョン間コピーもできるのでDR目的のバックアップでも使えそうです。

同期したデータは、パーミッション、タイムスタンプなどもコピーされます。

料金体系も新たに追加されています。同期したデータ量に応じた従量課金になります。 https://aws.amazon.com/jp/efs/pricing/#filesync

東京リージョンのEC2上のデータをバーニジアリージョンのEFS上にコピーして見ます。

東京リージョンにEC2を作成します。コピーするファイルの配置とNFSを有効にしておきます。ファイルは適当に1000ファイル用意しました。

状態はこんな感じです。

[root@ip-172-31-17-89 ~]# cat /etc/exports
/data *(rw,sync,no_root_squash)
[root@ip-172-31-17-89 data]# ls
0.txt    135.txt  170.txt .....

バージニアにEFSを作成しておきます。

1.同期エージェントの起動。オンプレの場合はVM、EC2の場合はAMIが提供されます

EFSの画面から「EFS Sync」を選択肢、新規作成します。EC2、東京リージョンを選択し「Launch Instance」より、インスタンスを作成します。

インスタンスサイズは、xlarge以上を選択。r4xlargeが推奨とのこと
今回はリージョン間かつインターネット経由でアクティベーションするので、パブリックIPを有効にします。VPC内通信(アクティベーション、EFS)であれば無効でも問題ないです
アクティベーションのため、セキュリティグループは自端末からの80番ポートを許可します
エージェントからNFSマウントできるように、NFSサーバのセキュリティグループを設定します

EFSの画面に戻り、エージェント用のEC2のバブリックIPを入力します。

任意のエージェント名を入力します。

エージェントとして登録できました。

2.同期タスクの作成

同期タスクを作成します。

エージェントサーバからNFSマウント先のIPアドレスと、マウントポイントを入力します。また、エージェントを指定します。

コピー先のEFSを指定します。

コピーするメタデータ、sync時にファイルを削除するか、ファイルの一貫性を保つために検証を行うかを設定します

NFSとEFSをマウントできました

3.同期タスクを開始

同期タスクを開始します。

履歴をみると成功したようです。

実際にEFSをマウントして同期できているか確認しました。

[ec2-user@ip-172-31-58-133 ~]$ ls efs/
0.txt    135.txt  170.txt  ...

問題なく同期できてます！

EFS File Syncを利用して、東京のデータをバージニアのEFSへバックアップしてみました。Linuxのコピーより5倍早いということで、EBSデータのバックアップ、リージョン間バックアップなどにも使えそうです。バックアップの選択肢が増えましたね。早く東京でGAしないかな〜。