[レポート] AWS DataSyncとAWS Storage Gatewayを使用してオンプレミスNFSを移行する #SPL207 #reinvent

はじめに

こんにちは、AWS事業本部のニシヤマです。はいマスキュラー。

本記事は、スポットライトラボ「SPL207-R1 -- [REPEAT 1] Migrate on-premises NFS using AWS DataSync and AWS Storage Gateway」のレポートです

ラボ概要

In this lab, you set up AWS DataSync to attach to a simulated on-premises Network File System (NFS) server to migrate data from that server to Amazon S3. After the data is transferred, you remove the DataSync transfer service and install a file gateway configuration of Storage Gateway, which acts as the ongoing conduit between the on-premises NFS server and Amazon S3.

スポットライトラボとは

スポットライトラボ(Spotlight Labs)とは、90分で実施するAWSインストラクターがステップごとにラボをガイドしてくれるタイプのハンズオンラボになります。 参加してはいませんが、通常のハンズオンラボ（Hands-on Labs）は、30〜60分程度で自分のペースで実施していくタイプのハンズオンになる様で、自分一人で進めるか、インストラクターが説明しながら進めるかの違いのようです。

参考：https://reinvent.awsevents.com/learn/labs/

ラボの結果

まず最初にラボの結果ですが、全ての工程をやり切ることができず時間切れになってしまいました。

作業環境

作業環境はこの様にPC一式、ディスプレイ2つ（手順確認用、作業用）が用意されているので、手ぶらで行っても問題ありません。

着席時点ではまだ手順は表示されておらず、スポットライトラボのメニュー画面が表示されていましたが他にもクラウドエキスパートになるための以下の様なラボもある様です。こちらもやってみたいですね。

ラボの目的

今回のラボの目的は、NFSクライアントとオンプレミスNFSサーバに見立てたEC2を2台の状態から、DatasyncとStorage Gatewayを利用して段階的にNFSサーバをStorage GatewayとS3に置き換えていくことになります。

アーキテクチャの遷移としては以下のようになります。

1. NFSクライアント（EC2）からオンプレミスNFSサーバ（EC2）にファイルをアップロード
2. DataSyncを利用してオンプレミスNFSサーバ（EC2）のファイルをS3にバックアップ
3. Storage Gatewayでファイルゲートウェイを構成してNFSサーバをStorage Gateway＋S3に置き換え

それでは実際の演習の内容に移っていきます。

1. NFSクライアント（EC2）からオンプレミスNFSサーバ（EC2）にファイルをアップロード

開始時点でラボ用AWSアカウントのコンソールへのアクセスボタンがあるのでそちらをクリックすると、すでに異なるVPCに起動されたEC2が2台立ち上がっていました。 スポットライトラボのメニュー画面から、SSH秘密鍵をダウンロードが可能なので、そちらを利用してログインします。 あとは、NFSクライアント側からNFSマウントをしてクライアントに用意されたファイルをNFSサーバにコピーして完了でした

ここは通常のNFSの設定だったので特に問題なく進めることができました。

2. DataSyncを利用してオンプレミスNFSサーバ（EC2）のファイルをS3にバックアップ

次にDataSyncを利用します。

DataSyncを利用する場合、DataSyncAgentのインスタンスを起動する必要がありました。 この際専用のAMIが用意されておりこちらを利用してDataSyncAgentインスタンスを立ち上げます。こちらのDataSyncAgentインスタンスがNFSサーバのデータをS3に転送します。

EC2インスタンスが作成されています。

その後、DataSync側でタスクを登録します。

タスクを登録後すぐに実行され、少し経過したところS3にファイルがアップロードされていました。

S3にファイルがアップできてます。

こちらの工程もスムーズに完了しました。

3. Storage Gatewayでファイルゲートウェイを構成してNFSサーバをStorage Gateway＋S3に置き換え

最後にStorage Gatewayを利用してE2インスタンスなしでS3にファイルをアップロードします。 この時点で残り時間が30分程度。

入力するパラメータも手順に表示されており、簡単に進めることができました 手順の途中でStorage Gateway用のEC2インスタンスを起動する必要がありましたが問題なく起動し、Storage Gatewayの画面で次人進んだところ以下のエラーが表示。

手順には「画面がタイムアウトするかもしれないけど処理は進んでるから」の様な記述があったので別のタブで状況を確認しましたが、成功してませんでした。

ここで挙手してインストラクターの方を呼びます。 拙い英語で状況を説明。原因がわからないので再度Storage Gateway用のEC2インスタンスを起動しますが、起動直後に削除されました。不必要に起動しない様に削除されるようでした。

その後、Storage Gatewayを削除し再度Storage Gatewayの作成から実施しましたが同じようにエラーが出てしまう状況でした。 一番詳しいと思われるインストラクターの方が画面を見て何かを話していましたが、私の英語力で理解できず。ギリギリまで試してみようと思いましたが、Storage Gateway関連のステップが時間がかかるためそのままタイムアップ。無慈悲に画面が止まり私のラボは終了しました。

そのまま、インストラクターに挨拶をして終了です。

おわりに

DataSync、Storage Gatewayと触ったことのないサービスだったのでスポットライトラボに参加してみました私の時は、特にステップごとの説明というわけではなく、何かあれば挙手して質問という感じだったので、実質ハンズオンラボだったのだと思います。 今回私はエラー発生により全てのサービスを試すことができませんでしたが、手順もわかりやすく構成図なども記載されており、基本的には進めやすかったと思います。 みなさまも来年のre:Inventで触ったことのないサービスのスポットラボがあったら是非参加してみてください。

参考

こちらは同じスポットライトラボで全工程が完了したhayashi.masayaレポートになります。

[レポート] AWS DataSyncとAWS Storage Gatewayを使用してオンプレNFSをAWSへ移行する #reinvent #SPL207