この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。
コンニチハ、千葉です。初めてのre:Invent、最高です。自分の世界が拡張されていく感じがしています。来年一緒に行きませんか！
ということで、Storage Gatewayの機能拡張がありましたのでご紹介します。
今までのStorage Gateway
今までもStorage GatewayではS3をバックエンドにデータを保存することができました。ただし、S3オブジェクトとして保存するわけではなく、ブロックストレージのスナップショットとしての保存となります。 そのため、ユーザーがマネージメントコンソールにてS3を確認してもデータを確認することができませんでした。(イメージとしては、EBSのスナップショットのようなもので、あくまでStorage Gateway側でスナップショットを管理)
今回のアップデートでは、ブロックストレージのスナップショットではなく、S3オブジェクトとして保存できるようになりました！
Storage Gateway方式整理
Storage Gatewayは、方式が複数あるので整理したいと思います
キャッシュボリューム(Gateway-Cache Volumes)
最後に使用したデータへの低レイテンシーアクセスを行うことができる方式です。 処理としては、使用頻度の高いデータをStorage Gatewayインスタンス上に配置しておき、ストレージ上にないデータはS3からダウンロードしてきてファイルシステム上に保管します。 つまり、Storage Gatewayを経由することでS3をファイルシステムとして利用することができました。 リストア時は、Storage Gateway上のvolumeとなります。EBSはリストア出来ず、Storage Gatewayのvolumeをリストアし、iSCSI参照する必要がありました。つまり、データへのアクセスはS3直接ではなくStorage Gatewayを経由する必要があります。
保管型ボリューム(Gateway-Stored Volumes)
オンプレミスデータをS3上にスナップショット保管する用途で利用します。非同期でスケジュールバックアップを行います。 リストア時は、オンプレ側のStorage Gatewayまたは、EBSを選択できます。 こちらも、S3直接ではなくStorage Gatewayを経由する必要があります。
仮想テープライブラリ(Gateway-VTL)
既存のテープベース管理ツールを利用して、Glacierに保管する方式です。 Dell NetVault Backup等、Glacier対応しているツールであれば既存のテープ運用と同じフローで管理することができました。
[New]ファイルゲートウェイ
そして、今回登場したのがファイルゲートウェイです。 ファイルゲートウェイは仮想マシーンイメージとして起動し、NFSのマウントポイントとして機能します。 アプリケーションは、このNFSをマウントしファイルの読み書きを行うことができます。ファイルゲートウェイは、このデータはS3オブジェクトとしてS3に保管されます。 アクセス頻度の高いファイルは、ファイルゲートウェイ上にキャッシュされ最適化されています。
動作としてはキャッシュボリュームに似ていますが、スナップショットではなく、S3オブジェクトとして保存されるところが大きく違います。 S3オブジェクトなので、ファイルはマネージメントコンソールからも見えるし、ライフサイクル、バージョニングなどS3の機能をフルで利用できます。
だだし、ファイルゲートウェイのインスタンスはVMware ESXiで動作する選択しかありません。つまり、EC2上でStorage Gatewayインスタンスを起動できないため、あくまでオンプレミスのファイルバックアップとしての利用となります。 オンプレミスからS3をストレージとして利用したい場合の、大きな選択肢となるのかなと思います。
キャッシュボリュームの様にStorage GatewayをEC2インスタンスとして起動することができるようになれば、S3をNFSとして利用でき、s3fsやgoofys等のツールがなくてもNFSマウントで利用できるようになりそうです。今後のアップデートに期待ですが、EFSもあります。NFSストレージとしての選択として
- EC2はEFS
- オンプレはStorage Gateway
という選択肢になりそうです。
オンプレからS3へオブジェクト保存できるようになるため、Redshiftへのデータロード連携などハイブリッド環境で、力を発揮できそうです。
最後に
いかがでしたでしょうか。オンプレとAWSのデータ連携の選択肢が増えました。参考になれると幸いです。 今後もre:Inventどんどんアップデートがじゃんじゃんでるので、情報をお届けします！
3
