[レポート] AWS Storage Gatewayを使用したハイブリッドストレージアーキテクチャを構築 #reinvent #STG305-R

こんにちは(U・ω・U)
AWS事業部の深澤です。

Build hybrid storage architectures with AWS Storage Gatewayというセッションに参加してきましたので、セッションのレポートをお届けします。

アジェンダ

こちらは原文のままご紹介させていただきます。

• Storage Gateway overview
• Use Case
• New features deep dive
• Customer case study: FINRA
  • Strage Gateway applications in finance
• Summary

まずはStrage gatewayに入門しておきたい皆さまへ

馴染みのないサービスという方も多いと思いますので、弊社の以下のブログが参考になるかと思います。
以下のブログにて概要をざっくり掴んでいただき、
AWS Storage Gateway入門 – とりあえず構築してみよう
その後、最近のUI等についてこちらをご覧いただければと思います。
AWS Storage Gateway入門 – ボリュームゲートウェイ(Gateway-Cached Volumes)を触ってみる
ざっくりとオンプレ環境のバックアップをAWS上で取得するためのものとご理解いただければバッチリです！

Storage Gateway overview

Storage Gatewayの入門記事に記載させていただいたような大まかな入門を紹介していました。

• ゲートウェイは、仮想ハードウェアアプライアンスであるオンプレにゲートウェイをデプロイする
• オンプレアプリケーションからAWSストレージへの無制限のアクセスを提供
• データがAWSに到達すると、複数のストレージサービス、s3、ストレージクラスに保存される。
  • ボリュームデータはグラフストレージから保存およびアクセスでき、AWSバックアップなどの他のAWSサービスと統合可能
• 2種類のゲートウェイを提供
  • ファイルゲートウェイ
    • s3のオブジェクトへのファイルインターフェイスを提供
      • s3 APIを通してデータにアクセス可能
  • ボリュームゲートウェイ
    • ブロックインターフェースを提供
      • このデータのスナップショットを取得して、EBSスナップショットとして利用できるようにする
• Tape Gatewayについて
  • ほとんどの主要なバックアップアプリケーションと互換性があり、既存のテープをAWSに持ち込んで移動するための集中管理を行うことが可能

Use Case

いくつかケースが紹介されたのですが、多くの顧客はスケジュールが逼迫している中でクラウド移行を検討しているケースが多いとのこと。その中でも以下のような相談が多いとのことでした。

• データはクラウド上におきつつ、オンプレミスアプリケーションでそのデータを利用できるようにする必要がある。
• オンプレストレージインフラストラクチャをクラウドに移行したい。

実際にユースケースとソリューションについて以下のようなスライドで複数紹介されていたので、今回はその中の一つをご紹介します！

• 課題
  • データセンターとアプリケーションをAWSへ移行したい
  • そのためには移行及びバックアップやアーカイブする多くのオンプレミスデータベースと資産がある
  • 商用ソフトウェアでは高いバックアップコストが発生する見込み
• 解決案
  • Oracle環境でのSAPバックアップ用のファイルゲートウェイをインストール
  • SQLデータベース、Hadoopクラスターおよびその他のアプリケーションのアーカイブ
• 結果
  • バックアップソフトウェアを排除して、バックアップコストを最大90％削減
  • クラウドで数百TBのストレージとバックアップにアクセス可能

New features deep dive

ここでは最初に「11月20日にリリースされた機能についてはお客様からリクエストされたもので、その声を１年間かけてカタチにしてローンチできることに非常に興奮しています」と挨拶がありました！

• 内部の隔離に対応するために中断されないアプリケーションを実行できるようにしたい
  • 24/365のアクセスを必要とするストレージゲートウェイに到着する機器に可能性があり、そのゲートウェイへの24/365のアクセスが中断されることがありえる
    • ワークロードが中断された場合、ワークロードを修正できる人がいないため、自動回復が必要
• そのためにゲートウェイでの高可用性を可能にするVMware HAとの統合を構築した。
  • これによりVMwareのヘルスチェック機能で問題が発生したことを認識し、実際にゲートウェイを再起動できるようになった
    • ゲートウェイの再起動により一時的なアクセスの瞬断はあるものの、非常に短時間で再起動ができる（中断から60秒以内に自動的に回復）
• また、ゲートウェイコンソール内で直接表示できるcloudwatchとの統合を提供
  • すべてのメトリックを確認しパフォーマンスの使用を信頼して使用できるようにするため
  • 報告されたメトリックに応じて、カスタマイズしパフォーマンスの向上を検討いただくため
  • 閾値を設定し、SNS、lambdaを通してアラートを設定するようにすることもできる

Customer case study: FINRA

• まずはFINRAという単語を知らない人のために
  • Financial Industry Regulatory Authorityの略で、金融業界規制当局という意味
• 主なタスクは市場の完全性を確保することであり、FINRAは、当社と取引を行う一部のブローカーのすべてのセキュリティを規制し保護することに専念している
  • 最大50,000の計算ノードで最大1,350億の市場イベントを処理する必要があり、40テラバイトのストレージを管理する
  • そのため、ほぼ6年前に、FINRAは機能を強化するために、ワークロードをクラウドに移動することを決定
  • 課題は、サービスを中断することなく、特にクラウドの移行に集中することなく、老朽化し​​たインフラストラクチャを置き換えること
• 今年の初めにインフラストラクチャの交換を検討し始めた際、既にハードウェアの寿命に直面していた。
• クラウド移行のためのテストを単体、機能テスト、パフォーマンステストまでアプリケーションを含めて行った
  • 明らかにテストが陽性であったため、この交換に進むことを決定した。
• プロジェクトは今も進行中
  • 年末までに完了する予定。できれば、この今週末には終わっていたい
• AWSと直接交渉しハードウェアアプライアンスを購入
  • セキュリティチームとファイアウォールの要件を見直して、コンプライアンスに準拠していることもここで確認した
  • 今後はネットワークチームと協力して、特にクラウドリソースs3にアクセスするために必要なセットアップを確認する予定
    • ストレージゲートウェイのこれらのすべての管理を非常に簡単に行えて、定義をするのも非常に簡単だった
• 導入はほぼ完了しているが、ストレージデバイスを管理するオーバーヘッドがなくなった。
  • 高価なサポートとメンテナンスもアップグレードしているため、今までよりはるかにコストが低い

Summary

• 現在もまだまだ引き続き他の機能、特にボリューム値も検討している
  • そしてこれは大量のストレージを必要とするワークロードに対して多くの可能性を秘めているが、それらには依然として設定が必要
  • したがって、これは私たちがまだ評価する必要があるもの
    • 簡単に言えば、これがストレージゲートウェイの旅であり、これが役に立つことを願いる

セッションを聞いてみて

僕はAWS Storage Gatewayを今まで使ったことがなかったのですが、オンプレミスのデータを扱う際のソリューションとなり得る可能性を感じるセッションでした！恐らくまだまだ多くの企業様がオンプレミスのデータ管理やバックアップについて悩まれていることと思います。実際にマイグレーションが必要となる前に、こういったサービスを導入して社内システムクラウド化の皮切りにしてもいいのではないかと思いました。

以上、深澤（@shun_quartet）でした！
re:Inventの最新情報をどんどん呟いておりますので良かったら覗いてみてくださいm(_ _)m