【速報】AWS Snowballをより高機能にしたAWS Snowball Edgeが発表されました #reinvent

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

re:Invent2016のKeynoteにて「AWS Snowball Edge」が発表されました。

昨年の re:invent で AWS Snowball というペタバイト級のデータ移行サービスが発表されました。 この間に

  • キャパシティの増加(50TBから80TBへの増加)
  • ジョブ管理API
  • HIPAA対応
  • HDFS対応
  • S3アダプタ
  • 追加のAWSリージョン対応

など、堅実な機能追加が行われてきました。

この路線でさらなる機能追加や対応リージョンの追加も可能ですが、通信インターフェースの追加のように拡張の難しい領域もあります。

そういった思いからか、Amazon は従来の Snowball とは別に、機能を大幅に拡張した新アプライアンス AWS Snowball Edge を発表しました。

snowball_edge

Snowball Edge の拡張ポイント

Snowball Edge は Snowball に比べて、以下が強化されています。

  • より多くの接続性
  • より多くのストレージ
  • クラスタリングによる水平スケーリング
  • 新しいストレージエンドポイント(S3およびNFS)
  • Lambda-poweredローカルプロセッシング

順に見ていきましょう。

より多くの接続性

Snowball Edgeになって高速な接続オプションが増えました

Snowball Snowball Edge
10TBase-T
10Gb SFP+
10Gb SFP28
25Gb SFP28
40Gb QSFP+

より多くのストレージ

Snowball では50TBまたは80TBが利用可能でしたが、Snowball Edge は100TBのみです。

Snowball Snowball Edge
50TB or 80TB(US)

80TB(US以外)

100TB

クラスタリングによる水平スケーリング

Snowball では50TBまたは80TB単位でのデータ移行しかできませんでした。その為、Snowball 1台に収まらないデータを移行するときは、複数のSnowblal を取り寄せるなどして、並列性をあげてリーディングタイムを短くするといった戦略が必要でした。

Snowball Edge は複数ディスクでクラスタリングを組むことができ

  • 耐久性の向上(99.999%)
  • 水平スケーリング(80TB→400TB)

を実現しました。

新しいストレージエンドポイント(S3およびNFS)

Snowball では、

  • Snowball 専用のプロトコル
  • ローカルにS3プロキシーサーバーを立て、ローカルのS3コマンド→プロキシー→Snowball

の2択でした。

Snowball Edge では、Snowball Edge 自身が

  • S3 API のサブセット
  • NFSv3, NFS 4.1

も喋るようになりました。

Lambda-poweredローカルプロセッシング

これはなかなか面白い機能です。

Snowball から S3 に PUT するタイミングで ETL の T(Transform) のように処理を Lambda(AWS Greengrass) で挟むことができます。

価格

最後に価格を比較しましょう

Snowball Snowball Edge
容量 50TB 80TB 100TB
利用料 200USD 250USD 300USD
遅延料/日 15USD 15USD 30USD

価格差はあまり無いですね。

まとめ

Snowball を使う上での不満ポイントが Snowball Edge では大幅に改善されています。

小規模なデータ移行であれば Snowball、中/大規模あるいは複雑な要件のデータ移行はSnowball Edgeという棲み分けができそうですが、両アプライアンス間で価格的に大きな差が無いため、若干オーバースペックでも Snowball Edge に寄せる、ノウハウがいい感じに貯まるのではないかと思います。

参考