【速報】AWS Snowballをより高機能にしたAWS Snowball Edgeが発表されました #reinvent

re:Invent2016のKeynoteにて「AWS Snowball Edge」が発表されました。

昨年の re:invent で AWS Snowball というペタバイト級のデータ移行サービスが発表されました。 この間に

• キャパシティの増加(50TBから80TBへの増加)
• ジョブ管理API
• HIPAA対応
• HDFS対応
• S3アダプタ
• 追加のAWSリージョン対応

など、堅実な機能追加が行われてきました。

この路線でさらなる機能追加や対応リージョンの追加も可能ですが、通信インターフェースの追加のように拡張の難しい領域もあります。

そういった思いからか、Amazon は従来の Snowball とは別に、機能を大幅に拡張した新アプライアンス AWS Snowball Edge を発表しました。

Snowball Edge の拡張ポイント

Snowball Edge は Snowball に比べて、以下が強化されています。

• より多くの接続性
• より多くのストレージ
• クラスタリングによる水平スケーリング
• 新しいストレージエンドポイント(S3およびNFS)
• Lambda-poweredローカルプロセッシング

順に見ていきましょう。

より多くの接続性

Snowball Edgeになって高速な接続オプションが増えました

	Snowball	Snowball Edge
10TBase-T	◯	◯
10Gb SFP+	◯	☓
10Gb SFP28	☓	◯
25Gb SFP28	☓	◯
40Gb QSFP+	☓	◯

より多くのストレージ

Snowball では50TBまたは80TBが利用可能でしたが、Snowball Edge は100TBのみです。

Snowball	Snowball Edge
50TB or 80TB(US) 80TB(US以外)	100TB

クラスタリングによる水平スケーリング

Snowball では50TBまたは80TB単位でのデータ移行しかできませんでした。その為、Snowball 1台に収まらないデータを移行するときは、複数のSnowblal を取り寄せるなどして、並列性をあげてリーディングタイムを短くするといった戦略が必要でした。

Snowball Edge は複数ディスクでクラスタリングを組むことができ

• 耐久性の向上(99.999%)
• 水平スケーリング(80TB→400TB)

を実現しました。

新しいストレージエンドポイント(S3およびNFS)

Snowball では、

• Snowball 専用のプロトコル
• ローカルにS3プロキシーサーバーを立て、ローカルのS3コマンド→プロキシー→Snowball

の2択でした。

Snowball Edge では、Snowball Edge 自身が

• S3 API のサブセット
• NFSv3, NFS 4.1

も喋るようになりました。

Lambda-poweredローカルプロセッシング

これはなかなか面白い機能です。

Snowball から S3 に PUT するタイミングで ETL の T(Transform) のように処理を Lambda(AWS Greengrass) で挟むことができます。

価格

最後に価格を比較しましょう

Snowball			Snowball Edge
容量	50TB	80TB	100TB
利用料	200USD	250USD	300USD
遅延料/日	15USD	15USD	30USD

価格差はあまり無いですね。

まとめ

Snowball を使う上での不満ポイントが Snowball Edge では大幅に改善されています。

小規模なデータ移行であれば Snowball、中/大規模あるいは複雑な要件のデータ移行はSnowball Edgeという棲み分けができそうですが、両アプライアンス間で価格的に大きな差が無いため、若干オーバースペックでも Snowball Edge に寄せる、ノウハウがいい感じに貯まるのではないかと思います。

参考

• 公式ドキュメント
• AWS Snowball Edge – より多くのストレージ, ローカルエンドポイント, Lambdaファンクション | Amazon Web Services ブログ