[新サービス]フルマネージドなApache Kafka、Amazon Managed Streaming for Kafka (MSK)が発表されました #reinvent

AWS re:Invent 2018のKeynote, Dr. Werner Vogelsで、 フルマネージドな Apache Kafka、 "Amazon Managed Streaming for Kafka (以下 Amazon MSK) が発表されました

re:Invent 2018 / Werner Vogels Keynote / Amazon MSK | Amazon Web Services ブログ

Apache Kafka は分散ストリーミングサービスで、AWS のエコシステムでは Kinesis Streams に近い機能を有します。

大規模なストリーミング処理システムとしての実績があるものの、分散システムの運用には高度な専門技術が求められます。

これまでには AWS での運用を楽にすべく、Apache Kafka を AWS 上で構築するためのベスト・プラクティスなども紹介されてきました。

Best Practices for Running Apache Kafka on AWS | AWS Big Data Blog

今回の、AWS 上のフルマネージドな Apache Kafka の提供により、AWS での Kafka 利用、特に、オンプレミスから AWS への lift and shift な移行負荷が軽減されます。

特徴

• データプレーン・管理 API は利用可能
• デフォルトで 3AZ・2ブローカー/AZ のブローカーインスタンスを用意
• インスタンスは m5 ファミリー − ZooKeeper でクラスター管理
• レプリケーション方式は leader-follower

料金

• ブローカーインスタンス利用費
• ストレージ
• データ転送

の利用費が発生します。

利用可能リージョン

N. Virginia リージョンでプレビュー版を利用可能です。

最後に

Apache Kafka のフルマネージドサービス Amazon MSKが発表されました。

本サービスの提供により Lift and Shift なクラウド移行の負担が大幅に軽減させました。

オンプレや EC2 上での Apache Kafka 運用を軽減したい方は、ぜひご検討ください。