この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。
AWS re:Invent 2018のKeynote, Dr. Werner Vogelsで、 フルマネージドな Apache Kafka、 "Amazon Managed Streaming for Kafka (以下 Amazon MSK) が発表されました
re:Invent 2018 / Werner Vogels Keynote / Amazon MSK | Amazon Web Services ブログ
Apache Kafka は分散ストリーミングサービスで、AWS のエコシステムでは Kinesis Streams に近い機能を有します。
大規模なストリーミング処理システムとしての実績があるものの、分散システムの運用には高度な専門技術が求められます。
これまでには AWS での運用を楽にすべく、Apache Kafka を AWS 上で構築するためのベスト・プラクティスなども紹介されてきました。
Best Practices for Running Apache Kafka on AWS | AWS Big Data Blog
今回の、AWS 上のフルマネージドな Apache Kafka の提供により、AWS での Kafka 利用、特に、オンプレミスから AWS への lift and shift な移行負荷が軽減されます。
特徴
- データプレーン・管理 API は利用可能
- デフォルトで 3AZ・2ブローカー/AZ のブローカーインスタンスを用意
- インスタンスは m5 ファミリー − ZooKeeper でクラスター管理
- レプリケーション方式は leader-follower
料金
- ブローカーインスタンス利用費
- ストレージ
- データ転送
の利用費が発生します。
利用可能リージョン
N. Virginia リージョンでプレビュー版を利用可能です。
最後に
Apache Kafka のフルマネージドサービス Amazon MSKが発表されました。
本サービスの提供により Lift and Shift なクラウド移行の負担が大幅に軽減させました。
オンプレや EC2 上での Apache Kafka 運用を軽減したい方は、ぜひご検討ください。