この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。
本記事はAWS re:Invent 2018のSession「ANT398 - [NEW LAUNCH!] Introducing Amazon Managed Streaming for Kafka (Amazon MSK)」のレポートです。
re:Invent 中に発表された Apache Kafka のフルマネージドサービス「Amazon Managed Streaming for Kafka (Amazon MSK)」の入門セッションです。
セッションについて
スピーカー
Damian Wylie - Principal Product Manager
概要
Discover the power of running Apache Kafka on a fully managed AWS service. In this session, we describe how Amazon Managed Streaming for Kafka (Amazon MSK) runs Apache Kafka clusters for you, demo Amazon MSK and a migration, show you how to get started, and walk through other important details about the new service.
資料
ストリーミング処理について
- モバイル・サーバー・IoTデバイスなどから、データは常に生成されている
- リアルタイムにデータ処理できるのになぜバッチで処理する必要があるのか？
- バッチ処理すると、データが処理されるまでの時間がかかり、データの価値は落ちてしまう
このようなケースに Apache Kafka は向いている
Apache Kafka はリアルタイムデータ処理のスイスアーミーナイフ
Apache Kafka クラスター管理の課題
Apache Kafka を運用できるスキルセットをもった人材の確保が難しい
Apache Kafka を AWS で運用すると、以下のような困難が伴う
- セットアップが難しい(Broker/Zookeeper)
- HA を実現するのが難しい
- コンソールやメトリクスダッシュボードがない
- スケール操作が複雑
- AWS 連携は自作
Amazon Managed Streaming for Kafka がこれらを解決
- フルマネージド
- 高可用
- セキュア(通信・ストレージ)
パブリックプレビューのため、申請なしに、利用可能
MSK を使うには？
- Apache Kafka 1.1.1 が利用可能(最新版は 2.1.0)
- 管理コンソールまたは AWS CLI から利用可能
- ブローカー数とストレージを指定
Apache Zookeeper について
Amazon Managed Streaming for Kafka のクラスターの裏では Apache Zookeeper が HA 構成で動作している。
Zookeeper は AWS 掛かん前に面倒を見てくれる上、利用費は発生しない。
GA で提供予定の機能
- スケールアップ・スケールアウト
- パーティション・リアサインメント
- ストレージの自動スケール
AWS 連携
- VPC 内に構築
- KMS による encryption at-rest
- コントロール・プレーン API は IAM 認証
- CloudWatch メトリクス
Amazon MSK の何が嬉しい?
- Apache Kafka を採用しやすくなる
- AWS 上で Apache Kafka を運用する上でのベストプラクティスを織り込んだフルマネージドサービス
- 利用者はアプリ開発に専念できる
- Apache Kafka にもフィードバックするよ
利用費
- ブローカーのインスタンスとストレージ
- Apache Zookeeper の追加費用は発生しない
Amazon Kinesis Data Streams と MSK の違い
ストリーム向けメッセージングサービスとして
- 機能は似通っている
- ユースケースも同じ
違っている点もある
| 項目 | Kinesis Data Streams | MSK |
|---|---|---|
| プロビジョニング | スループット | クラスター |
| スケーリング | シームレス | クライアントにはあまりシームレスでない |
| 利用費 | 安い | 高い |
| AWS連携 | 高い | これから |
| 周辺ツール | Kinesis ファミリーと仲がよい | Kafkaのエコシステムを使える |
最後に
Amazon MSK はフルマネージドサービスなだけに EC2 上での Apache Kafka に比べて運用負荷は大幅に軽減されます。
Apache Kafka すでに利用していて、AWS 移行、または、EC2 からフルマネージド移行したいユーザーにはかなり刺さるのではないかと思います。