Amazon MSKブローカーにプロビジョンドストレージスループットのオプションが追加されました
いわさです。
MSKブローカーのストレージスループットをプロビジョニング出来るようになりました。
Amazon MSK now offers the ability to scale storage throughput up to 1000 MiB/s per broker
無条件に利用出来るわけではないのですが、特定以上のインスタンスタイプで追加コストを支払うことで利用が可能になります。
設定方法
クラスター作成時のブローカーストレージ設定項目に新たなオプションが追加されています。
デフォルトでは無効化されています。
そしてこの機能を有効化するためには、ボリュームサイズが10GiB以上かつプローカーのインスタンスタイプをkafka.m5.4xlarge
以上に指定する必要があります。
最大で1000MiB/sが指定出来るのですが、上限もインスタンスタイプによって異なっています。
ブローカータイプ | 上限値 |
---|---|
kafka.m5.4xlarge | 593 MiB/s |
kafka.m5.8xlarge | 850 MiB/s |
kafka.m5.12xlarge | 1000 MiB/s |
kafka.m5.16xlarge | 1000 MiB/s |
kafka.m5.24xlarge | 1000 MiB/s |
Provisioning storage throughput - Amazon Managed Streaming for Apache Kafka
追加料金
このオプションが追加されている場合は追加料金が発生します。
以下は東京リージョンの料金です。
(optional) Price per MB/s-month for provisioned storage throughput = $0.096
Fully Managed Apache Kafka — Amazon MSK Pricing – AWS より
注意点として、有効化はブローカーノードではなくクラスター単位となりますので、ブローカーノード3台構成のクラスターで500MiB/sを追加した場合、1500MiB/s追加されることになります。
さいごに
本日はMSKのプロビジョンドストレージスループットを紹介しました。
従来は高スループットが要求されるワークロードでスループットを向上させる必要がある場合は、追加のブローカーをプロビジョニングする必要がありましたが、これからはより低コストな選択肢として、ストレージスループットを追加でプロビジョニングするという選択肢が出てきました。
ストレージスループットのみに焦点をあげることが出来るのであれば効率的なオプションになりそうです。