Amazon Kinesis Firehoseが東京リージョンで利用可能になりました

はじめに

AWSチームのすずきです。

Amazon Kinesis Firehose、受け取ったストリームデータをAmazon S3などへの保存を実現する マネージドサービスが、本日(2017/8/25)AWS東京リージョンで利用可能になりましたので紹介させて頂きます。

設定

Firehoseコンソール

• AWSコンソールのAmazon Kinesisの画面より「Firehose」コンソールを開きます。

• 東京リージョンでのFirehoseが利用可能となっています。

ストリームの作成

名前とソース設定

• Firehoseのストリーム、任意の名称を付与して作成します。
• 今回は直接Firehoseにデータ投入する指定をおこないました。

• 「Kinesis streams」連携もサポートされています。

[新機能] Kinesis StreamsのデータをKinesis Firehoseへ直接配信できます

Lambda連携

• Firehoseと、事前に設置したLambda関数との連携設定が可能です

出力先

• S3を出力先として設定しました
• 東京リージョンのFirehoseでは、2017年8月現在、S3、Redshift、Elasticsearch Service との連携が可能です。

Firehose動作設定

• Firehose のバッファリングや、利用するIAMの設定などを実施します。
• データ出力先となるS3費用の削減のため、GZIP圧縮を指定しました。

設定確認、作成

• 設定内容を確認しFirehoseストリームを作成します。

• S3へのデータ出力を行うFirehoseは1分程度でステータスは「ACTIVE」となり利用可能になります。

動作確認

テストデータの投入

• 作成したFirehoseストリームの動作確認のため、AWSコンソールで提供されているテストデータの投入機能を利用しました。

Amazon Kinesis Firehoseがサンプルデータの投入に対応しました

S3への出力確認

• 指定したS3バケット以下にFirehoseに投入したデータを含むファイルが生成されました。

• S3のメタ設定により、S3からのダウンロードをブラウザで実施する場合、GZIP圧縮が解除される場合がありますのでご留意下さい。

• S3のファイル確認には、CLIの利用がお薦めです。

まとめ

Amazon Kinesis Firehose、 取り込まれたデータ1GB あたり 0.036$の従量課金のみで利用できます。

• Amazon Kinesis Firehose 料金

強力なバッファリング機能を備えたFirehose、東京リージョンでもぜひご活用下さい。