Amazon Kinesis Firehoseが東京リージョンで利用可能になりました

102件のシェア(ちょっぴり話題の記事)

はじめに

AWSチームのすずきです。

Amazon Kinesis Firehose、受け取ったストリームデータをAmazon S3などへの保存を実現する マネージドサービスが、本日(2017/8/25)AWS東京リージョンで利用可能になりましたので紹介させて頂きます。

設定

Firehoseコンソール

  • AWSコンソールのAmazon Kinesisの画面より「Firehose」コンソールを開きます。

kirehose-tokyo-00

  • 東京リージョンでのFirehoseが利用可能となっています。

kirehose-tokyo-01

ストリームの作成

名前とソース設定

  • Firehoseのストリーム、任意の名称を付与して作成します。
  • 今回は直接Firehoseにデータ投入する指定をおこないました。

kirehose-tokyo-02

  • 「Kinesis stream」連携もサポートされています。

[新機能] Kinesis StreamsのデータをKinesis Firehoseへ直接配信できます

Lambda連携

  • Firehoseと、事前に設置したLambda関数との連携設定が可能です

kirehose-tokyo-03

出力先

  • S3を出力先として設定しました
  • 東京リージョンのFirehoseでは、2017年8月現在、S3、Redshift、Elasticsearch Service との連携が可能です。

kirehose-tokyo-04

Firehose動作設定

  • Firehose のバッファリングや、利用するIAMの設定などを実施します。
  • データ出力先となるS3費用の削減のため、GZIP圧縮を指定しました。

kirehose-tokyo-06

設定確認、作成

  • 設定内容を確認しFirehoseストリームを作成します。

kirehose-tokyo-08

  • S3へのデータ出力を行うFirehoseは1分程度でステータスは「ACTIVE」となり利用可能になります。

kirehose-tokyo-09

動作確認

テストデータの投入

  • 作成したFirehoseストリームの動作確認のため、AWSコンソールで提供されているテストデータの投入機能を利用しました。

kirehose-tokyo-10

kirehose-tokyo-11

Amazon Kinesis Firehoseがサンプルデータの投入に対応しました

S3への出力確認

  • 指定したS3バケット以下にFirehoseに投入したデータを含むファイルが生成されました。

kirehose-tokyo-12

  • S3のメタ設定により、S3からのダウンロードをブラウザで実施する場合、GZIP圧縮が解除される場合がありますのでご留意下さい。

kirehose-tokyo-13

  • S3のファイル確認には、CLIの利用がお薦めです。

kirehose-tokyo-16

まとめ

Amazon Kinesis Firehose、 取り込まれたデータ1GB あたり 0.036$の従量課金のみで利用できます。

強力なバッファリング機能を備えたFirehose、東京リージョンでもぜひご活用下さい。