「Amazon Data Firehoseの入門から実戦まで」というタイトルで登壇しました #九州AWS若手の会

「Amazon Data Firehoseの入門から実戦まで」というタイトルで登壇しました #九州AWS若手の会

この度、九州AWS若手の会#2というイベントで登壇しました。この発表で使用したスライドを公開しましたので、発表内容のダイジェストを踏まえて簡単に紹介したいと思います。
Clock Icon2024.11.28

はじめに

おのやんです。

この度、九州AWS若手の会#2というイベントで登壇しました。この発表で使用したスライドを公開しましたので、発表内容のダイジェストを踏まえて簡単に紹介したいと思います。

イベント概要

今回登壇したイベントはこちらの「九州AWS若手の会#2」です。福岡にいる2024 Japan AWS Jr. Championsが運営となって、福岡、九州のAWSコミュニティを盛り上げる目的で開催しました。私も運営として参加しており、今回2回目の開催となりました。今回は私も登壇しました。

https://kyushu-aws-wakate.connpass.com/event/332232/

先日、2024 Japan AWS Jr. ChampionsがAWSから選出されました。 社会人3年目以内のエンジニアの中から、AWSに関する実績やアウトプットを続けた人材が選出され、AWSに関して情報発信を実施していきます。

本イベントは、九州に拠点を置く 2024 Japan AWS Jr. Champions が主催する勉強会です! AWS について登壇して発信し、技術に対する知見を深めることを目的とします。 また交流を図り、九州という地で AWS を盛り上げていくことも目的としています。

今回は第1回ということで 2024 Japan AWS Jr. Champions が登壇を担当しますが、次回以降では他の方の登壇も予定しています。 「AWS 完全に理解した」方も「AWS チョットワカル」方も、ぜひ参加をお待ちしています!

スライド詳細

スライド概要

現在AWSの技術支援を行っている関係で、Amazon Data Firehose(以下、Data Firehose)を触る機会が増えていました。その中で、実際に触れてみて気付いたことや注意点を紹介しようというのが、本登壇のおおまかな構成です。

index

Data Firehoseは、バッファサイズとバッファ期間を設定することで、流れてくるストリームデータを一定の間隔でデータストアに保存することができます。

what_is_data_firehose?

現在扱っているData Firehoseの役割が、ストリームデータとデータストアの仲介役というのもあり、中間に立ってデータのやり取りをマネージドにやってくれるサービスという認識を押し出して紹介しました。

data_firehose_is_mediator

そんなData Firehoseですが、いくつか注意点もあるなと思ったので紹介しています。IaC経由で作成する場合は、Data Firehoseのエラーログを出力するAmazon CloudWatch (以下、CloudWatch)ログのロググループだけでなく、ログストリームも明示的に作成する必要があります。ロググループを作成したら、サービスが動く段階で自動でログストリームも作成してくれるという意識があったため、この仕様のおかげで少し手間取りました。

data_firehose_log_stream

また、Data Firehose経由でS3に保存したGZIPファイルをブラウザ経由でダウンロードすると、.gzの拡張は変わらずに暗黙的に解凍される仕様にも直面しました。お客様にS3内のファイルを確認してもらう際に、この案内が必要になってくるので、Data Firehoseを使って構築するなどの場合はしっかり意識しましょう。

data_firehose_gzip

Data Firehoseはシンプルなデータ配信用AWSサービス

Data Firehoseは、シンプルに実装できる分、運用のコストを抑えられるというメリットがあります。反面、ファイル名の詳細なカスタマイズなどには対応していないため、こういった場合はAmazon Kinesis Data Streamsなどのサービスを利用する必要があります。

このシンプルさを許容できる場合、Data Firehoseは採用の候補として上がってきます。ストリームデータの配信を考えている方は、一度Data Firehoseを検証いただいて、その使い勝手を確かめていただければと思います。

summary

Share this article

facebook logohatena logotwitter logo

© Classmethod, Inc. All rights reserved.