モダンデータスタックカテゴリ紹介 #22 『Data Streaming(データストリーミング)』 – Modern Data Stack Categories Overview Advent Calendar 2023

モダンデータスタック(MDS)

しんや

2023.12.22

当エントリは『Modern Data Stack Categories Overview Advent Calendar 2023』 22日目のエントリです。

データ分析、データを扱う世界では昨今『モダンデータスタック(Modern Data Stack/MDS)』という考え方、サービス構成が大きな注目を浴びています。データの収集、処理、保存、分析に使用されるツールとクラウドデータサービスを集めたソリューションを指す言葉です。クラスメソッドとしてもこのモダンデータスタック(Modern Data Stack/MDS)を推しており、下記の内容でお客様にサービスとして提供しています。

このモダンデータスタックという考え方、現在では構成するサービス群のジャンルが非常に多岐に渡ってきています。このカテゴリ分けも正直企業や個人によって定義が分かれていたりするのですが、『Modern Data Stack - Everything that you need to know !』というサイトではこのカテゴリ分類がシンプルかつ分かりやすく展開されています。このアドベントカレンダー企画では、このサイトで展開されているカテゴリ毎について内容を理解することで見識を広め、今後のサービス展開・サービス選択を検討する足掛かりとして行きたいと思います。

当エントリでは、Modern Data Stack(MDS)におけるカテゴリ『Data Streaming(データストリーミング)』の内容について紹介します。

モダンデータスタック(Modern Data Stack/MDS)における『データストリーミング』とは

アドベントカレンダー企画の趣旨については1日目のエントリ内『当アドベントカレンダー企画について』をご参照ください。

データストリーミングとは、連続的なデータストリームのインスツルメンテーションと処理のことを指し、しばしばバッチ処理（トリガーされた間隔でデータセットをストレージからストレージへ移動させる処理）と比較されます。

このパラダイムでは、データは「動いている」と見なされ、データ・ソースでデータ・ポイントが生成されると、将来の処理のためにストレージ・サービスに収集されるのではなく、即座に処理されてコンシューマー・システムに渡されます。今日のソースデータのほとんどは、トランザクション、ログ、センサーデータ、ソーシャルメディアフィード、クリックストリームなど、ストリーミング方式で生成されており、データストリーミングパラダイムでこれらのストリームを処理することで、組織は洞察を得たり、異常や傾向を検出したり、生成中のデータにアクションを起こしたりすることができるようになります。

データストリーミングに関する基本的なポイント、要点は以下の通り。

データストリーミングの主な利点
- ライブ処理：データが生成されている間に分析し対応することが可能に
- ビジネス価値：適時性の結果としてリアルタイムデータを扱えるようになるということで、データストリーミングは他のシステムではアクセスできないユースケースをターゲットにすることができる
- リソース効率：特性上現在のデータと新しいデータの差分のみを計算、データポイントの追加、修正、削除が簡単にでき、結果は即座に更新される
- スケーラビリティ：大量かつ急速に変化するデータを処理するように設計されているため、データのニーズが変化しても、組織は柔軟に拡張することができるようになる
- 耐障害性：フォールトトレランスを念頭に構築されているので特定の時点で障害から回復する能力を備えているため、分析および運用の両方のワークロードをサポートする上で非常に効率的
- データ操作の簡素化：ストリームは連続的に処理されるため、データ・ストリーミングではデータ・オーケストレーション・サービスが不要に