モダンデータスタックカテゴリ紹介 #7 『Metrics Store(メトリックストア)』 – Modern Data Stack Categories Overview Advent Calendar 2023

モダンデータスタック(MDS)

しんや

2023.12.07

当エントリは『Modern Data Stack Categories Overview Advent Calendar 2023』 7日目のエントリです。

データ分析、データを扱う世界では昨今『モダンデータスタック(Modern Data Stack/MDS)』という考え方、サービス構成が大きな注目を浴びています。データの収集、処理、保存、分析に使用されるツールとクラウドデータサービスを集めたソリューションを指す言葉です。クラスメソッドとしてもこのモダンデータスタック(Modern Data Stack/MDS)を推しており、下記の内容でお客様にサービスとして提供しています。

このモダンデータスタックという考え方、現在では構成するサービス群のジャンルが非常に多岐に渡ってきています。このカテゴリ分けも正直企業や個人によって定義が分かれていたりするのですが、『Modern Data Stack - Everything that you need to know !』というサイトではこのカテゴリ分類がシンプルかつ分かりやすく展開されています。このアドベントカレンダー企画では、このサイトで展開されているカテゴリ毎について内容を理解することで見識を広め、今後のサービス展開・サービス選択を検討する足掛かりとして行きたいと思います。

当エントリでは、Modern Data Stack(MDS)におけるカテゴリ『Metrics Store(メトリクスストア)』の内容について紹介します。

モダンデータスタック(Modern Data Stack/MDS)における『メトリクスストア』とは

アドベントカレンダー企画の趣旨については1日目のエントリ内『当アドベントカレンダー企画について』をご参照ください。

メトリクスストアとは、組織が主要なメトリクスを一元管理するための場所です。重要なメトリクスに繰り返しアクセス出来るリポジトリを作成し、いつでもどこでも好きな時に利用出来るようにします。

近年までは、大規模なデータチームを持つ企業であればこの手の環境は社内で構築されるものでした。

”収益”や”新規ユーザー”、”経済成長”のような重要な指標を定義する際に関係者全員が同じ見解を持つことに寄与しました。そして現在、既製のSaaSツールからもこういった機能を持つものも出てきています。

メトリクスストアの内容や特徴については以下の通り。

メトリクスストアの利点と必要な理由
- ほとんどの組織は成功や目標への進捗を追跡するための指標を持っている(例：KPI)
- 指標を追跡するためにはビジネスのための正確なデータセットを構築するが、例えば「収益」のような指標を定義するために使用される基礎データはウェアハウス内のいくつかの異なるテーブルに存在する可能性がある。
- これはすなわち、その情報の在り方に依っては「どの定義が正しいのか？なぜ複数の定義があるのか？"このデータは信用できるのか？"先週は何件の売上があったのか」といった単純な質問でさえ、混乱につながる可能性がある。
- メトリクスをメトリクス・ストアにコードの状態で構築しておくことで、データ・チームはビジネス・メトリクスを構築、測定、特定するための一元化された場所を持つことができるようになり、より効率的かつ戦略的になる。
モダンデータスタックにおけるメトリクスストアの立ち位置、関係性
- 企業におけるデータインフラの設計では、データは分析または運用ワークフローのタイプに応じて、データウェアハウスまたはレイクに取り込まれ、保存される
  - その際はETL(データがウェアハウスに流れる前に何らかの変換が行われる)またはELT(データウェアハウスに取り込んでから何らかの変換が行われる)が用いられる。多くの場合企業は後者を選ぶ
  - その他のアプローチとしては、非正規化をアプリケーションレイヤー自体で実行し、メトリックロジックを特注ツール内に隔離する方法がある
- メトリックス・ストアは、組織のデータウェアハウスと他のダウンストリーム・ツールの中間に位置する
  - ウェアハウスへのプロキシとして機能し、メトリック・リクエストをウェアハウスへのSQLクエリに変換する
  - 変換は「メトリクス・レベル」で行われ、コードで一貫して定義され、すべての下流ツールからアクセス可能で、洞察を最大化するために一元的に管理される
データ分析チームはメトリックス・ストアをどのように使うのか
- メトリクスのナレッジとのインターフェイスとして使う
- メトリクスを介して数字を見ることで消費者行動を見る
- メトリクスのライフサイクル管理用途で使う
メトリックス・ストアは、データ・チームやアナリティクス・チームに直接的なメリットをもたらし、組織全体に直接的な影響を与えることが出来る
- 全員が同じ言語でデータを扱えるようになれば、指標の意味やどの数値が正確かをめぐる緊張が緩和さ、誰もが”単一の真実の情報源”を持つことが出来る
よって、すべてのデータ・チームにはメトリクス・ストアが必要！(結論)

MDSにおける主なメトリクスストア系サービス

ここではモダンデータスタックにおける『メトリクスストア』のカテゴリで主だったサービスについて幾つか言及していきたいと思います。(ここでの評価はユーザーによるサイト内でのLIKEの数が多いものを中心に見ていきます)

Cube

Cube は、最新のデータストアからデータにアクセスし、一貫性のある定義に整理して、あらゆるアプリケーションに配信するためのヘッドレスビジネスインテリジェンスプラットフォームです。Cubeはあらゆる種類のデータソースと連携し、あらゆるBIツールやデータアプリケーションにデータを配信します。

ちなみにここで出てくる「ヘッドレスビジネスインテリジェンス」とは一体何でしょうか？ Cube社のブログ及びそのブログで言及されている別のブログではこのように定義されています。

In response, we’ve begun to see so-called “headless” BI. These are platforms that decouple data metrics from the presentation layers that display them—pushing metrics definition up the data stack.
(これを受けて、いわゆる「ヘッドレス」BIが登場し始めた。これは、データ測定基準を、それを表示するプレゼンテーション層から切り離し、測定基準の定義をデータスタックに押し上げるプラットフォームである。)

Headless BI means we separate the analytical backend and computing from consumption. This decoupling allows us to expose the universal semantic layer to multiple data tools via APIs and standard protocols.
(ヘッドレスBIとは、分析バックエンドとコンピューティングを消費から切り離すことを意味する。この分離により、APIや標準プロトコルを介して複数のデータツールにユニバーサルなセマンティックレイヤーを公開することができる。)

その他Cubeに関する基本的(初歩的)な情報は以下の通り。

GoodData

GoodDataは、パブリックまたはプライベートクラウドで実行可能なマルチテナント型のコンポーザブルなデータおよび分析プラットフォームです。以下の特色を備えています。

エンドユーザー（従業員、顧客、ビジネスパートナーなど）向けのリッチな分析を構築することができる
セルフサービス分析、ローコード/ノーコードインターフェース、埋め込み可能なデータ可視化、アプリケーション統合を提供
データの取り込み、準備、変換を含む、堅牢なエンドツーエンドのパイプラインを提供

その他Cubeに関する基本的(初歩的)な情報は以下の通り。

Lightdash

Lightdashはあなたのdbtプロジェクトに接続し、誰もが自分のデータに関する質問に答えられるようにするサービスです。

データアナリストやエンジニアは、すべてのビジネスインテリジェンス（データ変換/ビジネスロジックとデータ可視化）を単一の場所で制御することができます。Lightdashはdbtプロジェクトと統合され、既存のdbt YAMLファイル内でメトリクスを定義し、モデル間の結合を指定するためのフレームワークを提供します。dbtプロジェクトから出力されたデータは、Lightdashで探索・共有可能です。

Lightdashに関しては過去DevelopersIOでも記事が公開されています。

その他Lightdashに関する基本的(初歩的)な情報は以下の通り。