当エントリは『Modern Data Stack Categories Overview Advent Calendar 2023』 16日目のエントリです。
- Modern Data Stack Categories Overviewのカレンダー | Advent Calendar 2023 - Qiita
- Modern Data Stack Categories Overview Advent Calendar 2023 の記事一覧 | DevelopersIO
データ分析、データを扱う世界では昨今『モダンデータスタック(Modern Data Stack/MDS)』という考え方、サービス構成が大きな注目を浴びています。データの収集、処理、保存、分析に使用されるツールとクラウドデータサービスを集めたソリューションを指す言葉です。クラスメソッドとしてもこのモダンデータスタック(Modern Data Stack/MDS)を推しており、下記の内容でお客様にサービスとして提供しています。
このモダンデータスタックという考え方、現在では構成するサービス群のジャンルが非常に多岐に渡ってきています。このカテゴリ分けも正直企業や個人によって定義が分かれていたりするのですが、『Modern Data Stack - Everything that you need to know !』というサイトではこのカテゴリ分類がシンプルかつ分かりやすく展開されています。このアドベントカレンダー企画では、このサイトで展開されているカテゴリ毎について内容を理解することで見識を広め、今後のサービス展開・サービス選択を検討する足掛かりとして行きたいと思います。
当エントリでは、Modern Data Stack(MDS)におけるカテゴリ『Reverse ETL Tools(リバースETLツール)』の内容について紹介します。
目次
モダンデータスタック(Modern Data Stack/MDS)における『リバースETLツール』とは
アドベントカレンダー企画の趣旨については1日目のエントリ内『当アドベントカレンダー企画について』をご参照ください。
リバースETLツールとは、その名が示す通り、従来のETLプロセスにおける操作の順序を逆転させたものです。データウェアハウスやデータレイクからデータを抽出し、必要に応じて変換処理を施した後、サードパーティのSaaSアプリケーションやプラットフォームにデータをロード・移動する流れの部分をカバーします。
リバースETLツールは、データを実用的なものにし、アナリティクスにおける「ラスト・マイル」の問題を解決するための新しいアプローチであり、ビジネス・チームがすでに日常的に使用しているSaaSツールで、変換されたデータに直接アクセスして行動できるようにするものです。
リバースETLツールのポイントや特徴は以下の通り。
- データへのアクセスを民主化することで、Reverse ETLはオペレーショナルアナリティクスとして知られる新しいパラダイムを後押しする。
- BIツールのレポート作成に必要なデータを、下流のSaaSツールでアクセス可能にし、実行可能にすることで「運用化」まで持っていくことが出来る
- なぜリバースETLが必要なのか
- データのサイロ化を解消するために購入したプラットフォームであるデータウェアハウスが、皮肉にもデータのサイロ化してしまっているから
- リバースETLがなければ、ビジネスの中核となる定義はウェアハウス内にしか存在しないことになる
- リバースETLツールはまた、データウェアハウスをCDPに変えることができ、従来の既製のCDPよりも柔軟性とデータの所有権を高めることができる
- 著名なリバースETLツール企業
- リバースETLツールの立ち位置
- ETLプロセスによってデータが収集され倉庫に格納された後、「最後の1マイル」で登場
- その後、データはしばしばdbtのような変換ツールでモデル化される
- そして、リバースETLソリューションは、そのデータをビジネスが依存しているツール（CRM、広告ツール、Eメールツールなど）に送り返す
- リバースETLツールに必要な機能
- デバッガーやロギングなどの監視機能(ツールがどのAPIコールやオペレーションを代行しているかを知ることができる)
- Slack、Pagerduty、Datadogのようなツール連携機能(シンクの変更や失敗をアラート)
- Git連携機能(同期バージョン管理)
- ビジュアルオーディエンスビルダー(ビジネスチームはデータチームが構築したモデル上で視覚的にデータをフィルタリングして参照出来る)
MDSにおける主なリバースETLツール系サービス
ここではモダンデータスタックにおける『リバースETLツール』のカテゴリで主だったサービスについて幾つか言及していきたいと思います。(ここでの評価はユーザーによるサイト内でのLIKEの数が多いものを中心に見ていきます)
Hightouch
Hightouchは、データウェアハウスからCRM、マーケティング、サポートツールへの顧客データの同期を支援するリバースETLプラットフォームです。
顧客データを100以上の営業、サポート、マーケティングツールに同期するクラウドベースのプラットフォーム。シンプルなビジュアル・インターフェースまたはSQLを使用して、データウェアハウスから任意の場所にデータを同期することができる。この製品は、1つのデータソースと1つの同期先ツールから無料で始められます。Hightouchは、高度な機能と宛先の追加に課金します。
その他Hightouchに関する基本的な情報は以下の通り。
また、クラスメソッドではDevelopersIOでもHightouchに関する記事を多数公開しています。
Rudderstack
Octolis
Octolisは強力なデータ活性化プラットフォーム（またはヘッドレスCDP）です。このプラットフォームは、顧客データを統一、スコアリング、同期化するソフトウェアを提供する。顧客基盤の理解、データの正規化、データライフサイクルの管理、より良いターゲティングのための計算フィールドの作成を可能にし、ビジネスチームとデータチームに、社内の顧客データをあらゆるビジネスシステムと同期させる力を与えます。以下のような機能や特色を備えています。
- 顧客データの統一
- スコアリング
- 同期化するソフトウェアを提供
- 顧客基盤の理解
- データの正規化
- データライフサイクルの管理
- より良いターゲティングのための計算フィールドの作成が可能に
その他Octolisに関する基本的な情報は以下の通り。
Census
Censusは、データウェアハウスとアプリケーションを同期させるデータ自動化プラットフォームです。データウェアハウスをCRMやGo-to-Marketツールと同期させ、同じ顧客データを共有することで、カスタマーサクセス、セールス、マーケティングの各チームに同じページを提供します。
その他Censusに関する基本的な情報は以下の通り。
- A starter guide to reverse ETL with Census | Census
- getcensus - Getting Started
- Overview - Census Docs
- Our Simple Pricing | Census
- Census（@getcensus）さん / X
- Census - YouTube
まとめ
という訳で、『Modern Data Stack Categories Overview Advent Calendar 2023』x日目の記事、Reverse ETL Tools(リバースETLツール)に関する紹介エントリでした。
明日17日目は『Data Lakes(データレイク)』に関する内容となります。お楽しみに！
5
