[レポート]あなたが欲しい「データ分析基盤」をワンランクアップするために知っておくべき“Modern Data Stack” #SnowflakeDB #DataCloudWorldTour

モダンデータスタック(MDS)

#Snowflake

兼本侑始

2022.11.07

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

こんにちは、アライアンス統括部の兼本です。

本エントリは、2022年10月25～28日に開催された Snowflake DATA CLOUD WORLD TOUR JAPAN のセッション『あなたが欲しい「データ分析基盤」をワンランクアップするために知っておくべき“Modern Data Stack”』に関するセッションレポートです。

なお、本イベントは11月7日（月）～11月30日（水）までオンデマンド配信されることも決定いたしましたので、まだ視聴していない方は是非イベントにご登録ください。

セッション概要

本セッションでは、国内でもエンジニアを中心に話題となりつつあるModern Data Stack（MDS）と呼ばれるクラウドベースのデータ分析基盤アーキテクチャのメリット、そしてクラスメソッドが提供可能な価値について、2022年Snowflake Data Superheroに選出された甲木洋介がお話しします。
後半では、6月にラスベガスで開催された Snowflake Summit において、Integration Partner of the yearを獲得した Fivetran社の林氏をゲストにお迎えし、グローバルでのユースケースをご紹介いただきます。

登壇者

クラスメソッド株式会社
データアナリティクス事業本部
プリセールスアーキテクト
甲木洋介
Fivetran Inc.
アカウントエグゼクティブ
林祥子氏

セッション内容

クラスメソッドが考えるModern Data Stackのご紹介

データ導入における課題
- IT技術の発達により、データの総量が急激に増えている（特にスマートフォンの通信データ量）
- データを活用したビジネスの推進が求められている
分析を正しくするには社内にある様々なデータを一カ所に集める必要がある
- 更に集めたデータをSnowflakeのようなデータウェアハウス（DWH）に取り込んだり、利用しやすいように加工する必要もある

オンプレミス環境でのデータ分析基盤構築の難しさ
- 基盤運用要員が必要
- すぐにスケールアップ・スケールアウトできない
- サーバ増築時の追加投資（数百万円～数千万円）の判断が難しい
- 縮退は基本不可能
「クラウドサービスを組み合わせる」発想
- Modern Data Stack（MDS）= SaaSの組合せで基盤構築
- メリット
- 基盤運用要員が不要で、本来やりたいこと（データ処理）に集中できる
- 需要に合わせてすぐにスケールアップ・スケールアウト可能
- 従量課金のため、必要なリソース分だけ料金が発生する
- 縮退も可能で、不要になったタイミングで撤収できる
- クラスメソッドが考えるMDSの全体像

自動データパイプライン「Fivetran」
- 特徴
  - コーディング不要でデータ変換・加工も簡単操作
  - セットアップは5分で完了、メンテナンスや細かい設定は不要
  - 様々な市捨て鵜のデータを連携できる150種類以上のコネクタを提供
  - データソース側のAPI仕様変更も自動で最新状態にアップデート
- こんな方におすすめ
  - SaaSのデータを簡単に集約したい
  - データ抽出や返還など面倒なデータ準備作業を自動で行いたい
データクラウド「Snowflake」
- 特徴
  - ストレージ層は暗号化されて安全性が高い
  - 使い慣れたSQLで操作可能
  - コンピュートそうでは様々なワークロードをパフォーマンス低下なしに同時実行可能
  - 自動スケーリングにより、処理が集中する時間帯はコンピュートリソースを増やし、少ないときは減らすといった運用が可能
- こんな方にお勧め
  - 分析に必要なパワーを必要な時に必要な分だけ確保したい
  - クラウドDWHへの移行、または導入を検討している
注目の新機能「ダイナミックテーブル」！！

‐ Fivetranで収集したデータなどをもとに、分析に適した形で集計するという定義をSnowflake側で事前に行える
- ユーザは新しいデータが入ったタイミングで集計済みのデータをすぐに得られる
Fivetran、Snowflakeを組み合わせて使うメリット
- FivetranはBraze、Marketo、Salesforce、Google広告、Google Analyticsなど、さまざまなSaaSのデータをDWHに随時連携
- しかもノンコーディングでSaaSデータをSnowflakeにロードできる
- Snowflakeはスケーラブルに拡張可能なストレージ層を使用してデータを蓄積し、集計、さらには蓄積したデータを共有することも可能（Data Sharing）
MDSの導入メリット
- 本来すべきことである「データ活用」に注力できる
  - データ分析・活用は言ってしまえば「ただの手段」
  - データ基盤に対する自社開発が増えると、”手段のための手段”の工程が増えてしまう
  - 「データ分析・活用によるビジネス推進」に注力するために、データ基盤の開発や運用は効率よく楽にするべき！

Snowflakeを最大限活用、グローバル事例紹介

Fivetranは、Snowflakeのデータインテグレーションパートナーオブザイヤーに選ばれました！

旧来のETLパイプラインが失敗する3つのポイント
- ビジネス要件の変更
- ソーススキーマの変更
- 技術的な障害
ETLではなく、ELTパイプラインをマネージドサービスとして提供する「Fivetran」
エンタープライズ向けのELTプラットフォーム
グローバルで3500社、国内では40社以上の顧客がFivetranを利用している

グローバル事例１：Square

業種：決済サービス、モバイル決済（フィンテック）
使用例：マーケティングデータ分析
導入前の課題
- グローバルパートナーからのデータ統合に苦労
- レガシーシステムのメンテナンスに時間を費やしていた
導入後の成果
- データが継続的に更新され、メンテナンスもほとんど必要ないため、分析結果が劇的に改善
- データエンジニアはETLのメンテナンスから解放され、新機能/製品の構築に専念できる

グローバル事例２：アシックス

業種：スポーツ用品製造・販売
使用例：マーケティング・顧客データ統合
導入前の課題
- システム移行に伴い、SalesforceからSnowflakeへのデータ統合が複雑化
- 既存のETLツールは変換とパイプラインの保守が必要で、データの一元化を実現するだけのリソースが不足していた
導入後の成果
- エンジニアチームの増員なしにマーケティングテクノロジーの強化、NetSuiteデータの一元化、機械学習の導入、顧客360度ビューの構築ができた

グローバル事例３：New Relic

業種：ITサービス（可観測性プラットフォーム）
使用例：財務・顧客データ統合
導入前の課題
- Salesforceのパイプラインに深刻な問題が発生し、サポートが大幅に低下していた
- 財務チームはExcelの手動プロセスに依存しており、データの一元化が必要だった
導入後の成果
- リアルタイムで正確な財務情報で、製品主導の成長につながった
- 製品データと課金情報を結び付けたことでコンバージョンを推進