[レポート]あなたが欲しい「データ分析基盤」をワンランクアップするために知っておくべき“Modern Data Stack” #SnowflakeDB #DataCloudWorldTour

2022.11.07

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

こんにちは、アライアンス統括部の兼本です。

本エントリは、2022年10月25~28日に開催された Snowflake DATA CLOUD WORLD TOUR JAPAN のセッション『あなたが欲しい「データ分析基盤」をワンランクアップするために知っておくべき“Modern Data Stack”』に関するセッションレポートです。

なお、本イベントは11月7日(月)~11月30日(水)までオンデマンド配信されることも決定いたしましたので、まだ視聴していない方は是非イベントにご登録ください。

セッション概要

本セッションでは、国内でもエンジニアを中心に話題となりつつあるModern Data Stack(MDS)と呼ばれるクラウドベースのデータ分析基盤アーキテクチャのメリット、そしてクラスメソッドが提供可能な価値について、2022年Snowflake Data Superheroに選出された甲木洋介がお話しします。
後半では、6月にラスベガスで開催された Snowflake Summit において、Integration Partner of the yearを獲得した Fivetran社の林氏をゲストにお迎えし、グローバルでのユースケースをご紹介いただきます。

登壇者

  • クラスメソッド株式会社
    データアナリティクス事業本部
    プリセールスアーキテクト
    甲木洋介

  • Fivetran Inc.
    アカウントエグゼクティブ
    林祥子 氏

セッション内容

クラスメソッドが考えるModern Data Stackのご紹介

  • データ導入における課題
    • IT技術の発達により、データの総量が急激に増えている(特にスマートフォンの通信データ量)
    • データを活用したビジネスの推進が求められている
  • 分析を正しくするには社内にある様々なデータを一カ所に集める必要がある
    • 更に集めたデータをSnowflakeのようなデータウェアハウス(DWH)に取り込んだり、利用しやすいように加工する必要もある

  • オンプレミス環境でのデータ分析基盤構築の難しさ
    • 基盤運用要員が必要
    • すぐにスケールアップ・スケールアウトできない
    • サーバ増築時の追加投資(数百万円~数千万円)の判断が難しい
    • 縮退は基本不可能
  • 「クラウドサービスを組み合わせる」発想
    • Modern Data Stack(MDS)= SaaSの組合せで基盤構築
    • メリット
    • 基盤運用要員が不要で、本来やりたいこと(データ処理)に集中できる
    • 需要に合わせてすぐにスケールアップ・スケールアウト可能
    • 従量課金のため、必要なリソース分だけ料金が発生する
    • 縮退も可能で、不要になったタイミングで撤収できる
    • クラスメソッドが考えるMDSの全体像

  • 自動データパイプライン「Fivetran」
    • 特徴
      • コーディング不要でデータ変換・加工も簡単操作
      • セットアップは5分で完了、メンテナンスや細かい設定は不要
      • 様々な市捨て鵜のデータを連携できる150種類以上のコネクタを提供
      • データソース側のAPI仕様変更も自動で最新状態にアップデート
    • こんな方におすすめ
      • SaaSのデータを簡単に集約したい
      • データ抽出や返還など面倒なデータ準備作業を自動で行いたい
  • データクラウド「Snowflake」
    • 特徴
      • ストレージ層は暗号化されて安全性が高い
      • 使い慣れたSQLで操作可能
      • コンピュートそうでは様々なワークロードをパフォーマンス低下なしに同時実行可能
      • 自動スケーリングにより、処理が集中する時間帯はコンピュートリソースを増やし、少ないときは減らすといった運用が可能
    • こんな方にお勧め
      • 分析に必要なパワーを必要な時に必要な分だけ確保したい
      • クラウドDWHへの移行、または導入を検討している
  • 注目の新機能「ダイナミックテーブル」!!

    ‐ Fivetranで収集したデータなどをもとに、分析に適した形で集計するという定義をSnowflake側で事前に行える

    • ユーザは新しいデータが入ったタイミングで集計済みのデータをすぐに得られる
  • Fivetran、Snowflakeを組み合わせて使うメリット

    • FivetranはBraze、Marketo、Salesforce、Google広告、Google Analyticsなど、さまざまなSaaSのデータをDWHに随時連携
    • しかもノンコーディングでSaaSデータをSnowflakeにロードできる
    • Snowflakeはスケーラブルに拡張可能なストレージ層を使用してデータを蓄積し、集計、さらには蓄積したデータを共有することも可能(Data Sharing)
  • MDSの導入メリット
    • 本来すべきことである「データ活用」に注力できる
      • データ分析・活用は言ってしまえば「ただの手段」
      • データ基盤に対する自社開発が増えると、”手段のための手段”の工程が増えてしまう
      • 「データ分析・活用によるビジネス推進」に注力するために、データ基盤の開発や運用は効率よく楽にするべき!

Snowflakeを最大限活用、グローバル事例紹介

  • Fivetranは、Snowflakeのデータインテグレーションパートナーオブザイヤーに選ばれました!

  • 旧来のETLパイプラインが失敗する3つのポイント
    • ビジネス要件の変更
    • ソーススキーマの変更
    • 技術的な障害
  • ETLではなく、ELTパイプラインをマネージドサービスとして提供する「Fivetran」

  • エンタープライズ向けのELTプラットフォーム

  • グローバルで3500社、国内では40社以上の顧客がFivetranを利用している

グローバル事例1:Square

  • 業種:決済サービス、モバイル決済(フィンテック)
  • 使用例:マーケティングデータ分析
  • 導入前の課題
    • グローバルパートナーからのデータ統合に苦労
    • レガシーシステムのメンテナンスに時間を費やしていた
  • 導入後の成果
    • データが継続的に更新され、メンテナンスもほとんど必要ないため、分析結果が劇的に改善
    • データエンジニアはETLのメンテナンスから解放され、新機能/製品の構築に専念できる

グローバル事例2:アシックス

  • 業種:スポーツ用品製造・販売
  • 使用例:マーケティング・顧客データ統合
  • 導入前の課題
    • システム移行に伴い、SalesforceからSnowflakeへのデータ統合が複雑化
    • 既存のETLツールは変換とパイプラインの保守が必要で、データの一元化を実現するだけのリソースが不足していた
  • 導入後の成果
    • エンジニアチームの増員なしにマーケティングテクノロジーの強化、NetSuiteデータの一元化、機械学習の導入、顧客360度ビューの構築ができた

グローバル事例3:New Relic

  • 業種:ITサービス(可観測性プラットフォーム)
  • 使用例:財務・顧客データ統合
  • 導入前の課題
    • Salesforceのパイプラインに深刻な問題が発生し、サポートが大幅に低下していた
    • 財務チームはExcelの手動プロセスに依存しており、データの一元化が必要だった
  • 導入後の成果
    • リアルタイムで正確な財務情報で、製品主導の成長につながった
    • 製品データと課金情報を結び付けたことでコンバージョンを推進

  • Fivetranは200種類以上のコネクタを用意している

  • パイプラインを自社開発した場合との費用対効果の例

最後に

Snowflake DATA CLOUD WORLD TOUR JAPAN は、10月25日~10月28日までオンライン形式で開催され、11月7日(月)~11月30日(水)までセッション動画をオンデマンド配信しております。まだ登録していない方は、是非登録して気になるセッションをご視聴ください!