【レポート】 クラウドDWH時代のデータパイプライン「Fivetran」 が最強と思う理由〜日本人社員第一号が語る〜 #devio2022

2022.08.03

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

こんにちは、スズです。

2022年7月26日(火)から7月28日(木)の3日間、弊社のオンラインイベントDevelopersIO 2022を開催しました。

DevelopersIO 2022にて、Fivetran社よりビデオセッションとして登壇していただきました。本記事ではFivetran社のビデオセッションを簡単にレポートします。詳細に関してはぜひビデオセッションをご覧ください!

概要

Fivetranというデータ分析基盤作りに欠かせないSaaSツールがあるのご存知ですか?Fivetran は企業が使う様々なデータソース(各種SaaSアプリやDBなど)を自動で収集しSnowflakeやRedshiftなどのクラウドDWHに蓄積してくれるツールです。クラウド上でのデータ分析が主流になりつつある昨今、最強の味方になること間違いなし。G2.comが公開した「Grid® Report for ETL Tools | Summer 2022」でもリーダーとしてポジショニングされ、アメリカでは知名度の高いサービスですが日本ではまだまだということで、社員目線ですごいところを紹介します。
※2022年7月19日〜29日開催の技術カンファレンス「DevelopersIO 2022」のセッション動画です。

動画

目次

00:00 オープニング
00:23 アジェンダ
01:48 モダンデータスタックという考え方
05:46 Fivetranについて
08:15 製品デモ
13:50 会社について
24:36 日本人社員としての思い

登壇者

  • 福田千尋氏
    • Fivetran Inc. マーケティング部

レポート

モダンデータスタックという考え方

マズローのやつ知っていますか?

  • 心理学者であるアブラハム・マズローによる考え方
    • 人間には5段階の欲求があり、一番下の欲求が満たされると次の欲求を満たそうとする

実はデータ活用にも段階があります。

  • データ活用でも一番下の段階から徐々に上に取り組む必要がある
    • データがないと活用ができないため、初めにデータの抽出やローディングがある
    • データを集約した後に、変換やデータモデリング、そして可視化に進むことができる
  • データの抽出で取り上げられているのがモダンデータスタックという考え方
    • モダンデータスタックを構築することで、データ活用の基礎の部分が簡単にできるようになる

モダンデータスタックの一味

  • モダンデータスタックとは
    • 一言で言うとSaaSツールを組み合わせてクラウドを生かしたデータ分析基盤のアーキテクチャのこと

Fivetranについて

  • Fivetranの位置付けはデータの運び屋
    • 様々なSaaSアプリや自社で使っているデータベースなどのソースからデータを取得
    • データレイクやデータウェアハウスといったデスティネーションにデータを出力

  • 社内で使っている様々なツールをSnowflakeなどのデータウェアハウスに取り込みたいという場合に、Fivetranを使うだけで自動化できてしまう

デモ

  • 実際の画面を使ったFivetranのご紹介

会社について

  • 約6500ほどのコネクタを約300人ほどのエンジニアで管理している
  • Fivetranは約10年目
    • CEOとCOOが幼馴染
    • 皆で助け合う風潮がある
  • 成長の勢いがすごい
    • 昨年福田氏が入社してから従業員が2倍くらいになっている
  • 営業チームにTikTokerがいる

  • FivetranのTは小文字
  • 本社はカルフォルニア州オークランド
  • 全世界で3500社以上の顧客

活用イメージ(事例)

  • マーケティングアナリティクスでの活用事例
    • Square株式会社
      • Snowflakeに集約してLookerで分析
      • データ処理に費やす時間を削減して革新的な取り組みに集中できる

  • 財務アナリティクスでの活用事例
    • 株式会社インターコム
      • プロダクト、マーケティング、営業、プリセールスのデータとZuora、Stripe、NetSuiteといった財務データを結合してビジネスの意思決定を促進
      • Amazon Redshiftに集約してTableauで分析
      • 手作業のレポート作成プロセスから自動化されたプロセスに移行できた
      • 全て一元化することでビジネスの意思決定が促進された

  • 営業・顧客アナリティクス
    • Koh
      • 広告系、営業系ののデータをGoogle BigQueryに集約してTableauで分析
      • ターゲットを絞ったキャンペーンをすることで、顧客維持率が25%から50%に急上昇
      • 新入社員が機械学習のモデルと予測分析を開発に時間を費やすことができた

  • 小規模チームの分析基盤づくり
    • 株式会社アシックス(アメリカチーム)
      • 半年かかっていた基盤づくりが6日間で作成できるようになった
      • 導入当時、2人だけのデータ開発チームで基盤構築が厳しい状況

  • 大量のデータ処理
    • JetBlue Airways Corp
      • Snowflakeに集約してTableauで分析
      • エンジニアが構築するのに数週間~数ヶ月かかっていた作業がFivetranで数分でできるようになった
      • 新しいデータパイプラインを2分以内にセットアップ可能となり、他の作業に時間を割けるようになった

ボトルネック

  • 導入事例のボトルネックに共通している部分
  • ETL作業はネバーエンディング

  • 活用したいけどデータはどこ
  • データを活用したいけど欲しいデータを手にするまでに時間がかかる

  • Fivetranでの自動化が検討の価値がある
  • データウェアハウスなどに集約して可視化につなげるという流れが強い

日本人社員としての思い

  • 日本語のUIやサポートはまだまだだけど、これから日本でも広めていきたい
  • パートナーエコシステム
    • Fivetranはパイプラインの部分であるためパートナーがいないとなりたたない
    • パートナーエコシステムを活用して皆様に使っていただきたい

最後に

Fivetran社のビデオセッションのレポートをお届けしました。Fivetranは数多くのコネクタを用意していることから、様々なデータソースからデータを集約して簡単に一元化できます。本セッションにてその魅力を感じていただけたのではないでしょうか。

2022年8月30日(火)に開催されるDATA CLOUD WORLD TOUR TOKYOでは、本セッションにて登壇いただきましたFivetran社の福田氏と弊社クラスメソッドの甲木による「あなたが欲しい「データ分析基盤」をワンランクアップするために知っておくべきModern Data Stack」というセッションを予定しております。もしご興味がありましたら、こちらのセッションもチェックしていただきますと幸いです。