【レポート】クラウドDWH時代のデータパイプライン「Fivetran」が最強と思う理由〜日本人社員第一号が語る〜 #devio2022

DevelopersIO 2022

#Fivetran

スズ

2022.08.03

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

こんにちは、スズです。

2022年7月26日（火）から7月28日（木）の3日間、弊社のオンラインイベントDevelopersIO 2022を開催しました。

DevelopersIO 2022 技術で心を揺さぶる3日間 | クラスメソッド株式会社

DevelopersIO 2022にて、Fivetran社よりビデオセッションとして登壇していただきました。本記事ではFivetran社のビデオセッションを簡単にレポートします。詳細に関してはぜひビデオセッションをご覧ください！

概要

Fivetranというデータ分析基盤作りに欠かせないSaaSツールがあるのご存知ですか？Fivetran は企業が使う様々なデータソース（各種SaaSアプリやDBなど）を自動で収集しSnowflakeやRedshiftなどのクラウドDWHに蓄積してくれるツールです。クラウド上でのデータ分析が主流になりつつある昨今、最強の味方になること間違いなし。G2.comが公開した「Grid® Report for ETL Tools | Summer 2022」でもリーダーとしてポジショニングされ、アメリカでは知名度の高いサービスですが日本ではまだまだということで、社員目線ですごいところを紹介します。
※2022年7月19日〜29日開催の技術カンファレンス「DevelopersIO 2022」のセッション動画です。

動画

登壇者

福田千尋氏
- Fivetran Inc. マーケティング部

レポート

モダンデータスタックという考え方

マズローのやつ知っていますか？

心理学者であるアブラハム・マズローによる考え方
- 人間には5段階の欲求があり、一番下の欲求が満たされると次の欲求を満たそうとする

実はデータ活用にも段階があります。

データ活用でも一番下の段階から徐々に上に取り組む必要がある
- データがないと活用ができないため、初めにデータの抽出やローディングがある
- データを集約した後に、変換やデータモデリング、そして可視化に進むことができる
データの抽出で取り上げられているのがモダンデータスタックという考え方
- モダンデータスタックを構築することで、データ活用の基礎の部分が簡単にできるようになる

モダンデータスタックの一味

モダンデータスタックとは
- 一言で言うとSaaSツールを組み合わせてクラウドを生かしたデータ分析基盤のアーキテクチャのこと

Fivetranについて

Fivetranの位置付けはデータの運び屋
- 様々なSaaSアプリや自社で使っているデータベースなどのソースからデータを取得
- データレイクやデータウェアハウスといったデスティネーションにデータを出力

社内で使っている様々なツールをSnowflakeなどのデータウェアハウスに取り込みたいという場合に、Fivetranを使うだけで自動化できてしまう

デモ

実際の画面を使ったFivetranのご紹介

会社について

約6500ほどのコネクタを約300人ほどのエンジニアで管理している
Fivetranは約10年目
- CEOとCOOが幼馴染
- 皆で助け合う風潮がある
成長の勢いがすごい
- 昨年福田氏が入社してから従業員が2倍くらいになっている
営業チームにTikTokerがいる

FivetranのTは小文字
本社はカルフォルニア州オークランド
全世界で3500社以上の顧客

活用イメージ（事例）

マーケティングアナリティクスでの活用事例
- Square株式会社
  - Snowflakeに集約してLookerで分析
  - データ処理に費やす時間を削減して革新的な取り組みに集中できる

財務アナリティクスでの活用事例
- 株式会社インターコム
  - プロダクト、マーケティング、営業、プリセールスのデータとZuora、Stripe、NetSuiteといった財務データを結合してビジネスの意思決定を促進
  - Amazon Redshiftに集約してTableauで分析
  - 手作業のレポート作成プロセスから自動化されたプロセスに移行できた
  - 全て一元化することでビジネスの意思決定が促進された

営業・顧客アナリティクス
- Koh
  - 広告系、営業系ののデータをGoogle BigQueryに集約してTableauで分析
  - ターゲットを絞ったキャンペーンをすることで、顧客維持率が25%から50%に急上昇
  - 新入社員が機械学習のモデルと予測分析を開発に時間を費やすことができた

小規模チームの分析基盤づくり
- 株式会社アシックス（アメリカチーム）
  - 半年かかっていた基盤づくりが6日間で作成できるようになった
  - 導入当時、2人だけのデータ開発チームで基盤構築が厳しい状況

大量のデータ処理
- JetBlue Airways Corp
  - Snowflakeに集約してTableauで分析
  - エンジニアが構築するのに数週間～数ヶ月かかっていた作業がFivetranで数分でできるようになった
  - 新しいデータパイプラインを2分以内にセットアップ可能となり、他の作業に時間を割けるようになった

ボトルネック

導入事例のボトルネックに共通している部分
ETL作業はネバーエンディング

活用したいけどデータはどこ
データを活用したいけど欲しいデータを手にするまでに時間がかかる

Fivetranでの自動化が検討の価値がある
データウェアハウスなどに集約して可視化につなげるという流れが強い

日本人社員としての思い

日本語のUIやサポートはまだまだだけど、これから日本でも広めていきたい
パートナーエコシステム
- Fivetranはパイプラインの部分であるためパートナーがいないとなりたたない
- パートナーエコシステムを活用して皆様に使っていただきたい

最後に

Fivetran社のビデオセッションのレポートをお届けしました。Fivetranは数多くのコネクタを用意していることから、様々なデータソースからデータを集約して簡単に一元化できます。本セッションにてその魅力を感じていただけたのではないでしょうか。

2022年8月30日（火）に開催されるDATA CLOUD WORLD TOUR TOKYOでは、本セッションにて登壇いただきましたFivetran社の福田氏と弊社クラスメソッドの甲木による「あなたが欲しい「データ分析基盤」をワンランクアップするために知っておくべきModern Data Stack」というセッションを予定しております。もしご興味がありましたら、こちらのセッションもチェックしていただきますと幸いです。