こんにちは、スズです。
先日2024年03月21日（木）、クラスメソッド株式会社と株式会社メソドロジックの共催イベント『【毎週開催】メソドロジック社共催！イチから始めるデータ活用！8週連続ウェビナー』の第5回開催回である『イチから学ぶFivetran』を開催しました。
当エントリではその内容についてレポート致します。
目次
イベント概要
第5回目となる今回取り扱うテーマは『Fivetran』です。
ちなみにプレスリリースで告知・紹介を行ったシリーズ開催内容は以下の通りとなっています。
- 1日目：2024年02月20日(火) イチから学ぶデータメッシュによるデータガバナンス
- 2日目：2024年02月28日(水) イチから学ぶSnowflake
- 3日目：2024年03月06日(水) イチから学ぶDatabricks
- 4日目：2024年03月13日(水) イチから学ぶImmuta
- 5日目：2024年03月21日(木) イチから学ぶFivetran
- 6日目：2024年03月28日(木) イチから学ぶdbt
- 7日目：2024年04月03日(水) イチから学ぶHightouch
- 8日目：2024年04月10日(水) イチから学ぶLooker
参考：
前回第4回目の開催レポートは以下をご参照ください。
イベントレポート
イチから学ぶFivetran
- 登壇者：スズ（クラスメソッド株式会社 アライアンス事業部）
データパイプライン構築のためのプラットフォームであるFivetranについて、デモをまじえつつご紹介しました。概要は以下の通りとなります。
- Fivetranとは？
- データソースからデータウェアハウスへのデータ統合の自動化をになうサービス
- データ統合は、様々なデータソースのデータを1ヶ所にまとめること
- データ統合の方法にはETLとELTがある
- ETLとELTについて
- ETLはデータの抽出、変換、ロードの順番で行う
- データをロードする前にユースケースに応じたデータモデルの作成が必要
- ELTは、データの抽出、ロード、変換の順番で行う
- 用途にあわせてデータウェアハウス上でデータマートを作成できる
- Fivetranの特徴
- ユーザーがFivetranで行うのは、Destination（出力先）とConnector（データソース）の設定の2つ
- データロード後のテーブルはFivetranで定義済み
- データソースのデータの更新やスキーマの移行も自動で対応
- 使用したいデータソースのConnectorがない場合はリクエストもできる
- データの変換について
- dbt Coreやdbt Cloudとの連携機能を搭載
- Quick Start Modelでは自社でdbtの環境を用意しなくてもデータの変換が可能
- まとめ
資料内で出典として記載したWebサイトは以下のとおりです。
- ETL vs. ELT: Choose the right approach for data integration | Blog | Fivetran
- Zendesk Support schema for destination | Fivetran data pipeline
データ活用支援サービスのご紹介
- 登壇者：白石 章氏(株式会社メソドロジック 代表取締役)
基本的な内容は前回までの内容と同様のため割愛します。過去の紹介内容については下記エントリをご参照ください。
[レポート] クラスメソッドxメソドロジック共催：イチから始めるデータ活用！『データメッシュによるデータガバナンス編』を開催しました。 | DevelopersIO
今回のウェビナーでは、白石様から「データ分析基盤の導入のポイント」についてご紹介がありました。
- データ分析基盤の導入を進めていくと、課題が出てくる
- 課題に対して、全般的なサポートをさせていただくのがデータ活用支援
- データ分析基盤の導入の背景
- データ利活用基盤の構築プロジェクトを進めるには、背景に沿って進めていく必要がある
- プロジェクト進める上で難しいこと
- データ分析基盤の構築をさせていただく際には、初めに構成イメージをお伝えして進めていく
- データガバナンス組織
- CIOやCDOがどういった形でデータを扱いたいのか
- データマネジメント組織
- データの分析基盤の構築・運用
- データの利用者
- データを使って意思決定や経営に貢献する
- それぞれの人・部署ごとに何をしてくかを決めていかないと難しい
- どうやって進めていくかの認識あわせることが必要
- データの管理責任があるのはどこなのかを明確にする
- データ提供部門は、データをどこまで持っていくのか、管理範囲を全員で共通理解として持つ
- ここまで持ってきたらデータマネジメント基盤の責任範囲というように、範囲が変わる
- 開発を誰がやるのかを明確にする
- 予算は誰が持つのか、そこまでのデータの処理を誰が責任を持ってやるのか
- 利用現場ではどこのデータをさわれるのか、アクセス権の管理
- データガバナンスを構成するポイント
全体質疑応答
セッション終了後は、全体を通して挙がっていた質問に対する回答タイムとなりました。挙がっていたものの中で主だったものについて下記に記載します。
Q1. ETLツールを導入する際に FiveTran を選定する理由として、最大のモノとしてはどのような理由を挙げることが出来ますでしょうか？ もしくは、他の ETL ツールと Fivetran を差別化する Fivetran の機能や利点は、どのような内容になりますでしょうか？
- A1. Fivetranのメリットとしては手間がかからないことにあると考えています。対応しているConnectorの数も多く、Connectorを使って接続するだけで設定が行えます。また、データの更新やスキーマの移行があった場合に、ユーザー側で対応が不要といった点がメリットになると考えています。
Q2. HULFT、ASTERIA、DataSpiderなど昔ながらのETLツールと比較して、Fivetranはどういう所に良さがありますか？
- A2. クラウドのデータウェアハウスにスムーズに接続するという点では、Fivetranに一日の長があると思っています。スキーマの自動追随ができるようになっており、ソースデータが増えたということがあっても、Connectorで設定するだけで、SnowflakeやDatabricksのスキーマやテーブルは自動的に変更されます。また、Connectorがあらかじめ用意されており、数多くのConnectorを立ち上げることができることも大きな違いと考えています。
まとめ
クラスメソッドxメソドロジック共催：イチから始めるデータ活用！ 8週連続ウェビナーの第4回、『イチから学ぶFivetran』の開催レポートをお届けしました。
当レポートのセッション内容について、また施策・御支援内容についてのお問い合わせに関しては下記のサイトから宜しくお願い致します。
次回第6回は2024年03月28日(木)、『イチから学ぶdbt』です。お楽しみに！
2
