[レポート] Fivetran CTO初来日！『AWS 東京リージョンにFivetranがやってきた！今こそモダンデータスタックを活用したデータクラウドを構築しよう』を開催しました #fivetran #SnowflakeDB

モダンデータスタック(MDS)

#Fivetran

#Snowflake

しんや

2023.05.19

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

先日2023年05月16日(月)、弊社クラスメソッド日比谷オフィス(日比谷フォートタワー26階)にてFivetran及びSnowflake社の方々をお招きする形でモダンデータスタック(MDS)を活用したデータクラウド構築に関するイベントを行いました。

今回はFivetranとしても日本市場に非常に注目しているという事もあり、FivetranのCTOも今回初めて来日頂きました！また、Fivetranとの親和性が非常に高いSnowflakeからも御登壇頂き、モダンデータスタックを活用したデータクラウド構築に於いてFivetranとSnowflakeがいかに適したものであるかを実感する内容となりました。

当エントリではこのイベントレポートをお届けします。

イベントレポート

開催会場は冒頭でも述べたようにクラスメソッド日比谷オフィス。

Fivetrans社からは参加者向けに様々なノベルティグッズが配られました。バリエーションが多い！

そして今回イベント用に巨大なパーティション(？)といえば良いのでしょうか、または良くブースなどでも活用される巨大なパネルとでも言えば良いのでしょうか。こんなものも用意・展開されていました。

エンタープライズデータ移動を安全かつ高速に実現：HVA＆Fivetran Private Deploymentソリューションと事例紹介

登壇者：
- Mark Van de Wiel氏(Field CTO, Fivetran)
- TJ Chandler氏(Managing Director, APAC, Fivetran)
- 林祥子氏(Account Executive , Fivetran)

Fivetran概要紹介

まずはじめにFivetranに関する概要やトピックになどに関して林氏から説明がありました。

Fivetranのミッション: データへのアクセスを電気のようにシンプル且つ信頼の高いものにすること
fivetran社は設立から10年。クラウドのELTソリューションのリーダーとして発展してきている
全ての企業はデータカンパニーである、ビジネスでデータを扱っているという信念に基づき行動している
- マーケティング分析
- サプライチェーンマネジメント
- 営業分析
- トレンド予測
- バイヤージャーニーのパーソナライゼーション
- カスタマー360
ただ現状のリソースではそれらの目的地に辿り着けていない現状がある。
- 脆弱なETLパイプライン
- 維持に掛かる時間とコストの問題
- 頻繁に掛かる更新への対応負荷、障害発生
データの流れが止まるとビジネスも止まる。59%の企業がパイプラインの障害による意思決定の遅れや機会損失を報告している
目的に到達するために現在注目を集めているのが『モダンデータスタック(データ分析基盤を構成するSaaS群)』。従来のソリューションに比べて堅牢で柔軟性があり、効率的。
Fivetranは、データパイプラインの部分をフルマネージドで提供するサービス。エンドトゥエンドでの自動化、信頼性、拡張性の高さで選ばれている
- 業界トップの数である「データソースコネクター」(その数約300)
- 非常に使いやすいノーコード・ローコードな画面UI
- ログベースのCDC(Change Data Capture)の仕組みを使い、ソースシステムに負荷を掛ける事なくデータを抽出
その他機能の特徴
- 自動データ更新とスキーマ移行(DDL)
- 障害から自動復旧 (Idempotent)
- 統合されたプレビルド変換パッケージ
- マルチクラウド/クロスクラウドのデータレジデンシーをサポートするクラウドアグノスティック
- 新しいHVA＆LDP(Local Data Process:ローカルデータプロセス)
  - 主要なデータベースソースに於いて、ログベースのCDCとデータバリデーション機能を提供
Fivetranに関する「数字」
- 320名以上のエンジニアが日々お客様のパイプラインを管理
- 99.97%のプラットフォーム稼働率
- 月間移動データ量：2193.8TB
2022年、Snowflakeデータインテグレーションパートナー受賞
データベースレプリケーションにおけるデータチームの悩み
- 強い内製志向を持つ環境下においては、この手の問題はデータエンジニアを増員すれば解決するのか？
- 組織レベルのペインポイントにFivetranはフルマネージドのサービス体制で対応。
  - フルマネージド
  - ハイブリッド(HVA)：オンプレ環境からクラウドにデータを移動するタイミングと方法を制御
  - セルフホスト型(LDP)：VPCまたはオンプレミスにFivetranをデプロイし最も厳しいデータ要件を満たす
セルフホスト型(LDP)についてちょっと深堀り
- LDP(Local Data Process)：元々は2年前に買収したHVRという企業が持っていたデータベースのレプリケーションをリブランド、簡単かつスケーラブルに行えるようにしたもの
- アーキテクチャのオプション(画面下部のフローがLDP)
- Fivetran LDPのメリット
  - 低負荷、効率的、セキュアな大容量レプリケーションを実現/大容量のデータベースデータをリアルタイムに移動
  - 豊富なデータ統合を低コストで
  - 複雑なレプリケーション構成をサポート
顧客事例
- グローバルでは6500社超
- 国内導入事例は60社以上(2023年1月現在)
- 事例
  - Nintendo America(任天堂アメリカ)
    - データレプリケーションに課題、エンタープライズのCDCソリューションを検討 → リアルタイムでのレプリケーションを実現でき、分析スピードも格段にアップ
    - ソーシャルメディア分析を内製化していた部分の改善も懸念点 → 顧客に対するよりパーソナライズドされたキャンペーンが出来るようになった
  - Coke One North America(CONA)
    - コカ・コーラ社北米の12大ボトリングパートナー各社に、協業に必要なツールを提供するプラットフォームを運営
    - リアルタイム分析をとサプライチェーンのボトルネックに対する透明性の向上を目指す
    - アクセシビリティとパフォーマンスに課題
    - 従来環境のコスト面についても嵩んでいた
    - 導入効果
      - データ統合・準備にかかる時間を80%削減
      - データ品質の向上、レポート・分析の精度向上
      - より良い意思決定が出来るようになった
      - 運用効率も向上

Fivetran幹部との座談コーナー

続いてはFivetranのMark Van de Wiel氏(Field CTO)、TJ Chandler氏(Managing Director, APAC)の御二方にお話を伺う形で『座談コーナー』が行われました。会話のやり取りについては前出の林祥子氏が質問と通訳を務める形で進行。

Q. Fivetranは業界アナリストからデータ統合分野のリーダーとして認められています。この成功に貢献した要因は何だと思いますか？
- A. Fivetranは2012年に設立し、2つの重要な機能を提供することでここまで発展してきました。1つめが「使いやすさ」、2つめが「信頼性」です。DWHやDBが機能するためにはデータパイプラインが必要で、Fivetranはそこに上手くハマった形で発展することが出来ました。Fivetranのパートナシップ制度も重要な役割を果たしたと思っています。Snowflakeの場合はパートナーコネクトを使うことによって重要なデータを迅速に活用出来る体制を整えることが出来ます。Snowflakeの成功に伴ってFivetranも発展を遂げてきました。
- A.上記はテクニカルな成功要因ですが、コマーシャルな部分についても同様です。Snowflakeとのパートナーシップもそうですし、クラスメソッドさんのようなパートナーがいるからこそ、私達のバリューやミッションをお客様に届けることが出来ていると思っています。
- Q. FivetranとHVRの合併について教えて下さい。何か困難はありましたか？
- A. 戦略的な決定は非常にシンプルなものでした。ただしプロセスはかなり複雑なものでした。Fivetranは元々マネージドサービスのコネクターとしてのリーダーを確立していたところはあったのですが、よりエンタープライズの領域においてはSAPやOracleのような大きく複雑なデータベースに対して高速で信頼性の高いレプリケーションを必要としているということも把握していました。HVRはまさにその部分を得意としていたところでありました。FivetranとHVR、2つの全く違うプロダクトがそれぞれの良いところを組み合わせる形で、今はワンチームで価値を提供しています。
Q. Fivetranは近い将来、日本市場に向けて計画しているものはありますか？
- A. 現在Fivetranは東京リージョンのGCPとAWSにホストが出来るようになっていますが、今後はドキュメンテーションやシステムのユーザーインタフェースを日本語対応させるプロジェクトが進行しています。また、正式な発表はまだ出来ないのですが、東京にオフィスを開設する予定です。
- A. 直近(2ヶ月ほど前)にFivetran Lite Connectorsというプロジェクトが開始されています。現時点で300程あるのですが、これはネイティブコネクターに加えてより開発期間を縮めた、ライトなコネクターを提供しています。これはお客様と一緒に開発を進めていくようなものになっていて開発期間は数週間といったところです。この仕組を使って日本固有のSaaSに対応するようなコネクターを開発・展開していければと考えています。
Q. Fivetranは市場における他のデータ統合ソリューションとどのように違いますか？
- A. 以下のような特徴があります。全領域をカバーするデータ統合機能を備えており、このような形で市場をリードしているベンダーは他にいないと考えています。
  - SaaSアプリケーションのコネクターが非常に多彩・強力である
  - データベースのレプリケーションを得意とする
  - 完全クラウドマネージド/ローカルデータ処理/プライベートなデプロイなどの選択が可能　
- Q. Fivetranが最近リリースした、また直近リリース予定である「エキサイティングな新機能や開発予定」がありましたら教えてください。
- A. 大きく2つあります。
  - 1つ目はデスティネーション(連携・移行先)としてS3のIcebergフォーマットをサポート出来るようになった点です。これによりSnowflakeとの更なる統合を計画しています。
    - Fivetran supports Amazon S3 as a destination with Apache Iceberg | Blog | Fivetran
  - 2つ目はソース(連携・移行元)としてのSnowflake対応です。Snowflakeで処理されたデータを他のプラットフォームやデータベースに連携したいという要望に対するものです。

データ活用によるイノベーションを加速するSnowflakeデータクラウド

登壇者
- 野田孝一氏(Snowflake株式会社パートナーセールスエンジニアリング本部/シニアパートナーセールスエンジニア)

続いてはSnowflake株式会社より、野田孝一氏による発表です。Snowflake会社概要及びSnowflakeデータクラウドに関する紹介の後、Snowflakeにおける今後のロードマップについてお話し頂きました。

会社紹介
- 2012年設立
- 2019年09月日本参入
- 2020年02月 AWS Tokyoリージョンにてサービス開始
- 2021年10月 Azure Tokyoリージョン開設
- 2022年07月 AWS Osakaリージョン開設
- 2023年01月現在世界で7800社以上の顧客
- 国内では約500社程の顧客、業種業態規模を問わず多くのお客様にご利用頂いている
Snowflakeの特徴
- スモールスタートしやすい
- モダンデータスタックの1ピースとして、クイックにデータ分析基盤を立ち上げることが可能
- パフォーマンスやコスト課題解決のための基盤リプレースに関する引き合いも多い
Snowflakeのデータクラウドの紹介
- Snowflakeの進化
  - SaaS型で提供されるデータウェアハウス、というイメージは強いのかもしれないが、その枠を超える形で拡大・発展を遂げている
  - クラウドデータウェアハウス(2014年)→クラウドデータプラットフォーム(2019年)→データクラウド(2020年)
- データクラウドはグローバルネットワーク：シングルプラットフォームで最も関連性の高いコンテンツに繋がる
- 1つのプラットフォームで多くのワークロードに対応
  - コラボレーション/データエンジニアリング/サイバーセキュリティ/データサイエンス＆機械学習/アプリケーション
  - データウェアハウス/データレイク/ユニストア
データ利活用の例：Snowflakeは下図の範囲のうち、統合/加工/正規化＆集計の範囲をカバリーング可能
- Snowflakeはデータの統合/加工/分析/可視化など、幅広い領域を機能的にカバーリングしている
- 一部例外を除き、データソースに対する連携用コネクタの提供はないため、Fivetranとは強い補完関係がある　
- Fivetranとの協業により、オンプレミス上のデータへのアプローチがしやすくなる
Snowflakeテクノロジーパートナーエコシステム
- 様々なテクノロジーパートナー企業との連携で幅広いニーズに対応。
Snowflakeアーキテクチャの解説
- 最適化されたストレージ
  - サイロに阻害されないデータアクセス
  - 大規模なデータを容易に管理
  - 柔軟性と相互運用性
  - S3互換APIを持つオンプレミスストレージや、オープンなテーブルフォーマットにも今後対応予定
- 伸縮性のある高性能エンジン
  - 1つのエンジンであらゆるワークロードに対応
  - トップクラスの性能と同時実行性
  - アクセスとプログラミングの実現
- インテリジェントなインフラストラクチャー
  - セルフマネージド
  - 透過的な改善
  - 最適化されたリソースとコスト
- クロスクラウドを実現するSnowgrid
  - クロスクラウドのコラボレーション
  - クロスクラウドのガバナンス
  - クロスクラウドの事業継続性
Snowgridがデータコラボレーションを実現
- 従来の方法がFTP/API/ETL/フェデレーションプロトロル型だったものに対して、Snowflakeは「プライバシー保護型コラボレーション」で対応
データクラウドでのコラボレーションであらゆるシナリオにセキュアに対応
- クエリ可能なライブデータ、サービス、アプリをクラウドやリージョンの垣根を越えて共有。その際のETLプロセスは不要
今後のロードマップ：分析（2014年）→コラボレーション（2018)に続いて、現在はアプリケーション開発領域を機能強化している
- データクラウドでのアプリ開発：データを利活用するためのプログラマビリティの提供（Snowpark, Streamlitなど）
- 将来的にSnowflakeマーケットプレイスでアプリケーションの共有や販売が可能に
シングルプラットフォームがもたらすこと
- アクセス：統制されたデータ
- 構築：開発からデータへ
- コラボレーション：グローバル＆クロスクラウドで作業
- 収益化：新たな収益源の確立

最短１日で構築！？データドリブンな文化をプッシュするクラスメソッドのModern Data Sack

登壇者
- 相樂悟(クラスメソッド株式会社アライアンス統括部/モダンデータスタックテックリード)

最後3つめのセッションは弊社クラスメソッドから、モダンデータスタックテックリードの相樂が登壇。

クラスメソッドが提唱するモダンデータスタックの紹介と、Fivetranを使ってデータ連携を短時間で作成する実演デモを披露しました。本人登壇レポートに関しては既に投稿されている者がありますので詳細はこちらをご参照ください。

質疑応答

本編最後は全体を通して挙がってきた質問に対してのFivetran登壇者各位によるQ&Aコーナーを少々。以下その中から主だったものをピックアップして紹介します。

Q. 「Fivetranのデータ連携は信頼性が高い」とあるが、どのように信頼性を高めているのでしょうか？
- A. 信頼性を高めているポイントの1つ目は「冪等性(べきとうせい：何度同じ操作をしたとしても同じ結果を得られること)」です。障害が発生した場合でもこれにより前回成功した状態に復旧させる事が出来ます。また「自動モニタリング」も行っており、パイプラインに異常が発生した場合もFivetranのエンジニアチームに自動でログ情報が通知され、お客様が気付かれる前にサポート側で調査を進めることが可能となっています。
  - What is Idempotence? | Blog | Fivetran
  - Maintenance and Monitoring for Fivetran Local Data Processing
Q. LDPはSaaSですか？それともソフトウェアですか？
- A. LDP(Local Data Process)はセルフホスト型、つまりオンプレミス環境で動くソリューションとなります。料金体系としてはFivetranと同じくコンサンプションベース、使った分だけお支払い頂く形です。これは未来の話になるのですが、LDPもいずれはフルマネージドサービスにしていきたいな...とは思っています。
Q. LDPのコネクターは今後増えていくことはあるのでしょうか？
- A. LDPのコネクタが増えるということはありません。今現在利用可能なデータソースは随時古いバージョンからサービスを停止していくかと思います。LDPのソリューションからクラウドに環境が移ることによって、HVA(High Volume Agent)にどんどん移行していく、という狙いがあるからです。なので新しいデータソースが登場した場合はHVAで対応して頂く...という流れになるかと思います。
- HVA for SQL ServerでDBレプリケーションを強化しよう！
Q. Lite ConnectorはOSS化されますか？
- A. Lite Connectorは、新しいコネクターをリクエストベースで開発していくものになっています。基本的にそのスタンスなので、今後のビジョンとしてはこれをSDKとして提供していくことを検討しています。まずはパートナー様向けにこのSDKを提供し、ゆくゆくは顧客向けにも展開していければ...と考えています。
Q. 質問ではなく希望になりますが、Fivetranが接続出来るデータソースをもっと増やして欲しいです。メジャーではないSaaSの場合、他のソリューションを検討する必要が出てきます。開発という概念が無いパイプラインツールではあると思いますが、シンプルな開発が出来るようになると嬉しいです。
- A. 先程ご紹介したLite Connectorですが、現在非常に多くの開発をしています。これを優先順位を付けて進めています。日本向けのSaaSでついては、クラスメソッドさんのようなFivetranパートナーから「どのコネクターが需要があるか」といった意見や声を吸い上げていくことで対応を進めていけると良いのかな、と考えています。Lite Connectorについては「高品質なものを作る」というのを優先度高く進めています。