Snowflake の Partner Connect で Fivetran のトライアルを始める

2020.04.14

こんにちは、大場です。Snowflake の Partner Connect を介して Fivetran のトライアルをやってみましたのでご紹介します。トライアルでは Salesforce のデータを Snowflake に連携してみたのですが、かなりシンプルなステップでできました。

はじめに

Snowflake は、パートナーエコシステムを構築しており、ETL や BI、機械学習などの分野において業界をリードするベンダー製品と連携して動作します。

Snowflake Partner Connect

Snowflake は Partner Connect と呼ばれる仕組みがあり、Snowflake の Web コンソールからパートナー製品のトライアルを簡単に始めることができます。

Partner Connect から Fivetran のトライアルを開始

はじめるにあたり、以下の2点を確認の上で進めます。

  • Snowflake のユーザに ACCOUNTADMIN 権限があること
  • Snowflake のユーザにメールアドレスが設定されていること

Snowflake の Web コンソールのメニューから「パートナー接続」を選択すると、Snowflake がサポートする製品が表示されますので、ここから Fivetran を選択します。

※ Snowflake の Web コンソールにログインしているユーザに ACCOUNTADMIN 権限がないと以下のメッセージが表示されますのでご注意ください。

以下のメッセージが表示されますので確認の上で「接続」ボタンをクリックします。ウェアハウスはXSが使われるようです。

※ Snowflake のユーザ設定においてメールアドレスが設定されていない場合に以下のメッセージが表示されますのでご注意ください(この場合、メールアドレスを設定してやり直します)。

名前を入力して「接続」ボタンをクリックします。

「アクティブ化」ボタンをクリックして進めます。

Fivetran のページが開きます。アカウントに対して設定するパスワードを入力して「START FREE TRIAL」ボタンをクリックします。

Fivetran でデータ同期

Fivetran のウィザードに従って初期設定をおこないトライアルを始めていきます。

最初に「CREATE YOUR FIRST CONNECTOR」をクリックしてデータソース側のコネクタを設定します。

今回は Salesforce の Sandbox からデータを取ります。

「AUTHORIZE」ボタンをクリックすると Salesforce のページが開きますのでアカウント情報を入力します。

確認の上でアクセスを許可します。

認証が成功したら「SAVE & TEST」ボタンでテストをします。テストに成功すると以下のような画面になりますので「VIEW CONNECTOR」ボタンで進めます。

以下のメッセージが表示されます。この時点ではコネクタは一時停止した状態になっており、次のステップではじめに同期するスキーマを選択します。

テーブルやカラムの一覧が表示されるので同期する対象を選択し「SAVE CHANGE」ボタンで設定を保存します。

Setup タブで以下の設定ができます。

  • 同期の頻度
  • 遅延時の通知設定
  • ヒストリカルデータの再同期
  • コネクションの削除

画面右上のスイッチを PAUSE から ENABLED に切り替えると同期がスタートします。

同期が完了するとメールで通知がきてトライアルがスタートします。

指定したデータが Snowflake 側に連携されていることが確認できました。

Fivetran の Web コンソールをご紹介

Fivetran の Web コンソールに用意されている項目について概要を紹介します。ほぼ何も設定していないので雰囲気だけ伝わればと思います。詳しくは Fivetran 社の Web やドキュメントのリンクを記載しますのでご参照ください。

Connectors

データソース側の情報を設定します。今回は Salesforce Sandbox から取得する設定をしています。

以下のページに対応しているデータソースの情報がありました。100以上のデータソースに対応しており、APPLICATION、DATABASE、FILE、EVENT、FUNCTION というカテゴリに分類されるようです。

ドキュメントに各カテゴリやデータソース毎のガイドがありました。

Transformations

SQL でデータを変換します。

以下のような機能を提供します。

  • シンプルな Web ベースのエディタに SQL スクリプトを入力または貼り付けて実行
  • データが変更されたとき、または定期的なスケジュールで実行されるようにトリガーを設定
  • データが Destination に到達したら自動的に変換

  • Transformations | Fivetran ドキュメント

Uploads

CSV ファイルを Destination にアップロードします。

Destination

Destination の情報を設定します。今回は Snowflake にデータを連携しています。

Logs

Fivetran は Destination と Connector の操作をログに記録しています。 これらは、AWS CloudWatch、Azure Log Analytics、Google Stackdriverに送ることができます。

Users

Fivetran を利用するユーザの設定をおこないます。冒頭の「Partner Connect から Fivetran のトライアルを開始」で設定したものがそのままここに設定されています。

Alerts

Alert を生成してコンソールに表示します。

Notifications

コネクタの問題に関するメール通知の設定をおこないます。

Docs

Fivetran のドキュメントとなります。

さいごに

ということで Snowflake の Partner Connect を通じて Fivetran のトライアルをおこないました。トライアルをはじめてからデータを取り込むまで特にトラブルもなく、シンプルな操作で1時間程度でできました。

SaaS サービスからのデータ取得となると API で取得して加工をしてテーブルに格納するという手間を考えてしまいますが、ここの部分もクラウドサービスを経由して簡単に実現できて感激しています。

この連携でリアルタイムに近い形でデータの提供ができるのではないでしょうか。気になった方はぜひトライアルをお試しください!