Snowflake の Partner Connect で Fivetran のトライアルを始める
こんにちは、大場です。Snowflake の Partner Connect を介して Fivetran のトライアルをやってみましたのでご紹介します。トライアルでは Salesforce のデータを Snowflake に連携してみたのですが、かなりシンプルなステップでできました。
はじめに
Snowflake は、パートナーエコシステムを構築しており、ETL や BI、機械学習などの分野において業界をリードするベンダー製品と連携して動作します。
Snowflake Partner Connect
Snowflake は Partner Connect と呼ばれる仕組みがあり、Snowflake の Web コンソールからパートナー製品のトライアルを簡単に始めることができます。
Partner Connect から Fivetran のトライアルを開始
はじめるにあたり、以下の2点を確認の上で進めます。
- Snowflake のユーザに ACCOUNTADMIN 権限があること
- Snowflake のユーザにメールアドレスが設定されていること
Snowflake の Web コンソールのメニューから「パートナー接続」を選択すると、Snowflake がサポートする製品が表示されますので、ここから Fivetran を選択します。
※ Snowflake の Web コンソールにログインしているユーザに ACCOUNTADMIN 権限がないと以下のメッセージが表示されますのでご注意ください。
以下のメッセージが表示されますので確認の上で「接続」ボタンをクリックします。ウェアハウスはXSが使われるようです。
※ Snowflake のユーザ設定においてメールアドレスが設定されていない場合に以下のメッセージが表示されますのでご注意ください（この場合、メールアドレスを設定してやり直します）。
名前を入力して「接続」ボタンをクリックします。
「アクティブ化」ボタンをクリックして進めます。
Fivetran のページが開きます。アカウントに対して設定するパスワードを入力して「START FREE TRIAL」ボタンをクリックします。
Fivetran でデータ同期
Fivetran のウィザードに従って初期設定をおこないトライアルを始めていきます。
最初に「CREATE YOUR FIRST CONNECTOR」をクリックしてデータソース側のコネクタを設定します。
今回は Salesforce の Sandbox からデータを取ります。
「AUTHORIZE」ボタンをクリックすると Salesforce のページが開きますのでアカウント情報を入力します。
確認の上でアクセスを許可します。
認証が成功したら「SAVE & TEST」ボタンでテストをします。テストに成功すると以下のような画面になりますので「VIEW CONNECTOR」ボタンで進めます。
以下のメッセージが表示されます。この時点ではコネクタは一時停止した状態になっており、次のステップではじめに同期するスキーマを選択します。
テーブルやカラムの一覧が表示されるので同期する対象を選択し「SAVE CHANGE」ボタンで設定を保存します。
Setup タブで以下の設定ができます。
- 同期の頻度
- 遅延時の通知設定
- ヒストリカルデータの再同期
- コネクションの削除
画面右上のスイッチを PAUSE から ENABLED に切り替えると同期がスタートします。
同期が完了するとメールで通知がきてトライアルがスタートします。
指定したデータが Snowflake 側に連携されていることが確認できました。
Fivetran の Web コンソールをご紹介
Fivetran の Web コンソールに用意されている項目について概要を紹介します。ほぼ何も設定していないので雰囲気だけ伝わればと思います。詳しくは Fivetran 社の Web やドキュメントのリンクを記載しますのでご参照ください。
Connectors
データソース側の情報を設定します。今回は Salesforce Sandbox から取得する設定をしています。
以下のページに対応しているデータソースの情報がありました。100以上のデータソースに対応しており、APPLICATION、DATABASE、FILE、EVENT、FUNCTION というカテゴリに分類されるようです。
ドキュメントに各カテゴリやデータソース毎のガイドがありました。
- Applications | Fivetran ドキュメント
- Databases | Fivetran ドキュメント
- Files | Fivetran ドキュメント
- Events | Fivetran ドキュメント
- Functions | Fivetran ドキュメント
Transformations
SQL でデータを変換します。
以下のような機能を提供します。
- シンプルな Web ベースのエディタに SQL スクリプトを入力または貼り付けて実行
- データが変更されたとき、または定期的なスケジュールで実行されるようにトリガーを設定
- データが Destination に到達したら自動的に変換
Uploads
CSV ファイルを Destination にアップロードします。
Destination
Destination の情報を設定します。今回は Snowflake にデータを連携しています。
Logs
Fivetran は Destination と Connector の操作をログに記録しています。 これらは、AWS CloudWatch、Azure Log Analytics、Google Stackdriverに送ることができます。
Users
Fivetran を利用するユーザの設定をおこないます。冒頭の「Partner Connect から Fivetran のトライアルを開始」で設定したものがそのままここに設定されています。
Alerts
Alert を生成してコンソールに表示します。
Notifications
コネクタの問題に関するメール通知の設定をおこないます。
Docs
Fivetran のドキュメントとなります。
さいごに
ということで Snowflake の Partner Connect を通じて Fivetran のトライアルをおこないました。トライアルをはじめてからデータを取り込むまで特にトラブルもなく、シンプルな操作で1時間程度でできました。
SaaS サービスからのデータ取得となると API で取得して加工をしてテーブルに格納するという手間を考えてしまいますが、ここの部分もクラウドサービスを経由して簡単に実現できて感激しています。
この連携でリアルタイムに近い形でデータの提供ができるのではないでしょうか。気になった方はぜひトライアルをお試しください！
![[レポート]AWSでデータメッシュアーキテクチャを構築する#ANT336 #reinvent](https://devio2023-media.developers.io/wp-content/uploads/2022/11/eyecatch_reinvent2022_session-report.png)
