Fivetranのダッシュボード

クラスメソッドは新年度が7月となるため、ようやく新年度がスタートしました。

今回は、Fivetranのダッシュボード(ユーザーインターフェース)についてご紹介していきたいと思います。
Fivetranは、データ連携を自動化できるサービスになります。
SalesforceやGoogle Analyticsなどのさまざまなデータソースからデータを抽出、ロード、変換(いわゆるELT処理)を実施することが可能です。
Fivetranでは、Destination(データ同期先)単位でダッシュボードが提供されており、ダッシュボードにて様々な設定を行います。
複数のDestinationにユーザーが紐づいている場合、ログイン時に下図のようにDestinationの一覧が表示されるので、対象のDestination(データ同期先)を選択することで、ダッシュボード画面にアクセスすることが可能です。

ダッシュボードではデータの同期先に関する設定情報が確認できます。

ここからは各種タブについてご紹介していきます。

Connectors

コネクターの管理をするタブになります。
右上の【ADD CONNECTOR】をクリックし、コネクターを追加することが可能です。

コネクターの追加手順はデータソースによって異なりますが、コネクター追加時に右側にセットアップガイドが表示されますので、それに従って追加していただくことで、手順が完了します。
また、弊社ブログのエントリでも日本語にて様々なコネクターの追加手順を紹介しておりますので、ぜひそちらもあわせてご参照ください。
対象のデータソースによっては初回同期に数時間から数日かかる可能性があります。

追加済のコネクターが一覧で表示されており、以下の情報が確認できます。
- スキーマ名称
- 対象のデータソース
- ステータス(アクティブ/休止中など)
- 最終同期時間

既に追加済みのコネクター一覧からコネクター名称をクリックすると、対象のコネクターに関する詳細な情報を確認することが可能です。

Status

ステータスタブでは以下の情報を確認できます。

• 次回の同期予定
• 同期状況
• 同期履歴
• アラート
• 変更履歴
• 同期実行時間

Logs

コネクターを実行したログ情報が確認できます。
検索ボックスやログレベル、期間によるフィルターも可能です。

Schema

同期対象のテーブルやデータ項目の一覧が表示されます。
検索ボックスにてテーブルの検索が可能です。
※データソースによっては、テーブルやデータ項目が確認できないものもあります。

Setup

コネクターの詳細情報が確認できます。
コネクターの接続テストや接続情報の編集が可能な他、以下の設定方法が確認できます。

• 同期の頻度
• 同期に遅延が発生した際の通知設定
• 再同期の実行
• コネクターの削除

Transformations

冒頭でも紹介しましたが、FivetranはELTツールです。
そのため、変換処理もFivetranにて設定することが可能です。
通常のTransformation機能はSQLによる変換ですが、より複雑な変換が可能なdbt(ベータ版)による変換も可能です。
dbtによるTransformationについては下記エントリをご参照ください。

通常のTransformationでは、任意の名称を設定し、SQL文を入力します。

スケジュールタイプには以下の2種類が指定できます。

• 新しくデータが取り込まれた場合
• 対象のテーブルを指定
• タイムスケジュール
• 変換の頻度を指定(5分～24時間)
  24時間を指定した場合は、実行時間もあわせて設定します。

Uploads

Webブラウザ経由でCSVファイルを手動で同期先にアップロードすることが可能です。
右上の【+SHEMA】をクリックし、テーブルを新規追加することが可能です。

新規アップロード手順

１. 右上の【+SCHEMA】をクリックします。

２. スキーマ名称とテーブル名称を入力します。

３. 対象のファイルをドラッグ、もしくは選択します。

４. カラム名が何行目にあるか、最後の何行かを取り込みの対象外とする場合はその行数も指定し、【NEXT】をクリックます。 　

５. データ型やプライマリーキーを指定し、【NEXT】をクリックます。

６. 表示されているスキーマ情報に問題がなければ、【UPLOAD TO DESTINATION】をクリックします。

７. CSVのアップロードが開始します。

テーブル追加手順

既存のスキーマに新規テーブルを追加することも可能です。
１. 一覧から対象のスキーマ名称をクリックします。

２. 右上の【+TABLE】をクリックします。

３. テーブル名称を入力します。

４. 対象のファイルをドラッグ、もしくは選択します。

５. カラム名が何行目にあるか、最後の何行かを取り込みの対象外とする場合はその行数も指定し、【NEXT】をクリックます。 　

６. データ型やプライマリーキーを指定し、【NEXT】をクリックます。

７. 表示されているスキーマ情報に問題がなければ、【UPLOAD TO DESTINATION】をクリックします。

８. CSVのアップロードが開始します。

データ追加手順

既存のテーブルにデータを追加でアップロードすることも可能です。
１. 一覧から対象のスキーマ名称をクリックします。

２. 一覧から対象のテーブル名称をクリックします。

３. 対象のファイルをドラッグ、もしくは選択します。

４. カラム名が何行目にあるか、最後の何行かを取り込みの対象外とする場合はその行数も指定し、【NEXT】をクリックます。 　

５. データ型やプライマリーキーを指定し、【NEXT】をクリックます。

６. 表示されているスキーマ情報に問題がなければ、【UPLOAD TO DESTINATION】をクリックします。

７. CSVのアップロードが開始します。

Destination

データの同期先に関する情報が確認できます。
同期先によって表示される情報は異なります。 データの同期先に対して接続テストを実施する場合、接続情報を編集する場合は、このタブにアクセスします。

Logs

ログサービスと連携する際に、このタブにアクセスします。ログサービスと連携することで、Fivetranのログを収集でき、ログを監視することが可能です。

現在連携可能なログサービスは以下になります。

• AWS CloudWatch
• Datadog(プライベートプレビュー版)
• Google Stackdriver
• Azure Log Analytics
• Splunk

Users

ユーザー一覧が表示されます。
ユーザーを追加する場合は、【+USER】をクリックし、以下の情報を入力します。
- 名
- 姓
- メールアドレス
- ユーザー権限

ユーザー権限の詳細につきましては、下記エントリをご参照ください。

Alerts

対象の同期先に関するアラートが発生している場合には、アラート内容が表示されます。

内容を確認の上、変更が必要な場合は対応をする必要があります、

Notifications

同期しているコネクターや実行している変換に対して問題が発生した場合や、ユーザーが追加された場合、Fivetranに何らかの障害が発生した場合に、ダッシュボードのオーナーにメールが通知されます。、

まとめ

今回は、Fivetranのダッシュボードの各機能についてご紹介しました。 Fivetranでは様々なデータソースに接続し、データを同期することができます。 この機会にぜひご活用ください。