Fivetranのダッシュボード
クラスメソッドは新年度が7月となるため、ようやく新年度がスタートしました。
今回は、Fivetranのダッシュボード(ユーザーインターフェース)についてご紹介していきたいと思います。
Fivetranは、データ連携を自動化できるサービスになります。
SalesforceやGoogle Analyticsなどのさまざまなデータソースからデータを抽出、ロード、変換(いわゆるELT処理)を実施することが可能です。
Fivetranでは、Destination(データ同期先)単位でダッシュボードが提供されており、ダッシュボードにて様々な設定を行います。
複数のDestinationにユーザーが紐づいている場合、ログイン時に下図のようにDestinationの一覧が表示されるので、対象のDestination(データ同期先)を選択することで、ダッシュボード画面にアクセスすることが可能です。
ダッシュボードではデータの同期先に関する設定情報が確認できます。
ここからは各種タブについてご紹介していきます。
Connectors
コネクターの管理をするタブになります。
右上の【ADD CONNECTOR】をクリックし、コネクターを追加することが可能です。
コネクターの追加手順はデータソースによって異なりますが、コネクター追加時に右側にセットアップガイドが表示されますので、それに従って追加していただくことで、手順が完了します。
また、弊社ブログのエントリでも日本語にて様々なコネクターの追加手順を紹介しておりますので、ぜひそちらもあわせてご参照ください。
対象のデータソースによっては初回同期に数時間から数日かかる可能性があります。
追加済のコネクターが一覧で表示されており、以下の情報が確認できます。
- スキーマ名称
- 対象のデータソース
- ステータス(アクティブ/休止中など)
- 最終同期時間
既に追加済みのコネクター一覧からコネクター名称をクリックすると、対象のコネクターに関する詳細な情報を確認することが可能です。
Status
ステータスタブでは以下の情報を確認できます。
- 次回の同期予定
- 同期状況
- 同期履歴
- アラート
- 変更履歴
- 同期実行時間
Logs
コネクターを実行したログ情報が確認できます。
検索ボックスやログレベル、期間によるフィルターも可能です。
Schema
同期対象のテーブルやデータ項目の一覧が表示されます。
検索ボックスにてテーブルの検索が可能です。
※データソースによっては、テーブルやデータ項目が確認できないものもあります。
Setup
コネクターの詳細情報が確認できます。
コネクターの接続テストや接続情報の編集が可能な他、以下の設定方法が確認できます。
- 同期の頻度
- 同期に遅延が発生した際の通知設定
- 再同期の実行
- コネクターの削除
Transformations
冒頭でも紹介しましたが、FivetranはELTツールです。
そのため、変換処理もFivetranにて設定することが可能です。
通常のTransformation機能はSQLによる変換ですが、より複雑な変換が可能なdbt(ベータ版)による変換も可能です。
dbtによるTransformationについては下記エントリをご参照ください。
通常のTransformationでは、任意の名称を設定し、SQL文を入力します。
スケジュールタイプには以下の2種類が指定できます。
- 新しくデータが取り込まれた場合
- 対象のテーブルを指定
- タイムスケジュール
- 変換の頻度を指定(5分~24時間)
24時間を指定した場合は、実行時間もあわせて設定します。
Uploads
Webブラウザ経由でCSVファイルを手動で同期先にアップロードすることが可能です。
右上の【+SHEMA】をクリックし、テーブルを新規追加することが可能です。
新規アップロード手順
1. 右上の【+SCHEMA】をクリックします。
2. スキーマ名称とテーブル名称を入力します。
3. 対象のファイルをドラッグ、もしくは選択します。
4. カラム名が何行目にあるか、最後の何行かを取り込みの対象外とする場合はその行数も指定し、【NEXT】をクリックます。
5. データ型やプライマリーキーを指定し、【NEXT】をクリックます。
6. 表示されているスキーマ情報に問題がなければ、【UPLOAD TO DESTINATION】をクリックします。
7. CSVのアップロードが開始します。
テーブル追加手順
既存のスキーマに新規テーブルを追加することも可能です。
1. 一覧から対象のスキーマ名称をクリックします。
2. 右上の【+TABLE】をクリックします。
3. テーブル名称を入力します。
4. 対象のファイルをドラッグ、もしくは選択します。
5. カラム名が何行目にあるか、最後の何行かを取り込みの対象外とする場合はその行数も指定し、【NEXT】をクリックます。
6. データ型やプライマリーキーを指定し、【NEXT】をクリックます。
7. 表示されているスキーマ情報に問題がなければ、【UPLOAD TO DESTINATION】をクリックします。
8. CSVのアップロードが開始します。
データ追加手順
既存のテーブルにデータを追加でアップロードすることも可能です。
1. 一覧から対象のスキーマ名称をクリックします。
2. 一覧から対象のテーブル名称をクリックします。
3. 対象のファイルをドラッグ、もしくは選択します。
4. カラム名が何行目にあるか、最後の何行かを取り込みの対象外とする場合はその行数も指定し、【NEXT】をクリックます。
5. データ型やプライマリーキーを指定し、【NEXT】をクリックます。
6. 表示されているスキーマ情報に問題がなければ、【UPLOAD TO DESTINATION】をクリックします。
7. CSVのアップロードが開始します。
Destination
データの同期先に関する情報が確認できます。
同期先によって表示される情報は異なります。
データの同期先に対して接続テストを実施する場合、接続情報を編集する場合は、このタブにアクセスします。
Logs
ログサービスと連携する際に、このタブにアクセスします。ログサービスと連携することで、Fivetranのログを収集でき、ログを監視することが可能です。
現在連携可能なログサービスは以下になります。
- AWS CloudWatch
- Datadog(プライベートプレビュー版)
- Google Stackdriver
- Azure Log Analytics
- Splunk
Users
ユーザー一覧が表示されます。
ユーザーを追加する場合は、【+USER】をクリックし、以下の情報を入力します。
- 名
- 姓
- メールアドレス
- ユーザー権限
ユーザー権限の詳細につきましては、下記エントリをご参照ください。
Alerts
対象の同期先に関するアラートが発生している場合には、アラート内容が表示されます。
内容を確認の上、変更が必要な場合は対応をする必要があります、
Notifications
同期しているコネクターや実行している変換に対して問題が発生した場合や、ユーザーが追加された場合、Fivetranに何らかの障害が発生した場合に、ダッシュボードのオーナーにメールが通知されます。、
まとめ
今回は、Fivetranのダッシュボードの各機能についてご紹介しました。 Fivetranでは様々なデータソースに接続し、データを同期することができます。 この機会にぜひご活用ください。