本日(2023-08-08)に
2023 年 11 月 6 日に、すべての Fivetran コネクタに対する Fivetran_audit テーブルと Fivetran_audit_warning テーブルへのデータの入力を停止する予定です。 代わりに、 Fivetran Platform Connectorを利用して、Fivetran コネクタに関連するデータを同期することをお勧めします
というメールが来ていました。せっかくなのでセットアップしていこうかと思います。
Fivetran Platform Connectorは、
コネクタ、ダッシュボードのユーザーアクション、およびFivetran APIコールから構造化されたログイベントを生成し、そのログイベントとアカウントのメタデータを指定した宛先に保存してくれます。
さまざまな宛先・テーブルのデータを照会して、コネクタのパフォーマンスやMARの使用状況など、さまざまなメトリクスを監視できるようになるとのことです。
※ Fivetran Platform Connectorが生成するMARは無料です
セットアップ
公式のセットアップガイドの手順を参考にしたいですが、あまりにも簡略化して書かれていて私ではよく分かりませんでしたw
1. コネクターのしんき作成画面へ
コネクターのページからAdd Connectorのボタンを押して新規コネクターを作成していきます。
2. 保存先となるDestinationを選択
どこに保存するのかを選択します。
3. データソースを選択
データソース Fivetran Platform を選択しましょう。
4. コネクターの設定、テスト
Destination schema にはログを保存するためのスキーマ名を入力します。
※ 本記事の設定ではDestをBigqueryにしていますので、データセット名に当たります。
ここはコネクターをテストした後や、後で設定を保存した後に変更することはできません。
Account Level Connector は、
アカウント内のすべての宛先のログとメタデータを同期したい場合は、トグルをオンにします(デフォルトでオンでした)。
※ Account Administoratorの権限を持っている場合に設定できるようです。
設定後、ページ下部のSave & Testを押して保存とテストを行います。
テスト成功の場合は上記のようにメッセージが表示されます。
テストが正常終了したら、ページ下部にあるContinueボタンを押してコネクターの作成は完了です。
同期してみる
前のセットアップ手順の最後のContinueボタンを押したあと、作成したコネクターの画面に遷移するので、
そのページにあるStart initial syncをクリックして初回の同期を行ってみます。
結構時間がかかるので待ちます待ちます。
※ 作成されるテーブルは参考欄に載せています
初回同期終了後、宛先であるBigqueryを確認してみると、以下のテーブルが作成されていました。
ひとまずこれでセットアップは完了となります。
公式のサンプルクエリ を実行するなどして、データの確認をしてみてください
参考
- 生成される重要なテーブル
- テーブルの一覧
1
