OpenMetadata SaaSでFivetranのメタデータを抽出してみた

さがらです。

OpenMetadataはFivetranのメタデータの抽出に対応しております。私が知っている限りでは、DWHやBIツールと連携できるデータカタログは多いですが、Fivetranと連携できるデータカタログはそこまで多くない印象です。（他には、AtlanやSecodaくらい？）

今回、OpenMetadataからFivetranへのコネクタを用いてメタデータの抽出を試してみたので、本記事で内容をまとめてみます。

前提

基本的には、このドキュメントの手順に沿って行っていきます。

また、本記事のタイトルでは「OpenMetadata SaaS」とは書いていますが、中身はOSSのOpenMetadataと全く一緒です。クラスタの構築や運用周りをすべて担ってくれるのがSaaS版となっております。

OpenMetadata SaaSのフリートライアル開始手順については、こちらのブログをご覧ください。

各製品のバージョン

• OpenMetadata SaaS
  • Tokyoリージョン
• OpenMetadata
  • 0.13.2

事前準備

まず、事前に行うことがありますので、その内容について記述していきます。

連携するFivetranユーザーでAPI Keyを生成

OpenMetadataとFivetranと連携するには、FivetranのAPI Keyが必要となります。

画面左下のAPI Keyを押して、Generate new API keyを押します。

すると、下図のようなポップアップが出てくるので、Generateを押します。

Generateを押すと、画面上にAPI KeyとAPI Secretが出てきます。これらの値を後でOpenMetadataから設定するときに使用します。

OpenMetadata上での連携設定

では、OpenMetadata上でFivetranのメタデータを抽出するための設定を行っていきます！

まず、SettingsのPipelinesからAdd new Pipeline Serviceを押します。

連携するサービスを選択する画面が出てくるため、Fivetranを選択してNextを押します。

対象のサービス名と説明を記入し、Nextを押します。

続いて、Fivetranと連携するための各種認証情報を入力する画面が出てきます。以下のように入力します。

• Fivetran API Key：FivetranでAPI KeyをGenerateした際に表示されたAPI Keyを入力
• Fivetran API Secret：
• Fivetran API Limit：OpenMetadataからFivetranのAPIコールの回数を制限することが出来ます。他のツールでもFivetranのAPIを使用している場合は、値を調整しましょう。FivetranのAPIの制限値については、こちらの公式Docをご覧ください。

入力後、Test Connectionを押して接続が問題なければ、Saveを押します。

これでFivetranのコネクタの設定は終わりなのですが、まだ抽出をいつ行うかの設定が出来ていませんので、続けて、Add Ingestionを押します。

すると、Ingestionの設定画面が出てきます。Pipeline Filter Patternで抽出するメタデータを絞り込むことも可能です。

各設定値に問題がなければ、Nextを押します。

続いて、抽出のスケジュールを選択します。設定を終えたら、Add ＆ Deployを押します。

下図のように表示されたら、抽出の設定は完了です！

ちなみに、対象のIngestionsを手動実行することも出来ます。対象のIngestionのActions列にてRunを押せばOKです！

対象のFivetran上で管理しているDestinationやConnectorの数にもよると思いますが、83個のPipelineオブジェクトの同期に、1分かかりました。

Fivetranから抽出したメタデータの確認

続いて、Fivetranから抽出したメタデータがどの様に確認できるかを見ていきます。

まず、FivetranでのSync処理の履歴が確認できると思いますが、FivetranのAPIがSyncのステータスを取得出来ない仕様のため、Syncの状況はは残念ながら確認できません…

また、Lineageタブもあるのですが、FivetranはPipelineのサービスとして同期しているため、「Sourceのデータベース」と「DestinationのDWH・DB」の2つをOpenMetadata上に登録していないと、リネージが構成できないようになっています。

下図は、Googleスプレッドシート～Snowflakeへ同期を行ったFivetranのコネクタについて、OpenMetadata上から確認した際のLineageタブなのですが、リネージは構成されていません。

そのため、FivetranのメタデータをOpenMetadataで抽出して活きるのは、「何かしらのRDBからDWHにSyncする処理をFivetranで行っていて、元データのRDBからリネージを確認したい場合」に役立つと感じました！

最後に

OpenMetadataからFivetranへのコネクタを用いてメタデータの抽出を試してみました。

Fivetranと連携できるデータカタログは現状まだ数が少ないので、Fivetranの連携元のデータベース含めたリネージを構成したい場合には、ぜひお試しください。