OpenMetadata SaaSでFivetranのメタデータを抽出してみた

モダンデータスタック(MDS)

さがら

2023.02.10

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

さがらです。

OpenMetadataはFivetranのメタデータの抽出に対応しております。私が知っている限りでは、DWHやBIツールと連携できるデータカタログは多いですが、Fivetranと連携できるデータカタログはそこまで多くない印象です。（他には、AtlanやSecodaくらい？）

今回、OpenMetadataからFivetranへのコネクタを用いてメタデータの抽出を試してみたので、本記事で内容をまとめてみます。

前提

基本的には、このドキュメントの手順に沿って行っていきます。

また、本記事のタイトルでは「OpenMetadata SaaS」とは書いていますが、中身はOSSのOpenMetadataと全く一緒です。クラスタの構築や運用周りをすべて担ってくれるのがSaaS版となっております。

OpenMetadata SaaSのフリートライアル開始手順については、こちらのブログをご覧ください。

まず、事前に行うことがありますので、その内容について記述していきます。

OpenMetadataとFivetranと連携するには、FivetranのAPI Keyが必要となります。

画面左下のAPI Keyを押して、Generate new API keyを押します。

すると、下図のようなポップアップが出てくるので、Generateを押します。

Generateを押すと、画面上にAPI KeyとAPI Secretが出てきます。これらの値を後でOpenMetadataから設定するときに使用します。

では、OpenMetadata上でFivetranのメタデータを抽出するための設定を行っていきます！

まず、SettingsのPipelinesからAdd new Pipeline Serviceを押します。

連携するサービスを選択する画面が出てくるため、Fivetranを選択してNextを押します。

対象のサービス名と説明を記入し、Nextを押します。

続いて、Fivetranと連携するための各種認証情報を入力する画面が出てきます。以下のように入力します。

Fivetran API Key：FivetranでAPI KeyをGenerateした際に表示されたAPI Keyを入力
Fivetran API Secret：
Fivetran API Limit：OpenMetadataからFivetranのAPIコールの回数を制限することが出来ます。他のツールでもFivetranのAPIを使用している場合は、値を調整しましょう。FivetranのAPIの制限値については、こちらの公式Docをご覧ください。

入力後、Test Connectionを押して接続が問題なければ、Saveを押します。