OpenMetadata SaaSでLookerのメタデータを抽出してみた

さがらです。

OpenMetadataはLookerのメタデータの抽出に対応しております。

今回、このOpenMetadataからLookerのメタデータの抽出を試してみたので、本記事で内容をまとめてみます。

前提

基本的には、このドキュメントの手順に沿って行っていきます。

また、本記事のタイトルでは「OpenMetadata SaaS」とは書いていますが、中身はOSSのOpenMetadataと全く一緒です。クラスタの構築や運用周りをすべて担ってくれるのがSaaS版となっております。

OpenMetadata SaaSのフリートライアル開始手順については、こちらのブログをご覧ください。

各製品のバージョン

• OpenMetadata SaaS
  • Tokyoリージョン
• OpenMetadata
  • 0.13.2

事前準備

まず、事前に行うことがありますので、その内容について記述していきます。

Looker上でClient IDとClient Secretを取得

OpenMetadataからLookerに接続するにはLooker APIを使用するため、Looker上でClient IDとClient Secretを取得します。

接続を行いたいユーザーについて、AdminのUsersから対象のユーザーを選択し、API3 keysでEdit Keysを押します。

この画面で新しいClient IDとClient Secretを生成するか、既存のIDとSecretについて確認しておきましょう。

LookerのAPI Host URLの確認

対象のLookerアカウントでのAPI Host URLが独自のものに変更されている場合、その内容も事前に確認しておく必要があります。

AdminのAPIから、API Host URLを確認しておきましょう。

OpenMetadata上での連携設定

では、OpenMetadata上でLookerのメタデータを抽出するための設定を行っていきます！

まず、SettingsのDashboardsからAdd new Dashboard Serviceを押します。

Lookerを選択し、Nextを押します。

Service NameとDescriptionを記入し、Nextを押します。

続いて、連携するLookerへの接続に必要な情報を入力していきます。

• Client ID：事前にLooker上で確認したClient IDを入力
• Client Secret：事前にLooker上で確認したClient Secretを入力
• Host And Port：事前にLooker上で確認したAPI Host URLを入力

これらの入力が完了したら、Test Connectionを押して接続が問題ないことを確認し、Saveを押します。

これでLookerへのコネクタの設定は終わりなのですが、まだメタデータの抽出をいつ行うかの設定が出来ていませんので、続けて、Add Ingestionを押します。

すると、Ingestionの設定画面が出てきます。Dashboard Filter Patternで抽出するメタデータを絞り込むことも可能です。

また、ここの設定で重要なのが、Database Service Nameです。DWHのテーブルからLookerのダッシュボードまでのリネージを生成するためには、ここに参照先のDWHの名称を入力する必要があります。

各設定値に問題がなければ、Nextを押します。

続いて、抽出のスケジュールを選択します。設定を終えたら、Add ＆ Deployを押します。

下図のように表示されたら、抽出の設定は完了です！

ちなみに、対象のIngestionsを手動実行することも出来ます。対象のIngestionのActions列にてRunを押せばOKです！

対象のLooker上で管理しているコンテンツの数にもよると思いますが、180個のコンテンツのメタデータの抽出に、11分かかりました。

最後に

OpenMetadataからLookerのメタデータの抽出を試してみました。

先日はTableauとの連携についても試しましたが、他にもPowerBIやQuicksightなどのBIツールとも連携可能ですので、ぜひ下記のドキュメントを参考にお試しください！