[Monte Carlo] Monte Carlo と BigQuery の接続を設定する #MonteCarloData

Monte CarloとBigQueryを接続する方法を紹介します。

Monte Carloとデータウェアハウスを接続すると、テーブルとパイプラインの状態を追跡できるようになります。メタデータ、クエリ ログ、メトリクスをウェアハウスから自動的に取得することで、データパイプラインの状態を可視化しています。

1. BigQueryのプロジェクトごとにサービスアカウントを作成する

Monte　Carloで監視したいBigQueryのプロジェクトが複数ある場合には、プロジェクトごとにサービスアカウントを作成します。

最初にMonte Carlo用のロールを作成します。

1. Google Cloud PlatformコンソールでIAM & AdminのRoleセクションに移動する
2. 対象のプロジェクトを選択する
3. Create Roleボタンをクリック
4. ロール名を入力（Monte Carloの推奨はData Reliability Monitor）
5. Role launch stageをGeneral Availabilityにする
   
6. Add Permissionsから以下の権限を追加する

   # BigQuery Adminでフィルター => 追加
   bigquery.datasets.get
   bigquery.datasets.getIamPolicy
   bigquery.jobs.get
   bigquery.jobs.list
   bigquery.jobs.listAll
   bigquery.jobs.create
   bigquery.tables.get
   bigquery.tables.getData
   bigquery.tables.list
   resourcemanager.projects.get
   # Storage Adminでフィルター => 追加
   storage.buckets.list
   storage.buckets.get
   storage.objects.list
   storage.objects.get

7. Create

次に、サービスアカウントを作成します。

1. IAM & AdminのService Accountセクションに移動する
2. Create Service Accountをクリック
3. サービスアカウント名を入力（Monte Carloの推奨はmonte-carlo）
4. Create and Continueをクリック
5. 先ほど作成したData Reliability Monitorロールを付与
6. 作成
7. JSONアクセスキーを作成する
   サービスアカウント一覧から該当のサービスアカウント行の右の３つドットメニューを開いてManage Keysを選択 Add KeysからJSONを選択して作成

2. Monte CarloにJSONキーを登録する

Settings > Integrations > Data Lake and Warehouses > Create > BigQuery を選択

作成したJSONキーをアップロードして登録。

接続のテストが通ったら完了です！

自動でテーブル情報を収集

接続して2週間ほどでMonte Carloが接続しているデータベースの情報を学習して、Assetsページにデータの取得情報などをまとめてくれます。

まとめ

Monte CarloをBigQueryと連携する方法のご紹介でした！