Google CloudとDatadogをインテグレーションしてみた

はじめに

こんにちは。
クラウド事業本部コンサルティング部の渡邉です。

Google Cloudには標準でCloud Monitoringが提供されていますが、マルチクラウド環境での統合的な監視や、より高度なアラート機能、ダッシュボードのカスタマイズ性を求める場合、専用の監視ツールの導入が有効になります。

Datadogは、クラウドアプリケーションのための監視・分析プラットフォームで、インフラストラクチャ、アプリケーション、ログなどを統合的に監視することができます。

前職では、Datadogを利用してGoogle Cloud環境のモニタリングや監視を行っていましたが、Google CloudとDatadogを実際にインテグレーションする作業は経験したことがなかったので、Datadogの公式ドキュメントを参考に、Google CloudとDatadogをインテグレーションして、Google Cloudリソースのメトリクスを収集する方法を紹介したいと思います。

https://docs.datadoghq.com/integrations/google_cloud_platform/

前提知識と概要

Datadogとは

Datadogは、クラウド規模のアプリケーションのための監視およびセキュリティプラットフォームです。

https://www.datadoghq.com/ja/

Datadogの主な機能は以下の通りです。

• インフラストラクチャ監視（メトリクス収集）
• APM（Application Performance Monitoring）
• ログ管理
• リアルユーザーモニタリング（RUM）
• セキュリティモニタリング
• ダッシュボードとアラート

Google Cloud Monitoringとの比較

Google Cloudには標準でCloud Monitoringが提供されていますが、Datadogを使用することで以下のようなメリットがあります。

インテグレーションのメリット

Google CloudとDatadogをインテグレーションすることで以下のメリットが得られます。

• 統合ビュー: GCP、AWS、オンプレミスなど複数環境のメトリクスを一元管理
• 高度なアラート: 複雑な条件設定や、Slack、PagerDuty等との連携
• カスタムダッシュボード: ビジネスニーズに合わせた柔軟なダッシュボード作成
• 長期データ保持: メトリクスやログの長期保存とトレンド分析
• AI駆動の異常検知: 機械学習による異常検知機能

環境準備

Datadogの前提条件

• Datadogアカウントをすでに作成済みとします。
• Datadogの無料トライアルでも本記事の内容は試すことができます。

Google Cloud側の前提条件

• Google Cloudプロジェクトはすでに作成済みとします。

• Cloud Run / Cloud SQLなどのリソースは作成済みとします。

• 以下のAPIを事前に有効化しておきます。

  • cloudresourcemanager.googleapis.com : プロジェクトリソース管理
  • cloudasset.googleapis.com : Cloud Assetの利用
  • compute.googleapis.com : Compute Engineの監視
  • monitoring.googleapis.com : Cloud Monitoringからのメトリクス取得
  • iam.googleapis.com : サービスアカウントの作成・管理
  • cloudbilling.googleapis.com : 課金情報へのアクセス

gcloud services enable \
  cloudresourcemanager.googleapis.com \
  cloudasset.googleapis.com \
  compute.googleapis.com \
  monitoring.googleapis.com \
  iam.googleapis.com \
  cloudbilling.googleapis.com

Google Cloud側の設定（パート1）

サービスアカウントの作成

DatadogがGoogle Cloudのメトリクスにアクセスするためのサービスアカウントを作成します。
以下のコマンドを実行してサービスアカウントを作成します。

gcloud iam service-accounts create datadog-integration \
  --display-name="Datadog Integration Service Account" \
  --description="Service Account for Datadog to access Google Cloud metrics"

【IAMと管理】→【サービス アカウント】へアクセスし、作成したサービスアカウントを確認します。

Datadog用サービスアカウント

サービスアカウントへの権限付与

Datadogがメトリクスを収集するために、サービスアカウントに以下の3つのロールを付与します。

# Compute Viewerロール - Compute Engineリソースの読み取り
gcloud projects add-iam-policy-binding ${GOOGLE_CLOUD_PROJECT} \
  --member="serviceAccount:datadog-integration@${GOOGLE_CLOUD_PROJECT}.iam.gserviceaccount.com" \
  --role="roles/compute.viewer"

# Monitoring Viewerロール - メトリクスの読み取り
gcloud projects add-iam-policy-binding ${GOOGLE_CLOUD_PROJECT} \
  --member="serviceAccount:datadog-integration@${GOOGLE_CLOUD_PROJECT}.iam.gserviceaccount.com" \
  --role="roles/monitoring.viewer"

# Cloud Asset Viewerロール - リソース構成情報の読み取り
gcloud projects add-iam-policy-binding ${GOOGLE_CLOUD_PROJECT} \
  --member="serviceAccount:datadog-integration@${GOOGLE_CLOUD_PROJECT}.iam.gserviceaccount.com" \
  --role="roles/cloudasset.viewer"

【IAMと管理】→【IAM】へアクセスし、作成したサービスアカウントに3つのロールが付与されていることを確認します。

Datadog用サービスアカウントへのIAM付与

Datadog側の設定（パート1）

Google Cloud Integrationの有効化

Datadogコンソールにログインし、Google Cloudインテグレーションを設定します。

1. Datadogコンソールの左メニューから【Integrations】を選択します。

Google Cloud Platform Integration設定

2. 検索バーに「Google Cloud Platform」と入力して検索し、【Google Cloud Platform】タイルをクリックします

Google Cloud Platform Integration設定

3. 【Add GCP Account】をクリックします

Google Cloud Platform Integration設定

4. 【Manual】をクリックします

Google Cloud Platform Integration設定

5. Datadogプリンシパルを生成するために、【Generate Principal】ボタンをクリックし、Datadogプリンシパルの値をコピーしておきます。

Google Cloud Platform Integration設定

Google Cloud側の設定（パート2）

サービスアカウントへのアクセス設定

1. Google Cloud コンソールから【IAMと管理】→【サービス アカウント】へアクセスし、先ほど作成したサービスアカウントを選択します。
2. 【アクセス権を持つプリンシパル】をクリックし、【アクセスを許可】をクリックします。

サービスアカウントへのアクセス設定

3. 【プリンシパルの追加】にDatadogプリンシパルの値を設定し、【ロール】にサービスアカウントトークン作成者を付与して【保存】をクリックします。

サービスアカウントへのアクセス設定

Datadog側の設定（パート2）

Google Cloud Integrationの有効化の続き

1. 【Add Service Account Email】に、Google Cloud側で作成したサービスアカウントを設定する。

Google Cloud Platform Integration設定

2. 【Metric Collection】では、インテグレーションに必要なGoogle Cloud側のメトリクスを設定します。

Google Cloud Platform Integration設定

3. 【Resource Collection】では、デフォルトの【Enable Resource Collection】を設定します。

Google Cloud Platform Integration設定

4. 【Complete Setup】で【Verify and Save Account】をクリックします。

Google Cloud Platform Integration設定

これでインテグレーション作業としては完了です。

Google Cloud Platform Integration設定完了

動作確認

メトリクスの確認

Datadogコンソールでメトリクスが収集されていることを確認します。

1. Datadogコンソールの左メニューから【Metrics】→【Explorer】を選択
2. 【Metrics】フィールドにgcp.run.container.cpu.usage.avgを入力
3. グラフが表示されることを確認

gcp.run.container.cpu.usage.avgのメトリクス

4. 【Metrics】フィールドにgcp.cloudsql.database.cpu.usage_timeを入力
5. グラフが表示されることを確認

gcp.cloudsql.database.cpu.usage_timeのメトリクス

ダッシュボードの確認

Datadogには、Google Cloud向けの事前構築されたダッシュボードが用意されています。
事前構築されたダッシュボードもよいですが、自身で作成したダッシュボードを利用することで必要なメトリクスや、情報を可視化することができるので自身で作成することをお勧めします。

1. 左メニューから【Dashboards】→【Dashboard List】を選択
2. 検索バーに「Google Cloud」と入力
3. 【Google Cloud Platform】などのダッシュボードを選択
4. Cloud SQLのメトリクスが表示されることを確認

以下のような情報が可視化されます。

• CPU使用率
• メモリ使用率
• コネクション数
• 稼働しているデータベース数

Cloud SQLのダッシュボード

最後に

今回は、Google CloudとDatadogをインテグレーションして、Google Cloudリソースのメトリクスを収集する方法を紹介しました。

Datadogを使用することで、マルチクラウド環境での統合的な監視が可能になり、より高度なアラート機能やダッシュボードを活用することができます。

本記事では基本的なメトリクス収集の設定方法を紹介しましたが、Datadogには他にも以下のような機能があります。

• APM（Application Performance Monitoring）によるアプリケーション性能監視
• ログ管理とログ分析
• セキュリティモニタリング
• SLO（Service Level Objective）の設定と追跡

次回はGoogle CloudのログをDatadogへ連携する方法について記載したいと思います。

この記事が誰かの助けになれば幸いです。

以上、クラウド事業本部コンサルティング部の渡邉でした！