
BigQuery Daya Engineering AgentのAgent Observabilityを試してみた
こんにちは、せーのです。2026年11月19日の BigQuery リリースノートで、Data Engineering Agent(DEA)向けの agent observability が GA になりました。トークン消費・リクエスト量・モデル遅延を Cloud Monitoring で、実行トレースとツール呼び出しを Cloud Trace で見られる、というアップデートです。
AI エージェントを業務に載せ始めると、機能と同じくらい「いま何トークン使って、どこで待たされているか」が見えないと不安になるものです。
今日は検証用 GCP プロジェクトで DEA を動かして Monitoring / Trace を覗いてみました。
結果から言うと、Agents > Monitoring の Enable all で監視(トークンと Trace の収集)を有効にする前後で、見え方がまったく変わりました。 有効化前は DEA 自体は動くのにトークン系メトリクスと Trace は空。有効化後にもう一度短い DEA を流すと、agent_type=DEA のトークン系・model_latencies・SendStreamingMessage → call_llm / execute_tool の Trace がそろって取れました。反映は完了後おおむね 2 分未満でした。ニアリアルタイム、ということですね。これはいいですね。
こちらが今回の構成図になります。

色ですが、青が BigQuery / DEA、緑が監視の設定と出力先、黄がモデルとツールの実行スパンを表しています。
左の青が実行側です。ユーザーが Ask agent で自然言語プロンプトを渡すと、Data Engineering Agent が A2A の SendStreamingMessage で受けます。中では黄色い call_llm が Gemini を呼び、execute_tool が Table Discovery や Dataform Compilation などの BQ / Dataform ツールを叩きます。
真ん中の緑が、さきほどの Enable all に相当するスイッチです。gibqObservabilitySetting は会話型分析とプロジェクト単位で共通で、metrics_enabled と traces_enabled の2つを持ちます。ここが ON だと、破線の token metrics は右の Cloud Monitoring(geminidataanalytics.googleapis.com/chat/*、フィルタは agent_type = DEA)へ、spans は Cloud Trace(ルートは SendStreamingMessage、その下に call_llm と execute_tool)へ流れます。Monitoring の枠にある quota(DEA への依頼回数。agent_id = dataengineeringagent)も、同じ画面で見る量です。
何が GA になったか(おさらい)
リリースノートの一文はこう書いてあります。
You can now enable agent observability with the Data Engineering Agent to monitor the agent's token consumption, request volume, and model latency in Cloud Monitoring and inspect execution traces and tool calls in Cloud Trace. This feature is generally available (GA).
出典: BigQuery release notes(2026-11-19)
ポイントを短く整理すると:
- 設定は会話型分析と共通のプロジェクト単位
gibqObservabilitySetting - Monitoring では
geminidataanalytics.googleapis.com/chat/*を見て、フィルタはagent_type = DEA - Trace のルートは
google.cloud.geminidataanalytics.a2a.SendStreamingMessage。中を開くとcall_llmとexecute_tool … - 11/5 前後の Observability GA は会話型分析側の話で、11/19 は DEA 手順書に Monitor 節が載り、DEA フィルタまで明示された、という読み方がしっくりきます(差分の見立て)
公式手順: Monitor the data engineering agent
有効化のやり方
コンソール
- Agents > Monitoring へ移動
- Enable Monitoring → Enable all → Close
今回の検証では、ここで Enable all を押すと「コア機能サービス」にチェックが付き、閲覧に必要なロール案内(monitoring.viewer / cloudtrace.user / logging.viewer / viewer または bigquery.dataViewer / cloudaicompanion.user)もパネルに出てきました。

gcloud
gcloud services enable \
monitoring.googleapis.com \
cloudtrace.googleapis.com \
--project=PROJECT_ID
gcloud gemini gibq-observability-settings create default \
--conversational-analytics-setting-metrics-enabled \
--conversational-analytics-setting-traces-enabled \
--project=PROJECT_ID \
--location=global
gcloud gemini gibq-observability-settings setting-bindings create \
binding-PROJECT_ID \
--gibq-observability-setting=default \
--target=projects/PROJECT_ID \
--project=PROJECT_ID \
--location=global
必要な権限は cloudaicompanion.gibqObservabilitySettings.* や settingBindings、Service Usage など一式です(詳細は create-data-agents の監視前提)。
手元での結果
検証用のサービスアカウント(gcloud を叩いた主体)では、上の gcloud services enable までは通りましたが、settings の create / list / get / binding はすべて PERMISSION_DENIED でした。
Permission 'cloudaicompanion.gibqObservabilitySettings.create' denied
Permission 'cloudaicompanion.gibqObservabilitySettings.list' denied
Permission 'cloudaicompanion.settingBindings.gibqObservabilitySettingsList' denied

サービスアカウントには setting を作る権限が足りませんでした。 Enable all 後もサービスアカウントからは list/get ができず、setting の中身は API では読めません(エラーリソースパスに .../gibqObservabilitySettings/default と出るので、名前は default っぽい、くらい)。
サービスアカウントを作るときには、cloudaicompanion.gibqObservabilitySettings.* や settingBindings もあらかじめ付けておきましょう。
取れるメトリクスと Trace(公式)
Monitoring(agent_type = DEA)
| メトリクス | 用途 |
|---|---|
.../chat/input_token_count |
入力トークン(モデルに渡したプロンプト。キャッシュ分も含む) |
.../chat/output_token_count |
出力トークン(モデルが生成した合計。返答本文と内部の推論を足した数) |
.../chat/candidate_token_count |
候補トークン(出力のうち、返答本文) |
.../chat/thought_token_count |
思考トークン(出力のうち、本文の前の内部の推論。本文には出ない) |
.../chat/cached_token_count |
キャッシュ済みトークン(入力のうち、キャッシュから再利用した分) |
.../chat/model_latencies |
モデル遅延 |
.../quota/a2a/requests_per_agent/usage |
DEA への依頼回数(A2A の SendStreamingMessage を送った回数。agent_id = dataengineeringagent) |
集計の目安は Alignment=Delta、Grouping=Sum、間隔 1m または 1h。有効化後からの収集で、バックフィルはありません。
Trace
- ルート:
SendStreamingMessage call_llm…gen_ai.usage.input_tokensなどexecute_tool TOOL_NAME… Table Discovery / Dataform Compilation など
公式ブログには、プライバシー面では、Monitoring / Trace の sanitized spans はプロンプト本文や生成 SQL を含めない、とあります。会話全文が必要なら conversation logging は別オプトインです。
やってみた
実験環境
DEA に小さなテーブル定義を1本書かせて、監視が付くかを見るための条件です。
- 場所は検証用 GCP プロジェクト、リージョンは
asia-northeast1(DEA の東京エンドポイント) - 入力は公開テーブル
bigquery-public-data.new_york_taxi_trips.tlc_green_trips_2022だけ - 同じ内容を2回。1回目は Enable all の前で、メトリクスが空なことを確認。2回目は Enable all の後で、トークンと Trace を実測

動かし方は上の図の上段です。
Dataform のリポジトリとワークスペースを用意し、DEA の A2A API(message:stream)を叩くと、コンソールの Ask agent に自然言語で頼むのと同じ状態となり、DEA へ依頼することになります。今回は実線の方、API で実行しました。
DEA はワークスペースに SQLX を1つ書きます。SQLX は Dataform の定義ファイルで、SQL の先頭に config が付いたものです。config には、テーブルであること、名前 dim_vendor、スキーマ dataform と書きます。拡張子は .sqlx で、今回のファイルは definitions/dim_vendor.sqlx です。
上の図の下段が、この SQLX を BigQuery のテーブルにする工程です。
- SQLX を書く。 DEA がワークスペースにファイルを置く
- compile。 SQLX を、BigQuery で実行できる SQL に組み立てる
- validate。 組み立てた定義にエラーがないか確認する
- 実行。 その SQL を BigQuery で走らせ、テーブルを実際に作る
- スケジュール。 その実行を定期的に回す
今回は 1〜3 までです。4 と 5 はクエリ料金とテーブルの保持が乗るので、費用を抑えるために入れていません。
DEA に短い次元テーブルを作らせる
Enable all 後のプロンプトはこれだけにしました。
Create a single small dimension SQLX file that lists distinct vendor_id from
bigquery-public-data.new_york_taxi_trips.tlc_green_trips_2022.
Use a surrogate key. Keep it minimal — one file only.
日本語にすると、「bigquery-public-data.new_york_taxi_trips.tlc_green_trips_2022 から、重複を除いた vendor_id の一覧を出す小さな次元テーブル用 SQLX を、1ファイルだけ作る。代理キーを使う。中身は最小限にする」です。

1ターン目は約 58 秒で、カタログ検索、スキーマ取得、プロファイル、Engineering Spec まで進んで止まり、確認を待っていました。この時点では SQLX はまだありません。2ターン目に「実装して」と返すと、約 40 秒で definitions/dim_vendor.sqlx が書かれ、compile と validate がエラー 0 で完了しました。
書かれた SQLX は、公開データだけを参照する次の形です。
config {
type: "table",
schema: "dataform",
name: "dim_vendor",
tags: ["auto-cleaning"]
}
SELECT DISTINCT
FARM_FINGERPRINT(TRIM(vendor_id)) AS vendor_key,
TRIM(vendor_id) AS vendor_id
FROM
`bigquery-public-data.new_york_taxi_trips.tlc_green_trips_2022`

応答の流れでは、Table Discovery のあと、Dataform への write、compile、validate が順に動いていました。モデル名は gemini-3.7-flash で、応答の conversation token の中に書いてありました。
Monitoring を見ると(Enable all 後)
Enable all のあと、agent_type=DEA でトークンのメトリクスを問い合わせると、0 ではない値が返ってきました。DEA が終わって約 1 分後には出ていて、約 5〜8 分後に値が安定しました。
| メトリクス | 合計(1m DELTA の和) |
|---|---|
input_token_count(プロンプト。キャッシュ分も含む) |
274,956 |
cached_token_count(入力のうち再利用した分) |
166,234 |
output_token_count(生成の合計。本文と推論を足した数) |
7,409 |
candidate_token_count(出力のうち返答本文) |
2,626 |
thought_token_count(出力のうち内部の推論) |
4,783 |


気づいた点:
outputはcandidate(返答本文)とthought(内部の推論)を足した数と一致しました。7409 = 2626 + 4783 ですinputは、呼び出しごとの prompt を足した数に近く、キャッシュ分も入っています。費用を見積もるときは、inputからcachedを引いた数が近いです。今回は約 108,722 です- Enable all より前に流した回のトークンは、あとから埋まりません。有効化した時点より前は空のままです
model_latencies も 0 ではありませんでした。メトリクスの単位はミリ秒で、1 分ごとの平均にするとおおよそ 4.5〜7.0 秒です。

A2Aのクォータが以下のグラフになります。
A2A(Agent2Agent)は、DEA に依頼を届ける API です。クォータは、その依頼を何回送ったかの使用量で、SendStreamingMessage の回数が出ます。
ちなみにこの回数は observability の setting を作る前から見えていました。
- メトリクス:
geminidataanalytics.googleapis.com/quota/a2a/requests_per_agent/usage - labels:
agent_id=dataengineeringagent、method=…SendStreamingMessage

Trace を見ると(Enable all 後)
Cloud Trace で SendStreamingMessage を絞り込むと、トレースが 2 本取れました。1ターン目(カタログ検索から Engineering Spec まで進んで確認待ち。SQLX はまだ無い)と、2ターン目(「実装して」で definitions/dim_vendor.sqlx を書き、compile と validate がエラー 0)の2本です。
1ターン目の親スパン(そのターン全体を包む SendStreamingMessage)は約 57 秒です。その下に call_llm が複数あり、そのあいだに execute_tool が並びます。ツールは Dataplex Catalog Search、BigQuery Table Discovery、BigQuery Schema and Samples、Data Profiling などです。call_llm のスパンには、gen_ai.usage.input_tokens のようなトークン数のラベルが付いていました。


2ターン目は約 40 秒で、SQLX を書く Dataform File Write と、validate にあたる Dataform Action Validation が中心でした。

コンソールの Trace エクスプローラです。スパン名を SendStreamingMessage に絞ると、57 秒と 40 秒の 2 本が出ます。

57 秒のトレースを開いたタイムラインです。SendStreamingMessage の下に call_llm と execute_tool が並びます。

conversation token の usageMetadata との突き合わせ
conversation token とは、DEA の応答に付いてくる1本の文字列の事です。中には、その時点までの会話の状態が入っています。次の依頼にこの文字列を載せると、前回の続きから進みます。
届いた値は、エンコードされた文字列です。そのままでは中が読めません。デコードすると、会話の状態が出てきます。
その状態には、いくつかの情報が入っています。その一つが、これまでの LLM 呼び出しの履歴です。履歴は呼び出しごとに並んでいて、各回に usageMetadata が付いています。usageMetadata は、その1回が使ったトークン数で、プロンプト(キャッシュ分も含む)、キャッシュから再利用した分、返答本文、内部の推論が入っています。モデル名 gemini-3.7-flash も、同じ状態の中に書いてありました。
Enable all のあとの回では、この usageMetadata が 12 回分ありました。呼び出しごとにプロンプトからキャッシュ分を引き、0 未満は 0 にして足すと 107,415 です。Monitoring の input − cached と同じ引き方です。返答本文と内部の推論を足すと 7,158 です。
下の表が、この合計と Cloud Monitoring の合計です。
| 項目 | usageMetadata 見立て | Monitoring |
|---|---|---|
| LLM 呼び出し | 12 | latencies count 合計 15(サブエージェント含む見立て) |
| 増分 input(max(prompt−cached, 0) の合計) | 107,415 | input−cached ≈ 108,722 |
| output(candidate=返答本文 + thought=内部の推論) | 7,158 | 7,409 |
Monitoring の model_latencies の件数は 15 で、会話の履歴に残った 12 回より多いです。サブエージェントの呼び出しが Monitoring 側に入っている見立てです。input は Monitoring が約 1,300 多く、output は約 250 多いです。
Monitoring の数字は、ダッシュボード用にまとめた値です。usageMetadata は、会話の履歴に残った呼び出しごとの値です。
費用
Data Agents pricing は $3 / 100万 input、$20 / 100万 output。2026-12-31 まで Data Cloud agents の free trial があります。
公式ドキュメントには、Monitoring のトークン数を請求トークンへ換算する式がありません。今回は次の式で見積もりました。
billable_input ≈ input_token_count − cached_token_count ≈ 108722
cost ≈ 108722/1e6 * $3 + 7409/1e6 * $20 ≈ $0.47
2026-12-31 までは free trial なので、エージェント利用料の実績は $0 と見ています。パイプラインの実行(テーブル作成)もしていないので、今回の合計は $1 未満です。
AWS との比較
| 観点 | GCP DEA observability | Amazon Bedrock AgentCore Observability |
|---|---|---|
| 有効化 | プロジェクトの gibqObservabilitySetting |
Runtime 組み込み + 計装、Transaction Search 前提あり |
| トークン粒度 | input / output / candidate / thought / cached | セッション・トークン・エラー等(CloudWatch) |
| トレース | call_llm / execute_tool |
GenAI Observability / AgentCore トレース |
| 置き場所 | Cloud Monitoring / Trace | CloudWatch |
Google Cloud は、プロジェクトの設定を一度 ON にすると、DEA のメトリクスが Cloud Monitoring と Cloud Trace に流れます。AWS は、エージェントの実行基盤側で観測を仕掛け、結果を CloudWatch に載せます。
まとめ
- setting を作るには
gibqObservabilitySettings系の権限が必要です。 無いと create が PERMISSION_DENIED になります。サービスアカウントを作るときに、この権限を足しておきます - Enable all の前は、トークンと Trace は空です。 DEA への依頼回数(A2A のクォータ、
agent_id=dataengineeringagent)は、その前から見えます - Enable all のあとに短い DEA を 1 回流すと、トークン数、レイテンシ、Trace の
call_llmとexecute_toolが取れます。 反映は完了後おおむね 2 分未満です - 費用は、Monitoring の
inputからcachedを引いた数とoutputを、Data Agents の単価に掛けて見積もります。公式の換算式はなく、見立てです。trial 中は $0 に近くなります
FinOps のダッシュボードを作るときは、Enable all で監視をオンにし、agent_type=DEA のトークンを見て、Trace の call_llm と execute_tool を開く、の順で足ります。










