Bedrock(Claude 4)でToolsがどのタイミングPrompt cachingされるか試してみた(MCP利用)

import path from "node:path";
import { createAmazonBedrock } from "@ai-sdk/amazon-bedrock";
import { fromNodeProviderChain } from "@aws-sdk/credential-providers";
import {
  type CoreMessage,
  type CoreSystemMessage,
  type CoreUserMessage,
  experimental_createMCPClient,
  streamText,
} from "ai";
import { Experimental_StdioMCPTransport } from "ai/mcp-stdio";
import { logger } from "./utils/logger";

const AWS_REGION = process.env.AWS_REGION || "us-east-1";
const GRAFANA_API_KEY = process.env.GRAFANA_API_KEY!;

const bedrock = createAmazonBedrock({
  region: AWS_REGION,
  credentialProvider: fromNodeProviderChain(),
});

const modelID = {
  apac: "apac.anthropic.claude-sonnet-4-20250514-v1:0",
  us: "us.anthropic.claude-sonnet-4-20250514-v1:0",
};

const model = bedrock(modelID.us, {
  additionalModelRequestFields: {},
});

const mcpClient = await experimental_createMCPClient({
  transport: new Experimental_StdioMCPTransport({
    command: path.join(process.cwd(), "bin/.mcp-grafana/mcp-grafana"),
    args: [],
    env: {
      GRAFANA_URL: "http://localhost:8085",
      GRAFANA_API_KEY,
    },
  }),
});

const tools = await mcpClient.tools();

const processMessages = async () => {
  try {
    const systemContent = `あなたはGrafanaのダッシュボードを操作するためのアシスタントです。
あなたの主な機能は、ユーザーにGrafanaのダッシュボードを操作するためのツールを提供することです。
Grafanaのダッシュボードを操作するためのMCPを使用してください。`;

    const systemMessage: CoreSystemMessage = {
      role: "system",
      content: systemContent,
      providerOptions: {
        bedrock: { cachePoint: { type: "default" } },
      },
    };

    const userMessage: CoreUserMessage = {
      role: "user",
      content: "あなたはどんなことができますか？",
    };

    const messages: CoreMessage[] = [systemMessage, userMessage];

    const { textStream } = streamText({
      model,
      messages: messages,
      tools,
      experimental_toolCallStreaming: true,
      onFinish: (event) => {
        logger.info(
          {
            usage: {
              ...event.usage,
              // @ts-ignore
              bedrock: event.providerMetadata?.bedrock.usage ?? null,
              // NOTE: erimental_providerMetadataはdeplicate
              // experimental_bedrock: event.experimental_providerMetadata?.bedrock.usage ?? null,
            },
          },
          "Stream completed with token usage",
        );

        logger.info({
          output: {
            text: event.text,
          },
        });
      },
      onError: ({ error }) => {
        logger.error({ error }, "Stream error occurred");

        throw error;
      },
    });

    for await (const textPart of textStream) {
      process.stdout.write(textPart);
    }
  } catch (error) {
    logger.error({ error }, "Error processing chat request");
    throw new Error(error instanceof Error ? error.message : "An error occurred.");
  }
};

await processMessages();

export GRAFANA_API_KEY="glsa_***"
export AWS_REGION="us-east-1"

npx tsx ./src/index.ts

{
    "schemaType": "ModelInvocationLog",
    "schemaVersion": "1.0",
    "timestamp": "2025-06-09T02:31:39Z",
    "accountId": "111111111111",
    "identity": {
        "arn": "arn:aws:sts::111111111111:assumed-role/shuntaka/1749427297374859000"
    },
    "region": "us-east-1",
    "requestId": "ced3c99a-0c8a-41c5-82fe-26ecbff20d3c",
    "operation": "ConverseStream",
    "modelId": "us.anthropic.claude-sonnet-4-20250514-v1:0",
    "input": {
    (中略)
        "inputTokenCount": 153,
        "cacheReadInputTokenCount": 0,
        "cacheWriteInputTokenCount": 7191
    },
    "output": {
        "outputContentType": "application/json",
        "outputBodyJson": {
            "output": {
                "message": {
                    "role": "assistant",
                    "content": [
                        {
                            "text": "私はGrafanaのダッシュボードやモニタリングシステムを操作するためのアシスタントです。以下のような機能を提供できます：\n\n## 📊 ダッシュボード操作\n- **ダッシュボードの検索・取得**: タイトルやキーワードでダッシュボードを検索\n- **ダッシュボードの作成・更新**: 新しいダッシュボードの作成や既存のものの更新\n- **パネル情報の取得**: ダッシュボード内のパネルのクエリやデータソース情報を確認\n\n## 🔍 データクエリ・分析\n- **Prometheusクエリ**: PromQLを使用したメトリクス取得\n- **Lokiログクエリ**: LogQLを使用したログ検索・分析\n- **ラベル・メトリクス情報**: 利用可能なラベルやメトリクス名の一覧取得\n- **エラーパターン分析**: ログから異常なエラーパターンを検出\n- **スロークエリ検出**: パフォーマンス問題の特定\n\n## 🚨 アラート・インシデント管理\n- **アラートルール管理**: アラートルールの一覧取得・詳細確認\n- **インシデント管理**: インシデントの作成・更新・一覧取得\n- **通知設定**: コンタクトポイントの管理\n\n## 👥 チーム・オンコール管理\n- **オンコール管理**: スケジュール確認・当番者の特定\n- **チーム管理**: チーム情報の検索・管理\n- **ユーザー管理**: ユーザー情報の取得\n\n## 🔧 システム管理\n- **データソース管理**: Prometheus、Loki、Tempoなどのデータソース情報取得\n- **アサーション確認**: エンティティの状態確認\n- **調査・分析**: Siftを使用した詳細な調査\n\n何か具体的にお手伝いできることがあれば、お気軽にお聞かせください！例えば：\n- 「特定のサービスのダッシュボードを探して」\n- 「最近のエラーログを調べて」\n- 「現在のオンコール担当者を教えて」\n- 「アラートが発火している項目を確認して」\n\nなどのリクエストに対応できます。"
                        }
                    ]
                }
            },
            "stopReason": "end_turn",
            "metrics": {
                "latencyMs": 18555
            },
            "usage": {
                "inputTokens": 153,
                "cacheReadInputTokens": 0,
                "cacheWriteInputTokens": 7191,
                "outputTokens": 707,
                "totalTokens": 8051
            }
        },
        "outputTokenCount": 707
    },
    "inferenceRegion": "us-west-2"
}

{
    "schemaType": "ModelInvocationLog",
    "schemaVersion": "1.0",
    "timestamp": "2025-06-09T02:32:41Z",
    "accountId": "111111111111",
    "identity": {
        "arn": "arn:aws:sts::111111111111:assumed-role/shuntaka/1749427297374859000"
    },
    "region": "us-east-1",
    "requestId": "0805ba0b-1909-493f-a8b3-7a7b461c7b5d",
    "operation": "ConverseStream",
    "modelId": "us.anthropic.claude-sonnet-4-20250514-v1:0",
    "input": {
    (中略)
        "inputTokenCount": 153,
        "cacheReadInputTokenCount": 7191,
        "cacheWriteInputTokenCount": 0
    },
    "output": {
        "outputContentType": "application/json",
        "outputBodyJson": {
            "output": {
                "message": {
                    "role": "assistant",
                    "content": [
                        {
                            "text": "私はGrafanaのダッシュボードやモニタリングシステムを操作するためのアシスタントです。以下のような機能を提供できます：\n\n## 📊 ダッシュボード操作\n- **ダッシュボードの検索・取得**: タイトルやキーワードでダッシュボードを検索\n- **ダッシュボードの作成・更新**: 新しいダッシュボードの作成や既存のものの更新\n- **パネル情報の取得**: ダッシュボード内のパネルのクエリやデータソース情報を確認\n\n## 🔍 データクエリ・分析\n- **Prometheusクエリ**: PromQLを使用したメトリクス取得\n- **Lokiログクエリ**: LogQLを使用したログ検索・分析\n- **ラベル・メトリクス情報**: 利用可能なラベルやメトリクス名の一覧取得\n- **エラーパターン分析**: ログから異常なエラーパターンを検出\n- **スロークエリ検出**: 遅いリクエストの特定\n\n## 🚨 アラート・インシデント管理\n- **アラートルール管理**: アラートルールの一覧取得・詳細確認\n- **インシデント管理**: インシデントの作成・更新・詳細確認\n- **通知設定**: コンタクトポイントの管理\n\n## 👥 チーム・オンコール管理\n- **オンコール管理**: スケジュール確認・当番者の特定\n- **チーム管理**: チーム情報の検索・確認\n- **ユーザー管理**: ユーザー情報の取得\n\n## 🔧 システム管理\n- **データソース管理**: Prometheus、Loki、Tempoなどのデータソース情報取得\n- **アサーション確認**: エンティティの状態確認\n\n何か具体的にやりたいことがあれば、お気軽にお聞かせください！例えば：\n- 「特定のサービスのダッシュボードを探したい」\n- 「エラーログを調べたい」\n- 「現在のアラート状況を確認したい」\n- 「オンコール担当者を知りたい」\n\nなどなど、お手伝いできます。"
                        }
                    ]
                }
            },
            "stopReason": "end_turn",
            "metrics": {
                "latencyMs": 15733
            },
            "usage": {
                "inputTokens": 153,
                "cacheReadInputTokens": 7191,
                "cacheWriteInputTokens": 0,
                "outputTokens": 679,
                "totalTokens": 8023
            }
        },
        "outputTokenCount": 679
    },
    "inferenceRegion": "us-west-2"
}

{
    "schemaType": "ModelInvocationLog",
    "schemaVersion": "1.0",
    "timestamp": "2025-06-09T02:33:44Z",
    "accountId": "111111111111",
    "identity": {
        "arn": "arn:aws:sts::111111111111:assumed-role/shuntaka/1749427297374859000"
    },
    "region": "us-east-1",
    "requestId": "eb200a15-75ed-4be6-b328-021ebc70e8b4",
    "operation": "ConverseStream",
    "modelId": "us.anthropic.claude-sonnet-4-20250514-v1:0",
    "input": {
    (中略)
        "inputTokenCount": 7353,
        "cacheReadInputTokenCount": 0,
        "cacheWriteInputTokenCount": 0
    },
    "output": {
        "outputContentType": "application/json",
        "outputBodyJson": {
            "output": {
                "message": {
                    "role": "assistant",
                    "content": [
                        {
                            "text": "私はGrafanaの包括的な操作を支援するアシスタントです。以下のような機能を提供できます：\n\n## 📊 ダッシュボード操作\n- **ダッシュボードの検索**: キーワードでダッシュボードを検索\n- **ダッシュボードの取得**: UIDを使って特定のダッシュボードの詳細を取得\n- **ダッシュボードの作成・更新**: 新しいダッシュボードの作成や既存のものの更新\n- **パネルクエリの確認**: ダッシュボード内の各パネルのクエリ情報を取得\n\n## 🔍 データソース管理\n- **データソース一覧**: 利用可能なデータソース（Prometheus、Loki、Tempoなど）の表示\n- **データソース詳細**: 名前やUIDでデータソースの詳細情報を取得\n\n## 📈 メトリクス・ログクエリ\n### Prometheus\n- **メトリクス検索**: メトリクス名の一覧取得と検索\n- **ラベル操作**: ラベル名・値の取得\n- **PromQLクエリ**: 即座クエリや範囲クエリの実行\n- **メタデータ取得**: メトリクスのメタデータ情報\n\n### Loki\n- **ログクエリ**: LogQLを使ったログ検索\n- **ラベル管理**: ログのラベル名・値の取得\n- **統計情報**: ログストリームの統計（エントリ数、バイト数など）\n\n## 🚨 アラート・インシデント管理\n- **アラートルール**: アラートルールの一覧表示と詳細取得\n- **インシデント管理**: インシデントの作成、一覧表示、詳細取得\n- **インシデント活動**: インシデントへのノート追加\n- **通知設定**: コンタクトポイントの管理\n\n## 👥 OnCall・チーム管理\n- **OnCallスケジュール**: スケジュールの管理と当番確認\n- **チーム管理**: チームの検索と管理\n- **ユーザー管理**: OnCallユーザーの管理\n\n## 🔧 高度な分析機能\n- **エラーパターン分析**: Lokiログから異常なエラーパターンを検出\n- **遅延リクエスト分析**: Tempoを使った遅いリクエストの特定\n- **アサーション確認**: エンティティのアサーション状況確認\n- **Sift調査**: 調査の作成・管理・分析結果の取得\n\n## 使用例\n```\n「エラーログを調べて」\n「CPUメトリクスを確認したい」\n「新しいインシデントを作成して」\n「今日の当番は誰？」\n「ダッシュボードを更新したい」\n```\n\n何か具体的にやりたいことがあれば、お気軽にお聞かせください！"
                        }
                    ]
                }
            },
            "stopReason": "end_turn",
            "metrics": {
                "latencyMs": 20268
            },
            "usage": {
                "inputTokens": 7353,
                "outputTokens": 879,
                "totalTokens": 8232
            }
        },
        "outputTokenCount": 879
    },
    "inferenceRegion": "us-east-2"
}

{
    "schemaType": "ModelInvocationLog",
    "schemaVersion": "1.0",
    "timestamp": "2025-06-09T02:34:16Z",
    "accountId": "111111111111",
    "identity": {
        "arn": "arn:aws:sts::111111111111:assumed-role/shuntaka/1749427297374859000"
    },
    "region": "us-east-1",
    "requestId": "69973c60-ffcc-4904-863e-75b6616aa554",
    "operation": "ConverseStream",
    "modelId": "us.anthropic.claude-sonnet-4-20250514-v1:0",
    "input": {
    (中略)
        "inputTokenCount": 162,
        "cacheReadInputTokenCount": 7191,
        "cacheWriteInputTokenCount": 0
    },
    "output": {
        "outputContentType": "application/json",
        "outputBodyJson": {
            "output": {
                "message": {
                    "role": "assistant",
                    "content": [
                        {
                            "text": "私はGrafanaの包括的な操作を支援するアシスタントです。以下のような機能を提供できます：\n\n## 📊 ダッシュボード操作\n- **ダッシュボードの検索**: キーワードでダッシュボードを検索\n- **ダッシュボードの取得**: UIDを使って特定のダッシュボードの詳細を取得\n- **ダッシュボードの作成・更新**: 新しいダッシュボードの作成や既存のものの更新\n- **パネルクエリの確認**: ダッシュボード内の各パネルのクエリ情報を取得\n\n## 🔍 データソース管理\n- **データソース一覧**: 利用可能なデータソース（Prometheus、Loki、Tempoなど）の表示\n- **データソース詳細**: 名前やUIDでデータソースの詳細情報を取得\n\n## 📈 メトリクス・ログクエリ\n### Prometheus\n- **メトリクス検索**: メトリクス名の一覧取得と検索\n- **ラベル操作**: ラベル名・値の取得\n- **PromQLクエリ**: 即座クエリや範囲クエリの実行\n- **メタデータ取得**: メトリクスのメタデータ情報\n\n### Loki\n- **ログクエリ**: LogQLを使ったログ検索\n- **ラベル管理**: ログのラベル名・値の取得\n- **統計情報**: ログストリームの統計（エントリ数、バイト数など）\n\n## 🚨 アラート・インシデント管理\n- **アラートルール**: アラートルールの一覧表示と詳細取得\n- **インシデント管理**: インシデントの作成、一覧表示、詳細取得\n- **インシデント活動**: インシデントへのノート追加\n- **通知設定**: コンタクトポイントの管理\n\n## 👥 OnCall・チーム管理\n- **OnCallスケジュール**: スケジュールの管理と当番確認\n- **チーム管理**: チームの検索と管理\n- **ユーザー管理**: OnCallユーザーの管理\n\n## 🔧 高度な分析機能\n- **エラーパターン分析**: Lokiログから異常なエラーパターンを検出\n- **遅延リクエスト分析**: Tempoを使った遅いリクエストの特定\n- **アサーション確認**: エンティティのアサーション状況確認\n- **Sift調査**: 調査の作成・管理・分析結果の取得\n\n## 使用例\n```\n「エラーログを調べて」\n「CPUメトリクスを確認したい」\n「新しいインシデントを作成して」\n「今日の当番は誰？」\n「ダッシュボードを更新したい」\n```\n\n何か具体的にやりたいことがあれば、お気軽にお聞かせください！"
                        }
                    ]
                }
            },
            "stopReason": "end_turn",
            "metrics": {
                "latencyMs": 21265
            },
            "usage": {
                "inputTokens": 162,
                "cacheReadInputTokens": 7191,
                "cacheWriteInputTokens": 0,
                "outputTokens": 879,
                "totalTokens": 8232
            }
        },
        "outputTokenCount": 879
    },
    "inferenceRegion": "us-west-2"
}