Pub/SubのAI Inference SMTでメッセージにVertex AI推論を組み込んでみる

# 自前デプロイモデル
projects/{プロジェクトID}/locations/{ロケーション}/endpoints/{エンドポイント}

# Model Garden（MaaS）
projects/{プロジェクトID}/locations/{ロケーション}/publishers/{パブリッシャー}/models/{モデル名}

{
  "model": "google/gemini-2.5-flash",
  "messages": [
    {
      "role": "user",
      "content": "この商品レビューの感情を分析してください: とても使いやすくて満足しています"
    }
  ]
}

{
  "original_message": {
    "model": "google/gemini-2.5-flash",
    "messages": [
      {
        "role": "user",
        "content": "この商品レビューの感情を分析してください: とても使いやすくて満足しています"
      }
    ]
  },
  "model_output": {
    "choices": [
      {
        "message": {
          "content": "この商品レビューの感情はポジティブです。..."
        }
      }
    ]
  }
}

$ gcloud beta services identity create \
    --service=pubsub.googleapis.com \
    --project={プロジェクトID}

$ gcloud projects add-iam-policy-binding kobayashi-masahiro \
  --member="serviceAccount:service-233151396088@gcp-sa-pubsub.iam.gserviceaccount.com" \
  --role="roles/aiplatform.user" \
  --condition=None

- aiInference:
    endpoint: projects/{プロジェクトID}/locations/global/publishers/google/models/gemini-2.5-flash
    unstructuredInference:
      parameters:
        "max_tokens": 25000

FAILED_PRECONDITION: The request contains an AI Inference SMT with an endpoint in a different region than where the request is being processed.

# バリデーション
$ gcloud pubsub message-transforms validate \
  --message-transform-file=ai-smt.yaml
Message transform is valid.

# テスト（サンプルメッセージで実行）
$ gcloud pubsub message-transforms test \
  --message-transforms-file=ai-smt.yaml \
  --message='{"model":"google/gemini-2.5-flash","messages":[{"role":"user","content":"Hello"}]}' \
  --format=json

[
  {
    "data": "{\"model_output\":{\"choices\":[{\"finish_reason\":\"stop\",\"index\":0,\"logprobs\":null,\"message\":{\"content\":\"Hello! How can I help you today?\",\"role\":\"assistant\"}}],\"created\":1776639286,\"id\":\"Nl3lafjzApaR3NMP0tHQ-Ag\",\"model\":\"google/gemini-2.5-flash\",\"object\":\"chat.completion\",\"system_fingerprint\":\"\",\"usage\":{\"completion_tokens\":9,\"completion_tokens_details\":{\"reasoning_tokens\":317},\"extra_properties\":{\"google\":{\"traffic_type\":\"ON_DEMAND\"}},\"prompt_tokens\":1,\"total_tokens\":327}},\"original_message\":{\"messages\":[{\"content\":\"Hello\",\"role\":\"user\"}],\"model\":\"google/gemini-2.5-flash\"}}"
  }
]

FAILED_PRECONDITION: Cloud Pub/Sub does not have the necessary permissions to perform this operation: Permission 'aiplatform.endpoints.get' denied on resource '//aiplatform.googleapis.com/projects/{プロジェクト番号}/locations/{ロケーション}'

# トピックの作成
$ gcloud pubsub topics create my-ai-topic
Created topic [projects/{プロジェクトID}/topics/my-ai-topic].

# SMTを設定したサブスクリプションの作成
$ gcloud pubsub subscriptions create my-ai-sub \
  --topic=projects/{プロジェクトID}/topics/my-ai-topic \
  --ack-deadline=600 \
  --message-transforms-file=ai-smt.yaml
Created subscription [projects/{プロジェクトID}/subscriptions/my-ai-sub].

$ gcloud pubsub topics publish my-ai-topic --message=$'{
  "model": "google/gemini-2.5-flash",
  "messages": [
    {
      "role": "user",
      "content": "pub/subってどんなサービス？"
    }
  ]
}'
messageIds:
- '18462074268845036'

$ gcloud pubsub subscriptions pull my-ai-sub --auto-ack --limit=1 --format=json

{
  "model_output": {
    "choices": [
      {
        "finish_reason": "stop",
        "index": 0,
        "logprobs": null,
        "message": {
          "content": "Pub/Sub（パブサブ）は、「**Publisher/Subscriber（発行者/購読者）**」の略で、非同期メッセージングシステムの一種です。\n\n簡単に言うと、情報の「送り手」と「受け手」が直接やり取りすることなく、(以降省略)",
          "role": "assistant"
        }
      }
    ],
    "created": 1776551224,
    "id": "OAXkaaycDP-a3NMPh7e46A4",
    "model": "google/gemini-2.5-flash",
    "object": "chat.completion",
    "system_fingerprint": "",
    "usage": {
      "completion_tokens": 1070,
      "completion_tokens_details": {
        "reasoning_tokens": 1051
      },
      "extra_properties": {
        "google": {
          "traffic_type": "ON_DEMAND"
        }
      },
      "prompt_tokens": 7,
      "total_tokens": 2128
    }
  },
  "original_message": {
    "messages": [
      {
        "content": "pub/subってどんなサービス？",
        "role": "user"
      }
    ],
    "model": "google/gemini-2.5-flash"
  }
}