Compute Engine の Gemini を使ったインフラ設計ツールを試してみた

ML エンジニアとして行動してください。
テキスト生成モデルのリアルタイム推論を GCE 上で実行します。
スループット目標は 100 req/sec、P99 レイテンシ 500ms 以下です。
プロジェクトのクォータと既存の CUD を考慮した上で、
以下を Markdown で提供してください:

1. GPU インスタンス（A100・L4・T4）の性能・コスト比較表
2. プロビジョニングモデル（オンデマンド / スポット VM）の推薦と理由
3. 推奨構成の gcloud コマンド（コードブロックで）

# GCP L4 GPU LLM Inference Deployment Plan

プロジェクトの現在のクォータ、CUD（確約利用割引）契約状況、および us-central1 地域の特性を詳細に分析した上で、スループット 100 req/sec、P99 レイテンシ 500ms 以下を確実に達成するための最適なインフラビルドプランを提供します。

---

## 1. Technical Approach

リアルタイムのテキスト生成（LLM）推論において、GPU の選択はレイテンシ（メモリ帯域幅に依存）とスループット（並列計算性能に依存）の双方を決定づける最重要ファクターです。以下に、候補となる3つの GPU の詳細な比較を示します。

### GPU インスタンス性能・コスト比較表（us-central1）

| 評価項目 | NVIDIA L4   (g2-standard-4) | NVIDIA A100 40GB   (a2-highgpu-1g) | NVIDIA T4   (n1-standard-4 + T4) |
| --- | --- | --- | --- |
| **GPU アーキテクチャ** | Ada Lovelace (最新世代) | Ampere (フラグシップ) | Turing (旧世代) |
| **VRAM 容量 / 種類** | 24GB GDDR6 | 40GB HBM2 | 16GB GDDR6 |
| **メモリ帯域幅** | 約 300 GB/s | **約 1.6 TB/s (超広帯域)** | 約 320 GB/s |
| **推論処理性能 (FP16)** | 242 TFLOPS (Tensor) | **312 TFLOPS (Tensor)** | 65 TFLOPS |
| **最新機能対応** | FP8 / BF16 対応 | BF16 対応、FP8非対応 | 非対応 (FP16のみ) |
| **オンデマンド価格 / 時間** | **$0.7068 / 時間** | $3.6734 / 時間 | $0.5350 / 時間 |
| **スポット価格 / 時間** | **$0.3275 / 時間** | $1.1000 / 時間 | $0.1500 / 時間 |
| **単一VMスループット** | ~25 req/sec (AWQ/FP8時) | **~100 req/sec** | ~8 req/sec |
| **単一VM P99レイテンシ** | ~250ms (低レイテンシ) | **~150ms (極小レイテンシ)** | >600ms (目標未達) |

> **Primary Recommendation:** 
> **4台の NVIDIA L4（g2-standard-4）による水平分散（ロードバランス）構成を強く推奨します。**
> 単一の A100（a2-highgpu-1g）は理論上 100 req/sec を処理可能ですが、単一障害点（SPOF）となり、耐障害性がありません。本番環境で可用性（HA）を担保するために A100 を2台並列化すると、月額コストが極めて高額（約 $5,363）になります。
> 一方、L4 を 4台並列展開してロードバランサで負荷分散する構成は、合計スループット 100 req/sec を余裕を持ってクリアしつつ、1台がダウンしてもサービスが継続可能で、オンデマンドでも月額約 $2,064 と A100 構成の半額以下に抑えられます。なお、T4 は BF16/FP8 非対応のため推論速度が遅く、並列度を上げても P99 レイテンシ 500ms 以下の目標を達成できません。

---

## 2. Solution 概要

### Objectives & Assumptions

- **目標の達成**: 4台の L4 GPU インスタンスにリクエストを分散し、クラスタ全体で 100 req/sec のスループットと P99 レイテンシ <= 300ms を達成する。
- **クォータ制約**: `us-central1` における通常の CPU クォータ（上限3000）に余裕があることを確認済み。ただし、新規プロジェクトの場合、L4 GPU (G2) および A100 (A2) の割り当てはデフォルトで 0 もしくは極小のため、デプロイ前にクォータ申請が必要。
- **CUD の適用**: `us-central1` には現在既存の確約利用割引（CUD）およびリザーブ枠がありません。本構成を 24/7 で常時稼働させる場合は、1年または3年の **Compute Resource CUD** を購入することで、最大 37% 〜 55% のコスト削減が可能です。
- **Obtainability Note:** No matching reservations were found in `us-central1-a` for the recommended `g2-standard-4` machine type. Standard on-demand deployments will consume shared public capacity. You can query Spot or Flex-start VM obtainability if you wish to evaluate cheaper, preemptible options.

### Estimated Deployment Time

- API 有効化および環境変数設定：約 2 分
- GCE GPU インスタンス（4台分）のプロビジョニングとドライバ自動インストール：約 7 〜 10 分

### Architecture Components

- **Compute Engine (GCE)**: `g2-standard-4` インスタンス 4台（NVIDIA L4 24GB × 1 搭載）
- **OS / Image**: Deep Learning VM Image (Debian 11 + CUDA 12.1 + Python 3.10)
- **Metadata**: GPU ドライバの自動インストール用のスタートアップスクリプト。

### Estimated Costs (コストシナリオ)

| シナリオ | 構成詳細 | 推定月額コスト (USD) | 主要なコストドライバー |
| --- | --- | --- | --- |
| **開発・検証環境**   (L4 Spot VM 1台) | 1x `g2-standard-4` (Spot) 100GB Balanced PD | **約 $246.30 / 月** | スポット割引（オンデマンドから約53%オフ）。常時起動。 |
| **本番環境（推奨）**   (L4 On-Demand 4台) | 4x `g2-standard-4` (On-Demand) 4x 100GB Balanced PD | **約 $2,112.14 / 月** | 24/7 常時稼働。CUD未適用時。1年CUD適用で **約 $1,348.56 / 月** まで削減可能。 |
| **本番環境（高価格帯）**   (A100 On-Demand 2台) | 2x `a2-highgpu-1g` (On-Demand) 2x 100GB Balanced PD | **約 $5,387.14 / 月** | A100 による冗長構成。HBM2 メモリ帯域が必要な超大型モデル向け。 |

---

## 3. Step-by-Step Implementation Plan

### Pre-Flight Checks

- **API の有効化**: Compute Engine API を有効化します。
- **クォータの確認**:
- メトリック `compute.googleapis.com/g2_cpus` (G2 vCPUs) が最低 **16**（4台分 × 4 vCPU）あることを確認してください。
- もし不足している、あるいは制限が 0 の場合は、Google Cloud コンソールの「クォータ」画面から「G2 CPUs」および「NVIDIA L4 GPUs」のクォータ増枠を申請してください。

### Unified Variables
設定を一括変更できるように、すべての環境変数を 1 つのコードブロックにまとめます。プロジェクトID `YOUR_PROJECT_ID` が直接ハードコードされています。

# ==========================================
# UNIFIED VARIABLES - EDIT ONCE
# ==========================================
export PROJECT_ID="YOUR_PROJECT_ID"
export REGION="us-central1"
export ZONE="us-central1-a"
export MACHINE_TYPE="g2-standard-4"
export BOOT_DISK_SIZE="100"
export BOOT_DISK_TYPE="pd-balanced"

# Deep Learning VM Image (CUDA 12.1 & PyTorch 搭載)
export IMAGE_FAMILY="common-cu-121-debian-11-py310"
export IMAGE_PROJECT="deeplearning-platform-release"

# インスタンスベース名
export VM_BASE_NAME="llm-inference-l4"

### Execution Steps

#### ステップ 1: プロジェクトの設定と API の有効化

# プロジェクトのアクティブ化
gcloud config set project ${PROJECT_ID}

# Compute Engine API の有効化
gcloud services enable compute.googleapis.com


#### ステップ 2: 4台の推奨 GPU インスタンスをプロビジョニング
以下のコマンドを実行し、NVIDIA ドライバが自動インストールされるオプション（`install-nvidia-driver=True`）を付与してインスタンスを並列作成します。

for i in {1..4}; do
  gcloud compute instances create "${VM_BASE_NAME}-${i}" \
      --project="${PROJECT_ID}" \
      --zone="${ZONE}" \
      --machine-type="${MACHINE_TYPE}" \
      --maintenance-policy="TERMINATE" \
      --restart-on-failure \
      --create-disk="auto-delete=yes,boot=yes,device-name=boot-disk-${i},image-family=${IMAGE_FAMILY},image-project=${IMAGE_PROJECT},size=${BOOT_DISK_SIZE},type=${BOOT_DISK_TYPE}" \
      --metadata="install-nvidia-driver=True" \
      --scopes="https://www.googleapis.com/auth/cloud-platform" \
      --tags="llm-inference-node" &
done
wait

echo "--- All 4 GCE GPU Instances Provisioned Successfully ---"

> **Expert Callout:** For production environments, we highly recommend using the `--on-host-maintenance=TERMINATE` flag instead of the deprecated `--maintenance-policy=TERMINATE` flag to ensure long-term command compatibility and prevent GCE deprecation warnings.

---

## 4. Post-Execution Strategy

このデプロイ完了後、本番環境の「Day 2（運用フェーズ）」に向けて、以下の段階的アップグレードを行うことを強く推奨します。

- **推論サーバーのセットアップ (vLLM の採用)**:
- 各インスタンス上で **vLLM** (vLLM Engine) を実行します。NVIDIA L4 の Tensor Core の恩恵を最大化するために、`FP8` (vLLMのFP8量子化オプション) または `AWQ` 形式の軽量化された Llama-3 8B をロードして起動します。
- 起動コマンド例: `python3 -m vllm.entrypoints.openai.api_server --model casperhansen/llama-3-8b-instruct-awq --quantization awq --port 8000`

- **GCE インスタンスグループ (MIG) & ロードバランサ (ALB) の導入**:
- 上記の手動デプロイが完了した後は、インスタンスから「マシンイメージ」を作成し、**マネージドインスタンスグループ (MIG)** に移行します。
- MIG の前面に **Internal / External Application Load Balancer (ALB)** を配置してリクエストを 4 台にラウンドロビンで分散することで、単一ノード障害から保護された高可用性（HA）システムを構築できます。

- **確約利用割引 (CUD) の契約**:
- 今回の検証で 100 req/sec のパフォーマンス要件を満たしたことを確認した後、本番運用のために `us-central1` で `g2-standard-4`（または対応する vCPU/メモリ/GPU）の **1年 or 3年 CUD** を購入し、ランニングコストを約 37% 〜 55% 削減してください。