Vertex AIのフルマネージドなMistral AI モデルを利用してみる

Vertex AIにて提供されるマネージドAPIを使うと、非常に簡単にGoogle CloudでMistral AIモデルが利用できます！

#Google Cloud (GCP)

#Vertex AI

#LLM

nayu.t.s

2024.08.12

データ事業本部インテグレーション部機械学習チームの鈴木です。

先月、Google CloudのVertex AIにて、APIとして利用できるマネージドなMistral AIモデルの一般提供が開始されました。

どのように利用できるのか確認してみましたのでご共有します。

Vertex AIで提供されるMistral AIモデル

Model Gardenから利用できるモデルが確認できます。

記事執筆時点で、以下が提供されていました。

マネージドAPI
- Mistral Large（2407）
- Mistral Nemo
- Codestral
デプロイが必要なモデル
- Mixtral
- Mistral-7B

スクリーンショット 2024-08-10 19.24.11

今回はMistral Large（2407）を利用してみました。このモデルは日本語を含む多言語に対応しています。

今回試したモデルは従量課金で提供されています。入力するプロンプトのトークン数および出力のトークン数に応じて各々課金されます。

リージョンはus-central1を利用しました。ガイドから対応リージョンをご確認ください。

なお、今回はマネージドAPIのため、デプロイは不要なので参考までですが、Model Gardenからのモデルのデプロイについては、以下の資料があります。

やってみる

以下ガイドを参考にしつつ、curlからMistral Large（2407）を利用してみました。

準備

前提として、Vertex AI API（aiplatform.googleapis.com）が有効で、作業をするユーザーにモデルの有効化およびVertex AI APIを利用するための権限があることとします。

Mistral AIモデルを使用するために、まずはModel Gardenからモデルを有効化しました。

Vertex AIのModel Gardenから、タスク固有のソリューションのセクションにあるMistral Large（2407）をクリックしました。

スクリーンショット 2024-08-10 18.56.40

初期の状態では有効にするボタンが表示されているため、これをクリックしました。Agreements画面が表示されたので、内容を確認し、有効化しました。

スクリーンショット 2024-08-10 13.33.57

これで利用のための準備は完了です。簡単ですね。

モデルカードではPythonおよびcurlからのモデルの利用方法など様々な情報が記載されているので、確認することをお勧めします。

モデルの利用

まず、リクエストの内容をJSONファイルに記載しました。以下のファイルを作成しました。

request.json

{
    "model": "mistral-large",
      "messages": [
       {
        "role": "user",
        "content": "おはようございます。"
       }],
      "max_tokens": 1000
}

ポイントとしては、modelのバリューにはモデル名をモデルバージョンを表す@2407なしで記載する点です。

Google Cloudにログインし、Cloud Shellを開いて、このファイルをアップロードしました。

以下のコマンドを実行し、Vertex AI APIにリクエストを送りました。$PROJECT_IDだけ自身のものに置き換えてください。urlの方にはモデルバージョンを指定します。

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://us-central1-aiplatform.googleapis.com/v1/projects/$PROJECT_ID/locations/us-central1/publishers/mistralai/models/mistral-large@2407:rawPredict"

以下のように回答が返ってくることを確認できました。

{
    "id": "レスポンスのID",
    "object": "chat.completion",
    "created": 1723283601,
    "model": "mistral-large",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "おはようございます！今日も一日頑張りましょう。何かお手伝いできることがあれば教えてください。",
                "tool_calls": null
            },
            "finish_reason": "stop",
            "logprobs": null
        }
    ],
    "usage": {
        "prompt_tokens": 16,
        "total_tokens": 67,
        "completion_tokens": 51
    }
}