[アップデート]OpenAIから新しいモデル「chatgpt-4o-latest」が公開されました！

OpenAIが最新の研究用モデル「chatgpt-4o-latest」をAPIで公開しました。このモデルは、ChatGPTのGPT-4oの最新バージョンに継続的に更新される動的モデルで、開発者や研究者がOpenAIの最新の研究を探索するために提供されています。実稼働環境では、API使用に最適化された古いGPTモデルの使用が推奨されています。

#生成AI

#AI

#OpenAI

Takaaki Kakei

2024.08.15

こんにちは、@TakaakiKakei です。

日本時間8月14日頃に、OpenAIが提供する最新の研究用モデルの「chatgpt-4o-latest」がAPI公開されました。

概要

「chatgpt-4o-latest」は、ChatGPTのGPT-4oの最新バージョンに継続的に更新される動的モデルです。このモデルは、開発者や研究者がOpenAIの最新の研究を探索できるように公開されています。実稼働環境での使用には、APIの使用に最適化された別GPTモデル（現在だと「gpt-4o-2024-08-06」など）の使用をOpenAIは推奨しています。

Dynamic model continuously updated to the current version of GPT-4o in ChatGPT. Intended for research and evaluation [2].

[2] We are releasing this model for developers and researchers to explore OpenAI's latest research. For production use, OpenAI recommends using dated GPT models, which are optimized for API usage.

実は8月8日頃には、ChatGPTアプリのGPT-4oモデルが、当該バージョンに更新されていたようです。

やってみた

使い方は以下のようにmodelに"chatgpt-4o-latest"を指定してリクエストを送信するだけです。

from openai import OpenAI
client = OpenAI()

response = client.chat.completions.create(
  model="chatgpt-4o-latest",
  messages=[
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "What is a LLM?"}
  ]
)

クラスメソッド株式会社が提供する生成 AI 環境構築サービス「AI-Starter」でも、modelを追加するだけなので、すぐに対応することができました。社内本番環境にはリリース済みで、近日中にお客様環境にもリリース予定です。

CleanShot 2024-08-15 at 08.59.34@2x

CleanShot 2024-08-15 at 08.52.46@2x

ちなみにPlaygroundでも確認しましたが、画像は未対応のように見受けられました。

CleanShot 2024-08-15 at 12.09.11

考察など

LMSYSでの位置づけ

LMSYS Chatbot Arena Leaderboardは、生成AIモデルを比較できるサイトです。このサイトでは、最新の「chatgpt-4o-latest」もすでに追加されており、2024年8月15日時点での各カテゴリにおけるスコアは以下の通りです。

Overall #1
Math #2
Coding #1
Long Query #1
Japanese #3

CleanShot 2024-08-15 at 09.04.29@2x

このモデルはリリースされたばかりであるため、利用しながら、適切なユースケースを模索していきたいと考えています。

生成AIが間違えやすい質問

「9.9と9.11ではどちらが大きいですか？」という質問は、生成AIが誤りやすい例の一つです。以前の「gpt-4o-2024-05-13」では「9.9」と誤答していましたが、最新の「chatgpt-4o-latest」では「9.11」と正しく回答するように改善されています。（なお、「gpt-4o-mini-2024-07-18」や「gpt-4o-2024-08-06」でも同様の改善が見られていました。）

「Which is bigger, 9.11 or 9.9?」という質問は、生成AIが誤りやすい例の一つです。「chatgpt-4o-latest」では、英語で質問した場合、「9.9」と正しく回答されました。

CleanShot 2024-08-16 at 20.59.53@2x