【夏休みの自由研究リレー】モデルが分からない状態でBedrockのLLMを当てるクイズを作ってみた

こんにちは、こーへいです。

当記事はクラスメソッドの有志による『夏休みの自由研究リレー』第23回目のエントリです。
このブログリレーの企画は、普段からクラウドやAIを追いかけているメンバーによって、「やってみた」だけではなく「作ってみた」や「調査/研究してみた」もアウトプットしてみようという企画です。

新たな知見になることは勿論、アイデアを自社やコミュニティの発展に寄与できればと考えておりますので、お付き合い頂けますと幸いです。

はじめに

まず初めに問題です、下記の回答は次のうちどのモデルとなるでしょう？

• Claude Haiku 4.5
• Nova 2 Lite
• GPT-5.6 Sol
• GPT-5.6 Luna

正解は以下の通りです。

意外と難しくないですか？ちなみにですがLunaとSolの単価はおよそ25倍も違います。

このアプリの開発きっかけ

最近はAIの台頭が凄まじく、私もAI前提で業務をこなしていまして、私が普段使うツールは「Claude Code」「Kiro」「Amazon Quick」などで、主にLLMではClaude Sonnet 5を使用することが多いです。

そんな状況の中で、社内では人によって「Fable5がOpusが賢い」や「開発はOpenAIのモデルが良い」や「あまりモデルによる差を感じたことがない」、「下位モデルや安価なモデルで十分なユースケースは思ったより多い(どちらかというと私はこちら派です)」などいろいろな意見があります。

「ただ好みのモデルを使用すれば良い」であればこれで終わりでいいのですが、使用するモデルによっては利用料が非常に高価になり社内でもコスト意識が高まっております。

せっかくであればこのブログリレーを通じてその課題に対して面白おかしくアプローチしようじゃないかということで思いついたのが以下の考えを含んだアプリです。

• モデル名を伏せた状態で回答だけを見せて当ててもらえば、先入観なくモデルごとの特徴（分量・文体・コスパ）を考えるのではないか
• 「クイズ」という形にすることで、単なる比較検証よりも人を巻き込みやすく、社内でも盛り上がりやすいのではないか

作ったもの：Bedrockモデル当てクイズ

Bedrock モデル当てクイズ(GitHub)

一言で言うと、Amazon Bedrockの複数モデルに同じお題を投げ、匿名化した回答（A, B, C…）を見せて、どのモデルが書いたかを当てるローカルWebアプリです。

遊び方

1. トップ画面でジャンル（コーディング／創作文／倫理的ジレンマ／ユーモア／自己言及）を選ぶか、「自由入力でお題を決める」からオリジナルのお題を入力する
2. 「クイズ開始」を押すと、複数のBedrockモデルに同じお題を投げ、回答がA・B・C…と匿名化されて表示される（実モデル名は伏せられる）
3. 各回答を読み比べて「どのモデルの回答か」を推理する
4. 「正解を見る」を押すと、実際のモデル名・ベンダー・解説・トークン数・概算コストが開示される

詳細設定（任意）からは回答モデルの手動指定（最大4件）、出題ジャンル内の具体的なお題の選択、解説モデルの指定、回答の長さの目安（短め/標準/長め/制限なし）もカスタマイズできます。

「フリースペース」タブでは匿名化なしで任意のモデルに直接プロンプトを投げることもできます。

• 比較対象モデルの内訳：Anthropic（Haiku 4.5 / Sonnet 5 / Opus 5）、OpenAI（GPT-OSS 120B / GPT-5.6 Sol・Terra・Luna）、Amazon Nova（2 Lite / Pro）、Meta（Llama 3.3 70B）、Mistral AI（Large 3）、DeepSeek（V3.2）、Alibaba（Qwen3 32B）
• お題ジャンルをあえて5種類（コーディング／創作文／倫理的ジレンマ／ユーモア／自己言及）用意した理由：技術的な質問より「お題への回答スタイル」の個性が出やすく、日常に近い題材で当てっこできる点が今回の趣旨（≒ 手触りを共有する）に合うと考えた

コードはGitHubに公開しているので、AWSアカウントとBedrockのモデルアクセス権限があれば手元でも試せます。

解説文の作成担当もモデルを選ぶことが可能です。

実際にやってみて分かったこと

まず一緒に遊んでくださった同僚(10名弱)の方ありがとうございました。正直そんなに盛り上がらないかなと思ってましたが皆さんのおかげでめちゃくちゃ盛り上がれました(写真撮って無いの大後悔)。

印象的だったのは最初の方はモデルを当てるのが難しかったものの、何回か繰り返していくうちに正答率も上がった印象です。

例えば「Opus」は一回で生成する分量が長い分、考える時間が長くトークン量も多くなりがちなのでまとまった考えをやって欲しい時に利用すると良さそうってことや、OpenAIの安いモデルである「Luna」は考える時間が早く、トークン消費量も少ないのでユーザーがプロンプトで都度方向性を修正したいタスクを任せるに向いているかもなどを肌で感じることができました。

また個人的に良かったことは今回はコードの生成品質など業務に紐づいたクイズではなく、「AIが人間に恋をする、という設定でショートショートを書いてください（200字程度）。」や「AIあるあるネタで小噺を一つ作ってください。」などバラエティに寄せたおかげで盛り上がれたことです。

またそういったお題だとAIの様子のおかしい回答もちょくちょくあって面白かったです。

作ってて意識したところやハマったところ

以下は私がAI駆動開発していく中で意識した仕様や要件です。

• 回答時にモデルの他に、「トークン数」や「料金の単価」、「時間」を表示することで定量的な違いを感じてもらいやすくした
• 回答文字数(出力トークン)がモデルによって傾向が全然違うので、それらを揃える機能を追加し難易度を上げた
• より業務に近いお題を出そうとしたが、デフォルトでは面白寄りのお題に寄せて盛り上がりを重視した
• フリースペースを作り、すぐにモデルの精度を確かめられるようにした

まとめ

今回の取り組みを通じて個人的には低価格モデルのコスパの良さを改めて実感しました。

ですが本番利用(開発タスクや、文脈の深い資料作成)に適したモデル選定については実運用の中で最適なモデルを選択いただく他にありません。

一方で、なんとなくでひとつのLLMやベンダーのみを使用しており、他のモデルに触ったことないという方にとっては遊びながら他のモデルを体感できるアプリとして面白いアプローチなのではないでしょうか。

以上、『夏休みの自由研究リレー』の第23回のエントリでした。

次回はtmorio (まると)さんのエントリ予定です。お楽しみに！！