Jevを無理やり言語モデルにしてみた

Jevを無理やり言語モデルにしてみた

判断しかできないAIに、1文字ずつ答えさせてみた
2026.09.17

Jevで賑わってますね。入力に対して「Yes の確率」「選択肢ごとの確率」「スコア」しか返さないモデルらしいです。

生成しないと言われると、生成させたくなります。

無理やり生成させてみた

選択肢(Choice)を「ひらがな全部+句読点+END」の88個にして、質問と「ここまでの回答」を入力に渡し、次の1文字を選ばせます。選ばれた文字を回答に足して、ENDが出るまで繰り返します。1文字ずつ生成する言語モデルです。

コードはColabで開けます(要APIキー)。

Open in Colab

結果

質問は「日本の首都はどこですか?」です。

step 1  pick='し'   top3: 'し':0.11 'た':0.10 'こ':0.09
step 2  pick='い'   top3: 'し':0.08 'こ':0.08 'い':0.08
step 3  pick='し'   top3: 'し':0.08 'こ':0.08 'と':0.07
step 4  pick='END'  top3: 'END':0.18 'し':0.09 'と':0.08

A: 「しいし」

日本の首都は「しいし」でした。分布はほぼ平らで、1文字目から「し」「た」「こ」の三つ巴です。

知らないわけではない

同じ質問をYes/No形式(Noul)で「答えは東京である」と聞くと0.96、「ひらがなで書くと『とうきょう』である」と聞くと0.92。とうきょう・おおさか・きょうと・なごや・さっぽろの5択なら、とうきょうが1.00です。

少なくとも、答え自体は知っています。1文字ずつ書けないだけです。

念のため、答えを渡して「単語『東京』をひらがなで1文字ずつ書いて」とやってみました。

A: 「たこ」

行と段に分けてみる

88択が多すぎるのかと思い、まず「あ行〜わ行」から行を選ばせ、次にその行の中から1文字(さ行なら、さ・し・す・せ・そ)を選ばせる2段階にしました。1回あたりの選択肢は17個と5個に減ります。

A: 「あいいいいいいいいいいい」

行の分布は、あ行0.22、か行0.21、た行0.18でほぼ平らなまま。迷ったときのデフォルトが「あ行」と「い」に固定されて、上限の12文字まで「い」を書き続けました。

英語ならどうか

a〜z+記号+SPACE+ENDの32択で、"What is the capital of Japan?" と聞いてみます。

A: "tai"

"Spell the word "tokyo"." と、綴る単語そのものを渡すと "tokoyo" まで行きます。見えている文字を写すのは大体できて、思い出してから綴るのは言語に関係なくできません。

なぜ書けないのか

Jevが返す確率は「どの選択肢が正しいか」という判断の確率であって、「次の文字は何か」という予測の確率ではないからでしょう。(それはそう)

最後に

公式は嘘をついていませんでした。Jevは本当に文章を生成しません。

判断させたい人はJev を、生成させたい人はLLMを、日本の首都を知りたい人は「しいし」以外を使ってください。

こんな記事を書いておいてなんですが、10月24日(土)のDevelopersIO 2026 Tokyoでは真面目な話をします。「株式トレーディングに学ぶAI Agent設計 ― Context・Harness・LLMOps」というタイトルで登壇するので、ぜひ見にきてください。

https://classmethod.connpass.com/event/402011/

では👋


AI白書2026 配布中

クラスメソッドが独自に行なったAI診断調査をもとに、企業のAI活用の現在地を調査レポートとしてまとめました。企業規模別の活用度傾向に加え、規模を超えてAI活用を進める企業に共通する取り組みまで、自社の現在地を捉えるためのヒントにぜひ。

AI白書2026

無料でダウンロードする

この記事をシェアする

DevelopersIO 2026

関連記事