[β機能]ChatGPTがインターネットを参照して回答を作るWebブラウジング機能を試してみた

こんにちは、ゲームソリューショングループの入井です。

今日、自分のChatGPT Plusアカウントを確認すると、Webブラウジング機能が使えるようになっていました。

従来のChatGPTは2021年9月までの知識しか持っておらず、最新の情報を元にした会話ができないという弱点を持っていましたが、この機能を使うことで回答の際にChatGPTがWeb上から情報を引っ張ってくることが可能になります。

Webブラウジング機能はプラグイン機能と共に5月12日からChat GPT Plusユーザー向けにβ機能として提供され始めました。一斉に全ユーザーが利用できるようになったわけではなく、徐々に提供範囲を広げている途中のようです。（私はプラグイン機能はまだ使えていません）

「ChatGPT Plus」にWebブラウジングとプラグインをβ機能として追加へ - ITmedia NEWS

使い方

ChatGPTにログインし、Settingsを開くと、Beta featuresにWeb browsing機能のオンオフを切り替えるボタンがあるので、有効化します。

なお、画面に記載のある通り、あくまでこの機能はまだ実験的な段階のものです。

Web Browsing機能を有効化すると、会話のモデルにGPT-4を使用する際に、Browsing機能を使うかどうか選択できるようになります。

自分について聞いてみる

とりあえず、情報の正しさを一番手っ取り早く判定できるのは自分自身のことについてなので、自分の名前について聞いてみました。私の名前は、これまで生きてきて同姓同名の人を見たことがない程度には珍しいものなので、特にその他個人の特定に繋がる情報は入れませんでした。

「Browsing Web…」という表示とともに、読み込みが始まります。早いときは1分以内で返答が来るのですが、私の場合はこの時5分くらいかかりました。有名なサービスや会社についての情報は早く答えが出る印象なので、ChatGPTが情報を探し出す時間がそのままレスポンスの長さに繋がっているようです。

読み込みが終わると、いつものようにChatGPTが回答を出力していきます。この際、Finished browsingというボタンが上部に表示されています。

これをクリックすると、以下のようにChatGPTがどのWebサイトから情報を探してきたかが表示されます。この時は、WantedlyやDevelopersIOから拾ってきたようです。なお、検索にはBing検索のAPIを使っているとのことです。

回答の内容は以下の通りでした。途中で回答出力が止まったので、再出力させています。なお、昔所属していた会社の名前も出力されたため、その部分は見えないようにしています。

全体的に、概ね間違っていない内容です。一番最近書いたブログ記事の名前も入っており、情報の鮮度も問題ありません。情報源の表記の通り、DevelopersIOや前職で使用していたWantedlyの内容を元に出力されています。文章をそのまま引っ張ってきている部分もあれば、ChatGPTが要約を入れている箇所もあります。特に最後の段落の人物についての要約の記述は、ほぼChatGPTオリジナルのものです。

明確に間違っているのは年齢で、私は現在は34歳ですが31歳と書かれています。これは、おそらくはWantedlyの古い情報を元にしているのでしょう。情報源が間違っていれば、そのまま間違った回答をしてしまうというのが分かります。

また、回答のところどころに小さな数字が表示されていますが、これは各文章の情報取得元へのリンクとなっています。

クラスメソッドについて聞いてみる

自社についても聞いてみました。

比較のため、まずWebブラウジング機能無しで聞いてみると、以下の回答でした。

情報が十分ではないので回答できない、といった形の内容でした。知らないことは知らないとちゃんと答えてくれています。

以前は知ったかぶり癖があったのですが、最近は改善されつつあるようです。

Webブラウジング機能有りだと以下の回答でした。

情報源のページはこちらで、書かれている内容はほぼ同じでした。

内容に間違いは無いのですが、実績についての記載の中で一番直近の大きなニュースである「SI Partner of the Year - GLOBAL」の受賞については書かれていません。これは、情報源ページに書かれてないから、というのが大きな理由ではありますが、もっと広範囲のWebページを探せば見つかったはずの情報です。

Webブラウジング機能は、ChatGPTが情報が不足していると判断した場合、複数のページを探索するように動きます。しかし、一方で十分に情報を得られたと判断した場合は、情報源が少ないままであっても今回のように回答が行われます。

一応、以下のように情報源を広げる指示も可能です。ただ、今回はそれでも最新の情報についての回答はありませんでした。

まとめ

Webブラウジング機能について試してみました。

Webページの情報を参照できるようになったことで、情報の鮮度や精度は飛躍的に向上したと思います。

しかし、やはり依然として常に正しい回答をしてくれる保証はありません。現在はβ機能であるため、今後のアップデートで改善が加えられるかもしれませんが、引き続き回答内容を鵜呑みにしないよう注意することが必要と感じました。