GPT-4とGPT-3.5に日程調整メールを作ってもらって性能を比較してみた。

Tanner

2023.03.15

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

はじめに

話題のChat GPTからGPT-4モデルがリリースされました。こちらのモデルが一体どのように進化しているのか早速試してみます。検証方法としては普段業務で作成することが多い「日程調整のメール」を最新のGPT-4と従来のGPT-3.5と比較してその性能を確かめたいと思います。 GPT-4のモデルって一体どう進化したの？？と疑問の方は、早速DevIOに投稿されているnokomoro3の記事や吉川さんの記事が参考になるので是非確認してみてください。

さっそくやってみよう。

今回の検証では同じプロンプトを入力して、その結果がどう違うかを確認することで性能比較を行います。今回は日程調整をお願いしたいので、プロンプトは以下にしました。

プロンプト

●●株式会社の高橋様宛てに「今後のプロジェクトのすすめ方」についての打ち合わせを行う日程調整するためのビジネスメールを書いてください。候補は、以下です。1時間でオンラインの実施です。

03/20(月) 終日

03/21(火) 10:00 ~ 12:00

03/22(水) 10:00 ~ 18:00

まずは、GPT-3.5の結果から！

件名：「今後のプロジェクトのすすめ方」についての打ち合わせ日程調整のお願い

高橋様

いつもお世話になっております。こちらは●●株式会社のChatGPTと申します。

この度、今後のプロジェクトのすすめ方について打ち合わせをご希望いただき、誠にありがとうございます。オンラインでの実施を希望いたします。

以下の日程でご都合いかがでしょうか？

・03/20(月) 終日・03/21(火) 10:00 ~ 12:00 ・03/22(水) 10:00 ~ 18:00

上記の中からお好きな日時をお知らせいただけますと幸いです。また、上記の日程に都合がつかない場合は、別の日程をご提案いただけますと幸いです。

よろしくお願い申し上げます。

敬具 ChatGPT

gpt-35-email

なかなか自然ですね！「打ち合わせをご希望いただき」のところや「オンラインでの実施を希望いたします。」の部分については多少の違和感がありますが、ドラフトの内容としては十分ですね。これが作成してもらえるのは大変ありがたい。

続いて、最新のGPT-4に同様の依頼を行ってみたいと思います。

プロンプト（再掲）

●●株式会社の高橋様宛てに「今後のプロジェクトのすすめ方」についての打ち合わせを行う日程調整するためのビジネスメールを書いてください。候補は、以下です。1時間でオンラインの実施です。

03/20(月) 終日

03/21(火) 10:00 ~ 12:00

03/22(水) 10:00 ~ 18:00

GPT-4の結果

件名：【日程調整】「今後のプロジェクトのすすめ方」に関するオンライン打ち合わせ

高橋様

いつもお世話になっております。●●株式会社の○○です。

この度は、「今後のプロジェクトのすすめ方」についての打ち合わせをオンラインで実施したく、日程調整のご連絡を差し上げました。以下にご都合の良い日程を3つご提案させていただきますので、ご確認のほどお願い申し上げます。

03月20日(月) 終日

03月21日(火) 10:00 〜 12:00

03月22日(水) 10:00 〜 18:00

打ち合わせはオンラインで行われ、所要時間はおおよそ1時間を予定しております。どちらの日程がご都合に合うかお知らせいただけますでしょうか。もし、ご提案させていただいた日程がお忙しい場合は、お手数ですが、ご都合の良い日時をお知らせいただければと思います。

ご返信をお待ちしております。どうぞよろしくお願い申し上げます。

敬具

GPT-4-mail