はじめに
新規事業部の田村です。弊社ブログ以外にも、LLMの活用例がどんどん出ていて、ユースケースとして色々と紹介されています。（リンク：https://dev.classmethod.jp/tags/chatgpt/）
しかしユーザとして気になっているポイントは、実際どの程実務として使えるか、そしてどうすれば実務に耐えうるLLMになるか実験をしてみたいと思います。
今回ユーザー自身でLLMに指示出しして、業務で求めていたアウトプットが得られるようなPromptとはどのようなものが検証してみました。
背景と目的
今回実務の一例として、顧客向けのPR業務を想定しています。その理由は、PRを考えるには大抵１人など少人数が担当していたり、どのようにしてPRの内容をキャッチーにするか考えるのに大変など、コストがかかる分野であるからです。
今回このコストをChatGPT（GPT4）を使って、どこまで下げられるか検証したいと思います。
なおコストを下げるという意味は、過去のPRのようなPR文生成ができることによって、担当者の労力が減ると定義しています。
実験
それでは実験に移ります。今回対象としているPR文の具体例は、弊社プレスリリースとします。
https://classmethod.jp/news/category/press/
この中から１つピックアップたものとして、新たなコミュニティ機能（「デベキャンコミュニティ（β）」）募集を開始するというPR文を生成してもらいます。この文章に似た文章、またはそれよりもキャッチーな文章を生成できるか、という実験をします。
実験1
- 最低限必要な情報を与えて文章生成をトライ
Prompt
Input:以下を参考に新たなコミュニティ機能（「デベキャンコミュニティ（β）」）募集を開始するという
内容のPR文を生成してください。
Output:Markdown
Refference:
対象者
・ITの基礎知識を持っていること
・自分で新しいことを学習する意欲を持っていること
・業務でAWSを利用する機会に乏しく学習機会を求めている
・フリーランスや事業会社勤務など所属は問いません（同業他社や調査目的などの場合はお断りすることがあります）
・日本語でコミュニケーションが取れること
・在住地は問いません
募集人数：100名
参加方法：下記フォームよりお申し込みください
<https://forms.gle/HqusSHZikdoeLTVbA>
そのアウトプットとしては、以下です、
Output
デベキャンコミュニティ（β）への新規参加者募集開始のお知らせ
本日より、私たちは「デベキャンコミュニティ（β）」の新規参加者募集を開始いたします。
デベキャンコミュニティはITの基礎知識を持つ方々のための学習コミュニティです。
特に、自己学習への意欲を持つ方、業務でAWSを利用する機会が少なく、
学習機会を求めている方におすすめです。
私たちはフリーランスの方や事業会社勤務の方など、所属が異なる方々からの参加を歓迎します。
ただし、同業他社からの調査目的などの参加はお断りすることがあります。
必須条件としては、日本語でのコミュニケーションが取れること、そして在住地は問いません。
今回の募集は100名限定となります。豊かな学びの環境を提供するため、先着順とさせていただきます。
あなたの参加を心よりお待ちしております。
デベキャンコミュニティ（β）では、一緒に学び、成長し、次のステップへ進むための場所を提供しています。さあ、この機会に私たちと共に新たな学びの旅を始めましょう！
- Feedback
- かなりプレーンなPR文ですね。募集条件なども生成できている部分はありますが、ところどころ抜けています。アウトプットとしては、キャッチーな文章の生成と募集条件を全て書き下ろして欲しいですね。また、デベキャンの特徴についてもう少し詳しく説明して欲しいところです。
実験2
- 今度は生成する文章のデベキャンの特徴を与えて、PR文の生成を試みます。
Prompt
Input:以下を参考に新たなコミュニティ機能（「デベキャンコミュニティ（β）」）募集を開始するという
内容のPR文を生成してください。
伝えたい機能は、参加者同士の交流、オンライン学習コンテンツの情報交換、ポイントやアワードで
のモチベーション維持を支援です。
詳細に説明するように心がけてください。
対象者
・ITの基礎知識を持っていること
・自分で新しいことを学習する意欲を持っていること
・業務でAWSを利用する機会に乏しく学習機会を求めている
・フリーランスや事業会社勤務など所属は問いません
（同業他社や調査目的などの場合はお断りすることがあります）
・日本語でコミュニケーションが取れること
・在住地は問いません
募集人数：100名
参加方法：下記フォームよりお申し込みください
<https://forms.gle/HqusSHZikdoeLTVbA>
Output:Markdown
Output
新たなオンラインコミュニティ「デベキャンコミュニティ（β）」参加者募集開始！
皆さま、新しい学習の場が登場します。「デベキャンコミュニティ（β）」では、
ITの知識を持つあなたを待っています。
ここは、自発的に新しいことを学ぶ意欲を持つ人たちが、一緒に学び、成長するための場所です。
その特徴は？
参加者同士で情報交換を行ったり、オンライン学習コンテンツについて議論することが可能です。
さらに、ポイントやアワードを用いて、自分自身の学習意欲を維持し、刺激を得ることができます。
対象者は？
ITの基礎知識を持っている方
新しいことを学習する意欲を持っている方
業務でAWSを利用する機会に乏しく、学習機会を求めている方
フリーランス、または事業会社勤務など所属は問いません
（同業他社や調査目的などの場合は参加をお断りすることがあります）
日本語でコミュニケーションが取れる方
在住地は問いません
募集人数
100名
本コミュニティはあなたの新たな学習のステップアップをサポートします。
皆さまのご参加をお待ちしております。
参加方法
下記フォームよりお申し込みください：
申し込みフォーム
"デベキャンコミュニティ（β）" で、あなたと一緒に新たな学びの旅を始めましょう！
- Feedback
デベキャンの説明を与えたので、特徴を生成してくれました。しかし、まだまだプレーンな分からは脱却できていないように見えます。
実験3
これまでのPromptだとどうしてもプレーンな文章生成しかできないみたいです。ならば、参考として過去にどのようなPR文を作っていたかを与えて、PR生成を試みます。
Prompt
Input:以下を参考に新たなコミュニティ機能（「デベキャンコミュニティ（β）」）募集を開始するという
内容のPR文を生成してください。
伝えたい機能は、参加者同士の交流、オンライン学習コンテンツの情報交換、ポイントやアワードで
のモチベーション維持を支援です。
PR文のようPRしてください。詳細に説明するように心がけてください。
対象者
・ITの基礎知識を持っていること
・自分で新しいことを学習する意欲を持っていること
・業務でAWSを利用する機会に乏しく学習機会を求めている
・フリーランスや事業会社勤務など所属は問いません（同業他社や調査目的などの場合はお断りすることがあります）
・日本語でコミュニケーションが取れること
・在住地は問いません
募集人数：100名
参加方法：下記フォームよりお申し込みください
<https://forms.gle/HqusSHZikdoeLTVbA>
Output:Markdown
Refference：”クラスメソッド株式会社（本社：東京都港区、代表取締役社長：横田 聡、
以下「クラスメソッド」）は、ChatGPTをはじめとするさまざまな生成AIをまとめて導入・請求管理でき、
同じ画面から利用可能にする新サービス「生成AI環境構築サービス」の提供を、2023年7月7日（金）から
開始します。
生成AIの業務利用において課題となる、セキュリティ要件やユーザースキル教育、請求管理などを解決し、
お客様のAI活用を支援します。
また、本サービスの詳細を本日開催するイベント「DevelopersIO 2023」の基調講演で紹介予定です。
生成AI環境構築サービス 問い合わせ：<https://classmethod.jp/inquiry/>
[生成AI環境構築サービス 利用画面イメージ]
サービス提供の背景
生成AIは、OpenAI社のChatGPTをはじめ、Microsoft、Google、Amazon、
その他の新興企業やオープンソースなど、各社が提供するさまざまなサービスが存在します。
サービス利用にあたっては、技術的な課題だけでなく、それぞれに異なるウェブサイトやアプリケーションを
利用する必要があり、また、アカウント管理や支払い管理も煩雑になっています。
クラスメソッドは、複数の生成AIについて、お客様の業務環境への導入から活用に向けたノウハウ提供、
アカウントの作成、円建て・請求書払いまでをパッケージで提供し、
AI活用によるデジタルトランスフォーメーションの加速を支援します。
[生成AIを業務利用する際の課題]
セキュリティ課題： 社内データの活用を行いたいが、機密情報へのアクセスや保管など
セキュリティ要件が課題になる。
データ保全の課題： 生成AIを使ったSaaS型のサービスについて、
サービス提供者によるデータ取得を伴う場合もあり、機密情報や社内データの入力をサービスごとに
判断するのは煩雑かつ困難になっている。
請求管理の課題： クレジットカードによる外貨支払いとなるため、自社の経費処理プロセスと合わない。
社内活用における課題： 導入を検討しているが、ユースケースを知りたい。
どのように使えばいいのかが分からない。
上記の課題をクラスメソッドは解決します。
クラスメソッドの生成AI環境構築サービスについて
提供ソリューション：
■ 複数の生成AIサービスを利用できる共通画面
各社の文章生成AIから画像生成AIまで、さまざまなサービスを同一の画面から利用できる環境を提供します。
■ 安全な認証環境
ゼロトラストの環境、コンテナによるマルチクラウド対応、シングルサインオンの統合認証環境を提供し
、高度なセキュリティ基準を満たす社内独自のAI環境を実現します。
■ 円滑な支払いプロセス
通常は従量課金となり、外貨建てでクレジットカードによる支払いが必要な生成AIの利用費について、
クラスメソッドが請求をとりまとめることにより、日本円建て請求書払いが可能です。
■ カスタマイズ可能なテンプレート
業務に特化したプロンプトを事前登録して提供します。最適化されたプロンプトとユーザーが
登録可能なライブラリを利用することで、誰でもAIを最大限に活用ができます。
■ ユーザー研修・教育支援（オプション）
生成AIを活用するための知識やスキル向上研修を提供します。社内全体の生成AI利用を促進し、
ビジネスアイディアの創出を支援します。
AI技術活用に関するクラスメソッドの強み
クラスメソッドでは、現在、数百名体制で日々技術検証を行っており、
社内業務改善やプロトタイプ作成の成功事例を積み重ねています。
また、サービス技術ブログ「DevelopersIO」では、OpenAIやChatGPTに関する豊富な検証記事を
公開しています。
DevelopersIO ChatGPT記事一覧：<https://dev.classmethod.jp/tags/chatgpt/>
DevelopersIO AI記事一覧：<https://dev.classmethod.jp/tags/ai/>
[検証例（一部）]
・コールセンター向けチャットボットシステム構築
<https://dev.classmethod.jp/articles/amazon-connect-chatgpt-api-chatbot/>
・冷蔵庫内の写真からレシピ提案（画像認識＋ChatGPT）
<https://dev.classmethod.jp/articles/chatgpt-recomend-recip/>
・OCRの読み取りミス修正支援
<https://dev.classmethod.jp/articles/use_ai_to_fix_ocr_recgnition_mistake/”>
Output
新たなコミュニティ募集開始：「デベキャンコミュニティ（β）」
皆様、お待たせいたしました。今回、クラスメソッド株式会社
（本社：東京都港区、代表取締役社長：横田 聡、以下「クラスメソッド」）は、
ITの基礎知識を持つ方向けの新たなコミュニティ「デベキャンコミュニティ（β）」のメンバー募集を
開始いたします。このコミュニティでは、参加者同士の交流、オンライン学習コンテンツの情報交換、
そしてポイントやアワードでのモチベーション維持を支援する場を提供いたします。
コミュニティの特徴
参加者同士の交流:
デベキャンコミュニティは参加者の皆様が自由に交流できる場を提供します。
ここでは、参加者同士でITに関する話題を共有し、議論を深めることが可能です。
オンライン学習コンテンツの情報交換:
コミュニティのメンバーは、自分が学んだ内容や発見した新たな教材を共有し、
互いに学習の進行を支え合います。
モチベーション維持:
コミュニティでは、学習に関する成果や貢献に対してポイントやアワードを授与します。
これにより、参加者は学習を継続し、深めるための動機づけを受けることができます。
参加資格
ITの基礎知識を持っていること
自分で新しいことを学習する意欲を持っていること
業務でAWSを利用する機会に乏しく学習機会を求めている方
所属はフリーランスや事業会社勤務など問いません
（ただし、同業他社や調査目的などの場合はお断りすることがあります）
日本語でコミュニケーションが取れること
在住地は問いません
募集人数は100名とさせていただきます。
参加方法
下記のフォームからお申し込みください。
申し込みフォームへのリンク
新たな挑戦の一歩を踏み出し、共に学び、成長しましょう。皆様のご参加を心よりお待ちしております。
デベキャンコミュニティ（β）問い合わせ
- Feedback
参考となる文章をPromptに含めると、かなりいい文章が生成できたのではないでしょうか。
実際に比較すると、見た目での比較になるのですが結構いい線いっていると思います。ただ、もう少しデベキャンの特徴を出して欲しいところですね。
（参考）https://classmethod.jp/news/20230620-developersio-basecamp/
実験4
Promptに参考となる文章を入れることで、今までの文章の特徴を考えてそれに似たアウトプットを出してくれることがわかりました。最後に、Promptが賢くなる呪文”Let’s think step by step.”というキーワードを入れたPromptでPR文の生成を試みます。
Prompt
Input:以下を参考に新たなコミュニティ機能（「デベキャンコミュニティ（β）」）募集を開始するという
内容のPR文を生成してください。
伝えたい機能は、参加者同士の交流、オンライン学習コンテンツの情報交換、ポイントやアワードで
のモチベーション維持を支援です。
PR文のようPRしてください。ただし、マークダウンで各機能の特徴を分かりやくす
詳細に説明するように心がけてください。
対象者
・ITの基礎知識を持っていること
・自分で新しいことを学習する意欲を持っていること
・業務でAWSを利用する機会に乏しく学習機会を求めている
・フリーランスや事業会社勤務など所属は問いません（同業他社や調査目的などの場合はお断りすることがあります）
・日本語でコミュニケーションが取れること
・在住地は問いません
募集人数：100名
参加方法：下記フォームよりお申し込みください
<https://forms.gle/HqusSHZikdoeLTVbA>
Let's think step by step.
Output:Markdown
Refference：”クラスメソッド株式会社（本社：東京都港区、代表取締役社長：横田 聡、
以下「クラスメソッド」）は、ChatGPTをはじめとするさまざまな生成AIをまとめて導入・請求管理でき、
同じ画面から利用可能にする新サービス「生成AI環境構築サービス」の提供を、2023年7月7日（金）から
開始します。
生成AIの業務利用において課題となる、セキュリティ要件やユーザースキル教育、請求管理などを解決し、
お客様のAI活用を支援します。
また、本サービスの詳細を本日開催するイベント「DevelopersIO 2023」の基調講演で紹介予定です。
生成AI環境構築サービス 問い合わせ：<https://classmethod.jp/inquiry/>
[生成AI環境構築サービス 利用画面イメージ]
サービス提供の背景
生成AIは、OpenAI社のChatGPTをはじめ、Microsoft、Google、Amazon、
その他の新興企業やオープンソースなど、各社が提供するさまざまなサービスが存在します。
サービス利用にあたっては、技術的な課題だけでなく、それぞれに異なるウェブサイトやアプリケーションを
利用する必要があり、また、アカウント管理や支払い管理も煩雑になっています。
クラスメソッドは、複数の生成AIについて、お客様の業務環境への導入から活用に向けたノウハウ提供、
アカウントの作成、円建て・請求書払いまでをパッケージで提供し、
AI活用によるデジタルトランスフォーメーションの加速を支援します。
[生成AIを業務利用する際の課題]
セキュリティ課題： 社内データの活用を行いたいが、機密情報へのアクセスや保管など
セキュリティ要件が課題になる。
データ保全の課題： 生成AIを使ったSaaS型のサービスについて、
サービス提供者によるデータ取得を伴う場合もあり、機密情報や社内データの入力をサービスごとに
判断するのは煩雑かつ困難になっている。
請求管理の課題： クレジットカードによる外貨支払いとなるため、自社の経費処理プロセスと合わない。
社内活用における課題： 導入を検討しているが、ユースケースを知りたい。
どのように使えばいいのかが分からない。
上記の課題をクラスメソッドは解決します。
クラスメソッドの生成AI環境構築サービスについて
提供ソリューション：
■ 複数の生成AIサービスを利用できる共通画面
各社の文章生成AIから画像生成AIまで、さまざまなサービスを同一の画面から利用できる環境を提供します。
■ 安全な認証環境
ゼロトラストの環境、コンテナによるマルチクラウド対応、シングルサインオンの統合認証環境を提供し
、高度なセキュリティ基準を満たす社内独自のAI環境を実現します。
■ 円滑な支払いプロセス
通常は従量課金となり、外貨建てでクレジットカードによる支払いが必要な生成AIの利用費について、
クラスメソッドが請求をとりまとめることにより、日本円建て請求書払いが可能です。
■ カスタマイズ可能なテンプレート
業務に特化したプロンプトを事前登録して提供します。最適化されたプロンプトとユーザーが
登録可能なライブラリを利用することで、誰でもAIを最大限に活用ができます。
■ ユーザー研修・教育支援（オプション）
生成AIを活用するための知識やスキル向上研修を提供します。社内全体の生成AI利用を促進し、
ビジネスアイディアの創出を支援します。
AI技術活用に関するクラスメソッドの強み
クラスメソッドでは、現在、数百名体制で日々技術検証を行っており、
社内業務改善やプロトタイプ作成の成功事例を積み重ねています。
また、サービス技術ブログ「DevelopersIO」では、OpenAIやChatGPTに関する豊富な検証記事を
公開しています。
DevelopersIO ChatGPT記事一覧：<https://dev.classmethod.jp/tags/chatgpt/>
DevelopersIO AI記事一覧：<https://dev.classmethod.jp/tags/ai/>
[検証例（一部）]
・コールセンター向けチャットボットシステム構築
<https://dev.classmethod.jp/articles/amazon-connect-chatgpt-api-chatbot/>
・冷蔵庫内の写真からレシピ提案（画像認識＋ChatGPT）
<https://dev.classmethod.jp/articles/chatgpt-recomend-recip/>
・OCRの読み取りミス修正支援
<https://dev.classmethod.jp/articles/use_ai_to_fix_ocr_recgnition_mistake/”>
Output
「デベキャンコミュニティ（β）」参加者募集開始！
こんにちは、皆さん。新たなコミュニティ、「デベキャンコミュニティ（β）」の募集を開始します。
このコミュニティでは、参加者同士の交流を促進し、オンライン学習コンテンツの情報交換の場とし、
ポイントやアワードを通じて皆さんの学習モチベーションを維持することを支援します。
対象者
このコミュニティは、以下の要件を満たす方を対象としています：
ITの基礎知識を持っていること
自分で新しいことを学習する意欲を持っていること
業務でAWSを利用する機会に乏しく、学習機会を求めていること
フリーランスや事業会社勤務など所属は問いません
（ただし、同業他社や調査目的などの場合はお断りすることがあります）
日本語でコミュニケーションが取れること
在住地は問いません
募集人数：100名
参加方法
参加希望の方は、下記フォームからお申し込みください。
参加申し込みフォーム
コミュニティの特徴
1. 参加者同士の交流
デベキャンコミュニティでは、参加者同士で意見や知識を共有し、共同学習の機会を提供します。
自己学習だけでなく、他の参加者との交流からも新たな視点やアイディアを得ることができます。
2. オンライン学習コンテンツの情報交換
コミュニティでは、各種オンライン学習コンテンツについての情報交換の場を提供します。
どのコースが有益で、どの資源が最新のトレンドに対応しているのか、他の参加者と共有することで、
自分だけの学習経路を効率的に計画することができます。
3. ポイントやアワードによるモチベーション維持
学習のモチベーションを維持するため、コミュニティではポイントやアワードを提供します。
学習の進捗に応じてポイントが付与され、特定のポイントを獲得するとアワードを受け取ることができます。
これにより、一貫した学習を奨励し、学習目標の達成をサポートします。
私たちは皆さんと一緒にこの新たなコミュニティを形成し、
皆さんの学習旅行をサポートすることを楽しみにしています。
どうぞお気軽にご参加ください。皆さんのお申し込みを心からお待ちしております。
- Feedback
Promptに”Let's think step by step.”というキーワードを入れるだけで、デベキャンの特徴をさらに詳細に記載してくれました。
実際の文章と比較しても、個人的な印象ですがPR文生成として使えるのではないでしょうか。
実験のまとめ
- 単純な指示出しだけではプレーンな文章生成となることや、参加条件などところどころ無視してしまうことがある。
- Promptに具体的な指示出しをしても、LLMはプレーンな文章を生成する。
- Promptに実際の例文を入れることで、その情報を参考にして文章を生成する。
- Promptの呪文”Let’s think step by step.”を入れるだけで、LLMが賢くなり生成する文章が実際にPRでリリースした文章と似ているようになった。
考察
なぜ”Let's think step by step.”を入れると賢くなるかは、以下に掲載する論文の実験の結果からわかったことなのですが、LLMが”論理的に考え推論するステップを複数回行うから”であると考えられています。
内容を詳しく知りたい方は、以下の原著論文を参考にしてください。
https://arxiv.org/pdf/2205.11916.pdf
まとめ
今回Prompt Engineeringを用いてPR文生成ができるか検証しました。
その結果は、個人的な印象なのですが、かなり実際にリリースしたプレスリリースと似た文章を生成できたのではないかと思っています。
ビジネス部門の人にも感想をいただいたのですが、評価は高かったです。
他にもPrompt以外にもチューニングできる要素があるので、その内容についても検証していきたいです。
4
