チームへの問い合わせに回答する AI を NotebookLM にお引越しました
クラウド事業本部 オペレーション部 カスタマーサポートグループ アカウントチーム の chicca です。
2025年1月にチームの業務を効率化するために作成した AI を ChatGPT から NotebookLM にお引越し（リプレイス）しました。
今回はなぜリプレイスしたのか、どうやってNotebookLM版を作ったのかをご紹介します。
１：今までのAI（ChatGPT版）のあゆみ
ChatGPT版の作成について詳細は前回のブログをご覧ください。
本番環境移行時に AI プラットフォームは改めて検討する予定でしたが、
本番リリースを3か月前倒ししたため、そのまま ChatGPT で運用を開始しました。
2025年1月下旬～2025年5月末まで運用した結果です。
| 対象月 | AI解決数 | AI未解決数 | 解決率 | 削減時間 | AI利用数 | 未利用数 | 利用率 |
|---|---|---|---|---|---|---|---|
| 2025-01 | 13 | 7 | 65% | 4.3h | 20 | 19 | 51% |
| 2025-02 | 13 | 25 | 34% | 4.3h | 38 | 45 | 46% |
| 2025-03 | 26 | 25 | 51% | 8.7h | 51 | 53 | 49% |
| 2025-04 | 22 | 18 | 55% | 7.3h | 40 | 59 | 40% |
| 2025-05 | 29 | 24 | 55% | 9.7h | 53 | 40 | 57% |
よかった点
- 24×365で質問へ回答できる
- 回答の品質が均一的になった
- AI を利用した質問のうち、約半数は AI のみで回答が完結した
- 5か月間で合計33時間の問い合わせ対応時間を削減できた
- AIが解決した質問数 × 問い合わせ対応時間 = 99件 × 20分/件 = 1980分（33時間）
課題点
- ドキュメント、プロンプトの更新は My GPT 作成者しかできず、運用の冗長化できない
- 利用率:（AI利用数 ÷ 全質問数）は40％～50％台で約半数は AI を利用していない
- Open AI Enterprise ライセンスが必要なため、利用者が限定された
２：どうして NotebookLM へリプレイスしたか
2025年4月から社内で NotebookLM を利用できるようになりました。
ChatGPT版では問い合わせ回答の負荷を下げるということでは一定の効果はありましたが、課題点を解決するため、このタイミングでプラットフォームを再検討しました。
リプレイスにあたり各プラットフォームのメリット、デメリットを具体的に検討します。※2025年4月時点の機能で比較
| プラットフォーム | メリット | デメリット |
|---|---|---|
| ChatGPT Enterprise（My GPT） | ・FAQの更新に合わせた運用ができる ・質問が多い部署はライセンスを持っている |
・利用者はライセンスが必要 ・参照元の表示ができない ・My GPT作成者しかメンテナンスできない |
| NotebookLM | ・ひとつのLMを社員全員が共有できる ・メンテナンスを冗長化できる ・閲覧者、編集者を権限でコントロールできる ・回答作成の根拠を確認できる |
・一部のドキュメントはPDFにしてから取り込む必要がある ・システムプロンプトを設定できない |
| Gems | ・システムプロンプトの設定ができる | ・作成したGemsを共有できない |
回答作成の出典を確認できること、メンテナンスのしやすさから NotebookLM を選びました。
また、弊社は Google WorkSpaces を利用しているので Google Documents、Google Slides はドライブから直接ソースに追加できるのも魅力でした。
３：ノートブックを作成する
難しいプログラミングはせず、自然言語で設定していきます。
ステップ1：ソース（資料）をノートブックに追加する
今まで使っていたFAQ（よくある質問集）やお客様配布資料をPDFにして、NotebookLMにアップロードします。
Goole Slides はドライブから該当ファイルのURLを選択するだけです。
ステップ2：プロンプトを設定する
「システムプロンプトを記述できない」点を検討時のデメリットとして挙げていましたが、「会話のスタイル」にこの AI の役割を記述し、プロンプトの代わりとします。（力技）
「会話のスタイル」の欠点としては500文字以内という制限があることです。ChatGPT版のプロンプトから不要な個所を削り、500文字に収まるように Gemini に考えてもらいました。
※現在は文字数制限が緩和されていますが、プロンプトを作るための工夫として当時のプロセスを紹介します
Gemini が作成したプロンプトを下記の2パターンの質問を用意して繰り返し検証しました。
- FAQに記載のある質問
- 「請求について」などいくつかのFAQから回答の生成が必要な質問
完成した「会話のスタイル」（プロンプト）はこちらです。
# 回答スタイル
- 社員の役職や部署に関係なく、フラットかつ丁寧に対応してください。
- 回答は簡潔でわかりやすくしてください。
# アカウントチームの主な業務
- 新規AWSアカウントの発行
- 顧客が利用中のAWSアカウントをクラスメソッドへ転入させる手続き
- クラスメソッドが開発・運用するポータルサイト「CMP」への顧客情報登録
- CMPに登録されている顧客情報の変更対応
# 出力形式
- 読みやすい文章を心がけてください。
- 必要に応じて、箇条書きを使用してください。
- 理解を助けるため、図や表を使用してください。
- 文末に回答作成の元になったソースのタイトルを3つまで記載してください。
Gemini が頑張ってくれて336文字になりました。
ChatGPT版の「アップロードした資料以外から回答作成は禁止」という力技プロンプトはまるっと不要になり、これだけでもかなり文字数を削ることができました。
※ブログ執筆時（2025年11月24日）に確認したところ、会話のスタイルの文字制限は10000字にアップデートされてました。なんてこった。
NotebookLM は回答文の末尾から出典を確認できますが、追加しているソース数が30もあり、回答作成の出典数が多いという点が気になりました。
そのため、ChatGPT版で利用していた「元になったソースのタイトルを3つまで記載」する指示は残しています。
ステップ3：共有権限、「歓迎メッセージ」、ユーザーの「見え方」を設定する
続いて、NotebookLM 固有の機能を設定していきます。
画面右上の「共有」をクリック後に表示されるポップアップから編集が可能です。
アクセスできるユーザー
Google Documents などと同様に、ユーザー（グループ）ごとに閲覧者、編集者のどちらかを付与します
歓迎（Welcome）メッセージ
このツールがどのようなもので、何ができるのかを簡潔に説明するページです。
チャットで質問したときに、会話の冒頭に表示されます。
入力した「歓迎メッセージ」はこちらです。
アカウントチーム内のFAQやナレッジベースを活用して、効率的に質問への回答を提供するAIアシスタントです。
・チーム固有のFAQデータベースに基づいた回答
・自然な対話形式での質問が可能
・24時間365日いつでも利用可能
■質問のコツ
・一つのチャットに一つの質問を：質問ごとにチャットを分ける
・不明確な回答は掘り下げて：「詳しく説明して」「例を教えて」など
・キーワードを明確に：正式名称や専門用語の使用を推奨（例：CM→クラスメソッド）
内容は随時更新されます。確認が必要な場合はSlack WFからアカウントチームへご連絡ください。
※注意事項
回答は参考情報です。重要な判断は必ずアカウントチームに確認してください
不具合や誤回答は piyopiyo までご報告ください
※フィードバック
https://forms.hogehoge
※ソースドキュメント一覧
https://www.notion.so/fugagfuga
ユーザーは次のコンテンツにアクセスできます
ユーザーがノートブックを開いたときに、どのように見えるかを決めます。
- チャットのみ：チャット欄だけ表示する
- ノートブックすべて：ソース、チャット、Studioを表示する
社内FAQということもあり、ソースはユーザーが閲覧できるようにしたいので「2」にしました。
Studioの作成物も見てもらいたい。
ステップ4：みんなに公開する
作成したノートブックに「ナレッジベース」をいうタイトルをつけ、ChatGPT版と同様の準備をして、2025/06/13（金）に社内でリリースをしました。
所属チーム内では NotebookLM の利用方法紹介もかねて7月にハンズオンを2回実施しています。
運用の冗長化は11月に権限が編集者のメンバーをチーム内で増やし、ソースの追加などは複数名で対応できる体制にできました。
４：今後の課題
ナレッジベースLMの運用結果です。6月はChatGPT版と重複期間があるので参考値となります。
※6月以降は削減時間の計測を廃止しました
| 対象月 | AI解決数 | AI未解決数 | 解決率 | AI利用数 | 未利用数 | 利用率 |
|---|---|---|---|---|---|---|
| 2025-06 | 146 | 15 | 91% | 161 | 42 | 79% |
| 2025-07 | 222 | 35 | 86% | 257 | 17 | 94% |
| 2025-08 | 205 | 28 | 88% | 233 | 19 | 92% |
| 2025-09 | 208 | 41 | 84% | 249 | 23 | 92% |
| 2025-10 | 307 | 47 | 87% | 354 | 25 | 93% |
「利用率」が90％を超えているので、前回課題としていた「より適切な AI プラットフォームを検討する」は解決できていそう。
一方で利用者の母数が増えたため、新たな課題がでてきました。
- AIのみでは解決しない質問数が増えるという本末転倒状態
- 「削減時間」が指標として利用できない
以下は前回から引き続きの課題です。
- AI の回答を評価・分析するにはどうしたらよいか
- 回答に利用される FAQ のメンテナンスを自動化できるか
５：（おまけ）Studio機能が便利
30も追加したソースを活かして、「音声解説」「動画解説」でチームの業務の解説を作成したり、「スライド」にまとめたりしています。
複数のソースにまたがっているQAも「マインドマップ」を使うとフロー図として可視化できます。
いままで煩雑だった業務の説明が簡単にできるようになって嬉しいです。（いろいろ作成して遊ぶの楽しい）
さいごに
去年の今頃はChatGPT版を作成していました。
リリースからリプレイスまでたった半年しか経ってない。
昨年プロンプトの基礎を学んだことで、今は要点を整理してプロンプト自体は AI で作成してます。
自分の業務割合を考えると、AI 関連作業は全体の1割にも満たない時間でやってます。来年はこの時間を増やせるように、現在の業務をリファクタリングしていきたいです。
このブログがどなたかの参考になれば幸いです。
長文を読んでいただき、ありがとうございました。
参考リンク
Chat customization from 500 to 10,000 characters
NotebookLM でノートブックを作成する
