【Copilot Studio】集計した数値から示唆を生成してみた：根拠のない応答をブロックする設定も

はじめに

こんにちは、けーまです。

KPIレポートでは、数値を並べるだけでなく「どこが伸びているか」「どこに注目すべきか」というコメント（示唆）まで添えたい、ということがよくあります。
この示唆は文章なので、生成AIに任せたい部分です。
ただ、生成AIに数値を渡してコメントさせると、渡していない数値を作ってしまったり、事実と違う比較をしてしまったりする不安があります。

そこで本記事では、集計した数値から示唆を生成させる方法と、その際に事実から外れにくくする工夫を取り上げ、2026年6月時点で実機検証しました。
計算は決定論的な手段に任せ、生成AIには「数値の解釈」だけをさせる、という分担を軸にします。
数値レポートに正確なコメントを添えたい方の参考にしていただければと思います。

本記事は、Copilot Studio でエージェントを作るシリーズの第8回です。
シリーズ全体では「収集 → 集計 → グラフ → 示唆 → 資料化」を一気通貫で行うエージェントを目指しており、本記事はその「示唆」を扱います。

対象読者：Copilot Studio で、数値から比較コメントや注目点を、事実に沿って生成したい方

シリーズ記事一覧

前回（第7回）は、KPIをチャット内でグラフ表示するところまで試しました。
今回はその数値・グラフから、比較コメントや注目点（示唆）を文章で生成させます。

1. 今回やること

集計した数値から、示唆を生成させます。
ポイントは、数値の計算と数値の解釈を分けることです。

• 生成AIには「与えた数値の解釈」だけをさせる
• 事実から外れにくくする工夫（計算済みの数値を渡す／指示で数値を固定する）を入れる
• 実機で、3社のKPIから示唆が生成されることを確認する
• 発展として、ツール・ナレッジを使わない応答をブロックする設定も試す

検証には、これまでの回と同じ架空の SaaS 企業3社（CloudNova / StreamForge / Datapeak）の KPI（架空の値）を使います。

2. 示唆は計算ではなく解釈

これまでの回で、合計・平均・前年比のような計算は、生成AIに任せず決定論的な手段で行いました。
示唆は、その計算済みの数値を読んで「どこが伸びているか」「どこに注目すべきか」を文章にする作業です。
これは計算ではなく解釈なので、生成AIが得意とする部分です。

つまり、役割を次のように分けます。

この分担にすると、数値そのものは正確なまま、コメントだけを生成AIに作らせられます。
あとは、生成AIが「渡していない数値を作る」「事実と違う比較をする」ことを抑えれば、示唆を安心して任せられます。

3. 事実に沿った示唆にする工夫

数値をプロンプトに渡して示唆を頼むとき、事実から外れにくくする工夫は2つです。

計算済みの数値を渡し（工夫1）、その数値だけを使うよう指示する（工夫2）ことで、生成AIの仕事を解釈だけに閉じ込めます。
このほかに、Copilot Studio には「ツール・ナレッジを使わない応答をブロックする」設定もありますが、使いどころが別なので、発展として5章で扱います。

3.1 計算済みの数値を渡す

1つ目は、前回までの集計結果（計算済みの数値）を渡すことです。
生成AIに「このExcelを集計してコメントして」とまとめて頼むと、計算と解釈が混ざり、数値を取り違える余地が生まれます。
計算は前段で済ませ、示唆の段では「確定した数値」だけを渡します。
こうすると、生成AIがやることは解釈だけになります。

3.2 指示で数値を固定する

2つ目は、指示（プロンプト）で「渡した数値だけを使う」と明示することです。
カスタム指示やプロンプトで、生成AIの振る舞いを制御できます。

示唆を頼むときの指示は、たとえば次のようにします。

次の集計値だけを根拠にコメントしてください。新しい数値を計算したり、ここにない数値を持ち出したりしないでください。
- CloudNova：2025年ARR 1950百万円（前年比 +20.0%）、NRR 120%、営業利益率 13.5%
- StreamForge：2025年ARR 1300百万円（前年比 +10.2%）、NRR 109%、営業利益率 1.0%
- Datapeak：2025年ARR 2810百万円（前年比 +12.4%）、NRR 128%、営業利益率 19.0%
出力は「各社の注目点」と「3社の比較で言えること」の2部構成にしてください。

数値を本文に埋め込み、「ここにない数値を持ち出さない」と制約することで、生成AIの仕事を解釈に閉じ込めます。

4. 実機で示唆を生成する

ここまでの工夫を、3社のKPIをまとめて扱う統合エージェント「KPIレポート作成アシスタント」で実際に動かします。

4.1 エージェントの設定を確認する

示唆を生成させる前に、2点だけ確認します。

1つ目は、生成AIオーケストレーションを「生成（Generative）」にしておくことです（設定 → 生成AI → オーケストレーション）。
これで、エージェントが必要に応じてツールやナレッジを自分で選んで使えるようになります。

生成オーケストレーションを有効化。「はい、利用できるツールやナレッジを適宜使用し、応答を動的にします」を選択している

2つ目は、前回までに作った決定論的な集計ツールが組み込まれていることです。
ツール一覧に「KPIScriptAgg 四半期集計（Office Script・決定論）」があり、計算はこのツールに任せ、生成AIには解釈だけをさせる（工夫1）土台になっています。

ツール構成。決定論的な集計を行う「KPIScriptAgg 四半期集計（Office Script・決定論）」が組み込まれている。ほかに Word 差し込み用のプロンプトツールも持つ

なお、今回の示唆では数値をプロンプトに直接渡すため、ナレッジやツールは使いません。
そのため「根拠のない応答を許可する」（5章で扱う設定）はオンのままにしています。

4.2 集計値を渡して示唆を依頼する

テストパネルのチャットで、3.2の指示文をそのまま送ります。
「渡した集計値だけを根拠にする」という制約と、前段の集計で確定済みの値（CloudNova / StreamForge / Datapeak の 2025年 ARR・前年比・NRR・営業利益率）、そして「各社の注目点」「3社の比較で言えること」という出力構成を一つのメッセージにまとめています。

実際に送った文言は次のとおりです。

次の集計値だけを根拠にコメントしてください。新しい数値を計算したり、ここにない数値を持ち出したりしないでください。
- CloudNova：2025年ARR 1950百万円（前年比 +20.0%）、NRR 120%、営業利益率 13.5%
- StreamForge：2025年ARR 1300百万円（前年比 +10.2%）、NRR 109%、営業利益率 1.0%
- Datapeak：2025年ARR 2810百万円（前年比 +12.4%）、NRR 128%、営業利益率 19.0%
出力は「各社の注目点」と「3社の比較で言えること」の2部構成にしてください。

テストパネルで示唆を依頼。「次の集計値だけを根拠にコメントしてください…」という指示に、確定済みの集計値と出力構成を添えている

4.3 生成された示唆を確認する

送信すると、各社の注目点と、3社を比較した表・コメントが同じ応答に返ってきました。

エージェントの応答。会社ごとの注目点と、3社を横断した比較表・コメントが、渡した集計値に沿って生成された

今回の検証では、返ってきたコメントは渡した集計値（CloudNova / StreamForge / Datapeak の ARR・NRR・営業利益率）に沿った内容で、渡していない数値が持ち出されることはありませんでした。
ただし、生成AIの回答は毎回の応答で異なるため、同じ依頼でも内容は変わりえます。

このように、計算を前段で済ませておけば、示唆の段は生成AIに任せても、数値の正確さをある程度保ったままコメントを足せます。
公開前には出力結果を複数回確認しておくと安全です。

5. （発展）根拠のない応答をブロックする設定

4章までは、数値をプロンプトに直接渡し、工夫1・工夫2で事実に寄せました。
ここからは発展として、Copilot Studio の 「根拠のない応答を許可する」 という設定を取り上げます。
これは、ツールやナレッジを使わずに生成しただけの応答をブロックする設定で、数値をツールの出力やナレッジ経由で渡す構成にしたときに効きます。

この設定は 「設定」→「生成AI」→「ナレッジ」 にあります。
オフにすると、そのターンでナレッジやツールを使わずに生成しただけの応答をブロックできます。
なお、この設定は生成オーケストレーションを有効にしたエージェントで使います。

This setting requires that the agent has generative orchestration turned on.

引用元: Knowledge sources summary | Microsoft Learn

「設定」→「生成AI」→「ナレッジ」の「根拠のない応答を許可する」。オフにすると、ナレッジソースやツールを使わない応答（会話の文脈だけを参照する応答を含む）がブロックされる

オフにすると、ブロックの対象は「そのターンでナレッジもツールも使わなかった応答」です。
会話の履歴や一般知識だけを頼りに、ナレッジ・ツールを呼ばずに答えようとしたターンはブロックされ、フォールバックのトピックに切り替わります。

When you turn off this setting, the agent blocks any response generated in a turn where it didn't use a knowledge source or tool. This condition means that if the agent decides to answer a question directly from the conversation history or its general knowledge, without calling a knowledge source or tool, the response is blocked and the fallback topic triggers.

引用元: Knowledge sources summary | Microsoft Learn

5.1 数値の渡し方とこの設定の関係

ポイントは、判定が「そのターンでツール・ナレッジを使ったか」で決まることです。
数値の「渡し方」とこの設定の組み合わせを図で整理します。

4章のように数値をプロンプトの本文に書いただけのターンは「会話の文脈」を見ているだけで、ツールやナレッジを使ったとはみなされません。
そのため、この設定をオフにすると示唆そのものがブロックされます（4章でオンのままにしていたのはこのためです。図の左下の経路）。
一方、集計値を前段のツール（フローやコードインタープリター）の出力か、ナレッジとして渡すと、示唆のターンはツール・ナレッジに基づく扱いになり、オフでもブロックされません（図の右側の経路）。

ただし、この設定をオフにしても、生成AIが一般知識をまったく使わなくなるわけではありません。

Turning the Allow ungrounded responses setting off doesn't guarantee that the agent never uses general knowledge.

引用元: Knowledge sources summary | Microsoft Learn

そのため、この設定だけに頼らず、4章の工夫1・工夫2と組み合わせて使います。

5.2 実際にブロックされる様子

この設定がオフのとき、ツールもナレッジも使わないターンの応答が実際にどうなるかを、最小構成のエージェントで確認しました。
手順は次のとおりです。

• ツールもナレッジも持たないエージェントを新規作成する
• 「根拠のない応答を許可する」をオフにする（上のスクリーンショットの状態）
• あわせて 「Webの情報を使用する」もオフにする（オンだと一般的な質問が Web 検索に基づいて答えられ、ブロックされないため）
• 答えの根拠になる材料が何もない状態で、一般的な質問（「日本で一番高い山は何ですか？」）を送る

結果は次のとおりで、生成しただけの応答はブロックされ、フォールバックのメッセージに切り替わりました。

ツール・ナレッジ・Web検索のいずれも使えない状態での応答。「これへ回答に役立つ情報は見つかりませんでした」と表示され、生成応答はブロックされて「申し訳ございません、お問い合わせ内容を理解できません」というフォールバックに切り替わった

同じ質問でも、「根拠のない応答を許可する」をオンに戻すと、今度は一般知識から「日本で一番高い山は富士山です」と答えます。

同じエージェント・同じ質問で「根拠のない応答を許可する」をオンに戻した場合。ツールもナレッジも使わないが、一般知識から「富士山です」と回答する

示唆の生成でも考え方は同じです。
集計値をツールの出力やナレッジとして渡しておけば、この設定をオフにしても示唆は通り、データを通らない答えだけがブロックされます。
今回の4章はプロンプトに直接書く手順なので、この設定はオンのままにしました。

6. まとめ

示唆は計算ではなく解釈なので、生成AIに任せられる工程です。
事実に沿ったコメントにするには、計算済みの数値を渡し（工夫1）、その数値だけを使うよう指示で固定する（工夫2）のが基本です。今回の手順で逸脱を抑えているのはこの2つです。
さらに踏み込んで縛りたい場合は、数値をツールの出力やナレッジとして渡したうえで「根拠のない応答を許可する」をオフにし、データに基づかない生成自体をブロックする方法があります（5章）。

数値の正確さは前段の決定論的な集計で担保し、生成AIには解釈だけをさせる、という分担にすれば、示唆まで含めて自動化してもレポートの信頼性を保てます。
次回からは、ここまでで作った数値・グラフ・示唆を、Word や PowerPoint の資料に落とし込みます。

参考

• Use prompt modification to provide custom instructions to your agent | Microsoft Learn
• Add the code interpreter capability to your agent | Microsoft Learn