
DevelopersIO 2026 仙台で「生成 AI 導入状況 ~企業活用の実態と課題~」について登壇しました
はじめに
こんにちは!AI 事業本部のこーすけです。
2026 年 9 月 18 日に開催された「DevelopersIO 2026 仙台」で、「生成 AI 導入状況 ~企業活用の実態と課題~」というタイトルで登壇しました。
登壇資料
DevelopersIO 2026 仙台とは
DevelopersIO は、クラスメソッドが開催している技術カンファレンスです。仙台会場となったenspaceさんで9月18日の開催となりました。
以下、話しきれなかったところを少しだけ補足します
エージェント導入で決めるべき 3 つのこと
- 業務のどこを任せるのか
- どうなっていたら達成なのか
- 何を資産として残すのか

そもそも論ですが、AIエージェントとは、ある業務またはその一部を代替するものです。
LLM は、学習の過程で得た一般的な知識に基づき、ある一定の業務判断をする基準を元から持っていますが、そのままの生の性能では業務を代替することはできず、実際の業務を担当している方とのギャップが存在します。AIエージェントの開発は、このギャップを解消し、LLM の判断を業務担当者の判断に近づける作業だと思っています。
ある業務を AI に任せたいという相談をいただいたとき、業務を丸ごとAIエージェントに渡そうとするとそのままではうまくいかないことが多いです。まず業務を「判断の積み重ね」として分解し、判断ごとに「何を根拠にしているか」を整理する必要があると感じています。
たとえば「社内の問い合わせ対応」なら、次のように分けられます。
| 判断 | 根拠 |
|---|---|
| この問い合わせは何についてか | 業務ドキュメント(FAQ のカテゴリなど) |
| 自分たちの部署で答えてよいか | 規定・ルール(担当範囲の取り決めなど) |
| どう答えるか | 業務ドキュメント、過去の判断事例 |
| 例外として上長に回すべきか | 経験や勘 |
このように切り分けることで、代替させようとしている業務について、どこまでができそうで、どこからができなそうかを整理することができます。例えば、問い合わせ分類と回答案の作成まではAIエージェントに任せられそうなのか、例外の見極めはまだ人が持つ必要がありそうなのかというように、任せる範囲を判断単位で決められるようになります。
また、判断の根拠は大きく 4 種類に分けられ、AIエージェントに参照させるために準備することが違います。
(この分類は私個人のものです。)
| 根拠の種類 | 例 | AIに渡すためにやること |
|---|---|---|
| 規定・ルール | 社内規定、法令、業界基準 | 渡すだけ |
| 業務ドキュメント | 業務マニュアル、手順書、FAQ | 最新かどうか確かめる |
| 過去の判断事例 | 承認や差し戻しの履歴 | 判断と理由を対にする |
| 経験や勘 | ベテランの見極め | 聞き取って言語化する |
下の行ほど準備が重くなりがちなので結構根気が必要な作業になります。
- 規定・ルール :その業界の枠組みを記述する資料や関連する法律周りなど、更新が少ない資料群です
- 業務ドキュメント :あるにはあっても更新が止まっていることが多かったり、古い手順書を渡すと、エージェントは古い手順で正しく作業してしまうので注意したいです
- 過去の判断事例 :「承認した」「差し戻した」などの何か処理をした結果と、その理由が対になっていることが必要です。理由を付与してあげることで、個別具体ケースごとの基準や例外なども参照させることができるようになります
- 経験や勘:基本的にどこにも書かれていないものです。ベテランの方に具体的な事例ベースで聞き取り、言葉にするところから始めます
エージェントが期待するように動かないときは、「判断の根拠が参照できていない」ことが多いと感じています。この表のどこが欠けているかを確認するのがおすすめです。

分解した判断のすべてにエージェントが必要なわけではありません。
| ワークフローでよい | エージェントがいる |
|---|---|
| 手順と分岐が決まっている | 状況によって判断が変わる |
| 同じ入力なら同じ結果が欲しい | 複数の情報源・外部からの情報を扱う |
| 例外の扱いが一定でない |
手順と分岐が決まっている作業にエージェントを使うと、推論の分結果が揺らぎ、コストと応答時間も増えます。同じ入力に同じ結果を返すことが求められる処理も、ワークフローのほうが向いています。
実際には「全部エージェント」か「全部ワークフロー」かの二択ではなく、決まった流れはワークフローで組み、動的な判断が必要な箇所だけにエージェント(または LLM 呼び出し)を差し込む形に落ち着くことが多いです。業務を判断毎に分解する作業は、どこにエージェントを活用するかを整理するための材料にもなります。

「正答率 80% でした。では本番に進みますか?」という状況が発生します。80% (n%)が十分なのかどうかを業務上十分に評価することは難しく、業務にとっての意味に置き換えないと次のステップに進むかを決めることが難しいです。
そこで、達成の定義は次の 2 段で置くようにしています。
| 段 | 何を見るか | 例 |
|---|---|---|
| 業務成果 | もとからある KPI | 一次回答までの時間、レビュー工数、処理件数 |
| AI の品質 | 業務成果を支える指標 | 回答の正確さ、根拠の妥当さ、人の承認率・差し戻し率 |
AIエージェントの業務成果を、一般的なAIの品質を表す評価指標だけではなく、業務側がすでに持っている KPI で置くことが必要だと感じます。業務の担当者が普段から評価している数字なら、「導入前と比べてどうなったか」をそのまま評価でき、本番化の判断も業務側で行うことが容易です。
また、前半で触れたように、AIエージェント時代には人の役割が「AI の出力を読む」から「AIのアクションを承認する」へ転換してきています。そのため、人がどれだけ修正せずに承認できたか(承認率)、差し戻したならなぜか(差し戻し理由)は、単なる正答率よりも業務の実態に近い指標になります。そうした評価を業務担当者の方々に実施いただくことは有意義な取り組みだと思います。
最近試していること: 富豪的エージェント検証

最後に紹介したのが、最近試している「富豪的エージェント検証」です。名前は自分がイメージでつけました。
やり方
詳細設計に入る前に、業務で使っている情報をできるだけいただいて、エージェントに全部渡してしまいます。検索の仕組みもチャンクの切り方も考えず、コストも気にせず、まずはタスクが解けるか解けないかだけを確かめます。
| 結果 | わかること | 次にすること |
|---|---|---|
| 解けない | データの不足・タスク定義の問題 | データの追加 / 業務の分解 |
| 解ける | 必要な情報はある | エージェント構成・検索の最適化 / ワークフロー化 |
全部ぶっこむことで起きること
最初から検索やエージェントの構成を作り込むと、うまくいかなかったときに原因が切り分けられません。検索で必要な文書を拾えなかったのか、文書はあったのにモデルが読み違えたのか、そもそも答えるための情報がどこにもなかったのかなど、原因の候補が多すぎて、改善の手が打てなくなります。
先に情報を全部渡して試すと、この切り分けが簡単になると感じています。
- 全部渡しても解けない: 情報が足りないか、解こうとしているタスクの定義が大ききい場合がある。1 つ目の「判断の根拠」に戻って、欠けている根拠を集めるか、業務をさらに分解します
- 全部渡せば解ける: 必要な情報は揃っている。次はコストと速度を本番に耐えうる水準まで改善作業です。検索で渡す情報を絞る、決まった部分をワークフローに置き換える、といった最適化に進みます
つまり、「できるかどうか」と「安く速くできるかどうか」を分けて検証する考え方です。モデルに渡すことができるコンテキスト長が大きく広がった今だからこそできる進め方だと思います。
おわりに
DevelopersIO 2026 仙台で、この 1 年の生成 AI 導入支援で感じたことをお話ししました。
エージェントの時代になって、技術的にできることは大きく広がりました。その一方で、成果を出せるかどうかは「どこを任せるか」「何を達成とするか」「何を残すか」を先に決められるかにかかっていると感じています。
最後まで読んでいただきありがとうございました!








