[レポート]サイバー脅威インテリジェンス（CTI）の共創モデルの設計と運用：AI と人の役割設計とヒューマン・イン・ザ・ループ（HITL） - CODE BLUE 2025 #codeblue_jp #codeblue2025

あしざわです。

本記事はCODE BLUE 2025で行われた以下のセッションのレポートです。

セッション情報

While AI adoption advances, 95% of enterprise generative AI solutions remain underutilized—due to a lack of design addressing "where to deploy AI and where humans should take the lead." This presentation, from the perspective of practitioners who have developed and operated AI agents supporting cyber threat intelligence, organizes the appropriate use of different types of generative AI, their placement within the intelligence cycle, the questions, hypotheses, and judgments handled by humans, and the roles of humans-in-the-loop and governance. It presents a model for coexistence that views AI as an "extension of human thinking," enabling co-creation and co-evolution to draw threat scenarios half a step ahead.

Speakers: Takahiro Kakumaru（角丸　貴洋）, 日本電気株式会社

レポート

今日のお題

• サイバーインテリジェンス領域において、何をAIに任せて、何を人が担うのか
• 人とAIがどう付き合っていくのか

AIエージェント

• 特定の目的達成に向けて動作する自律型AI
• 本セッションでは「弱いAIエージェント」について話す
  • Gartnerの定義
    • 強いAIエージェント：高い自律性がある
    • 弱いAIエージェント：決められた手順に沿って実行する

サイバーインテリジェンス

• サイバーセキュリティリスクやビジネスリスクを低減して、意思決定が円滑に行われるように支援する業務
  • 社内の要求に対して調査、意思決定できるように支援・行動している
  • サイバー脅威インテリジェンスともいう
• 業務の例として、以下のような活動が行われる
  • 脅威レポート → 攻撃の手口を調査 → 機器の設定確認をする
  • 新規脆弱性情報 → 脆弱性評価 → 注意喚起の発行
  • 複数の情報 → 脅威シナリオの作成 → 対策計画への反映
• これらの業務を遂行するために必要とされる要素は以下の通り
  • 即時性・可搬性
    • 理解速度、スピード感
    • 活用に適した構造化が求められる
      • たくさんある脅威情報から情報を取捨選択して、組織に必要な情報を把握する能力
      • アクター、手口、影響度など
    • 重要な情報要素の抽出
      • CVSSを漏れなく把握しているとか
  • 要件への適合性
    • 最も重要と言える
    • 何を知りたいのか
    • 誰が必要としているか
    • なぜ必要なのか
    • 提供形態
    • 頻度
  • 合理性と正当性
    • 根拠やロジック
    • など

生成AIへの期待とギャップ

• 生成AIに対する期待
  • 最新の情報を反映しておいてほしい
  • 脅威レポートを適切に構造化してほしい
  • 安定していてほしい
  • 微修正が必要な程度のドラフトを作成してほしい
• しかし実際には以下のような課題がある
  • LLMの知識に制約がある
  • 気にしている要素が抜けてしまう
  • プロンプトの試行錯誤
  • 能力があるアナリストがやった方が早い

応用例

• 自然言語のレポートを構造化フォーマットに変換するアプリケーションを開発
  • タイトル、概要、説明を抽出
  • 属性抽出（アクター、手口、使われている脆弱性など）
  • 脅威データベースに蓄積
• レポートの横断的分析に特化したアプリケーションを開発・運用
  • 分析クエリ（プロンプト）に基づいて調査レポートを作成 - インターネット上の数十のドキュメントから必要な情報を取得、分析
  • Deep Researchのようなもの

業務フロー

• 脅威レポートやニュースなど様々な情報源から情報を蓄積
• 情報によって検査、注意喚起などを行う
• 要件に基づいて調査、レポートを作成する

AIエージェント活用による運用結果

• 構造化業務における効果
  • 40%程度の工数削減
  • 新規要員の追加インパクトが12%増
• 調査業務における効果
  • 40%程度の工数削減

AIエージェントが得意な分野は？

• AIエージェントが効率的に処理できる部分
  • フォーマットに沿った出力
  • 抽出ルールに沿った判断
  • 類似性・差分の機械的な推論
  • 過去事例の検索・照合
    • どれを照合対象にするのかの前段階の判断も
  • 仮説候補の列挙
• 一方で人がやった方が良いこと
  • 要件の具体化・詳細化
    • 抽象的な質問をしても期待する答えが返ってこない
  • 必要な粒度・範囲の設定
  • 観点設定
  • 意味づけ
  • 地政学的文脈の理解
• 最終的には人がやった方がいいもの
  • 結果の妥当性確認
  • 最終的な意思決定

AIと人の役割をどう分ける？

• AIエージェントの役割
  • 形式知による思考
  • 大量処理、パターン抽出、自動分類
  • データに基づく仮説の生成という方向性
• 人の役割
  • 暗黙知的思考
  • 要件の背景・文脈の理解、特性の適用、判断
  • 組織の状況や地政学的な状況を踏まえた判断

人が果たすべき役割

• 背景や文脈を与える
• 観点や評価指標を示す
  • AIをナビゲートする
• 期待する成果の形を具体化する
  • 具体的であればあるほど期待した結果が出る

Human-in-the-loopの設計

• ここだけは人が判断するという線引きを設けるために、業界を理解した現場とAI専門家が一緒にやっていく必要性
• 設計において考慮すべきこと
  • 背景情報や文脈の整備
    • 専門家の構造的、体系的な理解を活かす
  • 思考の方向性や正確なターゲットを伝える
    • 要件に対する齟齬を少なくし、後戻りを最小限にする
  • 信頼できない情報を入れない
    • 一度入った誤った情報は除去が難しく、やり直しが必要になる

AIエージェント活用がアナリストに与える影響

• AIとの関わり方によって、収集分析力の成長に違いが出る
• AIの結果を修正するだけの場合
  • 表層的理解にとどまる
  • 結果の品質確認のみで終わってしまう
• AIとのサイクルを回す場合（要件定義→実行→評価→改善）
  • 文脈的理解が深まる
    • なぜこの情報が必要なのか
  • 構造的理解が深まる
    • 情報同士の関係性の把握
  • 体系的理解が深まる
    • 全体像を俯瞰した理解

共創型モデル

• ティーチング型モデル
  • 答えを教えてくれるAI
  • 即座に解答を得られるが、依存しやすい
• コーチング型モデル
  • 問い返すAI
  • 考える力が育つ
  • 人の成長を促進する

今後のビジョン

• AIと人が共創して、半歩先の脅威シナリオを作れるようにしたい
• AIに任せ、人が担い、お互いに確かめる

感想

AIとの共創は、サイバー脅威インテリジェンスに限らずあらゆる業務で考慮すべき課題だと思います。

特に自分の専門分野ではAIの提案を鵜呑みにして依存してしまわぬよう、コーチング型の共創を意識して活用していきたいなと思いました。