[レポート][三井物産セキュアディレクション株式会社]AIエージェントの脅威動向と境界防御(Secure AI Gateway)による多層防御 - CODE BLUE 2026 #codeblue_jp #codeblue_2026

[レポート][三井物産セキュアディレクション株式会社]AIエージェントの脅威動向と境界防御(Secure AI Gateway)による多層防御 - CODE BLUE 2026 #codeblue_jp #codeblue_2026

CODE BLUE 2026で行われた「[三井物産セキュアディレクション株式会社]AIエージェントの脅威動向と境界防御(Secure AI Gateway)による多層防御」というセッションのレポートです。
2026.11.17

今回はCODE BLUE 2026で行われた以下のセッションのレポートです。

AIエージェントは、利用者が入力したプロンプトだけでなく、AIエージェント自体が外部文書やツールの出力も読み、その内容に従って自律的に行動します。特に自然言語を扱うLLM/AIエージェントでは、指示とデータの境界が曖昧になり、攻撃も自然言語で書かれるため、既知のパターンや構文を探す従来の攻撃検知だけでは捉えられません。そのため、LLMに対するセキュリティ対策だけでなく、AIエージェント特有の脅威に対しても対策が必要です。

本講演ではプロンプトインジェクションによる認証情報や個人情報の持ち出し、意図しないコマンドの実行といったエージェント特有の脅威を、実在する脆弱性の事例とともに整理し、多層防御の1つとなりえる境界防御に焦点をあてて紹介します。LLM/AIエージェントにおける境界防御では、シグネチャマッチングだけでは攻撃を捉えることはできず、文脈や状況を理解した判定が必要となります。また、プロンプトの内容だけでなく、シャドーAIと呼ばれる認証外のAI利用に対する検知/統制も重要です。過検知/誤検知を抑えつつ、AIエージェントの活用進めるためには、組織としてどうやって統制を行うかなど、弊社の取り組み事例を含めて紹介します。

Speakers:
高江洲 勲 AI&高度先端技術推進部 フェロー
幸田 奨平 AI&高度先端技術推進部 AI セキュリティエンジニア

レポート

  • 背景
    • LLM-AIエージェント-MASの関係性
      • LLM:推論を扱う基盤モデル
      • AIエージェント:LLMに目標設定・計画・行動実行の機能を与えた自律システム
      • MAS:複数のAIエージェントが協調してタスクを分担・処理する分散システム
  • LLM/AIエージェントにまつわる脅威
    • LLM/AIエージェントの利用例
      • AIエージェントを用いたソフトウェア開発(Claude Code / Codexなど利用)
      • WEB AIサービスを用いた机上調査や資料作成(ChatGPTやClaudeなどのWeb AIサービスを利用)
    • LLM/AIエージェント利用におけるセキュリティリスク
      • 機微情報の入力による漏洩、プロンプトインジェクション、シャドーAIなど
    • 事例1:機微情報の入力:大学職員が紛争資料をChatGPTに入力
      • 訴訟において自らの証拠資料を作成するためChatGPT Proに職場のEメール・会議記録等を入力
      • 職員は訴訟には勝訴したが、機密情報漏洩等により懲戒解雇の対象となりうる結果となった
    • 事例2:間接プロンプトインジェクション
      • Webサイト要約からのコード実行
      • Claude Code(Opus 5 / Auto mode)にWebサイト要約を頼むだけで攻撃者の任意コードが実行される
      • Auto modeの安全分類器だけでは安全は確保できないことが示された
    • 事例3:危険なコマンドの応答・実行
      • フォレンジック調査中、ログに書かれた注意喚起例をコマンドと誤認して実行し、WindowsのHOMEを全削除してしまった
  • 境界における多層防御
    • AIの高度化に伴う境界の増加と連携の多様化
      • AIができることが 話す -> 調べる・使う(外部ツールの呼び出し、Webの調査) -> 実行する(コマンドの実行など)へ進化
      • 境界の複雑化がもたらす3つのリスク:見えない、信じられない、想定できない
        • 見えない:ブラックボックス化の拡大
        • 信じられない:信頼できない連携先の増加
        • 想定できない:意図しない入出力の発生
      • 3つのリスクに対応するには:LLMに出入りするプロンプトと応答を、どの境界からでも全件観測・検査する
        • エージェント、チャットの利用者、RAG、入力するファイル etc
      • 検査で何を見るのか
        • 各過程それぞれの意味・意図を見る
        • 入力:データに潜む命令の意図
        • 思考過程:命令に従おうとする意図
        • 出力:実行しようとする行動の意味
      • 一つの検査手法の限界
        • 単一の手法では全件にかけられる軽さと意味・意図までの理解を両立できない
      • 思想の異なる手法を重ねた多層防御
        • 以下のように3層で許可/遮断を判定
        • L1:ルールベース
        • L2:機械学習による分類
        • L3:LLM判定
      • LLM判定を安全かつ効率的に使う設計
        • 判定範囲を限定する
        • 命令とデータを区別する
        • LLM判定の中でも段階を分ける
      • 検査を通らない経路への対応
        • 端末:強制する(許可したAIだけ使わせる)
        • ネットワーク:見つける(通信先のAIサービスを特定)
        • サービス:強制する(個人アカウントを制限)
      • 課題
        • 境界の変化に合わせて検査の思想も変わるため更新し続けることが必要
  • まとめ
    • 境界が複雑になるほど、全件を意味まで多層で見ることが必要
  • MBSDのAIセキュリティ関連サービス

感想

AIの高度化により境界が複雑化すること、そのリスクとして「見えない、信じられない、想定できない」という分類は分かりやすいなと思いました。そのリスクに対応しセキュリティを確保するには多層防御が必要というのもその通りですね。課題として挙げられていたとおり、境界がこれからも変化することにどう対応していくか、というのは難しいですが、とはいえ見直し続けていくことが必要ですね。

この記事をシェアする

関連記事