[レポート]［日本電気株式会社］AIエージェントを活用したサイバー脅威インテリジェンス生成 - CODE BLUE 2024 #codeblue_jp

こんにちは、AWS事業本部@福岡オフィスのべこみん(@beco_minn)です。

今回はCODE BLUE 2024で行われた以下のセッションのレポートです。

［日本電気株式会社］AIエージェントを活用したサイバー脅威インテリジェンス生成

NECは、AIエージェントを活用しサイバー脅威インテリジェンス(CTI)を効率的に生成する仕組みの研究開発に取り組んでいます。CTI生成には、リサーチ時間の制約があることが多く、短時間で有益な情報を収集および分析をする必要があります。また、アナリストのスキルに成果物の品質が依存してしまうことが課題となっています。NECでは、これらの課題を改善するための仕組みを開発し、社内検証において、脅威情報取集やリサーチレポート作成における事前調査の作業時間を約50%削減できたことを確認しています。本講演では、AIエージェントを活用しCTIを効率的に生成する仕組みの詳細と今後の展望についてお話しします。

Speakers:
Riku Katsuse(勝瀬 陸) サイバー脅威インテリジェンスアナリスト

レポート

• 自己紹介
  • 勝瀬さんは4年前にNECに入社
  • 主な担当業務はサイバー脅威情報の収集と分析
  • AIエージェントを活用したサイバー脅威インテリジェンス生成アプリを開発して、上記主業務を効率化している
• サイバー脅威インテリジェンス
  • インテリジェンスとは
    • 意思決定のために情報を収集・分析して得られた知見や有用な情報
  • 上記が転じて、サイバー脅威インテリジェンスとはサイバー脅威に関する情報の収集・分析して得られた知見や有用な情報
  • サイバー脅威インテリジェンスは大きく3つに分けられる
    • 戦術インテリジェンス
      • IPアドレスやURLなどの攻撃者の侵害痕跡
      • 主にSOC担当者向けのインテリジェンス
    • 運用インテリジェンス
      • MITRE ATT&CKなど攻撃者の攻撃手法を活用した攻撃予測
      • これもSOC担当者だったりセキュリティ運用者向け
    • 戦略インテリジェンス
      • 世界情勢
      • 経営層向けのインテリジェンス
  • インテリジェンスサイクル
    • 方法査定→収集→加工→分析→配布→方法作成→...
    • 現状の課題
      • 配布以外の4つの工程において課題がある
      • インテリジェンスの品質はリサーチャーの調査方法や能力に依存
        • 個人の経験などに大きく左右される
      • 情報収集や関連の高い情報の判断に時間がかかる
• AIエージェント
  • AIエージェントとは
    • インターネットに聞いてみると、「最適なアクションをAIエージェントが自律的に決定し事前に決めた目的を達成するための枠組み」
    • 勝瀬さんのイメージとしては、AIエージェントの中にあらかじめいくつかのアクションが定義されていて、インプットに応じてそれらのアクションを組み合わせてアウトプットを出してくれるもの
• NECで開発したアプリケーション
  • 概要
    • AIエージェントを活用したアプリ
    • サイバー脅威インテリジェンスを効率的に生成
    • LLMを処理の一部として活用
  • 機能
    • Summarize
      • サイバーニュースや調査レポートの抽出・要約
    • Advanced Search
• Advanced Search
  • 処理の流れ
    • 情報収集→関連情報抽出→情報要約→要約内容検討
    • 要約内容検討で、再度生成AIに確認等を行なっている
  • ポイント
    • RAGによりリアルタイム情報を収集
    • 生成AIをようやくや検証で活用することでハルシネーションを低減
  • 注意点
    • 最適なアクションを事前に定義している
  • インプット質問例）2023年のサイバー攻撃の種類の割合はどれくらい？
    • まず、Advanced Searchは「そもそもサイバー攻撃とは何か」から考えてくれる
    • 具体的な時期などに関する情報もまとめて回答してくれる
    • ただし、回答内容を100%鵜呑みにはしていない
    • 回答内容が正しいかどうかを判定出来るように、情報の出典URLも載せるようにしている
      • URLを元に人間がチェック
  • インプット質問例2) USAの大統領選挙で懸念すべきサイバー攻撃は？
    • 国際情勢を考慮した複数の攻撃例を列挙してくれる
    • これを元に、勝瀬さんはそれらの攻撃について調査する
    • そして、NECに対してどのようなリスクがあるか（どのような攻撃が来る可能性があるか）を見ている
  • 回答比較
    • Advanced SearchとCopilotの回答を比較
    • Copilotは一般的な概要レベルの内容
    • 対してAdvanced Searchは具体的にCVE番号なども並べてくれる
    • 調査にかかる時間を節約出来るので、役に立っている
• ユースケース例（社内）
  • Summarize
    • 脅威情報要約業務の業務時間を**約50%**削減
  • Advanced Search
    • 特定テーマ調査業務の脅威情報収集時間を**約50%**削減
    • Advanced Searchが出した内容についてはリサーチャーが改めて分析してレポートにまとめている
• まとめ
  • サイバー脅威インテリジェンスの生成には、個人の能力差や時間的な課題がある
  • NECはAIエージェントによって業務の効率化を目指している
  • AIエージェント化を目指して開発したアプリケーションによって工数を約50%削減できた
  • 今回の話はNEC技報というサイトでも公開している
    • サイバー脅威インテリジェンス生成自動化: Vol.75 No.2: ビジネスの常識を変える生成AI特集 ～社会実装に向けた取り組みと、それを支える生成AI技術～ | NEC

感想

サイバー脅威インテリジェンスの生成に関する課題を解決するためにNECで取り組んでいるAIエージェント活用アプリの話でした。

タイトルやセッションの概要を見た時には私が懸念していたハルシネーションなどの課題にもAIエージェントという形式の採用やRAGの活用、人間の手を入れることで対応されており、「必要な箇所で」「最大限AIの力を享受出来るように」上手く生成AIを活用されている取り組みだと感じました。

追加の質疑応答で、Advanced Searchの出力に対しての人間の加筆修正等も2~3箇所程度まで減らせているとのこと。RAGを使っているだけあり、ハル子ネーションもかなり少なく高精度ですね。

まだ研究段階とのとですが、既に半分近くの工数を削減出来ているとのことで素晴らしい取り組みですね。
今後の成果等も是非伺いたいと思いました。

以上、べこみんでした。