[レポート]パネルディスカッション：AIとセキュリティの現在と未来 - CODE BLUE 2025 #codeblue_jp #codeblue2025

こんにちは、臼田です。

みなさん、セキュリティ対策してますか？(挨拶

今回はCODE BLUE 2025で行われた以下のセッションのレポートです。

パネルディスカッション：AIとセキュリティの現在と未来

米国ラスベガスで今夏開催されたDEF CON 33では、「AI Cyber Challenge（AI×CC）」の決勝戦が行われました。 本大会は、AIとサイバーセキュリティの融合を目指し、DARPA（米国国防高等研究計画局）とARPA-H（高度研究計画保健庁）が主導する2年間の国家的プロジェクトです。重要インフラを支えるソフトウェアの自動防御を目的としており、参加チームはAIを活用した脆弱性検出・修復システムを開発し、その性能を競いました。 今回のパネルディスカッションには、AI×CCの開催に貢献したデイビッド・ブラムリー氏（基調講演者）をはじめ、決勝戦で上位入賞を果たしたチームのメンバーが登壇。AIとサイバーセキュリティの最前線、そして未来像について意見を交わします。

Speakers
David Brumley デイビッド・ブラムリー
Evan Downing エヴァン・ダウニング
Minwoo Baek ペク・ミヌ
Tyler Nighswander タイラー・ナイスワンダー

レポート

• 自己紹介
  • David Brumley デイビッド・ブラムリー
    • カーネギーメロン大学の教授
    • DARPA Cyber Grand Challenge有償
    • AI Cyber Challengeアドバイザー
• AI Cyberチャレンジとは
  • DARPAが行っているアメリカのサイバーセキュリティチャレンジ
  • LLMでパワフルになった
  • 今のテクノロジーでどうなるか再検討する
  • 2016年は攻撃と防御
  • 最新では自律型にフォーカス
    • 防御に注目した、守らなければならないため
    • 脆弱性を見つけて防御する
  • オープンソースを含めるようにした
    • みんなOSSに大きく依存しているため
    • 資金は十分にない
    • OSSに役に立つのではないか
    • 合成された脆弱性、本物の脆弱性も組み込んだ
  • これは複数年のチャレンジ
    • 最初はOpenTrack
    • 小企業トラック
      • いろんな企業が参加できるように
    • 最終的に7チーム選出、$200万ドル
• パネリスト
  • Minwoo Baek ペク・ミヌ
    • KAIST博士課程在籍
    • Team Atlantaのパッチング担当
    • 1位で$400万ドル獲得した
  • Evan Downing エヴァン・ダウニング
    • Trail of Bitsのシニアセキュリティエンジニア
    • プログラム分析を担当した
    • 2位で$300万ドル獲得した
    • ソフトウェア全体の修正に興味を持っている
    • 2012年以降様々な組織や製品のセキュリティ保護に貢献
  • Tyler Nighswander タイラー・ナイスワンダー
    • AlxCCチームリード
    • DARPA Cyber Grand Challenge優勝者
    • 3位で$150万ドル獲得
    • チームはアメリカと韓国に拠点がある
• 導入として「この大会に興味を持ったきっかけは？」
  • ペク氏
    • LLMに非常に興味があった
    • LLMがそんなにいいのかを確認したくなった
    • しかし1年目はそんなに良くなかった
    • しばらくするとパフォーマンスが良くなっていろんな課題が解決できるようになってきた
    • 最初はLLMがここまでできるようになるとは思わなかった
  • エヴァン氏
    • このコンペはOSSプログラムと関係を築いていた
    • OSSセキュリティの維持とよいスチュワートになって推進していきたい
    • LLMは当時全く新しいものだった
    • 学術的な観点から言ってどうなるのか興味があった
  • タイラー氏
    • 技術的にはこれが興味深いものになるのかが大きなところだった
    • 競争者だったのでコンペに興味があった
    • いろんな技術がこれまでも開発されてきた
    • LLMが2023年に出てきてこれが世界を変えると言っていた
• 「皆さんのアプローチはどのようなもので独自性があった点はなにか？」
  • ペク氏
    • CRSが走っていてどうにかできなかった
    • フェールセーフで安全に行う必要があった
    • 複数のタスクを並行して行った
      • 脆弱性を見つける
      • 言語に依存しないもの
        • 互いに依存し合って助けるもの
      • パッチシステムも異なる戦略を活用してパッチ作成していた
      • 多様性が独自性のあったアプローチ
    • [デイビッド氏]1つが良いというわけではなくいろんなアプローチを混ぜたのですね
    • そうです。いろんな言語がありました
    • 追加の言語対応も行う必要があった
  • エヴァン氏
    • LLMの非決定論が台頭してきた
    • プログラムオブセキュリティのコミュニティのツールを活用
    • LLMはランダム
    • ソフトウェアの安定性を重視
    • フェイルオーバーするようにした
    • 安定性に注力した
    • 静的解析にも注力していた
    • 最終的にLLMツールに統合した
    • コードベースを学びパッチを適用
  • タイラー氏
    • なぜ参加したかはLLMが有用であるか試したかったから
    • LLMヘビーなアプローチをした
    • fatherを使ってPythonでデバッガを使うなど
    • うまく機能した
    • みんなが使っている
• 3つの違うアプローチがある
• 「あなたが開発したシステムで興味深い/以外だった点はなにか？」
  • タイラー氏
    • 同じアプローチを取った
    • LLMは良かった、GPT3.5
    • しかし完璧ではなかった
    • 試したモデルはすべてfailした
    • CookieはユーザーIDだと思ったから
    • しばらくしてClaude3.5が出てきて同じ問題がでた
    • 戻ってコードを評価して行く必要があった
    • アプローチを取ると変わる
    • ループが必要、失敗したものを再評価する
    • これが大事
    • 普通は1回目は成功しない
  • エヴァン氏
    • ほとんどタイラー氏と同感
    • これは予想外だった
    • LLMがどう考えているかリアーキテクチャする必要がある
    • BOFがある場合にどう修正するのか？
    • もっと自律的なアーキテクチャにした
    • 内部で測定して改善
  • ペク氏
    • LLMが良くなっていることが意外だった
    • 最近はLLMが怠けることを感じている
    • 決勝の問題を見てもう一回動かしてみた
    • パッチが別の脆弱性のためのものだった
    • 隠されたファイルに回答が隠されていた
    • パッチっぽい名前であれば答えだと考えたが実際は違うパッチだった
    • なぜ怠け者だと考えているのか？
    • トライすればもっと良くなることを知っているから
    • LLMは時々推論を止める
    • それを怠け者と呼ぶ
  • タイラー氏
    • 1つ思い出しました
    • LLMがコードを読まなかった時
    • 他のファイルを見ていた
    • 人間はすぐに気づく
    • しかし機械は処理しようとする
    • 何が起きているかわからなかったり、騙されていたりする
  • エヴァン氏
    • 私たちはほとんどの時間LLMで解決する問題を制限するようにした
    • 解決する箇所を小さくした
• 「攻撃者と某所者が双方ともAIを用いた場合、より優位性を得るのはどちらか？」
  • エヴァン氏
    • 今のところはLLM活用は初期段階
    • 攻撃者は優勢だが防御者が優位になる
    • 何年もコミュニティを苦しめていた問題を見つけられる
  • ペク氏
    • 防御者が専門家だとAIはできる高尾を仮想化できる
    • 攻撃者が優位になる
    • 1つの間違いだけを見つければよい
    • 防御者はすべてを探す必要がある
  • テイラー氏
    • 複雑な問題だ
    • いろんなツールが採用される
    • 自動化されたセキュリティは防御者に優位
    • 攻撃者は制約を受けず毎日攻撃できる
    • 防御者が今持っていない能力を獲得できる
    • 防御者優位になる
    • 防御者は色んな人、開発者だけではない
• 「ソフトウェアセキュリティも向上に役立つAIの進歩としてどのようなものを期待しているか？」
  • ペク氏
    • ここ2年の改善はすごい
    • できないことができるようになった
    • しかしもっとLLMができることがある
    • LLMが会話が長すぎるとコンテキストを短くしたりする
  • エヴァン氏
    • LLMでパッチができることは確認している
    • Fuzzingをした
    • 多くのものはFuzzingを受けるように作られていない
    • ソフトウェアがクラッシュするようにFuzzingする
  • テイラー氏
    • ハーネスをコードのために書くことはできる
    • しかしリバースエンジニアリングしないとうまくいかない
    • モデルは今でもかっこいい
    • 改善をしている
    • ツールをたくさん実行すると失敗する
    • 無限ループに陥る
    • 見つけていない何かを見つけようとする
• 「AI時代において競争力を維持するために、セキュリティ専門家が身につけるべきスキルはなにか？」
  • エヴァン氏
    • ツールを自分が使いたいものにするか
    • どのツールを作っても今の仕事が増えたらダメ
    • すべての人に価値があるように
  • ペク氏
    • どういう命令をするべきか、どこに見に行くかを指示する
    • jobを分類して具体定期にする
    • 専門家であることがより重要
    • LLMを使うということはLLMより詳しくならないといけない
  • テイラー氏
    • セキュリティの基礎を理解しなければ行けないしFuzzingなども理解しないといけない
    • セキュリティの専門家が必要
    • CTFを使うとセキュリティではなくドメインの専門家を確認できる
• 「プロンプトエンジニアリングやプロンプトインジェクションが台頭する中、AIそのものの安全性をどのように確保すべきか？」
  • テイラー氏
    • SQLiと同じで信頼できないものを入力すべきではない
  • エヴァン氏
    • 何をやらせたいのかと関係している
    • 単に決定論的なものもある
    • ストップリストを作ってアウトプットにそれが入ったら止めるとかもある
    • しかしトレーニングやテストのデータセットを準備する必要がある
    • コミュニティにあるアセットは攻撃者も防御者も使っている
  • ペク氏
    • AIをセキュアにできるかはわからないがプロンプトインジェクションでは選択の問題
    • 何をして何をしてはいけないか
    • 何をAIセキュアと呼ぶか決めづらい
• 「チームが開発した技術を使ってあなたのチームは次にどのような取り組みを進めているのか？また現時点で試すことは可能か？」
  • ペク氏
    • OSSなので試してほしい
  • エヴァン氏
    • GitHubに公開している
    • 使いやすくしているので使ってみてほしい
    • いろんな言語サポートを追加したい
  • テイラー氏
    • いろんな言語をサポートするのは重要
    • 誰が使うのかは重要
• 以下聴講者質問
• 「脆弱性を排除する可能性についてどう考えるか？」
  • エヴァン氏
    • すべての脆弱性を削除するのは難しい
    • だからといって我々は改善はできる
    • 脆弱性を見つけてパッチするのではなく減らすアプローチをしている
  • テイラー氏
    • 根本的なコンピュータ・サイエンスの目指すところであるがコードがあればBoFは存在すると考える
  • ペク氏
    • LLMが良くなってもバグがなくなるか？
    • LLMは想像力が足りない
    • 少なくとも現在のLLMではダメ
• 「どういうLLMで強みを出せるか」
  • テイラー氏
    • 複数のモデルを利用している
    • どこにLLMを入れるかを考える
    • 多くのセキュリティドメインの知識を導入しないといけない
    • リサーチも重要
  • ペク氏
    • 我々の仕事が小さくなるわけではない
    • LLMを手助けするために何ができるか？
    • LLMがよくなったので、LLMを活躍させる
  • エヴァン氏
    • ChatGPT20が出たときにどうなるのか？という思考実験に近い
    • ソフトウェア分析ツールをどう実装するかなど変化が起きる

感想

非常に面白いディスカッションでした。LLMの活用のための感覚が自分の使用感に近かったのでより理解が深まりました。