[レポート]ディープフェイク・サプライチェーン：サイバー犯罪の武器となる合成メディア - CODE BLUE 2025 #codeblue_jp #codeblue2025

こんにちは、臼田です。

みなさん、セキュリティ対策してますか？(挨拶

今回はCODE BLUE 2025で行われた以下のセッションのレポートです。

ディープフェイク・サプライチェーン：サイバー犯罪の武器となる合成メディア

合成メディアとディープフェイクが敵対者にとって好都合なツールとなっている時代において、このセッションでは、初期のOSINT収集から詐欺や恐喝による収益化まで、合成メディア攻撃の全ライフサイクルを深く掘り下げます。実際のインシデント、最先端の研究、レッドチームシミュレーションから得られた知見に基づいて、ディープフェイクベースの攻撃がどのように運用され、コントロールを回避し、セクターを超えて脅威の状況を再形成しているかを分析します。

最後に、このセッションでは、AI駆動の検出技術、コンテンツ認証インフラストラクチャ（C2PA）、セキュリティエンジニアリングコントロール、および役員詐称対応のための組織的なプレイブックを含む、包括的な防御フレームワークを提示します。このセッションの終わりには、セキュリティ専門家、リスクリーダー、技術アーキテクトが、現実世界における合成メディアの脅威を検出、阻止、防御するための実行可能な戦略を習得できるでしょう。

Speakers
Niladri Sekhar Hore ニラドリ・セカール・ホレ

レポート

• 400億ドルがディープフェイクやフィッシングによる被害
  • これが増えていく
  • しかし防御策はある
  • ディープフェイクはE2Eで犯罪に使われる
• 専門用語
  • Deepfake-as-a-Service(DaaS)などもある
  • 学習しなければならない
  • 知らないと対策できない
• コンテキスト
  • なぜこうなったか
  • ディープフェイクはまやかしだったが今は攻撃屋が使えるツールになった
  • 被害はもっと増えていく
  • 急激に被害は増えていく
  • つまりニッチな脅威ではない
  • グローバルにツール化されている
  • 防衛が必要
  • 拡散モデルが民主化されている中位程度のAIモデルで簡単に作れてしまう
• Deepfakeサプライチェーン
  • 発展するとサプライチェーンになる
  • 攻撃者が音声・画像・動画を入手
  • サービスを使ってディープフェイクを作成
  • もっともらしく、真正性を確保していく
  • 攻撃者が対象者の情報を集めたらプロンプトを作っていく
  • 音声・動画・テキストなどで騙していく
  • 生成AIを使う
  • そしてそれらを配合して金銭を得る
  • このようなチェーンがある
  • つまり情報の出自を確認していく必要がる
  • そこで公開された情報は取得されていると考える
  • 例えばパスワードは強化することができるが、あなたの身元を明らかにする情報が取られたらなかったことにはできない
• OSINTの収益化
  • メディア認証、C2PA, watermarking
    • 信頼できるものか確認する
    • IR/Attribution Analytics
    • 脅威について知れば対応しやすくなる
• DaaS
  • Deepfake-as-a-Service
  • すでに産業化されている
  • パッケージ化されて販売されている
    • 作られた音声やメールなど
  • 防衛するには、攻撃者のハードルが下がっているので同じコスト感で対応できるかが重要
  • 攻撃者は料金プランを選んで簡単にディープフェイクを作れる
  • モデルの学習が重要
    • 感情のゆらぎなどを検知しなければいけない
  • 最近のディープフェイクの動画は見分けることができなくなってきている
  • 人間では検知できない
  • サービスデスクなどに問い合わせが来るパスワードリセットなどが偽物かもしれない
  • 情報の出どころを確認したり、パスワードをすぐに提供しない対策が必要
• 闇マーケット
  • 多くの場合犯罪者が売買している
  • ハッカーが犯罪目的で使うこともある
  • 料金体系が設けられている
  • たまに攻撃者は自慢している事がある
    • ホラを吹いている場合もあるが
  • 対応までの時間を短くする必要がある
    • 誰かがシステムに侵入したと言っていたら、調査する必要がある
• 防御
  • 概要
    • 検出
      • 複数の階層で防衛が必要
    • Identity
      • しっかり確認する
    • Human Playbooks
      • 不自然な動きなどが足りないなど
      • 本当に人間か確認
    • ガバナンス
      • NISC, ISACなどの規制も大切
  • 複数レイヤーで確認
    • MITERにマッピングしたりNIST AIを参照したり
  • ボイスサンプルをどう分離するか
    • 振幅を正規化してLFCCとか音声に関する特徴を抽出
    • 複数の様式でチェックしてどれだけ真正かチェックする
    • モデルも複数で確認
  • どうやって検出するか
    • 同じものの繰り返しやノイズのパターンを見る
    • 判断するロジックがある
  • 画像だとどうか？
    • 背景との合成や不自然な動きを確認
    • ハイブリッド検出
    • リアルな画像の場合にどんなスコアが出るか確認する
    • 学習したモデルを使う
    • 一貫性や特徴を確認
    • モデルごとに違う観点でチェックしているのでその特徴を確認していく
    • ディープフェイクしたものに同じパイプラインでチェックする
      • ピクセルレベルで分類していく
      • yes/noではなく確率分布で確認していく
    • Occlusion-CAMでブラインドスポットを明らかにする
    • AI Attention with Grad-CAM
      • 分類だけでなく表情を理解し、不一致する部分を可視化する
      • モデルも進化している
  • Ensemble Performance
    • モデルごとに判断が変わっている
      • 観点が違うから
      • 特定のニーズに合わせて調整できる
  • データが良くなければモデルも良くならない
    • モデルを再学習させてバランスよく見せる
    • それぞれの世代のディープフェイクエンジンを見る
    • SNSに存在するディープフェイクを収集して学習する
    • 継続的に再学習する必要がある
• 人間を使ってバイパスする場合
  • リアルタイムディープフェイクの検出
    • 頭の傾きなどいろんなモデルを組み合わせる
    • 指示をして顔を動かす
    • 乖離が見られたらスコアが変わる
    • 時間がかかったらスコアに影響がある
  • チェック
    • まばたきや口の動きを見る
    • かかる時間を確認する
    • 人間の動きも大事
    • リアルタイムで何をしているのか
• この画像が改ざんされているのではないか？どう確認するか
  • 暗号化したウォーターマークをインビジブルで埋め込む
  • ファイルを再保存してもシグネチャは変わる
  • ソースレベルで信頼できるかを確認
  • PKIと同じことを画像でやる
  • E2Eの事例
    • モデルでデータ改ざんを確認
    • 実際に署名されているか確認
      • ソースで確認できる
      • 署名をする
    • 署名してアップロード
      • 公開鍵が作成されている
      • 画像に手が加えられると署名の検証が失敗する
  • E2Eの検証のパイプライン
    • マルチモデルで分析
    • 実際の画像に手が加えられている場合、複数のモデルの結果を経て判断する
• システムがフェイクを検出したらどうするか？
  • SOCへ連携し対応する
  • 収集したフェイクを更に学習する
  • アラートを使ってモデルにさらに学習させる
• どのようにエンタープライズのセキュリティに活用するか？
  • ループバックを回していく
  • 自動化して効率化する
  • SOC連携はJSONで連携
• 敵も進化を続けている
  • どんな保護、どんなレイヤーが必要なのかを常に考える
  • 検出のために使うべきテクニック
    • スライド参照
• 2025年以降新たな防御が生まれても新しい攻撃が生まれる
  • 学習を継続して行わなければ
  • 検出だけでなくauthenticityと組み合わせるなど

感想

単純なディープフェイクの検出だけにとどまらず、各業務やフローに沿って必要な対策を考えていく必要がある、ということですね。乗っ取りなどのための問い合わせへの対応は慎重にやっていく必要がありますね。