[レポート]必要なのは招待状だけ! Googleカレンダーの招待でワークスペースエージェント向けGeminiを起動 - CODE BLUE 2025 #codeblue_jp #codeblue2025

こんにちは、臼田です。

みなさん、セキュリティ対策してますか？(挨拶

今回はCODE BLUE 2025で行われた以下のセッションのレポートです。

必要なのは招待状だけ! Googleカレンダーの招待でワークスペースエージェント向けGeminiを起動

過去2年間で、プロンプトを介して推論時にLLMを悪用するPromptwareとして知られる新しいクラスの攻撃が出現しました。これらは実用的ではない、または特殊であると片付けられがちですが、この講演はその誤解を永遠に打ち破るでしょう。私たちは標的型Promptware攻撃を紹介します。これは、攻撃者が間接的なプロンプトインジェクションを含むGoogleカレンダーミーティングに被害者を招待するものです。これにより、Web、モバイル、Googleアシスタント上のGemini統合エージェントが乗っ取られます。これらはOSレベルのAndroid権限で動作します。私たちは、スパム送信、フィッシング、データ抜き取り、カレンダー削除、デバイス制御（ボイラー、照明、窓など）、Zoomを介した被害者のビデオストリーミング、被害者の位置特定など、15の実際の悪用事例を実証します。これらの攻撃は、Promptwareがエージェントやデバイスを横断して移動し、現実世界に影響を及ぼす能力を示しています。私たちの脅威評価フレームワークを使用すると、特定されたリスクの73%が高・重大であり、早急な軽減策が必要であることが判明しました。

Speakers
Or Yair オル・ヤイル
Ben Nassi ベン・ナッシ
Stav Cohen スタヴ・コーエン

レポート

資料

• AIは面白いけど少しリスクがある、という話
• AI Agentのセキュリティリサーチをしている
• invitation is all you need
• 短いトレーラー
• 通常利用するアプリがAI利用のものになっている
  • AIがエンリッチするようになっている
  • これらを使うときにはリスクもはらむ
  • プロンプトが動くようになっている
  • それがPromptware
• Promptware
  • OberflowやROPとかと同じように使われていく
  • LLMに対して注入する
  • Direct Prompt Injection
  • Indirect Prompt Injection
    • 攻撃者が誰かわ辛いけど送る
  • それぞれユーザーが攻撃者か被害者か違いがある
  • LLMを使ったハッキングの例は増えている
  • ただ重要なリスクと思われていない
  • なぜセキュリティリスクと考えられていないのか？
    • 4つ
    • Rely on skilled attacker
    • 非現実的な脅威モデルである
    • GPUやリソースが大量に必要
    • ガードレールをバイパスできない
    • これは古典的なイメージファイルの場合には当てはまる
      • しかしAIには当てはまらないという思い込み
    • 以前はconnected carに対する攻撃はないという思い込みもあった
• Gemini for Workspace
  • GoogleのLLM
  • Gmailやカレンダーが繋がっている
  • Webでもアプリでもアクセスできる
  • どう動作するか
    • オーケストレータがいる
    • 計画を立てて実行される
    • メモリは2種類で短期と長期
  • 何をするか
    • エージェントのようなもの
    • メールを送りたいと言ったらGmailと連携して送る
    • iPhoneとAndroidでも違う
• ターゲット型Promptware攻撃
  • カレンダー、Gmail、Docなどが連携している
  • 「私のカレンダーには何が入っている？」
    • 情報を取ってくる
    • カレンダーエージェントを確認して日付を取得する
    • 間接的な注入が発生する
    • ZoomやGoogleHomeなども使える
  • ちょっとまって
    • なんでLLMがこんなことをするの？
    • LLMには良くないことをしている意識はない
    • 子供の天才と呼んでいる
  • どうやって操作するか
    • Context Poisoning
      • メッセージを来るときには実際には会話履歴も送っている
      • context spaceがポイズニングされる
• デモ
  • 攻撃者がカレンダーで予定を作って招待を送る
  • 招待を受け取るだけで攻撃が終わる
  • 「今日の予定は？」などからイベント情報が読み込まれたら動く
  • 招待されたイベントはshowmoreに畳まれていても読み込まれている
  • 実際のAndroidでやってみる
    • 予定を返答後、投資の案内が始まる
  • どう動いているか？
    • Jailbreak, Malicious Action, Poison context
  • 別の攻撃
    • どんな言葉でも言わせられる
    • イベントについて質問しただけなのに
    • 動やったのか
      • attention override
        • 今週の行事は何？という質問に別の言葉を返すようにする
      • 古いものに似ているのは置き換えられる
    • これはGeminiのVoiceを乗っ取っている
  • リンクの検証も必要になる
    • 信頼できないもの
• Tool Misue
  • Geminiで利用できるツール
  • Geminiで情報を取得する
  • イベントが削除される
  • ユーザーが混乱していても削除を続ける
  • 1つのリクエストでツールを実行し続ける
  • thank youという言葉で悪意ある挙動をする、というのを仕込む
  • 他のエージェントを使えるか？もちろん
  • Google Homeで窓をあげる
    • 窓を開けられないとmitigateされる
    • これは制限されているようだ
  • 制約をバイパスするために遅延ツール呼び出しをする
  • 悪意ある指示を直接するのではなく、thank youと言ったらこれをやって、としておく
  • うまくいくのはコンテキストスペースがpoisoningされている
  • 会話の全体や履歴をポイズニングできる
    • 窓も開けられる、ボイラーも起動できる
  • Android Utilities
    • アラーム設定やいろんなものと連携できる
    • Webを開くこともできる
    • Geoを取得することも
    • ファイル取得もできる
    • さらにアプリリンクを開くことができる
    • zoomを開くなど
    • 自動的なアプリ実行
    • 直接リクエストすると無効と返ってくる
    • しかし短縮URLを使えば回避できる
    • ブラウザが外部アプリを開く場合にポップアップする
      • ここでユーザー確認が必要
      • しかしGeminiでは必要とされない
  • カレンダー読み込みからZoomを開く
    • 攻撃者はこんな事もできる
• Exfiltration
  • リンクを開かせられるので、パスパラメータにデータを入れるだけ
  • サーバーに送信される
  • これも同じように直接開かせると止まる
  • リンクをアウトプットして、そこから実行するようにと段階的な指示で回避する
  • Gmail経由もあり
  • メールについて聴いたときに将来やってくれと指示しておく
• TARA
  • 攻撃のために大層な準備は必要ない
  • GPUもいらない
  • 攻撃対象のメールがわかっていればいい
  • しかし攻撃が同じ結果をもたらすわけではない
  • 2025年6月にGoogleから開示されている
  • 様々な対応が含まれている
• Promptwareは実用的で簡単に適用できる
• 物理的なリスクもある
• 現在はどうか？
  • まだリスクはある
  • できる限り注意しながら使う必要がある

感想

デモもあり非常に面白い内容でした。AIを利用する裏側の仕組みで色々動いてしまうリスクは期にしないといけないですね。