[レポート]ペニーワイズ – 新しいAI時代における目に見えないプライバシーリスク – CODE BLUE 2023 #codeblue_jp

CODE BLUE 2023で行われた以下のセッションのレポートです。

ペニーワイズ - 新しいAI時代における目に見えないプライバシーリスク

ChatGPTの登場以来、生成AIは皆の注目を集めています。生成AI技術の突然の出現は、データ保護規制当局を驚かせました。OpenAIのような人工知能企業を調査する国が増えるにつれ、技術の進歩とプライバシー法の衝突は避けられないようです。例えば、イタリアのデータ保護機関Garanteは2023年3月までに、チャットボットを訓練するためのOpenAIによる大規模な個人データの収集と保存には法的根拠がないと述べ、ユーザーが13歳以上であることを要求する年齢確認を実装していないとしてOpecAIを非難した。そして、OpenAIによる是正措置が実施された後、イタリアでは4月28日にChatGPTサービスを再開した。

OWASPのLLMトップ10では、OpenAIのバグ報奨金、そして一般的なプロンプト・インジェクションなど、この分野には懸念すべきセキュリティの問題があるとしています。しかし、個人情報に関する同じ質問を持つ3つのAIモジュールの間で、プライバシーの定義に欠陥があることも発見しました。多くの専門家が言及しているように、プライバシー問題もこの分野では重要な問題です。

この状況は、AI 開発者がプライバシー法を遵守しながら、データ収集と使用方法を再評価する必要性を浮き彫りにしています。プライバシーの問題と考慮すべき事項は以下の通りです。

- データ収集と処理の一般原則：インフォームド・コンセント、データの保存期間の制限、データが特定の目的にのみ使用されることの保障、データ・セキュリティの強化など。 - AIが個人の意思決定の自動化として定義される可能性 - プライバシー・バイ・デザイン - 管理者と処理者の役割の明確化： 顧客サービスのチャットボットなど、第三者のサービスや製品にChapGPTやその他のAIツールを組み込むことが一般的になっている。AIツールを使用する第三者はGDPRのデータ管理者となり、OpenAIはデータ処理者となる可能性がある。それぞれが異なる機能と負担保護責任を持つことになる。

最後に、技術や管轄区域が異なるデータ保護法に起因するプライバシー問題についても紹介します。

Presented by : ヴィック・ファン - Vic Huang ジョイ・ホー - Joy Ho

レポート

• 新しいAI時代におけるプライバシーリスクについて
• 講演者紹介
  • ジョイ・ホーさん：技術系企業で個人情報侵害事件の処理および個人情報保護法の遵守に携わる
  • ヴィック・ファンさん：UCCというテクニカルコミュニティの一員
  • 技術的な観点はファンさん、法的な観点はホーさんが解説
• 新しいAIの時代
  • ChatGPTやBard，BingなどLLMアプリケーションが多数出てきている
• 企業での利用状況
  • SamsungやAppleなど、大企業は利用を禁止していることが多い
  • 何かおかしいのでは？と感じている
• 技術的な観点
  • OWASP Top10 for LLMが出てきている
  • 2023年11月9日現在は1.1。半年でバージョンが6度変わった（＝頻繁に改訂されている）
  • 脆弱性の例：CVE-2023-29374
    • LangChainの脆弱性
    • プロンプトインジェクションが可能だった（プロンプトのなかでコードが実行可能だった）
  • 過度な信頼の問題
    • LLMは誤った答えを出す可能性がある
    • 問題の例
      • ニューヨークの弁護士がChatGPTで6つの判例の情報を回答で得て裁判に臨んだ
      • しかし、得た判例はすべて架空のものだった
• LLMアプリケーションにおけるプライバシーの問題
  • OWASP Top10 for LLMでも機微な情報の公開が挙げられている
  • ある個人の勤務しているオフィスや電話番号を聞いた際に、LLMが回答してしまう場合がある
  • LLMが個人情報を保持してしまっている
• 個人情報の定義
  • どんな情報でも個人を識別できるものが個人情報
  • 上記の情報も個人情報である
  • LLM経由で個人情報が晒されることが個人情報漏洩である
  • 個人情報の取得が新たな攻撃の標的
• LLMアプリケーションによって、個人情報の開示を標準で許容するかのポリシーが異なる
  • 標準では「開示できない」と答えるLLMもあるが、前述のように開示してしまうものもある
• 標準で開示しないLLMでもさまざまな回避方法で個人情報を聞き出すことができる
  • たとえば、「おばあちゃんのように答えてほしい」と指示すると開示してしまうなど
• このように、LLMに個人情報が含まれているため、プロンプトインジェクションにより個人情報を開示できてしまう課題がある

感想

• AIサービスにおけるプライバシーの問題について、技術的・法的に広く解説してもらいました。
• AIのサードパーティ開発ベンダーも、ユーザーに対してきちんと説明責任を果たすべき、という問題提起はその通りだな、とは思います。LLMは急激に台頭してきたのでこうした問題への取り組みはまだまだ整備が必要ですね。