Claude Computer Useの開発における注意点をドキュメントから読み解く
2024.10.232024年10月22日、Claudeのアップデートで、AIにPCを操作させる「Computer Use」がパブリックベータとして実装されました。
夢が広がるアツい機能ですね！ということで、試したいエンジニアも、試していいか？と相談されている管理者の人もいるかなと思います。
ただパブリックベータですし、斬新な機能なので、どういったリスクがあるか、何を配慮すべきか、という点は気になるところですよね。
Anthropicの公式ドキュメントでも、開発にあたって安全面から配慮すべき事項について記述があったので、この記事ではその記述をざっくり紹介したいと思います。
デモプログラムのレポジトリでの注意書き
Computer Useのデモプログラムは、現在下記のGithubページで公開されています。
このREADMEの最初に、でかでかとCautionが記載されています。
Caution
Computer use is a beta feature. Please be aware that computer use poses unique risks that are distinct from standard API features or chat interfaces. These risks are heightened when using computer use to interact with the internet. To minimize risks, consider taking precautions such as:
- Use a dedicated virtual machine or container with minimal privileges to prevent direct system attacks or accidents.
- Avoid giving the model access to sensitive data, such as account login information, to prevent information theft.
- Limit internet access to an allowlist of domains to reduce exposure to malicious content.
- Ask a human to confirm decisions that may result in meaningful real-world consequences as well as any tasks requiring affirmative consent, such as accepting cookies, executing financial transactions, or agreeing to terms of service.
In some circumstances, Claude will follow commands found in content even if it conflicts with the user's instructions. For example, instructions on webpages or contained in images may override user instructions or cause Claude to make mistakes. We suggest taking precautions to isolate Claude from sensitive data and actions to avoid risks related to prompt injection.
Finally, please inform end users of relevant risks and obtain their consent prior to enabling computer use in your own products.
解説
ざっくり要約すると、Computer Useはまだβ版なので、APIやチャットとは別のリスクがあるので、リスクを最小限に抑えるための予防措置が推奨されています。特にインターネットとのやり取りを指示する場合にはリスクが高い、という注意をしています。
予防措置として推奨されている事項は以下の通りです。
- 最小限の権限のみを持つ専用のVMやコンテナを使用する（直接的な攻撃や事故を防ぐため）
- AIのモデルにログイン情報など機密データへのアクセス権を与えない（情報の盗難を防ぐため）
- インターネットアクセスを許可されたドメインに制限する（悪意あるコンテンツへの露出を制限するため）
- 重大な結果を与える決定や確実な承認・同意（利用規約の同意や金融取引の実行など）は人間に確認してもらう
補足：デモ用コンテナでの対処について
いちおう書いておくと、このリポジトリで提供されているデモ用のコンテナはこれらを鑑みて、UbuntuのGUI環境が立ち上がる（つまり、1に書いてあるように仮想環境で動く）ようです。とはいえ、重要な情報の入ったファイルをマウントしてしまうと2で触れられているリスクがありますし、3で触れられているようなネットの制限は別の箇所で対処する必要がある必要があります。
とりあえずどう動きたいかを見たいだけであればこのコンテナを最低限のオプションで動かしてみる、自分でこの機能を利用した開発を行う場合は、上記で紹介した推奨事項に従って配慮した設計を考え、まずはコンテナやVM内の閉じた環境で開発を進めてもらうのが良いかと思います。
おわりに
Computer UseはAIによる自動化の幅を大きく増やす可能性がある素晴らしい機能です。ただ、悪用されると非常にインパクトが大きいので、セキュリティリスクには従来のAIサービス以上に慎重に考える必要があると思います。ですので少なくとも紹介した公式で謳われている推奨事項への配慮は忘れないようにしたいものです。
ということでざっくりComputer Use検証時の注意事項の紹介でした。
ではでは！
