DevOps AgentのAgent Spaceでユーザー間に共有されるものされないものを確認してみた

こんにちは。たかやまです。

DevOps Agentでは、ユーザーがチャットで試した内容や作成した情報が、他のメンバーに共有されません。

またアーティファクトについても、ユーザーで作成した内容とカスタムエージェントで作成した内容で共有範囲が異なる仕様となっています。

Agent Space自体は組織内の複数ユーザーで共用する単位ですが、同じAgent Space内のユーザー間で何が共有されて何が共有されないかは、ドキュメントを確認しただけでは判断がつきませんでした。

今回は、同一Agent Space内に2つの異なるIAMロールでサインインし、Operator Web Appの各ページについてユーザー間の共有範囲を確認してみました。

さきにまとめ

• Chatと、そのChatが生成したArtifactsはアクセスしたユーザーに紐づく
  • チャットの共有はリンク発行機能を使えば個別に他ユーザーへ渡せる。ただし共有された側は閲覧のみ
• Incidents、Improvements、Topology、Agents、KnowledgeはAgent Space内のユーザー間で共有される
  • Artifactsもカスタムエージェントが生成したものはAgent Space内で共有される
• AgentsとKnowledgeはユーザーごとの編集権限を調整できないため、チーム内での認識合わせは必要

確認してみる

Agent Spaceはツールとインフラ設定を共有する論理コンテナで、Web app roleを通じて複数ユーザーが同じSpaceに入れます。
ただし機能ごとの共有範囲はドキュメントだけでは判断しづらいので、実際に確認していきます。

検証概要の流れとしては以下の通りです。

• 同一AWSアカウント内に、Web app roleを引き受けられるIAMロールを2つ用意
  • 記事内ではそれぞれ「ユーザーA」「ユーザーB」と表記します
• 同じAgent Spaceに対して、ユーザーAとユーザーBそれぞれでDevOps Agent web app（Operator Web App）にサインイン
• ユーザーAが各機能で作成・生成した情報が、ユーザーBの画面から見えるかどうかを確認

チャット

まずユーザーAのチャット内容を確認します。

続けてユーザーBでサインインし直し、チャット一覧を確認しました。

結果として、ユーザーAが作成したチャットはユーザーBのチャット一覧には表示されませんでした。

ちなみに公式ドキュメントには、Agent Space「間」でチャットが分離される旨は明記されています。

Note that conversation history is isolated within each Agent Space. Conversations in one Agent Space are not visible or accessible from other Agent Spaces. This isolation ensures that sensitive information remains compartmentalized according to your organizational boundaries.

日本語翻訳 :
会話履歴は各Agent Space内で分離されている点に注意してください。あるAgent Space内の会話は、他のAgent Spaceから閲覧・アクセスすることはできません。この分離により、機密情報が組織の境界に沿って区画化された状態で保たれます。
https://docs.aws.amazon.com/devopsagent/latest/userguide/working-with-devops-agent-on-demand-devops-tasks.html#managing-conversations

ただこれはAgent Space間の話であり、同一Agent Space内の複数ユーザー間でチャットが分離されるかどうかを直接述べた記載は見当たりませんでした。

間接的な傍証として、API ReferenceのListChatsには次のような記載があります。

Retrieves a paginated list of the user's recent chat executions

userId – The user identifier to list chats for. This field is deprecated and will be ignored — the service resolves user identity from the authenticated session.

日本語翻訳 :
ユーザーの直近のチャット実行をページネーション付きで一覧取得します。
userId — チャット一覧を取得する対象のユーザー識別子。このフィールドは非推奨であり、無視されます。サービスは認証済みセッションからユーザーIDを解決します。
https://docs.aws.amazon.com/devopsagent/latest/APIReference/API_ListChats.html

「the user's recent chat executions」という説明と、認証セッションからユーザーIDを解決する設計から、チャット実行がユーザー単位に紐づくAPI設計であることは読み取れます。
ただしこれは可視性の制御を直接説明した文ではないので、あくまで検証で確認した挙動として記載しています。

チャットを他ユーザーに見せたい場合は、チャット画面の「共有」からリンクを発行して個別に渡す形になります。

チャットURL形式は https://<Agent Space ID>.aidevops.global.app.aws/chat/<Chat ID> です。

こちらのリンクを開けばユーザーB側からも確認できます。
ただ、「このチャットセッションはあなたと共有されています。」というメッセージが表示されている通り、共有側のユーザーからはチャットの追加操作はできません。

自分のチャットが勝手に他メンバーに見られない仕様は、個人の試行錯誤や機密情報を含みうる調査チャットの性質を考えると妥当という印象です。

インシデントレスポンス

次に「Incidents」ページのインシデントレスポンスを確認します。

ユーザーAで調査を開始したインシデントは、ユーザーBの「Incidents」ページにも表示されます。

調査の詳細ページを開いて、タイムラインや根本原因分析の内容まで確認できます。
既存調査について別ユーザーからステアリング（追加調査）を実施することも可能です。

調査完了後のフィードバックについても、Agent Space全体での集計が前提として書かれています。

After an investigation completes, you can provide feedback on the root cause analysis. This feedback improves future investigation accuracy and enables reporting across your Agent Space.

日本語翻訳 :
調査が完了した後、根本原因分析に対してフィードバックを提供できます。このフィードバックは今後の調査精度を向上させ、Agent Space全体でのレポーティングを可能にします。
https://docs.aws.amazon.com/devopsagent/latest/userguide/production-operations-autonomous-incident-response.html

「reporting across your Agent Space」という記載どおり、フィードバックの集計単位もユーザーではなくAgent Spaceになっています。
インシデント対応は複数人で引き継ぎながら進めることになるので、調査が全員から見える仕様は運用イメージにも合っていますね。

改善事項

続いて「Improvements」ページの改善事項を確認します。

こちらもユーザーAで確認した推奨事項が、そのままユーザーBの「Improvements」ページにも表示されました。

改善事項はユーザーの操作ではなく、Agent Spaceのインシデント調査を横断して評価した結果として生成されます。

AWS DevOps Agent analyzes patterns across your incident investigations to deliver targeted recommendations that continuously improve your operational posture and prevent future incidents. Access proactive incident prevention through the Improvements page in the Operator Web App.

日本語翻訳 :
AWS DevOps Agentは、インシデント調査を横断してパターンを分析し、運用態勢を継続的に改善して将来のインシデントを防ぐための的を絞った推奨事項を提供します。予防的なインシデント防止機能には、Operator Web AppのImprovementsページからアクセスします。
https://docs.aws.amazon.com/devopsagent/latest/userguide/production-operations-proactive-incident-prevention.html

推奨事項のステータス管理についても、チームのバックログとして扱う前提の記載になっています。

Keep – Choose ‘Keep’ to retain a recommendation in your backlog for tracking. This allows you to monitor which improvements you plan to implement and track their progress.

日本語翻訳 :
Keep — 「Keep」を選ぶと、追跡のために推奨事項をバックログへ残せます。これによって、実装予定の改善項目とその進捗を管理できます。
https://docs.aws.amazon.com/devopsagent/latest/userguide/production-operations-proactive-incident-prevention.html

「Keep」「Discard」「Implemented」のステータスがユーザーごとに分かれていると、誰かが破棄した推奨事項が他のメンバーには残り続けることになります。
1つのバックログをチームで回す想定なので、共有される仕様が自然ですね。

試しにユーザーAで推奨事項のステータスを更新してみたところ、ユーザーB側にも同じステータスが反映されていました。

アーティファクト

次にアーティファクトの共有範囲を確認します。

まずユーザーAのチャットからアーティファクトを確認します。
すでに何件かアーティファクトが生成されている状態です。

ユーザーBでサインインし直し「Artifacts」ページを確認したところ、チャットで生成したこのアーティファクトはユーザーBの一覧には表示されませんでした。

一方で、カスタムエージェントを実行して生成したアーティファクトについては挙動が異なりました。

ユーザーAが作成したカスタムエージェントを実行します。

カスタムエージェントの詳細については以下のブログで紹介されています。

• 【アップデート】DevOps Agentでカスタムエージェントが作成できるようになりました | DevelopersIO

カスタムエージェントが実行された結果、アーティファクトが生成されます。

アーティファクトを生成させた上でユーザーBの「Artifacts」ページを確認したところ、こちらについては表示されました。

公式ドキュメントでは、カスタムエージェントが生成するアーティファクトについて次のように明記されています。

You can also browse all artifacts in your Agent Space from the Artifacts page. Use the search field to find artifacts by title.

日本語翻訳 :
Agent Space内のすべてのアーティファクトは、Artifactsページから閲覧することもできます。検索フィールドを使用してタイトルでアーティファクトを検索できます。
https://docs.aws.amazon.com/devopsagent/latest/userguide/custom-agents-custom-agent-outputs.html

「Agent Space内のすべてのアーティファクト」という表現どおり、カスタムエージェント生成のアーティファクトはAgent Space単位で共有される設計と読み取れます。

トポロジー

「Topology」ページも確認します。

こちらはユーザーAとユーザーBのどちらで開いても同じ内容が表示されました。

そもそもトポロジーはユーザーが作成するものではなく、接続したAWSアカウントをスキャンして自動生成される情報です。

AWS DevOps Agent's automatically discovers and visualizes the resources and relationships within your applications and uses the resulting topology to understand your infrastructure during incident investigations and when making preventative recommendations.

日本語翻訳 :
AWS DevOps Agentはアプリケーション内のリソースと関係性を自動的に検出して可視化し、生成されたトポロジーを使って、インシデント調査時や予防的な推奨事項を作成する際にインフラを理解します。
https://docs.aws.amazon.com/devopsagent/latest/userguide/about-aws-devops-agent-what-is-a-devops-agent-topology.html

さらにトポロジーは、後ほど確認するナレッジのSkillとしても取り込まれます。

The topology graph feeds into the Agent Space Understanding learned skill, which encodes a structured summary of your infrastructure for use during investigations. When topology discovery completes for a new agent space, the system automatically generates the Agent Space Understanding skill.

日本語翻訳 :
トポロジーグラフはAgent Space Understandingという学習済みスキルに供給され、調査時に使用するインフラの構造化された概要としてエンコードされます。新しいAgent Spaceでトポロジー検出が完了すると、システムが自動的にAgent Space Understandingスキルを生成します。
https://docs.aws.amazon.com/devopsagent/latest/userguide/about-aws-devops-agent-what-is-a-devops-agent-topology.html

トポロジーがAgent Space単位のSkillに変換されるという流れからも、ユーザーごとに分かれる情報ではないことが読み取れます。

カスタムエージェント

カスタムエージェント自体の共有範囲も確認します。

先ほどのアーティファクトの確認でカスタムエージェントの成果物が共有されていた点からも想像がつきますが、ユーザーBで「Agents」ページを開いたところ、ユーザーAが作成したカスタムエージェントが一覧に表示されていました。

チームで用意した定型調査エージェントをメンバー全員が使い回せることになります。

ユーザーBからユーザーAが作成したカスタムエージェントを編集 / 実行することも可能です。
現時点ではユーザーごとの編集権限の調整はできないので、知らずに更新削除されないようにチーム内でコミュニケーションは必要そうですね

ナレッジ

最後に「Knowledge」ページ配下のInstructions、Skills、Memoriesを確認します。

ユーザーAでそれぞれのタブに1件ずつ情報を作成し、ユーザーBでKnowledgeページを開いたところ、3タブすべてでユーザーAが作成した内容が表示されました。

Agent Instructions :

スキル :

メモリ :

チームの命名規則やインフラの前提知識のようなナレッジ系の情報は、全員に一律で共有されるほうが便利なので、この共有範囲も分かりやすいと感じました。

ただ、こちらもカスタムエージェント同様にユーザーごとの編集権限の調整はできないので、知らずに更新削除されないようにチーム内でコミュニケーションは必要そうですね

最後に

今回はDevOps AgentのAgent Space内で、複数ユーザー間にどの情報が共有されるかを実際に確認してみました。

個人単位で分離されるのはChatと、そのChatが生成したArtifactsだけで、Incidents、Improvements、Topology、Agents、Knowledgeはチーム全体で共有される、という設計になっていました。

チャットやチャット生成のアーティファクトのような個人の試行錯誤は共有されず、インシデント調査やナレッジのようなチームの資産にすべき情報は自然と共有される設計になっているため、複数人でAgent Spaceを使う際にも使いやすいと感じました。

とはいえ、共有されるものと共有されないものが混在してわかりづらくしている部分もあるので、今回の検証がどなたかの助けになれば幸いです。

以上、たかやま(@nyan_kotaroo)でした。