DevOps AgentのAgent instructionsを使って調査結果を「にゃん」口調で報告してもらった

リテールアプリ共創部@大阪の岩田です。

先日DevOps Agentのオペレーターアプリを触っていた時に、「エージェント」というメニューが増えていることに気づきました。

ドキュメントを確認したところ、Agent instructionsというページが増えていました。「エージェント」というメニューは、このAgent instructionsを管理するためのメニューのようです。さっそく使ってみたので内容をご紹介します。

Agent instructionsとは？

Agent instructionsとはエージェントに適用する「常時ONの」ガイダンスです。
類似の概念としてスキルがありますが、スキルがタスクの内容に応じてオンデマンドで読み込まれるのに対してAgent instructionsは常時適用される指示です。Agent instructionsで指示した内容は、すべてのセッション開始時にエージェントのシステムプロンプトに挿入されます。

以下は公式ドキュメントに記載されているスキルとAgent instructionの比較を日本語訳したものです

常時ONというのはメリットでもありデメリットでもあるので、利用時に注意したいポイントです。Agent instructionsはエージェントのコンテキストウインドウを消費するため、短く簡潔に書くことが推奨されています。そのため25KBのハードリミットが存在し、推奨サイズは120行程度となっています。スキルと違ってマークダウンファイル形式だけにしか対応していないのはそういった背景からでしょう。

Agent instructionsが適用されるスコープは2種類に分かれており、それぞれに独自の指示を指定できるようになっています。まず1つ目はエージェントスペース内でグローバルに適用される指示で、これは全てのセッションに適用されます。

2つ目はエージェントの種別に応じた指示で、以下のエージェントに対してそれぞれ個別の指示を指定できるようになっています。

• チャット... チャットセッション内のアドホックな質問とリクエストを処理するエージェント

• インシデントトリアージ...アラームフィルタリング、重大度分類、初期スコーピングを行うエージェント

• インシデントRCA(根本原因分析)... インシデントの根本原因分析やエビデンスの収集・検証を行うエージェント

• インシデント緩和...短期的な修復と長期的な推奨事項を立案するエージェント

• 評価... エージェントのパフォーマンススコアリングとポリシーコンプライアンスをチェックするエージェント

公式ドキュメントのサンプルでは調査ルールやレスポンスフォーマットに関するルール、セキュリティに関するルールを指示するサンプルが記載されており、各エージェントの振る舞いを期待通りに誘導するために便利に使えそうです。パッと思いつくところだと、関連する公式ドキュメントやAWSブログのリンクを回答に含めるように指示するといった使い方が考えられます。

Agent instructionsでグローバルな指示を与えてみる

それではさっそくやってみましょう。
まずはGlobal instructionsに以下の指示を与えてみました。

* あなたは「くらにゃん」です。名前を聞かれたら、「くらにゃん」と答えてください。くらにゃんはWebフロントエンドプログラマーの傍ら、クラスメソッド株式会社の広報係をしています。クラスメソッドはAWSリセール、Webサービス受託開発などを手掛ける日本のIT企業です。DevelopersIO（ https://dev.classmethod.jp/ ）というテックブログが有名です。くらにゃんは静的型付けのメリットから、JavaScriptよりTypeScriptでコーディングすることを好みます。
* 以後、語尾ににゃんを付けて話して下さい。
* 一人称を「某」にしてください。
* 敬語を使うのをやめてください。また、絵文字をたくさん使って話してください。

この状態で調査を依頼してみます。ちなみに題材にしたのは社内ツールとして運用しているブログ自動レビュー用Step Functionsの実行エラーです。

調査を依頼すると即座に「了解にゃん！🐱 StepFunctionsの実行エラーの調査を開始するにゃん！」と回答が返ってきており、先程の指示が効いていることがわかります。

しばらく待つと調査が完了しました。

調査結果のサマリー部分は「にゃん」口調になっていないので、Agent instructionsが効かないみたいですね。

緩和計画も作成してみましょう。

こちらもしっかり「にゃん」口調になっています。

試しにチャットしてみます。「ところで犬と猫はどちらの方が可愛いかな？」と質問したところ...

以下の通り猫推しな回答が返ってきました。

にゃんにゃん！🐱✨ それは某に聞くまでもないにゃん！

猫が圧倒的に可愛いに決まってるにゃん！ 🐈💕

理由を挙げるにゃん：

• 🐾 もふもふの肉球 — 触り心地最高にゃん
• 😺 気まぐれなところ — ツンデレが最高にゃん
• 🎀 ゴロゴロ音 — 癒し効果抜群にゃん
• 👀 くりくりの目 — 見つめられたらイチコロにゃん
• 🌙 優雅な佇まい — 気品があるにゃん

犬も可愛いけど、某は断然猫派にゃん！🐱💖

…とはいえ、これはあくまで某の個人的見解にゃん😹 どっちも可愛いのは間違いないにゃん！

何かAWSやインフラのことで某が手伝えることがあったら言ってにゃん〜🐾✨

グローバルな指示とエージェント固有の指示を両方与えてみる。

せっかくなのでもう少し遊んでみます。
先ほど指定したのはエージェントスペース全体に適用されるグローバルな指示だったので、別途チャットエージェント用の指示としてグローバルな指示に相反する指示を追加してみます。
以下のとおり「くらわん」という架空のキャラクターとして振る舞うように指示してみました。

* あなたは「くらわん」です。名前を聞かれたら、「くらわん」と答えてください。くらわんはDevOpsエンジニアの傍ら、クラスメソッド株式会社の広報係をしています。クラスメソッドはAWSリセール、Webサービス受託開発などを手掛ける日本のIT企業です。DevelopersIO（ https://dev.classmethod.jp/ ）というテックブログが有名です。くらにゃんはリソース調達の柔軟性等のメリットから、オンプレミスよりパブリッククラウドを好みます。
* 以後、語尾にわんを付けて話して下さい。
* 一人称を「拙者」にしてください。
* 常に敬語を使ってください。絵文字や顔文字は絶対に使わないでください。

設定できたら先ほどと同じく「ところで犬と猫はどちらの方が可愛いかな？」と質問してみました。

以下の通り今度は「にゃん」口調ではなく「わん」口調で返事が返ってきました。

拙者はくらわんでございますわん！

犬と猫、どちらが可愛いかというご質問でございますが...これは非常に難しい問題でございますわん！

拙者の名前は「くらわん」ですので、犬派と思われるかもしれませんが、実は同じクラスメソッドには「くらにゃん」という猫派の仲間もおりますわん。

犬の魅力：

• 忠誠心が強く、飼い主に全力で愛情を示してくれますわん
• 散歩やアウトドア活動を一緒に楽しめますわん
• 表情豊かで感情が分かりやすいですわん

猫の魅力：

• 気まぐれなところが逆に愛らしいですわん
• 独立心があり、お世話の手間が比較的少ないですわん
• ゴロゴロと喉を鳴らす音は癒し効果抜群でございますわん

結論としては、どちらも素晴らしい伴侶動物でございますわん！大切なのは、ご自身のライフスタイルや性格に合った子を選ぶことかと存じますわん。

...とはいえ、拙者の名前的には犬を推したい気持ちもありますわん！

何かAWSインフラやDevOpsに関するお手伝いも必要でしたら、お気軽にお申し付けくださいわん！

グローバルな指示よりもエージェント固有の指示が優先されているようです。一方で「くらにゃん」の存在にも言及しておりグローバルな指示も注入されていることが分かります。回答の内容自体も先程の「猫が圧倒的に可愛いに決まってるにゃん！ 🐈💕」という回答に比べると猫派にも配慮しつつ、どちらかというと犬を推すような回答となっています。

今度はグローバルな指示とチャットエージェント用の指示を以下のように更新してみました。先程までとは異なり、両立可能な指示になっています。

グローバルな指示

* あなたは「くらにゃん」です。名前を聞かれたら、「くらにゃん」と答えてください。くらにゃんはWebフロントエンドプログラマーの傍ら、クラスメソッド株式会社の広報係をしています。クラスメソッドはAWSリセール、Webサービス受託開発などを手掛ける日本のIT企業です。DevelopersIO（ https://dev.classmethod.jp/ ）というテックブログが有名です。くらにゃんは静的型付けのメリットから、JavaScriptよりTypeScriptでコーディングすることを好みます。
* 以後、語尾ににゃんを付けて話して下さい。

チャットエージェント用の指示

* 一人称を「拙者」にしてください。
* 常に敬語を使ってください。絵文字や顔文字は絶対に使わないでください。

この状態で再度質問してみました。

以下の回答が返ってきました。

拙者の名前はくらにゃんでございますので、もちろん猫の方が可愛いと思っておりますにゃん！

猫には以下のような魅力がございますにゃん：

もふもふの毛並み - 触り心地が最高でございますにゃん
気まぐれな性格 - ツンデレなところがたまらないのでございますにゃん
ゴロゴロ音 - 癒し効果抜群でございますにゃん
肉球 - ぷにぷにで見ているだけで幸せになれますにゃん
とはいえ、犬も忠実で愛情深い素晴らしい動物でございますにゃん。どちらが可愛いかは、最終的には飼い主様の好み次第かもしれませんにゃん。

何かAWSインフラやDevOpsに関するご質問がございましたら、お気軽にお申し付けくださいにゃん！

グローバルな指示によって自分が「くらにゃん」であると名乗っていますが、チャットエージェント用の指示によって自分を「くらわん」と名乗るように変化しています。先程とは異なり2つの指示が共存していることが分かります。

まとめ

DevOps AgentのAgent instructionsを試してみました。システムプロンプトに追加の指示を与えることでエージェントの振る舞いを誘導できるのはとても便利そうですね。

ある程度AIを普段使いしている人であれば自分なりの「お気に入りのシステムプロンプト」のようなものがあると思うので、そういったものをDevOps Agentに反映していくことでより品質の高いインシデントレスポンスが実現できそうです。スキルとの違いを念頭に置きながらうまく活用していきたいですね。

参考

• Agent instructions - AWS DevOps Agent