プロンプト入力が面倒なので「呼ぶだけで伝わる」AI アシスタントを作ってみた
こんにちは、荒巻です。
当記事はクラスメソッドの有志による 『夏休みの自由研究リレー』 第 5 回 のエントリです。
このブログリレーの企画は、普段からクラウドや AI を追いかけているメンバーによって、「やってみた」だけではなく「作ってみた」や「調査 / 研究してみた」もアウトプットしてみようという企画です。
新たな知見になることは勿論、アイデアを自社やコミュニティの発展に寄与できればと考えておりますので、お付き合いいただけますと幸いです。
はじめに
皆さん、AI アシスタント、使ってますか？
コーディング、英文の翻訳、返信のドラフト執筆などなど、もはや AI がないと日常業務が成り立たない！という方も増えてきたのではないでしょうか。かくいう私もその一人です。
ほんの数年前までは人間があくせく手を動かしていた雑務も、AI に指示するだけで丁寧に対応してくれる。本当に便利ですよね。
しかし、最近ふと思いました。
AI に指示するの、めんどくさくないですか？
エラーが出たらターミナルからコピーして、チャットを開いて、貼り付けて、「解決策を教えて」と打つ。英文なら、テキストを選択してコピーして「翻訳して」。メールの返信を書きたいときは、届いたメール文面と状況を説明する。人間（特にエンジニア）とは怠惰なもので、AI に少し慣れるや否や、もうこれだけで面倒でやっていられない体になってしまいました。
「Skills 使えば？」「音声やショートカットキーで指示できるアプリありますよ」等のご意見が今にも聞こえてきそうですが、それですら面倒なんです。 プロンプトなんてスラッシュ 1 本たりとも打ちたくないんです。
大体、思いませんか？今まで何回も仕事を任せてきたんだから、そろそろ覚えてくれよ、と。公式ドキュメント見てるんだから和訳して詳しく解説してよ！今開いてるページ見たらわかるでしょ！
……というわけで、ショートカットキーで今の画面を見て「私がいつもやらせたがるタスク」を察してやってくれる macOS 用 AI アプリケーションを作りました。
使い方は Ctrl を 2 回コンコンと押すだけです。自動でチャットパネルが開き、その瞬間の画面から用件を判定し、対応した回答が自動で出力されます。楽〜！
機能紹介
仕組みとしては単純で、AI にやってほしいタスクを事前に想定シナリオとして設定しているだけです。AI はシナリオのリストと画面の内容を突き合わせ、ユーザーがどんなサポートを求めているのか判断します。
「いちいちシナリオを設定するのは面倒では？」と思われるかもしれませんが、指示なしで AI を動かす場合、この情報がないとどうしても的外れな回答が返ってくる可能性が高まり、かえってストレスが溜まります。
さらに、設定の手間については、後述する「シナリオの自動提案・記憶機能」によって大幅に軽減しています。
シナリオの設定
シナリオは上述の GUI か JSON で設定可能です。設定は基本的に自然言語なので直感的にカスタマイズできます。
{
"scenarios": [
{
"name": "シナリオのタイトル",
"trigger": "対応してほしい状況",
"instruction": "AI にやってほしいこと",
"allowedTools": ["使用してほしいツール / MCP"]
}
]
}
いきなり「シナリオを設定して！」と言われても難しいと思うので、サンプルとして「返信の清書 / 翻訳・要約 / 問題の解説 / エラー分析 / プレゼン構成提案」の 5 つを同梱しています。まずはこれで使用感を試してみてください。
また、シナリオが増えていくにつれ、提示された画面に複数のシナリオが該当しうるケースも出てきます。例えば、AWS の英文ドキュメントなら「翻訳」「AWS ドキュメント解説」の 2 種類に該当してしまいます。
そんな時に AI が混乱しないよう、設定画面での並び順がそのまま優先順位になるようにしてあります（上が優先）。ドラッグ&ドロップで並べ替え可能です。
シナリオの自動提案と記憶
とりあえずサンプルのシナリオだけで使っていると、「今困っていることが既存のシナリオに該当しない……」という場面が出てきます。そんな時も気にせず AI を呼び出してみてください。
するとこのように、今の画面から考えられるサポート内容候補をカードにして提案してくれます。この中に希望のものがあればそれをクリック、なければ直接入力すればサポートしてもらえます。
また、このとき「選んだシナリオを保存」にチェックを入れておくと、既定のシナリオとして保存もできます。
技術構成
macOS ネイティブで作りたかったので、Swift + SwiftUI のメニューバー常駐アプリにしました。画面キャプチャは ScreenCaptureKit で行い、最前面のウィンドウのみを取得します。取得した画像は既定サイズ以下にリサイズしてから処理に回します。
また、AI バックエンドにはローカルの Claude Code をサブプロセスとして使用しています。そのため、Claude Code に設定済みのツールや MCP をそのまま利用できます。
使ってみたい方向けに、動作要件は以下の通りです。
- macOS 14.0 (Sonoma) 以降
- Claude Code v2.x がインストール済みで、claude にログイン済みであること
- Xcode 15 以降（または Swift 5.10+ ツールチェーン）
まとめ
実際にしばらく使ってみましたが、率直に便利です。Ctrl 2 回で呼び出せる手軽さのおかげで心理的ハードルが低く、気づけば一日に何度も頼ってしまっています。使い込むほどに成長していき、自分の理解者感が増していくのも楽しいポイントです。ちなみに AI の性格やメモリもカスタマイズできるようにしてあるので、もはや自分専用の秘書がついてくれている気分です。
コードはすべて GitHub - konkon にて公開していますので、よろしければ使ってみてください。シナリオ設定のアイデア等、何かあれば Issue で教えていただけると嬉しいです。
以上、『夏休みの自由研究リレー』第 5 回のエントリでした！
次回は神野さんの 『Amazon Bedrock AgentCore Gatewayのアウトバウンド認証でユーザー委任型認可（3LO）をフルサーバーレスで実装してGitHubにアクセス可能なAIエージェントを作ってみた。』 の予定です。お楽しみに！
