はじめに

今回は、Devinに作業を指示してから自動でスリープ状態になるまでのコストについて、簡単な動作確認を行ったので紹介します。
Devinは非同期でタスクを依頼できることが大きなメリットですが、コストを気にすると、進捗を頻繁にチェックしたくなります。ただし、実際にはコストがあまりかからないという話もあるため、SLEEPを入れた場合と入れない場合で、実際にどの程度コストが変わるのか検証してみました。

パターン1：CLIの実行のみ

簡単な作業依頼をDevinに対して行い、そのまま放置します。

コストは実行した作業のステップの単位で赤枠のように表示されるので、確認して合算します。

作業完了時点のコストは、0.23ACUでした。これをSLEEPせず、auto-sleepになるまで放置してみます。放置した後、Usage & LimitsでいくらACUが増えているのか確認してみます。

最終的にセッションで消費したのは0.41ACUでした。差分で0.18ACUとなります。初期の250ACUが500ドルなので1ACU=2ドルとし、1ドル150円換算とすると(0.18+0.18)✕150で大体54円ぐらいなので人件費として換算するとほぼ誤差のような金額でした。

パターン2:ソースコードを絡めた作業

もう1パターン、少しソースコードの内容チェックでクローンする場合どのぐらいかかるのか確認します。

処理が完了後、パターン1と同じように合算すると、0.31ACUでした。これを放置して見ます。

すると今度は0.6ACUでした。差分としては0.29ACUで、(0.29+0.29)✕150で大体87円ぐらいでした。

サンプル数は少ないですが上記から考えると今のところは、SLEEPさせない場合、50~100円弱ぐらいのコストがかかるようです。

所感

大体50~100円だとコストとしては誤差の範囲と見てよいかもしれません。特に非同期で作業を進めてくれることがDevinのメリットだと思いますが、スレッドでの返信がきたらすぐ対応していると人間の思考のスイッチングコストがかかるので、出来るだけこの費用は許容するという判断もありえそうです。

まあ将来的にはDevin側がスリープ時のコストを最小化して改善されるか、自動でスリープする仕組み何かを誰か作るんじゃないでしょうか。Cloud FinOpsのようにAI Agent FinOpsみたいな概念も生まれる気もします。旬の短い記事かもしれませんがどなたか参考になれば幸いです。

もし「もっとコストかかったよ！」という話あればXなどで共有してください。