![[レポート][株式会社ハイヤールー]118万件の実データで見る、組織のAIエージェントの安全性とガードレール設計 - CODE BLUE 2026 #codeblue_jp #codeblue_2026](https://devio2024-media.developers.io/image/upload/f_auto,q_auto/c_limit,w_1200/v1794835744/eyecatch/lwaeb6mt4ljjwzxqdkhi.jpg)
[レポート][株式会社ハイヤールー]118万件の実データで見る、組織のAIエージェントの安全性とガードレール設計 - CODE BLUE 2026 #codeblue_jp #codeblue_2026
今回はCODE BLUE 2026で行われた以下のセッションのレポートです。
CODE BLUE 2026では、AIコーディングエージェントやAIアシスタントを狙う攻撃が数多く発表されます。承認プロンプトやサンドボックスをすり抜ける手口が次々と示されるなら、次に確かめたいのは、自社の開発者がエージェントに何を任せ、どこで止めているかです。
ハイヤールーは、開発者がAIエージェントと協働する実際の作業ログを計測し、約118万件の評価データを重ねてきました。ログには、エージェントにどこまで委ね、どこで止めたかが残ります。個人の能力差に見えていたものが、実は環境の差だった事例もあります。
本講演では、計測から見えてきた開発者のエージェントの使い方を紹介します。そのうえで、開発者が自らの弱点に気づき、使い方を改めていくための可視化と、止めるべき操作を人の注意に頼らず仕組みで止める環境づくりについてお話しします。エージェントを日々使う開発者の実データから見えてきたことを共有します。
Speakers:
葛岡 宏祐 代表取締役
レポート
-
講演者葛岡氏の会社ハイヤールーで提供しているサービス「Skill Assessment」を用いて測定して得た知見をもとに紹介
-
AIエージェントの境界
- エージェントは1セッションで59回動く
- 境界を置ける場所は3つ
- プロンプト
- 人の承認
- 設定・hook
- AIの活用がうまい人ならプロンプトで線を引けるのか?
-
AI協働力
- AIと一緒に成果を出す力
- 意図の仕様化、環境構築、協働推論、実行の統制、出力の品質保証
- 意図の仕様化の評価指標:
- 制約と完了条件の明示
- 問題のフレーミング
- (仮説)制約と完了条件の明示のスコアが高い人が使うAIは危ない操作を行っていないのでは?
- 結論としては逆
-
セッションの実ログからの知見
- 危険な操作が1回発生するセッションは全体の29%
- 範囲を超えた操作の例
- 認証情報を探す・表示する
- 権限・システムの変更
- 範囲外の削除
- 外部スクリプトの実行
- 外部公開
- 指示ファイルの削除
- AI協働力が高い人ほど危険な操作が多い
- スコアが高い(使いこなせている)人:33%
- スコアが低い(使いこなせていない)人:24%
- ただし上手い人の危険な操作の大半は作業の範囲内
- 削除を行う場合もテスト環境で想定の範囲内、というケースが多い
- 範囲を超えた操作の例
- たとえば「Python以外削除して」という一言のプロンプトでrm -rfとgit initまで実行してしまった実例がある
- つまり個人のプロンプトはセキュリティ境界ではない
- 危険な操作が1回発生するセッションは全体の29%
-
組織レベルのガードレール測定
- AI Readiness Score:環境構築の評価を受けたメンバーのスコアを組織で平均
- コンテキスト整備、ツール整備、ガードレール設定
- ガードレール設定が組織でどれだけ行われているかが可視化できる
- ガードレール設定のスコアをどのように向上するか
- 操作を3つの層に振り分ける
- 禁止:やってはいけない操作
- 確認必須:人の確認が必要な操作
- hook:範囲外の削除・権限の変更をコマンドの中身で判定
- これらの設定を組織として全員のエージェントに強制する
- 設定ファイルに記載・配布するなど
- 打ち手
- 設定ファイルへの禁止・確認ポリシー・hook判定の記述
- hookについては判定した件数を残す設定も入れる
- 重要な点
- 銀の弾丸はなく、ある層での対応だけでは不十分
- 各層で対応が必要
- 組織の設定は個人のスキルに関係なく止める
- AI Readiness Score:環境構築の評価を受けたメンバーのスコアを組織で平均
-
組織のAI活用スキルの現在地を測ることが重要
- 測定結果をもとに設定を記述
- 継続して測り続ける
感想
プロンプトだけでは危険な操作は制御しきれないので設定ファイルでの制御が必要であり、組織としてのポリシーを記述した設定ファイルの配布をすべきであるという点はそのとおりですね。そのポリシーの設計が難しい、という話はまたありますが、測定によるスコアは検討の一助になりそうです。






