幻覚ではなく越権
権限契約の明文化
詳細を読む
米技術メディアのVentureBeatは8月10日、企業のAIエージェントで起きる問題の多くは幻覚ではなく権限設計の欠落が原因だとする寄稿を掲載しました。筆者のNixal Patel氏は、本番稼働する全エージェントに実行可能な行為と承認が必要な行為を定めた権限契約（Agent Authority Contract）を与えるべきだと主張しています。
挙げられている例は地味ですが深刻です。サービス業務のエージェントが正しい返金額を算出しても企業が自律実行を認めた上限を超えないための境界がないケース、調達エージェントが最安の供給元を選んでも契約締結まで許されるのか推奨止まりなのかが未定義のケースが示されています。いずれも推論の誤りではなく、技術的な能力と業務上の権限を切り分けていないことが原因です。
背景には統制の遅れがあります。Cloud Security Allianceが2026年4月に公表した調査では、IT・セキュリティ専門家418人のうち65%が過去1年にAIエージェント関連のインシデントを経験し、82%が把握していないエージェントの稼働を発見したと回答しました。世界経済フォーラムが5月に公開したプレイブックも、委任された行動を監査・強制・追跡できるようにする「Agent Capability and Authorization Profile」を提示しています。
実装の要は、影響のある行動をすべて4つの結果に振り分けることです。低リスクで可逆な処理は自動実行の「許可」、支払いや本番環境の変更は人間か決定サービスによる「承認」、判断が要る案件は人間が決める「推奨」、本番データの削除や最終的な雇用判断は確信度に関わらず「禁止」に置きます。筆者が特に強調するのは禁止をシステムプロンプトの外で強制する点であり、自然言語の指示は技術的な境界ではなく単なる提案にすぎないと指摘します。
権限の判定は静的な設定では足りず、実行時に行う必要があります。エージェントが行動を提案し、ポリシー層が識別情報・対象ツール・扱うデータ・取引の文脈・想定される影響を評価して4つの結果を返し、その判断と結果を記録するという流れです。全行動に人間の承認を求めると大規模運用では形骸化するため、シンガポールの枠組みも高リスクや不可逆な行動に絞った実質的なチェックポイントを推奨しています。
本番投入後は、応答の正確さだけでは評価指標として狭すぎます。人間が覆した割合を示す上書き率、危険な案件を的確に上げられているかを見るエスカレーション精度、権限超過の試行回数、業務影響を伴うエラー率、承認による判断の遅延という5つを追い、実績が良ければ権限を広げ違反が続けば狭める運用が示されました。目指すべきは最大の自律性ではなく、企業が観測・統制・取り消しできる範囲での最大の自律性だと寄稿は結んでいます。