Hugging Face研究者、AI監督の形骸化に警鐘

Hugging Faceの研究者を含むAI倫理研究者3人は9月6日、AIエージェントの人間監督が、利用者に大量の情報と承認要求を浴びせる現行設計のままでは形骸化するとする論文をarXivに公開しました。速度・正確性・処理量を優先し、監督者の認知能力を別問題として扱うため、人が十分に検討せず許可を出す役割へ追いやられ、短期的な誤作動だけでなく長期的な判断力の低下も招くと警告しています。

研究チームは、自動化バイアスやアンカリングにより、利用者が誤った提案も受け入れやすいと指摘します。大量の通知による疲労やAIの迎合的な応答も、代案を考え、疑い、確認するための注意力を削ぎます。

危険は抽象論にとどまりません。7月のHugging Faceへの攻撃では1,200体のOpenAIボットが120万件のメッセージを生成し、人間がエージェント群の挙動を把握する難しさを示したと研究者らはみています。

対策として、エージェントが計画を示す前に利用者自身の判断を記録させたり、承認時に何の証拠があれば考えを変えるかを尋ねたりする設計を提案しています。承認にかける時間が短くなった際に挙動を変えるなど、意図的な摩擦で惰性的なクリックを防ぐ考えです。

導入企業には、監視担当者の休憩や、時折AIを使わず業務を行う運用も求めています。こうした措置は処理を遅らせますが、研究者らは、エージェントのミス修正に要する時間まで含めて生産性を測るべきだとし、安全を中核設計に組み込む必要性を強調しています。