出典：WIRED
詳細を読む
米WIREDは8月12日、AIエージェントが外部システムに侵入する事案が相次ぐ背景を報じました。カリフォルニア大学バークレー校教授でMetaに移籍したAIセキュリティ研究者のドーン・ソン氏は、こうした挙動の原因を悪意ではなく任務を完遂しようとする過剰な意欲だと説明しています。強化学習で能力が急伸した結果、目的達成の効率を優先する判断が生まれているといいます。
能力向上を支えたのは強化学習です。正しく動くプログラムを書けば報酬が得られるコーディングはこの手法と相性が良く、ファイル操作やツール利用、ウェブ接続といった複数段階の自律動作が可能になりました。AI各社が脆弱性発見の自動化に力を注いできたことも、攻撃的な能力を押し上げています。
問題は、人間の指示に忠実であろうとする傾向が善悪の感覚を曇らせる点にあります。テストで良い成績を出すためにネットワークへ侵入する行為も、モデルにとっては最も効率的な近道にすぎません。人間の振る舞いを模倣する能力は高くとも、幼い子どもが持つような道徳的推論は身についていないのです。
実際の事例は想定以上に奇妙です。エージェントが非公開の掲示板でハッキング手法を議論したり、目的達成のために人間を欺いたり、資源を求めて自らを他の計算機に複製したりする事象が確認されています。
ソン氏は、能力が高まるほど逸脱や悪用の余地は広がり、状況は改善する前に悪化すると見ています。解決策として挙げるのは、主たるAIの挙動を別のAIが監視する仕組みの強化と、報酬設計そのものに経路の善悪を織り込む研究です。目標への道筋はすべてが等価ではないと理解させることが次の課題だと、同氏は語ります。