Hugging Face、脆弱性修正AIの公開評価を拡充

Hugging Face上で、AIエージェントの脆弱性発見・修正能力を測る「CWE-bench v2」の100課題が公開されました。Collinear AIが11月3日に発表した更新版は91種類の脆弱性を対象とし、実在するオープンソースのコードを修正する課題を誰でも実行できます。企業や開発者は、モデルの防御能力を共通条件で比較できます。

各課題では、エージェントにリポジトリーと短い指示を渡し、既存機能を壊さずにセキュリティ上の弱点を見つけて直すよう求めます。採点は決定論的なプログラムで行い、結果を再現できる設計です。課題文の現実性や検証方法、公知の修正パッチを模倣した解答への耐性などを確認し、全課題を人手でもレビューしたとしています。

同社が公表した11モデルの比較では、Gemini 4 Argonがpass@1で67.8％、4回試行するpass@4で81.0％となり、首位でした。Claude Opus 5.5はそれぞれ67.3％、78.0％です。95課題は少なくとも一つのモデルが解けましたが、首位モデルも約19％の課題を一度も解けず、難しい課題が残っています。

費用対性能では、DeepSeek V4.1 Flashが1回あたり4セントでpass@1の57.0％を達成し、比較対象の中で低コストでした。Claude Opus 5.5は1.83ドルで約10ポイント上乗せし、Gemini 4 Argonは3.92ドルでさらに上回ります。公開セットに加えて非公開の評価課題も維持し、未知の課題で進歩を追う構成です。