詳細を読む
OpenAIは2026年7月8日、コーディング能力を測る主要ベンチマーク「SWE-Bench Pro」の詳細な監査結果を公表しました。同社は731タスクの公開分を精査し、約30%のタスクが破損していると結論づけ、以前に推奨していた立場を撤回しました。モデルの能力を正確に測ることは、安全性や展開の判断に直結するためだとしています。
SWE-Bench Proは、以前問題が指摘された「SWE-bench Verified」を改良する目的で設計され、より長く現実的なコーディング課題を扱うベンチマークです。公開実データではフロンティアモデルの正答率が8カ月で23.3%から80.3%へ急伸していました。しかし今回の監査で、その高スコアが評価の欠陥に影響されている可能性が浮かび上がりました。
同社の自動分析パイプラインは200件（27.4%）を破損と判定し、経験豊富なエンジニアによる人手のレビューでは249件（34.1%）が該当しました。各タスクはCodexベースの調査エージェントによる複数回の検証と、5人の技術者による独立審査を経ており、意見が割れた事例はさらに精査されました。人手レビューの方が破損と判断する傾向が強く、複数の欠陥を同時に指摘する例も目立ちました。
欠陥は主に4種類に整理されます。指示にない実装詳細を強要する過度に厳格なテスト、隠れたテストが求める要件を明示しない不十分な指示、機能を十分に検証しない低カバレッジのテスト、そして誤った挙動へ誘導する紛らわしい指示です。これらは、人間同士の協業を前提に作られたオープンソースの課題を、そのままモデル評価に流用したことに起因すると同社は分析しています。
一方でOpenAIは、モデルの能力向上そのものが評価の欠陥を発見しやすくしている点にも触れています。高性能なモデルを使えば、指示やテスト、修正内容やエッジケースをより深く一貫して点検でき、従来は費用や手間の面で難しかった問題の洗い出しが可能になるといいます。読者にとっては、ベンチマークの数字を額面通りに受け取るリスクを改めて示す事例と言えるでしょう。
同社は経験豊富な開発者が能力測定を目的に構築する新たなベンチマークの必要性を訴え、SWE-Bench Pro採用の推奨を正式に撤回しました。評価は不正操作が難しく、信頼でき、モデルの実力を正しく映すものであるべきだとしています。AI開発企業がベンチマークの精度そのものを厳しく問い直す姿勢は、今後の評価基準のあり方に影響を与えそうです。