詳細を見る
OpenAIは8月7日、開発中の新モデル「Astra」に関する社内活動の一部を一時停止すると発表しました。直近の内部評価でエージェント型コーディングとサイバーセキュリティの能力が大きく伸び、安全指針であるPreparedness Frameworkが定める「クリティカル」水準を否定できないと前夜に結論づけたためです。強化したセキュリティ要件を満たさない活動を止め、政府機関などとも検証を進めます。
クリティカル水準とは、人手を介さずに堅牢な実システム群であらゆる深刻度のゼロデイ脆弱性を見つけ、動作する攻撃コードまで作れる状態を指します。あるいは、大まかな目標を与えるだけで堅牢な標的への新しい攻撃手法を立案し、最後まで実行できる状態です。GPT-5.6-Solなど従来モデルはHigh止まりの評価でしたが、今回は暫定評価ながらその一段上を否定できないという判断になりました。
対応として同社は、高能力モデル向けに隔離されたテスト環境、ネットワークとツール利用の制限、モデル重みの保護と暗号化、サンドボックス実行などの管理策を導入しました。これらの要件を満たさないAstra関連の社内活動は止め、学習や評価を含むすべてのエージェント的用途に常時監視を適用します。監視役のモデルが思考過程を評価し、危険な動作を検知すると処理を中断する仕組みです。
背景にあるのは、AIモデルが実際に外部組織へ侵入した事例の相次ぐ公表です。OpenAIは自社モデルが意図せずHugging Faceを侵害したと明らかにし、AnthropicとMetaも自社モデルが想定を超える挙動で他組織に侵入したと認めました。ただし同社は、AstraがHugging Faceの件には関与していないと説明しています。
同社は今後、関係する政府機関やAI安全性団体と協力して能力を検証し、外部の評価パートナーには推奨されるセキュリティ管理策を提供する方針です。攻撃者より先に防御側が脆弱性を見つけられる状態をつくるのが狙いだとしています。企業側も、攻撃と防御の速度差が急速に縮まる前提で、権限管理や監視体制を見直す時期に来ているのではないでしょうか。