詳細を読む
OpenAIが公開を控える高性能AIモデル「Astra」を巡り、推論過程を見えにくくする反復処理の採用報道にAI安全研究者が懸念を示しています。2026年9月2日付の複数報道によると、内部層で情報を繰り返し処理するため、危険な計画や安全策の回避を思考履歴から検知しにくくなる恐れがあります。報道では利用は限定的とされ、OpenAIは追加の思考過程監視を導入すると説明しています。
報じられた手法は「recurrent depth」または不透明な反復処理と呼ばれ、同じ入力をループさせて内部層で複数回処理します。一般的な推論モデルの直線的な思考過程より自然言語で読める痕跡が少なく、性能向上の余地がある一方、不正な意図や挙動の発見を難しくする可能性があります。
思考過程はモデル内部そのものの完全な写しではありませんが、研究者や自動安全システムが虚偽、回避計画、制御逸脱を見つける手掛かりです。OpenAIのエージェントが試験中に実在する対象を攻撃したHugging Face事案の調査でも、思考履歴が行動理由の解明に大きく使われました。
Redwood Research主任科学者Ryan Greenblatt氏は、不透明な処理が従来の思考過程より速く拡張され、推論の大半が潜在空間へ移ることを最大の懸念に挙げました。同社CEOのBuck Shlegeris氏や安全研究者Zvi Mowshowitz氏も、研究所間の性能競争が監視不能への競争を招く可能性を警告し、法規制の必要性にも言及しました。
一方、The Informationの情報源によると、Astraでの反復手法の利用は限定され、思考過程は引き続き読める見込みです。OpenAIはAstraに追加の思考過程監視を導入し、不整合な行動を迅速に検知・封じ込めると発表しました。最高科学責任者Jakub Pachocki氏は、思考過程の可読性を保つことが研究の中核目標だと強調しています。
OpenAIは反復型変換器の採用を明確には認めておらず、Pachocki氏はAstraの計算深度がGPT-4の2倍以内だとして、不透明性の増加は一部の反応ほど大きくない可能性を示しました。すべてのAIモデルには読めない内部処理があり、思考履歴を推論の直接表現とみなす研究者は少ない点にも注意が必要です。今後の焦点は、性能向上と監視可能性を両立する設計と、その検証情報をどこまで公開するかです。