詳細を読む
ウィスコンシン大学マディソン校とスタンフォード大学の研究チームが、AIモデルの訓練コストと推論コストを統合的に最適化する新たなフレームワーク「Train-to-Test（T2）スケーリング則」を発表しました。従来のスケーリング則は訓練時と推論時で別々に策定されており、エンドツーエンドの計算資源配分を最適化する手法が存在しませんでした。
T2スケーリング則は、モデルのパラメータ数（N）、学習データ量（D）、推論時のサンプリング回数（k）の3変数を単一の数式で扱います。従来の業界標準であるChinchilla則はパラメータ1つあたり約20トークンの学習データを推奨していますが、T2の分析結果は、固定予算下では大幅に小さいモデルをChinchilla則の推奨量をはるかに超えるデータで過学習させ、浮いた計算資源を推論時の複数サンプリングに回すことが最適であることを示しています。
研究チームは500万から9億パラメータまで100以上のモデルで検証を実施しました。過学習された小型モデルは、8つの評価タスクすべてでChinchilla最適サイズのモデルを上回る性能を達成しています。共著者のNicholas Roberts氏は、コーディングなど推論集約型タスクで特に効果が高いと説明しています。実装面ではKVキャッシュなど既存の技術で効率化が可能で、特別な基盤は不要です。
ただし極端な過学習はファインチューニングの困難さや高品質データの枯渇リスクを伴います。またチャットモデルのような知識重視のアプリケーションでは効果が限定的です。研究チームはチェックポイントとコードの公開を予定しており、Roberts氏は「巨額の計算予算がなくても最先端の推論性能を達成できる。必要なのは良質なデータと訓練・推論予算の賢い配分だ」と述べています。エージェント型AIアプリケーションのスケール時にフロンティアモデルのコストが障壁となる現状において、この研究は重要な指針を提供します。