GRPO（モデル学習手法・技術）に関するニュース一覧

Hugging Faceは2026年3月、大規模言語モデルのポストトレーニングライブラリ「TRL」のv1.0を正式リリースしました。6年以上の開発を経て、75種類を超えるポストトレーニング手法を実装する汎用ライブラリとして安定版の節目を迎えています。

ポストトレーニング分野は、PPOからDPO、さらにGRPOへと手法の中心が急速に移り変わってきました。TRLはこの変化に対応するため、強固な抽象化ではなく「変化に適応する設計」を選択しています。クラス階層を避け、実装間の重複をあえて許容することで、新手法への対応速度を維持しています。

v1.0の最大の特徴は、安定版と実験版の明確な分離です。安定版はSFT、DPO、報酬モデリング、RLOO、GRPOなどの主要トレーナーで構成され、セマンティックバージョニングに従います。実験版は新手法を素早く取り込む場として機能し、利用実績に応じて安定版へ昇格する仕組みです。

TRLは月間300万回ダウンロードされる規模に成長し、UnslothやAxolotlといった主要プロジェクトの基盤としても利用されています。これらの下流プロジェクトへの影響を考慮し、破壊的変更は0.xリリース期間中に段階的に実施されました。

今後の開発では、生成と学習を分離する非同期GRPOの本格導入、KTOや蒸留系トレーナーの安定版昇格、マルチノード学習の強化が予定されています。さらに、学習ループにヒューリスティクスを組み込み、方策の崩壊や過学習を自動検知する「エージェント向け学習可視化」機能の開発も計画されています。

Googleの「Paradigms of Intelligence」チームは、AIエージェントを多様な対戦相手のプールに対して分散型強化学習で訓練することで、ハードコードされた協調ルールなしに複数エージェント間の協調行動を自然発生させる手法を発表しました。この研究はエンタープライズ向けマルチエージェント展開の新たな指針を示しています。

従来のマルチエージェントシステムでは、各エージェントが自身の報酬を最大化しようとするため、ゲーム理論でいう「相互裏切り」状態に陥りやすいという課題がありました。たとえば2つの自動価格設定アルゴリズムが破壊的な値下げ競争を起こし、企業全体が損失を被るようなケースです。

本手法では、学習中のモデルとルールベースの静的プログラムを混合した多様な対戦相手プールを用意し、エージェントに相手の戦略を推測させます。文脈内学習により相互作用の履歴を解析し、リアルタイムで行動を適応させるため、コンテキストウィンドウの肥大化を招かずに効率的な協調を実現します。

LangGraphやCrewAIなどの既存フレームワークが状態遷移やルーティングロジックを明示的に定義するのに対し、本手法は訓練を通じて協調行動を生み出すアプローチです。標準的な強化学習アルゴリズム（GRPO等）で再現でき、特別なスキャフォールディングは不要とされています。

反復囚人のジレンマを用いた検証では、敵の情報が一切ない状態でもエージェントは試行錯誤を通じて安定した協調を達成しました。研究チームは、この成果により開発者の役割が個別ルールの記述から訓練環境の設計という戦略的役割へと進化すると述べています。

Hugging Faceは、大規模言語モデルの強化学習（RL）訓練における非同期アーキテクチャの設計指針を、16のオープンソースライブラリを7軸で比較調査した結果として公開しました。

同期型RL訓練では、推論フェーズがウォールクロック時間の大半を占め、訓練用GPUが長時間アイドル状態になります。32Bモデルで32Kトークンのロールアウトを生成すると、1GPU当たり約3.7時間を要し、GRPOのグループ生成では最も遅い完了に全体が律速されます。

調査対象の全ライブラリが共通して採用した解決策は、推論と訓練を別々のGPUプールに分離し、ロールアウトバッファで接続して非同期に重みを転送する構成です。これにより推論は継続的にデータを生成し、訓練側は待機なく勾配計算を進められます。

比較7軸のうち特に重要なのは、重み同期プロトコルと陳腐化管理です。重み同期ではNCCLブロードキャストが主流で、verlのバケット化により20ミリ秒まで短縮可能です。陳腐化対策はバージョン棄却・深度制限・重要度サンプリング補正の3戦略があり、本番環境では複合的に組み合わせる傾向にあります。

Hugging FaceはTRLの新しい非同期トレーナーに向け、トークン単位のバージョンタグ付きバウンデッドキュー、NCCLバケット転送、エージェント型ワークロード向けの部分ロールアウト対応を設計方針として示しました。今後はMoEモデルのエキスパート並列対応や、蒸留との統合が差別化の鍵になると分析しています。

Databricksは、強化学習を活用した企業向けRAGエージェント「KARL（Knowledge Agents via Reinforcement Learning）」を発表しました。6種類の企業検索行動を同時に学習させることで、単一タスク特化型の限界を克服するモデルです。

従来の企業向けRAGパイプラインは、特定の検索パターンに最適化されており、複数文書の横断的な統合や制約付きエンティティ検索など、異なるタスクには対応できませんでした。KARLは独自ベンチマーク「KARLBench」でClaude Opus 4.6と同等の性能を、クエリあたりコスト33%減・遅延47%減で達成したと同社は主張しています。

学習には新アルゴリズム「OAPL」を採用しています。従来のGRPOが前提とするオンポリシー同期の制約を撤廃し、400勾配ステップ以上のポリシー遅延でも安定動作します。サンプル効率が約3倍向上し、数千GPU時間で全学習を完了できるため、企業チームでも現実的に取り組める規模です。

注目すべきは、KARLが文脈圧縮をエンド・ツー・エンドで自己学習する点です。一部のタスクでは200回の連続ベクトルDB検索が必要となり、コンテキストウィンドウを何度も超過します。圧縮機能を除去すると精度が57%から39%に低下しており、この自律的な圧縮能力が性能の鍵となっています。

一方で課題も明確です。曖昧な質問への対応や途中で回答を断念するケースが残り、SQL検索やPython計算には未対応です。それでも、汎用フロンティアAPIにすべてを委ねるのではなく、目的特化型の検索エージェントを強化学習で育てるアプローチは、企業のRAG戦略に再考を迫る重要な成果といえます。

Hugging Faceは2025年12月4日、AIエージェント「Claude」などがLLMのファインチューニングを自律的に実行できる新機能「Skills」を発表しました。エンジニアはチャットで指示するだけで、複雑な学習プロセスを完結できます。

本機能はスクリプト作成に留まらず、クラウド上のGPU確保からジョブ送信、進捗監視、モデルのアップロードまでを自動化します。データセットの形式チェックや、モデル規模に応じた最適なハードウェア選定もAIが代行し、失敗リスクを低減します。

対応手法は、一般的な「SFT（教師あり微調整）」に加え、人間の好みを反映する「DPO」、数学やコード生成に有効な「GRPO」など多岐にわたります。実運用レベルの高度なモデル開発が、対話インターフェースを通じて手軽に実行可能になります。

利用にはHugging FaceのPro以上のプランが必要です。開発者はインフラ管理の時間を節約でき、AIモデルのカスタマイズやローカル環境向けの軽量化（GGUF変換）を、低コストかつ迅速に試行錯誤できるようになり、生産性が大幅に向上します。

中国科学技術大学の研究チームが、複雑な実務タスクに対応可能なLLMエージェント用強化学習フレームワーク「Agent-R1」を開発しました。従来の数学やコーディングといった明確な領域を超え、曖昧さを含む現実世界の課題解決能力を大幅に向上させます。

これまでの強化学習は、正解が明確なタスクで威力を発揮してきましたが、変化し続けるビジネス環境や予測不能なフィードバックへの対応は苦手でした。エージェントが自律的にツールを使いこなし、複雑な工程を完遂するには、学習モデルの根本的な再定義が必要だったのです。

研究チームは「マルコフ決定過程」を拡張し、過去の対話履歴や環境反応を含めた学習を可能にしました。特筆すべきは、最終結果だけでなく中間の工程を評価する「プロセス報酬」の導入です。これにより、エージェントは正解に至るまでの「過程の良し悪し」を学習し、効率的にスキルを習得します。

Agent-R1は、行動を実行する「Tool」と、その結果を解釈する「ToolEnv」という2つのモジュールで構成されます。単にAPIを叩くだけでなく、その結果がタスク全体の進捗にどう意味を持つかを理解させることで、マルチターンの複雑な対話を制御します。

検証の結果、この手法で訓練されたエージェントは、従来のRAG（検索拡張生成）や基本的なツール利用モデルを大きく上回る性能を示しました。特にDeepSeek-R1などで採用されるアルゴリズム「GRPO」との相性が良く、企業の生産性を高める次世代エージェント開発の基盤として期待されています。