Hugging Face、AI実行環境別の調整モデルを公開
詳細を読む
Hugging Faceは、AIエージェントが使う実際の実行環境に合わせてモデルを追加学習する「ハーネスアダプター」を公開しました。強化学習を対象のエージェント環境内で行い、特定のモデル、ツール、タスクの組み合わせに適応させます。評価では、基盤モデルより高い成功率と少ないトークン使用量を示しました。
開発チームはQwen3.8-27Bを使い、Pi、OpenCode、Hermes AgentそれぞれにLoRAアダプターを学習しました。学習時にはエージェント環境をそのまま動かし、実際に生成されたトークンを記録して最適化します。タスクの収集・生成・検証も含めた再現可能な手順を公開し、各環境向けのアダプターを一つにまとめた統合版も作成しました。
Pi環境でTerminal-Bench 2.1を解かせた初期の例では、基盤モデルの成功率39%が、アダプター適用後に55%へ上がりました。平均トークン数はタスク当たり約2,900から約1,500へ減少しています。記事は、推論やツール呼び出しを抑えながら初回の回答性能を高めた結果だと説明します。
最終評価では、各専門アダプターが学習した環境で、Terminal-Bench 2.1とSWE-bench Proの両方において基盤モデルを上回りました。Pi向けではSWE-bench Proの成功率が39.2%から64.7%に上がり、解けたタスクでのツール呼び出しも大幅に減りました。統合版も3環境すべてで基盤モデルを上回りましたが、専用版の改善幅を一部保てない場合があります。
評価結果は、学習に使った環境とタスクに特化した性能を示すもので、別種の業務へ同じ効果が移るとは限りません。業務自動化タスクでの追加評価では、アダプターは基盤モデルに近い成績でした。Hugging Faceは、より多くのモデルへの適用や、推論モードを含む学習方法の検討を今後の課題に挙げています。