高効率の軽量モデル
詳細を読む
NVIDIAは8月11日、常時稼働するAIエージェント向けのオープンモデルNemotron 3.5 Lightningと、振り分けライブラリNeMo Switchyardを公開しました。前者は300億パラメータの混合エキスパート型で、同クラス比で最大4倍の出力速度をうたいます。後者は工程ごとに最適なモデルへ処理を振り分け、自社検証では費用をOpus 4.8単独の約3分の1に抑えたとしています。
Lightningは、2025年12月に発表したNemotron 3系のハイブリッドMamba-Transformer構造と潜在型MoEを引き継ぐ30B規模のモデルです。NVIDIAは実タスク評価PinchBenchの結果として、Qwen3.6-35Bと同等の精度に約30%短い時間で到達したと説明します。ただし総合指標のArtificial Analysis Intelligence Indexでは24点にとどまり、30点のNemotron 3 SuperやClaude 4.5 Haikuには届きません。
Switchyardは、エージェントの状態や分類器に応じて呼び出し先を切り替えるオープンソースの振り分けライブラリです。モデルごとの出力トークン量を予測し、呼び出す前に安価な選択肢へ寄せることもできます。LangChainやCognition、Nous Researchといったエージェント基盤に加え、KongやLiteLLM、OpenRouterなどのゲートウェイ側にも組み込まれています。
導入企業の検証値も公開されました。LangChainは145件の多段タスクで最上位モデルへの呼び出しを7%に絞り、精度を6ポイント落とす代わりに費用を74%削減したと報告しています。Rampは自社ベンチマークで精度を保ったまま費用を58%、実行時間を33%削り、CognitionはDevin Desktopの社内利用で平均費用を28%下げました。
背景には、オープンモデルが差別化要因から前提条件へ変わった市場環境があります。中国勢の相次ぐ公開に加え、同じ11日にはMetaが同規模の300億パラメータモデルMuse Glimmerを出しており、NVIDIAはモデルと振り分けの両方を押さえる形で対抗します。LightningはHugging FaceやOpenRouter、build.nvidia.comのNIMで、SwitchyardはGitHubで入手でき、RTX PCやDGX Sparkなど手元の機材でも動きます。